蔡檬嶼，郭 旭，王浩帆，李良平，張瀚文

（西南交通大學(xué) 信息科學(xué)與技術(shù)學(xué)院，成都 611756）

隨著我國鐵路高速發(fā)展，安全隱患逐漸增加，定期巡檢、及時排查故障和安全隱患愈加必要。目前，巡檢主要依賴人工目測，難以保證巡檢質(zhì)量，且占用大量人力[1]。

隨著人工智能的興起和計算機圖像處理技術(shù)的日漸成熟，機器視覺和虛擬現(xiàn)實在很多領(lǐng)域得到應(yīng)用，采用機器視覺等前沿技術(shù)的鐵路巡檢系統(tǒng)正在成為趨勢。張毅[2]針對接觸網(wǎng)巡檢圖像定位器缺陷檢測的問題，提出一種基于圖像深度表示和直線檢測的目標(biāo)檢測一體化算法。何玉娟等人[3]分析鐵路隧道漏纜巡檢維護的現(xiàn)狀及發(fā)展趨勢，提出利用射頻識別（RFID）技術(shù)輔助定位的視頻巡檢方案。張德光等人[4]研究開發(fā)一種鐵路電務(wù)智能巡檢機器人，解決高速鐵路區(qū)間信號中繼站監(jiān)測的漏報、誤報問題。王留軍等人[5]通過實時視頻采集和判別，實現(xiàn)鋼軌、軌枕、扣件等軌道主要部件相關(guān)缺陷的快速檢測。

目前，在以排查異物為主的鐵路線路巡檢方面，采用深度學(xué)習(xí)技術(shù)的相關(guān)研究尚不多見。本文基于深度學(xué)習(xí)開源模型YOLO，設(shè)計了一個鐵路輔助巡檢系統(tǒng)，通過修改YOLO 模型最后一個卷積層的卷積核數(shù)，將模型遷移到定制數(shù)據(jù)集上，利用虛擬現(xiàn)實（VR）視覺和服務(wù)器推流技術(shù)，實時遠程視頻監(jiān)測鐵路異常狀況，并以第1 視角獲得沉浸式體驗，以期利用深度學(xué)習(xí)，達到人機協(xié)調(diào)、高效巡檢的效果，推動傳統(tǒng)人工異物排查作業(yè)模式向智能化發(fā)展。

1 系統(tǒng)構(gòu)成及工作過程

1.1 系統(tǒng)構(gòu)成

鐵路輔助巡檢系統(tǒng)由室外和室內(nèi)2 部分組成：室內(nèi)部分由App 軟件和中央處理單元、控制設(shè)備、VR 設(shè)備等硬件構(gòu)成；室外部分包括攝像頭、搭載設(shè)備和無線通信模塊。系統(tǒng)結(jié)構(gòu)如圖1 所示。

圖1 系統(tǒng)構(gòu)成示意

1.2 系統(tǒng)工作過程

系統(tǒng)主要工作過程簡述如下：

（1） 系統(tǒng)啟動后，攝像頭采集數(shù)據(jù)，利用服務(wù)器推流技術(shù)，將數(shù)據(jù)上傳到服務(wù)器；（2）使用深度學(xué)習(xí)算法對所采集的數(shù)據(jù)進行異物檢測，標(biāo)識出異物的位置與類別；（3）將帶識別結(jié)果的視頻流實時傳送到用戶App 端，實現(xiàn)VR 視覺顯示效果；（4）通過方向傳感器，使攝像頭視角跟隨用戶視角同步切換，用戶根據(jù)巡檢情況做出判斷，命令控制設(shè)備將動作指令發(fā)送到服務(wù)器，搭載設(shè)備從服務(wù)器獲取指令并執(zhí)行動作。

2 輔助巡檢關(guān)鍵技術(shù)

2.1 基于深度學(xué)習(xí)的異物識別技術(shù)

2.1.1 數(shù)據(jù)集定制

定制鐵路異物檢測數(shù)據(jù)集是為了使模型對鐵路環(huán)境下異物識別達到一定的精度和速度。定制的鐵路異物檢測數(shù)據(jù)集由開源數(shù)據(jù)集VOC2007 中1 000張圖片和根據(jù)鐵路周邊常見異物拍攝的約3 000 張圖像組成。對拍攝圖片的物體邊框、類別等必要信息進行統(tǒng)一標(biāo)注，受限于人力和時間，僅收集了14 類常見鐵路異物圖像，包括紙張、塑料袋、卡車、石塊等，如圖2 所示。

圖2 鐵路異物圖像

2.1.2 實時異物檢測方法

異物檢測問題可視為深度學(xué)習(xí)領(lǐng)域中的物體檢測問題。物體檢測問題主要有2 類方法：one-stage detection 和two-stage detection。one-stage detection 類方法具有低時延和較高精度，適合處理需要實時監(jiān)測的問題，而two-stage detection 類方法具有很高精度，但檢測時間非常長，適用于對實時性要求不高的場景。

考慮到需要對畫面中異物進行實時檢測，選擇one-stage detection 類方法中具有代表性的YOLO 開源模型[6-7]，利用其開源的模型參數(shù)作為預(yù)訓(xùn)練模型，利用定制數(shù)據(jù)集對模型進行擬合和微調(diào)。

2.1.3 異物檢測模型結(jié)構(gòu)

異物檢測模型共使用19 個卷積層和5 個最大池化層提取圖片特征。通過殘差網(wǎng)絡(luò)（ResNet）的跳躍式連接，提高了模型對細粒度物體的檢測率；再利用一個卷積層進一步提取融合特征，通過全局平均池化后，使用softmax 函數(shù)輸出分類結(jié)果，達到識別目的。該模型的結(jié)構(gòu)如圖3 所示。

圖3 異物檢測模型結(jié)構(gòu)示意

2.1.4 模型訓(xùn)練

模型訓(xùn)練分為3 步：（1）將模型最后一層卷積層之前的各層全部凍結(jié)，用224×224 分辨率的圖像對參數(shù)擬合5 個epoch；（2）將凍結(jié)的層全部解凍，再用224×224 分辨率的圖訓(xùn)練15 個epoch；（3）使用448×448 分辨率的圖對模型訓(xùn)練20 個epoch。

為加快模型訓(xùn)練速度和提升模型的檢測質(zhì)量，通過遷移學(xué)習(xí)對模型進行擬合。遷移學(xué)習(xí)[8]的過程如圖4 所示，在學(xué)習(xí)任務(wù)A 時，可獲得一定的相關(guān)知識經(jīng)驗，當(dāng)學(xué)習(xí)另一個相似的任務(wù)B 時，可以快速將經(jīng)驗應(yīng)用于新問題。

圖4 遷移學(xué)習(xí)原理示意

2.2 基于服務(wù)器推流的可視化VR 遠程控制技術(shù)

鐵路輔助巡檢系統(tǒng)基于C/S 架構(gòu)，通過以太網(wǎng)通信實現(xiàn)服務(wù)器與客戶端之間的數(shù)據(jù)交互，圖像和控制指令分別通過2 個通道獨立傳輸。

圖像傳輸過程為：搭載設(shè)備接收遠程訪問命令后，攝像頭將畫面實時傳輸給服務(wù)器，經(jīng)算法處理后轉(zhuǎn)發(fā)至VR 端，VR 端接收并解析處理服務(wù)器回應(yīng)的最新Http 報文，通過VR 顯示插件顯示監(jiān)測圖像。

控制指令傳輸過程為：手機的方向傳感器捕捉用戶頭部動作，將其轉(zhuǎn)化為攝像頭的角度旋轉(zhuǎn)指令后，發(fā)送給控制設(shè)備，使攝像頭與用戶轉(zhuǎn)頭動作同步?？梢暬h程控制[9]所依托的服務(wù)器推流技術(shù)[10]可保證在服務(wù)器發(fā)送批量數(shù)據(jù)的同時，客戶端能繼續(xù)接收數(shù)據(jù)。

3 實驗分析

3.1 室內(nèi)實驗分析

3.1.1 異物識別模型實驗結(jié)果分析

實驗室環(huán)境的相關(guān)軟件配置包括Ubuntu16.04 系統(tǒng)、CUDA 10.0.130、cuDNN 7.6.3，Python 3.6.8、TensorFlow 1.15.0、Keras 2.2.4；相關(guān)硬件配置包括NVIDIA GeForce RTX2080Ti 顯卡、AMD Ryzen 5 2600X Six-Core Processor 處理器、16 GB 運行內(nèi)存。

以IoU 取值為0.5 時的平均精度均值（mAP）作為評價指標(biāo)，測試數(shù)據(jù)集上mAP 計算結(jié)果為64.5，AP 值見表1。結(jié)果表明：在保持模型對VOC 數(shù)據(jù)集中5 個類別精度差別不大的情況下，對定制圖像數(shù)據(jù)也具有較高的精度。

表1 AP 值計算結(jié)果

3.1.2 遠程巡檢控制實驗結(jié)果分析

在室內(nèi)較理想情況下，搭載設(shè)備（本實驗中采用小車）與網(wǎng)關(guān)間距50 m，測試20 組數(shù)據(jù)，每組間隔15 min，共進行90 min，記錄其中3 組的平均幀數(shù)和時延數(shù)據(jù)，見表2。經(jīng)測試發(fā)現(xiàn)：隨著測試時間推移，2 類數(shù)據(jù)都僅在小范圍內(nèi)波動，驗證該系統(tǒng)性能較為穩(wěn)定，可實現(xiàn)流暢的遠程控制。

表2 平均幀數(shù)和平均時延測試數(shù)據(jù)

3.2 室外基地系統(tǒng)測試

室外測試的目的是驗證該系統(tǒng)的可行性、異物識別的準(zhǔn)確性以及室外無線傳輸?shù)姆€(wěn)定性。

利用履帶小車作為搭載設(shè)備，在校園局域網(wǎng)（模擬5G）環(huán)境下，使用校內(nèi)鐵路實習(xí)基地總長為200 m 的鐵道進行測試。將10 類100 個異物隨機投放到鐵道沿線，利用手柄、App 及VR 設(shè)備，遠程控制小車沿軌道線路進行實時可視化巡檢。分別在晴天、微風(fēng)、小雨3 種天氣下，按不同傳輸距離分別進行20 次測試，記錄所識別的異物個數(shù)、種類及通信完成情況，最終平均檢測到10 類83 個異物，通信完成情況的測試結(jié)果見圖5 所示。

圖5 通信成功率（距離測試折線圖）

測試結(jié)果表明：系統(tǒng)控制正常，VR 畫面基本流暢，鐵道沿線放置的主要異物均可被識別；同時，在10 組不同距離下，異物識別的成功率波動變化不大，晴朗天氣下通信成功率為93.5%，微風(fēng)條件下通信成功率為93.3%，即便在小雨條件下，通信成功率依然能保持在88.1%。

在此基礎(chǔ)上，再對小車與人工配合巡檢以及人工單獨巡檢分別進行20 組測試，結(jié)果發(fā)現(xiàn)輔助巡檢系統(tǒng)的平均漏檢率僅為3%，而單純?nèi)斯ぱ矙z平均漏檢率為13%，可見輔助巡檢的效果顯著。

4 結(jié)束語

綜合考慮人工巡檢和傳統(tǒng)機器學(xué)習(xí)在工程上應(yīng)用的優(yōu)缺點，利用無線通信技術(shù)和深度學(xué)習(xí)算法的優(yōu)勢，建立鐵路輔助巡檢系統(tǒng)。實驗表明：該系統(tǒng)對鐵路巡檢中異物排查具有良好的輔助效果，與人工方式相比，異物檢測更為細致、準(zhǔn)確，漏檢更少，且更經(jīng)濟。

今后可嘗試將YOLO 的Backbone 網(wǎng)絡(luò)結(jié)構(gòu)替換為ResNet、ThunderNet、ShuffleNet、EfficientNet 等輕量級網(wǎng)絡(luò)結(jié)構(gòu)，以獲得更高實時性和精度。隨著輔助巡檢模型和搭載設(shè)備的進一步完善和健全，該項技術(shù)還可更廣泛地應(yīng)用于諸如隧道漏纜安全巡檢、軌道磨損檢查等更多方面。另外，在實際巡檢中可搭載無人機、綜合巡檢車等視野更廣闊的設(shè)備，以降低巡檢的漏檢率。還可以利用5G 低時延的特點，實現(xiàn)不限距離的通信，并獲得更高實時性。