王軼默，黃凱垚

（東南大學(xué)自動化學(xué)院，江蘇南京 211189）

0 引言

隨著科技的不斷進步，各機械自動化水平在逐漸提高，無人值守現(xiàn)象也越發(fā)普遍。發(fā)電機是電力系統(tǒng)的關(guān)鍵所在，加強對發(fā)電機的巡檢尤為重要。傳統(tǒng)人工巡檢方式所耗費的高成本已無法滿足當(dāng)前發(fā)電機巡檢需求。隨著人工智能技術(shù)的快速發(fā)展，智能巡檢機器人的應(yīng)用越來越廣泛，機器人巡檢已成為當(dāng)下主要的巡檢方式。與傳統(tǒng)人工巡檢相比，智能巡檢具有操作靈活、不受外界天氣影響等優(yōu)點。此外，巡檢機器人可攜帶多種傳感器，可在任何惡劣天氣下實現(xiàn)發(fā)電機測溫、缺陷檢測、開關(guān)狀態(tài)監(jiān)控等日常巡檢，便于及時發(fā)現(xiàn)發(fā)電機的事故和問題，排除大面積斷電等安全隱患。目前，主流的巡檢機器人采用人工遠程控制的方法進行巡檢，但是位于極地等極端環(huán)境惡劣之處往往信號較差、通信成本較高、時延較大，難以滿足長時間遠程操控的需求。同時，在巡檢時經(jīng)常會遇到環(huán)境昏暗、能見度較低的情況。因此，針對極端場景下的巡檢機器人設(shè)計依然面臨諸多應(yīng)用難題。

故障檢測方法設(shè)計是巡檢機器人的核心，傳統(tǒng)的故障診斷方法主要有兩種：基于數(shù)學(xué)模型的方法和基于數(shù)據(jù)驅(qū)動的方法［1-2］。隨著計算機技術(shù)與硬件設(shè)備的發(fā)展，傳統(tǒng)基于經(jīng)驗的故障診斷方法已不再適用?；谖锢頂?shù)學(xué)模型的故障診斷方法雖然應(yīng)用比較廣泛，但該類方法僅針對單一問題進行建模分析，忽略了故障間的潛在關(guān)聯(lián)。例如，一臺發(fā)電機組在運行過程中由于振動而導(dǎo)致一顆螺絲脫落，而這可能帶來多種潛在后果，如電流電壓和輸出功率異常等，這時僅憑借獨立的參數(shù)指標(biāo)很難分析得到造成該問題的真正原因。隨著計算機技術(shù)的不斷發(fā)展，大量數(shù)據(jù)驅(qū)動的故障診斷方法被應(yīng)用于故障診斷。現(xiàn)代故障診斷方法可分為定性分析方法與定量分析方法，如圖1 所示。其中，定量分析方法又可進一步分為基于解析模型的方法，具有代表性的方法包括機器學(xué)習(xí)類方法［3］、多元統(tǒng)計分析類方法、信號處理類方法、信息融合類方法和粗糙集方法等。

Fig.1 Fault diagnosis methods圖1 故障診斷方法

1 相關(guān)研究

隨著近代機器學(xué)習(xí)與深度學(xué)習(xí)的興起，大量機器學(xué)習(xí)及神經(jīng)網(wǎng)絡(luò)方法在故障診斷中表現(xiàn)優(yōu)異，其核心思想是利用系統(tǒng)在正常和各種故障情況下的歷史數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)或是分類器，再利用訓(xùn)練完成的神經(jīng)網(wǎng)絡(luò)或是分類器對未知狀態(tài)下的數(shù)據(jù)進行判別（預(yù)測），從而達到智能檢測的目的。文獻［4］首先利用神經(jīng)網(wǎng)絡(luò)對旋轉(zhuǎn)機械故障進行診斷，但是需要大量樣本進行訓(xùn)練?？紤]到故障診斷的特殊性，即待檢測對象絕大多數(shù)時間工作在正常情況下，極少時間處于異常狀態(tài)下運行，且一些異常情況可能難以采集樣本，這就導(dǎo)致了樣本數(shù)量少、正負樣本不均衡的問題。已有研究并沒有對上述問題進行深入思考。文獻［5］首先將支持向量機引入故障診斷中，以應(yīng)對小樣本與樣本不均衡的問題，并與神經(jīng)網(wǎng)絡(luò)方法作比較。除SVM（支持向量機）外，針對該問題的主流解決方法還包括：小樣本學(xué)習(xí)（Few-Shot Learning）與利用生成對抗網(wǎng)絡(luò)（GAN）對數(shù)據(jù)進行擴充。小樣本學(xué)習(xí)的經(jīng)典方法有元學(xué)習(xí)（Meta Learning）和孿生網(wǎng)絡(luò)（Siamese Network）等。文獻［6］使用孿生網(wǎng)絡(luò)對西儲大學(xué)軸承數(shù)據(jù)進行故障診斷，并且與SVM、WDCNN等算法作比較。

本文提出一種可應(yīng)用于極地嚴(yán)寒場景下的自動巡檢機器人故障診斷系統(tǒng)。該系統(tǒng)采用無控制情況下自動常規(guī)檢測與特殊情況下遠程控制相互協(xié)同的控制策略，以應(yīng)對極地區(qū)域網(wǎng)絡(luò)狀況差、通信費用高的問題。具體而言，機器人會定時按照路線到達指定位置進行巡檢，通過視覺算法判斷其工作狀態(tài)。若工作在正常狀態(tài)下就將結(jié)果保存在本地；若出現(xiàn)故障且故障為已知故障中的一種，此時會將該故障類型返回給遠程主機；若出現(xiàn)故障但該故障并非為常見故障中的一種，此時系統(tǒng)將切換到遠程操控狀態(tài)下，由技術(shù)人員操控機器人以獲取故障更清晰的圖片。針對故障檢測中樣例較少與正負樣本不均衡的問題，采用孿生網(wǎng)絡(luò)與專家知識相結(jié)合的方法，提煉專家知識并判斷發(fā)電機易出現(xiàn)故障的區(qū)域與故障類型，再與孿生網(wǎng)絡(luò)相結(jié)合，經(jīng)實驗驗證，該方法具有較好的魯棒性。

2 系統(tǒng)組成

本文設(shè)計了可靈活應(yīng)用于各類自動巡檢機器人的智能故障檢測系統(tǒng)。該系統(tǒng)首先對巡檢專業(yè)人士知識經(jīng)驗進行分析，總結(jié)出發(fā)電機組易發(fā)生故障的區(qū)域與故障類型；其次對故障樣例進行采樣，制作故障原型，將易發(fā)生故障的位置設(shè)為機器人巡檢路上的檢查點。機器人可利用其自動定位與導(dǎo)航的功能沿著巡檢路線進行巡邏，并在檢查點處停下完成對指定區(qū)域的檢測，判定其工作狀態(tài)是否正常。若機器人發(fā)現(xiàn)電機工作存在異常，便首先判斷是否為常見故障中的一種，若該故障并非是常見故障，則將其判定為特殊情況，此時便會切換到遠程控制模式，技術(shù)人員通過網(wǎng)絡(luò)遠程控制機器人對該部位進行更進一步的檢測，圖像將會實時傳遞到控制端，以供專業(yè)人員進行判斷。

由于設(shè)備可能出現(xiàn)故障的地方較多，故相比于使用固定相機對設(shè)備進行拍攝采樣，使用巡檢機器人對設(shè)備進行拍照靈活性更好，在遇到突發(fā)情況時可以通過遠程操控及時獲得故障點的高清照片。在遠洋、極地等通信成本較高、通信環(huán)境較差的地方，將實時的視頻信息全部傳遞回遠程端需要較高的通信成本，且存在著較大時延，并不適用于實際生產(chǎn)。針對該現(xiàn)象，本文提出在遠端邊緣設(shè)備上對機器人獲取到的圖片作先行處理，如果設(shè)備工作正?；蛱幱谝阎收现械囊环N，僅需將該條文字信息傳送給遠程控制端。通過邊緣設(shè)備對信息的先行處理可以極大減小通信成本，也加強了該系統(tǒng)在惡劣通信環(huán)境下的魯棒性。在系統(tǒng)正常工作的大部分時間里，該系統(tǒng)都處于完全自主的工作狀態(tài)下，無需人工操作。

該系統(tǒng)工作流程主要分為4 部分：建圖、設(shè)置檢查點、自動巡檢以及狀態(tài)檢測，如圖2所示。

3 系統(tǒng)功能模塊

Fig.2 System workflow圖2 系統(tǒng)工作流程

該系統(tǒng)主要由機器人模塊、邊沿設(shè)備模塊與軟件模塊3 個部分構(gòu)成。其中，機器人模塊的主要作用是移動到指定位置拍攝待檢測部位的照片，邊緣設(shè)備模塊完成對機器人的控制和設(shè)備狀態(tài)檢測。軟件模塊則包含了機器人建圖與導(dǎo)航算法及狀態(tài)檢測算法，上述所有算法均部署在邊緣設(shè)備中。系統(tǒng)工作時，首先通過邊緣設(shè)備中部署的建圖算法完成對工作環(huán)境的掃描與建圖，然后可調(diào)用邊緣設(shè)備中部署的導(dǎo)航算法控制機器人到達指定地點，拍攝待檢測部位的圖像，并將該圖像存儲下來，以供狀態(tài)檢測算法使用。檢測算法通過機器人拍攝到的圖像判斷系統(tǒng)工作狀態(tài)，并將判斷結(jié)果傳遞給遠程主機，可通過判斷結(jié)果選擇是否進入遠程操作狀態(tài)。

3.1 機器人模塊

該系統(tǒng)使用Turtlebot3 作為移動機器人，選取ROS 作為軟件系統(tǒng)平臺，NVIDIA Jetson Nano 作為機器人控制與圖像處理部分［7］。Turtlebot3 具有自主建圖、定位與導(dǎo)航的功能，故其能在陌生的環(huán)境下工作。Turtlebot3上也可搭載各種傳感器如攝像頭、溫度傳感器、音頻傳感器等，有助于高效完成對不同指標(biāo)的監(jiān)測，模塊設(shè)計的核心為基于視覺的故障診斷?？紤]到該巡檢機器人的工作空間較為狹窄，因此不再使用Turtlebot3 原裝的普通輪胎，而是使用麥克納姆輪。麥克納姆輪為瑞典麥克納姆公司的專利，它克服了傳統(tǒng)機械結(jié)構(gòu)的缺點，將車輪的移動方式變成了全方位移動的全新模式，這樣使得其可以在狹小的空間中也能自如地移動。

Turtlebot3 是較為常見的一種機器人模型，在許多仿真環(huán)境中也有著其對應(yīng)的模型，Turtlebot3 擁有Burger、Waffle、Waffle_pi 等型號，本文選取Waffle_pi 作為巡檢機器人。為適應(yīng)極地等特殊的工作環(huán)境，在實現(xiàn)過程中進行了改裝，其具體參數(shù)如表1所示。

Turtlebot3 原廠所采用的激光雷達為360 Laser Distance Sensor LDS-01，其量程為120～3 500mm，分辨率為±15mm，掃描速度為300±10rpm。由于機器人定位的準(zhǔn)確程度與狀態(tài)診斷的準(zhǔn)確率密切相關(guān)，故設(shè)計時將其替換為精度更高的A1 激光雷達。其測量半徑為0.15～12m，采樣頻率為8K，掃描頻率為5.5Hz，角度分辨率為1°，測距精度在3m 內(nèi)達到了實際距離的1%，在3～5m 內(nèi)為實際距離的2%，在5～12m 內(nèi)為實際距離的2.5%。相比于原始激光雷達有著更高的精度與掃描速度。

Table 1 Parameters of the Waffle_pi表1 Waffle_pi參數(shù)

所選取的深度相機型號為Astra Pro，其共有3 種分辨率可選，可用于三維重建、SLAM 等，通過USB 與核心板相連接，可以在Rviz中顯示深度相機的點云圖。

3.2 邊緣設(shè)備模塊

Turtlebot3 控制模塊可在樹莓派與NVIDIA Jetson Nano之間選擇，該邊緣設(shè)備不僅需要控制機器人的移動，同時還需要通過檢測算法對設(shè)備的運行狀態(tài)進行判斷，考慮到算力問題，選擇Jetson Nano 作為核心板，Nano 最大的特色就是包含了一塊128 核Maxwell 架構(gòu)的GPU 與A57 的CPU。Jetson Nano 的具體參數(shù)如表2所示。

Table 2 Parameters of Jetson Nano表2 Jetson Nano參數(shù)

NVIDIA 公司也提到使用kernel auto-tuning、dynamic tensor memory、layer fusion 和quantization（FP16/INT8）等方法以加速網(wǎng)絡(luò)執(zhí)行效率。根據(jù)NVIDIA 官方給出的部分模型在使用TensorRT 下的幀率可以看出，Jetson Nano 可以應(yīng)用于移動場景下。Jetson Nano 的深度學(xué)習(xí)表現(xiàn)如圖3所示。

3.3 軟件模塊

軟件部分主要分3 個部分：掃描建圖、定位導(dǎo)航與狀態(tài)檢測，如圖4 所示。掃描建圖是將周圍的環(huán)境轉(zhuǎn)換成地圖的形式存儲下來；定位導(dǎo)航則是根據(jù)地圖以及激光雷達判斷自己的位置并導(dǎo)航到指定目的地；狀態(tài)檢測根據(jù)深度相機所傳輸?shù)漠嬅媾袛喟l(fā)電機的工作狀態(tài)。

Fig.3 Deep learning performance of Jetson Nano圖3 Jetson Nano的深度學(xué)習(xí)表現(xiàn)

Fig.4 Software modules圖4 軟件模塊

掃描后創(chuàng)建的地圖中設(shè)置了3 個目的地，模擬為發(fā)電機組待檢測的3 個模塊，通過深度相機完成對發(fā)電機組的狀態(tài)監(jiān)測。

3.3.1 掃描建圖

通過調(diào)用ROS 的map_server 包所提供的節(jié)點以yaml文件與image 文件的形式存儲地圖，yaml 文件存儲了路徑、分辨率、原點等參數(shù)。打開地圖后，使用roslaunch 命令調(diào)用gmapping 包根據(jù)激光數(shù)據(jù)使用粒子濾波算法完成地圖構(gòu)建，通過turtlebot3_teleop_key 以使用鍵盤控制機器人的移動，此時Rviz 中會顯示已掃描部分，控制機器人將整個環(huán)境掃描一遍即可獲得地圖。

3.3.2 定位導(dǎo)航

通過ROS 的amcl包實現(xiàn)移動機器人定位，amcl采用自適應(yīng)（或KLD 采樣）的蒙特卡羅定位方法，根據(jù)已有地圖使用粒子濾波器跟蹤一個機器人的姿態(tài)。導(dǎo)航則是通過ROS 提供的move_base 包進行實現(xiàn)，主要包括兩個部分：①全局路徑規(guī)劃（Global Planner）：根據(jù)給定的目標(biāo)位置進行總體路徑的規(guī)劃；②本地實時規(guī)劃（Local Planner）：根據(jù)附近的障礙物進行躲避路線規(guī)劃。給出目的地坐標(biāo)，利用move_base 包即可自動規(guī)劃路徑并避障到達目的地。

3.3.3 狀態(tài)監(jiān)測

通過設(shè)計孿生網(wǎng)絡(luò)（Siamese Network）實現(xiàn)故障檢測，孿生網(wǎng)絡(luò)主要結(jié)構(gòu)如圖5 所示。具體而言，所設(shè)計網(wǎng)絡(luò)通過構(gòu)建端到端的特征匹配網(wǎng)絡(luò)結(jié)構(gòu)，將深度相機獲取到的圖像與故障原型進行匹配，借此判斷當(dāng)前狀態(tài)是否存在異常。與目前小樣本學(xué)習(xí)網(wǎng)絡(luò)相比，所設(shè)計的網(wǎng)絡(luò)優(yōu)勢是將元學(xué)習(xí)與特征匹配整合成一個可以聯(lián)合學(xué)習(xí)的網(wǎng)絡(luò)，僅僅利用少量樣本便可讓網(wǎng)絡(luò)具有自我學(xué)習(xí)能力。

Fig.5 Main structure of siamese network圖5 孿生網(wǎng)絡(luò)主要結(jié)構(gòu)

通過孿生網(wǎng)絡(luò)的主干網(wǎng)絡(luò)功能進行特征提取，各種神經(jīng)網(wǎng)絡(luò)都可以使用，本文使用的神經(jīng)網(wǎng)絡(luò)是VGG16。圖片在經(jīng)過主干網(wǎng)絡(luò)特征提取之后，就會獲得提取之后的多維特征向量，通過flatten 的方式將其平鋪聚合為一維向量，在雙支路網(wǎng)絡(luò)結(jié)構(gòu)中，網(wǎng)絡(luò)輸出最終將獲得兩個一維的特征向量。計算這兩個一維向量之間的距離，并進行兩次全連接，再將其輸入到Sigmoid 函數(shù)中，便得到這兩張圖片的相似度（位于0-1區(qū)間）［8］。

4 實驗分析

機器人導(dǎo)航建圖環(huán)節(jié)在Gazebo 中的仿真情況如圖6所示。

Fig.6 Gazebo navigation simulation圖6 Gazebo中導(dǎo)航仿真

Gazebo 是一個開源的機器人仿真工具，里面包含有各種經(jīng)典機器人的模型，其中就包含有Turtlebot3。機器人在實際環(huán)境中運行情況如圖7所示。

Fig.7 Robot operation in the real environment圖7 機器人在實際環(huán)境中運行情況

在狀態(tài)檢測算法上，將常規(guī)方法即均值哈希算法［9］、差值哈希算法［10］、感知哈希算法［11］、三直方圖［12］與單通道直方圖［13］等5 種方法相結(jié)合與孿生網(wǎng)絡(luò)進行了對比，如表3、圖8 所示。并且，按照樣本數(shù)由少到多比較了SVM、孿生網(wǎng)絡(luò)與經(jīng)典識別算法Yolov5 之間的性能，觀測這3 種方法在小樣本情況下的效果。

Table 3 Performance comparison between classical recognition algorithm and siamese network表3 經(jīng)典識別算法與孿生網(wǎng)絡(luò)性能比較

Fig.8 Accuracy comparison between classical recognition algorithm and siamese network圖8 經(jīng)典識別算法與孿生網(wǎng)絡(luò)準(zhǔn)確率比較

5 種方法融合是指使用上述5 種方法進行聯(lián)合判斷，其具體思想如下：均值哈希算法、差值哈希算法和感知哈希算法都是值越小，相似度越高，取值為0～64，即漢明距離中，64位的hash 值有多少不同。三直方圖和單通道直方圖的值為0～1，值越大，相似度越高。為了能夠統(tǒng)一量級，將前三者的值除以64，這樣其值便分布在0～1 區(qū)間，再用1減去該值，便使得其單調(diào)性與后兩者一致。若這5 種方法中有3 種方法的相似度大于0.5，則認(rèn)為這兩張圖片是一類的。

通過上述圖表發(fā)現(xiàn)，單獨使用這5 種傳統(tǒng)方法進行檢測時的正確率都不高，而使用5 種方法相融合進行判斷的正確率則略有提升，但其正確率仍僅為55.6%。而孿生網(wǎng)絡(luò)能在僅有36 張訓(xùn)練樣本的情況下就能達到94.4%的正確率，相比于傳統(tǒng)方法表現(xiàn)優(yōu)異。

基于單通道直方圖即灰度直方圖的效果較差，其原因是該方法是基于灰度圖像的灰度分布值判斷圖像相似度，該方法并不涉及圖像中的內(nèi)容，兩張灰度分布接近但是內(nèi)容毫不相關(guān)的圖像在該方法的評判下會取得較高的相似度，這顯然是不合理的?；谌ǖ乐狈綀D的相似度比較，效果較差的原因與單通道直方圖類似，三通道直方圖的不同之處在于其只是將HSV 三空間的分布進行了比較，但其仍然可能存在將兩張顏色分布類似但內(nèi)容毫不相關(guān)的圖片誤判成一張的情況。

均值哈希算法的具體思路是將灰度圖像與均值相比從而得到64 位哈希值進行相似度比較，其缺點是圖片內(nèi)容不能有變化，例如在非待檢測部位出現(xiàn)一些噪聲或者拍攝視角發(fā)生了旋轉(zhuǎn)或者移動，會導(dǎo)致哈希值的較大變化，故該方法魯棒性較差。差值哈希算法與均值哈希算法十分類似，只是在計算哈希值時選擇的方法不同，其也具有魯棒性較差的缺點。

感知哈希算法采用離散余弦變換（DCT）進行降頻，再計算哈希值。相比于均值哈希算法與差值哈希算法更為強健，對圖片的修改較為寬容，魯棒性稍強。從結(jié)果上看，感知哈希算法的正確率也高于均值哈希算法與差值哈希算法。

測試SVM、孿生網(wǎng)絡(luò)和Yolov5 在小樣本情況下的表現(xiàn)如表4、圖9所示。

Table 4 Comparison of algorithm performance in the case of small samples表4 小樣本情況下算法性能比較 %

Fig.9 Comparison of algorithm accuracy in the case of small samples圖9 小樣本情況下算法準(zhǔn)確率比較

由以上圖表可以發(fā)現(xiàn)，SVM 在樣本數(shù)極少情況下（如9張與18 張時）表現(xiàn)出的正確率較高，但是隨著樣本數(shù)的增加，孿生網(wǎng)絡(luò)的正確率迅速超過了SVM，并在訓(xùn)練樣本數(shù)為45 張之后取得了在測試集上100%的正確率。同時，可以發(fā)現(xiàn)，在物體識別領(lǐng)域應(yīng)用廣泛的Yolov5 算法在小樣本情況下表現(xiàn)不佳，在45 張訓(xùn)練樣本時只取得了27.8%的正確率。

支持向量機（SVM）在小樣本情況下表現(xiàn)較好的原因與其算法本身有關(guān)，SVM 本身模型為一個線性分類器（線性可分的情況下），并不像深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)那樣，有著復(fù)雜的多層網(wǎng)絡(luò)結(jié)構(gòu)，需要使用預(yù)訓(xùn)練權(quán)重初始化各層網(wǎng)絡(luò)，并利用大量的有標(biāo)簽數(shù)據(jù)進行訓(xùn)練數(shù)，并利用反向傳播不斷修正。而SVM 則不同，其模型參數(shù)少，即使遇到線性不可分的情況，也可以利用核函數(shù)將其映射到高維空間，使之變成線性可分的。SVM 的最大間隔與最優(yōu)分割超平面只與支持向量有關(guān)，這就導(dǎo)致SVM 僅需少量的支持向量即可，其余大量數(shù)據(jù)（非支持向量）對于模型參數(shù)的確定是冗余的，這就較好地解釋了圖9 中SVM 在小樣本下正確率較高的原因。而Yolov5 是十分典型的神經(jīng)網(wǎng)絡(luò)算法，其在樣本較少時顯然具有較差的準(zhǔn)確率。

孿生網(wǎng)絡(luò)通過共享權(quán)重的主干網(wǎng)絡(luò)提取出圖片特征，通過特征向量判斷相似度。在分類樣本的監(jiān)督學(xué)習(xí)下，孿生網(wǎng)絡(luò)會最大化不同類別的表征，并最小化相同類別的表征［8］。由于采集了各可能故障的樣例，故使用孿生網(wǎng)絡(luò)在小樣本情況下能取得較好的結(jié)果。

通過上述各算法之間的性能比較，可以得出以下結(jié)論：雖然孿生網(wǎng)絡(luò)在樣本數(shù)量極少的情況下遜色于SVM 與融合的傳統(tǒng)方法，但是隨著訓(xùn)練樣本的增加，孿生網(wǎng)絡(luò)的性能迅速提升，能夠在小樣本時取得十分優(yōu)異的表現(xiàn)，并較為圓滿地完成任務(wù)。

5 結(jié)語

自動巡檢機器人以Turtlebot3 為原型，針對其特定工作對其進行了部分改裝升級，使用NVIDIA Jetson Nano 作為控制與運算模塊，使用孿生網(wǎng)絡(luò)作為其檢測算法。通過控制機器人沿巡檢路線進行巡檢，可以較好地判斷出發(fā)電機的運行狀態(tài)，在小樣本情況下有著較好的表現(xiàn)。并且，能夠在特殊情況下遠程控制并將圖像傳遞至電腦終端，實現(xiàn)其在極地或遠洋等極端情況下的自動巡檢功能。采用自動巡檢與遠程操控相互切換的兩種模式，在通信成本高、通信環(huán)境惡劣的極地遠洋環(huán)境下相比于實時監(jiān)控的方法魯棒性更強，具有一定的商業(yè)價值與戰(zhàn)略意義。