劉子儀 李兆新 陳建強(qiáng) 李書盼* 陸其波 宋威宏

1(西南交通大學(xué)電氣工程學(xué)院 四川 成都 611756) 2(華南理工大學(xué)電子與信息學(xué)院 廣東 廣州 510500) 3(廣州地鐵集團(tuán)有限公司 廣東 廣州 510310)

0 引 言

目前，列車故障檢測和預(yù)防大都是人工模式，需要列車在連續(xù)運(yùn)行一天或者幾天后入庫進(jìn)行整體檢修，整個檢修過程效率低，無法保證檢修質(zhì)量。隨著列車數(shù)量的不斷增加，傳統(tǒng)的列檢方式已經(jīng)不能滿足當(dāng)今高鐵運(yùn)營發(fā)展的急迫需要。因此，有必要將計算機(jī)視覺技術(shù)應(yīng)用到列車部件故障檢測中來，通過在列車檢修處安裝一系列的攝像頭，對攝像頭采集的圖像進(jìn)行畸變校正、配準(zhǔn)和檢測，從而判斷列車關(guān)鍵部件是否發(fā)生故障以及故障種類和故障位置，進(jìn)而提高列車檢修效率和準(zhǔn)確率。

基于計算機(jī)視覺的列車部件故障診斷技術(shù)常規(guī)流程如下：首先用攝像頭等圖像采集設(shè)備采集入庫列車相關(guān)圖像，并利用明顯標(biāo)志進(jìn)行圖像分割；接著利用圖像配準(zhǔn)技術(shù)對攝像頭采集到的列車圖像進(jìn)行拉伸和壓縮的恢復(fù)；然后在已恢復(fù)的列車圖像上定位關(guān)鍵部件位置；最后對已定位的關(guān)鍵部件進(jìn)行故障檢測和維修。其中關(guān)鍵技術(shù)包括圖像配準(zhǔn)和列車關(guān)鍵部件故障快速精準(zhǔn)檢測等。

1 圖像配準(zhǔn)

圖像配準(zhǔn)是指在不同時間、不同視角、不同傳感器情形下，對同一場景采集得到的兩幅圖像進(jìn)行幾何對齊。不同的配準(zhǔn)問題有對應(yīng)的最合適配準(zhǔn)方法，需要具體分析應(yīng)用場景的圖像噪聲干擾、傳感器成像特點(diǎn)、幾何形變規(guī)律、算法實(shí)時性等問題。

圖像配準(zhǔn)是計算機(jī)視覺領(lǐng)域中一個重要的研究方向，也是很多圖像處理方法的重要前提，在物體識別、目標(biāo)跟蹤、圖像拼接、圖像合成等諸多問題上有重要運(yùn)用。圖像預(yù)先配準(zhǔn)的精度通常關(guān)乎到后續(xù)處理流程的性能。國外從20世紀(jì)60年代開始研究圖像配準(zhǔn)問題[1]，并在20世紀(jì)末基本解決了單模圖像配準(zhǔn)問題。國內(nèi)研究起步相對較晚，從20世紀(jì)90年代初才開始涉足圖像配準(zhǔn)領(lǐng)域。圖像配準(zhǔn)可以應(yīng)用于衛(wèi)星遙感、醫(yī)療圖像、機(jī)器視覺等多個領(lǐng)域，在實(shí)際應(yīng)用時針對不同問題，使用的方法可能有所不同，但是關(guān)鍵處理步驟大體相同。大多數(shù)圖像配準(zhǔn)會有特征提取、特征匹配、圖像變換這三個環(huán)節(jié)，文獻(xiàn)[2]詳細(xì)地介紹了一些通用的圖像配準(zhǔn)方法。

1.1 特征提取

圖像特征大致分為區(qū)域特征、線特征、點(diǎn)特征[3]。圖像中某些區(qū)域、線段或點(diǎn)在旋轉(zhuǎn)、縮放和傾斜中是保持不變的，且能在環(huán)境噪聲、灰度拉伸等條件下保持穩(wěn)定。這些特征通常是圖中一些具有高對比度的部分[4]。

(1)區(qū)域特征提取。文獻(xiàn)[5]對圖像進(jìn)行分割，提取圖像中的閉邊界區(qū)域，以封閉邊界區(qū)域的重心為控制點(diǎn)，建立控制點(diǎn)之間的對應(yīng)關(guān)系，實(shí)現(xiàn)了圖像亞像素級精度的配準(zhǔn)。文獻(xiàn)[6]使用一個不包含邊緣點(diǎn)的虛擬圓背景區(qū)域來尋找平移或縮放關(guān)系，并使用平滑準(zhǔn)則來消除噪聲對虛擬圓的影響。文獻(xiàn)[7]在角點(diǎn)檢測中提出了放射不變鄰域的概念，并解釋了Harris的角點(diǎn)檢測算法估計圖像曲率的方式。上述提出的檢測器只適用于“L”節(jié)點(diǎn)，并且文章僅在圖形幾何上實(shí)驗(yàn)，未表明適用于現(xiàn)實(shí)情況下的實(shí)際數(shù)據(jù)。文獻(xiàn)[8]通過檢測最大穩(wěn)定極值區(qū)域下的仿射不變結(jié)構(gòu)獲取仿射幀，并根據(jù)仿射幀中光度計正態(tài)化的顏色測量值建立映射關(guān)系。

(2)線特征提取。文獻(xiàn)[9]針對光學(xué)圖像與SAR圖像的配準(zhǔn)問題，提出了一種基于主動輪廓模型的彈性輪廓匹配方案，能有效克服大量相干斑噪聲，具有更高的魯棒性和更低的控制點(diǎn)均方根誤差。該算法的局限性在于要求從光學(xué)圖像中檢測出定義良好的強(qiáng)輪廓作為初始輪廓。文獻(xiàn)[10]提出根據(jù)多模態(tài)醫(yī)學(xué)圖像模糊邊緣和脊形圖像實(shí)現(xiàn)精確配準(zhǔn)。該算法局限性在于不需要交互，因此缺乏人的主體性。

(3)點(diǎn)特征提取。文獻(xiàn)[11]提出了幾種無須預(yù)先分割的灰度圖像角值測量技術(shù)，利用圖像函數(shù)的二階偏導(dǎo)數(shù)進(jìn)行角檢測。文獻(xiàn)[12]開發(fā)了一種強(qiáng)大的角點(diǎn)檢測器，解決了圖像函數(shù)二階導(dǎo)數(shù)的角點(diǎn)檢測器對噪聲敏感的問題。文獻(xiàn)[13]以中心像素相同顏色的區(qū)域作為標(biāo)準(zhǔn)，提出了基于最小化局部圖像區(qū)域的特征檢測器，提出了基于平滑鄰域的降噪方法。文獻(xiàn)[14]設(shè)計了新的角點(diǎn)檢測算法，采用了多重網(wǎng)格方法，大大加快檢測速度。但是該算法的穩(wěn)定性和一致性均稍低于Harris角點(diǎn)檢測算法。文獻(xiàn)[15]提出了一種新的旋轉(zhuǎn)不變量方法，并設(shè)計了一種參數(shù)化角點(diǎn)檢測器，用于處理模糊和噪聲圖像。雖然該方法適用于任何圖像，但由于具有較高的一致性，是模糊圖像的局部檢測方法。文獻(xiàn)[16]設(shè)計了一種基于正則化理論并支持三維數(shù)據(jù)的角探測器。Harris檢測器[17]是與Forstner檢測器相似的又一種角點(diǎn)檢測器，其角點(diǎn)檢測效果如圖1所示。但是算法本身對尺度很敏感而且不具備幾何尺度不變性，算法提取到的角點(diǎn)是像素級的，在很多情況下不夠精確。

(a) (b)圖1 Harris角點(diǎn)檢測

1.2 特征匹配

特征匹配是指建立兩幅圖像中共有特征之間對應(yīng)關(guān)系的過程。從待配準(zhǔn)圖像中提取出特征后，依據(jù)圖像中灰度的鄰域信息、特征的空間分布或特征的符號描述進(jìn)行特征匹配，尋找參考圖像和待配準(zhǔn)圖像的特征對應(yīng)關(guān)系。特征匹配的方式主要分為基于空間關(guān)系和基于不變描述符兩類。

(1)基于空間關(guān)系的特征匹配。文獻(xiàn)[18]描述了基于圖形匹配算法的配準(zhǔn)，為了減小搜索域，提出了一種子集選擇方法以加快匹配速度。文獻(xiàn)[19]使用聚類的方法形成所有可能的圖像特征對和模型特征對，對圖像方向和內(nèi)容的變化具有更強(qiáng)的魯棒性。文獻(xiàn)[20]引入了斜面匹配的新技術(shù)，比較兩組形狀碎片的尺寸，允許在形狀的基礎(chǔ)上匹配廣泛的空間特征。在此文獻(xiàn)基礎(chǔ)上，文獻(xiàn)[21]提出了一個改進(jìn)的版本。

(2)基于不變描述符的特征匹配。部分文獻(xiàn)使用星型、矩形、多邊形等封閉邊界區(qū)域作為特征[22]；有的文獻(xiàn)使用基于矩不變量來描述封閉邊界區(qū)域特征[23-24]；還有一部分文獻(xiàn)使用基于特征對幾何不變性的描述符[25-27]。

1.3 圖像變換技術(shù)

圖像變換是圖像配準(zhǔn)成功的關(guān)鍵之一，選擇不同的圖像變換技術(shù)將直接影響圖像配準(zhǔn)的最終效果。因此在選擇圖像變換的模型時，必須對圖像的性質(zhì)進(jìn)行綜合分析，選擇最為合適的變換方法。下面簡要介紹圖像變換的基本原理及其在圖像配準(zhǔn)中的應(yīng)用。

在圖像變換中，兩幅圖像的映射關(guān)系大體分為線性變換和非線性變換。其中線性變換包含有剛體變換和非剛體變換。剛體變換在圖像變換中最為簡單，兩幅圖片之間只需要三個自由度的映射關(guān)系，變換后點(diǎn)與點(diǎn)的距離不發(fā)生改變，這意味著圖像只能實(shí)現(xiàn)旋轉(zhuǎn)和平移。剛體變換適用于具有同一個視角、來自同一個傳感器不同拍攝位置的圖像配準(zhǔn)，在醫(yī)學(xué)圖像中剛體變換運(yùn)用較多[28-29]。然而，在實(shí)際問題中非剛體形變居多，因此剛體變換在實(shí)際應(yīng)用中具有很大的局限性。非剛體變換包括相似變換、仿射變換、透視變換，其兩幅圖像之間映射自由度依次增加。

非線性變換不以自由度為劃分依據(jù)，其映射函數(shù)形式多種多樣。在進(jìn)行非線性變換時，圖像中各像素點(diǎn)之間的相對位置關(guān)系根據(jù)映射函數(shù)連續(xù)變化。最常見的非線性映射變換是彈性變換，其在醫(yī)學(xué)圖像配準(zhǔn)問題上應(yīng)用最為廣泛[30-32]。圖2展示了不同圖像變換的效果。

a)原圖像 (b)圖像剛體變換后的效果 (c)圖像相似變換后的效果

1.4 圖像配準(zhǔn)在列車關(guān)鍵部件檢測的應(yīng)用

由于列車在高速運(yùn)動中會因?yàn)檫B接部件的形變和減震器而導(dǎo)致車廂間相對運(yùn)動，對于像素級圖像配準(zhǔn)問題來說需要較高的精度，因此不能將列車運(yùn)動視為剛體運(yùn)動。而CCD線陣相機(jī)采集到的列車圖片也會由此產(chǎn)生較大的畸變，在整幅列車圖像中會存在部分圖像段壓縮、部分圖像段拉伸的現(xiàn)象。針對上述問題，在列車關(guān)鍵部件故障檢測之前需要對整幅列車圖像進(jìn)行精確配準(zhǔn)，確保整幅列車圖像各個位置都不會存在偏移和畸變，之后從整幅圖中以固定坐標(biāo)提取的部件圖像就會非常精確，為后續(xù)的各個項點(diǎn)單獨(dú)檢測提供了基礎(chǔ)。

文獻(xiàn)[33]提出了一種改進(jìn)的模板匹配算法對兩幅圖像進(jìn)行粗略對齊，并采用增強(qiáng)相關(guān)系數(shù)算法(ECC)進(jìn)行精確對齊。文獻(xiàn)[34]提出了采用兩個線結(jié)構(gòu)光傳感器完成列車輪對車輪輪緣檢測的技術(shù)方案，研究了在頻域內(nèi)進(jìn)行列車輪對三維點(diǎn)云的準(zhǔn)確配準(zhǔn)方法。此方法的缺陷在于其檢測精度和算法本身適應(yīng)性較低，尚不滿足實(shí)際要求。文獻(xiàn)[35]利用模板進(jìn)行比對檢測護(hù)欄缺失、異物入侵等運(yùn)行環(huán)境異常情況，提出D-SIFT特征描述子，成功地將深度信息運(yùn)用于前向運(yùn)動圖像的圖像配準(zhǔn)中。此方法的局限性在于其不能精確復(fù)原圖像不同子塊內(nèi)部的細(xì)節(jié)紋理，也無法完全精確地反映實(shí)際的光照變化情況。文獻(xiàn)[36]在動態(tài)測量鋼軌磨耗參數(shù)時，提出了一種基于動態(tài)窗口曲率熵的軌腰圓弧自動分割方法，實(shí)現(xiàn)了實(shí)測輪廓與標(biāo)準(zhǔn)設(shè)計輪廓的空間配準(zhǔn)，但是其算法實(shí)時性較差，僅能適用于160 km/h速度以下的列車。文獻(xiàn)[37]在列車運(yùn)行故障圖像的動態(tài)檢測中，結(jié)合SIFT特征，提出了一種基于分塊方式的圖像配準(zhǔn)方法。文獻(xiàn)[38]在使用結(jié)構(gòu)光傳感器測量車輪踏面輪廓數(shù)據(jù)時，提出了一種利用傅里葉變換和還原矩陣配準(zhǔn)點(diǎn)云的方法。該方法可靠性較高，但是輪對車軸定位中心孔的加工質(zhì)量、有無磕碰的情況會影響結(jié)果，需要在一致性上進(jìn)一步研究。文獻(xiàn)[39]提出了一種基于激光掃描結(jié)合點(diǎn)云處理的車頂異物檢測方法，使用了基于相關(guān)熵度量的魯棒ICP算法進(jìn)行點(diǎn)云配準(zhǔn)，實(shí)現(xiàn)較高的配準(zhǔn)精度和較快的收斂速度。但是以上方法在實(shí)際的實(shí)施過程中還存在一些問題，文獻(xiàn)實(shí)驗(yàn)僅限于在實(shí)驗(yàn)室環(huán)境中，無法模擬實(shí)際列車運(yùn)行中的列車晃動問題。文獻(xiàn)[40]針對車底光照變化影響較大、整體灰度值較暗、結(jié)構(gòu)復(fù)雜的問題，提出了一種基于軌邊圖像SURF特征的車底部件異常檢測算法，在匹配過程中加入了闊值調(diào)節(jié)模塊。文獻(xiàn)[41]對車廂圖像與標(biāo)準(zhǔn)圖像進(jìn)行配準(zhǔn)時，以互信息MI為相似度量函數(shù)，采用了基于灰度信息的配準(zhǔn)方法。文獻(xiàn)[42]在列車故障部位配準(zhǔn)時，考慮到非線性的不均勻光照以及列車車型的不同，采用了基于區(qū)域圖像灰度的幾何、物理等方面特征進(jìn)行配準(zhǔn)。

2 列車關(guān)鍵部件故障檢測

基于機(jī)器視覺的列車關(guān)鍵部件故障檢測包括了圖像處理的大部分內(nèi)容，如圖像預(yù)處理、特征提取、分類識別等。除了傳統(tǒng)的圖像檢測方法外，目前機(jī)器學(xué)習(xí)和深度學(xué)習(xí)也廣泛應(yīng)用于目標(biāo)檢測中，并且取得了很好的效果。目前，基于機(jī)器視覺的故障診斷技術(shù)在國內(nèi)外的研究還比較少，特別是針對包含多種類型的復(fù)合故障，還找不到一種通用的算法來實(shí)現(xiàn)檢測。

在圖像配準(zhǔn)的前提下，列車關(guān)鍵部件故障檢測需要運(yùn)用多種圖像處理技術(shù)，主要涉及圖像預(yù)處理、特征提取和模式識別三個過程，相關(guān)技術(shù)有圖像分割、邊緣提取、Hough變換、圖像匹配等[43-44]。同時，對列車關(guān)鍵部件進(jìn)行分類和故障診斷需要綜合運(yùn)用諸如SVM、神經(jīng)網(wǎng)絡(luò)等多種模型[45-46]。

2.1 基于模板匹配的關(guān)鍵部件故障檢測

模板匹配是模式識別的一種基本方法，其通過將圖像中特定位置的目標(biāo)對象與模板進(jìn)行匹配，從而識別出圖像中的特定物體。目前，模板匹配主要是通過圖像灰度值相關(guān)性匹配實(shí)現(xiàn)。針對列車項點(diǎn)故障檢測問題，可以運(yùn)用模版匹配的方法來實(shí)現(xiàn)。具體地，通過將獲得的圖像與模版進(jìn)行匹配，根據(jù)設(shè)置的閾值對模板匹配的結(jié)果進(jìn)行判斷，從而識別出物體故障[47-48]。

模板匹配算法有多種，需要針對不同的情形采用不同的算法。特別地，當(dāng)識別對象具有較好的輪廓或邊緣時，采用基于輪廓的模板匹配算法識別效果較好。文獻(xiàn)[49]在列車零部件故障診斷中，運(yùn)用了基于輪廓的模板匹配算法，實(shí)現(xiàn)了螺栓松動和丟失等故障檢測。該算法對傳統(tǒng)的基于灰度的匹配方法進(jìn)行了改進(jìn)，提高了識別精度和速度。一次模板匹配如圖3所示。將圖像預(yù)處理后的模版與原圖匹配，得到匹配后的灰度圖，將其進(jìn)行圖像處理后再與經(jīng)圖像處理的模板匹配，再設(shè)置閾值來判讀故障。實(shí)驗(yàn)表明該算法在實(shí)際應(yīng)用中匹配率高，同時還提高識別速度和精度，有效減少了光照的影響及像素失真問題。

(a)預(yù)處理后的模板

文獻(xiàn)[50]針對列車中的截斷塞門故障識別問題，提出了基于幾何特征匹配和基于形狀特征描述子匹配兩種識別方法?；趲缀翁卣鞯钠ヅ浞椒ㄖ恍枵页鰧ο蟮耐饨泳仃囂卣鬟M(jìn)行對比即可實(shí)現(xiàn)故障識別。而基于形狀描述子的匹配方法較為復(fù)雜，但是在截斷塞門故障識別上具有更高的精度和更快的速度，實(shí)用性相較前者來說更強(qiáng)。

通過模板匹配的方法實(shí)現(xiàn)列車關(guān)鍵部件故障診斷，需要檢測部件具有清晰的輪廓或邊緣，如螺栓、扭桿等部件，這種方法對于與模板圖有較高相似率的樣本圖有較高的識別率，但在實(shí)際應(yīng)用中局限性較大、魯棒性較差，不能有效解決圖像中識別對象變形等問題。

2.2 基于支持向量機(jī)的關(guān)鍵部件故障檢測

支持向量機(jī)(SVM)是基于Vapnik的統(tǒng)計學(xué)習(xí)理論和結(jié)構(gòu)風(fēng)險最小化原理的一系列學(xué)習(xí)算法，已成功應(yīng)用于各種分類識別任務(wù)中，如3D圖像識別、人臉識別、語音識別等。在解決小樣本識別、非線性分類及高維模式識別等問題中具有獨(dú)特優(yōu)勢。在項點(diǎn)檢測中，運(yùn)用SVM作為分類器，結(jié)合特征提取方法，對特征進(jìn)行分類，從而實(shí)現(xiàn)故障檢測。

文獻(xiàn)[51]提出利用梯度編碼直方圖和SVM來分析列車角度旋塞圖像，實(shí)現(xiàn)了列車角斗上手柄缺失故障的診斷，準(zhǔn)確率達(dá)到了99.8%。文獻(xiàn)[52]在源圖像中提取感興趣區(qū)域，利用梯度編碼直方圖和SVM來進(jìn)行列車中制動蹄鍵的定位，最后再通過訓(xùn)練SVM分類器實(shí)現(xiàn)制動蹄鍵的故障識別。實(shí)驗(yàn)表明該系統(tǒng)具有良好的識別精度和實(shí)時性。文獻(xiàn)[53]針對火車的擋鍵、枕簧和側(cè)立柱部位的故障圖像，將PCA與SVM結(jié)合實(shí)現(xiàn)火車部件故障診斷，展現(xiàn)了SVM分類器在貨車故障圖像識別領(lǐng)域的優(yōu)秀性能。文獻(xiàn)[54]針對貨車螺栓故障檢測，將HOG特征與SVM進(jìn)行結(jié)合，通過HOG方法進(jìn)行特征提取，利用SVM進(jìn)行分類，實(shí)現(xiàn)螺栓丟失故障的檢測。圖4為利用HOG特征和SVM對轉(zhuǎn)向架部位的螺栓進(jìn)行定位和故障檢測結(jié)果?？梢钥闯觯琀OG特征與SVM相結(jié)合的方法在故障檢測中具有很好的效果。

(a) (b)圖4 基于支持向量機(jī)的螺栓檢測

基于支持向量機(jī)的方法多用于列車側(cè)立柱、擋鍵、螺栓、閘片等部件的故障檢測。該方法適合小樣本的故障檢測，尤其是對于列車難以獲取圖片的情況[55-56]，但需要根據(jù)不同的場景選取不同的特征提取方法，如HOG特征、LBP特征，很難設(shè)計一種統(tǒng)一的方法來同時檢測和識別各種故障。

2.3 基于深度學(xué)習(xí)的關(guān)鍵部件故障檢測

人工神經(jīng)網(wǎng)絡(luò)(ANN)在基于圖像的故障檢測方面表現(xiàn)出明顯的優(yōu)越性[57-58]。然而人工神經(jīng)網(wǎng)絡(luò)進(jìn)行故障診斷需要人工選取特征，將會影響神經(jīng)網(wǎng)絡(luò)最終的識別精度。

現(xiàn)如今，深度學(xué)習(xí)是圖像識別的熱門方向，其獨(dú)有的圖像特征自主挖掘特點(diǎn)使其更受研究者青睞。2012年AlexNet模型的提出更是掀起了深度學(xué)習(xí)在圖像識別領(lǐng)域的熱潮。一個典型的基于卷積神經(jīng)圖像識別模型如圖5所示。其基本原理是首先對圖像進(jìn)行區(qū)域劃分，然后對圖像進(jìn)行特征提取，經(jīng)過一系列的處理后，根據(jù)輸出的圖像特征對每個區(qū)域進(jìn)行分類，最終達(dá)到圖像識別的目的。

圖5 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識別模型

近年來，研究者提出了一系列基于CNN模型的目標(biāo)檢測算法，如R-CNN、Fast R-CNN、Faster R-CNN算法，以及SSD、YOLO算法，不斷提高對目標(biāo)的檢測精度和速度。同時也有一系列基于深度學(xué)習(xí)圖像分割算法被提出，如FCN、Mask R-CNN算法等?；谏疃葘W(xué)習(xí)的項點(diǎn)檢測方面，在擁有大量圖像數(shù)據(jù)的基礎(chǔ)上，可以通過目標(biāo)檢測算法和圖像分割算法進(jìn)行網(wǎng)絡(luò)訓(xùn)練，實(shí)現(xiàn)項點(diǎn)故障的識別、定位、分割。傳統(tǒng)的基于圖像處理技術(shù)的故障識別需要通過對圖像特征進(jìn)行提取，這需要依賴大量可觀察的顯著圖像信息，因此對于一些信息不足的微小部件，識別精度會較低。而基于深度學(xué)習(xí)故障檢測方法則較好地解決了此類問題，因此在故障檢測方面具有巨大潛力。文獻(xiàn)[59]以檢測列車中心板螺栓為例，提出了一種將傳統(tǒng)視覺檢查與深度學(xué)習(xí)相結(jié)合的檢測方法，即首先采用傳統(tǒng)的特征提取方法近似定位目標(biāo)，然后利用一種復(fù)合積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，其結(jié)構(gòu)如圖6所示。實(shí)驗(yàn)結(jié)果表明該方法具有很強(qiáng)的數(shù)據(jù)挖掘和分類能力，取得了較高的準(zhǔn)確率，且具有良好的光照穩(wěn)健性。文獻(xiàn)[60]利用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對列車四種典型故障即列車側(cè)架鍵丟失、軸螺栓丟失、軸螺栓松動和螺栓丟失的識別。與基于HOG、Adaboost和SVM結(jié)合的模型相比，基于CNN的模型準(zhǔn)確率更高，魯棒性更強(qiáng)。

圖6 基于卷積神經(jīng)網(wǎng)絡(luò)的螺栓故障檢測模型

在支撐列車運(yùn)行的其他相關(guān)設(shè)備故障診斷中，文獻(xiàn)[61]針對接觸網(wǎng)支撐裝置上緊固件的缺失和松動等缺陷，提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)的缺陷檢測方法。文中提出了一個三階段的DCNN結(jié)構(gòu)，結(jié)構(gòu)如圖7所示。具體地，首先通過SSD算法實(shí)現(xiàn)緊固件部位的定位，然后通過YOLO算法實(shí)現(xiàn)緊固件的定位，最后利用一個DCNN結(jié)構(gòu)來實(shí)現(xiàn)緊固件的狀態(tài)識別，以此實(shí)現(xiàn)了緊固件的缺陷檢測，表明了該算法對緊固件的缺陷檢測具有良好魯棒性和較高的檢測率，針對復(fù)雜的環(huán)境具有較好的適應(yīng)性。

圖7 三級級聯(lián)DCNN結(jié)構(gòu)

基于深度學(xué)習(xí)的列車關(guān)鍵部件故障診斷方法能夠有效地解決由于惡劣天氣、拍攝角度變化、光照變化等原因造成的一些低質(zhì)量圖像的問題[60,62]。與傳統(tǒng)的機(jī)器學(xué)習(xí)方法不同，該方法采用端到端的方式學(xué)習(xí)原始圖像，故可以處理更多不同形式的故障。然而，限于樣本數(shù)量的問題，基于深度學(xué)習(xí)的列車關(guān)鍵部件故障診斷方法多用于螺栓、閘片、受電弓、鎖扣等部件的故障檢測。

為比較不同模型對列車關(guān)鍵部件故障診斷的有效性，選取模板匹配、HOG結(jié)合一分類SVM、SSD512，以及Fatser R-CNN模型實(shí)現(xiàn)列車電氣箱蓋鎖扣的故障檢測。如圖8所示，共包含4種電氣箱蓋，其正常鎖扣形式以及故障鎖扣形式如圖9所示。

(a) (b)

(a)鎖扣正常 (b)鎖扣正常 (c)鎖扣斷裂 (d)鎖扣丟失圖9 鎖扣狀態(tài)

實(shí)際獲取的電氣箱蓋鎖扣樣本存在不均衡的問題，故結(jié)合一分類的思想只利用正樣本訓(xùn)練模型。最后，利用訓(xùn)練好的模型對157個正樣本和6個負(fù)樣本進(jìn)行測試，四種模型的測試結(jié)果如表1所示。其中準(zhǔn)確率、誤檢率和漏檢率的定義如下：

表1 四種模型測試結(jié)果(%)

(1)

(2)

(3)

式中：NTP表示正樣本被正確分類的數(shù)量；NTN表示負(fù)樣本被正確分類的數(shù)量；NFP表示負(fù)樣本被分為正樣本的數(shù)量；NFN表示正樣本被分為負(fù)樣本的數(shù)量。從測試結(jié)果可以看出，傳統(tǒng)的模板匹配算法由于魯棒性低，易受環(huán)境干擾等原因使得檢測精度較低，并且其誤檢率較高，不適用于實(shí)際項目?；跈C(jī)器學(xué)習(xí)的HOG+SVM，能夠提取樣本的有效故障特征，從而提高檢測精度?；谏疃葘W(xué)習(xí)的SSD512和FasterR-CNN模型在提取樣本故障特征時能避免光照、拍攝角度的變化，從而使得模型魯棒性很強(qiáng)且檢測精度也很高。

目前，隨著采集的列車部件樣本數(shù)量的不斷增多，更多學(xué)者致力于研究基于深度學(xué)習(xí)的故障檢測方法，從而避免環(huán)境復(fù)雜造成的影響，且模型泛化能力更強(qiáng)。

3 3D檢測

隨著3D技術(shù)的不斷發(fā)展，實(shí)現(xiàn)列車部件故障診斷不再局限于2D圖像。利用3D檢測技術(shù)獲得的三維點(diǎn)云數(shù)據(jù)不僅準(zhǔn)確地記錄了物體的空間坐標(biāo)，還能記錄物體的三維形貌，相對于二維數(shù)據(jù)增加了深度信息，從而提高故障檢測的精度。

近些年來，三維立體測量技術(shù)在國際上已形成研究浪潮，美國、德國等在國際上具有領(lǐng)導(dǎo)地位，且先后研制出多種立體測量產(chǎn)品。目前3D目標(biāo)檢測主要依賴單目相機(jī)、雙目相機(jī)、多線激光雷達(dá)獲取輸入數(shù)據(jù)。隨著產(chǎn)業(yè)的優(yōu)化升級，成本在不斷降低，激光雷達(dá)搭配單目相機(jī)也變得越來越普遍。三維立體測量技術(shù)開始在諸多領(lǐng)域得到了實(shí)際的應(yīng)用，比如通用汽車公司的車身快速檢測系統(tǒng)[63]。

2019年西南交通大學(xué)的李金龍副教授使用激光線結(jié)構(gòu)光掃描儀得到機(jī)車走行部三維點(diǎn)云數(shù)據(jù)，實(shí)現(xiàn)了在三維數(shù)據(jù)中對螺栓進(jìn)行自動識別和定位[64-65]。在CVPR2019中香港中文大學(xué)和商湯科技王曉剛教授團(tuán)隊提出GS3D，采用單目攝像頭獲取數(shù)據(jù)作為算法輸入，GS3D獲取粗糙的目標(biāo)的位置、尺寸、方向能夠指導(dǎo)下一步物體屬性的精細(xì)化工作。同時，提出使用物體表面提取的特征解決特征模糊問題，與現(xiàn)在SOT的RGB單幅圖像3D目標(biāo)檢測方法進(jìn)行了橫向?qū)Ρ?，包括Mono3D、Deep3DBox、DeepManta、MF3D和3DOP等，發(fā)現(xiàn)GS3D在各方面的指標(biāo)均表現(xiàn)出了一定的優(yōu)越性[66]。利用單目攝像頭獲取數(shù)據(jù)的方法往往在傳感器方面會極大程度地節(jié)省成本，但是算法上要求會更高，甚至大多數(shù)情況下無法實(shí)現(xiàn)實(shí)時檢測，比較適合線下檢測。

隨著3D檢測技術(shù)的發(fā)展，將3D檢測技術(shù)應(yīng)用于軌道交通領(lǐng)域成為機(jī)器視覺的研究熱點(diǎn)之一。文獻(xiàn)[67]將3D激光掃描技術(shù)運(yùn)用在城軌車輛組裝檢測中，通過該技術(shù)可以直接得到實(shí)物的三維模型，并將其與預(yù)先的三維數(shù)據(jù)進(jìn)行對比分析，實(shí)現(xiàn)了產(chǎn)品的尺寸需求檢測。3D檢測技術(shù)已經(jīng)基本趨向成熟，但對于大尺度物體，無法實(shí)現(xiàn)一次性完整掃描。因此手持激光掃描儀在軌道交通故障診斷領(lǐng)域的使用范圍十分局限，比較適合工人巡檢時對特定物體進(jìn)行掃描，或巡檢機(jī)器人上裝配掃描儀進(jìn)行診斷。文獻(xiàn)[68]介紹了一種基于CCD圖像處理的線結(jié)構(gòu)光三維檢測技術(shù)，實(shí)現(xiàn)了對火車輪對外徑的三維檢測。文獻(xiàn)[69]在鋼軌檢測中利用相位測量輪廓，實(shí)現(xiàn)了對鋼軌表面缺陷和形狀的三維重建，再通過模板匹配的方式最終實(shí)現(xiàn)故障檢測?；贑CD的三維檢測技術(shù)在列車外形故障檢測中具有抗光照干擾最好的效果，并且能夠直接測量出車體零部件形變程度、磨損量等。然而由于CCD利用照射在物體表面的結(jié)構(gòu)光反射回來的光進(jìn)行深度值的測量，在深度值變化劇烈的區(qū)域，會存在數(shù)據(jù)缺失的可能。除了數(shù)據(jù)缺失問題，相機(jī)的安裝環(huán)境也存在極大的困難，如檢測列車車底，則需要在軌道上進(jìn)行安裝，列車行駛時產(chǎn)生的振動也會影響到采集精度。文獻(xiàn)[70]利用3D掃描技術(shù)獲取列車側(cè)面和底部可見部件的外觀圖像，通過對圖像中的特征點(diǎn)進(jìn)行檢測并使用標(biāo)準(zhǔn)模板進(jìn)行圖像配準(zhǔn)，最后通過比較灰度值和評估特征匹配程度等方式實(shí)現(xiàn)列車部件故障識別。文獻(xiàn)[71]使用高速3D攝像機(jī)獲取鐵路緊固件的實(shí)時圖像，采用基于像素相似性或直方圖相似性的方法對采集到的3D圖像進(jìn)行分析，最終實(shí)現(xiàn)對鐵路緊固件的故障識別。利用模板匹配和相似度分析實(shí)現(xiàn)列車部件故障診斷，需要較高的計算時間，并且隨著時間的推移需要更新模板庫。除此之外其應(yīng)用范圍窄，某些故障并不能通過模板匹配或者相似度判斷進(jìn)行判斷。隨著獲取數(shù)據(jù)量的增多，更多學(xué)者研究基于深度學(xué)習(xí)的故障診斷方法。文獻(xiàn)[72]針對鐵路表面的斷裂、沖刷和磨損等橫向缺陷，提出使用3D激光相機(jī)獲取鐵軌圖像，并結(jié)合深度學(xué)習(xí)的方法來實(shí)現(xiàn)鐵路表面缺陷檢測。基于深度學(xué)習(xí)的方法進(jìn)行缺陷檢測的優(yōu)勢在于高速的識別速度、準(zhǔn)確的識別結(jié)構(gòu)。但是仍然存在致命缺陷，負(fù)樣本數(shù)目過少，很容易出現(xiàn)過擬合的問題。文獻(xiàn)[73]針對列車螺栓松動故障，提出了一種基于雙目視覺的螺栓松動檢測方法。首先，利用基于卷積神經(jīng)網(wǎng)絡(luò)模型對包括螺栓在內(nèi)的關(guān)鍵部件區(qū)域行定位。然后再進(jìn)行立體匹配和三維重建以檢測螺栓松動故障。實(shí)驗(yàn)結(jié)果表明，該方法可以同時表征多個螺栓的松動，并且獲得較高準(zhǔn)確率，其相對誤差控制在1.09%以內(nèi)。雙目視覺的立體匹配算法雖然在理論上已經(jīng)基本成熟，但是在工程運(yùn)用中仍然無法消除各種各樣的干擾，因此純粹的視覺雙目相機(jī)工程使用很少，通常是輔助其他的相機(jī)(如紅外相機(jī))。

4 列車關(guān)鍵部件故障診斷發(fā)展趨勢

實(shí)現(xiàn)列車關(guān)鍵部件故障診斷技術(shù)可以降低人工成本以及工人的勞動強(qiáng)度，同時提高列車關(guān)鍵部件的故障檢測精度，防止列車在運(yùn)行過程中發(fā)生重大事故。由上文可知，在整個列車關(guān)鍵部件故障診斷的流程中，很多方法仍然存在局限性。目前基于機(jī)器視覺的列車部件故障診斷方法還在不斷完善和向前發(fā)展。其主要發(fā)展方向有以下3個：

1)在大數(shù)據(jù)背景下，列車關(guān)鍵部件的檢測和故障診斷將不再局限于傳統(tǒng)的圖像處理方法。特別是基于模板匹配的關(guān)鍵部件檢測和故障診斷具有弱魯棒性，會造成很高的漏檢率和誤檢率?？紤]到深度學(xué)習(xí)在目標(biāo)檢測、圖像分割等方面的成功應(yīng)用，可以將相應(yīng)的深度學(xué)習(xí)方法移植到列車關(guān)鍵部件故障診斷的應(yīng)用中。當(dāng)然，由于列車檢修環(huán)境的復(fù)雜性和不確定性，如何提高深度學(xué)習(xí)在列車關(guān)鍵部件故障診斷上的泛化能力將是未來需要深入研究的問題。

2)基于三維立體圖像的列車關(guān)鍵部件故障診斷研究。到目前為止，大多數(shù)利用圖像進(jìn)行故障診斷的技術(shù)都是基于二維圖像，其所有的角度和視點(diǎn)都是固定的。相對于二維圖像，利用3D相機(jī)獲得的三維立體圖像可以實(shí)現(xiàn)多視角的可視化，有利于對圖像的全面分析和理解。因此利用3D檢測技術(shù)實(shí)現(xiàn)列車圖像的配準(zhǔn)以及關(guān)鍵部件的故障檢測也將是一個主要的發(fā)展趨勢。

3)基于機(jī)器視覺的關(guān)鍵部件故障診斷方法只需要通過圖像即可判斷列車關(guān)鍵部件表面是否存在故障或是列車關(guān)鍵部件是否丟失。然而，對于列車關(guān)鍵部件內(nèi)部是否存在故障，僅僅依靠圖像無法完成判斷，如轉(zhuǎn)向架空氣彈簧失效問題。因此，多種方法融合的故障診斷方式，如基于機(jī)器視覺和信號處理的列車關(guān)鍵部件故障診斷方式，將是未來的一個研究熱點(diǎn)。

5 結(jié) 語

作為機(jī)器視覺領(lǐng)域中的應(yīng)用研究熱點(diǎn)之一，列車關(guān)鍵部件故障診斷主要包含兩部分的內(nèi)容，即圖像配準(zhǔn)和故障診斷。本文通過對這兩部分技術(shù)研究成果以及3D檢測技術(shù)研究成果的綜述，分析比較了以往研究算法的特點(diǎn)、適用場景、國內(nèi)外發(fā)展現(xiàn)狀及優(yōu)缺點(diǎn)，最后展望了列車關(guān)鍵部件故障診斷的發(fā)展趨勢。目前，基于機(jī)器視覺的列車關(guān)鍵部件故障診斷的應(yīng)用研究還處于初期階段，還需要進(jìn)一步地對相關(guān)問題進(jìn)行深入挖掘、分析，并探究其解決方案，為我國各類型軌道交通安全運(yùn)營保駕護(hù)航。