周 雯,史天運,李 平,馬小寧,楊 凱

(1.中國鐵道科學(xué)研究院，北京 100081； 2.中國鐵道科學(xué)研究院 電子計算技術(shù)研究所，北京 100081)

我國鐵路運輸高速發(fā)展，旅客周轉(zhuǎn)量、運輸密度、運輸里程等均居世界第一。歷經(jīng)多次大提速后運行速度顯著提高，周轉(zhuǎn)時間縮短，列檢保證區(qū)段延長，動車組運行的安全性受到越來越多的關(guān)注。動車組結(jié)構(gòu)復(fù)雜，由大量的零部件構(gòu)成，即使是細小的零部件損壞，也可能造成災(zāi)難性事故，及時發(fā)現(xiàn)缺陷并修復(fù)關(guān)鍵零部件，如齒輪箱、轉(zhuǎn)向架及異物懸掛，可以提升動車組的運輸效率和安全保障。過去幾年中，可用于多種自動操作、計算機視覺和數(shù)字圖像處理的應(yīng)用逐漸得到普及[1]。動車組運行故障動態(tài)圖像檢測系統(tǒng)TEDS是一種實時圖像采集識別系統(tǒng)，是計算機和圖像處理技術(shù)應(yīng)用于鐵路工程的典型案例。圖1為該系統(tǒng)的組成和工作原理。TEDS圖像采集模塊由4個側(cè)部相機和5個底部相機組成，能夠?qū)榆嚱M底部及側(cè)部可視部件進行線陣圖像采集，采集范圍主要包括：底部可視部件(車體底部及轉(zhuǎn)向架制動裝置、傳動裝置、牽引裝置、輪軸、車鉤裝置、電務(wù)車載設(shè)備車底部件)、側(cè)部可視部件(側(cè)部裙板、轉(zhuǎn)向架及軸箱、車端連接部等可視部位)。在數(shù)據(jù)處理中心簡單操作后，圖像被傳送到監(jiān)視室以供室內(nèi)檢查員查看分析。由于檢測精度低，缺陷檢測在TEDS中尚未完全實現(xiàn)自動，需要室內(nèi)檢查員進行二次識別，效率低且質(zhì)量不可控。因此，進行自動的TEDS缺陷檢測研究具有重要的意義。

圖1 動車組運行故障動態(tài)圖像檢測系統(tǒng)概覽

動車組車底、轉(zhuǎn)向架等關(guān)鍵部件結(jié)構(gòu)復(fù)雜，運行過程中，易受運行環(huán)境的影響而懸掛異物，如樹枝、紙片、塑料袋、瓶子等，若不及時發(fā)現(xiàn)并清理異物，將會影響動車組關(guān)鍵部件的正常工作，導(dǎo)致動車組的運行安全受到威脅。此外，齒輪箱、抗蛇行減震器等關(guān)鍵部件的漏油，車底防松鐵絲的斷裂也會影響動車組的安全性，見圖2。本文以TEDS缺陷自動檢測及分割為主要研究任務(wù)，該任務(wù)有3個主要特點，一是懸掛異物的尺度多樣化，例如，輸入圖像為512×512像素，最小異物的尺度為25×25像素，占整幅圖像的0.24%，最大異物的尺度為461×431像素，占整幅圖像的76%，而多尺度目標(biāo)檢測為視覺任務(wù)中的一個挑戰(zhàn)；二是缺陷數(shù)量遠小于背景數(shù)量，例如，動車組轉(zhuǎn)向架制動、牽引裝置等復(fù)雜的零部件結(jié)構(gòu)作為背景，其零部件多達30種以上，而每幅圖像缺陷類別可能僅有1個，見圖2(a)；三是漏油缺陷尺寸多樣且與背景結(jié)構(gòu)差異小，導(dǎo)致邊界不清晰，見圖2(c)。針對TEDS缺陷檢測任務(wù)的特點與難點，提出基于卷積神經(jīng)網(wǎng)絡(luò)的TEDS缺陷檢測模型。該模型通過特征金字塔網(wǎng)絡(luò)提取多尺度融合特征，利用區(qū)域提議網(wǎng)絡(luò)生成候選的未知缺陷類別區(qū)域ROI(Region of Interest)，通過預(yù)測網(wǎng)絡(luò)合成ROI和多尺度融合特征圖的映射信息并對ROI進行識別和位置回歸，并通過分割網(wǎng)絡(luò)生成預(yù)測區(qū)域的掩碼。兩個優(yōu)化方法OHEM和DCN針對正負樣本不平衡和缺陷尺寸多變的情況，提升缺陷檢測模型的性能，特別是小尺寸缺陷的檢測精度。

圖2 復(fù)雜背景下的TEDS缺陷

1 相關(guān)工作

1.1 鐵路圖像缺陷檢測研究現(xiàn)狀

近年來，一些學(xué)者開始探索鐵路業(yè)務(wù)領(lǐng)域的目標(biāo)自動檢測系統(tǒng)，如貨車故障動態(tài)圖像檢測系統(tǒng)TFDS，該研究過程可分為3個階段。

第一個階段是基于圖像處理算法的應(yīng)用，該階段中目標(biāo)檢測的方法僅依靠圖像處理，例如圖像分割和特征匹配，這些方法需要大量的先驗知識。文獻[2]提出一種基于霍夫變換和模板匹配的鐵路貨車承載故障檢測系統(tǒng)；文獻[3]采用局部歸一化的圖像處理算法，實現(xiàn)基于投影輪廓的鐵軌缺陷檢測。然而，這些方法的主要缺點是檢測精度較低，特別是在圖像背景復(fù)雜的情況下。

第二個階段是基于機器學(xué)習(xí)算法的應(yīng)用，旨在提高目標(biāo)檢測的效率和精度。文獻[4]采用基于支持向量機的分類器檢測貨車的閘瓦插銷是否丟失；文獻[5]研究了貨車轉(zhuǎn)向架自動視覺檢測系統(tǒng)，利用梯度編碼共生矩陣特征和支持向量機識別零部件缺失的故障；文獻[6]使用線性SVM模型檢查貨車緊固螺栓，該模型使用定向梯度直方圖HOG特征訓(xùn)練，超越了95%的識別率；文獻[7]采用基于灰度投影的方法確定螺栓區(qū)域，然后用基于定向梯度的稀疏直方圖和支持向量機的檢測器確定是否為螺栓區(qū)域。上述方法都是基于手工設(shè)計特征或圖像的統(tǒng)計特征，雖然優(yōu)于基于圖像處理的方法，但是不同的目標(biāo)需要設(shè)計不同的特征和大量的專家知識，算法的穩(wěn)健性較低。

第三個階段是基于深度卷積神經(jīng)網(wǎng)絡(luò)算法的應(yīng)用，與前兩個階段的技術(shù)相比，深度卷積神經(jīng)網(wǎng)絡(luò)可以獲得更豐富、更抽象的通用特征，并在定位精度、識別準(zhǔn)確率和速度方面取得更好的結(jié)果。文獻[8]提出了基于卷積神經(jīng)網(wǎng)絡(luò)的TFDS(Trouble of Moving Freight Car Detection System)故障自動識別，相比較傳統(tǒng)方法識別精度得到提升。然而，用于區(qū)域定位和故障分類的兩個模型增加了系統(tǒng)的復(fù)雜性，并且未考慮小目標(biāo)的檢測，且采用選擇性搜索生成候選區(qū)域十分耗時。

文獻[9]針對CRH3型動車組牽引逆變器絕緣柵雙極型晶體開路問題，利用鍵合圖對非線性的牽引逆變器進行建模，利用最小二乘法對系統(tǒng)當(dāng)前行為進行辨識，通過比較系統(tǒng)的實際行為以及預(yù)期行為，產(chǎn)生故障識別向量，從而對開路IGBT進行識別和定位。文獻[10]提出一種基于機器視覺的列車外齒輪磨損狀態(tài)定量檢測方法，結(jié)合分塊分割、區(qū)域聚合及邊緣修正，實現(xiàn)齒面圖像嚙合區(qū)分割。TEDS在TFDS等5T系統(tǒng)在全路的成功推廣下應(yīng)用而生，將貨車運行狀態(tài)的監(jiān)測擴展至動車組領(lǐng)域，上述研究為TEDS和基于卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測方法的結(jié)合提供了基礎(chǔ)。然而，動車組的結(jié)構(gòu)相對而言更為復(fù)雜，零部件種類多樣，因此，基于卷積神經(jīng)網(wǎng)絡(luò)的TEDS缺陷自動檢測的研究非常必要。

1.2 基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法分析

近年來，深度卷積神經(jīng)網(wǎng)絡(luò)CNN已經(jīng)成為直接從圖像數(shù)據(jù)中自動學(xué)習(xí)復(fù)雜、精細、抽象的通用特征表達的有力方法，并且推動目標(biāo)檢測領(lǐng)域取得了重大突破。目標(biāo)檢測旨在圖像中識別預(yù)定義類別的實例，并返回其空間位置，而實例分割是在目標(biāo)檢測的基礎(chǔ)上返回實例的像素范圍并區(qū)分相同類別的不同實例，因此，目標(biāo)檢測邊框可能包含對分析有用的背景區(qū)域，而實例分割只包含目標(biāo)區(qū)域。

基于CNN的目標(biāo)檢測算法大致可以分為一階段方法和兩階段方法。一階段方法是直接從整幅圖像中識別預(yù)定義類別實例和回歸其位置，如YOLO、SSD[11-12]，該方法速度快，可實現(xiàn)實時檢測。然而，它的檢測精度低，特別是對小目標(biāo)物體的檢測。兩階段方法首先從圖像中生成與類別無關(guān)的候選區(qū)域，然后利用RCNN確定區(qū)域的位置和類別。Faster RCNN[13]提出基于CNN的候選區(qū)域提議網(wǎng)絡(luò)RPN，首次利用單一的網(wǎng)絡(luò)完成候選區(qū)域生成和區(qū)域分類，該算法同時具備精度高、速度快的優(yōu)點。Mask RCNN[14]通過添加候選區(qū)域二進制掩碼輸出的分支擴展Faster RCNN實現(xiàn)實例分割，該算法精度高，結(jié)構(gòu)簡單靈活。就多尺度檢測而言，F(xiàn)PN[15]利用特征金字塔不同尺度的特征圖實現(xiàn)多尺度目標(biāo)檢測。另外，基準(zhǔn)數(shù)據(jù)集(PASCAL VOC，MS COCO等)的最新領(lǐng)先結(jié)果都是基于Faster RCNN的，如ORN、MegDet[16-17]。

本文提出的模型采用兩階段的方法，實現(xiàn)TEDS缺陷的自動檢測，同時克服了復(fù)雜背景下正負樣本不平衡和缺陷形態(tài)尺寸變化多樣的困難，提高了檢測精度。

2 動車組缺陷檢測與分割模型

基于卷積神經(jīng)網(wǎng)絡(luò)的TEDS缺陷自動檢測與分割模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，該模型由4個連接的子網(wǎng)絡(luò)組成：特征金字塔網(wǎng)絡(luò)、區(qū)域提議網(wǎng)絡(luò)、預(yù)測網(wǎng)絡(luò)和分割網(wǎng)絡(luò)。為了解決復(fù)雜背景下正負樣本的不平衡問題，增加了只讀的在線困難樣本挖掘網(wǎng)絡(luò)，篩選困難樣本，同時，加入可變形卷積以提高多形態(tài)缺陷的定位和分割精度。

圖3 缺陷檢測與分割模型網(wǎng)絡(luò)結(jié)構(gòu)

2.1 特征金字塔網(wǎng)絡(luò)

特征金字塔網(wǎng)絡(luò)用來生成多尺度的具有豐富語義信息融合的特征圖，該子網(wǎng)絡(luò)包括自底向上的下采樣過程，自頂向下的上采樣過程，低分辨率、高語義信息的高層特征和高分辨率、低語義信息的低層特征自上而下的融合，見圖3中藍色部分。其中，自底向上的部分是ResNet-101基礎(chǔ)網(wǎng)絡(luò)的前向過程。任意尺寸的TEDS圖像輸入網(wǎng)絡(luò)后，重新定義為512×512像素，以步長為2的下采樣計算多尺度特征圖，每個階段最后一個殘差結(jié)構(gòu)的輸出為特征圖，表示為{C2,C3,C4,C5}；自頂向下的上采樣過程采用步長為2的最近鄰插值方法，使得上采樣后的特征圖具有和下一層特征圖相同的大小；側(cè)邊橫向連接將上采樣的結(jié)果和自底向上生成的特征圖進行融合，即將特征圖{C2,C3,C4,C5}進行1×1的卷積操作，產(chǎn)生和后一層維度相同的特征圖，然后融合不同層的特征圖，得到一個新的具有更豐富信息融合的特征圖。在特征融合之后，采用3×3的卷積層對每個融合結(jié)果進行卷積，目的是消除上采樣的混疊效應(yīng)，最后得到的特征圖表示為{P2,P3,P4,P5} ，尺寸分別為128×128、64×64、32×32、16×16。

2.2 區(qū)域提議網(wǎng)絡(luò)

區(qū)域提議網(wǎng)絡(luò)用于在密集的錨框中初步選擇正樣本生成ROIs，見圖3中綠色部分。將特征圖{P2,P3,P4,P5,P6}作為輸入，P6是由P5經(jīng)過步長為2的下采樣得到的大小為8×8像素的特征圖；在特征圖中每個像素點位置利用3×3的卷積層和k個錨框生成k個ROI，每個ROI都具有初步位置回歸信息和正負樣本標(biāo)記(缺陷或背景)；利用非極大值抑制消除重復(fù)的ROI。這是粗略檢測的過程，為預(yù)測網(wǎng)絡(luò)提供先驗信息，進一步生成缺陷分類和更準(zhǔn)確的位置，并且減少了預(yù)測網(wǎng)絡(luò)的搜索空間。

2.3 預(yù)測與分割網(wǎng)絡(luò)

預(yù)測網(wǎng)絡(luò)用于將區(qū)域提議網(wǎng)絡(luò)選擇的ROIs進行正確分類和位置回歸，見圖3中紫色部分。首先，RoI Align層合成ROIs和特征圖的映射信息，來提取7×7的ROIs特征圖，對于任一個大小為w×h的ROI和特征圖{P2,P3,P4,P5,P6}的映射規(guī)則為

k=k0+log2(wh224)

(1)

其中：k0=4。假設(shè)原圖中有一個大小為335×335的ROI，映射到層后特征圖的大小為10.47×10.47(335/32=10.47，其中32為下采樣步長)，特征圖輸入Pooling層后固定為7×7大小，即將10.47×10.47的ROI劃分為49個同等大小的小區(qū)域，每個區(qū)域大小為1.49×1.49(10.47/7=1.49)，再采用雙線性插值法計算每個小區(qū)域的像素值，組成7×7大小的特征圖； 然后通過兩個1 024的全連接層執(zhí)行分類和回歸以獲得準(zhǔn)確的邊界框。

分割網(wǎng)絡(luò)用于缺陷的實例分割，見圖3中粉色部分。同預(yù)測網(wǎng)絡(luò)一樣，利用RoI Align層提取7×7的ROIs特征圖，通過4個3×3的卷積層，1個2×2的反卷積層和1個1×1的卷積層生成缺陷實例的掩碼。

整個模型采用了多任務(wù)損失函數(shù)，包含分類損失值、位置回歸損失值和掩碼損失值，多任務(wù)損失函數(shù)為

(2)

式中：i為錨框的索引；li為標(biāo)注的類標(biāo)簽；gi為標(biāo)注的位置信息；pi和ci分別為錨框i在區(qū)域提議網(wǎng)絡(luò)中為前景的概率和位置初步偏移值，ti和di分別為在預(yù)測網(wǎng)絡(luò)中錨框i的類別概率和位置信息；mij為分割網(wǎng)絡(luò)中錨框i掩碼的第j個像素點的二進制掩碼；Nc、Nd和Nm分別為區(qū)域提議網(wǎng)絡(luò)、預(yù)測網(wǎng)絡(luò)和分割網(wǎng)絡(luò)的正樣本錨框數(shù)量；M為錨框i掩碼的像素點數(shù)量；Lc為區(qū)域提議網(wǎng)絡(luò)中兩個類別(前景或背景)的交叉熵損失；Ld為預(yù)測網(wǎng)絡(luò)中多個類別置信值的softmax損失；Lr為位置回歸的smoothL1損失；Lm為分割網(wǎng)絡(luò)中掩碼像素點的二值交叉熵損失；I(·)為指示函數(shù)，li≥1表示錨框i是正樣本，li=k表示錨框i為類別k。

2.4 在線困難樣本挖掘

TEDS缺陷檢測任務(wù)中缺陷的數(shù)量遠小于背景的數(shù)量，導(dǎo)致模型訓(xùn)練過程中出現(xiàn)大量的假陽性結(jié)果，為了防止損失函數(shù)受到大量假陽性樣本的支配，常規(guī)方法是設(shè)置預(yù)測網(wǎng)絡(luò)的一些關(guān)鍵參數(shù)，如缺陷ROI區(qū)域和標(biāo)注區(qū)域的IoU閾值(≥0.5)、背景ROI區(qū)域和標(biāo)注區(qū)域的IoU閾值間隔([0.1,0.5))、及缺陷ROI和背景ROI的比例(1∶3)，其中25%的缺陷ROIs是隨機選取的，而不考慮簡單或困難樣本。困難樣本是指在訓(xùn)練過程中出現(xiàn)的損失值較高的ROIs。

由OHEM理論可知[18]，OHEM是將篩選出來的困難樣本重新輸入預(yù)測網(wǎng)絡(luò)進行訓(xùn)練，以平衡正負樣本比例，提升模型的識別準(zhǔn)確率。OHEM增加一個只讀的候選區(qū)域生成網(wǎng)絡(luò)，只進行前向傳播，根據(jù)損失值對ROIs進行降序排序，圖3中紅色部分為OHEM的處理過程。該網(wǎng)絡(luò)和預(yù)測網(wǎng)絡(luò)共享特征參數(shù)，將區(qū)域提議網(wǎng)絡(luò)產(chǎn)生的ROIs作為輸入，并將前128個損失值較大的ROIs樣本作為困難樣本輸出，用于網(wǎng)絡(luò)訓(xùn)練和參數(shù)更新。 OHEM有助于減少參數(shù)設(shè)置的大量實驗，并降低訓(xùn)練過程中的損失函數(shù)。

2.5 可變形卷積

TEDS圖像缺陷的尺寸和形態(tài)多樣，通常情況下，CNN利用數(shù)據(jù)增強的方式增加樣本的復(fù)雜性來適應(yīng)這種多樣化，如圖像的翻轉(zhuǎn)、裁剪、仿射變換等。然而，這種方式很難學(xué)習(xí)到缺陷幾何變形的內(nèi)在機制。為了解決該問題，在預(yù)測網(wǎng)絡(luò)和分割網(wǎng)絡(luò)的ROI Align層中引入可變形卷積DCN[19]?？勺冃尉矸e核的每一個元素有一個偏移值，感受的范圍隨著物體形狀不同而發(fā)生變化，而常規(guī)卷積核的感受野固定不變。常規(guī)卷積核和可變形卷積核分別為

(3)

(4)

式中：w為卷積核的值；Δk和Δl為k和l的偏移值。

核參數(shù)(k,l)和偏移值(Δk,Δl)在網(wǎng)絡(luò)訓(xùn)練過程中通過兩個3×3卷積層[19]分別學(xué)習(xí)得到?？勺冃尉矸e可以隨著缺陷形態(tài)的變化改變采樣點的位置，增強缺陷的定位和分割能力，另外，還可以改變感受野的范圍，這點對不同尺度的缺陷至關(guān)重要，特別是小尺度缺陷。如圖4中紅色的曲線表示經(jīng)過可變形卷積后的定位和分割結(jié)果，相比綠色曲線(常規(guī)卷積后的結(jié)果)，紅色曲線可以更好地定位和分割不同尺度和形態(tài)的缺陷。

圖4 可變形卷積和常規(guī)卷積定位和分割結(jié)果對比

3 試驗結(jié)果與分析

本節(jié)首先描述如何將TEDS圖像轉(zhuǎn)換為試驗數(shù)據(jù)集；然后提供了驗證缺陷檢測方法有效性的指標(biāo)；最后對試驗結(jié)果進行分析。為了定量評估OHEM和DCN對模型性能的影響，進行剝離實驗，將未增加OHEM和DCN的模型稱為基礎(chǔ)模型BM(Base Model)。

3.1 數(shù)據(jù)集

從TEDS圖像采集模塊中的9個高速線陣掃描相機中采集6 518張缺陷圖片，其中80%作為train數(shù)據(jù)集，10%作為val數(shù)據(jù)集，10%作為test數(shù)據(jù)集。用VIA(VGG Image Annotator)標(biāo)注工具對train數(shù)據(jù)集進行缺陷的多邊形標(biāo)注來生成缺陷的掩碼，將整個數(shù)據(jù)集標(biāo)記為3個類別：異物、漏油、防松鐵絲斷裂。為進一步驗證模型的泛化性能，將2 559張尺寸形態(tài)各異的異物懸掛圖片標(biāo)記為5個類別：塑料袋、紙片、樹枝、瓶子、羽毛，分析模型對不同尺寸缺陷的檢測性能。在訓(xùn)練過程中，選擇能覆蓋所有掩碼像素的最小長方形作為缺陷的檢測邊框。缺陷標(biāo)記示例見圖5。

圖5 原圖和缺陷掩碼圖

3.2 檢測與評估

由TP、FP、TN、FN可以計算得到缺陷檢測算法評估指標(biāo)：召回率、準(zhǔn)確率和F-score，其計算公式為

(5)

(6)

(7)

平均準(zhǔn)確率AP由召回率和準(zhǔn)確率組成的曲線面積表示，評估算法對每個類別的有效性；mAP評估算法在所有類別上的性能為

(8)

3.3 結(jié)果分析

試驗過程中，使用MS COCO預(yù)訓(xùn)練權(quán)重初始化特征提取網(wǎng)絡(luò)ResNet-101，考慮到缺陷的不同尺寸，錨框的比率設(shè)置為0.33、0.5、1、2，錨框的大小設(shè)置為8×8、16×16、32×32、64×64、128×128、256×256。初始學(xué)習(xí)率為0.001，隨機梯度下降的動量為0.9，權(quán)重衰減為0.000 5，所有試驗中整個訓(xùn)練過程最大迭代120次，批尺寸batch_size設(shè)置為128，區(qū)域提議網(wǎng)絡(luò)中ROIs的數(shù)量設(shè)定為300。

3.3.1 缺陷檢測模型性能評估

為了綜合評估缺陷檢測模型的性能，將BM+OHEM+DCN與傳統(tǒng)滑動窗口HOG[20]+SVM[21]方法及BM進行對比。SVM是二值分類器，針對異物、漏油和防松鐵絲斷裂3種缺陷分別訓(xùn)練了兩個線性SVM分類器。在訓(xùn)練階段從標(biāo)注的數(shù)據(jù)集中截取每類缺陷的512×512的正樣本，并隨機從非目標(biāo)區(qū)域截取512×512的負樣本，然后從正負樣本中提取HOG特征用于訓(xùn)練SVM分類器。在檢測階段使用大小為224×224的滑動窗口進行檢測。三種模型缺陷檢測性能實驗結(jié)果如表1所示。實驗結(jié)果表明，本文所提檢測模型的準(zhǔn)確率高于傳統(tǒng)方法HOG+SVM，這是因為基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法可以從訓(xùn)練數(shù)據(jù)中提取比HOG更加復(fù)雜、精細、抽象的通用特征；同時，BM+OHEM+DCN的準(zhǔn)確率高于BM，這是因為通過OHEM和DCN克服了TEDS缺陷檢測中的難點。對于召回率而言，基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法要遠遠優(yōu)于傳統(tǒng)的方法，而召回率過低表明漏檢率高。此外，檢測速度表示測試集中每張圖像的平均檢測時間。由實驗結(jié)果可知，在GPU模式下檢測速度高于傳統(tǒng)方法。

表1 三種模型缺陷檢測結(jié)果對比

為了進一步驗證所提模型對三種缺陷的檢測性能，使用相同的異物、漏油、防松鐵絲斷裂缺陷測試集對兩種模型進行對比試驗，結(jié)果如表2所示，試驗結(jié)果表明，OHEM和DCN方法可以提升三種缺陷的檢測精度，其中，異物缺陷的AP提升0.023 7，漏油缺陷的AP提升0.014 9，防松鐵絲斷裂缺陷的AP提升0.033 5，平均檢測精度提升0.025 2。

表2 三種缺陷檢測精度對比

3.3.2 遷移學(xué)習(xí)試驗結(jié)果分析

為了驗證提出模型的泛化能力，將異物數(shù)據(jù)集細分為塑料袋、紙片、樹枝、瓶子、羽毛五個類別對模型參數(shù)進行調(diào)優(yōu)，IoU設(shè)置為0.7，試驗結(jié)果如表3所示。從試驗結(jié)果可以看出，塑料袋的AP提升0.023 1，紙片的AP提升0.030 5，樹枝的AP提升0.049 6，羽毛的AP提升0.021 6，平均檢測精度提升0.039 3。

表3 異物檢測結(jié)果對比

由表3可以看出，樹枝類別的AP值提升顯著。因為，初始數(shù)據(jù)集中樹枝樣本數(shù)量最少，在模型優(yōu)化的同時，用數(shù)據(jù)增強方式擴充樹枝樣本的數(shù)量，數(shù)據(jù)增強不改變像素值，只改變像素所在的位置，數(shù)據(jù)增強方法如表4所示，由于原始數(shù)據(jù)集中，樹枝的尺度相對較大，因此，縮放變換時，用不同比例對樣本圖像進行縮小，增加樹枝樣本的尺度多樣化。試驗結(jié)果表明，數(shù)據(jù)量的擴充對模型檢測精度的提升也至關(guān)重要。

3.3.3 多尺度檢測與分割試驗結(jié)果分析

為了驗證所提模型對不同尺度缺陷的檢測精度，將塑料袋異物缺陷分為小、中、大三類，其中小于90×90像素的塑料袋定義為小尺度缺陷，大于200×200

表4 數(shù)據(jù)增強方式

像素的塑料袋定義為大尺度缺陷，中間值為中等尺度缺陷，試驗結(jié)果如表5所示，由結(jié)果可知，大尺度缺陷的AP提升了0.002 5，而小尺度缺陷的AP提升了0.063 2。顯然，小尺度缺陷的精度提升高于大尺度缺陷，由于小尺度缺陷的特征信息少于大尺度缺陷，導(dǎo)致這些小尺度缺陷的損失值較大，OHEM的只讀分支會將這些樣本挖掘為困難樣本，而DCN的優(yōu)點在于它的感受野會根據(jù)缺陷的尺寸變化而變化，這點對于小尺度缺陷的檢測至關(guān)重要。

表5 多尺度缺陷檢測結(jié)果對比

缺陷檢測與分割試驗結(jié)果見圖6，結(jié)果表明，所提出的模型可以對尺寸形態(tài)多樣的缺陷進行檢測，并同時實現(xiàn)實例分割，其中虛線框表示缺陷檢測的定位框，藍色和紅色區(qū)域分別表示物體實例分割結(jié)果。圖6(e)中的藍色區(qū)域和紅色區(qū)域分別表示塑料袋異物缺陷的兩個實例，圖6(f)中的紅色區(qū)域表明所提模型對缺陷的精準(zhǔn)分割，背景區(qū)域沒有包含于實例分割區(qū)域。

圖6 缺陷檢測與分割試驗結(jié)果

4 結(jié)束語

本文通過將TEDS和基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法相結(jié)合，實現(xiàn)TEDS缺陷的自動檢測與分割。OHEM和DCN方法可以選擇更加有效的樣本和得到更具有代表性的特征圖。通過對幾個動車段TEDS數(shù)據(jù)試驗，驗證了所提模型的有效性和準(zhǔn)確性，并且可以實現(xiàn)缺陷實例的精準(zhǔn)分割。本文的研究為動車組行車安全圖像缺陷檢測與分割提供了新的思路和解決方案。