裴瑩玲 羅暉 張詩慧 李佳敏 徐杰

摘要：針對高鐵無砟軌道中扣件發(fā)生松動，導(dǎo)致高鐵扣件發(fā)生偏移或丟失的問題，提出一種基于改進(jìn)Faster R-CNN的高鐵扣件檢測算法。在特征提取網(wǎng)絡(luò)中引入可變形卷積，構(gòu)建可變形殘差卷積塊，使特征提取過程更加集中于扣件區(qū)域，實現(xiàn)扣件狀態(tài)的精確提取;并采用Alpha-IoU作為目標(biāo)回歸損失函數(shù)提高高鐵扣件的回歸精度。實驗結(jié)果表明，該算法提高了高鐵扣件的檢測精度，相比于其他算法，能更準(zhǔn)確地進(jìn)行扣件定位和狀態(tài)檢測。

關(guān)鍵詞：高鐵扣件檢測;可變形卷積;Faster R-CNN;Alpha-IoU

中圖分類號：U213;TP39 文獻(xiàn)標(biāo)志碼：A

本文引用格式：裴瑩玲，羅暉，張詩慧，等. 基于改進(jìn)Faster R-CNN的高鐵扣件檢測算法[J]. 華東交通大學(xué)學(xué)報，2023，40（1）：75-81.

High-Speed Railway Fastener Detection Algorithm Based on

Improved Faster R-CNN

Pei Yingling1， Luo Hui1， Zhang Shihui1， Li Jiamin1， Xu Jie2

（1.School of Information Engineering， East China Jiaotong University， Nanchang 330013， China;

2. Jiangxi Huitong Technology Development Co.， Ltd.， Nanchang 330013， China）

Abstract：Aiming at deflection or loss of high-speed railway fasteners caused by the loose fasteners in the ballastless track of high-speed railway， this paper proposes a high-speed railway fastener detection algorithm based on improved Faster R-CNN. Deformable convolution was introduced in the feature extraction network to build deformable residual convolution block（DRCB）， which makes the feature extraction process more focused on the fastener region and achieves the accurate extraction of fastener state; and Alpha-IoU was used as the target regression loss function to improve the regression accuracy of high-speed railway fasteners. The experimental results show that the algorithm proposed improves the detection accuracy of high-speed railway fasteners and can perform fastener localization and state detection more accurately than other algorithms.

Key words： fastener state detection; deformable convolution; Faster R-CNN; Alpha-IoU

Citation format：PEI Y L，LUO H，ZHANG S H，et al. High-speed railway fastener detection algorithm based on improved faster R-CNN[J]. Journal of East China Jiaotong University，2023，40（1）：75-81.

高鐵扣件用于連接軌枕和鋼軌，固定鋼軌，為鋼軌提供橫縱向約束，是高鐵重要的組成部分[1]。但由于高鐵運行速度快，行車密度大，使高鐵扣件在承受列車荷載的同時受到連續(xù)沖擊，容易出現(xiàn)偏移和丟失等問題[2]，并直接影響高鐵的安全運行，對高鐵扣件狀態(tài)的檢測具有十分重要的意義[3]。

目前，采用基于機(jī)器視覺的目標(biāo)檢測方法相比于傳統(tǒng)的人工巡檢，可以降低高鐵扣件的漏檢率和誤檢率，但無法實現(xiàn)對高鐵扣件的準(zhǔn)確、快速檢測。隨著人工智能技術(shù)的發(fā)展，針對目標(biāo)檢測，Girshick等[4]提出了R-CNN網(wǎng)絡(luò)，采用卷積神經(jīng)網(wǎng)絡(luò)來對目標(biāo)進(jìn)行特征提取，并提出了Fast R-CNN[5]網(wǎng)絡(luò)，再采用Soft-max作為分類器對目標(biāo)進(jìn)行分類，提高了模型的檢測精度;Ren等[6]提出了Faster R-CNN，改進(jìn)了Fast R-CNN，采用區(qū)域候選網(wǎng)絡(luò)（region proposal network，RPN）來生成目標(biāo)候選框，提升了檢測速度，同時提高了模型的檢測精度。Li等[7]提出了一種新的基于區(qū)域的Faster R-CNN算法來對目標(biāo)進(jìn)行檢測，提高了檢測精度和檢測速度。為了實現(xiàn)鐵路扣件的準(zhǔn)確定位，白堂博等[8]提出了一種基于改進(jìn)Faster R-CNN的扣件定位算法，根據(jù)標(biāo)注數(shù)據(jù)優(yōu)化區(qū)域候選網(wǎng)絡(luò)邊框信息，提高了檢測精度。

以上方法雖然都可以對高鐵扣件進(jìn)行檢測，但針對高鐵扣件狀態(tài)檢測的研究并不多。為了應(yīng)對高鐵扣件的不同形態(tài)特征變化，本文提出了一種基于改進(jìn)Faster R-CNN的高鐵扣件檢測算法，采用ResNet-101作為特征提取網(wǎng)絡(luò)，同時引入可變形卷積，構(gòu)建可變形殘差卷積塊（deformable residual convolution block，DRCB），并采用Alpha-IoU作為目標(biāo)回歸損失函數(shù)，進(jìn)一步提高了高鐵扣件狀態(tài)的檢測精度。

1 Faster R-CNN算法

Faster R-CNN 的網(wǎng)絡(luò)結(jié)構(gòu)包含3個模塊，分別是特征提取模塊、區(qū)域候選模塊和分類回歸模塊。其中，特征提取模塊通過卷積層對高鐵扣件進(jìn)行特征的提取，從而獲得相應(yīng)的高鐵扣件特征圖;區(qū)域候選模塊通過RPN網(wǎng)絡(luò)生成大量的候選框，接著采用Soft-max判斷候選框中目標(biāo)的類別，邊框回歸損失函數(shù)對候選框進(jìn)行修正，從而得到較為精確的高鐵扣件候選區(qū)域;分類回歸模塊采用Soft-max分類器和回歸器進(jìn)一步對高鐵扣件進(jìn)行狀態(tài)分類和邊框回歸，最后輸出高鐵扣件狀態(tài)和高鐵扣件位置信息。網(wǎng)絡(luò)結(jié)構(gòu)如圖 1 所示。

2 基于可變形卷積的改進(jìn)Faster R-CNN檢測模型

2.1 改進(jìn)特征提取網(wǎng)絡(luò)

在高鐵扣件狀態(tài)檢測過程中，卷積神經(jīng)網(wǎng)絡(luò)的深度越深，能夠提取到越多的特征信息，但隨著網(wǎng)絡(luò)層數(shù)的增多，會造成梯度爆炸或梯度消失等問題，從而降低網(wǎng)絡(luò)的檢測精度。為了解決這個問題，特征提取模塊采用了ResNet-101網(wǎng)絡(luò)來對高鐵扣件進(jìn)行特征提取，通過采用殘差連接的方式，以在保證網(wǎng)絡(luò)深度的同時，盡可能地避免網(wǎng)絡(luò)性能的惡化。如圖 2 所示，其中：x為輸入;F（x）為3×3卷積后的輸出;H（x）為通過卷積殘首卷積塊后的輸出。

高鐵扣件包括正常、偏移、丟失等不同狀態(tài)，存在不同的形態(tài)，采用標(biāo)準(zhǔn)卷積只能獲取高鐵扣件的部分形態(tài)特征信息。為了解決這個問題，在特征提取網(wǎng)絡(luò)ResNet-101中引入可變形卷積，構(gòu)建可變形殘差卷積塊，如圖 3 所示。在提取高鐵扣件特征的過程中，通過額外的卷積層去學(xué)習(xí)相應(yīng)位置高鐵扣件的偏移量，以擴(kuò)大感受野，從而獲取更豐富的高鐵扣件形態(tài)特征[9]。

在特征提取模塊中，將最后兩部分殘差卷積塊全部替換為可變形殘差卷積塊。在可變形卷積的計算過程中，通過對特征圖上每個位置增加一個偏移量Δpn來對高鐵扣件的特征進(jìn)行學(xué)習(xí)，同時采用相應(yīng)的偏移權(quán)重Δmn來消除背景噪聲的干擾。假設(shè)采樣域R={（-1，-1），（-1，0），…，（0，1），（1，1）}其輸出為

y（p）=wn x（p+pn+Δpn）Δmn（1）

式中：N為卷積的組合值;pn表示采樣域R中的位置;wn為權(quán)重值。

式中：pi?為真實樣本的概率。

在未改進(jìn)的Faster R-CNN檢測模型中， smoothL1作為目標(biāo)回歸損失函數(shù)，只考慮了預(yù)測邊框和實際邊框之間的距離，沒有考慮到預(yù)測邊框和實際邊框發(fā)生重疊的情況，不利于預(yù)測邊框的精確回歸。為了解決上述問題，考慮到預(yù)測邊框和實際邊框之間不同的重合度，以及預(yù)測邊框和實際邊框中心點和對角線之間的距離，采用Alpha-DIoU損失函數(shù)為目標(biāo)回歸損失函數(shù)Lreg，用于調(diào)整邊界框位置，提高邊界框的回歸精度。

Lreg（ti，ti?）=Lα-DIoU（ti，ti?）（4）

Lα-DIoU=1-IoUα+（5）

IoU=（6）

式中：Lα-DIoU，IoU為中間變量;α為IoU的參量;ti*為第i個候選框?qū)?yīng)的真實樣本的邊界框回歸參數(shù);b，bgt為預(yù)測邊框A和實際邊框B的中心點;ρ為歐氏距離;c為最小外接矩形的對角線距離;A為預(yù)測邊框;B為實際邊框。

3 高鐵扣件數(shù)據(jù)集

3.1 數(shù)據(jù)集采集

本文利用軌道交通基礎(chǔ)設(shè)施性能監(jiān)測與保障國家重點實驗室的實驗場地采集了1 600張的高鐵扣件狀態(tài)圖像（其中偏移狀態(tài)1 050張，丟失狀態(tài)550張），構(gòu)建了高鐵扣件原始數(shù)據(jù)集。如圖 5 所示。

3.2 數(shù)據(jù)增強(qiáng)和數(shù)據(jù)標(biāo)注

本文采用幾何變換方法來對數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)，將數(shù)據(jù)集擴(kuò)充至2 616張。同時采用labelImg來對數(shù)據(jù)圖像進(jìn)行標(biāo)記。所有圖像均由最小矩形框標(biāo)記，由xml格式保存，它包括方框中最小矩形的4個坐標(biāo)和目標(biāo)的類別。在訓(xùn)練過程中，隨機(jī)取70%作為訓(xùn)練集，剩下30%作為測試集。

4 實驗與結(jié)果分析

4.1 實驗平臺與參數(shù)設(shè)置

本文采用了Pytorch深度學(xué)習(xí)框架對檢測網(wǎng)絡(luò)進(jìn)行訓(xùn)練和驗證，實驗平臺參數(shù)如表1所示。網(wǎng)絡(luò)模型訓(xùn)練分為兩個階段，凍結(jié)訓(xùn)練階段，初始學(xué)習(xí)率設(shè)為0.000 1，解凍訓(xùn)練階段，初始學(xué)習(xí)率設(shè)為0.000 01。

4.2 評價指標(biāo)

在對高鐵扣件的檢測過程中，檢測精度PA表示檢測模型對于不同高鐵扣件狀態(tài)的識別程度;平均精度均值PMA反映了檢測模型對所有高鐵扣件狀態(tài)的識別程度;檢測速度FPS是每秒幀率，反映了每秒鐘可以處理的圖片數(shù)量。計算如下

PA=p（r）dr（7）

PMA=（8）

其中：p為精確率;r為召回率;N為檢測類別總數(shù)。

4.3 實驗結(jié)果分析

為了驗證所提算法的先進(jìn)性，本文從3個方面進(jìn)行了比較實驗。

4.3.1 特征提取網(wǎng)絡(luò)實驗對比分析

為了驗證特征提取網(wǎng)絡(luò)的改進(jìn)有效，采用了3種不同的特征提取網(wǎng)絡(luò)進(jìn)行實驗對比分析，分別是ResNet50，ResNet101和引入可變形卷積的ResNet101。在自建的高鐵扣件數(shù)據(jù)集上進(jìn)行訓(xùn)練，對網(wǎng)絡(luò)模型進(jìn)行評估。Off為高鐵扣件發(fā)生偏移，Miss為高鐵扣件發(fā)生丟失。檢測結(jié)果如表2所示。

從表2中可以知道，相比于ResNet50和ResNet101，ResNet101+DCN檢測精度最高，平均準(zhǔn)確率分別提高了2.03%和0.34%，表明采用ResNet101+DCN作為特征提取網(wǎng)絡(luò)有利于提升Faster R-CNN算法對高鐵扣件的狀態(tài)檢測。

4.3.2 損失函數(shù)實驗對比分析

為了驗證回歸損失函數(shù)的改進(jìn)有效，將改進(jìn)回歸損失函數(shù)后的Faster R-CNN算法與改進(jìn)前的Faster R-CNN算法在自建的高鐵扣件數(shù)據(jù)集上進(jìn)行訓(xùn)練，同時對網(wǎng)絡(luò)模型進(jìn)行性能對比評估。檢測結(jié)果如表3所示。

從表3中可以知道，相比于原始的Faster R-CNN算法，采用Alpha-DIoU損失函數(shù)作為目標(biāo)回歸損失函數(shù)，平均檢測準(zhǔn)確率提高了0.7%，表明采用Alpha-IoU損失函數(shù)作為目標(biāo)回歸損失函數(shù)，能夠提升Faster R-CNN算法對高鐵扣件狀態(tài)的檢測精度。

4.3.3 與其他算法的實驗對比分析

采用自建的高鐵扣件數(shù)據(jù)集，通過與不同的目標(biāo)檢測算法進(jìn)行實驗對比。其中，SSD算法和YOLOv4算法是具有代表性的單階段目標(biāo)檢測算法，F(xiàn)aster R-CNN算法是典型的兩階段目標(biāo)檢測算法，這3種算法有一定的權(quán)威性，可以更好地驗證算法的有效性。檢測效果如表4所示。

從表4中可以知道，在高鐵扣件狀態(tài)的檢測過程中，基于改進(jìn)Faster R-CNN的高鐵扣件檢測算法相比于其他算法的檢測精度最高，檢測性能最好。圖6為采用改進(jìn)Faster R-CNN的算法得到的高鐵扣件狀態(tài)檢測實例。由圖7可以看出，藍(lán)框表示高鐵扣件發(fā)生偏移，紅框表示高鐵框架發(fā)生丟失，改進(jìn)Faster R-CNN的算法在對高鐵扣件狀態(tài)進(jìn)行檢測可以得到很高的檢測精度。

5 結(jié)論

本文采用自建的高鐵扣件數(shù)據(jù)集，對高鐵扣件的不同狀態(tài)檢測進(jìn)行了研究，得出以下結(jié)論。

1） 本文提出了基于改進(jìn)Faster R-CNN的高鐵扣件檢測算法。通過在 Faster-R-CNN 的特征提取網(wǎng)絡(luò)中引入可變形卷積，提高檢測模型的特征學(xué)習(xí)能力，有效地提高檢測網(wǎng)絡(luò)對高鐵扣件不同形態(tài)特征的提取，同時采用 Alpha-IoU作為目標(biāo)回歸損失函數(shù)，對損失函數(shù)進(jìn)行了優(yōu)化，提高了檢測模型的回歸精度。

2） 實驗結(jié)果表明，改進(jìn)后的Faster R-CNN算法對高鐵扣件偏移狀態(tài)的檢測精度為99.34%，丟失狀態(tài)的檢測精度為76.80%，平均精度均值為88.07%，相比于Faster R-CNN算法、SSD算法、YOLOv4算法，改進(jìn)后的Faster R-CNN算法檢測精度最高。

參考文獻(xiàn)：

[1] YAO D C，SUN Q，YANG J W，et al. Railway fastener fault diagnosis based on generative adversarial network and residual network model[J]. Shock and Vibration，2020（12）：8823050.

[2] BAI T B，YANG J W，XU G Y，et al. An optimized railway fastener detection method based on modified Faster R-CNN[J]. Measurement，2021，182：109742.

[3] PENG Z Y，WANG C，MA Z J，et al. A multi-feature hierarchical locating algorithm for hexagon nut of railway fasteners[J]. IEEE Transactions on Instrumentation and Measurement，2020，69（3）：693-699.

[4] GIRSHICK R，DONAHUE J，DARRELL T，et al. Rich feature hierarchies for accurate object detection and semantic segmentation[J]. Radio Engineering，2021，85（9）：115-126.

[5] GIRSHICK R. Fast R-CNN[J]. Computer Science，2015，34（6）：1440-1448.

[6] REN S，HE K，GIRSHICK R，et al. Faster R-CNN：towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence，2017，39（6）：1137-1149.

[7] LI Y，ZHANG S，WANG W Q. A lightweight Faster R-CNN for ship detection in SAR images[J]. IEEE Geoscience and

Remote Sensing Letters，2022（19）：1-5.

[8] 白堂博，楊建偉，許貴陽，等. 基于Faster R-CNN的鐵路扣件定位方法研究[J].鐵道科學(xué)與工程學(xué)報，2021，18（2）：502-508.

BAI T B，YANG J W，XU G Y，et al. Research on the positioning method of railway fasteners based on Faster R-CNN [J]. Journal of Railway Science and Engineering，2021，18（2）：502-508.

[9] LIU T，LUO W，MA L，et al. Coupled network for robust pedestrian detection with gated multi-layer feature extraction and deformable occlusion handling[J]. IEEE Transactions

on Image Processing，2020，30：754-766.

[10] WU K，ZHANG Y，XIE Z，et al. DDFPN：context enhanced network for object detection[J]. Future Generation Computer Systems，2021，124：133-141.

[11] CHEN L，SUN Q S，WANG F. Attention-adaptive and deformable convolutional modules for dynamic scene deblurring[J]. Information Sciences，2020，546：368-377.

[12] FENG H，JIANG Z，XIE F，et al. Automatic fastener classification and defect detection in vision-based railway inspection systems[J]. IEEE Transactions on Instrumentation & Measurement，2014，63（4）：877-888.

[13] GIBERT X，PATEL V M，CHELLAPPA R. Deep multitask learning for railway track inspection[J]. IEEE Transactions on Intelligent Transportation Systems，2017，18（1）：153-164.

[14] LIU J，TENG Y，NI X，et al. A fastener inspection method based on defective sample generation and deep convolutional neural network[J]. IEEE Sensors Journal，2021，21（10）：12179-12188.

[15] OU Y，LUO J，LI B，et al. A classification model of railway fasteners based on computer vision[J]. Neural Computing

and Applications，2019，31（12）：1-13.

[16] GOU H，RAN Z，YANG L，et al. Mapping vertical bridge deformations to track geometry for high-speed railway[J]. Steel and Composite Structures，2019，32（4）：467-478.

[17] REN Y，ZHU C，XIAO S. Deformable Faster R-CNN with aggregating multi-layer features for partially occluded object detection in optical remote sensing images[J]. Remote

Sensing，2018，10（9）：1470.

[18] XU Z，XU X，WANG L，et al. Deformable convnet with aspect ratio constrained nms for object detection in remote sensing imagery[J]. Remote Sensing，2017，9（12）：1312.

[19] ZHU J，F(xiàn)ANG L，GHAMISI P. Deformable convolutional neural networks for hyperspectral image classification[J]. IEEE Geoscience and Remote Sensing Letters，2018，15（8）：1254-1258.

[20] LIU Z，YANG B，DUAN G，et al. Visual defect inspection of metal part surface via deformable convolution and concatenate feature pyramid neural networks[J]. IEEE Transactions on Instrumentation and Measurement，2020，69（12）：9681-9684.

[21] LIU J，HUANG Y，ZOU Q，et al. Learning visual similarity for inspecting defective railway fasteners[J]. IEEE Sensors

Journal，2019，19（16）：6844-6857.