国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于改進(jìn)Faster R-CNN的鋼軌踏面塊狀傷損檢測(cè)方法

2021-03-18 13:46:02
計(jì)算機(jī)應(yīng)用 2021年3期
關(guān)鍵詞:傷損錨點(diǎn)踏面

(華東交通大學(xué)信息工程學(xué)院,南昌 330013)

0 引言

在鐵路運(yùn)營(yíng)過(guò)程中,列車(chē)輪軌與鋼軌間產(chǎn)生的強(qiáng)烈摩擦、擠壓、彎曲、沖擊會(huì)使鋼軌踏面易呈現(xiàn)塊狀、長(zhǎng)寬比均勻的剝落、凹陷和掉塊等塊狀傷損[1],該類(lèi)傷損在灰度和紋理特征上與鋼軌無(wú)傷損區(qū)域有明顯差異,且存在形狀、尺度多變等特點(diǎn),若不及時(shí)被發(fā)現(xiàn)并采取安全措施,當(dāng)其發(fā)展到一定程度時(shí),將會(huì)導(dǎo)致列車(chē)脫軌、傾覆等重大事故,造成嚴(yán)重的人員傷亡和巨額財(cái)產(chǎn)損失。因此,采用有效的目標(biāo)檢測(cè)方法對(duì)鋼軌踏面塊狀傷損進(jìn)行準(zhǔn)確定位和快速分類(lèi)具有重大意義。

鋼軌表面?zhèn)麚p的物理檢測(cè)方法主要有渦流、漏磁、超聲波、激光掃描、聲發(fā)射等方法[2-5],此類(lèi)傷損檢測(cè)方法存在效率低、檢測(cè)慢、分類(lèi)精度低、成本高、受人為因素影響大等問(wèn)題,不利于對(duì)鋼軌表面?zhèn)麚p進(jìn)行快速、準(zhǔn)確的檢測(cè)。而基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法則具有檢測(cè)精度高、速度快且智能化的特點(diǎn),主要分為基于無(wú)區(qū)域提名和基于區(qū)域提名的兩類(lèi)目標(biāo)檢測(cè)算法。其中,基于無(wú)區(qū)域提名目標(biāo)檢測(cè)算法以YOLO(You Only Look Once)系列[6-9]、單擊多盒檢測(cè)器(Single Shot MultiBox Detector,SSD)[10]為主,該類(lèi)算法將生成候選框和分類(lèi)回歸合并成一個(gè)網(wǎng)絡(luò)中,降低了網(wǎng)絡(luò)計(jì)算的復(fù)雜度,提高了目標(biāo)檢測(cè)速度,但對(duì)小目標(biāo)卻無(wú)法準(zhǔn)確定位,檢測(cè)精確度較低。而基于區(qū)域提名目標(biāo)檢測(cè)算法主要以基于區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Regions with Convolutional Neural Network features,RCNN)系列為主,Girshick 等[11-12]先后提出了R-CNN[11]、快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Fast Regions with Convolutional Neural Network features,F(xiàn)ast R-CNN)算法[12],在R-CNN 的基礎(chǔ)上加入感興趣區(qū)域池化層,提高了訓(xùn)練和測(cè)試速度;Ren 等[13]提出了更快速的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Faster Regions with Convolutional Neural Network,F(xiàn)aster R-CNN)算法,通過(guò)設(shè)計(jì)區(qū)域建議網(wǎng)絡(luò)(Region Proposal Network,RPN)、候選框提取和Fast R-CNN 檢測(cè)3 個(gè)模塊,進(jìn)一步提高了檢測(cè)速度及檢測(cè)精度;為了避免圖像尺度對(duì)卷積計(jì)算的影響,He 等[14]提出了空間金字塔池化方法;Lin 等[15]將特征金字塔網(wǎng)絡(luò)模型(Feature Pyramid Network,F(xiàn)PN)引入Faster R-CNN,實(shí)現(xiàn)了多尺度特征的融合,提高了小目標(biāo)檢測(cè)精度;基于區(qū)域提名的目標(biāo)檢測(cè)算法對(duì)多目標(biāo)檢測(cè)或小目標(biāo)檢測(cè)的精確度較高,檢測(cè)效果較為理想。

因此,考慮到鋼軌踏面塊狀傷損尺度變化較大,且存在尺度較小的傷損目標(biāo)情況,本文提出了一種基于改進(jìn)Faster RCNN的鋼軌踏面塊狀傷損檢測(cè)算法,主要改進(jìn)點(diǎn)如下:

1)針對(duì)鋼軌踏面塊狀傷損存在傷損類(lèi)間差異小、尺度變化大的特性,提出了基于Faster R-CNN 和FPN 的鋼軌踏面塊狀傷損檢測(cè)方法。

2)引入文獻(xiàn)[16]中提出的廣義交并比(Generalized Intersection over Union,GIoU)損失函數(shù)優(yōu)化預(yù)測(cè)框與實(shí)際邊框之間的距離,以提高鋼軌踏面塊狀傷損的檢測(cè)精度。

3)針對(duì)Faster R-CNN 中RPN 生成的錨點(diǎn)大量冗余而導(dǎo)致檢測(cè)網(wǎng)絡(luò)訓(xùn)練中正負(fù)樣本失衡和存在IoU 閾值設(shè)置、錨點(diǎn)尺度及長(zhǎng)寬比等超參數(shù)設(shè)計(jì)困難的問(wèn)題,采用引導(dǎo)錨定的區(qū)域提名網(wǎng)絡(luò)(Region Proposal Network by Guided Anchoring,GA-RPN)[17]的優(yōu)化方法。

1 Faster R-CNN 算法介紹

Faster R-CNN 算法結(jié)構(gòu)如圖1 所示,主要由特征提取網(wǎng)絡(luò)、RPN 和檢測(cè)網(wǎng)絡(luò)組成。其中,特征提取網(wǎng)絡(luò)采用ResNet-101 基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)[18],如表1 所示,該網(wǎng)絡(luò)輸出的特征圖由RPN和檢測(cè)網(wǎng)絡(luò)共享。

圖1 Faster R-CNN結(jié)構(gòu)Fig.1 Structure of Faster R-CNN

在RPN 中,首先,根據(jù)設(shè)定的長(zhǎng)寬比和尺度窗口,以特征圖中每個(gè)像素點(diǎn)為中心生成一定數(shù)量的錨點(diǎn);然后,根據(jù)錨點(diǎn)和實(shí)際邊框的重疊程度對(duì)錨點(diǎn)進(jìn)行篩選,再將篩選出的錨點(diǎn)進(jìn)行初步回歸,生成質(zhì)量較高的候選區(qū)域框。此外,RPN與特征提取層參數(shù)共享,減少了RPN 的訓(xùn)練成本,減少檢測(cè)網(wǎng)絡(luò)的計(jì)算量,同時(shí)保證了對(duì)目標(biāo)的檢測(cè)效率。RPN 具體結(jié)構(gòu)如圖2所示。

表1 ResNet-101的組成結(jié)構(gòu)Tab.1 Composition structure of ResNet-101

圖2 基于RPN的目標(biāo)候選區(qū)域生成示意圖Fig.2 Schematic diagram of object candidate region generation based on RPN

在RPN 訓(xùn)練過(guò)程中,生成的近10 000 個(gè)錨點(diǎn)首先經(jīng)過(guò)軟非極大值抑制(Soft-Non Maximum Suppression,Soft-NMS)處理,保留與實(shí)際邊框的交并比(Intersection over Union,IoU)不超0.7 的最大分?jǐn)?shù)預(yù)測(cè)錨點(diǎn)(2 000 個(gè)左右),進(jìn)行前背景二分類(lèi)后,將正樣本的錨點(diǎn)進(jìn)行初步回歸。

RPN 的損失函數(shù)包含分類(lèi)損失和回歸損失兩個(gè)部分,具體如下:

其中:Ncls和Nreg分別表示二分類(lèi)錨點(diǎn)數(shù)量和待回歸預(yù)測(cè)邊框數(shù)量;Lcls為二分類(lèi)的交叉熵?fù)p失函數(shù),為pi錨點(diǎn)的二分類(lèi)概率;pit為錨點(diǎn)的實(shí)際分類(lèi),取值為1(包含目標(biāo)的正樣本)或0(背景負(fù)樣本);λ1用于平衡分類(lèi)和回歸損失,本文中設(shè)為10;Lreg是錨點(diǎn)的回歸損失函數(shù),用smoothL1定義;ei和eit分別表示預(yù)測(cè)邊框Bp(xp,yp,wp,hp)和錨點(diǎn)a(xa,ya,wa,ha)到目標(biāo)實(shí)際邊框Bt(xt,yt,wt,ht)之間的定位誤差;i表示經(jīng)過(guò)非極大值抑制后保留的錨點(diǎn)序號(hào)。相關(guān)定義如下:

2 基于改進(jìn)Faster R-CNN 的鋼軌踏面塊狀傷損檢測(cè)

2.1 特征提取網(wǎng)絡(luò)的改進(jìn)

針對(duì)鋼軌踏面塊狀傷損呈現(xiàn)出的尺度變化大的特點(diǎn),基于Faster R-CNN 的檢測(cè)框架及FPN 的設(shè)計(jì)思想,通過(guò)上采樣將低層特征的高分辨率和高層特征的高語(yǔ)義信息融合,對(duì)小尺度特征圖的特征信息進(jìn)行增強(qiáng),以提高網(wǎng)絡(luò)對(duì)多尺度傷損的檢測(cè)精確度。首先,ResNet-101 生成5 個(gè)卷積特征圖Conv1、Conv2、Conv3、Conv4、Conv5;然后,采用如圖3 所示的bottom-top 和top-down 網(wǎng)絡(luò),用1 個(gè)1×1 卷積對(duì)當(dāng)前尺度特征圖Convi與下一層特征圖經(jīng)過(guò)上采樣的輸出結(jié)果相加,并通過(guò)一個(gè)3×3 卷積,生成與當(dāng)前尺度相同的新特征圖Pi(i取4,3,2),P5 為Conv5 通過(guò)1×1 卷積降維到256 得到。通過(guò)此方式,使得卷積特征圖在原有尺度特征的基礎(chǔ)上獲得了更深語(yǔ)義特征的補(bǔ)充,進(jìn)而增強(qiáng)了網(wǎng)絡(luò)對(duì)不同尺度傷損特征的表達(dá)能力。

圖3 基于FPN+Faster R-CNN的鋼軌踏面塊狀傷損檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Structure of rail tread block defects detection network based on FPN+Faster R-CNN

2.2 邊框回歸損失函數(shù)的改進(jìn)

Faster R-CNN 中目標(biāo)框回歸損失為SmoothL1損失,該損失只考慮到了預(yù)測(cè)邊框和實(shí)際邊框坐標(biāo)間的距離,沒(méi)有考慮到兩框的重疊度,不利于預(yù)測(cè)框的精準(zhǔn)回歸;另外,使用IoU 損失作為回歸損失,雖然能夠考慮到兩框的重合度,但依舊存在以下問(wèn)題:

1)當(dāng)預(yù)測(cè)邊框與實(shí)際邊框間無(wú)重疊區(qū)域時(shí),即IoU 為0時(shí),目標(biāo)函數(shù)求導(dǎo)為0,無(wú)法進(jìn)行優(yōu)化;

2)當(dāng)預(yù)測(cè)邊框與實(shí)際邊框存在兩個(gè)或多個(gè)相同大小的IoU時(shí),預(yù)測(cè)效果差異較大。

針對(duì)IoU 直接作為邊界框回歸損失函數(shù)的缺點(diǎn),采用Rezatofighi 等[16]在CVPR2019 上提出了GIoU 回歸損失函數(shù),具體定義如下:

給定任意兩個(gè)凸面形Bp和Bt(Bp,Bt?S∈Rn),C為包含Bp,Bt的最小凸面形C?S∈Rn,Bp和Bt的IoU為:

則Bp和Bt的GIoU損失定義為:

GIoU 損失具有以下性質(zhì):GIoU 具有度量標(biāo)準(zhǔn)的優(yōu)良性質(zhì),即非負(fù)性、同一性、對(duì)稱(chēng)性和三角不等式性質(zhì);GIoU 損失繼承了IoU 損失的尺度不變性;GIoU 損失小于或等于IoU 損失;對(duì)于兩個(gè)矩形框Bp、Bt,有0 ≤IoU(Bp,Bt)≤1,-1 ≤IoU(Bp,Bt)≤1。

預(yù)測(cè)邊框與實(shí)際邊框的對(duì)齊程度會(huì)影響C的面積大小,當(dāng)IoU 相同時(shí),兩者的對(duì)齊程度越好,C的面積越小,GIoU 損失值越大;反之亦然;并且,當(dāng)Bp和Bt沒(méi)有重疊區(qū)域時(shí),雖然IoU 為0,但GIoU 損失依然存在。因此,GIoU 損失可以直接作為損失函數(shù)。圖4 給出(a)、(b)、(c)三種不同預(yù)測(cè)邊框情況下的均方誤差(Mean Square Error,MSE)損失函數(shù)(簡(jiǎn)稱(chēng)均方損失)、交并比(IoU)以及GIoU 三種回歸損失,當(dāng)MSE 損失相同時(shí),檢測(cè)效果相差巨大,同時(shí)IoU和GIoU損失變化也較大。

圖4 均方損失、IoU損失和GIoU損失對(duì)比Fig.4 Comparison of mean square loss,IoU loss and GIoU loss

2.3 區(qū)域建議網(wǎng)絡(luò)的改進(jìn)

基于RPN 的感興趣區(qū)域生成過(guò)程中,塊狀傷損圖像中傷損目標(biāo)的數(shù)量遠(yuǎn)遠(yuǎn)小于生成的錨點(diǎn)數(shù)量,即生成的大量錨點(diǎn)框是冗余,會(huì)導(dǎo)致RPN 訓(xùn)練時(shí)正負(fù)樣本數(shù)失衡,從而影響檢測(cè)網(wǎng)絡(luò)的性能;并且,還存在IoU 閾值設(shè)置、錨點(diǎn)尺度及長(zhǎng)寬比等超參數(shù)設(shè)計(jì)困難的問(wèn)題。因此,本文提出GA-RPN 替代RPN 的優(yōu)化方案,以提高檢測(cè)網(wǎng)絡(luò)對(duì)鋼軌踏面塊狀傷損的檢測(cè)精確度。

GA-RPN 感興趣域生成網(wǎng)絡(luò)可分為錨點(diǎn)生成模塊和特征自適應(yīng)模塊(如圖5中GA-RPN模塊所示)。其中,錨點(diǎn)生成模塊中定位子分支用于判斷輸入特征圖上每個(gè)特征點(diǎn)是否為目標(biāo)點(diǎn);定形子分支用于確定是目標(biāo)特征點(diǎn)的錨點(diǎn)的寬和高;特征自適應(yīng)模塊則根據(jù)定形子分支生成的錨點(diǎn)形狀對(duì)該區(qū)域內(nèi)的特征進(jìn)行重采樣,根據(jù)興趣域大小調(diào)整其區(qū)域內(nèi)特征感受野。接下來(lái)分別對(duì)這3個(gè)過(guò)程進(jìn)行介紹。

1)位置判斷。

輸入特征圖F經(jīng)由一個(gè)1×1 卷積后,再通過(guò)Sigmoid 函數(shù)激活,生成一個(gè)尺度與F相同的概率特征圖Fp,其各點(diǎn)值表示F中每個(gè)特征點(diǎn)為目標(biāo)的概率。然后,設(shè)定一個(gè)概率閾值τ,F(xiàn)p中特征值大于τ的點(diǎn),對(duì)應(yīng)在F被判斷為目標(biāo)中心點(diǎn)。最后,通過(guò)閾值篩選減少近90%的錨點(diǎn)數(shù)量。

2)錨點(diǎn)形狀生成。

錨點(diǎn)定位模塊給出了錨點(diǎn)中心位置,還需對(duì)所有錨點(diǎn)框的寬(w)和高(h)進(jìn)行預(yù)測(cè)。考慮到錨點(diǎn)尺度變化較大,直接學(xué)習(xí)w和h可能會(huì)導(dǎo)致網(wǎng)絡(luò)不穩(wěn)定,無(wú)法訓(xùn)練,將w、h做以下變換,見(jiàn)式(8)、式(9)。

其中:s為特征圖相對(duì)于輸入圖像的卷積步長(zhǎng),σ取經(jīng)驗(yàn)值1.6。該過(guò)程由一個(gè)2 維的1×1 卷積實(shí)現(xiàn)。這種非線(xiàn)性變換,能夠?qū)⒋龑W(xué)習(xí)的參數(shù)范圍從[1,1 000]調(diào)整到[-1,1],簡(jiǎn)化網(wǎng)絡(luò)訓(xùn)練。

這種根據(jù)錨點(diǎn)位置信息來(lái)學(xué)習(xí)錨點(diǎn)框?qū)捄透叩姆椒ǎ黾恿隋^點(diǎn)位置與形狀的相關(guān)性,進(jìn)而能夠獲得更高的召回率。

3)特征自適應(yīng)調(diào)整。

與RPN 生成的固定尺度和長(zhǎng)寬比的錨點(diǎn)不同,GA-RPN生成的錨點(diǎn)的形狀是不定的,而在目標(biāo)檢測(cè)任務(wù)中,通常尺度不同的目標(biāo)需要的感受野不同。因此,GA-RPN 利用特征自適應(yīng)模塊對(duì)所有錨點(diǎn)框?qū)?yīng)的感受野進(jìn)行調(diào)整。

其中:fi是錨點(diǎn)生成模塊生成的第i個(gè)錨點(diǎn)框?qū)?yīng)在輸入特征圖F上的特征值;wi、hi是預(yù)測(cè)出該錨點(diǎn)的寬和高;H(?)由一個(gè)3×3的可變形卷積實(shí)現(xiàn);f'i為調(diào)整后的特征值。

2.4 改進(jìn)后的整體網(wǎng)絡(luò)結(jié)構(gòu)

基于FPN+GIoU+GA-RPN+Faster R-CNN 的鋼軌踏面塊狀傷損檢測(cè)網(wǎng)絡(luò)整體結(jié)構(gòu)如圖5 所示。該結(jié)構(gòu)中將原本串聯(lián)在FPN 的每個(gè)特征層之后的RPN 結(jié)構(gòu)直接替換成GA-RPN。而該結(jié)構(gòu)的總訓(xùn)練損失分為興趣域生成損失和目標(biāo)分類(lèi)與定位損失,興趣域生成損失中又包含錨點(diǎn)定位損失Lloc和錨點(diǎn)形狀預(yù)測(cè)損失Lshape,其中Lloc定義為特征圖中點(diǎn)屬于前景或背景的二分類(lèi)損失。

圖5 基于改進(jìn)FasterR-CNN的鋼軌踏面塊狀傷損檢測(cè)網(wǎng)絡(luò)設(shè)計(jì)Fig.5 Design of rail tread block defects detection network based on improved Faster R-CNN

由于生成錨點(diǎn)中正樣本數(shù)量遠(yuǎn)小于負(fù)樣本數(shù)量,因此采用具有正負(fù)樣本平衡能力的Focal 損失,如式(11),其中:pi表示特征點(diǎn)預(yù)測(cè)為正樣本的概率表示該特征點(diǎn)的實(shí)際標(biāo)簽,取值0 或1;α用于控制正負(fù)樣本平衡,取值為0.25;γ用于使網(wǎng)絡(luò)注重困難樣本學(xué)習(xí),取值為2。

在訓(xùn)練時(shí)用目標(biāo)實(shí)際邊框Bt(xt,yt,wt,ht)指導(dǎo)訓(xùn)練,即將實(shí)際邊框Bt分為中心區(qū)域(Center Region,CR)、忽略區(qū)域(Ignore Region,IR)和外區(qū)域(Out Region,OR),定位在CR 內(nèi)的錨點(diǎn)為正樣本,定位在OR 區(qū)域內(nèi)的錨點(diǎn)為負(fù)樣本,具體關(guān)系如式(12):

其中:R用來(lái)定義區(qū)域,0 <φ1<φ2<1,用于控制生成錨點(diǎn)的數(shù)量以及距離實(shí)際邊框中心的距離,實(shí)驗(yàn)中分別為0.2和0.5。

生成的錨點(diǎn)中心位置之后需要對(duì)其形狀進(jìn)行預(yù)測(cè),首先要對(duì)錨點(diǎn)awh(x,y,w,h)鎖定的目標(biāo)實(shí)際邊框Bt進(jìn)行確定,然后就是利用Bt對(duì)awh的形狀預(yù)測(cè)的指導(dǎo)。根據(jù)文獻(xiàn)[17],直接回歸得出awh值是難以實(shí)現(xiàn)的,因而采用對(duì)w、h采樣近似的方法。具體地,借鑒RtinaNet[19],對(duì)FPN 的P2 到P5 分別設(shè)有9種可能的w和h,不同層的w、h組成的面積分別為{16×16,32×32,64×64,128×128}的20、21/2和22/3,且w∶h有0.5、1.0 和2.0三種取值。定義awh與某個(gè)實(shí)際邊框的最大交并比為vIoU,找到與awh具有最大交并比的Bt,以及此時(shí)awh的w和h。

錨點(diǎn)形狀預(yù)測(cè)Lshape損失如式(14):

得到錨點(diǎn)進(jìn)入興趣域池化產(chǎn)生感興趣區(qū)域,之后便可對(duì)興趣域中目標(biāo)分類(lèi)以及目標(biāo)預(yù)測(cè)邊框回歸。目標(biāo)分類(lèi)損失Lcls是與Faster R-CNN相同的交叉熵,如式(15),而目標(biāo)邊框回歸損失Lreg改成GIoU損失,具體為式(16):

其中:P是每個(gè)興趣域中目標(biāo)分別屬于k個(gè)目標(biāo)類(lèi)別和背景類(lèi)的概率分布;u為目標(biāo)實(shí)際類(lèi)別;Bp(xp,yp,wp,hp)為目標(biāo)預(yù)測(cè)框。

網(wǎng)絡(luò)訓(xùn)練的總損失L為以上4個(gè)損失之和,即:

其中:λ3、λ4用于平衡錨點(diǎn)定位和定形損失,取值分別為1和0.1。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集預(yù)處理

本實(shí)驗(yàn)基于MS COCO 2017數(shù)據(jù)集對(duì)鋼軌踏面塊狀傷損檢測(cè)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練,選用我國(guó)北京交通大學(xué)李清勇老師團(tuán)隊(duì)[20]所采集的關(guān)于重型鋼軌(大小為160×1 000,共67張)和普通鋼軌(大小為55×1 250,共128張)踏面的傷損數(shù)據(jù)集RSDDs對(duì)預(yù)訓(xùn)練好的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行參數(shù)微調(diào)。通過(guò)分析RSDDs數(shù)據(jù)集中鋼軌傷損特征,得出該數(shù)據(jù)集傷損類(lèi)型皆為塊狀傷損,并且從傷損邊緣是否規(guī)整,可將該數(shù)據(jù)集分為兩種傷損類(lèi)型,如圖6(a)、(b)所示:一類(lèi)為外輪廓不規(guī)則、呈分層狀態(tài),記為chip_fall;另一類(lèi)則是外輪廓光滑、形狀較為規(guī)則,記為scallop。

圖6 兩類(lèi)傷損及傷損輪廓示例Fig.6 Examples of two categories of defects and their contours

考慮到RSDDs數(shù)據(jù)集中樣本數(shù)量少,且兩種圖像尺度相差較大,對(duì)該數(shù)據(jù)集樣本進(jìn)行預(yù)處理:首先,把RSDDs數(shù)據(jù)集中每個(gè)傷損圖像橫向切割成等5張子圖像,并篩選出含有塊狀傷損的子圖像,建立新的鋼軌踏面塊狀傷損數(shù)據(jù)集,樣本數(shù)量為435張;然后,重新調(diào)整新數(shù)據(jù)集中的傷損圖像尺度為200×200,并用開(kāi)源標(biāo)注工具Labellmg重新標(biāo)記為chip_fall和scallop兩類(lèi),并生成XML格式的標(biāo)記文件,如圖7所示;最后,對(duì)標(biāo)記后的新鋼軌傷損數(shù)據(jù)集進(jìn)行翻轉(zhuǎn)、隨機(jī)裁剪和加隨機(jī)噪聲的數(shù)據(jù)增廣操作(如圖8所示),建立本文所用的鋼軌踏面塊狀傷損數(shù)據(jù)集,增廣后樣本數(shù)量為3 045張,其中,72%作為訓(xùn)練集,8%作為驗(yàn)證集,20%作為測(cè)試集,具體樣本分布如表2所示。

圖7 scallop和chip_fall兩類(lèi)鋼軌踏面?zhèn)麚p圖像及標(biāo)簽示例Fig.7 Image and label examples of rail tread defects scallop and chip_fall

圖8 鋼軌踏面?zhèn)麚p數(shù)據(jù)增廣示例Fig.8 Examples of rail tread defect data augmentation

表2 鋼軌踏面塊狀傷損數(shù)據(jù)集樣本分布Tab.2 Sample distribution of rail tread block defects dataset

3.2 結(jié)果分析

3.2.1 實(shí)驗(yàn)環(huán)境及評(píng)價(jià)指標(biāo)

1)實(shí)驗(yàn)環(huán)境。

本實(shí)驗(yàn)采用的硬件環(huán)境為:GT1080Ti GPU 顯卡、Intel i5-7600 CPU 處理器、內(nèi)存16 GB。軟件環(huán)境為:Ubuntu 16.04 操作系統(tǒng)、Python3.6、PyTorch 1.3深度學(xué)習(xí)框架。

2)評(píng)價(jià)指標(biāo)。

為充分對(duì)基于改進(jìn)Faster R-CNN 的鋼軌踏面塊狀傷損方法的檢測(cè)效果進(jìn)行對(duì)比,本文采用平均精度(Average Precision,AP)、平均精度均值(mean Average Precision,mAP)作為算法的主要評(píng)價(jià)指標(biāo);分別統(tǒng)計(jì)檢測(cè)預(yù)測(cè)框與實(shí)際邊框的交并比IoU 值(0.5,0.75)的檢測(cè)精度,分別記為AP50 和AP75;并對(duì)尺度分別在0~32×32、32×32~96×96、大于96×96 的三種鋼軌踏面?zhèn)麚p的檢測(cè)精確度進(jìn)行統(tǒng)計(jì),分別記為Aps、Apm、APl。即本文所用到的評(píng)價(jià)指標(biāo)為:mAP、AP50、AP75、APs、APm、APl。

3.2.2 結(jié)果分析

本實(shí)驗(yàn)采用帶動(dòng)量的隨機(jī)梯度下降法(Stochastic Gradient Descent,SGD)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,初始學(xué)習(xí)率為0.01,學(xué)習(xí)率衰減速率為0.000 1,動(dòng)量為0.7,batch size設(shè)置為8,訓(xùn)練循環(huán)最大次數(shù)位10 000,輸入傷損圖像大小為200×200。取600 張測(cè)試樣本,基于傳統(tǒng)的Faster R-CNN 和改進(jìn)Faster RCNN 分別對(duì)鋼軌踏面塊狀傷損進(jìn)行網(wǎng)絡(luò)訓(xùn)練,其中訓(xùn)練集損失變化如圖9 所示可以看出,改進(jìn)的Faster R-CNN 相較于Faster R-CNN 在訓(xùn)練過(guò)程中收斂較快,且損失值較低。同時(shí)得出chip_fall 與scallop 兩種類(lèi)型的踏面塊狀傷損的檢測(cè)結(jié)果如圖10 所示,其中(a)組為輸入的塊狀傷損圖像,(b)組為基于YOLOv3 網(wǎng)絡(luò)的塊狀傷損檢測(cè)效果,(c)組為基于R-FCN 網(wǎng)絡(luò)的塊狀傷損檢測(cè)效果,(d)組為基于FPN網(wǎng)絡(luò)的塊狀傷損檢測(cè)效果,(e)組為基于Faster R-CNN 網(wǎng)絡(luò)檢測(cè)效果,(f)組為基于FPN+Faster R-CNN 網(wǎng)絡(luò)的塊狀傷損檢測(cè)效果,(g)組為基于GIoU+FPN+Faster R-CNN 網(wǎng)絡(luò)的塊狀傷損檢測(cè)效果,(h)組為基于GA+GIoU+FPN+Faster R-CNN 網(wǎng)絡(luò)的塊狀傷損檢測(cè)效果。從圖10 中可以看出本文所提的基于改進(jìn)Faster R-CNN的鋼軌踏面塊狀傷損方法較其他組的檢測(cè)效果而言,對(duì)小尺度傷損的檢測(cè)精確度更高。為進(jìn)一步分析模型的泛化性能,以mAP、AP50、AP75、APs、APm、APl 等指標(biāo)對(duì)不同改進(jìn)網(wǎng)絡(luò)測(cè)試結(jié)果進(jìn)行統(tǒng)計(jì),結(jié)果如表3 所示,兩類(lèi)塊狀傷損的AP 值如表4所示。

圖9 Faster R-CNN及改進(jìn)Faster R-CNN的訓(xùn)練損失變化Fig.9 Change of training losses of Faster R-CNN and improved Faster R-CNN

從表3 可知:FPN+Faster R-CNN 網(wǎng)絡(luò)相較于Faster RCNN 而言,小尺度鋼軌踏面塊狀傷損檢測(cè)的APs 值提高了4.535 個(gè)百分點(diǎn),說(shuō)明了FPN 的引入強(qiáng)化了小尺度鋼軌踏面塊狀傷損的特征表達(dá)能力;而GIoU-Faster R-CNN 網(wǎng)絡(luò)與FPN+Faster R-CNN 相比,鋼軌踏面塊狀傷損檢測(cè)效果的mAP、AP50、AP75、APs、APm、APl等各項(xiàng)評(píng)價(jià)指標(biāo)分別提升了4.454、3.615、5.405、9.72、5.795、4.016 個(gè)百分點(diǎn),因此說(shuō)明基于GIoU 的回歸損失函數(shù)改進(jìn)方法與鋼軌踏面塊狀傷損的檢測(cè)精確度提高是有效的;相較于GIoU-Faster R-CNN,GAFaster R-CNN 對(duì)傷損檢測(cè)效果的mAP、AP50、AP75、APs、APm、APl 等各項(xiàng)評(píng)價(jià)指標(biāo)分別提升了4.496、0.554、5.8、0.513、4.335、6.623個(gè)百分點(diǎn),即采用GA-RPN代替RPN作為興趣生成網(wǎng)絡(luò),能夠有效地提高鋼軌踏面塊狀傷損檢測(cè)精確度;總而言之,相較于傳統(tǒng)的Faster R-CNN 算法來(lái)實(shí)現(xiàn)鋼軌踏面塊狀傷損檢測(cè)而言,采用FPN、GIoU 和GA-RPN 相結(jié)合的改進(jìn)Faster R-CNN 網(wǎng)絡(luò)對(duì)鋼軌踏面塊狀傷損檢測(cè)的mAP 值提高了13.201 個(gè)百分點(diǎn),驗(yàn)證了本文所提改進(jìn)方法對(duì)鋼軌踏面塊狀傷損檢測(cè)精確度提升的有效性。

圖10 不同網(wǎng)絡(luò)對(duì)chip_fall類(lèi)和scallop類(lèi)的傷損檢測(cè)效果Fig.10 Defect detection effect of chip_fall category and scallop category by using different networks

表3 不同改進(jìn)網(wǎng)絡(luò)的鋼軌踏面塊狀傷損檢測(cè)結(jié)果對(duì)比 單位:%Tab.3 Comparison of detection results of rail tread block defects by using different improved networks unit:%

由表4 可知,不同的網(wǎng)絡(luò)對(duì)兩類(lèi)傷損的檢測(cè)精確度不同,但有相同規(guī)律,即相較于chip_fall 類(lèi)塊狀傷損,scallop 類(lèi)傷損的平均檢測(cè)精確度(AP)值更高,由此可推斷出scallop 類(lèi)傷損的特征更明顯、更規(guī)律,更易被檢測(cè);同時(shí),基于GA+GIoU+FPN+Faster R-CNN 相較于傳統(tǒng)的Faster R-CNN 方法對(duì)鋼軌踏面塊狀傷損檢測(cè)精度提高了12.326個(gè)百分點(diǎn)。

綜合以上實(shí)驗(yàn)結(jié)果及分析可知,本文提出的基于改進(jìn)Faster R-CNN 的鋼軌踏面塊狀傷損檢測(cè)方法對(duì)多尺度塊狀傷損的檢測(cè)精確度有明顯的提升。

表4 不同改進(jìn)網(wǎng)絡(luò)對(duì)兩種塊狀傷損的平均檢測(cè)精確度統(tǒng)計(jì) 單位:%Tab.4 AP statistics of two kinds of block defects by using different improved networks unit:%

4 結(jié)語(yǔ)

本文提出了基于改進(jìn)Faster R-CNN 的鋼軌踏面塊狀傷損檢測(cè)方法,采用平移、翻轉(zhuǎn)、裁剪、加隨機(jī)噪聲等方法對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充,解決了鋼軌踏面塊狀傷損的數(shù)據(jù)集不足問(wèn)題;并在特征提取階段,采用ResNet-101基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu),構(gòu)建多尺度特征金字塔,提高了小尺度塊狀傷損的檢測(cè)精度;此外,使用GIoU、Focal 損失函數(shù)及GA-RPN 自適應(yīng)生成錨點(diǎn)方法,彌補(bǔ)了傳統(tǒng)Faster R-CNN 中對(duì)預(yù)測(cè)邊框回歸定位不準(zhǔn)確和生成錨點(diǎn)中正負(fù)樣本不平衡的不足,可為軌道傷損巡檢的智能化處理提供相關(guān)參考。然而,本文僅實(shí)現(xiàn)了兩類(lèi)塊狀傷損的檢測(cè)分類(lèi),而在工程應(yīng)用中存在多種多樣的鋼軌踏面?zhèn)麚p,未來(lái)可以從鋼軌踏面?zhèn)麚p數(shù)據(jù)集的擴(kuò)充著手,對(duì)其他常見(jiàn)類(lèi)鋼軌踏面?zhèn)麚p的精確檢測(cè)進(jìn)行深入研究。

猜你喜歡
傷損錨點(diǎn)踏面
基于NR覆蓋的NSA錨點(diǎn)優(yōu)選策略研究
踏面清掃器動(dòng)作邏輯與成本控制
5G手機(jī)無(wú)法在室分NSA站點(diǎn)駐留案例分析
5G NSA錨點(diǎn)的選擇策略
普速鐵路鋼軌傷損的分布規(guī)律
鐵道建筑(2020年7期)2020-08-03 13:18:46
5G NSA組網(wǎng)下錨點(diǎn)站的選擇策略?xún)?yōu)化
基于機(jī)器視覺(jué)的礦車(chē)踏面磨耗檢測(cè)設(shè)計(jì)
鋼軌接頭傷損成因及改進(jìn)措施
SZT-8型探傷儀傷損圖形判傷標(biāo)準(zhǔn)的研究與運(yùn)用
橫向力對(duì)列車(chē)車(chē)輪踏面表層材料塑性變形的影響
宜川县| 全椒县| 陆丰市| 法库县| 临夏市| 普陀区| 尉犁县| 措勤县| 安庆市| 水城县| 利川市| 塘沽区| 灌阳县| 襄城县| 绥江县| 齐齐哈尔市| 水富县| 鹤庆县| 德阳市| 宜宾县| 东阳市| 土默特右旗| 宜都市| 泰兴市| 抚远县| 大连市| 天全县| 香河县| 尼勒克县| 香格里拉县| 恩平市| 长春市| 太白县| 齐河县| 涿鹿县| 柳州市| 右玉县| 会昌县| 金寨县| 大庆市| 永嘉县|