石 麗,裴莉莉,陳 昊,李 偉,袁 博,馮笑然

(長安大學 信息工程學院,西安 710064)

根據我國2013-2030年的交通發(fā)展規(guī)劃,未來公路的規(guī)模為550 萬～600 萬公里.其中,在460 萬～520萬公里鄉(xiāng)村公路中,水泥混凝土路面占比達到84%～87%.露骨為水泥混凝土路面的常見病害,路面出現(xiàn)露骨病害不僅會影響行車的安全性,繼續(xù)擴展還會形成坑槽,嚴重影響路面的使用年限.盡早對露骨病害檢測并加以養(yǎng)護,可以延長路面的使用壽命,降低路面維護成本.目前露骨病害檢測主要依靠人工識別,這種方法不僅耗費大量人力物力,而且檢測結果受主觀判斷影響,容易發(fā)生誤檢漏檢的情況.因此,如何快速自動化檢測路面露骨病害已經成為亟待解決的問題.

隨著深度學習的廣泛應用,目標檢測方法已經成為卷積神經網絡領域的熱點話題[1,2].基于卷積神經網絡的方法主要包括兩大類:一類是one-stage 一階段目標檢測方法,此方法將整個目標檢測過程融合成一個端到端的任務,只對圖像進行一次處理即可得到目標的類別和位置信息,其典型的算法有SSD[3]、YOLOv3[4]、FSSD[5]等;另一類是基于候選區(qū)域的two-stage 二階段目標檢測方法,此方法將生成候選框和候選框分類回歸分成2 個階段,首先在圖像上生成若干可能包含目標的候選框,其次使用卷積神經網絡對候選框進行特征提取,最后使用卷積神經網絡對目標區(qū)域進行分類和回歸,其典型的算法有Fast R-CNN[6]、Faster RCNN[7]、SPP-Net[8]、Mask R-CNN[9]等.與二階段目標檢測算法相比,一階段目標檢測算法效率更高,但是在特征提取過程中,容易產生大量負樣本,導致在訓練時正負樣本失衡,準確率和定位精度較低.Lin 等[10]提出的RetinaNet 模型利用Focal Loss 函數(shù)解決樣本失衡的問題,在COCO 測試集上其檢測精度高于當時最先進的二階段檢測算法.譚章祿等[11]利用RetinaNet 模型在煤礦監(jiān)控中實現(xiàn)自動檢測及提取人員信息,整體性能滿足煤礦監(jiān)控的需求.Zhang 等[12]引入Octave 卷積和加權特征金字塔結構以提高RetinaNet 對車輛的檢測性能,結果證明該方法對不同場景、不同規(guī)模的車輛目標具有良好的檢測結果.姚青等[13]選擇組歸一化作為RetinaNet 的歸一化方法,改進特征金字塔網絡結構,改進后的模型對稻縱卷葉螟和二化螟為害狀區(qū)域的平均檢測精度為 93.76%.吳華運等[14]對RetinaNet特征金字塔網絡的特征融合過程進行優(yōu)化,增加語義特征提取模塊,在特征提取網絡ResNet 網絡中添加了膨脹卷積瓶頸模塊,對醫(yī)藥空瓶表面氣泡缺陷檢測的準確率為99.72%.張濤等[15]在RetinaNet 模型基礎上,建立用來融合深層特征的HFF 模塊和融合淺層特征LFF 模塊,在PASCAL VOC 和MSCOCO 數(shù)據集上較原模型精度有提升.鄧小桐等[16]針對迷彩偽裝人員目標特性,將空間注意力和通道注意力機制嵌入到RetinaNet 網絡結構中,并設計基于定位置信信息的檢測框過濾算法,比原模型檢測精度提升了8.7 個百分點,達到93.1%.

針對目前缺少關于水泥路面露骨病害檢測方法以及人工檢測費時、費力和檢測精度不高的問題,本文以RetinaNet 為基礎,以SE-ResNet101 作為特征提取網絡、對特征金字塔結構進行改進,提出一種改進的RetinaNet 模型,實現(xiàn)對水泥路面露骨病害的準確且快速地識別.

1 改進的RetinaNet 模型

1.1 RetinaNet

RetinaNet 是Lin 等在2018年提出的一階段目標檢測器,其結構如圖1所示.RetinaNet 主要由3 部分構成:如圖1(a)為特征提取網絡,實現(xiàn)對圖像的特征提取操作,目前應用較廣泛的特征提取網絡有殘差網絡ResNet[17]、VGG-Net[18]、GoogleNet[19]等;如圖1(b)為特征金字塔網絡(feature pyramid networks,FPN)[20],其將特征提取網絡提取的特征圖進行重新組合,形成具有各種尺度的相同維度特征,實現(xiàn)特征的精細化提取;如圖1(c)和圖1(d)表示用來分類和定位的分類和回歸子網絡(fully convolutional networks,FCN)[21],分類子網絡用于卷積對象分類,回歸子網絡用于卷積邊界框回歸.

圖1 改進的RetinaNet 結構圖

1.1.1 特征提取網絡

隨著神經網絡深度的增加,特征的提取抽象程度就越高,理論上也就能產生更好的擬合效果.但是,隨之會出現(xiàn)梯度彌散、梯度爆炸、學習率下降等問題.為解決此問題,He 等[17]提出ResNet 殘差網絡,如圖2為ResNet 的殘差單元.H(x)=F(x)+x表示最優(yōu)解映射,其中x為輸入,F(x)為殘差映射.其采用快捷連接跨越的思想,使用等值映射方式,跳過中間層,直接將一部分原始數(shù)據直接輸出傳到下一層.此結構不會增加網絡參數(shù),對網絡計算的復雜度也不會有影響,有效的解決網絡的梯度爆炸、梯度彌散的問題.

圖2 殘差網絡結構圖

1.1.2 特征金字塔網絡(FPN)

如圖1(b)為特征金字塔網絡,在RetinaNet 模型中,特征金字塔網絡使得高層語義特征和低層位置特征相結合,增強卷積神經網絡的特征提取能力.對ResNet101 特征提取網絡輸出的特征圖C2～C5 進行上采樣和橫向連接操作,產生特征融合后的特征金字塔網絡結構P3～P5.具體操作方法為首先對C5 使用步長為1 的1×1 卷積核卷積得P5;其次對C4 使用步長為1 的1×1 卷積核卷積,并相加對P5 進行兩倍上采樣結果;最后對上一步操作得到的特征圖使用步長為1 的3×3 卷積核卷積得到P4.以此類推,得到P3.

1.1.3 分類回歸子網絡與損失函數(shù)

RetinaNet 網絡借鑒RPN(region proposal network)中的Anchor 的思想:當卷積核滑動到特征圖某位置時,滑動窗口的中心點映射到原圖上形成一個映射點,此映射點對應一個尺度和縱橫比,成為一個Anchor.本文在Anchor 生成時使用了3 種不同尺寸和3 種不同縱橫比{1:2,1:1,2:1},即可產生9 種 Anchor.如圖1(c)和圖1(d)為分類和回歸子網絡,對生成的所有Anchor 進行分類和回歸.

分類子網絡為每個Anchor 預測露骨病害的概率.將特征金字塔中某一層特征圖與激勵函數(shù)為ReLU 的全卷積網絡相連接,使用Sigmoid 函數(shù)預測水泥路面露骨病害的概率.在分類子網絡中,檢測器一般通過交叉熵損失函數(shù)(CE loss)判定預測值與真實值的差異程度.目前普遍應用的CE loss 如式(1)所示:

其中,y為聚焦參數(shù);pt的定義如式(2):

在進行露骨病害檢測時,由于受路面車道線和陰影的影響,出現(xiàn)了類不平衡和難易實例的檢測問題.本文在CE loss 的基礎上,為解決中正負樣本區(qū)域嚴重失衡的問題,將正負樣本增加權重因子α,降低負樣本的權重,增加正樣本權重,加權CE loss 的定義如式(3);為解決難易樣本區(qū)域失衡的問題,增加調制系數(shù)(1-pt),減少易檢測的樣本權重,使得模型在訓練時更加專注難檢測的樣本,尺度動態(tài)可調損失函數(shù)Focal Loss 定義式(4).

其中,β為聚集參數(shù),且β ≥0,αt定義如式(5):

回歸子網絡與分類子結構相類似.在回歸子網絡中,RetinaNet 使用了SmoothL1 損失函數(shù).假定p代表預測區(qū)域與Anchor 之間的變換關系,t代表真實區(qū)域與Anchor 之間的變換關系;則表示第i個預測區(qū)域與Anchor 之間的偏差,t第i個真實區(qū)域與Anchor 之間的偏差;表示區(qū)域中心點的坐標;(w,h)表示區(qū)域的寬和高.為第j類缺陷的真實區(qū)域,為第i個預測區(qū)域和Anchor.

定義SmoothL1 如式(7):

1.2 改進的RetinaNet

為了更準確的獲得水泥路面露骨病害的原始圖像特征,本文使用ResNet101 作為特征提取網絡.由于路面病害的破損程度不同,檢測圖像中的目標尺寸有差異,為擴大感受野,在FPN 特征金字塔上做了改進.并借鑒了SE Net 的設計思想,對殘差網絡進行改進.

1.2.1 ResNet101

本文采用深度殘差網絡ResNet101 作為特征提取網絡,其結構如圖3所示.整個網絡包含101 個卷積層,其中每個括號內的結構代表一個結構塊,每個結構塊中包含3 層卷積.在Conv2 中3×3,maxpool,stride2 代表卷積核為3×3,步長為2 的最大池化操作,1×1,64 代表卷積核大小為1×1,輸出通道為64 的卷積操作,其余與之同理.

圖3 ResNet101 網絡結構

1.2.2 改進的FPN

在RetinaNet 模型中,FPN 通過自底向上、自頂向下、橫向連接等多種方式將ResNet 不同層的特征圖進行融合,對小目標具有較好的檢測效果.本試驗的數(shù)據集中,露骨病害目標所占比例較大.為了使模型有利于大目標圖像的檢測,對本試驗目標有更好的檢測效果,選擇進一步增大模型的感受野,具體操作為:在圖1(b)P5 的基礎上,使用步長為2 的3×3 的卷積核卷積運算得到P6、P7,提升感受野的同時,進一步對訓練目標信息進行抽象,獲取更高維度的特征信息.將更大感受野且更高維度信息整合后送入網絡,同時計算class subnet 和box subnet 的損失值,進行反向梯度更新,從而更加準確的進行下一階段的特征提取操作,提升整體檢測性能.

1.2.3 基于SE-ResNet101 的特征提取網絡

圖4 為SE-ResNet101 模塊內部結構,SE-ResNet101由ResNet101 模塊和SE Net 模塊兩部分構成.SE Net(squeeze-and-excitation networks)[22]是基于加權特征圖思想提出的一種網絡結構,在殘差網絡ResNet101 中嵌入SE,促使神經網絡更有針對性地提取目標特征,以提高對目標的特征表達能力,從而提升對露骨病害的聚焦.

圖4 SE-ResNet101 模塊內部結構

SE Net 結構由壓縮 Squeeze 和激勵Excitation 兩個部分組成.具體流程為:首先 Squeeze 操作將C×W×H的特征圖通過全局平均池化壓縮,可得到1×1×C的全局信息描述符.其次通過兩個全連接層進行Excitation操作從而預測每個channel 的重要性.第一個全連接層輸入為1×1×C,輸出1×1×C/r,r為縮放參數(shù);第二個全連接輸入為1×1×C/r,輸出為1×1×C.然后使用Sigmoid 激活函數(shù)輸出一個原輸入特征圖各層權值的向量.最后Scale 操作將輸出向量與原輸入特征圖相乘,得到加權特征圖,來增強有效特征,削弱低效或無效特征,提取具有更強指向性的特征,從而提高檢測結果.

不同通道的特征進行一定的相乘相加運算,使得加入注意力模塊的網絡學習到更多有用的圖像信息,也避免了網絡學習不感興趣區(qū)域的資源浪費,增強網絡的學習重點能力,改善學習效率.

2 基于改進的RetinaNet 模型的路面露骨病害目標檢測

2.1 數(shù)據集構建

本文所使用的水泥路面露骨病害圖像數(shù)據集由人工手機拍攝及車載運動相機拍攝,采集區(qū)域主要是在中國陜西省西安市長安大學及其附近.最終拍攝數(shù)據集圖像共506 幅.部分露骨病害采集樣本如圖5所示.

圖5 部分水泥路面露骨病害圖像

由圖5 可以看出,由于露骨病害圖像源自不同拍攝設備、不同路段,因此圖像背景十分復雜且樣本數(shù)據集較少.基于上述情況,本文對數(shù)據集進行處理以提升其質量.首先為解決樣本數(shù)據集數(shù)量不足的問題,本文采取鏡像、旋轉和調節(jié)像素等多種方式對數(shù)據集進行數(shù)據增廣,最終樣本的數(shù)量為1 523.其次,為了盡可能減小背景及路況對檢測的影響,需要對樣本數(shù)據集進行預處理工作,具體流程圖如圖6所示.最后,使用LabelImg軟件對數(shù)據集圖像中的露骨病害目標進行標記,每個露骨病害目標對應于數(shù)據樣本中位置注釋的XML 文件.

圖6 露骨病害圖像預處理流程圖

2.2 數(shù)據集構建

本實驗的操作系統(tǒng)為Ubuntu 14.04 操作系統(tǒng).具體的實驗環(huán)境如表1所示.

表1 實驗環(huán)境

從本文自制的1 523 個數(shù)據集中,選出90% 即1 370 幅露骨病害樣本進行訓練,其余10%即153 幅露骨病害樣本進行測試.在分類訓練集和測試集時,將圖像按照復雜度(陰影、車道線及其他異物)均勻地分給訓練集和測試集以保證實驗的有效性.模型訓練過程中的參數(shù)設置如表2所示.

表2 RetinaNet 模型訓練參數(shù)

2.3 實驗評價指標

本文采用準確率Precision、召回率Recall和檢測精度AP對水泥路面露骨病害檢測的效果進行評價,其計算公式如下:

式中,Precision準確率表示正確檢測為露骨病害目標在全部檢測為露骨病害目標結果中的占比,其值越大說明誤檢的目標越少;Recall表示檢測正確的露骨病害目標在所有露骨病害目標的占比,其值越大說明漏檢目標越少;TP表示正確檢測露骨病害目標數(shù)量,FP表示誤檢為露骨病害目標的數(shù)量,TN表示正確檢測非露骨病害目標數(shù)量,FN表示漏檢的露骨病害目標數(shù)量.PR 曲線是以Precision作為縱坐標,Recall作為橫坐標,繪制的二維曲線,PR 曲線與坐標軸所圍成的面積為平均準確率(average precision,AP)值.AP值用來分析模型檢測效果,衡量目標的檢測精度.AP值越大,說明其檢測精度越高.

2.4 實驗結果對比與分析

2.4.1 模型改進前后結果對比

為了驗證本文方法改進后的RetinaNet 對水泥路面露骨病害檢測的有效性,分別對RetinaNet 和改進后的RetinaNet 在測試集上的檢測結果進行比較.混淆矩陣如表3.由表4 可知,在檢測精度方面,改進后的Retina-Net 比原RetinaNet的AP 提升4.9%;在檢測速度方面,改進后的模型單張速度了僅增加了1.8 ms.利用Python語言中的Matplotlib庫繪制PR 曲線如圖7,可見改進后的模型整體性能得到了提升,漏檢率進一步的降低.

圖7 RetinaNet 改進前后的PR 曲線圖

表3 二分類混淆矩陣

表4 模型改進前后檢測結果

圖8 為RetinaNet 改進前后目標檢測算法對水泥里面露骨病害的識別效果的對比,可以看出改進后RetinaNet 算法相較于原算法有更好的檢測效果.

圖8 RetinaNet 改進前后目標檢測算法識別效果

根據改進后的RetinaNet 輸出結果與露骨圖像實際標簽,得到混淆矩陣,如表5所示.

表5 露骨病害混淆矩陣

圖9 比較了使用CE loss 和Focal loss 的訓練損失曲線,從圖9 中可以看出,在50 輪的訓練過程中,本文使用的Focal loss 函數(shù)相對于CE loss 使得改進后的RetinaNet 收斂速率更快.在模型訓練后期,采用Focal loss 在訓練集上的損失值均低于CE loss.

圖9 使用CE loss 和Focal loss 的losS曲線對比圖

2.4.2 不同目標檢測模型檢測效果對比

為了進一步驗證本文改進的RetinaNet 模型對于水泥路面露骨病害檢測的有效性,將本文模型與目前主流的目標檢測模型Faster R-CNN、SSD 以及YOLOv3對水泥路面露骨病害測試集進行檢測對比,實驗結果如圖10所示.由圖10 可以看出,本文提出的改進RetinaNet 模型相比于二階目標檢測模型Faster RCNN,單副檢測速度減少105.8 ms,AP 增加4.1%;相比于二階目標檢測模型SSD 和YOLOv3,雖然檢測速度略有增加,但檢測精度增加6.4%和5.2%.綜合上述分析,本文提出的模型是一個對水泥路面露骨病害有效的檢測模型.

圖10 不同模型檢測效果對比

3 結論

本文以水泥路面露骨病害為研究對象,基于改進的RetinaNet 網絡對露骨病害自動化檢測問題展開研究,主要結論如下:

(1)采集路面露骨病害的圖像,并進行灰度化、濾波去噪、圖像增強等預處理操作,構建水泥路面露骨病害數(shù)據集;

(2)在RetinaNet 模型的基礎上,利用SE Net 的思想對特征提取網絡ResNet101 進行改進,增強特征圖的特征表達能力;增加特征金字塔的層數(shù),充分擴大目標的感受野完成對路面露骨病害圖像的檢測;

(3)通過與Faster R-CNN、SSD 和YOLOv3 對比,發(fā)現(xiàn)改進后的RetinaNet 模型對露骨病害的檢測精度有顯著提升,達到98.9%.實現(xiàn)對露骨病害的準確檢測,能夠替代繁瑣、效率低的人工檢測方法.

本文提出的RetinaNet 改進模型對水泥路面露骨病害自動化檢測領域具有重要意義.但改進后的Retina-Net 模型相比于原模型單幅露骨病害檢測時間增加1.8 ms,因此在保證識別精度的同時提升網絡檢測速度是之后研究工作的重點.