韋正璐，王家晨，劉慶華

（江蘇科技大學(xué)計(jì)算機(jī)學(xué)院，江蘇鎮(zhèn)江 212000）

近年來(lái)，隨著我國(guó)公路交通網(wǎng)的迅速發(fā)展，各種運(yùn)營(yíng)養(yǎng)護(hù)中的問(wèn)題也隨之出現(xiàn)，如公路結(jié)構(gòu)破壞、路面的平整度變差、路面承載能力降低、路面抗滑性能降低等。這一系列的問(wèn)題不僅會(huì)增加車(chē)輛零部件磨損、噪聲污染和道路擁堵的幾率，而且對(duì)行車(chē)安全造成嚴(yán)重威脅。因此，推行路面破損檢測(cè)智能化的重要性也日趨凸顯。

在路面破損目標(biāo)檢測(cè)已有的相關(guān)研究中，徐為馳等[1]提出將OTSU 邊緣檢測(cè)和Canny 邊緣檢測(cè)結(jié)合，以此提高路面破損識(shí)別準(zhǔn)確率，但只進(jìn)行了針對(duì)路面裂縫的檢測(cè)，并未在其他路面破損情況下進(jìn)行驗(yàn)證。沙愛(ài)民等[2]利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)路面破損進(jìn)行分類(lèi)，但CNN 需要調(diào)參并且樣本量大，不能準(zhǔn)確對(duì)相關(guān)破損進(jìn)行識(shí)別；Hiroya Maeda 等[3]試圖通過(guò)移動(dòng)端使用SSD(Single Shot MultiBox Detector)模型進(jìn)行目標(biāo)檢測(cè)，但使用場(chǎng)景受限，并且傳統(tǒng)SSD 模型對(duì)路面破損特征檢測(cè)的精確性與速度都較低。

針對(duì)目前深度學(xué)習(xí)在目標(biāo)檢測(cè)領(lǐng)域的廣泛應(yīng)用[4]，文中提出一種基于改進(jìn)SSD 算法的路面破損檢測(cè)方法，目的是同時(shí)提高模型檢測(cè)精度和檢測(cè)速度。改進(jìn)的網(wǎng)絡(luò)模型在SSD 算法的基礎(chǔ)上，結(jié)合Inception[5-7]模塊，使用改進(jìn)后的Inception 模塊替換原網(wǎng)絡(luò)結(jié)構(gòu)中的特征提取層，增強(qiáng)其目標(biāo)特征提取能力，提高檢測(cè)速度和小目標(biāo)路面破損情況的識(shí)別率；引入通道域的代表網(wǎng)絡(luò)模型SKNet[8]，根據(jù)輸入信息的多尺度自適應(yīng)地調(diào)整其卷積核的大小，在增加較少計(jì)算量的同時(shí)進(jìn)一步提高檢測(cè)精度。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的方法能快速準(zhǔn)確地檢測(cè)路面裂縫[9]、凹陷等路面特征。

1 傳統(tǒng)SSD目標(biāo)檢測(cè)

1.1 SSD網(wǎng)絡(luò)結(jié)構(gòu)

SSD[10-12]算法是Wei Liu 等人在2016 年提出的，它僅需要單個(gè)卷積神經(jīng)網(wǎng)絡(luò)就能完成目標(biāo)檢測(cè)。SSD 網(wǎng)絡(luò)以VGG-16 作為基礎(chǔ)網(wǎng)絡(luò)，在Conv5 之后將全連接層改為兩個(gè)1×1 和3×3 的卷積核，從而計(jì)算特征和降采樣，并從中選擇六個(gè)不同大小的特征層來(lái)預(yù)測(cè)目標(biāo)。SSD 的網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

圖1 SSD網(wǎng)絡(luò)結(jié)構(gòu)

1.2 先驗(yàn)框和損失函數(shù)

傳統(tǒng)SSD 網(wǎng)絡(luò)中共有六個(gè)卷積層的特征圖被用來(lái)進(jìn)行檢測(cè)，六個(gè)特征圖分別用于預(yù)測(cè)不同大小和長(zhǎng)寬比的邊界框[13]。SSD 為每個(gè)檢測(cè)層都預(yù)定義了不同大小的先驗(yàn)框，六個(gè)特征圖的尺寸分別為38、19、10、5、3、1，它們對(duì)應(yīng)的先驗(yàn)框尺寸隨著特征圖的縮小線性增大，如式（1）所示：

其中，m表示特征圖的個(gè)數(shù)，m=5（不包括Conv4_3），Sk表示先驗(yàn)框大小與圖片大小的比例，Smin表示最小比例，設(shè)為0.2，Smax表示最大比例，設(shè)為0.9。對(duì)于第一個(gè)特征圖Conv4_3，其比例設(shè)置為Smin/2=0.1，其對(duì)應(yīng)大小為300×0.1=30。同時(shí)每個(gè)單元先驗(yàn)框的中心點(diǎn)分布在各個(gè)單元的中心，即j∈[0,||fk]。

SSD 的損失函數(shù)[14]由位置損失函數(shù)和置信度損失函數(shù)組成，總損失函數(shù)如（2）所示：

總損失函數(shù)是分類(lèi)和回歸的誤差的帶權(quán)加和，N為先驗(yàn)框的正樣本數(shù)量，α表示兩者的權(quán)重。當(dāng)預(yù)測(cè)值與目標(biāo)值相差很大時(shí)，梯度容易爆炸，所以提出了SmoothL1損失函數(shù)，位置信息為encode 之后的位置信息，其表達(dá)式為

類(lèi)別置信度損失函數(shù)公式如式（3）-（4）所示：

2 改進(jìn)的SSD目標(biāo)檢測(cè)算法

文中結(jié)合了改進(jìn)的Inception 模塊、空洞卷積以及SKNet[15]來(lái)對(duì)SSD 算法進(jìn)行改進(jìn)[16]。具體改進(jìn)思路如下：以Inception 網(wǎng)絡(luò)為基礎(chǔ)，結(jié)合不同空洞率的空洞卷積[17]提出了改進(jìn)的Inception 模塊，用 其 替 換SSD 算 法 中 的Conv4_3 層、FC7 層、Conv_8、Conv_9 和Conv_10 層，由此可以提高計(jì)算速度并增加有效感受野，以改善小目標(biāo)檢測(cè)精度不高的問(wèn)題。同時(shí)加入選擇性?xún)?nèi)核卷積SKNet，根據(jù)輸入信息的多個(gè)尺度自適應(yīng)地調(diào)節(jié)接受域大小，從而提取更多的路面破損特征信息，進(jìn)一步提高模型的檢測(cè)精度。改進(jìn)后的SSD 網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖2 改進(jìn)后SSD網(wǎng)絡(luò)結(jié)構(gòu)

2.1 改進(jìn)的Inception模塊

傳統(tǒng)SSD 算法比較突出的缺點(diǎn)是對(duì)小目標(biāo)的特征識(shí)別效果較差，盡管SSD 在盡量多的特征層上進(jìn)行檢測(cè)以此來(lái)更好地對(duì)小目標(biāo)進(jìn)行匹配，這是因?yàn)榉直媛试酱蟮奶卣鲌D，其小目標(biāo)空間信息保留越多，但是忽略了淺層提取的特征圖表達(dá)能力不夠強(qiáng)，使得SSD算法依然存在誤檢和漏檢的問(wèn)題。所以為了增強(qiáng)SSD 網(wǎng)絡(luò)特征層對(duì)小目標(biāo)檢測(cè)和復(fù)雜路面破損的特征提取能力，提出了改進(jìn)的Inception模塊。該模塊是在綜合考慮了Inception-V1 到Inception-resnetV2 各個(gè)版本的基礎(chǔ)上對(duì)Inception 原始網(wǎng)絡(luò)做出的改進(jìn)。例如，在Inception-V2 中使用了Bn 層幫助訓(xùn)練，Inception-V3[18]中采用一種并行的降維結(jié)構(gòu)縮小特征圖尺寸。改進(jìn)后的Inception 網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。圖中，三組不同大小卷積核組成的級(jí)聯(lián)卷積層和一個(gè)平均池化層并行合并，從增加網(wǎng)絡(luò)寬度的角度提升模型性能。由于利用不同尺寸的卷積核可以獲得不同大小感受野的方法，所以造成了內(nèi)部數(shù)據(jù)結(jié)構(gòu)損失和路面特征目標(biāo)信息丟失，因此引入了不同空洞率(DR)的空洞卷積來(lái)代替普通卷積，在參數(shù)量不變的情況下增大了有效感受野，進(jìn)而提高網(wǎng)絡(luò)對(duì)目標(biāo)路面破損的特征表示能力；另外，在卷積層后通過(guò)批量EvoNorm 來(lái)代替?zhèn)鹘y(tǒng)的歸一化和激活函數(shù)[19]Bn-Relu，提高網(wǎng)絡(luò)訓(xùn)練速度和增強(qiáng)魯棒性。改進(jìn)后的Inception 模塊相比傳統(tǒng)SSD 算法中的特征提取卷積層，對(duì)路面特征信息的提取能力更強(qiáng)并且提升了網(wǎng)絡(luò)的計(jì)算速度。

圖3 改進(jìn)后inception網(wǎng)絡(luò)結(jié)構(gòu)

2.2 EvoNorm

隨著網(wǎng)絡(luò)的發(fā)展，通常歸一化和激活函數(shù)都是一起出現(xiàn)的，都伴隨著卷積而出現(xiàn)，例如常見(jiàn)的幾種范式BN-ReLU、GN-ReLU、BN-Swish 等。谷歌在算法中搜索了兩類(lèi)計(jì)算來(lái)代替?zhèn)鹘y(tǒng)的范式組合，分別是EvoNorm-B 和EvoNorms-S 系列。

文中使用EvoNorm-B0 取代傳統(tǒng)的BN-ReLU，計(jì)算圖如圖4 所示，這個(gè)計(jì)算圖保證了輸入和輸出的維度不變，因?yàn)闅w一化層+激活層的特點(diǎn)也不改變輸入維度，只是進(jìn)行函數(shù)映射。

圖4 EvoNorm計(jì)算圖

EvoNorm 計(jì)算圖也可以用表達(dá)式的形式表現(xiàn)，EvoNorm-B0 和BN-ReLU 的表達(dá)式分別如下所示：

進(jìn)行目標(biāo)檢測(cè)、目標(biāo)分割和目標(biāo)生成任務(wù)時(shí)，相對(duì)于BN-ReLU，EvoNorm-B0 都是更好的選擇。因?yàn)镋voNorm-B0可以在batch中捕獲數(shù)據(jù)的全局信息，而B(niǎo)N-ReLU 則很好地捕獲了每張圖像的局部信息。所以在改進(jìn)的Inception 模塊中加入EvoNorm-B0，這樣可以在圖像分類(lèi)任務(wù)和實(shí)體分割任務(wù)中取得明顯的性能提升。

2.3 SKNet

SKNet 是一個(gè)輕量級(jí)嵌入式的模塊，其對(duì)不同感受野的卷積核做注意力機(jī)制[20-24],它可以很方便地嵌入到Inception 模型結(jié)構(gòu)中，以實(shí)現(xiàn)精度的提升。SKNet 模塊結(jié)構(gòu)如圖5 所示，整個(gè)過(guò)程主要可以分為以下三個(gè)階段，首先輸入原始特征圖X，Split 操作經(jīng)過(guò)一系列的卷積操作同時(shí)得到U和Fuse 操作融合來(lái)自多通道的信息，從而獲得一個(gè)全局及可解釋性的表示，用于進(jìn)行權(quán)重選擇，其中Fgp為全局池化，F(xiàn)fc是先降維再升維的全連接層。Select 操作根據(jù)挑選得到的權(quán)重對(duì)不同核尺寸的特征圖進(jìn)行融合，其運(yùn)算公式如（7）所示：

圖5 SKNet模塊結(jié)構(gòu)

由于SKNet 的注意力機(jī)制針對(duì)不同感受野的卷積核，因此對(duì)算法的實(shí)時(shí)性影響較小，所以在每個(gè)特征層后都加入了SKNet。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境及算法評(píng)估標(biāo)準(zhǔn)

該實(shí)驗(yàn)采用的運(yùn)行環(huán)境見(jiàn)表1。

表1 實(shí)驗(yàn)運(yùn)行環(huán)境

為了更準(zhǔn)確地衡量所提出算法的性能，實(shí)驗(yàn)采用的評(píng)價(jià)指標(biāo)為mAP 和檢測(cè)速度。檢測(cè)速度用來(lái)評(píng)估目標(biāo)檢測(cè)的速度，即每秒內(nèi)可以處理的圖片數(shù)量，單位為FPS。時(shí)間越短，速度越快。mAP 用于評(píng)估算法在各個(gè)類(lèi)別上的精度，平均精度AP 是由精確率和召回率組成的評(píng)價(jià)指標(biāo)，如式（8）-（10）所示：

mAP 是每個(gè)類(lèi)別的平均精度的均值，也就是各個(gè)類(lèi)別的AP 的均值。該實(shí)驗(yàn)采用的路面特征數(shù)據(jù)集是由實(shí)際場(chǎng)地拍攝和從網(wǎng)上公開(kāi)數(shù)據(jù)集下載的總計(jì)4 856 張路面特征圖片，通過(guò)使用三維標(biāo)注軟件LabelImage 圖像標(biāo)定工具生成的pascal_VOC 數(shù)據(jù)集，示例如圖6 所示，主要的目標(biāo)檢測(cè)類(lèi)別分為路面裂縫和路面凹陷。其中，70%的圖像作為訓(xùn)練數(shù)據(jù)集，剩余的30%作為測(cè)試數(shù)據(jù)集。

圖6 標(biāo)注圖片

3.2 實(shí)驗(yàn)結(jié)果與分析

首先，文中將SSD 算法用改進(jìn)的Inception 模塊替換了Conv4_3、FC7、Conv8、Conv9 和Conv10 層特征提取卷積層，并利用SKNet 增強(qiáng)了圖像深度信息的提取能力。通過(guò)調(diào)用訓(xùn)練過(guò)程保存的模型權(quán)重文件，可對(duì)路面特征數(shù)據(jù)集中的圖片進(jìn)行相應(yīng)的測(cè)試，測(cè)試后可自動(dòng)識(shí)別并定位測(cè)試圖片中的路面裂縫和路面凹陷，顯示相應(yīng)的定位信息和類(lèi)別信息。為了驗(yàn)證該算法的檢測(cè)效果，針對(duì)SSD、Faster R-CNN、YOLO v2 和文中提出的改進(jìn)SSD 算法，在相同的實(shí)驗(yàn)環(huán)境下進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)對(duì)比結(jié)果如圖7 所示。圖中crack 邊界框表示該目標(biāo)是路面裂縫，collapse邊界框表示路面凹陷。

圖7 不同模型檢測(cè)效果

圖7 中的圖像主要是針對(duì)不同算法在晴天、陰影和陰雨天三種情況下的檢測(cè)效果表現(xiàn)，從圖7（a）、（b）和（c）可以看出，F(xiàn)aster R-CNN 算法相比于SSD算法和YOLO v2 算法，對(duì)陰影處裂縫特征的檢測(cè)更為精確，而比較圖7（c）和（d）發(fā)現(xiàn)，改進(jìn)的SSD 算法不僅在陰影環(huán)境下可以準(zhǔn)確定位路面裂縫特征，而且在陰雨環(huán)境下仍可以將路面破損特征全部正確檢出；從圖7（a）至（d）可看出，SSD 算法和YOLO v2 算法只能檢測(cè)出較為明顯的路面裂縫和凹陷，F(xiàn)aster R-CNN 算法雖然可以正確識(shí)別和定位陰影中的目標(biāo)，但在陰雨環(huán)境下依然存在漏檢，而改進(jìn)的SSD 算法能正確識(shí)別各種環(huán)境下圖片中的路面破損目標(biāo)。在文中的數(shù)據(jù)集上，不同模型實(shí)驗(yàn)后的平均精度和檢測(cè)速度如表2 所示。

表2 算法性能對(duì)比表

從表2 中可以看出，改進(jìn)SSD 模型通過(guò)采用改進(jìn)的Inception 模塊替換了VGG 的特征提取層，相比于原始的SSD 算法，適當(dāng)增加了網(wǎng)絡(luò)寬度和網(wǎng)絡(luò)深度，可以提取到更多的路面破損特征，而這些特征在模型學(xué)習(xí)路面破損類(lèi)型時(shí)，能夠起到更好的效果，平均精度和檢測(cè)速度分別提高了6.07%和13.21 FPS。Faster R-CNN 相比與傳統(tǒng)SSD 和YOLO v2 檢測(cè)精度最高，但在檢測(cè)速度上卻差距巨大。而文中改進(jìn)的SSD 算法相較于Faster R-CNN 算法，在檢測(cè)速度上和檢測(cè)精度都有巨大提升。

4 結(jié)論

為了解決路面破損檢測(cè)問(wèn)題，文中設(shè)計(jì)了改進(jìn)的SSD 網(wǎng)絡(luò)模型。該模型利用經(jīng)過(guò)改進(jìn)的Inception模塊，使其替代傳統(tǒng)SSD 網(wǎng)絡(luò)結(jié)構(gòu)中的特征提取層；同時(shí)針對(duì)常見(jiàn)路面破損如路面裂縫、路面凹陷圖像檢測(cè)識(shí)別率低的問(wèn)題，使用空洞卷積來(lái)擴(kuò)大感受野進(jìn)行特征下采樣，從而改善小目標(biāo)檢測(cè)精度不高的問(wèn)題，并且在特征提取層后引入SKNet，提高淺層特征圖對(duì)目標(biāo)物體的特征提取能力。改進(jìn)后的網(wǎng)絡(luò)模型在路面破損檢測(cè)應(yīng)用中能夠擁有更好的魯棒性和準(zhǔn)確性。