韓海航，莫佳笛，周春鵬，王洋洋2,，于 智，顧靜軍

(1.浙江省交通運(yùn)輸科學(xué)研究院 道路工程研究所，浙江 杭州 310039；2.浙江大學(xué) 工程師學(xué)院，浙江 杭州 310015；3.浙江大學(xué) 計(jì)算機(jī)學(xué)院 浙江省服務(wù)機(jī)器人重點(diǎn)實(shí)驗(yàn)室，浙江 杭州 310027)

0 引 言

及時(shí)發(fā)現(xiàn)并識別道路存在的病害問題對于延長道路使用年限和確保車輛安全行駛至關(guān)重要[1]。為此，研究人員必須定期檢查和評估道路性能，并使用宏觀和微觀的分析方法來對材料進(jìn)行分析[2]。由于采集到的道路雷達(dá)數(shù)據(jù)量大而病害問題難以分辨，使得傳統(tǒng)的道路病害人工檢測方法效率低下且耗時(shí)費(fèi)力，故實(shí)現(xiàn)一個能高效精準(zhǔn)的自動化檢測算法來替代人工檢測是目前道路雷達(dá)病害檢測領(lǐng)域的研究重點(diǎn)。

本文以交通道路檢測領(lǐng)域中的三維探地雷達(dá)圖譜數(shù)據(jù)為研究對象，其主要任務(wù)為應(yīng)用機(jī)器視覺方法進(jìn)行道路病害類別的自動識別。因此，其中核心問題是能否有效地識別出雷達(dá)數(shù)據(jù)其俯視圖(水平斷面)和主視圖(垂直斷面)中的病害特征信息。根據(jù)道路探測經(jīng)驗(yàn)可得，主視圖利于發(fā)現(xiàn)空洞問題，而俯視圖利于發(fā)現(xiàn)層間脫空、裂縫問題，所以傳統(tǒng)方案采用兩個分類器解決各自的問題。其主要存在的問題為：僅使用單視圖信息訓(xùn)練單視圖上的分類器，多視圖數(shù)據(jù)無法得到充分利用。然而，本文發(fā)現(xiàn)俯視圖的特征是有利于發(fā)現(xiàn)空洞問題；主視圖特征也對發(fā)現(xiàn)層間脫空、裂縫問題有幫助，因此應(yīng)該采用將兩種視圖進(jìn)行融合的方式來充分利用三維探地雷達(dá)多視圖數(shù)據(jù)，從而提高道路病害分類的準(zhǔn)確率。

1 研究背景

相較于傳統(tǒng)機(jī)器學(xué)習(xí)需要針對數(shù)據(jù)進(jìn)行大量的特征工程，深度學(xué)習(xí)因其能夠自動提取特征同時(shí)又具有極其優(yōu)異的性能，而在近些年得到了快速發(fā)展，被廣泛應(yīng)用于圖像分類、目標(biāo)檢測等領(lǐng)域。何凱明等提出了一種在網(wǎng)絡(luò)層的輸入和輸出之間添加恒等映射的殘差網(wǎng)絡(luò)(ResNet)[3]以解決較高的網(wǎng)絡(luò)層數(shù)對模型效果的負(fù)面影響，使深度模型的層數(shù)能夠進(jìn)一步提高。為了解決在殘差網(wǎng)絡(luò)中對特征重用逐漸減少的問題，Sergey等增加了殘差塊的寬度，提出了Wide ResNet[4]。為了確保獲取網(wǎng)絡(luò)中各層之間的最大信息流，Gao等通過級聯(lián)來連接不同層的特征替換了傳統(tǒng)的通過求和來連接各網(wǎng)絡(luò)層，提出了DenseNet[5]網(wǎng)絡(luò)結(jié)構(gòu)。

另外，由于在雷達(dá)圖譜中道路受損病害特征難以區(qū)別于普通正常路基，非常依賴于專家的經(jīng)驗(yàn)知識，近些年深度學(xué)習(xí)方法逐漸被引入到道路領(lǐng)域中以規(guī)避復(fù)雜的特征工程[6]。由于使用不同傳感器可采集到不同的道路結(jié)構(gòu)病害信息，道路病害檢測方法可根據(jù)其所用設(shè)備技術(shù)、呈現(xiàn)形式與數(shù)據(jù)特征進(jìn)行劃分。Pauly等使用手機(jī)拍攝的圖片數(shù)據(jù)提出了基于卷積神經(jīng)網(wǎng)絡(luò)的裂縫識別，但其分類較為單一且受環(huán)境因素影響較大[7]。而后，為了克服不同采集環(huán)境以及拍攝設(shè)備差異帶來的影響，Cha等引入滑動窗口實(shí)現(xiàn)自動裂縫分類，提高了模型的魯棒性[8]。針對三維瀝青路表圖像信息，Zhang等提出了基于卷積神經(jīng)網(wǎng)絡(luò)的像素級自動裂縫識別網(wǎng)絡(luò)CrackNet[9]。針對探地雷達(dá)采集到的二維圖譜數(shù)據(jù)，沙愛民等利用3個卷積神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)了路表病害識別、裂縫特征提取以及坑槽特征提取[10]。然后，為了實(shí)現(xiàn)自動化道路路基病害識別，沙愛民等建立了包含兩個卷積神經(jīng)網(wǎng)絡(luò)的級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)，分別用于識別高、低分辨率的探地雷達(dá)圖譜[11]。然而，上述方法都是基于單輸入的二維圖像信息進(jìn)行實(shí)現(xiàn)的，不適用于目前常見的三維探地雷達(dá)收集到的多視圖數(shù)據(jù)信息，目前針對更復(fù)雜的三維路基病害暫無好的自動解決方案[2]。同時(shí)，深度學(xué)習(xí)算法模型通常包含著大量需要訓(xùn)練的參數(shù)，需要大量帶標(biāo)注的樣本數(shù)據(jù)來對網(wǎng)絡(luò)參數(shù)值進(jìn)行更新，才能達(dá)到較高準(zhǔn)確率。但由于道路雷達(dá)圖譜數(shù)據(jù)的缺乏標(biāo)注，道路工程領(lǐng)域的研究受到了很大的限制[12]。因此在樣本數(shù)量較小的情況下充分利用信息從而進(jìn)行道路病害的準(zhǔn)確識別也是目前急需解決的問題。

本文主要研究對象為交通道路檢測領(lǐng)域中的三維探地雷達(dá)圖譜數(shù)據(jù)。三維探地雷達(dá)相較于其它二維檢測手段能更為準(zhǔn)確地檢測出道路內(nèi)部隱藏的病害信息，因此被廣泛應(yīng)用于高速公路、市政道路[13]的道路狀態(tài)檢測。其收集到的數(shù)據(jù)呈多視圖顯示，結(jié)合水平斷面(俯視圖)和沿行進(jìn)方向的垂直斷面(主視圖)分析單視圖上所呈現(xiàn)的病害特征信息即可判斷道路所屬病害類別，以主視圖為主、俯視圖為輔的傳統(tǒng)病害類別決策器如圖1所示。根據(jù)俯視圖和主視圖的病害特征，道路病害可以分為3類：空洞、層間脫空和裂縫。

圖1 道路病害類別判別流程

為了解決傳統(tǒng)算法流程(如圖2(a)所示)存在的問題，本文提出了一種可利用三維探地雷達(dá)多視圖數(shù)據(jù)的雙塔網(wǎng)絡(luò)模型，將視圖特征融合和自注意力機(jī)制相結(jié)合，實(shí)現(xiàn)道路病害的端到端檢測與識別，其整體結(jié)構(gòu)如圖2(b)所示。首先，以DenseNet為基礎(chǔ)改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)，提出了基于雙視圖的雙塔模型，將俯、主視圖兩種圖像信息分別作為輸入在單視圖上訓(xùn)練特征提取器，用于提高網(wǎng)絡(luò)對于不同視圖中病害特征的表達(dá)能力。其中，為了進(jìn)一步提高特征表達(dá)能力，在病害特征提取的過程中，應(yīng)用通道間的注意力機(jī)制提取通道間權(quán)重關(guān)系，抑制無用通道信息。然后，針對每個樣本信息，運(yùn)用注意力機(jī)制學(xué)習(xí)視圖間的權(quán)重關(guān)系，選取對當(dāng)前病害類別判斷更關(guān)鍵的信息，減少對與類別決策無關(guān)的信息的關(guān)注。同時(shí)，為了增強(qiáng)模型預(yù)測的穩(wěn)定性以及減少輸出的方差，引入多頭注意力機(jī)制。最后，將兩個視圖特征圖進(jìn)行帶權(quán)融合，經(jīng)過多層感知機(jī)和Softmax歸一化操作后，輸出道路病害類別預(yù)測結(jié)果。實(shí)驗(yàn)結(jié)果表明，在三維探地雷達(dá)多視圖數(shù)據(jù)上，本文模型對于道路病害分類的準(zhǔn)確率較高且穩(wěn)定性較好。由于人工標(biāo)注雷達(dá)圖譜數(shù)據(jù)較為復(fù)雜而且道路病害問題在實(shí)際道路中所占比重較小，病害樣本數(shù)量不足。為了進(jìn)一步提升病害分類精度，使用數(shù)據(jù)增強(qiáng)的方法擴(kuò)充樣本數(shù)量。

圖2 算法流程

2 基于注意力融合的多視圖病害分類

三維探地雷達(dá)主要采用步進(jìn)頻率技術(shù)對道路進(jìn)行檢測，以獲得針對不同深度的最佳分辨率，最終呈現(xiàn)出多視圖信息[13]。為了更好提取其呈現(xiàn)的沿行進(jìn)方向的垂直斷面(主視圖)與水平斷面(俯視圖)這兩個視圖中的重要特征信息從而充分利用數(shù)據(jù)，也能從一定程度上緩解可用樣本數(shù)量少帶來的過擬合問題，本文提出了針對三維探地雷達(dá)多視圖數(shù)據(jù)的基于注意力融合的雙塔模型(Dual-AttFusioNet)。下面將從4個部分對本文算法進(jìn)行介紹：端到端的雙塔模型、通道間的自注意力機(jī)制、視圖間的注意力機(jī)制，以及道路病害類別預(yù)測模塊。

2.1 端到端雙塔模型

利用單一視圖信息可識別出二維空間信息下的病害特征，然后同時(shí)結(jié)合俯、主視圖兩種視圖信息即可判斷道路病害類別，如圖1流程所示。然而，只使用單一視圖存在無法充分利用雷達(dá)圖譜數(shù)據(jù)的弊端。因此，首先采用3D探地雷達(dá)采集到的雙視圖數(shù)據(jù)作為輸入，在兩個視圖上分別訓(xùn)練兩個特征提取器，然后融合雙視圖特征進(jìn)行端到端的道路病害分類，如圖3所示。其中，對單視圖信息進(jìn)行特征提取時(shí)，使用通道間自注意力機(jī)制來學(xué)習(xí)通道間權(quán)重分布；利用視圖間注意力機(jī)制針對每個樣本學(xué)習(xí)俯、主視圖的重要程度，從而進(jìn)行加權(quán)相加的特征融合。

圖3 本文算法框架

本文使用DenseNet-121網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)，來提取每個視圖的信息。兩個視圖上呈現(xiàn)的病害特征信息差異較大，為了針對單視圖進(jìn)行更好的特征表達(dá)，在單個視圖上訓(xùn)練單獨(dú)的特征提取器，且兩個特征提取器不進(jìn)行參數(shù)共享。單視圖特征提取器的網(wǎng)絡(luò)結(jié)構(gòu)如表1所示，主要包含4個最大化利用特征的密集塊(Dense Block)，用于降維的過渡層(Transition Layer)，以及融合雙視圖特征圖的表征層。其中，密集塊包含多次卷積操作并引入卷積核為1×1的卷積操作提高運(yùn)算效率。過渡層采用卷積、通道間自注意力機(jī)制、池化等操作降低通道數(shù)，減小圖片尺寸。表征層由通道間自注意力機(jī)制、全局平均池化、雙視圖特征融合、全連接、Softmax等操作組成，最終輸出道路病害預(yù)測結(jié)果。

為了更好提取每個視圖中的病害特征信息，同時(shí)抑制無用信息(例如圖像噪聲等)在模型中的表達(dá)，本文在DenseNet網(wǎng)絡(luò)各block之間的過渡層(Transition Layer)和最終分類層中引入通道間的注意力機(jī)制來學(xué)習(xí)通道間的權(quán)重分布，如表1所示。隨后，再次結(jié)合注意力機(jī)制用于實(shí)現(xiàn)雙視圖特征的帶權(quán)融合。最終，在雙塔模型的分類層中聯(lián)合雙視圖特征圖進(jìn)行道路病害分類。將上述兩種注意力機(jī)制應(yīng)用于雷達(dá)圖譜數(shù)據(jù)的具體方式將在2.2節(jié)與2.3節(jié)中介紹，病害類別預(yù)測模塊將在2.4節(jié)中介紹。

表1 改進(jìn)后的DenseNet-121網(wǎng)絡(luò)結(jié)構(gòu)

2.2 通道間注意力機(jī)制

三維探地雷達(dá)采集到的雷達(dá)圖譜數(shù)據(jù)中不僅包含病害特征，還存在其它噪聲對病害識別產(chǎn)生影響，如：硬件設(shè)備、干擾信號等[14]。為了減少特征提取器對其它無關(guān)信息的關(guān)注，而更多關(guān)注于提取雷達(dá)圖譜數(shù)據(jù)中的利于病害分類的道路特征信息，因此本文采用通道間自注意力機(jī)制(channel-wised attention)來學(xué)習(xí)不同通道間的權(quán)重大小，并將學(xué)習(xí)到的通道特征中重要程度分布去對原始特征見校準(zhǔn)，以體現(xiàn)不同通道的重要性。

若給定某個視圖，將特征提取過程的中間特征圖U∈RC×H×W作為輸入，整個通道間自注意力過程可以表示為

(1)

圖4 基于Inception的Squeeze-and-Excitation(SE)結(jié)構(gòu)

首先，SE模塊對輸入特征圖進(jìn)行Squeeze操作，使用全局平均池化(global average pooling)操作將單個通道上的全部空間特征編碼為一個基于通道關(guān)系的全局特征向量v∈RC。 若給定空間維度為C×H×W的輸入特征圖U，將其對應(yīng)的第c個特征圖記為uc，通過Squeeze操作后，通道間全局特征v的第c個元素可表示為

(2)

M=σ(W2ReLU(W1v))

(3)

(4)

由于SE結(jié)構(gòu)簡單參數(shù)設(shè)定少、計(jì)算量較小，且可添加到不同網(wǎng)絡(luò)結(jié)構(gòu)中，因此本文將SE模塊添加到DenseNet的過渡層(Transition Layer)以及分類層中，如圖5所示，以提高網(wǎng)絡(luò)對于道路病害信息的表達(dá)能力，同時(shí)抑制無用特征。

圖5 SE-DenseNet模塊

2.3 視圖間注意力機(jī)制

從圖1中可以看出，不同病害類別對于主視圖與俯視圖的信息所偏重程度也是不同的，例如：空洞病害更多的是需要依賴主視圖呈現(xiàn)高亮的病害信息進(jìn)行可判斷，而裂縫問題則需要同時(shí)依賴主視圖呈現(xiàn)雙曲線且俯視圖呈現(xiàn)長條狀的兩種病害信息才可判斷。因此，在進(jìn)行特征融合時(shí)，為了給不同樣本賦予不同融合權(quán)重值，首先使用視圖間注意力機(jī)制，即元素間注意力(element-wised attention)學(xué)習(xí)到不同視圖的重要性，增強(qiáng)重要視圖的權(quán)重值，減小不重要視圖的權(quán)重值[16]，得到每個樣本關(guān)于視圖間融合的權(quán)重值。隨后，根據(jù)計(jì)算得出的俯、主視圖權(quán)重值對俯、主視圖進(jìn)行帶權(quán)相加，實(shí)現(xiàn)對兩個視圖特征的自適應(yīng)帶權(quán)融合。雙視圖特征融合過程如圖6所示。

圖6 視圖間注意力特征融合

若給定分別在俯視圖、主視圖上提取到的特征圖分別為A∈RN×d和B∈RN×d，N表示批處理大小(batch size)。利用帶權(quán)相加進(jìn)行視圖融合的完整過程可表示為

F=αA+βB

(5)

式中：F∈RN×d表示融合兩種視圖后的特征，對于視圖間的注意力權(quán)重值α,β∈RN由視圖注意力機(jī)制得出，其具體的計(jì)算過程如下

(6)

(7)

(8)

(9)

(10)

式中：⊕表示為張量拼接操作。引入多頭注意力機(jī)制后得到的視圖融合特征圖維度增加到原注意力機(jī)制維度的k倍。

2.4 病害類別預(yù)測

(11)

(12)

其中，權(quán)重值Whid,Wout與偏差值bhid,bout是MLP中的參數(shù)，通過模型訓(xùn)練得到。

(13)

式中：L表示訓(xùn)練集， #C表示樣本類別數(shù)量。在訓(xùn)練過程中，利用上述的交叉熵?fù)p失函數(shù)進(jìn)行反向梯度傳播，來更新雙塔模型中所有的可學(xué)習(xí)參數(shù)，包括特征提取器，注意力機(jī)制等等。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 多視圖雷達(dá)圖譜數(shù)據(jù)集

為了驗(yàn)證提出的雙塔模型的有效性和準(zhǔn)確率，本文對該模型進(jìn)行了大量的實(shí)驗(yàn)。首先，在實(shí)驗(yàn)中所采用的道路圖像數(shù)據(jù)來源于在浙江省城市道路中使用3D探地雷達(dá)采集的結(jié)果，采集到的原始數(shù)據(jù)中，每一例道路樣本包含兩張圖像數(shù)據(jù)，分別為320×320像素的主視圖灰度圖像和320×230像素的俯視圖灰度圖像。

表2 俯視圖與主視圖的道路病害特征統(tǒng)計(jì)

圖7 預(yù)處理后道路病害類型的效果

表3 道路雷達(dá)數(shù)據(jù)類別統(tǒng)計(jì)

3.2 實(shí)驗(yàn)設(shè)置

本文的實(shí)驗(yàn)采用Pytorch框架，使用的GPU是一塊RTX 3090，運(yùn)行環(huán)境為Python3.8。所有實(shí)驗(yàn)的批處理大小設(shè)置均為32，實(shí)驗(yàn)輪數(shù)(epoch)設(shè)置為80輪，并且使用自適應(yīng)矩估計(jì)(Adam)優(yōu)化器對參數(shù)進(jìn)行優(yōu)化。實(shí)驗(yàn)中只使用訓(xùn)練集進(jìn)行參數(shù)更新，同時(shí)取在驗(yàn)證集上效果最好的模型，報(bào)告其在測試集上的準(zhǔn)確度(Accuracy)平均值、標(biāo)準(zhǔn)差。相同實(shí)驗(yàn)設(shè)置重復(fù)10次。因?yàn)椴煌悇e樣本數(shù)量差異較大，也計(jì)算了加權(quán)平均查全率(Recall)以及加權(quán)平均F1分?jǐn)?shù)評價(jià)模型。若給定預(yù)測為正類的正樣本TP，預(yù)測為負(fù)類的負(fù)樣本TN，預(yù)測為正類的負(fù)樣本FP，預(yù)測為負(fù)類的正樣本FN，單次實(shí)驗(yàn)各評價(jià)指標(biāo)計(jì)算方式如下

(14)

(15)

(16)

(17)

實(shí)驗(yàn)中進(jìn)行了對比方法的設(shè)置。對于方案一，分別使用6層簡單卷積神經(jīng)網(wǎng)絡(luò)(CNN-6)、殘差網(wǎng)絡(luò)(ResNet18)、DenseNet121作為分類器與本文的雙塔模型(Dual-AttFusioNet)進(jìn)行對比，其主要過程如圖2(a)所示，單獨(dú)訓(xùn)練兩個分類器，根據(jù)兩個分類器的輸出得到最終的病害預(yù)測類別。對于方案二，分別采用CNN-6、ResNet、DenseNet作為特征提取器，其主要過程如圖2(b)所示。同時(shí)考慮不同特征融合方式，使用特征拼接(Concatenate)、相加(Add)以及殘差門控融合(text image residual gating，TIRG融合)[18]等融合方法進(jìn)行對比實(shí)驗(yàn)。其中，方案二中所有模型均在兩個視圖上訓(xùn)練兩個非共享參數(shù)的特征提取器來提取單視圖上的病害特征信息。另外，將TIRG融合方法引入到道路病害識別時(shí)，需要指定一類視圖作為主要信息，并且將另一類作為輔助信息。因此，實(shí)驗(yàn)中分別測試了將主、俯視圖作為主要視圖的兩種不同方案設(shè)置，分別記為TIRG-主視圖和TIRG-俯視圖。TIRG融合中也可以使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)代替中間多層感知機(jī)進(jìn)行視圖上的特征融合，將該變種記為TIRG-CNN。

3.3 原始數(shù)據(jù)實(shí)驗(yàn)結(jié)果

上述所有的方案在真實(shí)數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果匯總見表4。

從表4中可知，在同一測試集下，相較于在不同視圖訓(xùn)練不同分類器的分步預(yù)測方法(方案一)，使用不同融合方式的端到端預(yù)測方法(方案二)由于能夠充分利用兩種視圖數(shù)據(jù)，總體上性能有著較大的提升。例如，在方案二中使用簡單的CNN-拼接方案的各項(xiàng)指標(biāo)是優(yōu)于方案一中的所有對比方法，包括使用DenseNet121的分類器。更進(jìn)一步，本文所提出的基于注意力融合的雙塔模型(Dual-AttFusioNet)在方案二中的取得了最高的性能，在原始數(shù)據(jù)集上分類精度達(dá)到94.62%，相較于以DenseNet為基礎(chǔ)結(jié)構(gòu)的分步預(yù)測方法準(zhǔn)確度提升約8.67%，同時(shí)Dual-AttFusioNet的輸出穩(wěn)定性也較好，分類準(zhǔn)確率對應(yīng)的方差最低。相對于方案二的其它對比方案，由于Dual-AttFusioNet采用了多種注意力機(jī)制，包括了特征提取時(shí)的通道間注意力和特征融合時(shí)的視圖間注意力，其能更好地提取樣本數(shù)據(jù)中重要的病害特征信息以及針對每個樣本數(shù)據(jù)實(shí)現(xiàn)針對性的融合，達(dá)到了加強(qiáng)融合的效果，因此本文模型在病害分類任務(wù)上的各項(xiàng)指標(biāo)都是較優(yōu)的。該結(jié)果說明了本文方案的有效性。

表4 原始數(shù)據(jù)對比實(shí)驗(yàn)結(jié)果

3.4 數(shù)據(jù)增強(qiáng)與結(jié)果

上述的實(shí)驗(yàn)是在原始的雷達(dá)道路數(shù)據(jù)上進(jìn)行的測試，但從表2的數(shù)據(jù)統(tǒng)計(jì)中可以發(fā)現(xiàn)，原始數(shù)據(jù)集的總體樣本數(shù)量是較少的，這對于訓(xùn)練深度學(xué)習(xí)模型是不利的。另外類別分布是非常不均勻的，例如，在俯視圖中，標(biāo)簽為1的暗斑數(shù)據(jù)集的數(shù)量為129張，而標(biāo)簽為2的亮斑數(shù)據(jù)的數(shù)量僅為46張，標(biāo)簽1和標(biāo)簽2的數(shù)量遠(yuǎn)小于其它類型的數(shù)據(jù)，數(shù)據(jù)不均衡導(dǎo)致模型更傾向于輸出類別多的標(biāo)簽并影響訓(xùn)練的準(zhǔn)確性。

為了解決真實(shí)數(shù)據(jù)中存在帶標(biāo)注樣本少以及病害類別分布不均衡問題，進(jìn)一步提高模型的表現(xiàn)，本文在原始數(shù)據(jù)集的基礎(chǔ)上同時(shí)進(jìn)行數(shù)據(jù)增強(qiáng)處理和上采樣處理。由于俯視圖類別較多且病害特征分布更為不均衡，因此首先依據(jù)俯視圖類別分布對數(shù)據(jù)進(jìn)行上采樣操作，使得俯視圖中每個類別分布均衡，然后其對應(yīng)的主視圖數(shù)據(jù)也相應(yīng)進(jìn)行上采樣操作。經(jīng)過上采樣的操作后，再使用數(shù)據(jù)增強(qiáng)操作進(jìn)行擴(kuò)充。測試多種數(shù)據(jù)增強(qiáng)方式后，最終選取亮度變換與翻轉(zhuǎn)操作對均衡后的數(shù)據(jù)集進(jìn)行3倍擴(kuò)充。最終得到了經(jīng)過上采樣和數(shù)據(jù)增強(qiáng)后的道路雷達(dá)數(shù)據(jù)集，其俯視圖的統(tǒng)計(jì)分布情況見表5。

表5 針對俯視圖數(shù)據(jù)增強(qiáng)道路病害數(shù)據(jù)

將上述經(jīng)過處理后的雷達(dá)數(shù)據(jù)(簡稱增強(qiáng)數(shù)據(jù))重新對本文的模型進(jìn)行測試采用訓(xùn)練集訓(xùn)練模型，同時(shí)也對比了表4中的方法。各種方法在增強(qiáng)數(shù)據(jù)集上的測試實(shí)驗(yàn)結(jié)果匯總見表6。

表6 增強(qiáng)數(shù)據(jù)對比實(shí)驗(yàn)結(jié)果

從表6中可以發(fā)現(xiàn)，在增強(qiáng)數(shù)據(jù)集上，方案二總體上相對于方案一依然具有較大的優(yōu)勢。同時(shí)，較為深層的神經(jīng)網(wǎng)絡(luò)模型效果對比原始數(shù)據(jù)集提升明顯，準(zhǔn)確率與穩(wěn)定性均有所提升，其原因是增強(qiáng)數(shù)據(jù)在一定程度上緩解了訓(xùn)練樣本少和樣本不均衡問題。本文所提出的Dual-AttFusioNet模型依然取得了最優(yōu)的性能，在增強(qiáng)數(shù)據(jù)集上效果進(jìn)一步提升，準(zhǔn)確率達(dá)到95.78%，查全率為95.87%，F(xiàn)1-score為95.78%，精度相較于原始數(shù)據(jù)提升1.16%。該結(jié)果進(jìn)一步說明了方案的有效性。

3.5 消融實(shí)驗(yàn)

為了驗(yàn)證本文提出的Dual-AttFusioNet模型中各模塊的作用和存在的必要性，進(jìn)行了關(guān)于模型的消融實(shí)驗(yàn)，分別對Dual-AttFusioNet模型中的模塊進(jìn)行去除。進(jìn)行驗(yàn)證的模塊包括通道間注意力(SEnet)、視圖間注意力融合(Attfusion)、深度特征提取器(DenseNet)、非共享參數(shù)視圖特征提取(Separate Encoder)。本次實(shí)驗(yàn)在原始道路數(shù)據(jù)集上進(jìn)行測試，其它實(shí)驗(yàn)設(shè)置與之前保持一致。其中，為了驗(yàn)證通道間注意力機(jī)制的有效性，移除特征提取時(shí)采用的通道間注意力機(jī)制；為了驗(yàn)證視圖間注意力機(jī)制的有效性，變更視圖融合時(shí)采用的視圖間注意力機(jī)制為簡單相加融合方式；為了驗(yàn)證深度特征提取器，變更特征提取器DenseNet121為ResNet18；為了驗(yàn)證非共享參數(shù)視圖特征提取，使用兩個共享網(wǎng)絡(luò)參數(shù)權(quán)重的特征提取進(jìn)行實(shí)驗(yàn)。消融實(shí)驗(yàn)結(jié)果如圖8所示，橫坐標(biāo)表示原始Dual-AttFusioNet模型中被去除的模塊，縱坐標(biāo)表示在測試集上的分類準(zhǔn)確率。從結(jié)果中可以看出，原始Dual-AttFusioNet模型的性能是最好的，去除掉模型中任何的模塊都會對分類性能產(chǎn)生影響。

圖8 消融實(shí)驗(yàn)結(jié)果

3.6 參數(shù)分析

為了驗(yàn)證模型中超參數(shù)對于最終病害分類效果的影響，本文在原始數(shù)據(jù)集上進(jìn)行參數(shù)敏感性分析，主要的參數(shù)包括Dropout系數(shù)與L2正則權(quán)重衰退系數(shù)(weight decay)。將Dropout系數(shù)設(shè)為0,0.1,…,0.5進(jìn)行6組對比實(shí)驗(yàn)，測試其對于模型準(zhǔn)確度的影響，每組進(jìn)行10次重復(fù)實(shí)驗(yàn)并取平均，結(jié)果見表7。隨著Dropout系數(shù)的增加，模型性能整體呈下降趨勢，先緩慢下降而后快速下降。實(shí)驗(yàn)結(jié)果表明，本文提出的模型對于Dropout參數(shù)較為敏感，訓(xùn)練過程中刪去的特征越多，模型的精度越差。

表7 Dropout實(shí)驗(yàn)結(jié)果

為了測試權(quán)重衰退系數(shù)對于模型準(zhǔn)確度的影響，將衰退系數(shù)分別設(shè)置設(shè)為0,1e-06,…,1e-02，即每次變化一個數(shù)量級進(jìn)行6組對比實(shí)驗(yàn)。每組進(jìn)行10次重復(fù)實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果取平均值，結(jié)果見表8。從總體上來看，隨著衰退系數(shù)的變化，模型性能整體變化不大，說明對于權(quán)重衰退系數(shù)不敏感。當(dāng)衰退系數(shù)取值為1e-03時(shí)，模型的分類準(zhǔn)確率最佳。

表8 衰退系數(shù)實(shí)驗(yàn)結(jié)果

4 結(jié)束語

本文在三維探地雷達(dá)收集到的多視圖雷達(dá)圖譜數(shù)據(jù)集上，針對道路病害類別預(yù)測任務(wù)，提出了同時(shí)利用兩種視圖的端到端深度注意力雙塔模型。首先，針對兩種視圖信息訓(xùn)練分別兩個不同參數(shù)的特征提取器，可提高網(wǎng)絡(luò)對于單一視圖的表征能力。并且在特征提取時(shí)引入通道間注意力機(jī)制學(xué)習(xí)通道間權(quán)重關(guān)系，進(jìn)一步提高網(wǎng)絡(luò)的特征表達(dá)能力。最后，再次利用注意力機(jī)制逐元素學(xué)習(xí)融合兩個視圖時(shí)的權(quán)重關(guān)系，增強(qiáng)重要視圖的權(quán)重值，提高預(yù)測精度。實(shí)驗(yàn)結(jié)果表明，本文算法在雷達(dá)圖譜數(shù)據(jù)集上取得較優(yōu)的預(yù)測效果，預(yù)測精度高于基于病害識別流程分布預(yù)測約8%。通道間與視圖間的兩次注意力機(jī)制的應(yīng)用可有效提高模型對于道路病害信息的表征能力，減少特征信息的丟失，提高圖像信息處理的準(zhǔn)確性。未來，計(jì)劃從數(shù)據(jù)、模型兩個方面對本文算法進(jìn)行改進(jìn)。現(xiàn)有雷達(dá)圖譜數(shù)據(jù)集中帶標(biāo)注的樣本數(shù)量較小，考慮使用基于深度學(xué)習(xí)的數(shù)據(jù)增強(qiáng)方法來擴(kuò)增數(shù)據(jù)。同時(shí)可使用小樣本學(xué)習(xí)對目前的模型進(jìn)行增強(qiáng)，如：小樣本度量學(xué)習(xí)、元學(xué)習(xí)等。