李海豐,景 攀,韓紅陽
(中國民航大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,天津 300300)
機(jī)場道面裂縫一直是場道管理部門關(guān)注的焦點(diǎn)。根據(jù)《民用機(jī)場道面評價(jià)管理技術(shù)規(guī)范》[1],裂縫是由于重復(fù)荷載、溫度翹曲應(yīng)力和溫度收縮應(yīng)力等綜合作用引起的板塊開裂造成的。裂縫作為機(jī)場道面最主要的病害之一,嚴(yán)重影響著機(jī)場的安全運(yùn)營。因此,對機(jī)場道面裂縫進(jìn)行有效檢測至關(guān)重要。
傳統(tǒng)的道面裂縫檢測是通過人工檢測,該方法效率低、成本高、安全性差。隨著圖像處理技術(shù)的發(fā)展,道面裂縫自動采集與識別技術(shù)成為當(dāng)前主流。為了從圖像中高效、準(zhǔn)確、快速地提取裂縫,國內(nèi)外學(xué)者對此進(jìn)行了廣泛而深入的研究。Liu等[2]使用基于閾值分割的方法來提取裂縫區(qū)域,此方法雖簡單,但易受光照、紋理、噪聲的影響,適用范圍有限。針對此問題,Landstr?m等[3]利用形態(tài)學(xué)方法和邏輯回歸統(tǒng)計(jì)方法來檢測鋼鐵產(chǎn)品上的裂縫,雖然噪聲得到抑制,但是造成了過度分割,誤檢嚴(yán)重。孫波成等[4]通過使用小波技術(shù)對道面圖像進(jìn)行多分辨率二維小波分解,突出邊緣位置,增強(qiáng)裂縫邊緣提取效果,該方法雖然一定程度上可以抑制噪聲,但是需要調(diào)整小波與分解水平。Nguyen等[5]提出的自由形式各向異性裂縫檢測算法(Free?form anisotropy,F(xiàn)FA)在綜合考慮了亮度和連通性后對道路進(jìn)行裂縫檢測,該算法在背景簡單的裂縫圖像上檢測效果較好,但是對圖像中陰影與標(biāo)線區(qū)域比較敏感,容易形成誤檢。Shi等[6]提出了基于隨機(jī)結(jié)構(gòu)化森林的道路裂縫自動檢測算法(Automatic road crack detection using random struc?tured forests,CrackForest),該算法融合了多個(gè)層次的互補(bǔ)特征來表征裂縫,在某種程度上可以將裂縫與噪聲進(jìn)行區(qū)分,但是CrackForest算法是基于人為設(shè)定的特征進(jìn)行裂縫檢測,對于復(fù)雜背景、低對比度的裂縫識別能力不佳。機(jī)場道面具有紋理復(fù)雜、噪聲強(qiáng)、對比度低的特點(diǎn),同時(shí)跑道上還存在飛機(jī)輪痕和橡膠污染等干擾因素,因此,傳統(tǒng)的裂縫檢測算法與機(jī)器學(xué)習(xí)算法并不能對機(jī)場道面裂縫進(jìn)行有效檢測。
伴隨深度學(xué)習(xí)技術(shù)廣泛應(yīng)用于各領(lǐng)域,其在圖像分類與識別等方面取得了巨大成功,研究者對基于深度學(xué)習(xí)的圖像裂縫檢測進(jìn)行了深入研究。Deng等[7]使用Faster R?CNN[8]算法用于復(fù)雜背景的混凝土橋梁裂縫檢測,存在漏檢和精度差的問題。針對此問題,F(xiàn)ang等[9]提出了一種基于深度學(xué)習(xí)模型和貝葉斯概率分析的圖像裂縫檢測方法,精度得到了一定程度提升。Fan等[10]首先將采集的圖像分割成帶有裂縫的圖像塊,然后使用深度學(xué)習(xí)網(wǎng)絡(luò)分割裂縫,但是裂縫分割結(jié)果太寬,精度較差。曹錦綱等[11]通過在編碼器?解碼器結(jié)構(gòu)中加入注意力機(jī)制,構(gòu)建了一種基于注意力機(jī)制的裂縫檢測網(wǎng)絡(luò),提高了公路路面裂縫檢測的性能。文青[12]使用Mask R?CNN[13]算法檢測建筑物表面裂縫,裂縫的分割結(jié)果是源于檢測結(jié)果,由于候選框提取不準(zhǔn)確,導(dǎo)致裂縫分割結(jié)果較差。Liu等[14]提出了一種深層次卷積神經(jīng)網(wǎng)絡(luò)(A deep hierarchi?cal feature learning architecture for crack segmenta?tion,DeepCrack),通過引入監(jiān)督網(wǎng)絡(luò)與條件隨機(jī)場進(jìn)行像素級端到端的語義分割,該網(wǎng)絡(luò)在一定程度上提高了裂縫分割能力,但是存在較多誤檢的問題,尤其當(dāng)病害與背景對比度變化不大時(shí),誤檢較重。Dung[15]使用全卷積網(wǎng)絡(luò)(Fully convolutional networks for semantic segmentation,F(xiàn)CN)[16]對 混凝土裂縫進(jìn)行檢測,采用編碼器?解碼器結(jié)構(gòu),在一定程度上提升了裂紋檢測能力,然而由于反卷積只采用了最后一層卷積層的特征,導(dǎo)致其在裂縫分割階段邊緣模糊,細(xì)節(jié)信息未能得到較好的表達(dá)。但是多尺度特征融合[17?18]可以生成語義信息更加豐富的高分辨率特征圖,有助于對裂縫這種小目標(biāo)特征的提取。
因此,本文構(gòu)建了一種基于可變形卷積與多尺度特征融合的機(jī)場道面裂縫檢測網(wǎng)絡(luò)(Deformable convolution and feature fusion neural network,DF?Net)。該網(wǎng)絡(luò)基于編碼器?解碼器網(wǎng)絡(luò)框架,在編碼器階段通過可變形卷積[19]模塊與多尺度卷積模塊加強(qiáng)對形態(tài)多樣的裂縫特征的學(xué)習(xí),在編碼器階段使用特征融合模塊融合低層特征與高層特征,達(dá)到抑制噪聲,恢復(fù)裂縫細(xì)節(jié)的目的,從而提升機(jī)場道面裂縫檢測性能。
本文提出的DFNet網(wǎng)絡(luò)模型包含了3個(gè)模塊,分別為可變形卷積模塊(Deformable convolution module,DCM)、多尺度卷積模塊(Multi?scale con?volution mudule,MCM)和特征融合模塊(Feature fusion module,F(xiàn)FM),其詳細(xì)網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1所示。首先,將原始彩色圖像輸入可變形卷積模塊,根據(jù)所設(shè)計(jì)的可變形卷積模塊來提取形態(tài)各異的裂縫特征,增強(qiáng)網(wǎng)絡(luò)對裂縫形態(tài)特征的學(xué)習(xí);其次,使用多尺度特征提取模塊獲得不同感受野下的裂縫特征,使得提取的裂縫特征包含更多的全局信息;最后,在特征融合模塊中,將不同階段低級特征與高級特征進(jìn)行融合,細(xì)化裂縫分割結(jié)果。
圖1 DFNet模型結(jié)構(gòu)圖Fig.1 Structure diagram of DFNet model
裂縫分割的一大挑戰(zhàn)在于裂縫具有形態(tài)多樣、方向多變的細(xì)線性特征,即使通過大量的數(shù)據(jù)也很難使常規(guī)的卷積網(wǎng)絡(luò)完全學(xué)習(xí)到各種形態(tài)的裂縫特征。因?yàn)闃?gòu)造卷積神經(jīng)網(wǎng)絡(luò)所用的模塊幾何結(jié)構(gòu)固定,其幾何形變建模能力有限,這種局限性決定了常規(guī)卷積只能在輸入特征圖固定位置提取裂縫特征,大大減弱了裂縫特征的表征能力。針對此問題,本文引入了具有空間幾何形變能力的可變形卷積,可變形卷積通過可變形的接收場自適應(yīng)地捕獲裂縫的各種形態(tài)與尺度信息,如圖2所示,展示了普通卷積與可變形卷積提取裂縫信息的方式。
圖2 3×3普通卷積與可變形卷積示意圖Fig.2 3×3general convolution and deformable con?volution
可變形卷積計(jì)算建立在普通卷積之上,且不需要額外的監(jiān)督機(jī)制。普通的二維卷積計(jì)算包括兩個(gè)步驟:(1)使用規(guī)則網(wǎng)格G對輸入特征圖x進(jìn)行采樣;(2)對采樣點(diǎn)進(jìn)行加權(quán)求和。網(wǎng)格G定義了感受野的大小和膨脹率。此處定義了一個(gè)3×3大小、膨 脹 率 為1的 網(wǎng) 格G,G={(-1,-1),(-1,0),…,(0,1),(1,1)}。因此,對于輸入特征圖x上p0的輸出特征映射y可以定義為
式中:pn為枚舉G中的點(diǎn),w(*)為采樣點(diǎn)權(quán)重。而可變形卷積是在標(biāo)準(zhǔn)卷積的常規(guī)網(wǎng)格采樣位置G上增加了Δpn偏移量,{Δpn|n=1,2,…,N},其中N=|G|。此時(shí),特征圖采樣位置變?yōu)閜n+Δpn,因此式(1)可變?yōu)?/p>
由圖2與式(2)說明卷積層利用與輸入特征映射具有相同空間分辨率的偏移矢量,使得原采樣點(diǎn)向外擴(kuò)展以聚焦于裂縫輪廓??勺冃尉矸e提取裂縫特征的過程如圖3所示,對于輸入網(wǎng)絡(luò)的裂縫特征圖,為了學(xué)習(xí)偏移量Δpn,可變形卷積在原有卷積上附加一層卷積。在訓(xùn)練期間,生成輸出特征的卷積核與偏移量同時(shí)學(xué)習(xí)裂縫的特征信息,而偏移量由附加卷積層學(xué)習(xí)得到,組成了偏移域,其中通道維度2N對應(yīng)于N個(gè)2維偏移量(包括x方向與y方向)。由于Δpn通常不是整數(shù),為了有效地學(xué)習(xí)偏移量,采用雙線性插值算法確定偏移后采樣點(diǎn)的值。由于可變形卷積可使采樣點(diǎn)自由變換,因此在提取特征過程中就可以根據(jù)裂縫的形態(tài)進(jìn)行動態(tài)調(diào)整,從而學(xué)習(xí)不同形態(tài)裂縫的幾何形變,這種自適應(yīng)確定裂縫形變尺度與位置的方法對裂縫特征提取具有較大的影響。
圖3 可變形卷積特征提取過程Fig.3 Deformable convolution feature extraction process
由于裂縫分布不均,長短不一,裂縫檢測常存在較大尺度上的變化,而單一尺寸卷積核具有固定尺度,在提取目標(biāo)特征上存在一定的局限性。針對該問題,本文設(shè)計(jì)了多尺度卷積模塊,如圖4所示。模塊中引入了4種不同大小的卷積核,可以獲得多種尺度感受野,對輸入特征圖在不同卷積核上提取裂縫特征,并對其進(jìn)行特征融合。
圖4 多尺度特征提取模塊Fig.4 Multi?scale feature extraction module
通過1×1卷積操作,在不改變特征圖大小的情況下有效減少參數(shù)量,增加非線性特征和增強(qiáng)通道之間信息的交流。該模塊使用不同大小的卷積核并列提取裂縫特征,不僅增加了網(wǎng)絡(luò)的深度也增加了網(wǎng)絡(luò)的寬度。更深的網(wǎng)絡(luò)具有更強(qiáng)的非線性表達(dá)能力,可以學(xué)習(xí)裂縫更復(fù)雜的特征;增加網(wǎng)絡(luò)的寬度,使每一層學(xué)習(xí)到更多的裂縫特征,包括亮度、頻率、紋理等特征。多尺度特征提取模塊通過控制不同大小感受野,可以提取裂縫更加全面的信息,對于裂縫特征的學(xué)習(xí)具有增強(qiáng)作用。
卷積神經(jīng)網(wǎng)絡(luò)不同層次的特征旨在編碼不同層次的信息,高層特征聚焦于目標(biāo)的語義信息,而低層特征包含更多細(xì)節(jié)信息,低層特征提取器可以捕獲局部實(shí)例級別的細(xì)節(jié)信息。由于裂縫具有細(xì)而長的特征,在提取裂縫特征過程中,保留邊緣信息至關(guān)重要,因此在特征融合模塊中融合了裂縫的語義信息和細(xì)節(jié)信息。
該模塊的設(shè)計(jì)采用由牛津大學(xué)視覺幾何組(Vi?sual geometry group,VGG)提出的VGG?19模型。本文期望得到不同尺度的有意義的側(cè)輸出,由于5次池化后產(chǎn)生的特征圖很小,通過反卷積得到的裂縫預(yù)測特征圖比較模糊,無法生成精確的分割結(jié)果,而且全連接層屬于計(jì)算密集型網(wǎng)絡(luò),會大大增加計(jì)算時(shí)間與內(nèi)存消耗,因此舍棄了第5次池化后產(chǎn)生的特征圖與全連接層。另外,不同卷積層之間的信息可以互補(bǔ),而傳統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)特征融合的方法存在信息利用率不足的問題,多數(shù)網(wǎng)絡(luò)只采用了池化前的最后一層卷積層。由于每一層的卷積網(wǎng)絡(luò)都保存了本次卷積所提取的特征,為了充分利用特征信息,達(dá)到更好的分割效果,在DFNet模型中改進(jìn)了該網(wǎng)絡(luò),結(jié)構(gòu)如圖5(a)所示,對側(cè)輸出進(jìn)行上采樣之前,先把每一個(gè)階段產(chǎn)生相同尺寸的特征圖進(jìn)行相加融合,然后對其進(jìn)行反卷積操作,得到與原圖相同尺寸的特征圖,再使用Concatenate函數(shù)融合特征向量,最后,得到DFNet模型預(yù)測的分割結(jié)果。
特征融合模塊每個(gè)卷積階段的側(cè)輸出結(jié)果,如圖5(b)所示,其側(cè)輸出分別對應(yīng)圖5(a)中的側(cè)輸出,將其進(jìn)行融合后的效果明顯優(yōu)于某一階段效果,可發(fā)現(xiàn)融合后裂縫邊緣更明顯,圖像噪聲更少,更接近標(biāo)簽。
圖5 特征融合模塊Fig.5 Feature fusion module
對于輸入圖像,低層特征很好地保留了裂縫區(qū)域邊界,適用于提取細(xì)節(jié)信息,但是噪聲較多。相反,高層特征顯示出更好的抗噪聲能力,但無法保留精確的分割邊界。因此,線性融合不同卷積階段提取的特征可以達(dá)到抑制噪聲,明確分割邊界的良好效果。
本文算法基于深度學(xué)習(xí)開源框架TensorFlow實(shí)現(xiàn),使用Python編程語言,程序的運(yùn)行環(huán)境是主頻為3.2 GHz的i7?8700CPU處理器,64GB的運(yùn)行 內(nèi) 存,GPU為GeForceGTX1080ti,11GB顯 卡內(nèi)存,操作系統(tǒng)為Ubuntu18.04 。
本文所用裂縫數(shù)據(jù)來源于國內(nèi)多個(gè)機(jī)場,裂縫數(shù)據(jù)是由合作單位成都圭目機(jī)器人有限公司自主研發(fā)的機(jī)場道面檢測機(jī)器人自動采集完成。道面檢測機(jī)器人搭載的相機(jī)是加拿大Teledyne DAL?SA公司研發(fā)的CMOS面陣相機(jī)nano m1920。具體的采集方法是將相機(jī)以某一高度固定在機(jī)器人上,提前為機(jī)器人設(shè)定行駛路線,機(jī)器人以20~30km/h的速度在機(jī)場跑道連續(xù)拍照,采集圖像,機(jī)場道面檢測機(jī)器人如圖6所示。本文從拍攝的圖像中選取了960張帶有裂縫的圖像,圖像為1800像素×900像素大小。為了方便訓(xùn)練模型,采用窗口滑動算法將數(shù)據(jù)集按照512像素×512像素大小進(jìn)行裁剪,然后經(jīng)過水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、旋轉(zhuǎn)變換等操作來增強(qiáng)數(shù)據(jù),得到12960張512像素×512像素大小圖像。最后采用隨機(jī)分類算法按8∶1∶1的比例將數(shù)據(jù)集分為訓(xùn)練集10368張,驗(yàn)證集1 296張以及測試集1296張。
圖6 機(jī)場道面檢測機(jī)器人Fig.6 Airport road surface detection robot
本文算法在訓(xùn)練過程中,Batch size設(shè)置為2,優(yōu)化器選用Adam,初始學(xué)習(xí)率為le-5,損失函數(shù)為交叉熵?fù)p失函數(shù)(Cross entropy loss),網(wǎng)絡(luò)激活函數(shù)選用ReLu,Shuffle設(shè)置為True。
圖7展示了DFNet模型在訓(xùn)練過程中訓(xùn)練損失和驗(yàn)證損失的變化情況,藍(lán)色曲線代表訓(xùn)練損失,黃色曲線代表驗(yàn)證損失。從圖中可看到,在訓(xùn)練過程中損失函數(shù)值迅速下降,在訓(xùn)練初期兩個(gè)損失函數(shù)值有較大波動,隨著迭代輪數(shù)增加兩個(gè)損失值逐漸穩(wěn)定趨于收斂,并且在第50次時(shí)驗(yàn)證損失取得了最佳值,隨后訓(xùn)練次數(shù)增加驗(yàn)證損失函數(shù)值逐漸發(fā)散,可能導(dǎo)致過擬合。因此根據(jù)損失函數(shù)值變化情況,本模型在迭代50次時(shí),性能最佳。
圖7 訓(xùn)練過程中損失值曲線變化Fig.7 Loss value curve change during training
為了對本文提出的機(jī)場道面裂縫檢測算法DFNet進(jìn)行量化評估,本文采用精確率(Pixel ac?curacy,PA)、交并比(IoU)、準(zhǔn)確率(Precision)、召回率(Recall)和F1?Score對結(jié)果定量分析。精確率PA是指正確預(yù)測像素的個(gè)數(shù)與圖像中的像素總數(shù)的比值;交并比是指裂縫預(yù)測區(qū)域和標(biāo)簽區(qū)域兩者之間交集與并集的比例;準(zhǔn)確率Precision表示裂縫區(qū)域被正確檢測出來的像素個(gè)數(shù)占被檢測出來的像素總數(shù)的比例;召回率表示裂縫區(qū)域被正確檢測出來的像素個(gè)數(shù)占應(yīng)該被準(zhǔn)確檢測出來的裂縫 區(qū) 域 像 素 個(gè) 數(shù) 的 比 例;F1?Score是Precision與Recall的綜合評價(jià)指標(biāo)。在二分類分割任務(wù)中,評價(jià)指標(biāo)分別定義如下
式中:TP表示裂縫區(qū)域被正確檢測出來的像素點(diǎn)個(gè)數(shù),F(xiàn)P表示背景區(qū)域被預(yù)測為裂縫像素點(diǎn)的個(gè)數(shù),F(xiàn)N表示裂縫區(qū)域被預(yù)測為背景的像素點(diǎn)的個(gè)數(shù),TN表示背景區(qū)域被正確檢測出來的像素個(gè)數(shù)。
為了驗(yàn)證DFNet的有效性,在所采集的機(jī)場道面裂縫數(shù)據(jù)集上,將DFNet與Canny、FFA、CrackForest、FCN、U?net[20]以及DeepCrack六種算法進(jìn)行了對比分析。其中,Canny算法是一個(gè)多級邊緣檢測算法,通過采用高斯濾波來平滑圖像,去除噪聲,應(yīng)用雙閾值的方法來決定潛在的邊緣。在該實(shí)驗(yàn)中雙閾值設(shè)置為100和200,使用Python語言調(diào)用Opencv中Canny函數(shù)實(shí)現(xiàn)。FFA算法考慮了裂縫圖像亮度與連通性,是一種專門用于路面裂縫檢測的算法。CrackForest是一種基于隨機(jī)結(jié)構(gòu)化森林的新型道路裂縫檢測框架。DeepCrack算法是專門用于裂縫分割的,通過引入監(jiān)督網(wǎng)絡(luò)與條件隨機(jī)場以端到端方法像素級預(yù)測裂縫區(qū)域。FCN使用VGG16為骨干網(wǎng),使用跳躍連接結(jié)構(gòu)進(jìn)行特征提取,采用全卷積網(wǎng)絡(luò)輸出與原圖相同大小的裂縫預(yù)測圖。U?net網(wǎng)絡(luò)采用對稱式編碼器?解碼器框架提取裂縫特征。
本實(shí)驗(yàn)將從定量和定性兩個(gè)方面評估DFNet算法。表1展示了各個(gè)算法在機(jī)場道面裂縫數(shù)據(jù)集中定量比較的結(jié)果。從表1中可以看出,DFNet算法在精確率、IoU、準(zhǔn)確率、召回率以及F1?Score上均取得最優(yōu)的結(jié)果,分別為99.59 %、56.20 %、92.21 %、89.72 %和90.95 %。由于所用機(jī)場道面裂縫數(shù)據(jù)集背景復(fù)雜,在所對比的算法中,Canny算法、FFA算法和CrackForest算法受道面噪聲影響較大,在圖像背景對比度低時(shí)檢測效果不佳,無法準(zhǔn)確分割裂縫區(qū)域與背景區(qū)域,誤檢漏檢嚴(yán)重,因此導(dǎo)致Precision、Recall和F1?Score較低。從表1中可知深度學(xué)習(xí)算法整體表現(xiàn)優(yōu)于傳統(tǒng)算法與機(jī)器學(xué)習(xí)算法,F(xiàn)CN、U?net、DeepCrack和DFNet在該數(shù)據(jù)集上均取得了較好的分割結(jié)果。其中DFNet性能最佳,Precision高達(dá)92.21 %,遠(yuǎn)遠(yuǎn)領(lǐng)先于其他算法。
表1 DFNet與其他算法對比結(jié)果Table1 Comparison results between DFNet and other algorithms %
圖8所示為部分?jǐn)?shù)據(jù)可視化結(jié)果,由圖8可以看出:當(dāng)圖像背景良好,裂縫區(qū)域與背景區(qū)域有顯著差異時(shí),7種算法均可將裂縫較好地提取出來(如圖8第1列數(shù)據(jù))。當(dāng)?shù)烂鎴D像受到標(biāo)線、噪聲、水漬和拉毛影響時(shí),Canny算法、FFA算法以及CrackForest算法受到本身算法的局限性,均未能較完整地提取裂縫區(qū)域,同時(shí)出現(xiàn)了多處誤檢與漏檢。U?net算法在有水漬背景時(shí)檢測效果較差,出現(xiàn)不同程度的漏檢(如圖8第3列與第5列數(shù)據(jù)),這是由于U?net網(wǎng)絡(luò)屬于淺層網(wǎng)絡(luò),在提取裂縫高維特征時(shí)回歸效果較差,未能全部檢測出水漬中的裂縫。DeepCrack算法受到標(biāo)線的影響,在標(biāo)線與裂縫重疊區(qū)域出現(xiàn)漏檢,因此導(dǎo)致該算法精度較高,召回率較低。FCN算法存在分割邊緣模糊的問題。由于FCN網(wǎng)絡(luò)將特征圖直接還原為原始尺寸圖像,使其細(xì)節(jié)表達(dá)不佳,導(dǎo)致分割結(jié)果不精確。從圖8可視化效果中可以看到DFNet可以準(zhǔn)確地提取不同背景下裂縫的特征。通過從定量與定性兩方面的分析,DFNet算法在機(jī)場道面裂縫數(shù)據(jù)集上取得了更優(yōu)的檢測效果。
圖8 不同算法結(jié)果對比Fig.8 Comparison results between different algorithms
DFNet架構(gòu)設(shè)計(jì)采用了模塊化的概念,每個(gè)模塊都是相對獨(dú)立設(shè)計(jì)的,允許根據(jù)需要來設(shè)定與升級網(wǎng)絡(luò)。為了驗(yàn)證DFNet模型中可變形卷積模塊(DCM)、多尺度模塊(MCM)以及特征融合模塊(FFM)的有效性,本文開展如下消融實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表2所示。從DFNet中去掉可變形卷積模塊,裂縫的IoU、Recall與F1?Score均有不同程度的下降,實(shí)驗(yàn)結(jié)果表明,具有空間幾何形變能力的可變形卷積具有更強(qiáng)的捕獲裂縫特征的能力。DFNet網(wǎng)絡(luò)去掉多尺度模塊后,裂縫的IoU、Precision、Re?call與F1?Score分別下降1.42 %、0.83 %、1.54 %與1.19 %,這表明使用不同大小卷積核的多尺度模塊有助于DFNet在較大感受野下獲得更多的裂縫病害信息。保持其他不變,去掉特征融合模塊后,雖然準(zhǔn)確率取得了最高值,但是召回率下降較多,因此導(dǎo)致綜合評價(jià)指標(biāo)IoU與F1?Score分別下降2.2 %與0.77 %。由表2消融實(shí)驗(yàn)可知,同時(shí)加入這3個(gè) 模 塊,DFNet在 綜 合 評 價(jià) 指 標(biāo)IoU與F1?Score上取得最高值,且召回率達(dá)到了最高,驗(yàn)證了DCM、MCM和FFM的有效性。從工程應(yīng)用的角度來看,必須有效地檢測所有裂縫。因此,提高機(jī)場道面檢測中裂縫分割的召回率,顯得更加重要。
表2 DFNet不同模塊有效性的驗(yàn)證Table2 Verification of the effectiveness of different DF?Net modules %
本文針對機(jī)場道面裂縫檢測效果不佳的問題,采用深度神經(jīng)網(wǎng)絡(luò),通過設(shè)計(jì)可變形卷積模塊、多尺度模塊和特征融合模塊,構(gòu)建了一種基于可變形卷積與特征融合的機(jī)場道面裂縫檢測網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果表明,本文算法能準(zhǔn)確地對機(jī)場道面裂縫進(jìn)行分割,提高了機(jī)場道面裂縫檢測的性能,為機(jī)場道面檢測人員減少工作量以及對道面的養(yǎng)護(hù)與管理提供了一定的理論依據(jù)。但該模型距離實(shí)時(shí)檢測仍有一段差距,同時(shí)模型的檢測精度與準(zhǔn)確性仍有改善空間,需要進(jìn)一步研究。