趙旭輝,謝夢潔,楊 飚,楊 剛,高 智

1.武漢大學(xué)遙感信息工程學(xué)院,湖北 武漢 430079; 2.廣州市高速公路有限公司,廣東 廣州 510030; 3.中交路橋建設(shè)有限公司,北京 101107

1 裂縫檢測研究背景與現(xiàn)狀

隨著社會的發(fā)展,大量新建的大型橋梁、高速路網(wǎng)等基礎(chǔ)設(shè)施顯著提升了人民生活水平。然而隨著大型基礎(chǔ)設(shè)施數(shù)量的不斷增加,對其進行智能化狀態(tài)巡檢與健康養(yǎng)護成了人們關(guān)注的問題。這其中裂縫識別、檢測、測繪占有重要位置,是發(fā)現(xiàn)安全隱患的有效手段。為實現(xiàn)智能、高效的道路裂縫檢測,一方面交通運輸管理部門投入了大量財力,另一方面許多學(xué)者也開展了大量研究[1-4]。不僅如此,隨著近年來無人駕駛的飛速發(fā)展[5-6],裂縫檢測與測繪也受到越來越多的關(guān)注。對無人駕駛領(lǐng)域而言,智能車輛對道路健康狀態(tài)有較高需求;對基礎(chǔ)設(shè)施巡檢領(lǐng)域而言,智能車輛也具有輔助實現(xiàn)智能裂縫檢測、提升工作效率的潛力。盡管相關(guān)研究很多,且裂縫檢測任務(wù)“看起來”也較簡單,但實際應(yīng)用中仍存在許多困難與挑戰(zhàn)。這些挑戰(zhàn)主要源于裂縫和路面背景的多樣性與復(fù)雜性,概括為以下3點:①不同場景下的裂縫在外觀上有較大差異,難以對其統(tǒng)一描述;②裂縫與路面背景在顏色、紋理等方面具有較強相似性,導(dǎo)致難以區(qū)分;③裂縫檢測還受許多外部因素(如車轍、水漬、陰影等)干擾。

因此,穩(wěn)定高效且具有良好泛化性的自動裂縫檢測是目前學(xué)術(shù)界和工業(yè)界關(guān)注的焦點。本文將現(xiàn)有裂縫檢測方法分為“基于三維數(shù)據(jù)”和“基于二維影像”兩類。基于三維數(shù)據(jù)的方法主要依靠三維信息實現(xiàn)裂縫檢測,常見獲取三維信息的傳感器包括LiDAR[7-9]、結(jié)構(gòu)光[10-12]、全息成像儀[13]、雙目相機[14-16]等。與之對應(yīng),基于二維影像的方法通常依靠線陣或者面陣相機[17-19]獲取視覺信息,并利用其中潛在的像素灰度變化或局部特征實現(xiàn)裂縫檢測。一般而言,基于三維數(shù)據(jù)的方法比基于二維影像的方法更加穩(wěn)健。其原因在于從三維數(shù)據(jù)中可直接地獲得更可靠、不易受外部因素干擾的幾何信息,但代價是更高的設(shè)備購買、使用與維護成本。為最大限度發(fā)揮視覺信息價值,本文關(guān)注二維影像數(shù)據(jù),并在此基礎(chǔ)上提出低秩表示與深度學(xué)習(xí)結(jié)合的道路裂縫檢測與樣本生成方法。

在過去幾十年中,許多學(xué)者探索并嘗試了大量基于視覺特征的路面裂縫檢測方法。早期工作通常關(guān)注于低層次像素級灰度特征[20-23],并結(jié)合閾值方法實現(xiàn)裂縫與背景的分割[24-26]。此類基于灰度閾值的方法在光照控制良好且背景一致的場景中有較好表現(xiàn),但在復(fù)雜場景中表現(xiàn)相對較差。隨著影像處理技術(shù)的不斷發(fā)展,許多學(xué)者嘗試使用更復(fù)雜的方法挖掘更高層次的信息或結(jié)構(gòu)約束,如形態(tài)學(xué)操作[27]、特定濾波器[28-30]、局部特征[18,31]、域變換[32-33]、紋理分析與顯著性分析[34-36]等。此外,還有學(xué)者嘗試從最短路徑選擇[37-42]、輪廓追蹤[43-44]、影像分類[45-49]等不同理論框架對裂縫檢測任務(wù)進行建模。盡管各種方法在各自數(shù)據(jù)上有良好表現(xiàn),但在實際復(fù)雜場景中仍存在諸多問題。導(dǎo)致這一現(xiàn)象的核心原因在于這些方法多數(shù)對裂縫或路面背景有過強的先驗假設(shè)。

近年來,受深度卷積神經(jīng)網(wǎng)絡(luò)在各類視覺任務(wù)中的出色表現(xiàn),也有研究者將其應(yīng)用在裂縫檢測領(lǐng)域并在測試數(shù)據(jù)上獲得了不錯的效果[50-56]。有些學(xué)者將裂縫檢測作為分類任務(wù),采用多特征提取與融合[51]、貝葉斯融合策略[56]等設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)實現(xiàn)目標。也有學(xué)者其作為語義分割任務(wù),融合SegNet和層級策略[52]、基于U-Net框架[57]、結(jié)合注意力機制[58]等提出多種裂縫檢測方法。不僅如此,還有學(xué)者從目標檢測的角度認識裂縫檢測,基于經(jīng)典目標檢測框架YoLoV2,提出裂縫檢測方法[55]。盡管許多學(xué)者都嘗試從不同角度提出了解決方案,但現(xiàn)有基于深度學(xué)習(xí)的方法依然存在問題。一方面,對問題的不同思路有不同的特性,如分類網(wǎng)絡(luò)對于復(fù)雜背景效果不佳,而目標檢測網(wǎng)絡(luò)則精度難以滿足需求。另一方面,深度學(xué)習(xí)與生俱來的“數(shù)據(jù)驅(qū)動”屬性也在一定程度上阻礙了此類方法在實際場景中的廣泛應(yīng)用,具體體現(xiàn)在兩個方面:一是大量、高質(zhì)量的樣本制作(正樣本和負樣本)十分困難、昂貴且耗時耗力,進而導(dǎo)致目前可用于訓(xùn)練的裂縫數(shù)據(jù)集過少;二是現(xiàn)有裂縫識別網(wǎng)絡(luò)泛化性普遍不高,無法在變化較大、復(fù)雜的實際場景中有穩(wěn)定表現(xiàn)。

為克服上述挑戰(zhàn)與現(xiàn)有方法局限性,本文提出低秩表示與深度學(xué)習(xí)結(jié)合的橋梁道路裂縫檢測與樣本自動生成方法。低秩表示(low rank representation,LRR)可以從批量數(shù)據(jù)中高效地檢測出異常,且無須對前景或者背景復(fù)雜的假設(shè)。其作為一種數(shù)據(jù)“自表達”手段,無論路面影像如何復(fù)雜,只要序列中各影像間的模式一致就可以容易地實現(xiàn)裂縫檢測。因此,本文首先使用低秩表示找出影像序列中包含裂縫的影像,并通過后處理確定裂縫像素級掩膜。通過以上步驟可獲取大量正樣本(像素級裂縫標注影像)和負樣本(無裂縫路面影像),進而可生成高質(zhì)量樣本數(shù)據(jù)集。進一步,本文將裂縫檢測建模為影像語義分割任務(wù),遵循編碼器-解碼器架構(gòu)提取多層級特征(低層級灰度特征與高層級語義信息),并使用空洞空間金字塔池化(atrous spatial pyramid pooling,ASPP)獲得更大感受野。得益于生成的高質(zhì)量數(shù)據(jù)集和精心設(shè)計的結(jié)構(gòu),可訓(xùn)練出識別能力強且泛化性良好的裂縫檢測網(wǎng)絡(luò)。在大量不同路面樣本上的試驗證明了本文方法在精度與自動化程度方面的優(yōu)越性。

2 裂縫檢測框架的設(shè)計

本節(jié)主要介紹本文方法的細節(jié),包括低秩表示裂縫檢測、后處理與樣本生成、深度學(xué)習(xí)裂縫檢測3部分,主要流程如圖1所示。

圖1 本文方法主要流程

2.1 低秩表示裂縫檢測

秩是矩陣基本性質(zhì)之一,通過矩陣的秩可挖掘出數(shù)據(jù)中蘊含的潛在信息。在實際道路巡檢過程中可獲得許多影像序列,而其中蘊含豐富、有助于裂縫檢測的潛在信息。通常有裂縫影像在序列中只占據(jù)很小比例,同時,裂縫也只占據(jù)影像中很少一部分。因此,裂縫在此類數(shù)據(jù)中具有天然的稀疏性,本文自然地將低秩表示方法引入裂縫檢測,如圖2所示。

圖2 基于低秩表示的序列影像裂縫檢測

本文將影像中的裂縫作為稀疏部分,將裂縫檢測建模為一個低秩表示問題。假設(shè)有一個包含n張影像I1,I2,…,In的序列,w、h分別為影像的長和寬。對于每張影像,按列將其降維成一個一維向量(本文把此操作定義為vec())。對于一個影像序列,可得到多個一維向量,將其堆疊起來,形成一個超高維矩陣D(w×h行,n列)?；谇拔臄⑹?矩陣D應(yīng)具備潛在的低秩屬性,進一步可將其分解為低秩矩陣L和稀疏矩陣S的組合

D=[vec(I1)|vec(I2)|…|vec(In)]=L+S

(1)

若影像中的裂縫可與路面背景很好地分離,低秩矩陣L應(yīng)具有最小秩,且可根據(jù)式(2)通過優(yōu)化求得

(2)

式中,核范數(shù)用于構(gòu)造低秩約束,L1范數(shù)用于近似稀疏部分中的非零元素。λ為調(diào)整低秩與稀疏分解權(quán)重的參數(shù)。式(2)的求解難點在于其非線性約束D=L+S,但可利用ALM方法線性化約束,并不斷迭代優(yōu)化。低秩表示可有效抑制路面復(fù)雜背景(如不均勻光照等)并突出裂縫,對其稀疏部分進一步處理便可得到二值掩膜。

2.2 后處理與樣本生成

稀疏影像后處理主要包括稀疏影像閾值化和掩膜裂縫判別兩個階段,如圖3所示。在此基礎(chǔ)上對裂縫樣本進行分類,最終可構(gòu)造用于網(wǎng)絡(luò)訓(xùn)練的裂縫數(shù)據(jù)集。

圖3 低秩表示后處理主要流程

2.2.1 稀疏影像閾值化

閾值化階段主要包含灰度重賦值、灰度拉伸、自適應(yīng)二值化和噪聲去除4個步驟。在灰度重賦值部分,首先統(tǒng)計稀疏影像的灰度分布直方圖并計算灰度眾數(shù)Gm,然后對圖像中的每個像素按式(3)與灰度眾數(shù)Gm比較并重新賦值

(3)

灰度重賦值可有效抑制比灰度眾數(shù)Gm更亮的像素,有利于灰度拉伸。本文采用百分比線性灰度拉伸方法消除極端像素值影響。具體而言,根據(jù)高斯分布,筆者認為在2σ范圍內(nèi)可較好表達絕大部分信息,因此將灰度分布直方圖首尾兩端各2%的像素丟棄。

經(jīng)過灰度重賦值和拉伸,可得到增強后且接近二值掩膜的稀疏影像,本文在此基礎(chǔ)上進行二值化和噪聲去除。對于稍寬的條帶狀裂縫,本文使用OTSU閾值法及中值濾波二值化并過濾噪聲。對于較細的線狀裂縫,本文設(shè)計一種基于兩次二值化和位操作的策略,其目的在于濾除噪聲的同時盡可能保留線狀裂縫微小的紋理信息。具體而言,通過改變二值化閾值,對稀疏影像同時進行寬松和嚴格的二值化。寬松二值化結(jié)果可基本覆蓋所有裂縫范圍,但可能存在較多噪聲;嚴格二值化結(jié)果可能會損失部分裂縫細節(jié),但保留下來的像素大概率屬于裂縫。因此,對膨脹后的嚴格二值化掩膜與寬松二值化結(jié)果進行位操作,可在不濾波情況下得到去除噪聲但又保留細節(jié)的裂縫二值掩膜。

2.2.2 裂縫判別

盡管閾值化操作可得到初步二值掩膜,但僅利用灰度難以獲得可靠結(jié)果。一些在灰度上與裂縫相似的物體可能被判別為裂縫,如暗色車轍、陰影等。因此,本文進一步基于幾何特征對二值掩膜中的裂縫進行判別與過濾,提出一種基于多特征和加權(quán)投票的裂縫判別策略。首先在上一步得到的二值掩膜中搜索輪廓并提取骨架線,如圖4中黑色和白色虛線所示。

圖4 顧及幾何約束的裂縫判別

進一步,在提取的骨架線上以固定間隔采樣n個點(P1,P2,…,Pn,圖4中藍色點),并基于此構(gòu)建一個完全圖。然后使用Kruskal算法尋找圖中的最小旋轉(zhuǎn)樹,并將這個聯(lián)通所有節(jié)點且長度最短的路徑作為最優(yōu)路徑(圖4中藍色線所示)。對骨架線中的每一段,尋找其中垂線(l1,l2,…,ln-1,圖4中黃色線),并尋找其與外輪廓兩個交點(圖4中黃色點)之間的距離(圖4中紅色線),將此距離作為該段裂縫的寬度wi。對包含n個采樣點的待判別裂縫區(qū)域,按式(4)計算其長度IL、寬度IW及寬度方差I(lǐng)V

(4)

式中,median(·)表示求取骨架線的寬度中值;wm表示所有線段寬度wi的平均寬度,i=1,2,…,n-1。根據(jù)實際應(yīng)用需求與規(guī)則,本文認為足夠長度是后續(xù)裂縫判別的重要前提:若骨架線長度IL大于給定閾值TL,即認為它可能是個裂縫,進入后續(xù)判別流程。在加權(quán)投票部分,本文依據(jù)以下選定幾何指標:①寬度IW;②寬度方差I(lǐng)V;③最小外接矩形長寬比IA(反映裂縫整體形狀);④裂縫面積與其最小外接矩形面積之比IR(反映區(qū)域與矩形的相似性);⑤裂縫周長平方與其面積之比ID(反映區(qū)域與圓的相似性)。IA、IR、ID利用式(5)計算

(5)

式中,WR、HR、SR為待選區(qū)域最小外接矩形的寬、高和面積;PC、SC為待選裂縫區(qū)域周長和面積。最終評價得分JS由式(6)計算

JS=αI(IW≤TW)+βI(IV≤TV)+γI(IA≥TA)+δI(IR≤TR)+εI(ID≥TD)

(6)

式中,α、β、γ、δ、ε為打分權(quán)重;TW、TV、TA、TR、TD為相應(yīng)閾值;Ⅱ(·)為符號函數(shù)。若某個待選區(qū)域最終得分JS高于給定閾值TS,就將其判別為裂縫。

2.2.3 樣本與數(shù)據(jù)集生成

通過低秩表示與后處理,可高效獲取大量像素級裂縫掩膜(正樣本和負樣本)。相比于人工標注,這種方式可顯著提升樣本生成效率且無須人工干預(yù)。此外,相比于現(xiàn)有公開裂縫數(shù)據(jù)集中較為直接的數(shù)據(jù)組織方式,受自動駕駛和SLAM領(lǐng)域經(jīng)典數(shù)據(jù)集(如KITTI、EuRoC)啟發(fā),本文采用“影像+元數(shù)據(jù)”形式靈活組織樣本。在數(shù)據(jù)集中,每個樣本都包含原始影像(以JPEG格式存儲)、像素級掩膜(以PNG格式存儲)、元數(shù)據(jù)文件(以XML格式存儲)。元數(shù)據(jù)文件記錄影像和裂縫相關(guān)的多種屬性,如裂縫個數(shù)、場景難度、裂縫類型和包圍框等。同時也開發(fā)了圖形化工具,方便根據(jù)不同屬性重新組織數(shù)據(jù)。

2.3 深度學(xué)習(xí)裂縫檢測

盡管低秩表示可有效識別大部分裂縫,但在某些困難場景中依然表現(xiàn)不夠穩(wěn)健。為更好應(yīng)對各類實際場景,在由低秩表示生成的大量高質(zhì)量樣本基礎(chǔ)上,本文從語義分割角度設(shè)計端到端的路面裂縫檢測網(wǎng)絡(luò)。相比于部分工作[55]將裂縫檢測作為目標檢測任務(wù),本文認為將其作為圖像語義分割任務(wù)更合理。首先,目標檢測通常只能給出物體包圍框,但語義分割可給出像素級分割掩膜。其次,不同裂縫在灰度、形狀及尺寸上均差異較大,難以將它們識別為某種具有類似外觀的特定目標。最后,隨著計算機視覺領(lǐng)域快速發(fā)展,基于深度學(xué)習(xí)的語義分割取得了巨大進步,如基于上下文信息的語義分割網(wǎng)絡(luò)DeepLabV3+[40]系列等。受此啟發(fā),本文一方面通過融合低層和高層特征來挖掘裂縫與背景間深層次模式,另一方面通過不同尺度空洞卷積擴大感受野以保留細節(jié)。網(wǎng)絡(luò)采用編碼器-解碼器結(jié)構(gòu),如圖5所示。

圖5 本文提出的裂縫檢測網(wǎng)絡(luò)

在編碼器部分,本文同時使用低層次和高層次特征提取器描述復(fù)雜多樣的裂縫與路面背景。低層次特征提取器可保留大量對裂縫檢測有價值的全局信息,如背景紋理、灰度模式等,因此本文選擇ResNet50[41]作為骨干網(wǎng)絡(luò)。進一步,為保留足夠全局信息,本文融合第1層和第2層卷積結(jié)果,并設(shè)計一個包含64通道的1×1卷積,最終得到低層次特征圖。高層次特征提取器主要挖掘影像中裂縫的深層模式及理解語義信息。本文采用ResNet50中完整的5個卷積層,每個卷積層都包含不同bottleneck模塊。此外,在第5個卷積層采用膨脹率為2的空洞卷積,以獲得更大感受野。然后利用ASPP模塊對來自前5個卷積層的特征圖進行融合,獲得影像中多尺度的上下文信息。具體而言,本文使用大小為3×3且?guī)Р煌斩绰实木矸e核。ASPP模塊由1、6、12、18卷積層和池化層組成。最終高層次特征提取器得到256維特征圖,并上采樣到和低層次特征圖相同尺寸。在解碼器部分,本文融合低層次和高層次特征圖,實現(xiàn)端到端的像素級語義分割。首先,通過一個3×3卷積運算對低層次和高層次兩個特征圖進行融合操作,進一步利用一個1×1卷積對該特征圖進行降維,并將降維后的特征圖上采樣到和輸入影像相同尺寸。最后,使用Softmax正則化對特征圖進行分類,得到預(yù)測的像素級裂縫掩膜。

相比于傳統(tǒng)基于人工標注、模型訓(xùn)練模式,本文創(chuàng)新地提出一種自動化裂縫樣本生成方法,并基于此生成了大量高質(zhì)量道路裂縫樣本。基于自動生成的裂縫樣本,從影像語義分割角度設(shè)計了一種裂縫檢測網(wǎng)絡(luò)。與現(xiàn)有深度學(xué)習(xí)裂縫檢測網(wǎng)絡(luò)不同的是,使用多特征融合策略實現(xiàn)對于裂縫特征的多尺度描述,同時結(jié)合空洞卷積同時感知局部和全局的信息,為準確檢測提供保證。大量試驗顯示,本文設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)在不同類型的裂縫樣本上都具有良好的裂縫特征描述與泛化性能。

3 試驗與分析

為準確、客觀驗證本文方法的有效性和優(yōu)越性,將其與現(xiàn)有代表性方法(傳統(tǒng)方法CrackTree、CrackIT、深度學(xué)習(xí)方法FPN)在多個公開數(shù)據(jù)集(包含水泥、瀝青路面)上進行對比與評價,重點分析裂縫判別精度及裂縫范圍識別精度。不僅如此,本文利用專業(yè)道路巡檢車真實采集了上千張影像,并基于此進一步測試各方法實際表現(xiàn)。大量試驗驗證了本文方法的優(yōu)越性和創(chuàng)新性。

3.1 試驗數(shù)據(jù)

本文收集并整理了現(xiàn)有代表性公開道路裂縫數(shù)據(jù)集:CrackTree(D-CT)[42]包含206張路面影像,提供像素級標注但沒有裂縫寬度,覆蓋陰影、低對比度等困難場景;CrackForest(D-CF)[47]包含118張影像,拍攝地點為北京,提供人工標注的裂縫輪廓;GAPsV2(D-GAP2)[54]包含2468張影像,覆蓋裂縫、坑洞、修補帶等多種路面缺陷,所有缺陷提供包圍框作為真值;CRACK500(D-CK500)[51]包含500張像素級標注影像,拍攝地點為美國天普大學(xué);本文低秩表示生成的數(shù)據(jù)集(D-Ours)包含9079張由專業(yè)路面檢測車拍攝的影像,涵蓋由簡單到困難各類場景,對每個樣本,同時提供像素掩膜和包圍框真值標注。

3.2 評價指標

本文認為完整的裂縫檢測應(yīng)包含裂縫判別與裂縫識別兩個方面。裂縫判別是指判別某張影像中是否包含裂縫,給出是或否的結(jié)果;裂縫識別則是在影像中劃分出像素級裂縫范圍。本文分別統(tǒng)計TP、FP、TN、FN,并按式(7)計算Precision、Recall和F1值,如下

(7)

式中,ω是調(diào)節(jié)Precision和Recall的權(quán)重。本文將其設(shè)為1,計算F1值。

3.3 對比方法

3.4 試驗結(jié)果

3.4.1 裂縫判別精度

由于對比方法缺乏明確的裂縫判別策略,本文將空白掩膜或掩膜中裂縫像素少于一定閾值的圖像視為無裂縫圖像,相關(guān)裂縫判別結(jié)果與對比匯總于表1,每個數(shù)據(jù)集上最好的結(jié)果均加粗表示?？梢钥吹?對比的方法在除本文數(shù)據(jù)集之外的其他數(shù)據(jù)集上均有較高F1值。M-CI和M-CF方法甚至分別在D-CF和D-CT數(shù)據(jù)集上取得了100%的F1值。在本文數(shù)據(jù)集(D-Ours)上,傳統(tǒng)方法(M-CI和M-CF)的F1值均值約為58.80%。其主要原因為本文數(shù)據(jù)集包含較暗及噪聲較大的困難樣本,這給基于統(tǒng)計直方圖和手工設(shè)計特征的傳統(tǒng)方法帶來了巨大挑戰(zhàn)。以M-CI方法為例,許多噪聲像素被歸類為裂縫,進而導(dǎo)致整個圖像被視為裂縫圖像,最終識別性能顯著下降。此外,另一個因素是在使用的其他數(shù)據(jù)集中裂縫樣本占比較高。因此,盡管在很多無裂縫影像上錯誤地虛檢出裂縫,但因為此類樣本數(shù)量較少,在一定程度上削弱了這種負面影響。深度學(xué)習(xí)方法M-FPN由于對裂縫特征的描述能力較強,相比于比傳統(tǒng)方法獲得了更高F1值。但M-FPN方法網(wǎng)絡(luò)結(jié)構(gòu)相對簡單,導(dǎo)致其泛化能力較弱,因此該方法在本文數(shù)據(jù)集上效果并不理想。作為對比,盡管本文網(wǎng)絡(luò)僅在提出的數(shù)據(jù)集上進行訓(xùn)練,但依然在所有測試數(shù)據(jù)上取得優(yōu)異表現(xiàn),展現(xiàn)了較好的泛化性。本文方法甚至在D-CT、D-CF和D-CK500數(shù)據(jù)集上達到100%的F1值。主要有兩方面原因:在數(shù)據(jù)層面,相比于其他裂縫數(shù)據(jù)集,本文數(shù)據(jù)集在數(shù)量上有絕對優(yōu)勢,保證了樣本的充足性。此外,數(shù)據(jù)集包含豐富的場景和不同難度的樣本,涵蓋了常見的路面種類并包含了多種屬性,為數(shù)據(jù)的多樣性提供了支撐,進一步保證了網(wǎng)絡(luò)的泛化性。在網(wǎng)絡(luò)設(shè)計層面,精心設(shè)計的低層次和高層次特征提取結(jié)構(gòu)使得網(wǎng)絡(luò)能從多維度理解裂縫,保證了對其識別的可靠性。需要說明的是,裂縫判別關(guān)注圖像級別結(jié)果而非像素級別結(jié)果,某種方法可能因為更傾向于把噪聲識別為裂縫而獲得較好的判別結(jié)果。

表1 不同方法的裂縫判別與識別表現(xiàn)(F1值)對比

3.4.2 裂縫識別精度

表1匯總了本文與對比方法的裂縫識別結(jié)果,每個數(shù)據(jù)集上最好的結(jié)果均加粗表示。總體而言,不同方法在不同數(shù)據(jù)集上的識別效果差異較大,其主要是由于不同算法的能力差異及數(shù)據(jù)集的難易程度導(dǎo)致。盡管如此,本文方法依然在所有測試數(shù)據(jù)集上取得最好的識別表現(xiàn)。對于傳統(tǒng)方法(M-CI和M-CF),其識別精度受測試數(shù)據(jù)影響較大,表現(xiàn)不夠穩(wěn)定。他們在某些數(shù)據(jù)集上表現(xiàn)良好,但在不熟悉或困難樣本上表現(xiàn)不佳。例如,M-CF方法在D-CF數(shù)據(jù)集上的F1值為85.72%,但在D-GAP2數(shù)據(jù)集上的F1值僅為34.98%。這個現(xiàn)象進一步表明基于傳統(tǒng)手工特征的方法在與設(shè)計場景相似的數(shù)據(jù)集上表現(xiàn)良好,但由于裂縫特征提取能力有限,在復(fù)雜場景中往往表現(xiàn)較差,并且現(xiàn)有大部分裂縫檢測方法并不顧及輸入影像內(nèi)容,而是假設(shè)輸入影像一定存在裂縫進而檢測。這種策略導(dǎo)致當輸入影像不包含裂縫時,由于其本身特征提取能力不足,容易出現(xiàn)誤檢,造成自動化水平和性能的下降,如傳統(tǒng)方法(M-CI和M-CF)在D-GAP2和D-Ours數(shù)據(jù)集中的非裂縫圖像上都有較多誤檢,導(dǎo)致整體性能下降。而在實際生產(chǎn)中,這種情況是十分常見的。對于拍攝的一段道路檢測序列,筆者無法提前知道哪些幀包含裂縫。若算法不能自動、準確地從此類序列中準確檢測出裂縫,其對實際生產(chǎn)價值會大打折扣。因此筆者認為,在裂縫檢測任務(wù)中,對于非裂縫影像的準確識別同樣十分重要。與傳統(tǒng)方法(M-CI和M-CF)相比,深度學(xué)習(xí)方法M-FPN在D-GAP2和D-CK500數(shù)據(jù)集上識別效果有顯著提升,這也進一步證明了深度學(xué)習(xí)方法具備更好的特征提取與描述能力。然而,在外觀與D-CK500數(shù)據(jù)集差異較大的數(shù)據(jù)集(如D-CF)上,由于其網(wǎng)絡(luò)對特征學(xué)習(xí)的不充分以及不足的泛化性,F1值急劇下降至43.56%。此外,M-FPN方法的輸出為概率預(yù)測圖而非二值掩膜。因此其輸出結(jié)果還需進一步處理,但此過程會降低掩膜精度,進而導(dǎo)致該方法在所有數(shù)據(jù)集上的F1值都較低。對于本文方法,在本文數(shù)據(jù)集上取得97.77%的F1值,在其他數(shù)據(jù)集上也取得了最好的識別效果。與其他方法相比,本文方法在所有測試數(shù)據(jù)集上均具有穩(wěn)定的性能和良好的泛化性。這主要得益于本文從真實生產(chǎn)環(huán)境中制作的包含大量樣本、涵蓋豐富場景的數(shù)據(jù)集,提供了數(shù)據(jù)層面的保證。此外,在網(wǎng)絡(luò)模型設(shè)計時,利用空洞卷積擴大感受野,同時獲得了局部和全局的信息,也為對裂縫檢測提供了更加準確的描述。本文對比方法在有裂縫和無裂縫樣本上的識別結(jié)果對比如圖6所示。

圖6 本文方法與對比方法在各種裂縫數(shù)據(jù)集上的效果對比

3.4.3 消融試驗

為驗證本文提出的融合低秩表示和深度學(xué)習(xí)的裂縫檢測方法效果,筆者進行了消融試驗。首先在測試數(shù)據(jù)集上分別使用低秩方法和深度網(wǎng)絡(luò)進行裂縫檢測,然后再聯(lián)合使用低秩表示和深度學(xué)習(xí)進行測試,以驗證本文方法兩大組成部分對于最終結(jié)果的貢獻,比較結(jié)果見表2。

表2 低秩表示裂縫檢測和深度學(xué)習(xí)裂縫檢測效果對比

相比于LRR方法,DL方法表現(xiàn)更優(yōu)。這種提升主要有兩方面因素:一是由于LRR提供的相對較好的裂縫數(shù)據(jù),使得網(wǎng)絡(luò)有豐富的學(xué)習(xí)樣本;二是深度學(xué)習(xí)網(wǎng)絡(luò)特征提取能力更強,對于裂縫有更強的識別能力。而將兩者結(jié)合起來以后,裂縫檢測效果進一步提升。因此,上述消融試驗可證明LRR方法對于深度學(xué)習(xí)的貢獻以及深度網(wǎng)絡(luò)強大的檢測能力,也證明了本文將兩者結(jié)合起來實現(xiàn)自動裂縫樣本生成、網(wǎng)絡(luò)學(xué)習(xí)、檢測識別的可能性與可靠性。根據(jù)文獻調(diào)研,本文是相關(guān)領(lǐng)域內(nèi)首次將傳統(tǒng)方法與深度學(xué)習(xí)方法緊密結(jié)合,進而實現(xiàn)全流程、高精度裂縫檢測的工作。

4 結(jié) 論

道路裂縫檢測作為道路巡檢的重要組成部分,在潛在病害發(fā)現(xiàn)、健康狀態(tài)診斷等方面扮演著十分重要的角色。對道路裂縫高效、準確地檢測與測繪考驗著各種檢測車輛和算法的能力,但另一方面越來越智能的軟硬件也給高效裂縫檢測帶來了新的可能。在這樣的背景下,本文提出低秩表示與深度學(xué)習(xí)結(jié)合的兩階段橋梁路面裂縫檢測與樣本生成方法。在第1階段,利用低秩表示挖掘影像序列中對裂縫檢測有價值的潛在信息,并通過后處理得到具有像素級標注的正負裂縫樣本。在第2階段,從語義分割角度提出一種裂縫檢測網(wǎng)絡(luò),并利用第1階段生成的高質(zhì)量樣本進行訓(xùn)練。與低秩表示相比,深度學(xué)習(xí)在困難樣本上具有更好表現(xiàn)。大量試驗表明,本文提出的裂縫檢測網(wǎng)絡(luò)具有較強的性能和良好的泛化能力。因此,除了橋梁,本文方法也可廣泛應(yīng)用于鐵路、隧道、水壩等其他場景的裂縫檢測與測繪工作。由于有限的時間,本文也存在一些不足之處。裂縫判別部分的閾值大部分通過大量試驗獲得,在某些特殊場景的數(shù)據(jù)中,可能會不合適。筆者工作的未來研究方向包括:進一步挖掘低秩表示在自動樣本生成中的潛力,制作更大、更高質(zhì)量的數(shù)據(jù)集并公開;在更多的數(shù)據(jù)集上和更多的方法進行對比測試,進一步驗證方法的可靠性;裂縫檢測網(wǎng)絡(luò)的輕量化以及在一些智能無人平臺(如無人機等)的部署,實現(xiàn)實時裂縫檢測。