韓海航,張 麗,吳皓天,陳海珠,胡 迪

(1.浙江省交通運(yùn)輸科學(xué)研究院,浙江 杭州 311305；2.浙江網(wǎng)新數(shù)字技術(shù)有限公司,浙江 杭州 310030)

引言

裂縫作為瀝青路面主要病害之一,自動化采集路面裂縫圖像已成為當(dāng)前路況調(diào)查普遍方式,但由于裂縫類型較多,圖像類型紛繁復(fù)雜,數(shù)據(jù)質(zhì)量干擾因素大,一直難以采用機(jī)器自動識別的方法處理。近年來,諸多研究人員嘗試采用人工智能方法進(jìn)行路面裂縫自動識別。譚曉晶對采集到的裂縫圖像進(jìn)行像素標(biāo)定、灰度轉(zhuǎn)換、去噪、閾值分割、中值濾波等步驟,再提取裂縫的圖像特征信息,計算裂縫的寬度和長度,最后采用試驗方法驗證該方法的識別精度。試驗結(jié)果表明,該方法能準(zhǔn)確有效地檢測出裂縫[1]。盧印舉提出一個利用全局K-Means 和高斯混合模型來對路面裂縫圖像進(jìn)行分割的方法。通過仿真圖像和實際裂縫圖像實驗結(jié)果顯示,該方法比使用傳統(tǒng)KMeans 算法和普通GMM 的分割方法精度更高、穩(wěn)定性更好[2]。雷宏衛(wèi)將加噪灰度網(wǎng)狀裂縫圖像經(jīng)小波軟閾值去噪增強(qiáng)后,使用Ostu 算法將圖像二值化,得到的網(wǎng)狀裂縫清晰地目標(biāo)圖像[3]。王永會針對從復(fù)雜的道路背景中難以有效識別路面裂縫的問題,提出了一種基于分?jǐn)?shù)階傅里葉變換和頻譜增強(qiáng)處理的路面裂縫圖像識別方法。與小波變換(WT)檢測算法相比,分?jǐn)?shù)階傅里葉變換檢測圖像在準(zhǔn)確率和召回率上分別提高了14.35%和17.1%[4]。胡敏為了有效提高生成式網(wǎng)絡(luò)下路面裂縫檢測精度,針對路面裂縫圖像的復(fù)雜多樣性,提出一種基于分水嶺算法的路面裂縫圖像檢測識別方法。結(jié)果表明：路面裂縫圖像檢測識別方法檢測時間較短、檢測準(zhǔn)確率較高、誤報率較低[5]。魏海斌基于為了Matlab 軟件平臺提出了瀝青路面裂縫寬度檢測方法。結(jié)果表明,當(dāng)裂縫寬度在5 mm 以上時,誤差小于5%；裂縫寬度為2～5 mm 時,誤差小于10%[6]。綜上所述,瀝青路面裂縫圖像自動識別的算法研究較多,但對于瀝青路面圖像病害樣本圖像數(shù)據(jù)處理機(jī)制的應(yīng)用研究較少,本文從裂縫的判別規(guī)則,樣本集準(zhǔn)備,圖像預(yù)處理分別展開論述。

1 瀝青道路裂縫病害判斷規(guī)則制定

因瀝青裂縫病害的識別建立在深度的業(yè)務(wù)學(xué)習(xí)的基礎(chǔ)上,必須要保證提供給算法訓(xùn)練是正確的標(biāo)注數(shù)據(jù),所以,在標(biāo)注開始前研究團(tuán)隊深入業(yè)務(wù)知識依據(jù)《公路技術(shù)狀況評定標(biāo)準(zhǔn)》JTG5210-2018 制定了常見路面裂縫病害的識別方法和判斷規(guī)則,同時也在后續(xù)的標(biāo)注過程中不斷完善規(guī)則文檔(如表1)。

表1 常見的路面裂縫類型

表2 干擾物特征

在區(qū)別明顯裂縫病害特征之外,因為在道路復(fù)雜運(yùn)營環(huán)境下往往還有其他干擾物也需要標(biāo)注,以便算法訓(xùn)練時排除干擾,其特征如表2。

2 各類型裂縫的判斷規(guī)則

2.1 橫向裂縫的判斷規(guī)則

橫向裂縫作為路面裂縫的典型存在形式,其整體裂縫走勢垂直于行車方向,且<45°,形狀不規(guī)則,長度不等,常見瀝青路面橫向裂縫如圖1 所示：

圖1 典型橫向裂縫特征圖像

2.2 縱向裂縫的判斷規(guī)則

瀝青路面的縱向裂縫大部分都是走向不規(guī)則,長度不等(如圖2)。

圖2 典型縱向裂縫特征圖像

圖3 典型塊狀裂縫特征圖像

2.3 塊狀裂縫的判斷規(guī)則

塊狀裂縫的基本判斷規(guī)則為曲折的裂開,將路面分割成塊狀或者塊狀趨勢的縱橫交錯的裂縫。如圖3。

2.4 龜裂的判斷規(guī)則

龜裂的基本判斷規(guī)則為相互貫通,網(wǎng)狀的裂縫。如圖4。

3 病害樣本訓(xùn)練集準(zhǔn)備

圖4 典型龜裂特征圖像

圖5 圖像標(biāo)注小工具

通過圖像分類標(biāo)注工具完成標(biāo)注工作,主要包含以下幾點(diǎn)功能：(1)通過讀取原始圖片保存路徑生成圖片標(biāo)注隊列；(2)根據(jù)標(biāo)注隊列逐一顯示圖像并進(jìn)行類別標(biāo)注；(3)發(fā)現(xiàn)錯標(biāo)時可及時進(jìn)行撤回及重新標(biāo)注；(4)標(biāo)注進(jìn)度顯示,方便標(biāo)注者判斷當(dāng)前任務(wù)進(jìn)展情況；(5)顯示病害典型案例以便為標(biāo)注者提供判斷依據(jù)。圖像分類標(biāo)注小工具將生成原始圖像輸出相對應(yīng)的類別標(biāo)注列表,如圖6 所示。子圖像名稱與列表一一對應(yīng),便于后續(xù)批處理文件的生成。

圖6 類別標(biāo)注別表

將經(jīng)過標(biāo)注的樣本數(shù)據(jù)順序隨機(jī)打亂后分為訓(xùn)練、測試兩部分；訓(xùn)練樣本：正常：367,橫向：381,縱向：360,龜裂：361,塊狀：208,偽裂紋：368；測試樣本：正常：34,橫向：20,縱向：41,龜裂：40,塊狀：36,偽裂紋：33；包含裂縫的圖像樣本均為單病害樣本。數(shù)據(jù)通過TFRecordWriter模塊轉(zhuǎn)化為.tfrecord 文件,實現(xiàn)多線程的快速io 隊列操作以及對于網(wǎng)絡(luò)模型的無縫對接(如表3)。

表3 樣本訓(xùn)練集類型及樣例

圖7 干凈路面樣本(左)、失真樣本(右)

4 圖像預(yù)處理

4.1 數(shù)據(jù)清洗

在標(biāo)注裂縫圖像數(shù)據(jù)之前,對所有圖像數(shù)據(jù)進(jìn)行初步評估與分析,其中干凈路面的樣本(除地標(biāo)線外無任何干擾物)占70%以上,失真樣本占約10%,而可能存在病害的樣本(包含真實裂縫,也包含井蓋、伸縮縫等干擾物)僅占剩余的20%左右。為了提高標(biāo)注效率,同時減小樣本的不均衡性,需對裂縫圖像數(shù)據(jù)進(jìn)行清洗,排除掉大量明顯不存在病害的干凈路面樣本與失真樣本。

清洗數(shù)據(jù)分為人工清洗和模型清洗兩部分,人工清洗即標(biāo)注人員快速地在一定容錯范圍內(nèi)對數(shù)據(jù)進(jìn)行粗略的分類,分離出可能存在病害的樣本以用于后續(xù)的精細(xì)標(biāo)注。人工清洗的劣勢在于耗時多且效率低。模型清洗指使用訓(xùn)練好的分類模型代替人工進(jìn)行分類,模型清洗效率高但前提條件是需要一定的樣本作為訓(xùn)練集。因此數(shù)據(jù)清洗結(jié)合了人工清洗與模型清洗兩種方式,先由人工清洗完成部分工作并提供一定量的訓(xùn)練樣本,然后訓(xùn)練模型并以模型清洗的方式代替人工。

本次清洗模型采用與分類模型一致的Resnet50,人工清洗整理出干凈路面樣本、失真樣本、可能存在病害的樣本各600 例,將每種500 例作為訓(xùn)練樣本,100 例作為測試樣本。最終所得清洗模型的混淆矩陣如表4：

表4 清洗模型的混淆矩陣

(1)干凈路面樣本：準(zhǔn)確率：0.97333,精確率：0.98591,召回率：0.93333

(2)可能存在病害的樣本：準(zhǔn)確率：0.96889,精確率：0.92500,召回率：0.98667

(3)失真樣本：準(zhǔn)確率：0.99556,精確率：1.00,召回率：0.98667

4.2 濾波去噪

在路面裂縫檢測中,濾波處理的目的就是減少或者去除噪聲的影響、提高路面數(shù)據(jù)質(zhì)量的同時保留裂縫信息。為找到適用于道路圖像的濾波方法,分別嘗試了均值濾波、中值濾波以及雙邊濾波。

圖8 均值濾波

圖9 中值濾波

圖10 雙邊濾波

均值濾波是指用元像素其周圍像素的平均值代替元像素值,在濾除噪聲的同時也會濾掉圖像的邊緣信息。即在濾除路面噪點(diǎn)的同時,裂縫信息在一定程度上也被過濾。在測試中,均值濾波后基本無法保留裂縫的輪廓,因此不適合作為道路圖像的濾波方式(如圖8)。

中值濾波用元像素周圍鄰域像素集中的中值代替元像素。中值濾波去除椒鹽噪聲和斑塊噪聲時,效果非常明顯。但在測試中也發(fā)現(xiàn),中值濾波也過濾掉了較多的裂縫邊緣信息,使裂縫顯得模糊。因此中值濾波也不適合作為道路圖像的濾波方式(如圖9)。

雙邊濾波是一種非線性的濾波方法,是結(jié)合圖像的空間鄰近度和像素值相似度的一種折衷處理,同時考慮空域信息和灰度相似性,達(dá)到保邊去噪的目的。在使用雙邊濾波后,路面噪點(diǎn)降低,但裂縫信息依然保留(如圖10)。

4.3 增強(qiáng)

圖像增強(qiáng)能夠有目的的強(qiáng)調(diào)圖像的整體或是局部特征,將不清晰地圖像變得更為清晰,或是強(qiáng)調(diào)某些感興趣的特征,使其改善圖像質(zhì)量,加強(qiáng)圖像判別和識別的效果。為找到適合與道路圖片的圖像增強(qiáng)方法,分別嘗試了對比度拉伸、灰度矯正等方法。

圖11 對比度拉伸

圖12 縱向灰度矯正

表5 圖像增廣方法

表6 測試結(jié)果的混淆矩陣

對比度拉伸是擴(kuò)展圖像灰度級動態(tài)范圍的處理方法,擴(kuò)大圖像內(nèi)各個像素值之間的距離,從而達(dá)到提升圖像特征局部特征識別效果的目的。經(jīng)測試對比度拉伸后的道路圖像雖然裂縫特征得到了加強(qiáng),但原版經(jīng)過過濾的噪聲信息也同樣被凸顯出,因此該方法不適合作為道路圖像的增強(qiáng)方式(如圖11)。

在路面裂縫檢測中,往往存在沿車道方向顏色深淺不一的條紋,成因可能是剎車印記或地線磨損后留下的印記。這些顏色深淺不一的條紋對裂縫的識別造成一定的干擾。為盡可能減少以上干擾,采用了一種縱向灰度矯正的圖像增強(qiáng)方式,如圖可見,沿車道方向顏色深淺不一的條紋被減弱,但裂紋依然清晰可見(如圖12)。

4.4 樣本擴(kuò)充

圖像增廣方式采用：隨機(jī)水平翻轉(zhuǎn)、隨機(jī)對比度調(diào)整、隨機(jī)亮度調(diào)整、隨機(jī)微角度旋轉(zhuǎn)、隨機(jī)裁剪縮放,同時每個batch 在進(jìn)入網(wǎng)絡(luò)訓(xùn)練前進(jìn)行樣本順序的隨機(jī)打亂。單張圖像輸入網(wǎng)絡(luò)前均進(jìn)行歸一化處理。通過上述處理可增加樣本隨機(jī)性,在訓(xùn)練過程中增強(qiáng)模型的泛化能力。

5 基于裂縫病害圖像標(biāo)注和預(yù)處理的模型訓(xùn)練結(jié)果

如表6 所示：

(1)正常：準(zhǔn)確率：0.91219,精確率：0.76666,召回率：0.67647

(2)橫向：準(zhǔn)確率：0.96098,精確率：0.83333,召回率：0.75000

(3)縱向：準(zhǔn)確率：0.94634,精確率：0.85714,召回率：0.87805

(4)龜裂：準(zhǔn)確率：0.93658,精確率：0.81395,召回率：0.87500

(5)塊狀：準(zhǔn)確率：0.94146,精確率：0.80000,召回率：0.88889

(6)偽裂：準(zhǔn)確率：0.94146,精確率：0.84375,召回率：0.79412

其中,平均準(zhǔn)確率：0.94,平均精確率：0.82,平均召回率：0.82

6 結(jié)論

瀝青路面裂縫作為道路典型病害之一,裂縫的自動識別技術(shù)在道路檢測行業(yè)需求極為迫切,但現(xiàn)有的識別算法難以達(dá)到工程應(yīng)用級精度,其主要原因之一是由于路面裂縫圖像未有完備的標(biāo)注規(guī)則及數(shù)據(jù)處理機(jī)制。本研究通過對裂縫病害判斷規(guī)則的制定,到路面裂縫的判斷依據(jù),據(jù)此構(gòu)建裂縫標(biāo)準(zhǔn)圖像訓(xùn)練集,通過完備的數(shù)據(jù)圖像處理流程,可實現(xiàn)路面裂縫較高的識別準(zhǔn)確度,為擴(kuò)大路面裂縫自動識別項目級應(yīng)用奠定基礎(chǔ)。