薄曉寧

（太原工業(yè)學(xué)院 山西省太原市 030008）

路面裂縫病害是高速公路日常養(yǎng)護(hù)遇到的最常見問題之一，同時也是評估高速公路狀態(tài)的核心因素之一，決定著高速公路是否需要維修。以前高速公路都是采用人工檢測路面裂縫情況的方法來了解高速公路的實際情況，但這種方式已經(jīng)表現(xiàn)出各種的弊端，如高風(fēng)險性、低效率、高成本、作業(yè)難度大等。隨著信息技術(shù)和圖像技術(shù)的研究越來越深入，有人開始嘗試將視覺學(xué)習(xí)運用于路面裂縫病害識別中[1]，同時也有很多學(xué)者著眼于研究多目標(biāo)識別技術(shù)。

1 相關(guān)概述

人們通過視覺感知環(huán)境，機器視覺是使用計算機模擬人的感知過程，從客觀環(huán)境中提取圖像信息，機器憑借電子化感知、理解圖像并進(jìn)行分析，后可以用于測量、檢測和控制等。隨著國民經(jīng)濟快速發(fā)展，交通量迅猛增長，且越來越多的大型車輛出現(xiàn)可能還伴隨有超載的情況，這都會對路面造成相當(dāng)程度的破壞，路面裂縫病害是世界各國路面使用中最常見的問題之一，在公路日常養(yǎng)護(hù)中，及早地發(fā)現(xiàn)并處理路面裂縫病害有著很大意義。

近年來，目標(biāo)識別與檢測已經(jīng)成為了圖像處理技術(shù)的研究熱點之一[2]，尤其是低信噪比、環(huán)境復(fù)雜下的多目標(biāo)檢測，多目標(biāo)檢測技術(shù)的研究和應(yīng)用影響著很多的行業(yè)和領(lǐng)域，對多目標(biāo)識別技術(shù)的研究有著重大意義。對于小且多的目標(biāo)檢測的難點在于：目標(biāo)小且容易受到周圍環(huán)境的干擾，僅靠單幀圖像根本無法獲得圖像的有效信息，必須對多幀的圖像序列進(jìn)行綜合分析；對于連續(xù)幀圖像的處理極大考驗著系統(tǒng)的實時性和計算能力。

基于機器視覺的目標(biāo)識別技術(shù)是建立在數(shù)字圖像識別和理解的基礎(chǔ)上，利用計算機對獲取的圖像信息進(jìn)行感知、分析以及理解。以往的圖像識別技術(shù)的步驟有：獲取目標(biāo)圖像、對樣本圖像預(yù)處理、提取特征圖、對圖像分類判別等。近幾年，隨著對深度學(xué)習(xí)的深入研究，機器可以在一定數(shù)量的樣本集下進(jìn)行一段時間的學(xué)習(xí)和訓(xùn)練，可以自己歸納特征，有著較高的效率和準(zhǔn)確度。

基于機器視覺的目標(biāo)跟蹤主要包含兩部分[3]：

（1）識別動態(tài)目標(biāo)：采集一段視頻，獲得一個圖像序列，對得到的連續(xù)幀中的目標(biāo)進(jìn)行計算和檢測，先提取目標(biāo)圖像特征，在對其標(biāo)注標(biāo)簽，識別目標(biāo)完成；

（2）目標(biāo)追蹤：獲得目標(biāo)的位置、路徑、方向、位移量等基本數(shù)據(jù)信息，機器經(jīng)過復(fù)雜的計算和分析，理解目標(biāo)后對目標(biāo)進(jìn)行跟蹤。

基于機器視覺的路面裂縫病害多目標(biāo)識別技術(shù)，是建立在機器視覺和圖像處理基礎(chǔ)之上，首計算機先從客觀環(huán)境中獲取路面圖像并對原始圖像信息感知并分析，這個過程中涉及的運算有圖像灰度化、圖像增強處理和二值化、去除干擾等，從而獲得到一種預(yù)處理的圖像；其次，對預(yù)處理圖像上裂縫進(jìn)行分析并計算其裂縫形態(tài)特征值，同時去除偽裂縫；最后通過系列的運算得出路面裂縫的相關(guān)結(jié)果并形成記錄。

2 路面裂縫病害與識別方法

2.1 路面裂縫圖像預(yù)處理

從圖像形態(tài)角度檢測路面裂縫病害的最常見方法是線狀目標(biāo)檢測，由于一些路面裂縫小且弱，加上周圍環(huán)境或是拍攝天氣的影響，圖像的識別度不夠精準(zhǔn)，因此要對圖像進(jìn)行預(yù)處理[4]。

（1）預(yù)處理第一步就是圖像灰度化，將采集到的路面裂縫彩色圖像去除彩色信息，僅保留灰度圖像。

（2）圖像濾波。路面裂縫圖像在采集過程中，會受到周圍復(fù)雜環(huán)境影響，如噪聲等，噪音會干擾圖像信息識別，會影響到后續(xù)裂縫檢測結(jié)果。因此，預(yù)處理的第二步是在第一步的基礎(chǔ)上獲取灰度圖像濾波，使得圖像可以去除噪音等干擾信息同時最大程度保留圖像的路面裂縫關(guān)鍵信息。

（3）圖像增強?？紤]到采集的路面裂縫圖像會受各種因素影響，如有些采集地點光線很暗，對此要使用一定圖像算法增強路面裂縫圖像，增大裂縫與其他部分圖像的差異。

（4）圖像二值化。選擇適合的灰度閾值，以閾值為分界點，比閾值小的是目標(biāo)，標(biāo)記為1，比閾值大的是非目標(biāo)部分，標(biāo)記為0，由此灰度圖被分割成目標(biāo)和非目標(biāo)兩部分。

2.2 路面裂縫圖像檢測

二值化后獲得的圖像中包含大量的偽裂縫，需要采取一定措施去除這部分偽裂縫。裂縫部分相較于偽裂縫部分，有著較大的噪音部分面積，同時裂縫長寬比值也較大，由此可以篩選出偽裂縫并將其去除，最終獲得裂縫的相關(guān)信息。在實際的圖像檢測過程中，圖像邊緣是常用的圖像特征之一[5]，因攜帶大部分關(guān)鍵有效信息，經(jīng)常以此作為核心特征條件。

邊緣檢測的主要內(nèi)容：首先，借助常用的邊緣算子，提取邊緣點集，分析灰度變化。其次，對邊緣點集進(jìn)行填補或是剔除某些邊界點，并將邊緣點連線。經(jīng)常用到的檢測算子有canny 算子、微分算子等，在Manab 中，edge 函數(shù)使用了這些算子對灰度圖像邊緣進(jìn)行檢測。

2.3 路面裂縫圖像識別

對于得到的裂縫圖像，利用圖像形態(tài)技術(shù)，對圖像進(jìn)行一系列計算，最終可得到裂縫長和寬的值、裂縫面積、裂縫形狀、裂縫朝向等信息。并將路面裂縫的詳細(xì)信息記錄到數(shù)據(jù)庫中，以便之后使用。其中，圖像識別的方法多種，常用的有決策理論法、神經(jīng)網(wǎng)絡(luò)方法、幾何變換法、結(jié)構(gòu)方法以及模板匹配法，每一種圖像識別的方式都有相應(yīng)的適用場景，也在某些場景下存在一定的不足。因此，在實際應(yīng)用中，要結(jié)合實際情況，綜合分析選擇最佳的圖像識別方法。

2.4 特征提取

2.4.1 裂縫“病害”面積計算

路面裂縫圖像面積的計算本質(zhì)上是計算某一區(qū)域包含的像素數(shù)，且圖像已經(jīng)進(jìn)行二值化處理，此時只需要計算圖像中灰度值為0 的像素個數(shù)占像素總數(shù)的比例，從而得出裂縫面積。定義A 是目標(biāo)物的像素個數(shù)，也即二值化裂縫圖像中裂縫面積，設(shè)f(x,y)大小是M*N，目標(biāo)物f(x,y)=1，背景是0，此時路面裂縫目標(biāo)面積為：

最后路面裂縫病害的像素個數(shù)占像素總個數(shù)的比例是：

通過μ 的值，最終可計算出路面裂縫的實際面積。

2.4.2 裂縫“病害”長度計算

由于路面裂縫病害表現(xiàn)非常復(fù)雜，其長度計算不是一件易事，因此對多幅處理后的圖像進(jìn)行分析和研究，發(fā)現(xiàn)找到裂縫病害的“骨架”部分，可以統(tǒng)計像素個數(shù)，在結(jié)合圖像的長或是寬的像素個數(shù)，可計算出“骨架”的長度。

2.5 灰度圖像形態(tài)學(xué)

運用imdilate 函數(shù)實現(xiàn)圖像膨脹、imerode 函數(shù)進(jìn)行圖像腐蝕。其中先完成腐蝕后進(jìn)行膨脹的過程稱為開運算，先完成腐蝕后進(jìn)行膨脹的過程稱為閉運算。開運算用來消除小物體，可以在不明顯改變面積的情況下分離物體和較大平滑物體的邊界；閉運算是用來和鄰近物體連接、填充小空洞，在不明顯改變面積的情況下平滑其邊界。對于存在很多小的噪聲的圖像要連續(xù)經(jīng)過多次的開和閉運算才可以有較好的效果。

3 多語義機器視覺識別

3.1 基于Mask R-CNN的識別模型框架

對目標(biāo)的檢測與定位有較好識別精度的一種識別模型是卷積神經(jīng)網(wǎng)絡(luò)（CNN），用該模型開展路面裂縫病害識別有著較高的識別率和準(zhǔn)確度。路面裂縫病害的特點是有較大的長寬比，同時與背景相比其像素面積較小[6]，因此，要在卷積神經(jīng)網(wǎng)絡(luò)加入淺層網(wǎng)絡(luò)和深層網(wǎng)絡(luò)的數(shù)據(jù)信息，用來提取路面裂縫病害幾何特征、分類語義，提取各層維度的路面裂縫特征，構(gòu)建多尺度特征圖，如圖1所示。

圖1：特征金字塔網(wǎng)絡(luò)模型

利用多層次多維度特征融合，每層特征是獨立預(yù)測，深層特征將底層特征和上采樣相融合，最后將主干網(wǎng)絡(luò)的特征圖輸出，其中主干網(wǎng)絡(luò)用于提取圖像特征。增加網(wǎng)絡(luò)寬度或深度幾乎不影響網(wǎng)絡(luò)性能，因此可以在原來網(wǎng)絡(luò)上增加卷積層，也不會影響特征圖信息，如大小、尺寸等，如表1所示，特征圖尺寸和大小一致時，不需要再進(jìn)行降采樣和升采樣處理。

表1：性能評價指標(biāo)

3.2 識別模型訓(xùn)練

通過大量數(shù)據(jù)集對識別模型進(jìn)行訓(xùn)練，以增強模型泛化能力，同時將明顯路面裂縫圖像加入到數(shù)據(jù)集中對識別模型進(jìn)行訓(xùn)練，利于提高識別模型對于路面裂縫識別的精確度、準(zhǔn)確度，降低誤識別。

3.3 路面裂縫病害訓(xùn)練數(shù)據(jù)標(biāo)注與參數(shù)學(xué)習(xí)

盡可能多的收集各種分辨率的路面裂縫圖像用于訓(xùn)練和測試識別模型，其中將路面裂縫病害圖像分為訓(xùn)練集和測試集，且訓(xùn)練集的比例要遠(yuǎn)遠(yuǎn)大于測試集，如：病害圖像訓(xùn)練集和測試集的比例為9:1。在訓(xùn)練模型的過程中，可以對圖像進(jìn)行對比度、翻轉(zhuǎn)、調(diào)整亮度和對稱將訓(xùn)練集倍數(shù)增加，這樣識別模型可實現(xiàn)更好的魯棒性以及有著更好的泛化能力。

識別模型性能用PIXAP、PIXREC、PIXACC以及IOU進(jìn)行評估，并使用AP50和AP75評價指標(biāo)進(jìn)行性能評估。經(jīng)過上述過程訓(xùn)練出的識別模型具有良好的泛化性能，可以較精確地識別路面裂縫病害。即使隨著層數(shù)增加，圖像特征變得更抽象、輪廓信息明顯缺失，然而，高層特征圖通過疊加底層特征圖，完好地保留了路面裂縫圖像的幾何特征，有效提升了識別模型對于不同尺寸路面裂縫的識別能力。

4 多目標(biāo)識別

4.1 多目標(biāo)識別框架

基于機器視覺的路面裂縫圖像多目標(biāo)識別就是將路面裂縫圖像信息作為輸入，在對輸入的圖像信息進(jìn)行處理，機器視覺主要理解和感知圖像信息，感知到的結(jié)果作為下一步動作的輸入，而多目標(biāo)識別包括了分割目標(biāo)、目標(biāo)檢測和目標(biāo)識別等幾部分[7]，其中主要利用了圖像處理和模式識別技術(shù)。

多目標(biāo)識別的分類識別過程如下：

（1）采集一段路面裂縫的視頻，得到一個圖像序列，提取圖像序列的每一幀圖像

（2）對連續(xù)兩幀圖像做差值計算，初步獲得多目標(biāo)位置區(qū)域，其中過濾干擾信息，獲得精確的多個目標(biāo)區(qū)域。

（3）使用Gabor 濾波器，其中尺度設(shè)為5、方向參數(shù)設(shè)為8，將圖像樣本劃分成均勻方塊，提取目標(biāo)圖像的Gabor 特征。

（4）對所有樣本特征進(jìn)行訓(xùn)練，將得到的樣本圖像特征作為Fisher 分類器的輸入信息，最終得到分類識別結(jié)果。

對圖像分割需要借助圖像分割算法，該算法主要是將目標(biāo)與圖像背景區(qū)別開來完成目標(biāo)提取，其中分割結(jié)果的精準(zhǔn)與否會影響后續(xù)目標(biāo)識別、目標(biāo)定位以及目標(biāo)提取的準(zhǔn)確度，這要求在實際的工作場景中，要根據(jù)具體情況，選擇最佳的圖像分割算法。

4.2 Gabor特征的提取

特征提取是機器視覺識別目標(biāo)圖像的重要中間環(huán)節(jié)，對目標(biāo)識別的精度和準(zhǔn)確度有著至關(guān)重要的影響，從大量復(fù)雜的無序的信息數(shù)據(jù)中提取到核心關(guān)鍵的圖像特征，對路面裂縫目標(biāo)圖像起著決定性作用。對于路面裂縫病害圖像，不同的分類方法，會得到多種圖像特征類型，按照區(qū)域大小分為局部特征和全部特征兩種[8]；按照特征分為紋理特征、輪廓特征、線條特征以及矩特征等。

對于對目標(biāo)圖像的檢測方法有密集選取、稀疏選取和其他選取三種，從以往的研究成果看，這三種方法都適用于部分場景，在一些場景下會存在一定的不足，主要原因就是比較依賴圖像目標(biāo)背景，因此，很多的實際情況中會采用多種描述子相結(jié)合進(jìn)行機器視覺的路面裂縫病害圖像多目標(biāo)的識別。Gabor 變換在時域和空域都是變換的，有良好的局部性。2D Gabor 濾波器和動物視網(wǎng)膜接受模型吻合，可以同時接受頻率、時間的最小不確定性。

4.3 Fisher判別準(zhǔn)則

對路面裂縫病害圖像中特征進(jìn)行提取并進(jìn)行定量化分析后，將對目標(biāo)圖像進(jìn)行提取并對提取的目標(biāo)圖像要進(jìn)行一定的定量分析。對圖像的判別分析的本質(zhì)是對集合空間做劃分，因此，對路面裂縫病害圖像的判別分析可以轉(zhuǎn)化成在一個投影上對原集合的劃分。Fisher 線性判別將訓(xùn)練集在某一方向投影，得到不同類別的最小類內(nèi)和最大類間散布矩陣，然后根據(jù)這種新投影特征，可識別數(shù)據(jù)并將其分類。

Fisher 判別法的結(jié)果如何關(guān)鍵點在于選取訓(xùn)練集的精準(zhǔn)度和圖像信息在降維過程中特征信息的損失比例。Fisher 判別分析方法的核心是將高維不好處理的問題通過降低維度進(jìn)行處理，從而達(dá)到對多維多層次向量在低維度空間進(jìn)行判別分析的目的。

5 總結(jié)

目前機器視覺已經(jīng)初步應(yīng)用于路面裂縫病害的識別中，研究機器視覺路面裂縫病害多目標(biāo)識別技術(shù)以及圖像預(yù)處理過程，對判別和特征提取算法的優(yōu)化，都具有非常大的意義，可以提高路面裂縫病害識別的效率和準(zhǔn)確度，極大方便了公路養(yǎng)護(hù)工作。本文研究了多語義機器視覺識別和多目標(biāo)識別技術(shù)，希望對機器視覺路面裂縫病害多目標(biāo)識別技術(shù)的研究提供一定的參考，以期未來實現(xiàn)路面裂縫識別的智能化，提高路面裂縫病害識別效率和準(zhǔn)確率。