王建林，潘建平

(重慶交通大學(xué) 土木工程學(xué)院，重慶 400074)

隨著我國經(jīng)濟(jì)的高速發(fā)展，橋梁建設(shè)十分迅速，大跨徑的斜拉橋更是被廣泛采用。拉索是斜拉橋的主要受力部件之一，其耐久性和可靠性直接影響橋梁的安全和使用壽命，拉索表面因長期暴露于自然環(huán)境中并承受交變載荷，會出現(xiàn)不同程度的老化和損壞[1]。在橋梁運(yùn)營期間，需要對拉索表面做年度檢測來確定拉索表面狀況和估計(jì)內(nèi)部鋼絲狀況，并形成檢測報(bào)告[2]。目前的實(shí)際生產(chǎn)工作中，亟待破解橋梁拉索表面缺陷自動化檢測技術(shù)。

當(dāng)前，橋梁拉索表面缺陷檢測包括視頻采集和視頻處理。在視頻處理環(huán)節(jié)，相關(guān)單位主要采用人工瀏覽和截取圖像的方式進(jìn)行，而自動化視頻處理尚處于研究試驗(yàn)階段[3]。國外的一些高校和研究機(jī)構(gòu)對橋梁拉索視頻處理方法進(jìn)行了研究[4-5]，但目前未見在實(shí)際生產(chǎn)應(yīng)用中的相關(guān)報(bào)道和產(chǎn)品；國內(nèi)方面，重慶大學(xué)[6]、東南大學(xué)[7]和華南理工大學(xué)[8]也作了相關(guān)研究，在自動化視頻采集方面取得了一定成果，但視頻數(shù)據(jù)自動化處理技術(shù)仍不夠成熟。

橋梁拉索表面缺陷圖像背景分割是自動化視頻處理的關(guān)鍵技術(shù)環(huán)節(jié)，它將視頻圖像中的拉索區(qū)域與背景分割開，為后續(xù)的病害識別提供優(yōu)質(zhì)圖像。據(jù)此，本文提出了一種利用掩模處理來對橋梁拉索表面缺陷圖像進(jìn)行背景分割的方法。

1 理論與方法

將圖像在Lab顏色空間利用閾值法進(jìn)行分割，再利用數(shù)學(xué)形態(tài)學(xué)去噪，最后進(jìn)行掩模處理完成圖像的分割。

1.1 顏色空間

1.1.1 RGB顏色空間

顏色空間是用數(shù)學(xué)方法將顏色形象化表示的彩色模型，RGB顏色空間是最常見的一種顏色空間。用RGB顏色空間表示顏色的方法簡單，但是不是均勻的顏色空間，不符合人的感知心理。在RGB顏色空間要改變一個(gè)顏色時(shí)，3個(gè)通道的值都需要修改，RGB顏色空間上的距離并不代表人眼視覺上的顏色相似性[9]。因此，在數(shù)字圖像分割中很少直接在RGB顏色空間進(jìn)行，而是轉(zhuǎn)換到其它顏色空間進(jìn)行處理。

1.1.2 Lab顏色空間

Lab顏色空間是一種與設(shè)備無關(guān)的顏色空間，也是一種基于生理特征的顏色空間，即用數(shù)字化的方法來描述人的視覺感應(yīng)，因此在數(shù)字圖像分割中具有優(yōu)勢[10]。Lab顏色空間中明度和顏色是分開的，如圖1所示，L分量用于表示像素的亮度，取值范圍是[0,100]，表示從純黑到純白；a表示從紅色到綠色的范圍，取值范圍是[127,-128]；b表示從黃色到藍(lán)色的范圍，取值范圍是[127,-128]。

圖1 Lab顏色空間立方體

1.1.3 RGB顏色空間轉(zhuǎn)Lab顏色空間

RGB顏色空間無法直接轉(zhuǎn)換到Lab顏色空間，需要先轉(zhuǎn)換到XYZ顏色空間再轉(zhuǎn)換到Lab顏色空間[11]，即RGB—XYZ—Lab。因此該顏色空間轉(zhuǎn)換分兩部分進(jìn)行，具體步驟如下所示：

1)RGB顏色空間—XYZ顏色空間

假設(shè)r、g、b為3個(gè)顏色通道的值，取值范圍均為[0,255]，轉(zhuǎn)換式如式(1)所示：

(1)

其中，gamma函數(shù)是用來對圖像進(jìn)行非線性色調(diào)編輯，目的是提高圖像的對比度，該函數(shù)不是唯一的。

2)XYZ顏色空間—Lab顏色空間

假設(shè)L、a、b是最終的Lab顏色空間3個(gè)通道的值，轉(zhuǎn)換式如式(2)所示：

(2)

其中X、Y、Z是RGB轉(zhuǎn)XYZ后計(jì)算出來的值，Xn、Yn、Zn的默認(rèn)值一般為95.047，100.0，108.883[11]。

1.2 閾值分割

閾值分割方法直觀、簡單、計(jì)算速度快，且其處理過程性能穩(wěn)定，因此圖像閾值分割方法是目前最受青睞的一種圖像分割方法。常用方法包括直方圖法、Otsu法、分水嶺法等。

1.2.1 閾值分割原理

設(shè)原圖像為f(x,y)，經(jīng)過分割后的圖像為g(x,y)，單閾值分割的目的是確定一個(gè)閾值T，將大于T的像素點(diǎn)的值置為1，小于T的值置為0，如式(3)所示：

(3)

單閾值分割后的圖像僅有灰度級為0和1的兩類像素，該分割方法適用于僅將圖像分割為目標(biāo)和背景兩部分，且灰度級范圍分布明顯不同的情況。

1.2.2 直方圖閾值分割法

圖像的灰度級直方圖反應(yīng)了一幅圖像中灰度級分布信息，是閾值選取的重要參考依據(jù)[12]。直方圖法分割形式簡單，按照一定的規(guī)則找到一個(gè)閾值T即可完成分割，該方法可以通過選取一個(gè)初值，然后進(jìn)行迭代找出最佳閾值，也可根據(jù)直方圖人工選取最佳閾值。

1.3 數(shù)學(xué)形態(tài)學(xué)去噪

數(shù)學(xué)形態(tài)學(xué)的語言是集合論，數(shù)學(xué)形態(tài)學(xué)中的集合表示圖像中的對象，在二值圖像中，所有白色像素的集合是該圖像的一個(gè)完整的形態(tài)學(xué)描述[13-14]。數(shù)學(xué)形態(tài)學(xué)的基本思想是基于結(jié)構(gòu)元SE的操作。

1.3.1 數(shù)學(xué)形態(tài)學(xué)基本操作

數(shù)學(xué)形態(tài)學(xué)的基本操作有腐蝕、膨脹、開操作和閉操作。腐蝕是一種消除邊界點(diǎn)，使邊界向內(nèi)部收縮的過程；膨脹是將與物體接觸的所有背景點(diǎn)合并到該物體，使邊界向外擴(kuò)張的過程；開操作一般會平滑物體的輪廓，斷開較窄的狹頸并消除細(xì)的突出物；閉操作會彌合較窄的間斷和細(xì)長的溝壑，消除小的孔洞，填補(bǔ)輪廓線中的斷裂。

1.3.2 連通分量的提取和孔洞填充

從二值圖像中提取連通分量是自動圖像分析的核心。如式(4)迭代過程可以完成連通分量的提取，其中，A是包含一個(gè)或多個(gè)連通分量的集合，并形成一個(gè)陣列X0，B是一個(gè)8或者4連通域的結(jié)構(gòu)元。

Xk=(Xk-1⊕B)∩A(k=1,2,3…).

(4)

當(dāng)Xk=Xk-1時(shí)，迭代過程結(jié)束，Xk包含輸入圖像中的所有連通分量。

一個(gè)孔洞被定義為由前景像素相連接的邊界所包圍的一個(gè)背景區(qū)域，由式(5)迭代過程來完成孔洞的填充。

Xk=(Xk-1⊕B)∩Ac(k=1,2,3…).

(5)

其中，當(dāng)Xk=Xk-1時(shí)，迭代過程結(jié)束，Xk包含所有被填充的孔洞。Xk和A的并集包含所有填充的孔洞及這些孔洞邊界?？锥刺畛淠軌蛱畛鋱D中所有被邊界包圍的孔洞，但是不能填充與邊界相鄰的區(qū)域。

1.4 掩模處理

掩模處理的實(shí)質(zhì)是圖像乘法運(yùn)算，是圖像代數(shù)運(yùn)算的一種。圖像代數(shù)運(yùn)算是指將兩幅或多幅圖像通過對應(yīng)像素之間的加、減、乘、除運(yùn)算得到輸出圖像的方法[15]。其中，乘法運(yùn)算主要屏蔽圖像的某些部分來完成圖像掩模處理，或者乘以一個(gè)常數(shù)，改變圖像的亮度。其具體運(yùn)算如式(6)所示：

C(x,y)=A(x,y)*B(x,y).

(6)

其中，A(x,y)和B(x,y)表示進(jìn)行代數(shù)運(yùn)算的兩幅圖像，C(x,y)表示A(x,y)和B(x,y)運(yùn)算后的結(jié)果圖像。

2 分割試驗(yàn)

2.1 試驗(yàn)設(shè)計(jì)

通過分析爬索機(jī)器人獲取拉索圖像數(shù)據(jù)的原理，發(fā)現(xiàn)對于同一根拉索，由同一臺攝像機(jī)拍攝的圖像中拉索目標(biāo)的位置固定。據(jù)此本文將針對同一根拉索，由同一臺攝像機(jī)獲取的圖像作為一個(gè)處理單元。

根據(jù)以上分析，提出了基于Lab顏色空間與掩模處理的圖像分割方法對橋梁拉索表面缺陷圖像進(jìn)行背景分割。其主要思想是在一個(gè)處理單元中先通過閾值分割獲取一幅圖像的背景掩模，然后利用該掩模對處理單元的其它圖像作掩模處理，完成橋梁拉索表面缺陷圖像的分割。具體過程包括以下三個(gè)方面，其技術(shù)路線圖如圖2所示。

1)選擇一幅圖像，將該圖像從RGB顏色空間轉(zhuǎn)換到Lab顏色空間，在Lab顏色空間進(jìn)行閾值分割；

2)對分割后的圖像進(jìn)行數(shù)學(xué)形態(tài)學(xué)處理，得到該圖像的背景掩模；

3)利用該背景掩模對該處理單元所有圖像進(jìn)行掩模處理，得到所有圖像的目標(biāo)區(qū)域，完成拉索圖像背景與目標(biāo)的分割。

圖2 拉索圖像分割技術(shù)路線圖

2.2 分割試驗(yàn)

為了使實(shí)驗(yàn)結(jié)果具有可比性，所有的實(shí)驗(yàn)都在處理器為Intel(R) Xeon(R) CPU E3-1231 v3，主頻為3.40 GHz，內(nèi)存為8.0 GB的PC機(jī)上，以MATLAB 2013A為平臺進(jìn)行。

本次實(shí)驗(yàn)數(shù)據(jù)由爬索機(jī)器人在野外實(shí)際獲得，具有實(shí)際應(yīng)用價(jià)值。實(shí)驗(yàn)一共選取了512幅橋梁拉索表面缺陷圖像，每幅圖像大小約10 KB，是同一根拉索，由同一攝像機(jī)獲取視頻中的一部分圖像，將其作為一個(gè)處理單元。包括了無損傷的圖像、輕微刮傷的圖像、嚴(yán)重?fù)p壞的圖像和有污跡的圖像等，具有很強(qiáng)的代表性。

2.2.1 基于Lab顏色空間的單閾值分割

首先將一幅原始橋梁拉索表面缺陷圖像從RGB顏色空間轉(zhuǎn)換到Lab顏色空間，然后在L通道進(jìn)行直方圖單閾值分割，分析直方圖模式，并優(yōu)化設(shè)置分割閾值，得到初步的拉索目標(biāo)區(qū)域。如圖3所示為試驗(yàn)中的一幅橋梁拉索表面缺陷圖像，圖4是該圖像在RGB顏色空間中R、G、B3個(gè)通道的直方圖和Lab顏色空間中L、a、b3個(gè)通道的直方圖模式對比圖。

圖3 拉索表面缺陷圖像

圖4 RGB-Lab顏色空間3個(gè)通道直方圖對比圖

對比直方圖模式，在RGB顏色空間3個(gè)通道的直方圖都呈正態(tài)分布，信息分布廣泛，在Lab顏色空間，只有L通道呈正態(tài)分布，信息分布廣泛，而a、b兩個(gè)通道信息全部集中于中間部分。橋梁拉索表面缺陷圖像分割的目標(biāo)是將其分為目標(biāo)區(qū)域和背景兩部分，因此，在Lab顏色空間選擇L通道直方圖單閾值分割方法進(jìn)行分割，能夠快速準(zhǔn)確地分割出目標(biāo)區(qū)域和背景區(qū)域。在該試驗(yàn)中，通過綜合分析與優(yōu)化，將分割閾值設(shè)置為105，其最終分割結(jié)果如圖5所示。

圖5 Lab顏色空間閾值分割結(jié)果

2.2.2 數(shù)學(xué)形態(tài)學(xué)去噪

數(shù)學(xué)形態(tài)學(xué)處理的具體流程為：

1)對閾值分割結(jié)果用結(jié)構(gòu)元為3×3的全1矩陣 進(jìn)行開運(yùn)算，去除較窄的狹頸和消除細(xì)的突出物，完成輪廓的平滑，得到開運(yùn)算二值圖像如圖6(a)所示；

2)標(biāo)記開運(yùn)算二值圖像的所有連通分量，求圖像中所有連通區(qū)域的面積，選取面積最大的連通域，即為拉索目標(biāo)區(qū)域圖像，如圖6(b)所示；

3)對最大連通域圖像進(jìn)行孔洞填充，填充位于拉索目標(biāo)區(qū)域的背景，得到填充孔洞后的二值圖像，如圖6(c)所示；

4)對填充孔洞后的二值圖像做邏輯非運(yùn)算，提取所有連通分量，選取面積最大的兩個(gè)連通域，去除與邊界相連的噪聲，即可得到拉索目標(biāo)區(qū)域掩模；

5)對拉索目標(biāo)區(qū)域掩模做邏輯非運(yùn)行，得到最終的背景掩模，如圖6(d)所示。

2.2.3 掩模處理

本文方法的關(guān)鍵是圖像掩模處理。在一個(gè)處理單元中，獲取其中一幅圖像的背景掩模，利用該背景掩模對處理單元的所有圖像進(jìn)行掩模處理，即可完成該處理單元所有圖像的背景分割。

圖6 數(shù)學(xué)形態(tài)學(xué)去噪結(jié)果圖

2.3 結(jié)果分析

2.3.1 處理結(jié)果

常規(guī)方法首先對圖像進(jìn)行顏色空間變換，然后采用直方圖閾值分割對變換圖像進(jìn)行分割處理，并結(jié)合數(shù)學(xué)形態(tài)學(xué)方法消除分割結(jié)果的噪聲影響。本文與常規(guī)方法進(jìn)行了對比實(shí)驗(yàn)，如圖7所示。圖7(a)為嚴(yán)重?fù)p傷的橋梁拉索表面缺陷圖像，因?yàn)閾p傷嚴(yán)重，導(dǎo)致了拉索與背景的邊緣模糊；圖7(b)為常規(guī)方法分割的結(jié)果，分割結(jié)果不理想；圖7(c)為本文方法分割的結(jié)果，成功地完成了分割。實(shí)驗(yàn)結(jié)果表明，本文的方法能夠成功分割橋梁拉索表面缺陷自動化檢測過程當(dāng)中難以分割的圖像。

圖7 損傷嚴(yán)重的拉索圖像分割對比圖

在該處理單元的512幅圖像中選擇具有代表性的4幅圖像進(jìn)行分割效果展示，如圖8所示，圖8(a)、圖8(c)、圖8(e)、圖8(g)為分割前的4幅圖像，分別為無損傷的圖像、輕微刮傷的圖像、有污跡的圖像和嚴(yán)重?fù)p壞的圖像；圖8(b)、圖8(d)、圖8(f)、圖8(h)為運(yùn)用本文方法對該處理單元進(jìn)行分割的結(jié)果，每一幅圖像的分割結(jié)果都較理想。

圖8 處理單元分割前后對比圖

2.3.2 時(shí)間與效率

表1統(tǒng)計(jì)了利用常規(guī)方法和本文方法進(jìn)行批量處理的時(shí)間成本。對兩種處理方法的時(shí)間成本進(jìn)行對比分析發(fā)現(xiàn)，圖像數(shù)量越多，本文方法的優(yōu)勢越明顯，效率是前者的6倍左右，如圖9所示。在實(shí)際的橋梁拉索表面年度檢測過程中，其圖像數(shù)量非常大，因此利用本文方法能夠顯著地提高檢測效率。

表1 兩種方法計(jì)算時(shí)間對比 s

圖9 兩種方法時(shí)間成本對比圖

3 結(jié) 論

本文通過分析爬索機(jī)器人獲取數(shù)據(jù)的原理，以及當(dāng)前橋梁拉索自動化檢測所存在的問題，提出了一種利用掩模處理的橋梁拉索表面缺陷圖像背景分割的新方法。該方法在Lab顏色空間進(jìn)行閾值分割，并結(jié)合數(shù)學(xué)形態(tài)學(xué)進(jìn)行去噪處理得到背景掩模，然后利用背景掩模對原始圖像進(jìn)行掩模處理，最終完成拉索表面缺陷檢測圖像分割。

本文方法成功地實(shí)現(xiàn)了橋梁拉索表面缺陷圖像的背景分割，相對常規(guī)方法，本文方法具有分割速度快、抗干擾能力強(qiáng)和分割效果好的優(yōu)點(diǎn)，具有一定的實(shí)用價(jià)值，為后續(xù)的病害檢測和識別提供了條件。但是本文方法要求圖像中拉索目標(biāo)區(qū)域變化不大，使該方法應(yīng)用具有一定的局限性。后續(xù)需要進(jìn)一步研究對分割方法的適應(yīng)性。