宋澤岡,劉艷莉,張長(zhǎng)興

(1.云南省公路科學(xué)技術(shù)研究院,昆明 650051; 2.昆明理工大學(xué)建筑工程學(xué)院,昆明 650500)

過去20年中國(guó)公路橋梁迎來建設(shè)高峰,截至2021年末全國(guó)公路橋梁達(dá)96.11萬座、7 380.21 萬延米,由于過去“重建輕養(yǎng)”,超過40% 的橋梁已進(jìn)入病害高發(fā)期,因此,中國(guó)正在進(jìn)入橋梁養(yǎng)護(hù)的關(guān)鍵期,橋梁檢修工作的時(shí)間緊、任務(wù)重[1-2]。裂縫是橋梁結(jié)構(gòu)特別是混凝土橋病害萌發(fā)的一個(gè)主要特征,在近30年,中外針對(duì)橋梁裂縫檢測(cè)出現(xiàn)了多種技術(shù)手段[3]?，F(xiàn)階段中國(guó)橋梁裂縫檢測(cè)方法以人工檢測(cè)為主,例如,橋梁檢測(cè)車巡檢,檢測(cè)人員通過檢測(cè)車桁架機(jī)構(gòu)或吊籃進(jìn)入橋跨下方進(jìn)行檢測(cè),人工檢測(cè)精度依賴于檢測(cè)人員經(jīng)驗(yàn),而且檢測(cè)效率低。隨著檢測(cè)技術(shù)的進(jìn)步,一批現(xiàn)代化檢測(cè)手段逐步應(yīng)用于橋梁裂縫檢測(cè),主要有超聲法、傳感儀器法、沖擊彈性波法、聲發(fā)射法和光纖傳感網(wǎng)絡(luò)法等[4-8]。近年來,隨著新技術(shù)不斷應(yīng)用于橋梁檢測(cè)領(lǐng)域,涌現(xiàn)出了各種新型的橋梁病害檢測(cè)方法及裝置,其中利用相機(jī)拍攝橋梁結(jié)構(gòu)表面圖像識(shí)別裂縫的機(jī)器視覺技術(shù)引起業(yè)界廣泛關(guān)注[9-11]。伴隨著各種巡檢無人機(jī)和爬壁機(jī)器人的快速發(fā)展,在巡檢機(jī)器人或無人機(jī)上配備相機(jī)代替人工對(duì)橋梁表面病害進(jìn)行快速檢測(cè),基于機(jī)器視覺的橋梁裂縫檢測(cè)系統(tǒng)正越來越多地應(yīng)用于工程實(shí)踐[12-14]。

1 機(jī)器視覺在橋梁裂縫檢測(cè)中的現(xiàn)狀

機(jī)器視覺是利用視覺傳感設(shè)備采集物體圖像用計(jì)算機(jī)來實(shí)現(xiàn)人的視覺功能,對(duì)被測(cè)物體的形狀、尺寸、表面特性、運(yùn)動(dòng)特征等物體特性進(jìn)行識(shí)別,視覺傳感器包括相機(jī)、攝像機(jī)及其他圖像采集設(shè)備。人天生就對(duì)視覺信息敏感,研究表明,人獲取的外界信息中超過80%來自視覺。源自人類對(duì)視覺信息獲取的追求及技術(shù)進(jìn)步,以相機(jī)為代表的圖像采集設(shè)備在分辨率不斷提升的同時(shí)成本不斷下降,使得利用以相機(jī)等圖像采集設(shè)備替代人眼通過獲取物體圖像來檢測(cè)物體特性成為現(xiàn)實(shí)。特別是近十年來,機(jī)器學(xué)習(xí)及深度學(xué)習(xí)迅速發(fā)展,機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的一個(gè)重要應(yīng)用即在圖像識(shí)別領(lǐng)域,使得計(jì)算機(jī)能夠代替人腦快速處理大量物體圖像。

由于圖像采集設(shè)備和基于深度學(xué)習(xí)的圖像處理技術(shù)快速發(fā)展,機(jī)器視覺被廣泛應(yīng)用于汽車無人駕駛、工業(yè)檢測(cè)等各個(gè)領(lǐng)域。在橋梁裂縫缺陷檢測(cè)領(lǐng)域,近年來國(guó)內(nèi)外涌現(xiàn)了諸多基于機(jī)器視覺的橋梁裂縫檢測(cè)系統(tǒng)。基于機(jī)器視覺的結(jié)構(gòu)表面缺陷檢測(cè)系統(tǒng)具有裝置簡(jiǎn)單、效率高、成本低的優(yōu)點(diǎn),正逐步應(yīng)用于各種產(chǎn)品及結(jié)構(gòu)表面損傷檢測(cè)包括橋梁裂縫檢測(cè)。通過在橋梁檢測(cè)機(jī)器人、橋梁檢測(cè)車檢測(cè)臂或無人機(jī)上搭載相機(jī)對(duì)橋梁表面進(jìn)行圖像采集,利用圖像處理技術(shù)對(duì)橋梁裂縫進(jìn)行識(shí)別。隨著圖像采集設(shè)備等硬件的價(jià)格下降和檢測(cè)技術(shù)特別是機(jī)器學(xué)習(xí)及深度學(xué)習(xí)圖像識(shí)別技術(shù)的進(jìn)步,極大地促進(jìn)了基于機(jī)器視覺的檢測(cè)系統(tǒng)在橋梁裂縫檢測(cè)中的應(yīng)用[15-20]。

2 基于機(jī)器視覺的橋梁裂縫智能檢測(cè)系統(tǒng)

目前已有基于機(jī)器視覺的橋梁裂縫智能檢測(cè)系統(tǒng)應(yīng)用于實(shí)際橋梁裂縫檢測(cè)中?；跈C(jī)器視覺的橋梁裂縫智能檢測(cè)系統(tǒng)主要由3 部分組成:采集橋梁表面圖像的圖像采集設(shè)備、識(shí)別裂縫的橋梁圖像裂縫識(shí)別算法和對(duì)橋梁裂縫進(jìn)行掃描檢測(cè)的機(jī)器視覺檢測(cè)硬件平臺(tái)。

2.1 圖像采集設(shè)備

如圖1所示工業(yè)相機(jī)是目前常用的圖像采集設(shè)備,通常廣義的相機(jī)是由鏡頭和圖像傳感部分組成。鏡頭按焦距類型分類分為定焦鏡頭和變焦鏡頭,定焦鏡頭即焦距固定鏡頭,變焦鏡頭為焦距可調(diào)鏡頭。圖像傳感部分由圖像光感應(yīng)芯片不同分為光電耦合組件CCD(charge coupled device)和互補(bǔ)式金屬氧化半導(dǎo)體CMOS(complementary metal oxide semiconductor),兩者都是利用感光二極管進(jìn)行光電轉(zhuǎn)換將圖像轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù)利于傳輸,兩者比較而言CCD成像質(zhì)量好,適用于成像質(zhì)量需求較高的場(chǎng)景和動(dòng)態(tài)測(cè)量,CMOS隨著技術(shù)趕上和價(jià)格優(yōu)勢(shì)其應(yīng)用也在逐步增多,適用于低速或靜態(tài)測(cè)量。機(jī)器視覺的強(qiáng)大之處在于通過復(fù)雜的圖像處理方法模擬人腦識(shí)別圖像,圖像質(zhì)量決定了機(jī)器視覺圖像識(shí)別的精度上限,所以獲得高質(zhì)量的圖像是機(jī)器視覺圖像識(shí)別技術(shù)的關(guān)鍵。工業(yè)相機(jī)的主要參數(shù)包括分辨率、像素深度、最大幀率、曝光方式和快門速度、像素尺寸、光譜響應(yīng)特性,現(xiàn)今工業(yè)相機(jī)分辨率不斷提升,各種高質(zhì)量鏡頭不斷涌現(xiàn),能采集各個(gè)光波段相機(jī)也不斷出現(xiàn),使得工業(yè)相機(jī)采集的圖像質(zhì)量不斷提升。

圖1 工業(yè)相機(jī)[21]

圖像采集的質(zhì)量除了受圖像采集設(shè)備本身性能控制外,還受到橋梁服役自然環(huán)境因素制約,例如橋梁表面普遍光照照度低且不均勻而影響采集圖像質(zhì)量。為了獲取高質(zhì)量圖像,排除環(huán)境光照的干擾,如圖2所示采用照明光源補(bǔ)光是其中一個(gè)重要手段。根據(jù)物體光學(xué)特性,補(bǔ)光燈的波段可以選擇可見光各個(gè)波段甚至紫外光,相機(jī)鏡頭可以選擇濾鏡容許特定波段光進(jìn)入相機(jī)圖像傳感部分。

圖2 光源補(bǔ)光[22]

2.2 橋梁圖像裂縫識(shí)別算法

通過圖像采集設(shè)備拍攝獲取橋梁表面圖像時(shí)由于環(huán)境干擾夾雜著噪聲,其中的環(huán)境干擾包括如背景噪聲、光照不均勻等,此外橋梁隨著服役時(shí)間增長(zhǎng)表面出現(xiàn)污漬、表皮脫落等情況,這些因素都會(huì)對(duì)橋梁裂縫識(shí)別帶來干擾。因此在對(duì)橋梁表面裂縫進(jìn)行識(shí)別前,需要對(duì)橋梁表面圖像進(jìn)行預(yù)處理,包括圖像增強(qiáng)和去噪,然后對(duì)預(yù)處理后的橋梁表面圖像進(jìn)行裂縫識(shí)別,橋梁裂縫識(shí)別方法主要有數(shù)字圖像處理和深度學(xué)習(xí)兩種方法。

2.2.1 圖像增強(qiáng)

由于橋梁服役在自然環(huán)境中,利用圖像采集設(shè)備拍攝橋梁表面圖像時(shí),外界光照對(duì)橋梁表面的照射亮度不可避免是非均勻的,而且諸多位置背景光照亮度較暗,因而需要對(duì)橋梁表面圖像進(jìn)行亮度增強(qiáng),使得橋梁表面對(duì)比度增大更便于裂縫的識(shí)別。

圖像采集設(shè)備采集的圖像包含黑白圖像和彩色圖像,目前通常為彩色圖像,彩色圖像由紅(Red)、綠(Green)、藍(lán)(Blue)3種顏色通道疊加而成,即RGB圖像。對(duì)于橋梁裂縫識(shí)別,直觀上裂縫亮度暗于正常橋梁表面,識(shí)別裂縫最主要依賴于亮度,彩色圖像含有3個(gè)波段通道其信息太大且對(duì)裂縫識(shí)別來說是非必要的,因而通常將采集的彩色圖像轉(zhuǎn)化為灰度圖像只含亮度信息,降低圖像處理成本,如圖3所示。RGB彩色圖像轉(zhuǎn)化為灰度圖像的方法通常有分量法、最大值法、平均值法和加權(quán)平均值法,通過將彩色圖像轉(zhuǎn)化成灰度圖像再經(jīng)過圖像增強(qiáng),將裂縫與橋梁表面其他背景對(duì)比度予以增強(qiáng)。

圖3 橋梁裂縫采集圖像灰度圖轉(zhuǎn)化

采集的橋梁表面圖像可能出現(xiàn)整體偏亮或偏暗,圖像亮度灰度值分布范圍較小,通過灰度直方圖對(duì)圖像對(duì)比度進(jìn)行調(diào)整,從而增強(qiáng)圖像整體對(duì)比度,使得裂縫的灰度較暗,橋梁表面背景較亮。常用的調(diào)整圖像灰度直方圖方法有灰度線性變換、分段線性變換和非線性變換[23]。

設(shè)原圖像中的像素位置坐標(biāo)為(x,y),原圖像的像素灰度值為f(x,y),變換后的圖像灰度值為g(x,y),圖像拉伸前的灰度范圍為[fmin,fmax],圖像變換后的灰度值范圍為[a,b],灰度線性變換公式為

(1)

對(duì)于圖像中不同區(qū)域灰度區(qū)間范圍差距較大情況,例如裂縫灰度區(qū)間特別小,可將圖像灰度線性變化拉伸分區(qū)段進(jìn)行,及分段線性變化,每一段變化采用變化公式仍如式(1)所示,使得變化各段的灰度范圍差距適當(dāng)。如果線性變換后裂縫區(qū)域增強(qiáng)效果仍不明顯,可采用指數(shù)拉伸或?qū)?shù)拉伸等非線性變換,以達(dá)到如圖4所示裂縫圖像增強(qiáng)效果。指數(shù)拉伸非線性變換公式為

圖4 圖像增強(qiáng)效果

(2)

式(2)中:b0、c、d為調(diào)整指數(shù)拉伸變換參數(shù)。

對(duì)數(shù)拉伸非線性變換公式為

g(x,y)=C0ln[f(x,y)+1]

(3)

式(3)中:C0為對(duì)數(shù)拉伸變換比例縮放系數(shù)。

對(duì)灰度直方圖對(duì)比度調(diào)整突出裂縫的核心思想就是把蘊(yùn)藏在很窄灰度區(qū)間裂縫區(qū)域通過圖像灰度值分布調(diào)整,加大裂縫區(qū)域的灰度區(qū)間使得與背景反差增大,達(dá)到增強(qiáng)圖像中裂縫區(qū)域?qū)Ρ榷鹊哪康?。具體采用哪種圖像增強(qiáng)方式,得根據(jù)裂縫圖像灰度分布特點(diǎn)出發(fā),選取裂縫圖像增強(qiáng)效果最好的圖像增強(qiáng)方法。

在環(huán)境中采集得到的橋梁表面圖像不可避免包含著噪聲,雖然圖像增強(qiáng)增加了裂縫與背景對(duì)比度,但噪聲也同時(shí)被增強(qiáng),所以有必要對(duì)圖像進(jìn)行噪聲去除。

2.2.2 圖像去噪

圖像質(zhì)量是決定機(jī)器視覺檢測(cè)橋梁裂縫效果的關(guān)鍵,由相機(jī)等圖像采集設(shè)備采集的圖像或多或少都帶有噪聲。這些噪聲一方面是由于外部環(huán)境包含光照變化和拍攝物體背景噪聲引起的,另外一方面圖像采集設(shè)備本身也會(huì)帶有一定的系統(tǒng)噪聲。這些噪聲造成圖像出現(xiàn)模糊、對(duì)比度較差等圖像質(zhì)量下降情形,為后續(xù)橋梁裂縫識(shí)別造成極大困難。所以在進(jìn)行圖像識(shí)別橋梁裂縫之前,通常需要對(duì)采集的橋梁表面圖像進(jìn)行噪聲去除,圖像濾波是最常使用的去噪工具[24]。

去噪算法按照不同的分類方法可分為空域和頻域,或者線性和非線性。如圖5所示常用的圖像濾波方法對(duì)含噪聲的裂縫圖像去噪效果?；诳沼虻臑V波方法是通過分析一定大小窗口內(nèi),中心像素灰度值與其他像素灰度值之間的直接聯(lián)系計(jì)算來獲取更新后的中心像素灰度值,存在一個(gè)需要輸入的濾波半徑參數(shù)值,常用的有均值濾波、中值濾波、高斯濾波、雙邊濾波。其中均值濾波和高斯濾波為線性濾波,以中值濾波和雙邊濾波為非線性濾波。均值濾波能濾掉圖像中的加性噪聲,但會(huì)模糊裂縫圖像邊緣。中值濾波結(jié)構(gòu)簡(jiǎn)單且能保護(hù)裂縫邊緣,但濾波效果嚴(yán)重依賴于濾波窗口大小,并且無法濾掉高斯噪聲。高斯濾波本質(zhì)上是對(duì)圖像像素點(diǎn)加權(quán)平均處理,適用于消除高斯噪聲,但同均值濾波一樣會(huì)失去圖像裂縫的一些細(xì)節(jié)和銳度。雙邊濾波是一種基于空間域和灰度域的濾波方法,通過同時(shí)考慮像素點(diǎn)在空間域和灰度域上的相似性消除噪聲,雙邊濾波器中的濾波器權(quán)值包含空間距離和灰度距離,其中空間距離衡量像素點(diǎn)在空間上的相似性,灰度距離衡量像素點(diǎn)在灰度域上的相似性。雙邊濾波能很好地消除噪聲并保留裂縫邊緣等細(xì)節(jié),但計(jì)算復(fù)雜度較高。其他濾波算法中還有和雙邊濾波效果差不多的導(dǎo)向?yàn)V波,同樣有助于保留裂縫邊緣細(xì)節(jié),而且使用大濾波窗口時(shí)效率更高,但同樣計(jì)算復(fù)雜度較高。基于頻域的濾波方法是在圖像經(jīng)過傅里葉等變換后,在變換頻域空間范圍內(nèi)對(duì)圖像頻譜進(jìn)行處理,比較成熟的頻域?yàn)V波方法有小波濾波。小波濾波由于其多分辨率和多尺度分析的特點(diǎn),對(duì)于大部分噪聲和背景紋理去除效果較好,但由于小波濾波是根據(jù)圖像的高低頻來分割信號(hào)和噪聲點(diǎn)的,對(duì)于噪聲和信號(hào)之間頻率太接近的情況會(huì)導(dǎo)致噪聲分離不夠精確,在有效去除噪聲后很難保證圖像分辨率。

圖5 橋梁裂縫圖像幾種濾波效果

由于橋梁裂縫形態(tài)及混凝土橋梁表面情況千差萬別,沒有固定某種濾波器能處理所有的橋梁表面裂縫圖像噪聲。針對(duì)常見橋梁表面裂縫圖像含有的高斯噪聲和椒鹽噪聲,采用均值濾波或高斯濾波的效果和效率相對(duì)較好。但一般線性濾波和非線性濾波在處理噪聲同時(shí)也對(duì)圖像細(xì)節(jié)做相同運(yùn)算操作,在噪聲濾除同時(shí)也會(huì)抹去圖像的部分細(xì)節(jié)。中外學(xué)者仍在開發(fā)和改進(jìn)各種濾波器,通常針對(duì)橋梁表面某一類裂縫識(shí)別效果不錯(cuò)的濾波器,在對(duì)另外的橋梁裂縫識(shí)別處理的適用性就較差,這也是限制機(jī)器視覺大規(guī)模應(yīng)用于橋梁裂縫檢測(cè)的重要原因之一。隨著機(jī)器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)近幾年的飛速發(fā)展,機(jī)器學(xué)習(xí)特別是深度學(xué)習(xí)在圖像識(shí)別應(yīng)用上對(duì)圖像噪聲相對(duì)不敏感。近幾年出現(xiàn)大量應(yīng)用深度學(xué)習(xí)識(shí)別橋梁裂縫的方法,取得了不錯(cuò)效果,但這并不代表圖像去噪對(duì)基于圖像的橋梁裂縫識(shí)別不重要,減少圖像噪聲提高圖像質(zhì)量仍是對(duì)包括深度學(xué)習(xí)在內(nèi)的橋梁裂縫識(shí)別圖像處理方法提升裂縫識(shí)別精度和效率的關(guān)鍵控制因素[25-28]。

2.2.3 基于數(shù)字圖像處理的橋梁裂縫檢測(cè)

經(jīng)過對(duì)采集的橋梁表面圖像進(jìn)行灰度化、圖像增強(qiáng)對(duì)比度和圖像去噪濾波后,通常利用圖像中裂縫與背景的區(qū)別對(duì)圖像進(jìn)行分割,把采集圖像中橋梁裂縫所在區(qū)域提取出來。主要的圖像分割方法有閾值法、區(qū)域法和邊緣法,通過對(duì)圖像各像素灰度值進(jìn)行運(yùn)算,把除裂縫外的背景去掉,只保留裂縫。閾值法是通過求取合適的像素灰度閾值,由于裂縫的灰度值整體偏低,通過判定圖像中像素灰度值與閾值關(guān)系來分割裂縫,設(shè)定圖像灰度值閾值T,如式(4)所示將裂縫圖像分割成兩個(gè)部分。

(4)

經(jīng)過式(4)將圖像變?yōu)槎祷瘓D像,如圖6所示,小于閾值的區(qū)域變?yōu)榘咨J(rèn)定為裂縫,大于閾值部分變?yōu)楹谏J(rèn)定為背景。通過設(shè)計(jì)不同的閾值求解方法,尋找最為合適閾值,最大程度地把裂縫分割出來。閾值T主要有全局閾值和局部閾值和兩種形式。全局閾值T由圖像中所有像素點(diǎn)的灰度值決定,該閾值對(duì)于整幅圖像是固定的。局部閾值T由像素點(diǎn)的灰度和其局部領(lǐng)域的灰度值共同決定,將圖像分割為若干子區(qū)域,每一子區(qū)域在其內(nèi)部根據(jù)各自局部閾值對(duì)圖像進(jìn)行分割。閾值的選取主要有人工選擇和自動(dòng)選擇,人工選擇閾值是根據(jù)經(jīng)驗(yàn)人為選擇一定閾值,然后通過試驗(yàn)來調(diào)整閾值大小以取得最好的分割效果。閾值自動(dòng)選取最常用的有最大類間方差法,即通過使類間方差最大來確定閾值。對(duì)于一個(gè)大小為M×N的灰度化圖像,圖像中每個(gè)像素灰度值在(0,255),裂縫和背景的分割閾值記作T,屬于裂縫的像素點(diǎn)占整幅圖像的比例為ω0,裂縫像素點(diǎn)的平均灰度值記為μ0,背景像素點(diǎn)占整幅圖像的比例為ω1,背景像素點(diǎn)的平均灰度值記為μ1,則整幅圖像的平均灰度值μ由式(5)確定。

μ=ω0μ0+ω1μ1

(5)

類間方差σω由式(6)確定:

σω=ω0(μ0-μ)2+ω1(μ1-μ)2

(6)

將式(5)代入式(6)化簡(jiǎn)得

σω=ω0ω1(μ1-μ0)2

(7)

通過閾值T從圖像最小灰度值到最大灰度值遍歷找到類間方差最大的閾值T*,T*即為所要的閾值。最大類間方差法優(yōu)點(diǎn)計(jì)算快速且不受圖像亮度和對(duì)比度的影響,缺點(diǎn)是當(dāng)裂縫和背景面積大小比例懸殊時(shí)最大類間方差函數(shù)可能出現(xiàn)雙峰或者多峰效果不好。

區(qū)域法是利用算法將具有一定相似性的區(qū)域像素點(diǎn)予以合并分類,最后分割出裂縫所在區(qū)域。通常隨機(jī)選取圖像中的一個(gè)像素作為種子點(diǎn),通過搜索種子點(diǎn)附近未被標(biāo)記的像素點(diǎn),若他們的差值在規(guī)定閾值內(nèi),則搜索的點(diǎn)合并到分割區(qū)域內(nèi),重復(fù)上述搜索過程直至區(qū)域停止擴(kuò)張。再選取另一種子點(diǎn)劃分區(qū)域,將整幅圖像中每個(gè)像素分配不同區(qū)域即完成了相似區(qū)域分類劃分。在裂縫分割中優(yōu)點(diǎn)是計(jì)算簡(jiǎn)單,缺點(diǎn)對(duì)噪聲敏感導(dǎo)致抽取的區(qū)域有空洞。

邊緣法是利用算法對(duì)裂縫邊緣進(jìn)行識(shí)別,通常裂縫邊緣兩側(cè)區(qū)域與邊緣像素灰度值存在較大梯度,通過邊緣檢測(cè)微分算子基于灰度值梯度對(duì)裂縫邊緣進(jìn)行定位,進(jìn)而識(shí)別出裂縫[29-31]。常用的邊緣檢測(cè)算子包括梯度算子和二階導(dǎo)數(shù)算子。梯度算子包含Robert算子、Prewitt算子、Sobel和Canny算子,二階導(dǎo)數(shù)算子典型的有Laplace算子[32-35]。梯度在圖像微分運(yùn)算中最為常見,灰度圖像在像素點(diǎn)(x,y)的梯度為?f(x,y),即

?f(x,y)=[fx(x,y),fy(x,y)]

(8)

式(8)中:fx(x,y)、fy(x,y)分別為圖像沿x和y方向上的梯度[36-40]。

上述不同微分算子即圖像梯度的不同運(yùn)算式,以檢測(cè)處裂縫邊緣這一梯度突變位置。不同邊緣檢測(cè)算子適用的裂縫邊緣情況不一,都具有計(jì)算簡(jiǎn)單快速的優(yōu)點(diǎn),但單一的檢測(cè)算子很難滿足復(fù)雜背景的裂縫分割,且對(duì)含有噪聲比較明顯的情況處理效果都不是太好[40-44]。

對(duì)于經(jīng)過預(yù)處理后裂縫較為清晰的情況,圖像分割能很好地提取出裂縫。但實(shí)際環(huán)境中采集得到的橋梁表面圖像背景干擾較大,而且干擾情況千差萬別,經(jīng)過預(yù)處理的圖像中干擾也不能完全去除,如橋梁表面有大面積污漬等干擾物的情況下,閾值法等圖像分割方法能識(shí)別的橋梁裂縫精度和效率有限,而且一種圖像分割方法對(duì)不同橋梁表面裂縫識(shí)別的通用性有限。針對(duì)實(shí)際橋梁表面圖像中裂縫識(shí)別的復(fù)雜性,急需適用性較廣的圖像處理方法,近年來飛速發(fā)展的深度學(xué)習(xí)圖像識(shí)別方法為解決上述難題提供了一個(gè)重要方向[45]。

2.2.4 基于深度學(xué)習(xí)的橋梁裂縫檢測(cè)

近年來隨著人工智能的飛速發(fā)展,特別是以深度學(xué)習(xí)為代表的人工智能方法在機(jī)器視覺領(lǐng)域應(yīng)用取得突破性進(jìn)展,使得機(jī)器視覺在表面缺陷檢測(cè)包括橋梁表面裂縫識(shí)別檢測(cè)方面得到大量應(yīng)用研究。特別是深度學(xué)習(xí)中卷積神經(jīng)網(wǎng)絡(luò)在圖像處理領(lǐng)域應(yīng)用取得顯著成效,國(guó)內(nèi)外學(xué)者開始應(yīng)用深度學(xué)習(xí)方法識(shí)別對(duì)橋梁圖像進(jìn)行裂縫識(shí)別檢測(cè)。深度學(xué)習(xí)識(shí)別裂縫中的核心是卷積神經(jīng)網(wǎng)絡(luò)算法(convolutional neural networks,CNN),于1989年由Lecun最早提出。該算法主要包括訓(xùn)練庫(kù),卷積層,池化層,全連接層模塊等構(gòu)成。相較處理單圖攜帶的像素信息,卷積神經(jīng)網(wǎng)絡(luò)算法需對(duì)計(jì)算機(jī)輸入大量的圖片信息進(jìn)行訓(xùn)練運(yùn)算,計(jì)算機(jī)以獲得海量的數(shù)據(jù)作為圖像識(shí)別判斷的依據(jù),并用比對(duì)局部特征的方式對(duì)待定圖像進(jìn)行掃描識(shí)別。連接數(shù)據(jù)庫(kù)、卷積層、池化層、全連接層,計(jì)算機(jī)將完成訓(xùn)練運(yùn)算,即可按卷積神經(jīng)網(wǎng)絡(luò)原理實(shí)現(xiàn)對(duì)圖片進(jìn)行識(shí)別的功能。輸入待定圖片后,計(jì)算機(jī)會(huì)按照特征子矩陣劃定的步長(zhǎng)順次比對(duì)待定圖片,分析圖片中包含特征子矩陣的分布狀態(tài)與出現(xiàn)概率,綜合比對(duì)所有特征子矩陣后給出待定圖片包含待識(shí)別物體的概率。

深度學(xué)習(xí)技術(shù)被廣泛應(yīng)用于圖像分類、目標(biāo)檢測(cè)和圖像分割領(lǐng)域,近年來成功應(yīng)用于橋梁裂縫檢測(cè),如圖7所示。近年來發(fā)展了諸多深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)模型諸如AlexNet、GoogLeNet、VGGNet、ResNet及DenseNet等[47-51],在橋梁裂縫識(shí)別目標(biāo)檢測(cè)方面得到了初步應(yīng)用。但是常規(guī)的深度卷積神經(jīng)網(wǎng)絡(luò)模型并不適用于直接進(jìn)行圖像分割,原因在于這些模型中的卷積層和池化層降低了輸入圖像的空間維度,產(chǎn)生高度抽象的特征向量,缺乏清晰的細(xì)節(jié)信息[52-54]。若構(gòu)建保持裂縫細(xì)節(jié)的深度卷積神經(jīng)網(wǎng)絡(luò),會(huì)提高復(fù)雜度并加劇內(nèi)存消耗,實(shí)際應(yīng)用中無法實(shí)施[55-57]。

目前為止已有諸多學(xué)科領(lǐng)域?qū)W者基于機(jī)器視覺特別是利用深度學(xué)習(xí)方法對(duì)橋梁裂縫進(jìn)行識(shí)別,提出了許多橋梁裂縫識(shí)別算法。由于橋梁長(zhǎng)期在自然環(huán)境下服役,橋梁表面裂縫不可避免地夾雜出現(xiàn)水漬、油污、斑點(diǎn)污損等與裂縫形態(tài)和灰度相似的表面形態(tài),對(duì)橋梁裂縫識(shí)別造成干擾。面對(duì)各種各樣橋梁表面裂縫識(shí)別,用一種算法能識(shí)別所有裂縫難度巨大,橋梁裂縫識(shí)別算法在識(shí)別精度和抗干擾性方面仍然有較大的提升空間[58-59]。

2.3 機(jī)器視覺檢測(cè)硬件平臺(tái)

利用機(jī)器視覺對(duì)橋梁表面裂縫進(jìn)行檢測(cè),關(guān)鍵是利用圖像采集設(shè)備獲取橋梁表面圖像,如果僅對(duì)橋梁某特定局部進(jìn)行檢測(cè),可直接將圖像采集設(shè)備固定在橋梁上或者橋梁待檢測(cè)部位旁對(duì)該橋梁部位進(jìn)行圖像采集。但更多的情況下,需要對(duì)橋梁進(jìn)行大面積的裂縫檢測(cè),這就需要將圖像采集設(shè)備裝載在特定的檢測(cè)平臺(tái)上,對(duì)橋梁待檢測(cè)區(qū)域進(jìn)行掃描檢測(cè)。目前使用較多的機(jī)器視覺檢測(cè)硬件平臺(tái)有機(jī)械臂、爬壁機(jī)器人和無人機(jī)等[61-64]。

2.3.1 機(jī)械臂或爬壁機(jī)器人

如圖8所示,橋梁檢測(cè)車目前常被應(yīng)用于對(duì)橋梁進(jìn)行大規(guī)模檢測(cè),借助橋梁檢測(cè)車在其上加裝機(jī)械臂,將圖像采集設(shè)備裝載在機(jī)械臂上,通過操作機(jī)械臂使得圖像采集設(shè)備對(duì)橋梁表面進(jìn)行掃描檢測(cè)。以橋檢車為移動(dòng)載體,通過機(jī)械懸桿將機(jī)械臂伸到橋跨下方等橋梁待檢測(cè)部位,通過移動(dòng)機(jī)械臂對(duì)橋梁結(jié)構(gòu)表面進(jìn)行掃描獲取表面圖像[16]。對(duì)于橋梁諸如高墩、橋塔等高聳結(jié)構(gòu)機(jī)械臂伸展較難到達(dá)的區(qū)域,智能化爬壁機(jī)器人被采用對(duì)橋梁表面進(jìn)行裂縫檢測(cè),此時(shí)將圖像采集設(shè)備集成在爬壁機(jī)器人上,通過機(jī)器人移動(dòng)對(duì)橋梁裂縫進(jìn)行掃描,如圖9所示[65-68]。

圖8 橋檢車[16]

圖9 爬壁機(jī)器人[69]

2.3.2 無人機(jī)

近幾年來無人機(jī)快速發(fā)展,其在橋梁檢測(cè)領(lǐng)域也得到了廣泛應(yīng)用,無人機(jī)攜帶攝像頭可以快速地對(duì)橋梁表面進(jìn)行拍照,如圖10所示。但無人機(jī)受環(huán)境特別是惡劣天氣影響較大,其中無人機(jī)續(xù)航能力是制約其長(zhǎng)時(shí)間對(duì)橋梁進(jìn)行檢測(cè)的重要因素,所以目前橋梁基于機(jī)器視覺的裂縫檢測(cè)平臺(tái)仍然是各種檢測(cè)平臺(tái)配合使用的狀態(tài)[71-72]。

圖10 無人機(jī)裂縫檢測(cè)[70]

3 結(jié)論與展望

隨著中國(guó)交通強(qiáng)國(guó)建設(shè)戰(zhàn)略的實(shí)施,橋梁數(shù)量快速增長(zhǎng),橋梁病害檢測(cè)特別是橋梁裂縫檢測(cè)量不斷攀升,橋梁裂縫自動(dòng)化檢測(cè)系統(tǒng)的市場(chǎng)需求越來越大。在交通運(yùn)輸領(lǐng)域新型基礎(chǔ)設(shè)施建設(shè)背景下,橋梁裂縫智能檢測(cè)將成為中國(guó)橋梁養(yǎng)護(hù)智能化的重要一環(huán)。相比于人工檢測(cè)危險(xiǎn)性高、耗時(shí)長(zhǎng)等問題,基于機(jī)器視覺的橋梁裂縫檢測(cè)具有高效、安全、經(jīng)濟(jì)的優(yōu)勢(shì),特別近年來人工智能技術(shù)在圖像識(shí)別領(lǐng)域的廣泛成功應(yīng)用,極大地促進(jìn)了基于機(jī)器視覺的橋梁裂縫檢測(cè)技術(shù)的進(jìn)步[73-74]?，F(xiàn)針對(duì)機(jī)器視覺在橋梁裂縫檢測(cè)應(yīng)用及發(fā)展中做了回顧、研究和展望,得出如下結(jié)論。

(1)隨著橋梁檢測(cè)智能化發(fā)展,機(jī)器視覺由于其具有的便捷性和快速響應(yīng)性,將得到越來越多的應(yīng)用。隨著圖像采集設(shè)備成本的不斷下降,各種檢測(cè)載體例如爬壁機(jī)器人和無人機(jī)等的出現(xiàn),將進(jìn)一步推動(dòng)機(jī)器視覺橋梁檢測(cè)裝置的迭代更新。

(2)隨著人工智能算法的不斷進(jìn)步,特別是機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法在圖像檢測(cè)中的廣泛應(yīng)用,適用性和識(shí)別檢測(cè)精度不斷提升,基于機(jī)器視覺的橋梁裂縫檢測(cè)算法在原有的圖像處理方法基礎(chǔ)上得到了大大提升。在未來隨著深度學(xué)習(xí)算法的精度和速率的進(jìn)一步提升,將推動(dòng)機(jī)器視覺在橋梁裂縫檢測(cè)中得到進(jìn)一步廣泛應(yīng)用。

(3)在未來,隨著中國(guó)大力發(fā)展智慧交通,橋梁智能建設(shè)養(yǎng)護(hù)作為智慧交通的重要組成部分,基于機(jī)器視覺的裂縫檢測(cè)在內(nèi)的橋梁養(yǎng)護(hù)創(chuàng)新技術(shù)將扮演重要角色。未來智慧交通基礎(chǔ)設(shè)施運(yùn)維以數(shù)字化和智能化為基礎(chǔ),機(jī)器視覺在橋梁健康監(jiān)測(cè)中通過采集橋梁表面的數(shù)字圖像進(jìn)行智能識(shí)別橋梁損傷,不僅是促進(jìn)橋梁運(yùn)維科技創(chuàng)新發(fā)展,機(jī)器視覺對(duì)整個(gè)新型智慧交通基礎(chǔ)設(shè)施建設(shè)運(yùn)維都將起到服務(wù)支撐作用,對(duì)安全高效的現(xiàn)代綜合交通運(yùn)輸現(xiàn)代化建設(shè)發(fā)展也將起到推進(jìn)作用。

(4)目前基于機(jī)器視覺的裂縫檢測(cè)在檢測(cè)效率和精度特別是抗干擾能力方面還有進(jìn)一步提升的空間,同時(shí)這項(xiàng)技術(shù)屬于多學(xué)科交叉領(lǐng)域,需要更多的包括土木、計(jì)算機(jī)等多學(xué)科領(lǐng)域的交叉復(fù)合型人才培養(yǎng)投入[75]。