趙琳

(上海市建筑科學(xué)研究院有限公司,上海 201108)

隨著城市化建設(shè)的不斷推進(jìn),我國(guó)在役橋梁保有量已經(jīng)處于世界領(lǐng)先水平,這些在役橋梁經(jīng)過長(zhǎng)時(shí)間的使用必然會(huì)出現(xiàn)各種損傷問題,比如裂縫、腐蝕、風(fēng)化、脫落、露筋等,所以需要定期進(jìn)行安全檢測(cè)和保養(yǎng)維護(hù)。傳統(tǒng)檢測(cè)方法依靠人工,不僅檢測(cè)時(shí)間長(zhǎng)、速度慢、準(zhǔn)確率低,還存在不少安全隱患[1,2],所以改進(jìn)在役橋梁病害檢測(cè)方法是亟須解決的重要問題。

新的研究方向主要集中在使用機(jī)器人等進(jìn)行在役橋梁圖像采集,結(jié)合計(jì)算機(jī)視覺技術(shù)對(duì)病害圖像進(jìn)行分類、識(shí)別,從而實(shí)現(xiàn)快速、高效、低成本在役橋梁病害智能檢測(cè)。韓曉健等采用了計(jì)算機(jī)視覺的檢測(cè)方法,通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)AlexNet,建立了在役橋梁病害智能檢測(cè)模型,可以快速準(zhǔn)確地識(shí)別病害[3]。鄒俊志等改良了YOLO v3基本網(wǎng)絡(luò)模型,在檢測(cè)層增加了兩個(gè)分支,即空間金字塔池化以及SE注意力機(jī)制,將橋梁病害數(shù)據(jù)集用K-means算法聚類,得出病害檢測(cè)結(jié)果[4]。上述兩種方法不能解決多病害的分類檢測(cè)問題,導(dǎo)致誤檢和漏檢現(xiàn)象時(shí)有發(fā)生,同時(shí)檢測(cè)結(jié)果的準(zhǔn)確性和效率也有待提高。

近年來無人機(jī)以其快速方便、經(jīng)濟(jì)高效的特點(diǎn)被廣泛應(yīng)用于在役橋梁病害檢測(cè)領(lǐng)域。相對(duì)于人工檢測(cè)和機(jī)器人巡檢的緩慢低效,無人機(jī)可以快速輕便地到達(dá)二者無法到達(dá)的區(qū)域進(jìn)行拍攝,同時(shí)還可以降低檢測(cè)成本,是非常經(jīng)濟(jì)實(shí)用的一種探測(cè)設(shè)備[5-7]。

由此,本文利用無人機(jī)探測(cè)數(shù)據(jù),設(shè)計(jì)基于視覺數(shù)據(jù)融合和機(jī)器學(xué)習(xí)算法的在役橋梁病害智能檢測(cè)方法,測(cè)試結(jié)果表明該方法能夠準(zhǔn)確采集和定位在役橋梁圖像,實(shí)現(xiàn)多病害的精細(xì)化智能檢測(cè)。

1 在役橋梁病害智能檢測(cè)

1.1 雷達(dá)與視覺數(shù)據(jù)融合的無人機(jī)高清圖像采集與定位

1.1.1 無人機(jī)探測(cè)設(shè)備

由于在役橋梁病害檢測(cè)普遍存在結(jié)構(gòu)復(fù)雜、規(guī)模較大、病害類型多以及檢測(cè)難度高的情況,如何精準(zhǔn)找到病害位置是利用無人機(jī)解決在役橋梁病害檢測(cè)的關(guān)鍵[8],因此在無人機(jī)的設(shè)備選擇上需要滿足以下幾個(gè)條件:

(1)飛行性能穩(wěn)定且續(xù)航能力強(qiáng),能夠進(jìn)行長(zhǎng)時(shí)間的飛行檢測(cè)工作。

(2)搭載可自由旋轉(zhuǎn)的云臺(tái)和高清相機(jī),可以實(shí)現(xiàn)上下左右多方向的高清圖像采集。

(3)攜帶測(cè)距雷達(dá),可以準(zhǔn)確測(cè)量周圍障礙物的距離。

(4)具有精準(zhǔn)的GPS定位導(dǎo)航、位置控制和自動(dòng)躲避障礙物的功能,可以實(shí)現(xiàn)在復(fù)雜橋梁結(jié)構(gòu)中安全靈活飛行。

(5)在橋梁底部接收不到GPS信號(hào)時(shí),可以自動(dòng)懸?；蚍岛?。

根據(jù)以上條件選擇合適的無人機(jī)探測(cè)設(shè)備,采集在役橋梁病害位置圖像,應(yīng)用于后續(xù)病害檢測(cè)中。

1.1.2 雷達(dá)與視覺數(shù)據(jù)融合的在役橋梁圖像采集

為了保證在役橋梁病害的實(shí)際位置與無人機(jī)采集圖像中的病害區(qū)域位置一致,需要將雷達(dá)掃描的數(shù)據(jù)與無人機(jī)高清相機(jī)采集的視覺數(shù)據(jù)進(jìn)行融合,實(shí)現(xiàn)準(zhǔn)確定位[9]。雷達(dá)與視覺數(shù)據(jù)融合包括兩個(gè)方面:空間融合和時(shí)間融合。

(1)空間融合

由于相機(jī)和雷達(dá)安裝的位置與角度是不同的,所以雷達(dá)與視覺數(shù)據(jù)的空間融合主要是實(shí)現(xiàn)雷達(dá)與相機(jī)坐標(biāo)系的統(tǒng)一。

本文以激光雷達(dá)為例,其坐標(biāo)系O1X1Y1Z1與激光雷達(dá)中心一致,掃描采集的點(diǎn)云數(shù)據(jù)以該中心為圓點(diǎn)向外呈圓形分布。相機(jī)坐標(biāo)系OCXCYCZC同樣與相機(jī)中心統(tǒng)一,是采集高清圖像數(shù)據(jù)的位置坐標(biāo)。將激光雷達(dá)坐標(biāo)系與相機(jī)坐標(biāo)系實(shí)行聯(lián)合標(biāo)定,即為兩種設(shè)備的空間數(shù)據(jù)融合。二者之間的轉(zhuǎn)換關(guān)系如下:

(1)

式中,(xc,yc,zc)為采集圖像數(shù)據(jù)的位置坐標(biāo);(x1,y1,z1)為激光雷達(dá)掃描點(diǎn)云數(shù)據(jù)坐標(biāo);兩個(gè)坐標(biāo)系的相對(duì)轉(zhuǎn)移矩陣和旋轉(zhuǎn)矩陣分別用T和R表示。

在激光雷達(dá)點(diǎn)云數(shù)據(jù)集內(nèi),3D點(diǎn)云b=(x1,y1,z1)在轉(zhuǎn)換過的相機(jī)坐標(biāo)系中的投影位置a表達(dá)式如下:

(2)

激光雷達(dá)的點(diǎn)云數(shù)據(jù)通過公式(2)進(jìn)行坐標(biāo)轉(zhuǎn)換,即可投影到相機(jī)采集的高清圖像上。

(2)時(shí)間融合

由于雷達(dá)和相機(jī)各自按照不同的時(shí)間標(biāo)準(zhǔn)進(jìn)行數(shù)據(jù)采集,而且頻率不同,采集到的數(shù)據(jù)存在時(shí)間差異,并不是統(tǒng)一時(shí)刻的數(shù)據(jù)。因此二者采集的數(shù)據(jù)在時(shí)間上達(dá)到同步,即雷達(dá)數(shù)據(jù)與視覺數(shù)據(jù)的時(shí)間融合。

為了使視覺數(shù)據(jù)與雷達(dá)數(shù)據(jù)達(dá)到時(shí)間同步,需要以掃描頻率更低的雷達(dá)掃描時(shí)間為標(biāo)準(zhǔn),對(duì)應(yīng)調(diào)整相機(jī)的采集頻率,每次雷達(dá)在掃描的同時(shí)啟動(dòng)相機(jī)進(jìn)行一次圖像采集。

在無人機(jī)雷達(dá)與相機(jī)數(shù)據(jù)的采集和處理上使用三線程同時(shí)進(jìn)行的方法,具體過程如圖1所示。

圖1 時(shí)間融合過程示意圖

如圖1所示,雷達(dá)在進(jìn)行掃描時(shí),每一次啟動(dòng)都會(huì)采集當(dāng)下時(shí)刻的雷達(dá)數(shù)據(jù),按照25Hz時(shí)間啟動(dòng)雷達(dá)數(shù)據(jù)接收線程;同步啟動(dòng)相機(jī)數(shù)據(jù)采集線程,雷達(dá)數(shù)據(jù)線程進(jìn)入阻塞等待狀態(tài),直到下一次啟動(dòng)時(shí)間。一直處于阻塞狀態(tài)的相機(jī)數(shù)據(jù)采集線程,等待雷達(dá)數(shù)據(jù)接收線程啟動(dòng)后,采集當(dāng)下時(shí)間的圖像,將當(dāng)前圖像數(shù)據(jù)和雷達(dá)數(shù)據(jù)按順序排列并添加到緩沖區(qū)隊(duì)列尾部;相機(jī)線程再次進(jìn)入阻塞狀態(tài),直到下一次雷達(dá)觸發(fā)。一直處于循環(huán)運(yùn)行狀態(tài)的數(shù)據(jù)處理線程,在緩沖區(qū)頭部獲取前兩個(gè)線程的統(tǒng)一時(shí)間數(shù)據(jù),完成雷達(dá)和視覺數(shù)據(jù)的時(shí)間融合。

1.1.3 在役橋梁高清圖像定位

為了根據(jù)采集和融合的在役橋梁圖像有效識(shí)別病害,需要掌握采集圖像的位置信息,對(duì)無人機(jī)采集的在役橋梁圖像進(jìn)行定位。

(1)確定無人機(jī)的拍攝距離

在無人機(jī)高清圖像采集過程中,為了獲取大小相同、符合精度要求的在役橋梁圖像,需要在圖像采集之前進(jìn)行拍攝距離WD的運(yùn)算。設(shè)定無人機(jī)視覺傳感平臺(tái)達(dá)到攝像距離時(shí)進(jìn)行主動(dòng)拍攝,這樣獲得的在役橋梁高清圖像才能夠有效識(shí)別病害的詳細(xì)信息[10]。符合要求的拍攝距離依據(jù)成像系統(tǒng)的簡(jiǎn)化模型運(yùn)算,如圖2所示。

圖2中,圖像傳感器的尺寸用S表示;鏡頭焦距、圖像拍攝距離和相機(jī)坐標(biāo)系視場(chǎng)坐標(biāo)向量分別用f、WD和FOV(xc,yc,zc)表示;則三者之間的關(guān)系如下式:

(3)

由拍攝目標(biāo)最小特征尺寸lmin、代表最小特征的像素?cái)?shù)Pmin以及傳感器分辨率Rmin決定FOV(xc,yc,zc)的大小,因此圖像工作距離求解公式為:

(4)

根據(jù)圖像工作距離獲取在役橋梁圖像位置。

圖2 成像系統(tǒng)簡(jiǎn)化模型

(2)獲取在役橋梁圖像位置

為了對(duì)無人機(jī)采集的在役橋梁圖像進(jìn)行定位,必須準(zhǔn)確掌握該圖像對(duì)應(yīng)在役橋梁的詳細(xì)位置。假設(shè)無人機(jī)拍攝的圖像位于橋塔部位,則建立一個(gè)與橋塔立面平行的坐標(biāo)系。由于無人機(jī)搭載了GPS定位系統(tǒng),所以對(duì)在役橋梁進(jìn)行圖像采集時(shí)可以隨時(shí)得到自身的位置坐標(biāo)Po(xo,yo,zo),該坐標(biāo)信息會(huì)在采集的圖像當(dāng)中同步顯示。則采集到的圖像中心坐標(biāo)為P1(xo+WD,yo,zo),即在役橋梁圖像的具體位置,其原理如圖3所示。

圖3 在役橋梁圖像定位

1.2 基于Mask R-CNN的在役橋梁病害檢測(cè)模型

1.2.1 Mask R-CNN工作原理

Mask R-CNN(Mask Region Convolutional Neural Network)是一個(gè)組合型神經(jīng)網(wǎng)絡(luò),其改良了之前的Faster R-CNN網(wǎng)絡(luò)[11-13]。將1．1．3小節(jié)獲取的在役橋梁圖像輸入到網(wǎng)絡(luò)中進(jìn)行檢測(cè)訓(xùn)練,同時(shí)增加一個(gè)預(yù)測(cè)分割分支,將在役橋梁病害檢測(cè)和語義分割結(jié)合起來,從而達(dá)到實(shí)例分割的效果,最終輸出病害圖像識(shí)別結(jié)果。

Mask R-CNN分為三個(gè)部分,其結(jié)構(gòu)用圖4表示。

(1)主體網(wǎng)絡(luò)

主體網(wǎng)絡(luò)包括金字塔特征網(wǎng)絡(luò)和殘差網(wǎng)絡(luò)。提取在役橋梁圖像特征信息,通過這兩種網(wǎng)絡(luò)結(jié)構(gòu)組合實(shí)現(xiàn)[14]。

(2)區(qū)域生成網(wǎng)絡(luò)

RPN(Region Proposal Network,RPN)是Faster-RCNN網(wǎng)絡(luò)用于提取錨點(diǎn)框(Anchor Boxes)的部分,RPN優(yōu)化了其原有的性能局限,引入卷積神經(jīng)網(wǎng)絡(luò),通過提取特征實(shí)現(xiàn)錨點(diǎn)框和置信度的生成[15]。

(3)RoIAlign層與功能網(wǎng)絡(luò)

RoIAlign(Region of Interest Align,RoIAlign)是一種區(qū)域特征聚集方法,采用雙線性插值法映射特征圖,準(zhǔn)確匹配各個(gè)像素的空間對(duì)應(yīng)關(guān)系,從而提升檢測(cè)模型的準(zhǔn)確性。

圖4 Mask R-CNN結(jié)構(gòu)示意圖

1.2.2 Mask R-CNN有監(jiān)督訓(xùn)練

為了準(zhǔn)確識(shí)別在役橋梁病害,需要事先籌備訓(xùn)練圖像,對(duì)Mask R-CNN網(wǎng)絡(luò)進(jìn)行有監(jiān)督訓(xùn)練,從而構(gòu)建一個(gè)在役橋梁病害檢測(cè)模型。采用已有橋梁病害圖像作為訓(xùn)練樣本,利用訓(xùn)練圖像樣本對(duì)Mask R-CNN網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)訓(xùn)練,調(diào)整訓(xùn)練參數(shù),得出最優(yōu)的在役橋梁病害檢測(cè)模型。

基于遷移學(xué)習(xí)算法中的動(dòng)態(tài)學(xué)習(xí)率調(diào)整策略提升模型檢測(cè)的準(zhǔn)確率,公式如下:

(5)

<1)，且各件產(chǎn)品是否為不合格品相互獨(dú)立．

由此通過動(dòng)態(tài)學(xué)習(xí)率訓(xùn)練優(yōu)化檢測(cè)模型,得出最優(yōu)的在役橋梁病害檢測(cè)模型。

為了加強(qiáng)在役橋梁病害檢測(cè)模型的泛化能力,需要對(duì)數(shù)據(jù)集中的圖像采用隨機(jī)噪聲消除技術(shù)進(jìn)行數(shù)據(jù)增強(qiáng)。

隨機(jī)噪聲可通過消噪掩模法進(jìn)行消除,用h(x,y)描述像素點(diǎn)(x,y)的濾波系數(shù)。依次逐點(diǎn)移動(dòng)掩模是消噪掩模法的基本原理。濾波器掩模尺寸為m×n,線性濾波公式為:

(6)

公式中,a=(m-1)/2,且b=(n-1)/2。w表示像素權(quán)值。(s,t)表示濾波掩膜范圍。

由此通過消噪掩模法的濾波處理方法將圖像中所有像素的值替換為相鄰范圍內(nèi)像素的權(quán)值,實(shí)現(xiàn)數(shù)據(jù)降噪增強(qiáng)功能。

將濾波增強(qiáng)后的無人機(jī)采集在役橋梁高清圖像數(shù)據(jù)輸入在役橋梁病害檢測(cè)模型中,即可實(shí)現(xiàn)各種橋梁病害在圖像中的分類和識(shí)別。

2 實(shí)驗(yàn)分析

2.1 實(shí)驗(yàn)環(huán)境設(shè)置

本文實(shí)驗(yàn)選擇某大橋作為檢測(cè)對(duì)象,主橋?yàn)殡p獨(dú)塔、雙索面、鋼筋混凝土斜拉橋,全長(zhǎng)1038 m,橋面有效寬度為26 m,塔高105 m,主跨186 m。

測(cè)試無人機(jī)選用四旋翼無人機(jī),型號(hào)為大疆PHANTOM 4 RTK,相機(jī)選用1英寸2000萬像素的CMOS傳感器,搭載PIX-hawk飛控、GPS定位系統(tǒng)、激光測(cè)距雷達(dá)以及視覺傳感平臺(tái)Guidance等。

無人機(jī)根據(jù)天氣、風(fēng)速、溫度等環(huán)境情況制定好拍攝計(jì)劃和巡航路線,在航拍過程中為了達(dá)到安全避險(xiǎn)和精度達(dá)標(biāo)的目的,將有效拍攝距離控制在8.5m左右,航拍范圍選擇整個(gè)塔面,由塔頂向塔底順序拍攝在役橋梁的高清圖像,圖像重疊率設(shè)置在50%,耗時(shí)12 h一共采集579張有效圖像,作為測(cè)試樣本。

本文采用公開的橋梁病害數(shù)據(jù)集COncrete DEfect BRidge I Mage Dataset中的1200張圖像作為訓(xùn)練樣本,其中包含六種橋梁圖像類別,包括裂縫、脫落、露筋、風(fēng)化、腐蝕五種病害圖像以及無病害圖像。

2.2 激光雷達(dá)與視覺數(shù)據(jù)融合定位實(shí)驗(yàn)

本文根據(jù)張正友標(biāo)定算法進(jìn)行相機(jī)和激光雷達(dá)的聯(lián)合標(biāo)定,使用2D黑白棋盤格標(biāo)靶圖像作為標(biāo)定板,制作20張不同方位和角度的標(biāo)定板圖像,輸入MATLAB工具箱進(jìn)行標(biāo)定,計(jì)算出相機(jī)與激光雷達(dá)之間的轉(zhuǎn)換關(guān)系矩陣。

實(shí)驗(yàn)在大橋的橋塔、橋面、橋墩和在役橋梁底部分別選擇25個(gè)不同的病害點(diǎn)和不同的拍攝距離,分別進(jìn)行無人機(jī)高清圖像采集和實(shí)際位置測(cè)量。然后將相機(jī)與激光雷達(dá)數(shù)據(jù)融合后進(jìn)行轉(zhuǎn)換得出的病害位置與實(shí)際測(cè)量的病害位置進(jìn)行匹配,計(jì)算定位誤差。對(duì)比相機(jī)圖像位置和激光雷達(dá)位置的定位誤差,其統(tǒng)計(jì)結(jié)果如圖5所示。

圖5 定位誤差

實(shí)驗(yàn)結(jié)果表明,與單純使用激光雷達(dá)定位數(shù)據(jù)或相機(jī)拍攝數(shù)據(jù)的定位誤差相比,融合雷達(dá)與視覺數(shù)據(jù)對(duì)在役橋梁病害的定位數(shù)據(jù)與實(shí)際位置之間的誤差最小,低于5%,可以更加準(zhǔn)確地定位在役橋梁病害的位置。

2.3 病害圖像檢測(cè)效果對(duì)比

在實(shí)際采集的在役橋梁病害高清圖像中,任意選擇兩張進(jìn)行對(duì)比實(shí)驗(yàn),采用的對(duì)比方法是文獻(xiàn)[3]的計(jì)算機(jī)視覺檢測(cè)方法、文獻(xiàn)[4]的YOLO v3檢測(cè)方法。本文方法、文獻(xiàn)[3]方法、文獻(xiàn)[4]方法的檢測(cè)結(jié)果分別用圖6描述。

分析圖6(a)可得,文獻(xiàn)[3]方法將圖像最左側(cè)的裂縫誤檢為腐蝕,并且未檢測(cè)出脫落病害;文獻(xiàn)[4]方法識(shí)別出了腐蝕和脫落兩種病害,但同樣誤將裂縫識(shí)別為腐蝕,未識(shí)別出裂縫災(zāi)害。而本文方法能夠精準(zhǔn)檢測(cè)出裂縫、腐蝕和脫落三種病害;分析圖6(b)可得,文獻(xiàn)[3]方法只能檢測(cè)出單一的脫落病害;文獻(xiàn)[4]方法檢測(cè)出了露筋病害,并將脫落病害誤識(shí)別為露筋病害,未檢測(cè)出脫落病害;而本文方法可以詳細(xì)的檢測(cè)出脫落病害中包含的露筋病害。

(a)病害檢測(cè)一

(a)病害檢測(cè)二

實(shí)驗(yàn)結(jié)果表明,本文方法對(duì)在役橋梁病害圖像的檢測(cè)比文獻(xiàn)[3]方法、文獻(xiàn)[4]方法更加細(xì)致準(zhǔn)確,明顯減少對(duì)目標(biāo)病害的誤檢和漏檢,實(shí)現(xiàn)一圖多病害的精細(xì)化檢測(cè),具有更好的檢測(cè)效果。

2.4 不同類型病害檢測(cè)效果

在役橋梁病害分為很多不同種類,本文選用裂縫、露筋、脫落、腐蝕四種常見病害進(jìn)行實(shí)驗(yàn)。本文實(shí)驗(yàn)的評(píng)估指標(biāo)使用準(zhǔn)確率、召回率、mAP(Mean Average Precision)和F1。召回率是指識(shí)別出的病害圖像與實(shí)際存在病害數(shù)量的百分比,mAP是在役橋梁病害檢測(cè)模型的平均精度均值,F1是準(zhǔn)確率和召回率的調(diào)和平均數(shù)。在相同條件下同時(shí)采用本文方法、文獻(xiàn)[3]方法、文獻(xiàn)[4]方法進(jìn)行各種病害圖像的檢測(cè),三種方法的檢測(cè)結(jié)果如表1、表2、表3所示:

表1 本文方法病害檢測(cè)結(jié)果

表2 文獻(xiàn)[3]方法病害檢測(cè)結(jié)果

表3 文獻(xiàn)[4]方法病害檢測(cè)結(jié)果

對(duì)比表1、表2、表3可以看出,使用本文方法進(jìn)行在役橋梁病害檢測(cè),針對(duì)裂縫、露筋、脫落、腐蝕四種病害檢測(cè)的準(zhǔn)確率都達(dá)到90.5%以上,召回率都達(dá)到86.7%以上,在役橋梁病害檢測(cè)模型的平均精度均值達(dá)到89.4%以上,檢測(cè)時(shí)間最低可以縮短到15.5ms。而其他兩種方法的準(zhǔn)確率、召回率、平均精度均值均低于本文方法的檢測(cè)結(jié)果,且檢測(cè)時(shí)間高于本文方法,均在20ms以上。

3 結(jié) 論

本文方法使用雷達(dá)與視覺數(shù)據(jù)融合的無人機(jī)航拍技術(shù)進(jìn)行在役橋梁病害的高清圖像采集和定位。構(gòu)建基于Mask R-CNN神經(jīng)網(wǎng)絡(luò)的在役橋梁病害檢測(cè)模型,實(shí)現(xiàn)對(duì)在役橋梁各種病害的智能檢測(cè)。實(shí)驗(yàn)結(jié)果表明,本文方法對(duì)在役橋梁各種類型的病害檢測(cè)都具有良好的適應(yīng)性,準(zhǔn)確率和召回率都較高,檢測(cè)速度快,在病害圖像檢測(cè)方面更加細(xì)致準(zhǔn)確,減少了誤檢和漏檢的情況,實(shí)現(xiàn)一圖多病害的精細(xì)化識(shí)別,具有非常好的檢測(cè)效果。