朱勁松 李 歡

(1天津大學(xué)建筑工程學(xué)院, 天津 300072)(2天津大學(xué)濱海土木工程結(jié)構(gòu)與安全教育部重點(diǎn)實驗室, 天津 300072)

鋼橋在橋梁中的占比日益增長,對其檢測維護(hù)也提出了更高的要求.隨著傳感器采集、信息存儲與分析技術(shù)的發(fā)展,橋梁巡檢中圖像獲取更加便利,圖像中包含橋梁病害的位置和面積等信息,使得基于深度學(xué)習(xí)的圖像分割網(wǎng)絡(luò)[1]得到廣泛關(guān)注.該方法具有非接觸傳感、成本低、操作簡單、不受環(huán)境影響等優(yōu)點(diǎn),推動了橋梁檢測向智能化方向發(fā)展.

在土木工程中,深度學(xué)習(xí)網(wǎng)絡(luò)常用于混凝土結(jié)構(gòu)病害的檢測,Wei等[2]將Mask R-CNN網(wǎng)絡(luò)應(yīng)用于混凝土氣泡的目標(biāo)檢測和語義分割,通過分析預(yù)測分割掩碼對缺陷進(jìn)行量化后,得到68%的氣泡面積誤差率小于10%,74%的氣泡最大直徑誤差率小于10%；Deng等[3]基于空洞空間金字塔模型,對混凝土分層、鋼筋外露進(jìn)行了檢測和分割,得到兩者的平均交并比分別為43.63%和54.54%；Kim等[4]通過優(yōu)化Mask R-CNN的網(wǎng)絡(luò)結(jié)構(gòu),對混凝土裂縫、風(fēng)化、鋼筋外露和剝落進(jìn)行了分割,得到準(zhǔn)確率和召回率分別為87.24%和87.58%；金耀等[5]通過構(gòu)建由一系列功能層組成的深度卷積神經(jīng)網(wǎng)絡(luò),實現(xiàn)了混凝土裂縫、銹蝕、涂層脫落、掉塊的像素級識別,得到94.96%的識別精度,但未進(jìn)行量化.在鋼結(jié)構(gòu)應(yīng)用中,Liu等[6]對Faster R-CNN和VGG19網(wǎng)絡(luò)進(jìn)行微調(diào),實現(xiàn)了涂層破損和腐蝕的分割,其識別率為81.4%；王達(dá)磊等[7]采用編碼器-解碼器架構(gòu)設(shè)計深度神經(jīng)網(wǎng)絡(luò),實現(xiàn)銹蝕區(qū)域的分割,得到閾值為0.5時的分割正確率為90.56%,并基于像素值進(jìn)行了量化分析.基于深度學(xué)習(xí)的像素級分割雖已在病害檢測領(lǐng)域應(yīng)用,但無專門針對鋼結(jié)構(gòu)橋梁病害的分割與量化,且在已有的鋼結(jié)構(gòu)病害檢測中分割評價指標(biāo)單一,分割后未進(jìn)行量化評估或僅用像素值量化.

鑒于此,本文針對涂層劣化、腐蝕、焊縫開裂3種鋼橋局部病害形式,提出了一種基于深度學(xué)習(xí)的鋼橋病害分割與量化方法.該方法以SOLOv2[8]實例分割網(wǎng)絡(luò)為基礎(chǔ),將其原ResNet骨干網(wǎng)絡(luò)[9]替換為VoVNet57網(wǎng)絡(luò)[10],用改進(jìn)后的SOLOv2網(wǎng)絡(luò)對病害進(jìn)行檢測與分割,依據(jù)分割的病害掩碼,增添檢測框,計算病害像素值,并轉(zhuǎn)化為實際面積,完成量化.該方法實現(xiàn)了鋼橋多病害快速、精確的分割與量化,為鋼橋智能檢測評估提供了技術(shù)支撐.

1 網(wǎng)絡(luò)架構(gòu)

1.1 SOLOv2網(wǎng)絡(luò)

實例分割[11]既具備語義分割的特點(diǎn)(對圖像中的每一個像素進(jìn)行分類),也具備目標(biāo)檢測的一部分特點(diǎn)(定位出圖像中同一類的不同實例).SOLO網(wǎng)絡(luò)[12]是典型的實例分割網(wǎng)絡(luò),網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示,其利用全卷積網(wǎng)絡(luò)(FCN)來輸出具有N個通道的密集預(yù)測,并將圖片劃分成S×S的網(wǎng)格,每個網(wǎng)格都會預(yù)測C維輸出以預(yù)測語義類別概率,其中C為類別數(shù),H和W分別為特征圖的高和寬.

圖1 SOLO網(wǎng)絡(luò)結(jié)構(gòu)

SOLOv2實例分割網(wǎng)絡(luò)是對SOLO網(wǎng)絡(luò)的繼承和發(fā)展,對其進(jìn)行了2個改進(jìn)：① 將原來的掩膜分支解耦為掩膜核分支和掩膜特征分支,分別預(yù)測卷積核和卷積特征；② 用矩陣非極大抑制代替SOLO網(wǎng)絡(luò)中的非極大抑制,通過矩陣運(yùn)算所有的操作都可以單階段實現(xiàn),不需要遞歸,比傳統(tǒng)的非極大抑制快9倍.其核心思想是將分割問題轉(zhuǎn)化為位置分類問題,根據(jù)實例的位置和大小,對每個實例的像素點(diǎn)賦予一個類別,從而達(dá)到對實例目標(biāo)進(jìn)行分割的效果.通過掩膜標(biāo)簽,對實例分割進(jìn)行端到端的優(yōu)化,無需進(jìn)行傳統(tǒng)的局部邊框檢測和像素點(diǎn)聚合,直接進(jìn)行像素級別的實例分割,同時兼顧了分割的速度和精度.

1.2 改進(jìn)的SOLOv2網(wǎng)絡(luò)

所檢測的3類病害中存在細(xì)長形狀的焊縫,其在整個圖像中占比很小,而背景部分相對較大,訓(xùn)練數(shù)據(jù)集中的類別不能被平均表示,學(xué)習(xí)過程中模型大多學(xué)習(xí)到的是背景特征,因此可能出現(xiàn)掩膜檢測質(zhì)量不高的問題.SOLOv2網(wǎng)絡(luò)雖然可以對目標(biāo)進(jìn)行掩膜分割,但對小目標(biāo)檢測時也容易造成掩膜預(yù)測丟失的現(xiàn)象.

針對以上問題,對SOLOv2網(wǎng)絡(luò)進(jìn)行了改進(jìn),將其原ResNet骨干網(wǎng)絡(luò)替換為VoVNet57網(wǎng)絡(luò),以提高對小目標(biāo)的檢測精度,改進(jìn)后網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示.VoVNet網(wǎng)絡(luò)繼承了DenseNet網(wǎng)絡(luò)[13]提取特征能力更強(qiáng)、參數(shù)少、計算量小的優(yōu)勢,并包含了一次性聚合(OSA)模塊,即只在最后一次性聚合前面所有的層,解決了檢測速度慢的問題,比ResNet性能更好.因此,將SOLOv2網(wǎng)絡(luò)的骨干網(wǎng)絡(luò)替換為VoVNet57,在提升目標(biāo)檢測精度的同時,也提升了檢測速度,進(jìn)一步提高了病害掩膜分割的質(zhì)量.

圖2 改進(jìn)的SOLOv2網(wǎng)絡(luò)結(jié)構(gòu)

2 鋼橋病害數(shù)據(jù)集的構(gòu)建

2.1 圖像數(shù)據(jù)的采集

病害數(shù)據(jù)主要通過自行拍攝獲取,拍攝地點(diǎn)為天津市海河上多座鋼橋,采用佳能EOS 7D數(shù)碼相機(jī)進(jìn)行拍攝,另有少量病害圖像由橋梁檢測單位提供.因?qū)嵗指顚D像質(zhì)量要求較高,故對收集的病害圖像進(jìn)行了篩選,保留涂層劣化圖像104幅,腐蝕圖像108幅,焊縫開裂圖像102幅,共計314幅,圖像數(shù)據(jù)示例如圖3所示.

(a) 涂層劣化

2.2 圖像增強(qiáng)

為提高網(wǎng)絡(luò)的魯棒性,對原始數(shù)據(jù)進(jìn)行圖像增強(qiáng).這樣處理一方面增加了圖像的數(shù)量,緩解了病害樣本少的情況；另一方面豐富了數(shù)據(jù)的多樣性,抵消了圖像采集中不同亮度和方向的影響,提高了對未知樣本的預(yù)測能力.為避免對鋼橋病害顏色特征產(chǎn)生影響,本實驗采用旋轉(zhuǎn)(90°、180°)、翻轉(zhuǎn)、調(diào)整亮度3種方法,對數(shù)據(jù)進(jìn)行增強(qiáng).以腐蝕病害為例,其增強(qiáng)處理后的圖像如圖4所示.

(a) 原圖

數(shù)據(jù)增強(qiáng)后圖像數(shù)量擴(kuò)充到1 570幅.此時,圖像的像素值較大,占用內(nèi)存較多,故將每幅大圖像裁剪成多幅小圖像,小圖像分辨率為512×512像素.對裁剪后的小圖像進(jìn)行篩選,剔除不包含病害的圖像及病害特征不明顯的圖像,保留3 241幅符合要求的圖像創(chuàng)建數(shù)據(jù)集,其中涂層劣化圖像1 091幅,腐蝕圖像1 100幅,焊縫開裂圖像1 050幅,按照4∶1的比例隨機(jī)劃分,得到訓(xùn)練集和測試集.

2.3 數(shù)據(jù)標(biāo)注

采用Labelme[14]對鋼橋病害圖像進(jìn)行人工標(biāo)記,利用繪制多邊形功能,對圖像中所包含的病害逐一進(jìn)行標(biāo)注.每一個病害按輪廓繪制完成后,在彈出的標(biāo)簽窗口中,輸入病害對應(yīng)的標(biāo)簽名稱,完成標(biāo)注.每幅圖像標(biāo)注后,會生成相應(yīng)的JSON文件,需將其與圖片放在同一文件下,以便模型讀取.將訓(xùn)練集病害圖像全部進(jìn)行標(biāo)注后,數(shù)據(jù)集即制作完成.

3 網(wǎng)絡(luò)訓(xùn)練及結(jié)果分析

3.1 實驗環(huán)境

實驗在Intel core i5-10300H和NVIDIA GeForce RTX 2060(6G)的電腦上進(jìn)行,并基于Pycharm 2020.2編輯器及PyTorch 1.7.1深度學(xué)習(xí)框架,采用AdelaiDet實例級識別任務(wù)開源工具箱運(yùn)行網(wǎng)絡(luò).

3.2 網(wǎng)絡(luò)訓(xùn)練

網(wǎng)絡(luò)訓(xùn)練前,需要在Detectron2平臺中注冊數(shù)據(jù)集,增添自定義數(shù)據(jù)集名稱,設(shè)置環(huán)境變量,并加入數(shù)據(jù)類別,完成注冊,然后修改相關(guān)的數(shù)據(jù)集配置文件和網(wǎng)絡(luò)訓(xùn)練文件.網(wǎng)絡(luò)的訓(xùn)練方式采用批量訓(xùn)練,考慮電腦性能,每一批包含4張圖像數(shù)據(jù),依據(jù)網(wǎng)絡(luò)的收斂情況,將訓(xùn)練迭代次數(shù)設(shè)定為20 000次.在對比學(xué)習(xí)率0.01、0.001、0.000 1后,選取0.001作為最終訓(xùn)練的學(xué)習(xí)率.使用焦點(diǎn)損失函數(shù),該損失函數(shù)是在標(biāo)準(zhǔn)交叉熵?fù)p失基礎(chǔ)上修改得到的,可以通過減少易分類樣本的權(quán)重,使得網(wǎng)絡(luò)在訓(xùn)練時更專注于難分類的樣本,緩解單階段目標(biāo)檢測中正負(fù)樣本比例嚴(yán)重失衡的問題.計算公式如下：

FL(pt)=-α(1-pt)γlog(pt)

(1)

式中,FL(pt)為焦點(diǎn)損失值；pt為樣本預(yù)測正確的概率；pt越大,則1-pt越小,損失的權(quán)重越小,網(wǎng)絡(luò)便可聚焦于難訓(xùn)練的樣本；α為平衡因子,控制正負(fù)樣本對總損失的共享權(quán)重；γ為焦點(diǎn)參數(shù),調(diào)節(jié)簡單樣本權(quán)重降低的速率.本實驗將α設(shè)定為0.25,γ設(shè)定為2.

3.3 網(wǎng)絡(luò)訓(xùn)練結(jié)果

為了驗證網(wǎng)絡(luò)的性能,利用COCO標(biāo)準(zhǔn)指標(biāo)中的平均精度(mAP)和交并比(IoU)對其進(jìn)行評價,mAP值是通過先計算每個類別的AP值,再對所有類別的AP值求平均得到的；IoU為網(wǎng)絡(luò)檢測區(qū)域和真實標(biāo)注區(qū)域的交集與并集之比,IoU的閾值從0.50到0.95依次遞增，每隔0.05計算一次AP的值,取所有結(jié)果的平均值作為最終的結(jié)果.表1為本次實驗網(wǎng)絡(luò)所得的分割評價指標(biāo).

表1 改進(jìn)的SOLOv2網(wǎng)絡(luò)分割評價指標(biāo) %

由表1可知,網(wǎng)絡(luò)對腐蝕的分割精度最高,涂層劣化次之,焊縫開裂最低.這是由于3種病害的不同特征導(dǎo)致的,涂層劣化和腐蝕通常呈片狀出現(xiàn),在圖像中占比相對較高,而焊縫呈細(xì)條狀,長寬比較大,圖像中占比較小,圖像占比影響網(wǎng)絡(luò)的學(xué)習(xí)能力,故焊縫開裂分割精度較低,但其AP值也已達(dá)到49.19%.3種病害的mAP值為63.45%,且AP50和AP75分別達(dá)到了83.78%、67.04%,整體分割精度較高.為更直觀地評價模型,引入精度-召回率曲線,計算公式如下：

(2)

(3)

式中,P為精度；R為召回率；TP為真正例數(shù)量,真正例指真實類別為正例,預(yù)測類別為正例的數(shù)量；FP為假正例數(shù)量,即真實類別為負(fù)例,預(yù)測類別為正例的數(shù)量；Fn為假負(fù)例數(shù)量,即真實類別為正例,預(yù)測類別為負(fù)例的數(shù)量.

在IoU為0.50時,3種病害各自的精度-召回率曲線,及在交并比為0.50、0.60和0.75時,網(wǎng)絡(luò)對3種病害平均掩膜的精度-召回率曲線,如圖5所示.由圖5(a)可見,3種病害的精度較高,最終的召回率在80%以上,效果較好；由圖5(b)可見,閾值由0.50依次增加到0.60和0.75,曲線逐漸內(nèi)移,說明隨著閾值的增大,檢測效果逐漸降低.

(a) 各病害

因SOLOv2網(wǎng)絡(luò)直接將分割問題轉(zhuǎn)化為位置分類問題,故只預(yù)測出掩碼和類別得分,無法生成檢測框.為更好地對病害進(jìn)行定位,依據(jù)網(wǎng)絡(luò)分割的病害掩膜,找到掩膜的左上角和右下角坐標(biāo),為其增添檢測框,同時,考慮一幅圖像中可能有多個病害存在,為病害增加了編號,以便定位不同的病害,并對掩膜像素數(shù)進(jìn)行了提取,網(wǎng)絡(luò)輸入圖像和輸出圖像如圖6所示.圖6(b)標(biāo)簽上的數(shù)字由左到右分別表示病害編號、病害類別、識別準(zhǔn)確率和掩膜像素數(shù).由圖可見,當(dāng)一幅圖像中出現(xiàn)多個病害時,模型均可檢測出,且對于不完整的病害也具有較好的識別能力,分割效果較好.

(a) 輸入圖像

3.4 網(wǎng)絡(luò)對比分析

為了驗證所提出方法的有效性,將其與具有代表性的實例分割網(wǎng)絡(luò)進(jìn)行比較,包括SOLOv2網(wǎng)絡(luò)、TensorMask網(wǎng)絡(luò)[15]和BlendMask網(wǎng)絡(luò)[16].對比網(wǎng)絡(luò)同樣在Detectron2平臺上運(yùn)行,所得到的AP值如表2所示.

表2 不同網(wǎng)絡(luò)分割評價指標(biāo) %

由表2可看出,改進(jìn)網(wǎng)絡(luò)對3種病害的分割結(jié)果中，僅涂層劣化的AP值低于TensorMask和BlendMask網(wǎng)絡(luò),腐蝕和焊縫開裂均高于兩者,尤其是焊縫開裂,高出20%以上,對于焊縫這種占比較小的目標(biāo),分割效果較好.同時,改進(jìn)網(wǎng)絡(luò)的mAP高于TensorMask網(wǎng)絡(luò)7.56%,高于BlendMask網(wǎng)絡(luò)6.78%，高于未改進(jìn)的SOLOv2網(wǎng)絡(luò)5.20%,AP50分別高于三者1.22%、4.06%、2.98%,AP75分別高于三者10.75%、11.12%、5.75%.較未改進(jìn)的SOLOv2網(wǎng)絡(luò),各項AP值也均有提高,且未改進(jìn)的SOLOv2網(wǎng)絡(luò)訓(xùn)練迭代一次的時間為0.72 s,而改進(jìn)網(wǎng)絡(luò)訓(xùn)練迭代一次的時間為0.59 s.因此,本文提出的改進(jìn)網(wǎng)絡(luò)在鋼橋病害分割問題上表現(xiàn)出良好的性能,并提高了檢測速度.

4種網(wǎng)絡(luò)的病害分割結(jié)果示例如圖7所示,在第1幅圖像的檢測中,TensorMask將涂層劣化識別為裂縫,BlendMask對涂層劣化的分割不完整；第2幅圖像中,前2個模型均出現(xiàn)了誤檢的情況,將非腐蝕區(qū)域檢測為腐蝕；第3幅圖像中,前2個網(wǎng)絡(luò)將一條焊縫識別為多條進(jìn)行分割,分割效果不佳.而本文網(wǎng)絡(luò)均未出現(xiàn)上述情況,分割效果明顯優(yōu)于前兩者,抗噪能力強(qiáng),具有較好的魯棒性.相較于未改進(jìn)的SOLOv2網(wǎng)絡(luò),本文改進(jìn)網(wǎng)絡(luò)識別準(zhǔn)確率有較大提升,且分割邊緣更精細(xì)化.

(a) 輸入圖像

4 量化分析

4.1 病害量化

由圖6可知,改進(jìn)的SOLOv2網(wǎng)絡(luò)可自動計算并輸出圖像中病害的掩膜像素數(shù),考慮到像素數(shù)往往不可直接用于實際工程中,可通過計算預(yù)測分割掩膜的像素數(shù),并利用圖像像素數(shù)和實際區(qū)域間的關(guān)系,來量化病害的實際物理尺寸,以便于直接應(yīng)用.根據(jù)像素數(shù)與實際尺寸之間的關(guān)系,建立如下關(guān)系式：

(4)

式中,Pb為病害的像素數(shù)；P1為圖像的像素數(shù)；Sb為病害的實際物理面積；S1為圖像的實際物理面積.由此可推出病害的實際物理面積公式：

(5)

以10 cm×10 cm的正方形框尺為基準(zhǔn),拍攝了80幅鋼橋病害圖像,然后將圖像沿著框尺的邊界線進(jìn)行裁剪,獲取真實面積為100 cm2的圖像,作為最終的測試數(shù)據(jù)集.80幅圖像中共包含83個病害,其中涂層劣化28個,腐蝕38個,焊縫開裂17個.依據(jù)《城市橋梁檢測與評定技術(shù)規(guī)范》(CJJ/T 233—2015),腐蝕和涂層劣化用面積進(jìn)行評價,而焊縫開裂用開裂長度進(jìn)行評價,故在網(wǎng)絡(luò)量化時,若檢測結(jié)果為腐蝕或涂層劣化,則量化其面積值,若為焊縫開裂,則量化其長度.通常焊縫開裂長度可用其外接矩形長度代替,但考慮拍攝角度等因素,本文用焊縫的外接矩形對角線長度作為焊縫開裂長度,即檢測框的對角線長度,以減小誤差.由式(5)可推導(dǎo)出焊縫開裂實際長度與像素數(shù)間的關(guān)系式：

(6)

式中,Lb為焊縫開裂的實際物理長度；L為圖像的實際邊長.

根據(jù)式(5)、(6),對網(wǎng)絡(luò)的可視化結(jié)果進(jìn)行改進(jìn),以量化病害的實際物理尺寸.改進(jìn)網(wǎng)絡(luò)可以有效地檢測病害,并為每個病害生成高質(zhì)量的分割掩碼,進(jìn)而可以通過分析預(yù)測的分割掩碼來得到每個病害的量化信息.典型病害的量化檢測結(jié)果如圖8所示,以腐蝕圖像為例,NO.1表示圖像中僅有1個病害,編號為1,rust表示病害類型為腐蝕,92%為預(yù)測概率,20.661 cm2為腐蝕的真實面積.

(a) 輸入圖像

4.2 病害量化性能評估

為了評估改進(jìn)的SOLOv2網(wǎng)絡(luò)對病害的量化性能,將模型輸出的量化值與病害真實值進(jìn)行比較,以驗證病害量化結(jié)果的準(zhǔn)確性.采用圖像處理技術(shù)測得病害尺寸計算值作為病害的實際尺寸,即在Labelme軟件中對上述80幅圖像進(jìn)行病害標(biāo)注,提取病害的相關(guān)尺寸.利用式(5)、(6),分別獲取腐蝕、涂層劣化病害的面積計算值和焊縫開裂的長度計算值,通過比較計算值和網(wǎng)絡(luò)的量化值間的相對誤差,來評估模型的量化性能.相對誤差Er計算公式如下：

(7)

式中,Vq為病害的計算值;Vm為病害的量化值.依據(jù)式(7)計算出83個病害的相對誤差,并繪制相對誤差分布圖,如圖9所示.圖9(a)展示了66個涂層劣化和腐蝕的病害面積相對誤差分布,圖9(b)展示了17個焊縫開裂長度的相對誤差分布.

(a) 病害面積相對誤差分布

由圖9(a)可見,病害面積的最大相對誤差為19.03%,最小相對誤差為0.11%,相對誤差集中在10%以內(nèi),其中有51個病害面積相對誤差低于5%,僅有5個病害的面積相對誤差超過10%,3個病害的面積相對誤差超過15%.由圖9(b)可知,焊縫開裂長度的最大相對誤差為11.63%,最小相對誤差為0.32%,且長度相對誤差集中在8%以內(nèi),僅有3個焊縫開裂的長度相對誤差高于8%,但仍低于12%,整體相對誤差較低.綜上,改進(jìn)的SOLOv2網(wǎng)絡(luò)在鋼橋病害的檢測和量化方面表現(xiàn)出了較好的性能.

5 結(jié)論

1) 本文改進(jìn)網(wǎng)絡(luò)得到的mAP值高于TensorMask網(wǎng)絡(luò)7.56%,高于BlendMask網(wǎng)絡(luò)6.78%,高于未改進(jìn)的SOLOv2網(wǎng)絡(luò)5.20%,提高了網(wǎng)絡(luò)對焊縫開裂的檢測能力,分割效果較好,也進(jìn)一步提升了檢測速度.

2) 提出的網(wǎng)絡(luò)具有較好的檢測和量化性能.將采用圖像處理技術(shù)測得的病害尺寸實際值與模型輸出的病害尺寸量化值進(jìn)行對比發(fā)現(xiàn),病害面積相對誤差集中在10%以內(nèi),有77.27%的病害面積相對誤差低于5%,僅有7.58%的病害面積相對誤差超過10%,且焊縫長度相對誤差集中在8%以內(nèi).

3) 提出的網(wǎng)絡(luò)雖實現(xiàn)了鋼橋病害的分割和量化,但本文的鋼橋病害數(shù)據(jù)庫尚不足,且樣本中多病害同時存在的圖像數(shù)量較少,故對多病害同時存在的情況,尚存在分割不佳的現(xiàn)象.同時,在量化時僅考慮了垂直拍攝的情況,未來將對數(shù)據(jù)庫進(jìn)行擴(kuò)充,特別是多病害同時存在的圖像數(shù)據(jù),并考慮不同傾斜角度的影響,以進(jìn)一步提高網(wǎng)絡(luò)性能.