孔天宇,戴激光

(遼寧工程技術(shù)大學(xué) 測(cè)繪與地理科學(xué)學(xué)院,遼寧 阜新 123000)

0 引言

近年來,路面井蓋事故受到了人們的廣泛關(guān)注,2017—2019年期間媒體報(bào)道窨井“吃人、傷人”事件已達(dá)到70余件[1]。加大城市路面井蓋巡檢,是避免井蓋事故的有效途徑。早期的路面井蓋監(jiān)管主要依靠人工巡查和硬件傳感設(shè)備,這不僅費(fèi)時(shí)費(fèi)力,而且巡查人員在檢查路面井蓋時(shí)還存在一定的安全隱患[2]。計(jì)算機(jī)視覺技術(shù)的發(fā)展,為路面井蓋的巡查及管理帶來了新的方式[3]。Wei等[4]將支持向量機(jī)與具有對(duì)稱特征的方向梯度直方圖相結(jié)合,分別利用激光點(diǎn)云和激光圖像的梯度圖像以及拍攝的路面影像,實(shí)現(xiàn)了井蓋的檢測(cè)和分類。喬瑞萍等[5]提出了一種多特征融合的方法,該方法利用先驗(yàn)知識(shí)劃定檢測(cè)范圍,然后利用邊緣的連通性鎖定候選區(qū)域,通過多特征判定確定井蓋的具體位置。相比于早期方法,傳統(tǒng)的圖像檢測(cè)技術(shù)可以客觀、快速地對(duì)大量數(shù)據(jù)進(jìn)行分析處理,在道路背景簡(jiǎn)單的場(chǎng)景下表現(xiàn)良好。但傳統(tǒng)的檢測(cè)算法主要依賴于根據(jù)先驗(yàn)知識(shí)建立的特征[6],當(dāng)?shù)缆飞暇w的紋理顏色與路面相似時(shí),表面特征與周圍路面難以區(qū)分,傳統(tǒng)的圖像檢測(cè)技術(shù)在檢測(cè)時(shí)容易出現(xiàn)漏檢或錯(cuò)檢。

深度學(xué)習(xí)在目標(biāo)檢測(cè)及圖像分割任務(wù)中被廣泛應(yīng)用且表現(xiàn)出色,這給井蓋的巡檢提供了新的解決方案[7]。與基于先驗(yàn)特征的傳統(tǒng)算法相比,深度學(xué)習(xí)網(wǎng)絡(luò)具有強(qiáng)大的學(xué)習(xí)和特征表達(dá)能力,并且特征表示具有非常強(qiáng)的泛化能力[8]。趙文劍等[9]使用ResNet模型對(duì)車載智能手機(jī)拍攝到的路面影像進(jìn)行井蓋識(shí)別的同時(shí),結(jié)合手機(jī)采集到的車輛經(jīng)過沉陷井蓋時(shí)產(chǎn)生的加速度,可對(duì)井蓋進(jìn)行塌陷分析。Zhou等[10]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的分類方法,該方法從智能手機(jī)采集影像中檢測(cè)井蓋,結(jié)合車載傳感器數(shù)據(jù)得到不同塌陷程度的井蓋。從以上研究結(jié)果來看,將深度學(xué)習(xí)技術(shù)應(yīng)用到井蓋病害檢測(cè),可以實(shí)現(xiàn)道路區(qū)域范圍內(nèi)的自動(dòng)化檢測(cè),但目前工作著重于檢測(cè)塌陷井蓋,忽略了井蓋周圍路面破損問題,因而檢測(cè)結(jié)果并不完善。另外受限于手機(jī)拍攝方式難以避免受到行人、車輛對(duì)井蓋檢測(cè)的干擾,降低了井蓋病害的檢測(cè)精度。

針對(duì)上述問題,本文提出改進(jìn)YOLOv5的路面井蓋病害檢測(cè)方法。本文主要研究?jī)?nèi)容包括:針對(duì)城市道路上的各種井蓋病害,制定了路面井蓋的分類標(biāo)準(zhǔn),制作了井蓋病害數(shù)據(jù)集;選取YOLOv5作為基礎(chǔ)模型,在主干部分及網(wǎng)絡(luò)中加入注意力機(jī)制,提出了針對(duì)井蓋病害的檢測(cè)模型AT-YOLO(Attention-YOLO),有效提升了模型對(duì)于路面井蓋病害的檢測(cè)效果。

1 研究方法

1.1 井蓋病害分類

井蓋作為城市道路的附屬構(gòu)造,在長期的車輛載荷以及自身材料、設(shè)計(jì)、施工等原因的多重作用下,井蓋或周圍路面會(huì)發(fā)生沉陷、破損等病害[11]。如圖1所示,由于井蓋病害成因因素眾多,井蓋也會(huì)出現(xiàn)復(fù)合病害問題,即多種病害同時(shí)出現(xiàn)在同一個(gè)井蓋上。北京市《數(shù)字化城市管理信息系統(tǒng)部件和事件處置》(DB11/T 932—2012)中,規(guī)定了由部件質(zhì)量引發(fā)的監(jiān)管案例,表1中列舉了正常井蓋、井周破損和塌陷井蓋等不同井蓋類別及其對(duì)比分析。

表1 不同井蓋狀態(tài)對(duì)比

圖1 井蓋對(duì)比

結(jié)合表1與圖1中的井蓋實(shí)例可以看出,正常井蓋與路面沒有明顯高差,且周圍路面完好無裂縫或坑槽,對(duì)車輛行駛不存在影響。井周破損的井蓋包括井蓋周圍保護(hù)圈的破壞和井周路面的破損,表現(xiàn)為從裂縫到坑洼的不同程度破損,且在行駛車輛的持續(xù)作用下井周破壞會(huì)逐漸增長擴(kuò)大。塌陷井蓋從影像中可以看到與路面存在明顯的高差,塌陷嚴(yán)重的井蓋會(huì)影響到行駛車輛的穩(wěn)定性和舒適性。

1.2 面向病害井蓋的AT-YOLO網(wǎng)絡(luò)

在復(fù)雜多變的街景影像中,路面上的井蓋及其病害在不同的時(shí)間、光照條件和成像角度影響下,呈現(xiàn)出差異性的表面紋理特征,在影像中出現(xiàn)視覺形態(tài)上的區(qū)分,而視覺特征信息是基于街景影像進(jìn)行路面井蓋及其病害檢測(cè)的主要依據(jù)。因此,本文在前文總結(jié)的井蓋病害表征特點(diǎn)的基礎(chǔ)上,提出了針對(duì)路面井蓋病害的目標(biāo)檢測(cè)模型AT-YOLO。AT-YOLO模型結(jié)構(gòu)圖如圖2所示,其網(wǎng)絡(luò)結(jié)構(gòu)分為backbone(主干)、neck(頸部)和detect(檢測(cè)層) 3個(gè)部分。

圖2 AT-YOLO網(wǎng)絡(luò)結(jié)構(gòu)

在網(wǎng)絡(luò)的backbone中,AT-YOLO采用了本文提出的TAC3(triplet attention C3)作為網(wǎng)絡(luò)backbone中特征提取模塊的基本單元,其基本結(jié)構(gòu)為CSP結(jié)構(gòu)。網(wǎng)絡(luò)backbone中的SPP(spatial pyramid pooling)為空間金字塔池化模塊,可以將任意大小的特征圖轉(zhuǎn)換成固定大小的特征向量。本文在網(wǎng)絡(luò)backbone中添加convolutional block attention module(CBAM)[12]作為單獨(dú)的處理單元,來弱化由于背景信息及其他物體造成的干擾,減少誤檢率。

網(wǎng)絡(luò)的neck部分使用了特征金字塔網(wǎng)絡(luò)(feature pyramid networks,FPN)結(jié)構(gòu)對(duì)相同尺度的特征進(jìn)行融合處理。除使用FPN的結(jié)構(gòu),在傳統(tǒng)的自頂向下路徑之外,自底向上的路徑可以有選擇地融合不同層次的特征,以更有效的方式捕獲各種尺度井蓋特征的語義變化。

網(wǎng)絡(luò)detect部分由3個(gè)輸出特征層來決定最終的檢測(cè)結(jié)果。在網(wǎng)絡(luò)的neck部分,來自不同模型深度的特征經(jīng)過融合以及上采樣操作后,輸出3個(gè)不同深度、不同大小的特征。對(duì)應(yīng)網(wǎng)絡(luò)resize(分辨率重構(gòu))后的輸入圖像大小為N,輸出特征大小分別為N/8、N/16和N/32。

1)主干網(wǎng)絡(luò)。在不同場(chǎng)景下采集到的影像受影像清晰度、路面光照強(qiáng)度、路面干燥程度和附帶干擾物等因素影響,使得部分井蓋沒有被網(wǎng)絡(luò)檢測(cè)到。從網(wǎng)絡(luò)設(shè)計(jì)來看,這是因?yàn)閅OLOv5主干網(wǎng)絡(luò)特征提取能力相對(duì)不足,在特征分辨上存在困難,從而導(dǎo)致了井蓋和病害的漏檢。在檢測(cè)路面井蓋病害時(shí)不僅要檢測(cè)到井蓋的位置,還要根據(jù)井蓋和井蓋周圍路面的狀態(tài)判斷病害類別,這需要網(wǎng)絡(luò)具有較強(qiáng)的特征提取能力。因此本文對(duì)YOLOv5主干網(wǎng)絡(luò)基礎(chǔ)模塊BottleneckCSP進(jìn)行了改進(jìn),提出了新的主干網(wǎng)絡(luò)TAC3,并利用混合注意力機(jī)制增強(qiáng)網(wǎng)絡(luò)對(duì)特征的提取能力。

如圖3所示,本文提出的TAC3相對(duì)于YOLOv5原主干網(wǎng)絡(luò)基本單元BottleneckCSP,標(biāo)準(zhǔn)卷積模塊中的激活函數(shù)由Leaky Relu更換為Silu,改善了網(wǎng)絡(luò)訓(xùn)練過程中梯度爆炸的問題。將分支中的卷積層修改為卷積歸一化層,從而加速網(wǎng)絡(luò)收斂,提升網(wǎng)絡(luò)訓(xùn)練速度。為了加強(qiáng)主干網(wǎng)絡(luò)對(duì)特征的提取能力,在輸出特征前增加了triplet attention module[13](三重注意模塊)。經(jīng)過整個(gè)主干網(wǎng)絡(luò)模塊輸出的特征圖的大小與輸入大小相同。

圖3 TAC3(上)與BottleneckCSP(下)

三重注意模塊不是從單一通道對(duì)特征進(jìn)行處理,而是在計(jì)算注意力權(quán)重時(shí)捕獲跨維度間的信息,結(jié)合通道注意力與空間注意力,在關(guān)注井蓋病害視覺表面特征的同時(shí),對(duì)井蓋所處的空間位置表現(xiàn)更多的關(guān)注。三重注意模塊結(jié)構(gòu)如圖4所示。三重注意模塊有3個(gè)分支,給定一個(gè)輸入特征圖X,每個(gè)分支都可捕獲來自H、W和C的任意兩個(gè)維度之間的跨維度交互信息。

圖4 triplet attention module

三重注意模塊強(qiáng)調(diào)捕捉跨域交互的重要性,而不是單獨(dú)計(jì)算空間注意和通道注意,這有助于獲取豐富的區(qū)域特征表示。由于其結(jié)構(gòu)簡(jiǎn)單而高效,在加入AT-YOLO的主干網(wǎng)絡(luò)后,只是增加了微小的計(jì)算量,卻可以有效增強(qiáng)網(wǎng)絡(luò)提取到的特征中空間和通道維度上的特征,提升模型主干網(wǎng)絡(luò)的特征提取能力,能夠獲取有代表性的特征表示。

2)convolutional block attention module。街景影像中包含許多干擾因素,包括地面文字標(biāo)記、圓形交通標(biāo)識(shí)和水漬等,這些地物在特征提取過程中會(huì)產(chǎn)生特征污染,導(dǎo)致檢測(cè)井蓋時(shí)出現(xiàn)誤檢測(cè)問題。另一方面,路面病害中的龜網(wǎng)裂、瀝青橫縱向裂縫及坑槽/洞等幾類病害[14]的視覺表征與路面井蓋的病害存在相似部分,這容易導(dǎo)致誤檢測(cè)問題。為減少背景因素影響而產(chǎn)生的誤檢測(cè),本文在網(wǎng)絡(luò)中添加注意力機(jī)制,通過對(duì)不同重要程度的特征分配不同大小的權(quán)重,弱化干擾特征,使網(wǎng)絡(luò)模型更加專注于與路面井蓋及其病害相關(guān)的特征,從而提升模型的檢測(cè)精度。

本文采用的注意力模塊是混合注意力CBAM,由通道注意力和空間注意力串聯(lián)組成,該模塊將通道注意圖和空間注意圖解耦以提高計(jì)算效率,并通過引入全局池化層來利用空間全局信息,CBAM結(jié)構(gòu)如圖5所示。CBAM有兩個(gè)順序連接的子模塊,按順序依次為通道注意力(channel attention model,CAM)與空間注意力(space attention model,SAM)。給定通道注意力模塊輸入特征圖X∈RC×W×H,依次推斷出1D通道注意力向量Sc∈RC和2D空間注意圖SS∈RW×H。

圖5 CBAM模塊

通道注意力與空間注意力分別在通道維度和空間維度上對(duì)應(yīng)學(xué)習(xí)注意的目標(biāo)和位置[15],增加的模塊通過學(xué)習(xí)強(qiáng)調(diào)與路面井蓋有關(guān)的特征,抑制與井蓋不相關(guān)的其他特征,有效地幫助信息在網(wǎng)絡(luò)中流動(dòng)。CBAM的加入使AT-YOLO網(wǎng)絡(luò)相比于YOLOv5基礎(chǔ)網(wǎng)絡(luò)更有效地聚焦于目標(biāo)對(duì)象及目標(biāo)對(duì)象所處的位置,在一定程度上降低了影像中背景及其他物體對(duì)檢測(cè)造成的干擾,減少了誤檢。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)數(shù)據(jù)及實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)使用的影像均為移動(dòng)數(shù)據(jù)采集車采集的影像,共計(jì)121 730張,包含遼寧省沈陽市及阜新市,共計(jì)240 km的路面影像,涵蓋了商業(yè)街、林蔭道等不同場(chǎng)景,圖像大小均為3 200像素×1 800 像素。從中挑選出包含病害井蓋的影像共計(jì)2 700張制作實(shí)驗(yàn)數(shù)據(jù)集。以往勾畫樣本標(biāo)注框緊貼目標(biāo)邊緣,但本文在勾畫井蓋病害數(shù)據(jù)集時(shí),使正常井蓋標(biāo)注框也包含周圍一定范圍內(nèi)的路面,提供更多的信息以更好地判斷井蓋病害。破損井蓋則是以井周破損路面區(qū)域的最大外接矩形為標(biāo)注區(qū)域。實(shí)驗(yàn)將數(shù)據(jù)集劃分為3個(gè)部分,訓(xùn)練集包含2 232幅圖像,驗(yàn)證集包含254幅圖像,測(cè)試集包含214幅圖像。

由于訓(xùn)練集規(guī)模較小,模型只訓(xùn)練300個(gè)epoch,前5個(gè)epoch作為warmup_epochs。依據(jù)訓(xùn)練經(jīng)驗(yàn),將初始學(xué)習(xí)率設(shè)置為0.01,動(dòng)量與重量衰減分別設(shè)置為0.937和0.000 5,batch size(批次)設(shè)置為2。

2.2 評(píng)價(jià)指標(biāo)

以現(xiàn)有研究工作[16]作為參考,本文選取precision(精確率)、recall(召回率)和F1-score(調(diào)和平均值)作精度評(píng)價(jià)指標(biāo)。precision表示檢測(cè)結(jié)果中檢測(cè)正確的比例,recall表示檢測(cè)結(jié)果查全率,F1-score是準(zhǔn)確率與召回率的調(diào)和平均數(shù),綜合了準(zhǔn)確率與召回率兩個(gè)指標(biāo),其取值范圍為從0到1,1表示模型的檢測(cè)結(jié)果最好,0表示結(jié)果最差。

2.3 實(shí)驗(yàn)與討論

為了驗(yàn)證本文所提出的AT-YOLO網(wǎng)絡(luò)在路面井蓋及井蓋病害檢測(cè)上的優(yōu)越性,本文在實(shí)驗(yàn)數(shù)據(jù)集上使用Retinanet[17]、Efficientdet[18]等目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行了對(duì)比實(shí)驗(yàn),具體的對(duì)比結(jié)果顯示在圖6中。

圖6 對(duì)比模型精度對(duì)比

在圖6的對(duì)比結(jié)果中可以看出,本文提出的AT-YOLO模型在總體上體現(xiàn)了最高的檢測(cè)精度,對(duì)不同類別的井蓋病害檢測(cè)的具體精度略有不同。AT-YOLO在圖6(a)全部井蓋和圖6(d)正常井蓋中的檢測(cè)結(jié)果整體優(yōu)于其他網(wǎng)絡(luò),表明本文方法檢測(cè)到的井蓋更加全面,檢測(cè)到的井蓋正確率更高,且漏檢情況更少。

在圖6(b)檢測(cè)塌陷井蓋的精度對(duì)比中,本文方法在相比于其他方法取得了絕對(duì)領(lǐng)先。由于塌陷井蓋在數(shù)據(jù)集實(shí)例中的占比較少,其他對(duì)比網(wǎng)絡(luò)均出現(xiàn)了precision和recall相差懸殊的問題,說明其他的方法雖然檢測(cè)到的結(jié)果準(zhǔn)確率高,但檢測(cè)到的塌陷井蓋較少,漏檢情況嚴(yán)重。本文方法的基礎(chǔ)網(wǎng)絡(luò)YOLOv5的綜合精度高于其他網(wǎng)絡(luò),本文方法相比YOLOv5又有了進(jìn)一步的提高,說明AT-YOLO在檢測(cè)塌陷井蓋方面取得極大的精度提升。

在檢測(cè)出現(xiàn)井周路面破損的井蓋方面,圖6(c)顯示本文方法檢測(cè)結(jié)果中,precision和F1-score數(shù)值略低于SSD[19]、YOLOv4[20]等對(duì)比網(wǎng)絡(luò),recall指標(biāo)與其他對(duì)比方法基本持平,但從整體檢測(cè)來說AT-YOLO仍然是最優(yōu)的路面井蓋病害檢測(cè)模型。出現(xiàn)這一情況原因在于,SSD、YOLOv4等模型結(jié)構(gòu)較復(fù)雜且參數(shù)量較多,而AT-YOLO網(wǎng)絡(luò)參數(shù)量更少,注重檢測(cè)速度與精度的均衡。結(jié)果表明AT-YOLO能夠檢測(cè)出井周路面破損的井蓋,檢測(cè)井周破損病害的準(zhǔn)確性還有很大的提升空間。

在不同的自然條件下進(jìn)行檢測(cè)可以驗(yàn)證模型方法的穩(wěn)定性。針對(duì)本文檢測(cè)的幾種井蓋病害,圖7列舉了上述實(shí)驗(yàn)的幾種模型在大規(guī)模街景影像上的檢測(cè)結(jié)果。

圖7 對(duì)比模型效果對(duì)

模型在進(jìn)行井蓋病害檢測(cè)時(shí),不僅要檢測(cè)影像中井蓋是否存在,還需要根據(jù)井蓋周圍路面的表現(xiàn)狀態(tài)及路面與井蓋的位置關(guān)系來判定井蓋類別。圖7第一列展示了各實(shí)驗(yàn)網(wǎng)絡(luò)對(duì)井周出現(xiàn)破損的井蓋的檢測(cè)結(jié)果,可以看出本文方法對(duì)該類問題具有很好的適用性。對(duì)比實(shí)驗(yàn)?zāi)Ｐ驮跈z測(cè)圖中井周出現(xiàn)破損時(shí),只有SSD網(wǎng)絡(luò)檢測(cè)到了影像中井蓋,但未獲取準(zhǔn)確的類別信息,并且出現(xiàn)了多個(gè)類別檢測(cè)框。相比之下,AT-YOLO具有更強(qiáng)的特征提取能力,在檢測(cè)到影像中井蓋的同時(shí)也正確判斷了井蓋的分類。

在圖7第2列對(duì)比圖中,圖中的右上方正常井蓋顏色相比于路面顏色較深,與路面背景之間的光譜差異明顯,所有網(wǎng)絡(luò)均檢測(cè)到了圖中的正常井蓋。但左下方出現(xiàn)塌陷問題的井蓋由于覆蓋塵土等雜物,只露出部分井蓋。塵土的干擾使得井蓋與路面背景極為相似,從而增加了檢測(cè)難度。第3列中的井蓋部分被綠化帶遮擋,并且表面覆蓋落葉等雜物,對(duì)比實(shí)驗(yàn)的網(wǎng)絡(luò)模型均未檢測(cè)到該井蓋。由于AT-YOLO相比于其他網(wǎng)絡(luò)的抗干擾能力得到了增強(qiáng),減少了在特征提取過程中干擾地物造成的特征污染,本文方法很好地檢測(cè)到了井蓋的位置,并且預(yù)測(cè)框準(zhǔn)確地貼合在井蓋邊緣。

第4列及第5列中的井蓋均位于人行道內(nèi)。井蓋表面被斑馬線白色涂料覆蓋,這使得井蓋與路面背景之間的光譜差異被減弱了,井蓋與路面背景極為相似,白色涂料的存在對(duì)井蓋周圍的坑洼的識(shí)別也存在一定的干擾。從檢測(cè)結(jié)果對(duì)比中可看出,即使井蓋被涂料覆蓋,本文方法也可以檢測(cè)到對(duì)應(yīng)特征,檢測(cè)到了其他幾種網(wǎng)絡(luò)模型未檢測(cè)到的井蓋,并且準(zhǔn)確地將其分類。

3 結(jié)束語

針對(duì)現(xiàn)有路面井蓋分類體系不完備以及檢測(cè)精度低等問題,本文基于YOLOv5,提出了一種路面井蓋病害檢測(cè)模型AT-YOLO,實(shí)現(xiàn)了街景影像中路面井蓋病害的快速檢測(cè)。在本文方法中,主要改進(jìn)了網(wǎng)絡(luò)模型的backbone部分,在網(wǎng)絡(luò)backbone中應(yīng)用不同的混合注意力機(jī)制,增強(qiáng)了網(wǎng)絡(luò)的特征提取能力,并且減少由于背景信息干擾而引發(fā)的誤檢測(cè)。實(shí)驗(yàn)在自制數(shù)據(jù)集上進(jìn)行,通過大量影像證明了本文方法相對(duì)于其他方法的優(yōu)越性和穩(wěn)定性,路面井蓋病害整體檢測(cè)精度達(dá)到93%以上。在未來的工作中,本文一方面將繼續(xù)提升AT-YOLO模型對(duì)路面井蓋病害的檢測(cè)精度以及檢測(cè)速度,另一方面將探究如何建立長效的路面井蓋監(jiān)管預(yù)警機(jī)制。