王敬 王寧 李健超 段培勇
1.國(guó)能朔黃鐵路發(fā)展有限責(zé)任公司,河北肅寧 062350;2.中國(guó)鐵道科學(xué)研究院集團(tuán)有限公司鐵道建筑研究所,北京 100081
朔黃鐵路西起山西省朔州站,東至河北省黃驊港口,全長(zhǎng)近598 km,是國(guó)家Ⅰ級(jí)雙線電氣化重載鐵路,是中國(guó)重要煤炭運(yùn)輸專線神黃鐵路的重要組成部分。全線隧道里程66 km,全部為單洞雙線隧道。為了提高朔黃鐵路隧道結(jié)構(gòu)的安全防護(hù)等級(jí)和長(zhǎng)期穩(wěn)定性,需要對(duì)朔黃鐵路全線隧道進(jìn)行快速檢測(cè)和病害智能識(shí)別,從而指導(dǎo)檢修,保障運(yùn)營(yíng)安全,提升朔黃鐵路全線智能化運(yùn)維水平。
針對(duì)鐵路隧道結(jié)構(gòu)病害的自動(dòng)檢測(cè),國(guó)內(nèi)外均開(kāi)展了相關(guān)研究,并研發(fā)了一些自動(dòng)化巡檢系統(tǒng)。法國(guó)HGH紅外系統(tǒng)公司研制的多傳感器隧道病害自動(dòng)檢測(cè)系統(tǒng)ATLAS 70,可對(duì)隧道裂縫、滲水等病害進(jìn)行全方位檢測(cè),圖像分辨率為5 mm[1]。德國(guó)SPACETEC公司研發(fā)的SPACETEC TS3隧道掃描儀,在檢測(cè)隧道過(guò)程中可以生成視覺(jué)影像、熱影像和輪廓記錄,最大檢測(cè)速度為5 km/h,可識(shí)別寬度2 mm的裂縫[2]。瑞士AMBERG技術(shù)公司開(kāi)發(fā)的GRP5000移動(dòng)式掃描測(cè)量系統(tǒng),搭載二維激光掃描儀對(duì)隧道結(jié)構(gòu)進(jìn)行全方位檢測(cè),可對(duì)其整體狀態(tài)進(jìn)行分析,在檢測(cè)速度不大于6 km/h時(shí)可識(shí)別寬度1.5 mm的裂縫[3]。日本MIMM公司研制的公路隧道病害安全快速智能檢測(cè)系統(tǒng),以30~80 km/h的速度對(duì)隧道動(dòng)態(tài)連續(xù)檢測(cè)時(shí),可識(shí)別隧道內(nèi)壁裂縫病害,數(shù)據(jù)采集精度2 mm[4]。
北京銘博瑞爾鐵路技術(shù)檢測(cè)有限公司研制的隧道快速檢測(cè)車,可檢測(cè)襯砌表面裂縫、滲漏水和隧道限界,以30 km/h的速度檢測(cè)時(shí)可識(shí)別1.0 mm寬度裂縫,檢測(cè)系統(tǒng)對(duì)隧道圖像數(shù)據(jù)和隧道表面缺陷的分析主要采用人工識(shí)別[5]。武漢武大卓越科技有限責(zé)任公司研制的國(guó)內(nèi)首臺(tái)公路隧道快速檢測(cè)車搭載線陣相機(jī)、GPS(Global Positioning System)、激光掃描儀、紅外熱成像儀等設(shè)備,可檢測(cè)襯砌表面裂縫、滲漏水以及內(nèi)輪廓變形等,以0~80 km/h的速度連續(xù)動(dòng)態(tài)檢測(cè)時(shí)可識(shí)別寬度0.2 mm裂縫,數(shù)據(jù)采集精度1 mm。
隨著深度學(xué)習(xí)和機(jī)器學(xué)習(xí)技術(shù)的發(fā)展,語(yǔ)義分割、卷積神經(jīng)網(wǎng)絡(luò)逐漸應(yīng)用于混凝土裂縫的識(shí)別。瞿中等[6]提出基于融合特征圖的全U型網(wǎng)絡(luò)裂縫檢測(cè)算法,與U-net檢測(cè)算法相比精確率提升了1.48%。王紀(jì)武等[7]提出了利用改進(jìn)Faster R-CNN+ZF模型對(duì)鐵路橋梁裂縫自動(dòng)分類的方法,在Faster R-CNN網(wǎng)絡(luò)模型前添加一層Prewitt算子銳化卷積層,提升了模型特征提取能力。馬躍坤等[8]提出基于NSCT變換(Nonsubsampled Contourlet Transform)的多尺度積閾值紅外圖像增強(qiáng)算法和相位一致性原理,利用形態(tài)學(xué)處理算法、k-means聚類算法提取紅外圖像中的裂縫區(qū)域。
同圖像數(shù)據(jù)相比,激光點(diǎn)云數(shù)據(jù)具有稀疏性與無(wú)序性的特點(diǎn)。采用激光點(diǎn)云數(shù)據(jù)進(jìn)行目標(biāo)檢測(cè)是近五年發(fā)展起來(lái)的技術(shù)。Fu等[9]提出了基于點(diǎn)云數(shù)據(jù)的3D全卷積神經(jīng)網(wǎng)絡(luò)的車輛檢測(cè)方法。Qi等[10]在2017年國(guó)際計(jì)算機(jī)視覺(jué)與模式識(shí)別會(huì)議上提出利用Point Net網(wǎng)絡(luò)直接處理點(diǎn)云數(shù)據(jù),獲取點(diǎn)云的全局特征,最后對(duì)每個(gè)點(diǎn)進(jìn)行分類預(yù)測(cè),平均檢測(cè)精度在90%以上。
通過(guò)深入調(diào)研國(guó)內(nèi)外隧道襯砌表觀病害檢測(cè)裝備及實(shí)際應(yīng)用情況,綜合考慮目前計(jì)算機(jī)軟硬件、人工智能技術(shù)在隧道圖像檢測(cè)中的應(yīng)用,項(xiàng)目組針對(duì)朔黃重載鐵路隧道的斷面尺寸、襯砌狀態(tài)和內(nèi)部環(huán)境進(jìn)行優(yōu)化設(shè)計(jì),提出隧道襯砌表觀病害智能檢測(cè)系統(tǒng)。該系統(tǒng)可安裝在朔黃鐵路軌道作業(yè)車、接觸網(wǎng)檢修作業(yè)車以及專用檢測(cè)車上。
該檢測(cè)系統(tǒng)采用機(jī)器視覺(jué)技術(shù)和激光掃描技術(shù),實(shí)現(xiàn)對(duì)襯砌表觀狀態(tài)和空間尺寸的快速檢測(cè),獲取高清晰度的襯砌表觀圖像和三維點(diǎn)云數(shù)據(jù)。
車載硬件子系統(tǒng)包括高清圖像采集模塊、限界檢測(cè)模塊、車體運(yùn)動(dòng)補(bǔ)償模塊、紅外相機(jī)模塊、道床狀態(tài)檢測(cè)模塊、數(shù)據(jù)采集及存儲(chǔ)模塊、里程及同步模塊等。
高清圖像采集模塊由多個(gè)線陣相機(jī)、工業(yè)鏡頭和激光照明組件構(gòu)成。線陣相機(jī)具有動(dòng)態(tài)變化范圍大,圖像畸變小、高速圖像采集不易拖尾等優(yōu)點(diǎn),因此在連續(xù)圖像采集領(lǐng)域中得到廣泛應(yīng)用。根據(jù)朔黃鐵路全線隧道斷面尺寸及結(jié)構(gòu)特點(diǎn),通過(guò)合理設(shè)置相機(jī)的角度、鏡頭焦距,提出系統(tǒng)的相機(jī)布置方案。
為了檢測(cè)隧道的全幅斷面,采用多個(gè)相機(jī)交叉布局的方式,如圖1所示。工作距離在1.5~4.2 m,相機(jī)視野為30°~70°,相機(jī)視野搭接范圍約20 cm,圖像分辨率為亞毫米級(jí)。
圖1 相機(jī)布局
因隧道斷面尺寸大,進(jìn)出隧道口光照變化大,采用激光掃描技術(shù)對(duì)隧道斷面進(jìn)行測(cè)量。根據(jù)車輛尺寸和結(jié)構(gòu),采用兩套激光掃描傳感器分體式安裝(圖2),可對(duì)隧道斷面一次全幅檢測(cè),得到掃描面內(nèi)不同角度反射點(diǎn)的距離值。
圖2 激光掃描傳感器分體式安裝
檢測(cè)系統(tǒng)通過(guò)人工智能及數(shù)字圖像處理技術(shù)自動(dòng)識(shí)別襯砌開(kāi)裂、剝落掉塊、滲漏水、結(jié)冰等病害。
重載鐵路隧道基礎(chǔ)設(shè)施復(fù)雜,襯砌表面信息豐富多樣,背景噪聲復(fù)雜。對(duì)于一些光照條件較差區(qū)域,單純利用圖像識(shí)別,準(zhǔn)確率會(huì)受到影響。而激光點(diǎn)云識(shí)別可直接獲取物體三維坐標(biāo)信息且不易受光照等條件的影響,作為圖像識(shí)別方法的有益補(bǔ)充。
在既有隧道襯砌表觀病害樣本庫(kù)的基礎(chǔ)上,增加了重載鐵路隧道病害樣本類型及數(shù)量。針對(duì)生成的圖像特征圖和點(diǎn)云特征圖,設(shè)計(jì)了基于多層網(wǎng)絡(luò)結(jié)構(gòu)的高清圖像和激光點(diǎn)云融合算法。
采用該算法對(duì)隧道襯砌表觀病害進(jìn)行智能識(shí)別,主要包括以下三步。
1)數(shù)據(jù)集建立
為了解決隧道襯砌表觀病害的分割識(shí)別問(wèn)題,需要建立樣本庫(kù)。利用標(biāo)注工具label-image-CARS對(duì)每張圖像進(jìn)行像素級(jí)的語(yǔ)義分割標(biāo)注,使用不同顏色標(biāo)注病害數(shù)據(jù),構(gòu)成隧道病害數(shù)據(jù)集crack-v3。其主要包括滲漏水、裂縫、剝落掉塊等病害,見(jiàn)圖3。
圖3 隧道病害數(shù)據(jù)集
2)特征提取
對(duì)輸入的高清圖像數(shù)據(jù),使用殘差網(wǎng)絡(luò)(Residual Network,ResNet)50提取其特征。ResNet 50是用于圖像識(shí)別的,需對(duì)其微調(diào)再用于圖像特征提取。舍去ResNet 50的兩個(gè)池化層和全連接層。ResNet 50中除第一層外其余每一層都是殘差網(wǎng)絡(luò)結(jié)構(gòu)。第1個(gè)卷積層包含64個(gè)7×7卷積核,第2個(gè)—第5個(gè)卷積層分別包含3、4、6、3個(gè)殘差模塊,見(jiàn)表1。
表1 ResNet50結(jié)構(gòu)
利用體素特征學(xué)習(xí)層和特征提取器提取點(diǎn)云特征。首先采用投影、直接卷積以及柵格化處理的方式對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行預(yù)處理;然后統(tǒng)計(jì)每個(gè)柵格內(nèi)各個(gè)點(diǎn)的坐標(biāo)信息,利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)柵格內(nèi)每個(gè)點(diǎn)的特征信息聚合得到點(diǎn)對(duì)點(diǎn)的特征;最后基于3D卷積與2D卷積的特征提取器,完成點(diǎn)云特征的提取。
3)病害識(shí)別
對(duì)于同一時(shí)刻的點(diǎn)云特征圖和圖像特征圖,首先根據(jù)數(shù)據(jù)采集系統(tǒng)中圖像與點(diǎn)云坐標(biāo)系之間的關(guān)系,以及兩者特征圖的下采樣倍數(shù),得到兩種數(shù)據(jù)間的空間變換關(guān)系矩陣。再利用該矩陣將圖像特征圖映射到點(diǎn)云特征俯視圖上,得到含有圖像和點(diǎn)云信息的融合特征圖,實(shí)現(xiàn)二者數(shù)據(jù)在不同層次的深度融合,見(jiàn)圖4。將融合特征圖輸入到候選區(qū)域網(wǎng)絡(luò)得到可能存在目標(biāo)的候選框,最后采用金字塔場(chǎng)景分析網(wǎng)絡(luò)(Pyramid Scene Parsing Network,PSPNet)對(duì)全局語(yǔ)義信息進(jìn)行分割解析,實(shí)現(xiàn)對(duì)裂縫、剝落掉塊、滲漏水、結(jié)冰等襯砌表觀病害的特征提取和自動(dòng)識(shí)別。
圖4 融合網(wǎng)絡(luò)模型
為了評(píng)估該算法對(duì)隧道病害的識(shí)別效果,利用樣本庫(kù)進(jìn)行了測(cè)試驗(yàn)證,網(wǎng)絡(luò)訓(xùn)練環(huán)境為ubuntu16.04系統(tǒng)和Pytorch框架,顯卡為GeForce GTX Titan X。試驗(yàn)分成兩組。第一組采用高清圖像數(shù)據(jù),采用ResNet50作為特征提取網(wǎng)絡(luò)生成特征圖,輸入PSPNet進(jìn)行解析識(shí)別;第二組將融合特征圖輸入到候選區(qū)域網(wǎng)絡(luò)和PSPNet進(jìn)行解析識(shí)別。
隨著鐵路隧道現(xiàn)場(chǎng)檢測(cè)里程的增加,樣本庫(kù)的數(shù)據(jù)不斷擴(kuò)增,目前構(gòu)建了14 646個(gè)樣本庫(kù)。隨機(jī)分割80%和20%的數(shù)據(jù)進(jìn)行訓(xùn)練,并且使用單獨(dú)提供的2 000個(gè)樣本作為測(cè)試集進(jìn)行評(píng)估,手動(dòng)標(biāo)注真值。網(wǎng)絡(luò)訓(xùn)練參數(shù):學(xué)習(xí)率為0.000 1,batchsize設(shè)置為8,迭代次數(shù)為10 000次。使用Adam梯度下降算法優(yōu)化訓(xùn)練參數(shù)。
分別采用ResNet 50-PSPNet(僅采用高清圖像數(shù)據(jù))、融合算法進(jìn)行病害識(shí)別,測(cè)試結(jié)果見(jiàn)表2??梢?jiàn):與僅采用高清圖像數(shù)據(jù)識(shí)別病害相比,利用融合算法識(shí)別病害,無(wú)論是精確率還是召回率均有所提高,融合算法經(jīng)過(guò)優(yōu)化訓(xùn)練在測(cè)試集中精確率可達(dá)90.7%。
表2 不同算法的病害識(shí)別精度對(duì)比
根據(jù)朔黃全線隧道斷面尺寸、結(jié)構(gòu)特點(diǎn)以及現(xiàn)場(chǎng)需求,提出了重載鐵路隧道襯砌表觀病害智能檢測(cè)系統(tǒng)。采用線陣相機(jī)、工業(yè)鏡頭和激光照明組件構(gòu)成圖像采集一體化成像模塊,通過(guò)交叉布局方式實(shí)現(xiàn)了高分辨率圖像的快速采集;利用激光掃描技術(shù)對(duì)隧道斷面進(jìn)行測(cè)量,獲取激光點(diǎn)云數(shù)據(jù)。
在既有隧道襯砌表觀病害樣本庫(kù)的基礎(chǔ)上,增加了重載鐵路隧道病害樣本類型及數(shù)量。研發(fā)了融合高清圖像和激光點(diǎn)云數(shù)據(jù)的重載鐵路隧道結(jié)構(gòu)病害識(shí)別算法。首先引入圖像特征提取網(wǎng)絡(luò)和基于體素特征學(xué)習(xí)層的點(diǎn)云特征提取網(wǎng)絡(luò),并利用空間變換融合算法得到融合特征圖,然后利用候選區(qū)域網(wǎng)絡(luò)和PSPNet對(duì)融合特征圖進(jìn)行檢測(cè)識(shí)別,實(shí)現(xiàn)了對(duì)隧道襯砌表觀病害的特征提取和自動(dòng)識(shí)別。采用該算法不僅提高了病害識(shí)別精度,而且有效提升了重載鐵路隧道運(yùn)維的智能化程度和綜合檢測(cè)水平。