(中國飛機強度研究所，西安 710065)

在無損檢測領(lǐng)域，目視檢測是指用人眼對被檢測目標(biāo)表面進行直接觀察，或借助內(nèi)窺鏡、鏡子等光學(xué)設(shè)備進行間接觀察。目視檢測具有門檻低、易操作、成本低等優(yōu)點，是結(jié)構(gòu)損傷檢測中應(yīng)用較為廣泛的技術(shù)之一，如在空客系列飛機的外場運營維護中，其目視檢測程序文件的比例呈現(xiàn)遞增的趨勢，A350寬體客機的目視檢測程序比例已達到17%[1]。目視檢測與技術(shù)人員的能力、經(jīng)驗等主觀因素密切相關(guān)，且極易受到站位、光線和溫度等客觀條件的影響，小尺寸損傷的檢出概率和檢測精度存在明顯不足。

近年來，隨著信息科學(xué)和人工智能等新興產(chǎn)業(yè)的蓬勃發(fā)展，計算機技術(shù)越來越多地應(yīng)用于工業(yè)、農(nóng)業(yè)和現(xiàn)代服務(wù)業(yè)等國民經(jīng)濟生產(chǎn)的各個環(huán)節(jié)。機器視覺技術(shù)是在攝像機等圖像感知設(shè)備的基礎(chǔ)上，使計算機具有觀察、識別和認知世界的能力[2]。在一些不適用于人工作業(yè)的危險工作環(huán)境或人工視覺難以滿足測量或檢測要求的場景，機器視覺已得到了廣泛應(yīng)用。對于現(xiàn)代規(guī)?；I(yè)生產(chǎn)，人工檢測產(chǎn)品質(zhì)量效率低且精度不高，機器視覺技術(shù)則能夠有效提高生產(chǎn)效率和檢測精度，進而縮短產(chǎn)品生產(chǎn)周期，節(jié)約運營成本[3]。

筆者在梳理國內(nèi)外機器視覺技術(shù)發(fā)展過程的基礎(chǔ)上，重點綜述了機器視覺技術(shù)在結(jié)構(gòu)損傷檢測中的研究成果和應(yīng)用進展，并結(jié)合飛機結(jié)構(gòu)損傷原位檢測的工程需求，對機器視覺技術(shù)的未來發(fā)展趨勢進行了探討和展望。

1 機器視覺的基本概念和發(fā)展歷程

1.1 機器視覺的基本概念和典型構(gòu)成

機器視覺是一種集成攝像機、光源、處理器和檢測算法等軟硬件的非接觸式光學(xué)傳感系統(tǒng)，能夠自動從采集到的圖像中獲取信息或產(chǎn)生控制動作[4]。利用計算機及其外設(shè)能夠模擬人眼的視覺功能和大腦的初級判斷功能，從圖像或圖像序列中提取信息，并進行處理，最終用于檢測、測量和控制中。典型的工業(yè)機器視覺系統(tǒng)構(gòu)成如圖1所示，該系統(tǒng)主要由視覺、機械和數(shù)據(jù)處理3大模塊構(gòu)成，其中，視覺模塊利用光源、鏡頭、工業(yè)相機和圖像采集卡等硬件設(shè)備實現(xiàn)圖像的采集，機械模塊負責(zé)視覺模塊或被檢目標(biāo)的運動和控制，數(shù)據(jù)處理模塊則是利用工控機運行測量算法或檢測算法，實現(xiàn)檢測結(jié)果的處理和輸出[5]。在典型的機器視覺檢測過程中，首先使用工業(yè)相機采集被測目標(biāo)的二維或三維圖像，圖像數(shù)據(jù)采集卡將模擬圖像信息轉(zhuǎn)換為數(shù)字信號傳送至上位機，隨后集成測量或檢測算法程序的數(shù)字圖像處理系統(tǒng)會根據(jù)圖像的像素分布、亮度、標(biāo)志點和顏色等信息，運算出被測目標(biāo)的損傷、缺陷、位姿和形態(tài)等信息，最后根據(jù)運算得到的信息輸出測量或檢測結(jié)果。

圖1 典型的工業(yè)機器視覺系統(tǒng)構(gòu)成示意

1.2 機器視覺的發(fā)展歷程

機器視覺的起源最早可追溯到20世紀60年代，1965年，ROBERTS等通過計算機程序從數(shù)字圖像中提取出立方體、楔形體、棱柱體等多面體的三維結(jié)構(gòu)，并對物體形狀及空間關(guān)系進行描述，開創(chuàng)了以理解三維場景為目的的機器視覺研究。20世紀80年代以來，隨著激光技術(shù)、CCD(電荷耦合元件)技術(shù)的相繼問世和計算機科學(xué)的飛速發(fā)展，機器視覺技術(shù)隨著工業(yè)自動化和智能化的發(fā)展而日趨完善。到了21世紀，機器視覺技術(shù)已經(jīng)大規(guī)模地應(yīng)用于圖像處理[6]、醫(yī)學(xué)診斷[7]、智能交通[8]、無人駕駛[9]、工業(yè)測量[10]和無損檢測[11-13]等多個領(lǐng)域。

回顧機器視覺技術(shù)的發(fā)展歷史，大致可分為以下3個階段:① 理論探索階段,20世紀90年代以前，眾多高等院校和研究所已逐步開展面向圖像處理和模式識別的理論研究，如DAVID提出了著名的計算機視覺理論(Marr視覺理論)，成為機器視覺研究領(lǐng)域中的重要理論框架，隨后基于感知特征群的物體識別理論框架、主動視覺理論框架、視覺集成理論框架等新概念、新理論不斷涌現(xiàn)，為機器視覺技術(shù)的工程化應(yīng)用打下了堅實基礎(chǔ)；② 逐步應(yīng)用階段，20世紀90年代至21世紀初，機器視覺技術(shù)逐步開始得到推廣，并逐步應(yīng)用于機加工、汽車零部件裝配、機械零件表面粗糙度的測量、金屬焊接質(zhì)量檢測及電路板尺寸標(biāo)定等諸多工業(yè)領(lǐng)域；③ 高速發(fā)展階段，進入21世紀以來，隨著高清工業(yè)相機、高性能計算機和人工智能等新興技術(shù)的涌現(xiàn)，機器視覺已突破了傳統(tǒng)的檢測模式和應(yīng)用領(lǐng)域，向著更深層、更為多樣化的領(lǐng)域擴展。從二值圖像采集到高分辨率、多灰度級的圖像處理，從二維特征提取到三維信息解耦，機器視覺在遷移學(xué)習(xí)、支持向量機和卷積神經(jīng)網(wǎng)絡(luò)等人工智能技術(shù)的驅(qū)動下，正逐步涉足和突破更多復(fù)雜的目標(biāo)識別、高精度測量和高效檢測任務(wù)。

2 機器視覺在結(jié)構(gòu)損傷檢測中的應(yīng)用進展

機器視覺技術(shù)在工業(yè)領(lǐng)域的應(yīng)用主要體現(xiàn)在以下3個方面：視覺測量、視覺引導(dǎo)和視覺檢測[2]。視覺測量主要用于精度要求較高(毫米級和微米級)、人眼觀察無法實現(xiàn)的一些零部件尺寸的精確測量，如精密螺栓加工過程中采用機器視覺技術(shù)對零件尺寸進行實時測量，用以控制連接間隙，保證加工精度；視覺引導(dǎo)是利用機器視覺快速準(zhǔn)確地找到目標(biāo)零件，引導(dǎo)機器人機械臂準(zhǔn)確抓取，如視覺引導(dǎo)自動化裝配，通過掃描工具箱內(nèi)隨機分布的零件得到三維圖像，采用模式識別的方式，在三維圖像中獲取機械臂抓取工件的最佳點，實現(xiàn)自動化裝配生產(chǎn)；視覺檢測則是圖像采集和邏輯判定算法的綜合應(yīng)用，用于檢測產(chǎn)品或構(gòu)件有無質(zhì)量問題，如對裂紋、表面劃傷、凹坑、斷釘?shù)冉Y(jié)構(gòu)表面損傷的檢測和定量表征。

總體而言，機器視覺技術(shù)已廣泛應(yīng)用于機械加工、裝配、檢驗檢測和狀態(tài)監(jiān)測等多個工業(yè)領(lǐng)域，極大地提高了工業(yè)生產(chǎn)中的柔性和自動化程度。國內(nèi)外學(xué)者在機器視覺測量、引導(dǎo)和檢測方面開展了大量研究工作。筆者以機器視覺技術(shù)在飛機結(jié)構(gòu)損傷檢測中的應(yīng)用為切入點，重點介紹了該技術(shù)在飛機結(jié)構(gòu)損傷視覺巡檢、原位在線視覺監(jiān)測及智能視覺檢測等方面的應(yīng)用進展。

2.1 飛機結(jié)構(gòu)損傷實時視覺巡檢

飛機結(jié)構(gòu)的周期性檢測一直是外場飛機運營維護的重點環(huán)節(jié)，蒙皮、機翼和操縱面等飛機結(jié)構(gòu)長期暴露在惡劣的外界環(huán)境中，飛行中飛機承受復(fù)雜的交變載荷和外物沖擊，極易出現(xiàn)裂紋和各種沖擊損傷，給飛行安全帶來重大安全隱患。針對這一問題，BAHR等在美國聯(lián)邦航空局的支持下，研發(fā)出了基于真空吸盤機器人的視覺巡檢系統(tǒng)ROSTAM，首次實現(xiàn)了飛機蒙皮結(jié)構(gòu)表面裂紋的自動視覺巡檢。新西蘭航空與Invert Robotics公司合作研發(fā)了用于機翼和操縱面檢測的遠程視覺巡檢系統(tǒng),該系統(tǒng)如圖2(a)所示，技術(shù)人員只需將搭載高清攝像頭的機器人布置在巡檢區(qū)域，即可通過遠程控制實現(xiàn)巡檢區(qū)域的高清圖像采集，進一步結(jié)合識別算法可實現(xiàn)飛機結(jié)構(gòu)表面裂紋和沖擊損傷的有效檢出，巡檢效率和可靠性較傳統(tǒng)目視檢測有了巨大提升。為解決外場飛機人工檢測周期長、成本高、可達性差和漏檢率高等問題，空客公司開發(fā)了基于機器視覺的新型無人機視覺檢測系統(tǒng)，該系統(tǒng)如圖2(b)所示，用于機庫內(nèi)飛機機身的檢測，該系統(tǒng)配備了激光傳感器，可攜帶視覺檢測硬件系統(tǒng)，根據(jù)預(yù)設(shè)路徑進行巡查，僅需0.5 h即可獲得整架飛機的外部結(jié)構(gòu)圖像，并將圖像實時上傳至視覺分析系統(tǒng)，與原始圖像進行對比匹配，可實現(xiàn)表面損傷的有效檢出，極大地提高了飛機結(jié)構(gòu)表面損傷的檢測效率和檢測精度。

圖2 機器視覺系統(tǒng)外觀

圖3 5G離朱損傷巡檢機器人外觀及結(jié)構(gòu)損傷巡檢系統(tǒng)

目前，國內(nèi)在飛機結(jié)構(gòu)損傷視覺巡檢方面的應(yīng)用研究還處于起步階段，相關(guān)工作主要聚焦于機器視覺理論、方法和需求調(diào)研等試驗性研究中，缺少與工程現(xiàn)場相結(jié)合的應(yīng)用成果。筆者單位將視覺巡檢技術(shù)應(yīng)用于飛機全機結(jié)構(gòu)周期性檢測中，開發(fā)了面向國產(chǎn)C919全機結(jié)構(gòu)疲勞試驗的新型損傷視覺巡檢系統(tǒng)——5G離朱(見圖3)。巡檢系統(tǒng)通過軌道和機械臂在機艙內(nèi)移動，利用超高分辨率相機成像采集系統(tǒng)，結(jié)合特征提取算法，可實現(xiàn)0.2 mm以上損傷的有效檢出和定量測量，并通過5G技術(shù)將數(shù)據(jù)高速上傳至云端服務(wù)器。該系統(tǒng)可24 h不間斷地巡檢全艙百余個重點檢測點位，有效覆蓋機艙內(nèi)近80%的疲勞薄弱部位，并對損傷進行定期跟蹤拍攝，有效提升了全機重點結(jié)構(gòu)損傷檢測的效率和智能化程度。

2.2 飛機結(jié)構(gòu)原位損傷在線視覺監(jiān)測

在飛機結(jié)構(gòu)損傷容限和耐久性試驗過程中，對疲勞裂紋擴展進行跟蹤監(jiān)測是金屬結(jié)構(gòu)損傷容限設(shè)計和壽命預(yù)測的重點任務(wù)之一。對于傳統(tǒng)目視檢測，為保證檢測人員的安全，會將疲勞試驗與其表面裂紋觀測獨立開來，即當(dāng)載荷循環(huán)一定次數(shù)后停止加載，通過直接目視或借助內(nèi)窺鏡、反光鏡和放大鏡等工具進行目視檢測。傳統(tǒng)目視檢測是在一定的循環(huán)周次后進行，難以實時連續(xù)地跟蹤、記錄裂紋擴展的全過程，且觀測時需頻繁裝卸組件，十分繁瑣和費時。近年來，隨著機器視覺技術(shù)的不斷成熟，其實時性強、成本低、精度高和適用范圍廣等優(yōu)勢日益凸顯，國內(nèi)外許多科研機構(gòu)和試驗生產(chǎn)單位已將機器視覺技術(shù)應(yīng)用到飛機結(jié)構(gòu)表面裂紋檢測中。VANLANDUIT等[14]提出了一種基于數(shù)字圖像相關(guān)技術(shù)的裂紋在線監(jiān)測方法，通過對不同時間點采集的圖像進行目標(biāo)匹配和紋理對比分析，實現(xiàn)了航空鋁合金構(gòu)件疲勞裂紋擴展過程的不停機實時監(jiān)測。VINCITORIO等[15]利用非均勻熱載荷代替均勻熱載荷作為激勵源，提出了基于一種無透鏡傅里葉數(shù)字全息干涉技術(shù)的光學(xué)在線裂紋檢測方法，克服了在相位展開圖中無法觀察到干涉條紋位移的問題，有效改善了粗糙表面裂紋檢測的在線檢測精度。

在國內(nèi)，高紅俐等[16]設(shè)計了基于機器視覺的疲勞裂紋擴展測量系統(tǒng)，系統(tǒng)組成如圖4所示，主要由疲勞試驗機、圖像采集裝置、攝像頭安裝裝置及攝像頭運動控制器、計算機及其攝像機標(biāo)定相關(guān)軟件等模塊構(gòu)成。測量過程中，首先將試驗件裝夾到疲勞試驗機上，打開照明光源，調(diào)節(jié)高清攝像機至需要監(jiān)測的位置，通過圖像采集卡將圖像實時傳輸至計算機，即可在裂紋測量軟件平臺上完成疲勞裂紋的實時在線視覺監(jiān)測。筆者單位將機器視覺技術(shù)應(yīng)用于某型號翼身組合體疲勞試驗中，開發(fā)了用于預(yù)制裂紋擴展實時監(jiān)測和高精度測量的視覺監(jiān)測系統(tǒng)VIS-20(見圖5)，系統(tǒng)的硬件模塊用于圖像的實時采集，由高清工業(yè)相機、定焦鏡頭、藍光光源、夾具和工控機等組件組成；軟件部分則主要負責(zé)拍攝時間設(shè)置、幾何坐標(biāo)系標(biāo)定、曲面校正、裂紋長度精確測量和統(tǒng)計分析等工作。該視覺監(jiān)測系統(tǒng)在節(jié)約大量人力和時間成本的同時，有效解決了飛機疲勞試驗過程中裂紋擴展難以實時監(jiān)測的瓶頸問題。

圖4 疲勞裂紋擴展測量系統(tǒng)組成

圖5 視覺監(jiān)測系統(tǒng)VIS-20的攝像模塊和裂紋擴展時序圖

2.3 基于深度學(xué)習(xí)的原位損傷智能視覺檢測

隨著視覺檢測技術(shù)應(yīng)用場景的不斷擴展，傳統(tǒng)基于圖像處理和簡單機器學(xué)習(xí)算法的檢測技術(shù)在處理多特征、多語義和復(fù)雜約束問題時出現(xiàn)了明顯不足。許多國內(nèi)外學(xué)者已經(jīng)將深度學(xué)習(xí)，特別是深度卷積神經(jīng)網(wǎng)絡(luò)的方法應(yīng)用于裂紋檢測領(lǐng)域。郭亞萍等[17]利用SegNet網(wǎng)絡(luò)實現(xiàn)了對工件表面裂紋的檢測；DENG等[18]提出了卷積神經(jīng)網(wǎng)絡(luò)(CNN)與基于變分模式相結(jié)合的裂紋檢測方法，解決了電纜早期裂紋的檢測問題。根據(jù)處理表面裂紋檢測問題方式的不同，基于深度學(xué)習(xí)的智能視覺檢測技術(shù)(見圖6)可分為基于圖像分類、基于目標(biāo)檢測和基于像素級分割方法3大類[19]?；趫D像分類的方法能夠很好地避免原始圖像分辨率低、質(zhì)量差的影響，但此類方法只能做到有無裂紋的分類，無法對裂紋的形狀、大小及其位置等進行判斷；與基于圖像分類的方法相比，基于目標(biāo)檢測的裂紋檢測方法的識別精度和粒度大幅度提高，但裂紋的大小及紋理等重要信息仍然無法得到；基于像素級分割方法是3類方法中精度最高的，通過對輸入圖像中的每個像素點都劃分相對應(yīng)的類別，既可對目標(biāo)進行分類，又可得到裂紋的精確位置和結(jié)構(gòu)。

圖6 典型智能視覺檢測技術(shù)

對于結(jié)構(gòu)損傷檢測，特別是飛機結(jié)構(gòu)損傷檢測，不僅關(guān)注損傷的有無，還要求對損傷的大小和位置進行精確測量，因此采用基于像素級分割的深度學(xué)習(xí)算法是最為合適的。目前，此類方法已被用于道路、橋梁和飛機結(jié)構(gòu)裂紋的視覺檢測。針對背景紋理較復(fù)雜，噪聲干擾大且分布無規(guī)律的裂紋圖像，李良福等[20]提出的與滑動窗口算法相結(jié)合的基于卷積神經(jīng)網(wǎng)絡(luò)的深度橋梁裂紋分類(DBCC)模型，可用于橋梁背景面元和橋梁裂紋面元的識別，通過添加局部響應(yīng)值歸一層和概率區(qū)分閾值，在一定程度上避免了圖像亮度不均勻和噪聲所帶來的誤檢與漏檢問題。為實現(xiàn)疲勞試驗中飛機結(jié)構(gòu)裂紋損傷的快速識別檢測，筆者單位提出了一種改進的全卷積網(wǎng)絡(luò)(FCN)模型，網(wǎng)絡(luò)模型的可視化結(jié)果如圖7所示,該模型采用類似U-Net的編碼器-解碼器結(jié)構(gòu)，以ResNet-34為骨干(在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練)。模型對原始的ResNet-34做了兩處修改，使其能夠適應(yīng)目標(biāo)提取的像素級預(yù)測任務(wù)，刪除了ResNet-34中的平均池化和全連接層，刪除了最后一個殘差塊，因此最終的特征圖大小為輸入圖像的1/16，Dblock模塊主要由級聯(lián)和并聯(lián)模式的擴張卷積組成，進一步擴大了神經(jīng)網(wǎng)絡(luò)的感受野。基于試驗采集到的34張圖像進行驗證，從可視化結(jié)果來看，深度學(xué)習(xí)模型能夠準(zhǔn)確提取和識別出裂紋損傷，損傷識別準(zhǔn)確率已達到90%以上，但是裂紋在邊緣處有明顯外擴，即存在圖像過分割現(xiàn)象。在裂紋邊緣處預(yù)測結(jié)果不理想也是目前分割任務(wù)普遍存在的問題，原因主要有網(wǎng)絡(luò)的下采樣過多，原始標(biāo)簽不準(zhǔn)確，缺乏邊緣保持策略等。

3 結(jié)語與展望

在計算機科學(xué)和高性能硬件設(shè)備的驅(qū)動下，機器視覺技術(shù)得到了前所未有的發(fā)展，筆者在簡要梳理國內(nèi)外機器視覺技術(shù)發(fā)展歷程的基礎(chǔ)上，重點綜述了機器視覺技術(shù)在結(jié)構(gòu)損傷檢測中的研究成果和應(yīng)用進展。總體而言，機器視覺技術(shù)已成為結(jié)構(gòu)損傷檢測領(lǐng)域最具潛力的發(fā)展方向之一，特別是在人工智能技術(shù)的推動下，智能視覺技術(shù)有望大規(guī)模替代人工目視，用于結(jié)構(gòu)表面損傷的快速精細化檢測。新興技術(shù)的應(yīng)用和普及必然是一個機遇與挑戰(zhàn)并存的發(fā)展過程，對于飛機結(jié)構(gòu)而言，機體結(jié)構(gòu)表面存在大量鉚釘、拐角和多細節(jié)復(fù)雜結(jié)構(gòu)區(qū)，加之光線條件、試驗加載和偶發(fā)震動等不利因素的影響，機器視覺技術(shù)在飛機結(jié)構(gòu)損傷檢測領(lǐng)域的成熟應(yīng)用還有以下關(guān)鍵問題需要解決。

(1) 微觀裂紋的檢測能力有待提高。在結(jié)構(gòu)損傷早期，結(jié)構(gòu)表面初始裂紋的尺寸很小，存在視覺特征較弱、裂紋與背景之間對比度低、收集到的裂紋圖像信息少等問題。采用常規(guī)的視覺檢測技術(shù)很難實現(xiàn)百微米量級微小裂紋的及時有效檢出，容易出現(xiàn)誤檢和漏檢的情況。

(2) 損傷數(shù)據(jù)庫有待進一步擴充。在裂紋檢測算法的實際飛機結(jié)構(gòu)檢測應(yīng)用中，部分場景本身存在的裂紋數(shù)目少，而且裂紋數(shù)據(jù)標(biāo)注工作量極大，導(dǎo)致現(xiàn)有飛機結(jié)構(gòu)損傷數(shù)據(jù)庫體量偏少，很難有效支撐智能視覺檢測中深度學(xué)習(xí)模型的訓(xùn)練和優(yōu)化，檢測系統(tǒng)的泛化能力和檢測精度較差。

(3) 實際應(yīng)用中的實時檢測問題有待解決。相比于傳統(tǒng)圖像處理或機器學(xué)習(xí)算法，現(xiàn)有智能視覺檢測系統(tǒng)的損傷檢測算法大多采用全卷積操作，計算量較大，需要足夠的硬件資源作為支撐。