陳星昊，舒 暢，黃 倫，李念林

(1.西南技術(shù)工程研究所，重慶 400039； 2.環(huán)境效應(yīng)與防護(hù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，重慶 400039； 3.海南萬寧大氣環(huán)境材料腐蝕國(guó)家野外科學(xué)觀測(cè)研究站，海南 萬寧 571522)

1 引言

裝備環(huán)境效應(yīng)是指裝備在其壽命周期內(nèi)的各種單一或組合環(huán)境作用下，引起裝備的材料、元器件、結(jié)構(gòu)件等出現(xiàn)疲勞、腐蝕、磨損、老化、性能退化或降級(jí)的現(xiàn)象。裝備環(huán)境效應(yīng)的采集與分析是裝備環(huán)境適應(yīng)性評(píng)價(jià)的基礎(chǔ)，是保障裝備在壽命周期內(nèi)正常使用的關(guān)鍵。在裝備環(huán)境效應(yīng)中，表觀損傷是其中最直接的體現(xiàn)。通過對(duì)表觀損傷的檢測(cè)與分析，可以在一定程度上對(duì)裝備的性能、功能的衰退起到預(yù)警作用。如通過表面防護(hù)涂層環(huán)境效應(yīng)的表觀損傷分析，可判定部組件涂層邊緣起泡時(shí)，該處的基體金屬有一定程度的腐蝕，這對(duì)裝備部組件的維護(hù)維修起到了預(yù)示預(yù)警作用。裝備環(huán)境效應(yīng)的采集與分析對(duì)于裝備環(huán)境適應(yīng)性評(píng)價(jià)的重要性毋庸置疑，但現(xiàn)階段，裝備環(huán)境效應(yīng)的采集與分析主要依靠具有一定評(píng)定經(jīng)驗(yàn)的專家人工采集及分析評(píng)定，其評(píng)定方式具有較大的主觀性，評(píng)定結(jié)果與評(píng)定專家經(jīng)驗(yàn)密切相關(guān)，不同的專家可能會(huì)產(chǎn)生不同的評(píng)定結(jié)果。另一方面，當(dāng)需要采集大量表觀損傷圖像進(jìn)行分析評(píng)定時(shí)，人工操作往往會(huì)耗費(fèi)大量的時(shí)間，并且還會(huì)影響采集及分析評(píng)定工作的準(zhǔn)確性和有效性。但隨著近年來圖像識(shí)別技術(shù)蓬勃的發(fā)展，特別是機(jī)器學(xué)習(xí)和深度學(xué)習(xí)在目標(biāo)檢測(cè)、目標(biāo)分割等問題上的技術(shù)突破，給裝備環(huán)境效應(yīng)檢測(cè)與評(píng)價(jià)工作帶來了新思想，提供了新方案，使得客觀、快速、準(zhǔn)確的評(píng)價(jià)成為可能。

2 圖像識(shí)別技術(shù)研究進(jìn)展

圖像識(shí)別是一門以圖像為研究對(duì)象，利用計(jì)算機(jī)等數(shù)字化的工具，分析處理包含于圖像中的內(nèi)容，從而認(rèn)識(shí)圖像中要檢測(cè)的目標(biāo)的技術(shù)。按照?qǐng)D像識(shí)別技術(shù)一般識(shí)別步驟，其可以分成圖像預(yù)處理、特征提取和學(xué)習(xí)和特征分類等主要內(nèi)容。這幾個(gè)方面的內(nèi)容可涵蓋圖像處理、模式識(shí)別、機(jī)器學(xué)習(xí)等相關(guān)學(xué)科，多學(xué)科的交叉才促使圖像識(shí)別技術(shù)蓬勃發(fā)展。

2.1 圖像處理技術(shù)

圖像處理是指通過計(jì)算機(jī)或其他數(shù)字化手段對(duì)圖像進(jìn)行去噪、增強(qiáng)、復(fù)原、分割和縮放等處理的方法和技術(shù)，其處理后得到的圖像是后續(xù)特征提取的基礎(chǔ)。常見的圖像處理有圖像灰度化與二值化、直方圖均衡化、中值濾波、邊緣檢測(cè)、圖像腐蝕與膨脹等。

彩色圖像的顏色空間主要有RGB、HSV、YUV和HLS等[1]。一張RGB顏色空間的圖像如以黑色為基準(zhǔn)色，并且讓圖中的每個(gè)像素都變成黑色的0%～100%之間的某個(gè)飽和度，則變換后的圖像就是灰度圖。圖像二值化是將其每個(gè)像素點(diǎn)都設(shè)置為0或者255的灰度值，使得變換后的圖像呈現(xiàn)出“非黑即白”的視覺效果。圖像灰度化與二值化的目的是節(jié)約圖像的存儲(chǔ)成本，進(jìn)一步加快圖像處理的時(shí)效性。

圖像直方圖是其灰度分布規(guī)律的一個(gè)統(tǒng)計(jì)，通常會(huì)利用特定的變換函數(shù)進(jìn)行直方圖均衡化等操作。根據(jù)轉(zhuǎn)換后的直方圖對(duì)原圖進(jìn)行修改，則修改后的圖像所占的像素空間會(huì)被拉大，加大了圖像的整體反差，會(huì)突出一些圖像細(xì)節(jié)，從而達(dá)到圖像增強(qiáng)的目的。

中值濾波就是把一張圖像每個(gè)像素點(diǎn)的灰度值轉(zhuǎn)換為其某鄰域內(nèi)所有像素點(diǎn)灰度值的中值。其濾除脈沖影響和圖像掃描噪聲的效果是最好的。圖1展示了中值濾波前后圖像。

圖1 原圖像(a)和中值濾波后的圖像(b)Fig.1 Original image (a) and median filtered image (b)

圖像邊緣是相鄰像素灰度發(fā)生階躍或強(qiáng)烈變化的像素的總集，是區(qū)分前景和背景之間、不同物體之間、不同基元之間的關(guān)鍵因素。其變化類型有階躍型、屋頂型和凸緣型等[2]。

對(duì)于圖像中的噪點(diǎn)和斷裂點(diǎn)，一般會(huì)對(duì)圖像先進(jìn)行形態(tài)學(xué)的膨脹處理，然后再對(duì)圖像進(jìn)行腐蝕處理[3]。這種先膨脹后腐蝕的操作是閉運(yùn)算。用來消除圖像毛刺，平滑形狀邊界，而不改變其面積的操作是開運(yùn)算。

2.2 模式識(shí)別技術(shù)

圖像處理技術(shù)是把圖像中所有的特征給找了出來，但是有的特征對(duì)圖像識(shí)別有用，有的特征對(duì)圖像識(shí)別無用，甚至?xí)蓴_圖像正確識(shí)別分類，如何正確地將特征與圖像匹配起來是非常重要的，模式識(shí)別就是完成特征與圖像匹配的技術(shù)。

模式識(shí)別指的是利用計(jì)算機(jī)等數(shù)字化的機(jī)器設(shè)備自動(dòng)分析，使計(jì)算機(jī)自己識(shí)別事物。例如，識(shí)別人的笑臉時(shí)，事先人為設(shè)定笑臉的特征——“嘴角上揚(yáng)”，那么模式識(shí)別就是比照“嘴角上揚(yáng)”這一特征去尋找出對(duì)應(yīng)的笑臉圖像，完成特征與圖像的自動(dòng)匹配。通過機(jī)器自動(dòng)識(shí)別分析對(duì)象是模式識(shí)別研究的關(guān)鍵，而識(shí)別偏差的大小是評(píng)判模式識(shí)別系統(tǒng)性能的重要指標(biāo)。

2.3 基于深度學(xué)習(xí)的圖像識(shí)別技術(shù)

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)發(fā)展階段，其是淺層學(xué)習(xí)的延伸。典型的淺層學(xué)習(xí)模型包括SVM(支持向量機(jī))、Boosting、MaxEnt(最大熵方法)、高斯混合、Logistic回歸模型等[4]。2006年，Hinton提出了深度學(xué)習(xí)的概念，其作為一種深層神經(jīng)網(wǎng)絡(luò)，是由許多相互獨(dú)立的神經(jīng)元組合而成，每一層的神經(jīng)元都與上一層的神經(jīng)元相連接。例如典型的深度學(xué)習(xí)網(wǎng)絡(luò)DNN，其輸入和輸出都是向量[5]，輸入向量的每個(gè)分量分別對(duì)應(yīng)識(shí)別對(duì)象的一個(gè)特征，而輸出向量的每個(gè)分量對(duì)應(yīng)的是識(shí)別對(duì)象的一個(gè)類別。

基于深度學(xué)習(xí)的圖像識(shí)別技術(shù)按照數(shù)據(jù)標(biāo)簽的不同可以分為全監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和其他學(xué)習(xí)(半監(jiān)督學(xué)習(xí)和弱監(jiān)督學(xué)習(xí))，其分類如圖2所示。

圖2 基于深度學(xué)習(xí)的圖像識(shí)別技術(shù)分類框圖Fig.2 Classification block diagram of image recognition technology based on deep learning

2.3.1基于表征的全監(jiān)督學(xué)習(xí)

將帶有標(biāo)簽的圖像輸入至模型中，模型通過學(xué)習(xí)訓(xùn)練，其會(huì)具備圖像分類、目標(biāo)檢測(cè)及目標(biāo)分割的能力，從而完成對(duì)缺陷圖像的識(shí)別。根據(jù)識(shí)別任務(wù)不同，基于表征的全監(jiān)督學(xué)習(xí)可分為分類網(wǎng)絡(luò)、檢測(cè)網(wǎng)絡(luò)、分割網(wǎng)絡(luò)。

1) 分類網(wǎng)絡(luò)

在真實(shí)的裝備環(huán)境效應(yīng)檢測(cè)與評(píng)價(jià)場(chǎng)景中，不同檢測(cè)對(duì)象的形狀、尺寸、表面紋理、顏色、光線角度和光照強(qiáng)度等因素的巨大差異使裝備環(huán)境表觀損傷分類與評(píng)價(jià)成為一項(xiàng)非常困難的任務(wù)。依靠CNN強(qiáng)大的特征提取能力，可以有效地解決這一難題。運(yùn)用廣泛模型有AlexNet[6]，VGG[7],GoogleNet[8]，ResNet[9]，MobileNet[10]等。根據(jù)分類網(wǎng)絡(luò)實(shí)現(xiàn)任務(wù)的不同，可以將其細(xì)分為3個(gè)小類：利用網(wǎng)絡(luò)直接分類、利用網(wǎng)絡(luò)定位損傷、利用網(wǎng)絡(luò)提取特征。

2014年，奧地利科技研究所采集了光度立體圖像來訓(xùn)練CNN網(wǎng)絡(luò)實(shí)現(xiàn)了軌道表面空洞損傷分類，在鋼軌表面數(shù)據(jù)集上的錯(cuò)誤識(shí)別率僅為1.108%[11]。釜山大學(xué)Park等構(gòu)建了一種CNN分類網(wǎng)絡(luò)，用于自動(dòng)檢測(cè)表面零件上的劃痕、毛刺、磨損等。該網(wǎng)絡(luò)在試驗(yàn)損傷數(shù)據(jù)集上的平均檢測(cè)正確率為98%[12]。紐倫堡大學(xué)采用改進(jìn)的VGG19網(wǎng)絡(luò)用于識(shí)別太陽能面板損傷，識(shí)別率達(dá)到了88.42%[13]。威斯康辛大學(xué)Li等人首先利用基于LBP(Local Binary Pattern)的目標(biāo)檢測(cè)器定位材料的掃描隧道顯微鏡圖像的待檢測(cè)區(qū)域，然后再利用CNN模型對(duì)待檢測(cè)區(qū)域識(shí)別，以獲取表觀損傷具體類型[14]。在面對(duì)多分類問題時(shí)，先采用一個(gè)基礎(chǔ)網(wǎng)絡(luò)進(jìn)行損傷與正常樣本二分類，然后在相同網(wǎng)絡(luò)上共享特征提取部分，修改或增加損傷類別。日本山羊小野田大學(xué)Fusaomi等提出了一種具有兩個(gè)分類分支的網(wǎng)絡(luò)[15]，第一個(gè)分類分支采用SVM分類正常樣本和非正常樣本，第二個(gè)分類分支用來細(xì)分非正常樣本中的7種損傷類別。

利用滑動(dòng)窗口是最簡(jiǎn)單且直觀的定位損傷的方法。曼尼托巴大學(xué)Cha等[16]利用基于滑動(dòng)窗口的CNN分類網(wǎng)絡(luò)實(shí)現(xiàn)了裂紋表面損傷定位。三菱電氣研究室Feng[17]、美國(guó)普渡大學(xué)Chen[18]、韓國(guó)延世大學(xué)Park[19]都采用了相同的方法進(jìn)行了城市建筑物表觀損傷、金屬表面裂紋、路面裂紋的損傷定位。熱力圖也能通過顏色深淺來反映損傷區(qū)域的位置。新加坡國(guó)立大學(xué)Ren等人在2017年利用圖像分塊和特征遷移的方法獲取了每個(gè)分塊屬于損傷的置信度即概率，并將所得到的結(jié)果轉(zhuǎn)換成了熱力圖[20]。

如果給分類網(wǎng)絡(luò)額外添加一個(gè)分割圖像分支，構(gòu)成多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)，就能完成分類和分割2種任務(wù)。斯洛文尼亞盧布爾雅那大學(xué)Racki等人設(shè)計(jì)了一個(gè)擁有分類和分割功能的多任務(wù)CNN結(jié)構(gòu)的模型來識(shí)別表觀損傷，其在DAGM2007數(shù)據(jù)集上取得了非常好的效果[21]。

許多研究者利用CNN提取特征，然后將獲取到的特征輸入到各種分類器中進(jìn)行分類。新加坡科技設(shè)計(jì)大學(xué)Malekzadeh等[22]利用VGG的fc6層的輸出作為特征輸入到SVM中，實(shí)現(xiàn)了飛機(jī)蒙皮損傷的分類，其精度達(dá)到了96%。

2) 檢測(cè)網(wǎng)絡(luò)

目標(biāo)檢測(cè)是為了獲取精確的位置和類別信息，其可以分為two stage網(wǎng)絡(luò)和one stage網(wǎng)絡(luò)。圖3是Faster R-CNN示意圖。兩者區(qū)別是前者需要預(yù)先框選出可能包含損傷的區(qū)域，再進(jìn)行目標(biāo)檢測(cè)；后者直接利用提取的特征來預(yù)測(cè)損傷的位置和類別。

圖3 Faster R-CNN示意圖Fig.3 Schematic diagram of Faster R-CNN

two stage 損傷檢測(cè)網(wǎng)絡(luò)首先通過backbone網(wǎng)絡(luò)識(shí)別輸入圖像的特征圖，進(jìn)一步使用RPN計(jì)算錨框置信度，得到候選框，將候選框區(qū)域的特征圖進(jìn)行池化后輸入網(wǎng)絡(luò)，最終得到損傷的定位和損傷類別的結(jié)果。加拿大曼尼拖巴大學(xué)Cha等人早在2017年就將Faster R-CNN應(yīng)用到了橋梁表觀損傷的定位，模型的準(zhǔn)確值達(dá)到了87.8%[23]。

one stage損傷檢測(cè)網(wǎng)絡(luò)大致可分為SSD和YOLO兩種，兩者都是將圖像直接作為網(wǎng)絡(luò)的輸入，最后在輸出層回歸邊界框的位置即損傷區(qū)域的位置。SSD網(wǎng)絡(luò)還引入了特征金字塔模型，其可從不同尺度的特征圖中來預(yù)測(cè)目標(biāo)的位置和類別。

3) 分割網(wǎng)絡(luò)

分割網(wǎng)絡(luò)將表觀損傷檢測(cè)識(shí)別任務(wù)轉(zhuǎn)化為正常區(qū)域與損傷區(qū)域的語義分割，其不但能精確劃分出損傷的區(qū)域，還能獲取損傷的類別及長(zhǎng)度、寬度、中心、面積等幾何屬性。分割網(wǎng)絡(luò)大致可以分為FCN和Mask R-CNN。

FCN首先利用卷積過程提取特征和編碼，然后再通過反卷積或者上采樣將圖像尺寸還原。東京城市大學(xué)Dung等人利用基于VGG16編碼器的FCN對(duì)混凝土表面裂縫進(jìn)行了分割，其平均像素準(zhǔn)確率達(dá)到了90%[24]。U-Net繼承并改進(jìn)原始FCN的思想，使用跳躍層將編解碼的特征圖融合，進(jìn)一步完善了分割區(qū)域的細(xì)節(jié)。美國(guó)太平洋西北實(shí)驗(yàn)室Roberts等人在解碼器的上采樣操作過程中使用了相應(yīng)編碼器的最大池化步驟中計(jì)算的池化索引，在分割中保持了高頻細(xì)節(jié)的完整性[25]。

Mask R-CNN結(jié)合了檢測(cè)網(wǎng)絡(luò)與分割網(wǎng)絡(luò)特點(diǎn)，是一種多任務(wù)學(xué)習(xí)模型。當(dāng)多個(gè)同類型損傷有交錯(cuò)重疊時(shí)，實(shí)例分割能將每個(gè)損傷進(jìn)行分離并進(jìn)一步統(tǒng)計(jì)這種損傷類型的數(shù)目。相較于語義分割往往將多個(gè)同類別的損傷當(dāng)作一個(gè)整體處理，實(shí)例分割能夠精確地分離出多個(gè)同類別的損傷，這對(duì)于精細(xì)化分割任務(wù)十分重要。工業(yè)制造損傷[26]、螺栓緊固件[27]、皮革表面損傷[28]、路面損傷[29]等都應(yīng)用了實(shí)例分割網(wǎng)絡(luò)。相較于分類網(wǎng)絡(luò)和檢測(cè)網(wǎng)絡(luò)，分割算法在一些特定的損傷識(shí)別場(chǎng)景更具有優(yōu)勢(shì)，但其與檢測(cè)網(wǎng)絡(luò)具有相同的弊端——需要大量的數(shù)據(jù)支撐，且數(shù)據(jù)的標(biāo)注必須是逐像素的，所以往往會(huì)花費(fèi)大量的精力和成本。

2.3.2基于度量的全監(jiān)督學(xué)習(xí)

基于度量的全監(jiān)督學(xué)習(xí)指的是學(xué)習(xí)輸入圖像的相似性度量，其模型通常是孿生網(wǎng)絡(luò)。相較于基于表征的全監(jiān)督學(xué)習(xí)，基于度量的全監(jiān)督學(xué)習(xí)的輸入是兩張及以上的圖像，通過比較多張輸入圖像的相似度來判斷其是否屬于同一類。韓國(guó)浦項(xiàng)科技大學(xué)Kim等人設(shè)計(jì)了一個(gè)基于CNN的孿生網(wǎng)絡(luò)并對(duì)鋼表觀損傷圖像進(jìn)行了分類，他們首先將兩張成對(duì)的圖像輸入到權(quán)值共享的2個(gè)CNN中完成特征的提取，然后利用基于相似度函數(shù)的對(duì)比損失計(jì)算2個(gè)特征之間的差異程度[30]。

基于度量的全監(jiān)督學(xué)習(xí)可以理解為樣本在特征空間進(jìn)行聚類，而基于表征的學(xué)習(xí)可以理解為獲取樣本在特征空間的分界面?，F(xiàn)目前，大部分孿生網(wǎng)絡(luò)還是用來完成損傷分類的任務(wù)。

2.3.3無監(jiān)督學(xué)習(xí)

表觀損傷檢測(cè)的無監(jiān)督學(xué)習(xí)模型通常是基于正常樣本學(xué)習(xí)的，其只需要正常圖像進(jìn)行學(xué)習(xí)訓(xùn)練即可。因?yàn)榫W(wǎng)絡(luò)只接受正樣本進(jìn)行訓(xùn)練，其具備強(qiáng)大的正樣本重建和判別能力，當(dāng)輸入負(fù)樣本時(shí)，就能產(chǎn)生與正常樣本不同的結(jié)果。相較于有監(jiān)督學(xué)習(xí)，其能夠識(shí)別檢測(cè)出預(yù)先沒有設(shè)定的損傷類別，冗余性能較好。

基于圖像空間的無監(jiān)督學(xué)習(xí)重要思想之一是樣本重建和補(bǔ)全。用輸入的原始圖像與重建圖像相減得到殘差圖像即重建誤差，當(dāng)重建誤差大于一定閾值時(shí)，就能判定輸入原始圖像存在損傷，差異很大的區(qū)域即損傷區(qū)域。泰國(guó)農(nóng)業(yè)大學(xué)Youkachen等人使用CAE進(jìn)行圖像重建，通過銳化處理重建誤差最終獲取了熱軋鋼表觀損傷分割結(jié)果[31]。萊奧本高分子研究中心Haselmann等人利用FCN，通過正樣本補(bǔ)全和重建圖像與原始圖像的誤差實(shí)現(xiàn)了裝飾性塑料零件表觀損傷識(shí)別[32]。除了樣本重建與補(bǔ)全的方法，另一種思想是訓(xùn)練生成類似于正樣本的偽圖像即訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)GAN，并將其判別器當(dāng)作分類器，用于分類損傷和正樣本。

通過正樣本與負(fù)樣本特征分布之間的差異即異常分?jǐn)?shù)也可以進(jìn)行損傷檢測(cè)。當(dāng)異常分?jǐn)?shù)高于某個(gè)閾值時(shí)即可認(rèn)為出現(xiàn)損傷。2017年，維也納醫(yī)科大學(xué)Schlegl等人就提出了AnoGAN，完成了從圖像空間到潛在空間的映射，圖像空間中差異和其網(wǎng)絡(luò)判別器最后一層特征圖之間的差異構(gòu)成異常分?jǐn)?shù)[33]。到了2019年，Schlegl等人將AnoGAN網(wǎng)絡(luò)進(jìn)行了升級(jí)改進(jìn)形成了f-AnoGAN，其異常分?jǐn)?shù)由編碼器模塊實(shí)現(xiàn)的圖像樣本重建損失和GAN判別器最后一層特征圖之間的差異構(gòu)成[34]。

3 圖像識(shí)別技術(shù)應(yīng)用現(xiàn)狀

3.1 國(guó)內(nèi)外表觀損傷檢測(cè)常用數(shù)據(jù)集

數(shù)據(jù)是深度學(xué)習(xí)的基礎(chǔ)，沒有海量的數(shù)據(jù)作為支撐，損傷圖像的識(shí)別檢測(cè)任務(wù)就完成不了。相較于計(jì)算機(jī)視覺任務(wù)中的COCO、ImageNet、PASCALVOC2007/2012等數(shù)據(jù)集，表觀損傷的數(shù)據(jù)集相對(duì)分散且數(shù)據(jù)量較少，根據(jù)檢測(cè)對(duì)象及檢測(cè)方法的不同，往往會(huì)使用不同的數(shù)據(jù)集。

東北大學(xué)創(chuàng)建了基于分類網(wǎng)絡(luò)的應(yīng)用于鋼材表面損傷的數(shù)據(jù)集NEU-CLS[35]以及基于檢測(cè)網(wǎng)絡(luò)的應(yīng)用于鋼材表面損傷的數(shù)據(jù)集NEU-DET[35]。上海交通大學(xué)建立了基于孿生網(wǎng)絡(luò)的PCB板的數(shù)據(jù)集PCB Dataset[36]。中國(guó)科學(xué)院大學(xué)、北京交通大學(xué)、香港理工大學(xué)都基于分割網(wǎng)絡(luò)分別建立了磁瓦表面數(shù)據(jù)集Magnetic-tiledefect-datasets[37]、鋼軌表面數(shù)據(jù)集RSDDs dataset[38]、地面裂紋數(shù)據(jù)集Crack Dataset[39]。相較于國(guó)內(nèi)損傷檢測(cè)數(shù)據(jù)集，國(guó)外損傷檢測(cè)數(shù)據(jù)集應(yīng)用場(chǎng)景更加豐富，具有太陽能板、金屬表面、掃描隧道顯微鏡、木材表面、鑄件X射線圖像等多種材質(zhì)損傷的公開數(shù)據(jù)集。

紐倫堡大學(xué)利用分類網(wǎng)絡(luò)建立了太陽能板損傷數(shù)據(jù)集elpv-dataset[40]、盧布爾雅那大學(xué)、芬蘭奧盧大學(xué)也同樣利用分類網(wǎng)絡(luò)建立了金屬表面數(shù)據(jù)集KoletorSDD[41]、木材表面wood defect database[42]。斯坦福大學(xué)利用檢測(cè)網(wǎng)絡(luò)建立了鑄件X射線損傷圖像數(shù)據(jù)集GDXray Casting[43]。麥威德軟件有限公司、米蘭理工大學(xué)利用了無監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)分別建立了多種材質(zhì)損傷數(shù)據(jù)集MVTec AD[44]、掃描隧道顯微鏡損傷圖像數(shù)據(jù)集NanoTWICE[45]。博世中央研究院用弱監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)建立了損傷數(shù)據(jù)集DAGM2007[46]。國(guó)內(nèi)外表觀損傷檢測(cè)常用數(shù)據(jù)集名稱如表1所示。

表1 國(guó)內(nèi)外表觀損傷檢測(cè)常用數(shù)據(jù)集名稱

3.2 國(guó)內(nèi)外表觀損傷檢測(cè)軟件

埃法智能科技有限公司開發(fā)的ALFA深度學(xué)習(xí)外觀損傷檢測(cè)軟件，可以實(shí)現(xiàn)五金加工件缺陷檢測(cè)、移印檢測(cè)、太陽能電池板表觀損傷檢測(cè)、焊縫檢測(cè)等。由諦創(chuàng)科技有限公司開發(fā)的AiDitron軟件，能夠?qū)崿F(xiàn)字符識(shí)別、缺陷檢測(cè)、圖片分類等功能。國(guó)外也有許多成熟的商用深度學(xué)習(xí)損傷檢測(cè)軟件。CPA集團(tuán)開發(fā)的VIDI軟件，是世界上首個(gè)提供基于深度學(xué)習(xí)的圖像分析方法的軟件，目前已成功應(yīng)用于醫(yī)藥、醫(yī)療技術(shù)、汽車、紡織、印刷、物流和制表行業(yè)。由德國(guó)MVTec公司開發(fā)的Halcon軟件已成功應(yīng)用于航空業(yè)、汽車制造業(yè)、制陶業(yè)、電子元件制備業(yè)等應(yīng)用場(chǎng)景，能夠?qū)崿F(xiàn)圖像分類及缺陷檢測(cè)等功能。2017年，由SUALAB開發(fā)的SuaKIT深度學(xué)習(xí)損傷檢測(cè)軟件能夠?qū)D像的缺陷實(shí)現(xiàn)分類、目標(biāo)識(shí)別、目標(biāo)分割等功能。國(guó)內(nèi)外表觀損傷檢測(cè)軟件名稱如表2所示。

表2 國(guó)內(nèi)外表觀損傷檢測(cè)軟件名稱

4 圖像識(shí)別技術(shù)應(yīng)用展望

4.1 加強(qiáng)基于數(shù)字圖像的環(huán)境效應(yīng)評(píng)價(jià)方法

目前，不管是國(guó)內(nèi)還是國(guó)外，均無基于圖像的環(huán)境效應(yīng)定量評(píng)價(jià)方法，但多個(gè)標(biāo)準(zhǔn)中均含有部分表觀損傷評(píng)級(jí)方法，例如GB/T 18590《金屬和合金的腐蝕 點(diǎn)蝕評(píng)定方法》、GB/T 6461《金屬基體上金屬和其他無機(jī)覆蓋層經(jīng)腐蝕試驗(yàn)后的試樣和試件的評(píng)級(jí)》、GB/T 1766《色漆和清漆 涂層老化的評(píng)級(jí)方法》、GB/T 22639《鋁合金加工產(chǎn)品的

剝落腐蝕試驗(yàn)方法》等。GB/T 18590《金屬和合金的腐蝕 點(diǎn)蝕評(píng)定方法》中介紹了蝕坑的識(shí)別與檢查、以及點(diǎn)蝕的評(píng)定方法，根據(jù)標(biāo)準(zhǔn)圖表法可初步確定點(diǎn)蝕的密度和大小，根據(jù)力學(xué)性能損傷可確定點(diǎn)蝕對(duì)材料性能的影響程度；GB/T 22639《鋁合金加工產(chǎn)品的剝落腐蝕試驗(yàn)方法》中介紹了剝落腐蝕敏感性的實(shí)驗(yàn)室試驗(yàn)方法和基于目視檢測(cè)評(píng)定的腐蝕等級(jí)和腐蝕程度；GB/T 6461《金屬基體上金屬和其他無機(jī)覆蓋層經(jīng)腐蝕試驗(yàn)后的試樣和試件的評(píng)級(jí)》，該標(biāo)準(zhǔn)把覆蓋層的保護(hù)等級(jí)與損傷面積、覆蓋層破壞類型建立了相關(guān)聯(lián)系，保護(hù)等級(jí)僅能反映覆蓋層對(duì)于金屬基體的保護(hù)性，并不能反映金屬腐蝕的嚴(yán)重程度。前述3個(gè)標(biāo)準(zhǔn)分別對(duì)3種類型的金屬腐蝕給出了一定的評(píng)價(jià)，但并未把腐蝕類型、損傷面積、損傷程度三者結(jié)合起來進(jìn)行綜合等級(jí)評(píng)級(jí)。相對(duì)于金屬腐蝕類損傷，防護(hù)涂層體系老化損傷的量化評(píng)定有相對(duì)完善的評(píng)級(jí)方法，GB/T 1766《色漆和清漆 涂層老化的評(píng)級(jí)方法》枚舉了老化損傷的破壞類型，對(duì)破壞程度、數(shù)量、大小的評(píng)定均有一整套相對(duì)完善的方法。但該標(biāo)準(zhǔn)是基于人工檢測(cè)的量化評(píng)級(jí)方法，有些損傷是基于人的觸感，如粉化，很難直觀反映到圖像中。該方法應(yīng)用到基于圖像的定量評(píng)級(jí)中仍需要改進(jìn)。

4.2 構(gòu)建數(shù)據(jù)豐富且完整的環(huán)境效應(yīng)數(shù)據(jù)集

國(guó)內(nèi)，各行各業(yè)的人員通過較長(zhǎng)的環(huán)境試驗(yàn)，已積累了豐富的環(huán)境效應(yīng)數(shù)據(jù)，但是目前并沒有人將其系統(tǒng)地收集歸類，沒有進(jìn)行較為完整的整合，存在著數(shù)據(jù)多而不精、多而不全的尷尬局面，后續(xù)相關(guān)人員應(yīng)該統(tǒng)籌先前的環(huán)境效應(yīng)數(shù)據(jù)及將要采集的環(huán)境效應(yīng)數(shù)據(jù)，形成一個(gè)數(shù)據(jù)豐富且完整的環(huán)境效應(yīng)數(shù)據(jù)集，這對(duì)圖像識(shí)別技術(shù)在裝備環(huán)境效應(yīng)檢測(cè)與評(píng)價(jià)中的發(fā)展十分重要。

4.3 研發(fā)更加高效的環(huán)境效應(yīng)識(shí)別算法

基于深度學(xué)習(xí)的環(huán)境效應(yīng)識(shí)別算法已大量應(yīng)用，但還存在著許多不足：有監(jiān)督的學(xué)習(xí)方法需要大量人工標(biāo)注，耗費(fèi)人力及物力；深度學(xué)習(xí)算法訓(xùn)練過程時(shí)間長(zhǎng)；現(xiàn)階段深度學(xué)習(xí)算法分類的類別還比較少，不能滿足實(shí)際需求。針對(duì)上述問題與不足，環(huán)境效應(yīng)識(shí)別算法可以朝這幾個(gè)方面進(jìn)行更新升級(jí)：通過利用多種圖像檢測(cè)、分割算法自動(dòng)完成對(duì)目標(biāo)圖像的標(biāo)注；深入研究無監(jiān)督學(xué)習(xí)算法在裝備效應(yīng)檢測(cè)與評(píng)價(jià)中的應(yīng)用研究，以達(dá)到減少人工標(biāo)注圖像工作的目的；研發(fā)出既能準(zhǔn)確找出圖像缺陷特征又相對(duì)層數(shù)較少的學(xué)習(xí)算法；將多種環(huán)境效應(yīng)復(fù)合的損傷圖像加以標(biāo)注分類，使算法能夠識(shí)別更多類型的環(huán)境效應(yīng)損傷圖像。

4.4 圖像采集與識(shí)別平臺(tái)向小型化、實(shí)時(shí)化、智能化發(fā)展

由于深度學(xué)習(xí)在模型訓(xùn)練階段需要大量的計(jì)算，其對(duì)硬件的要求是很高的，所以現(xiàn)階段大多采用桌面式模型訓(xùn)練工作站，并配備高端的CPU和GPU才能縮短訓(xùn)練的時(shí)間。但另一方面，在實(shí)際的圖像采集和識(shí)別場(chǎng)景中，往往需要在室外例如暴露場(chǎng)進(jìn)行原位采集，這就要求采集與識(shí)別平臺(tái)的小型化、實(shí)時(shí)化，解決這一問題大致有2種方案：(a).在線式(b).離線式。在線式圖像采集與識(shí)別平臺(tái)主要工作流程框圖如圖4。使用者通過客戶端進(jìn)行圖像采集，并通過互聯(lián)網(wǎng)上傳到服務(wù)器端，服務(wù)器端先對(duì)圖像進(jìn)行預(yù)處理后輸入模型進(jìn)行分類識(shí)別，最后將識(shí)別結(jié)果通過互聯(lián)網(wǎng)下發(fā)至客戶端，完成整個(gè)識(shí)別流程。這種方案的好處是客戶端的硬件要求很低，只需要一個(gè)照相功能就行了，全部的計(jì)算過程都是在服務(wù)器端完成的。同樣會(huì)帶來一個(gè)缺點(diǎn)：數(shù)據(jù)容易泄露，通過互聯(lián)網(wǎng)進(jìn)行數(shù)據(jù)的上傳和下發(fā)有可能會(huì)泄露敏感信息。而離線式圖像采集與識(shí)別平臺(tái)不與互聯(lián)網(wǎng)相連，實(shí)現(xiàn)物理隔離，其工作流程圖如圖5。首先在服務(wù)器端將需要的模型訓(xùn)練好，再通過物理連接的方式將模型下發(fā)至客戶端，服務(wù)器端和客戶端都不與互聯(lián)網(wǎng)相連。在圖像識(shí)別階段，客戶端即為一個(gè)單獨(dú)的整體，能夠獨(dú)立的完成識(shí)別任務(wù)。當(dāng)模型需要優(yōu)化更新時(shí)，再通過物理連接獲得新的模型。這種方案，使得敏感信息與外界隔離，從而最大程度上保證了信息的安全。

圖4 在線式圖像采集與識(shí)別平臺(tái)主要工作流程框圖Fig.4 Main workflow block diagram of online image capture and recognition platform

圖5 離線式圖像采集與識(shí)別平臺(tái)主要工作流程框圖Fig.5 Main workflow block diagram of off-line image capture and recognition platform

在圖像采集與識(shí)別平臺(tái)向小型化、實(shí)時(shí)化發(fā)展的同時(shí)，智能化也是其發(fā)展的重點(diǎn)之一。所謂智能化是指利用機(jī)器人等智能的工具去代替人為的現(xiàn)場(chǎng)原位采集與識(shí)別的工作，減輕科研人員在暴露場(chǎng)等惡劣環(huán)境下長(zhǎng)期工作的負(fù)擔(dān)，并且實(shí)現(xiàn)規(guī)律性、規(guī)模性的圖像采集與識(shí)別。

5 結(jié)論

通過對(duì)基于深度學(xué)習(xí)的圖像識(shí)別技術(shù)分類，了解了不同深度學(xué)習(xí)網(wǎng)絡(luò)的適用范圍。國(guó)內(nèi)的圖像識(shí)別技術(shù)研究應(yīng)該逐步建立豐富、完整的表觀損傷數(shù)據(jù)庫，為發(fā)展表觀損傷檢測(cè)R的軟件打下基礎(chǔ)。對(duì)于圖像識(shí)別技術(shù)在裝備環(huán)境效應(yīng)檢測(cè)與評(píng)價(jià)領(lǐng)域的發(fā)展應(yīng)著重關(guān)注：① 加強(qiáng)基于數(shù)字圖像的環(huán)境效應(yīng)評(píng)價(jià)方法的研究；② 構(gòu)建數(shù)據(jù)豐富且完整的環(huán)境效應(yīng)數(shù)據(jù)集；③ 研發(fā)更加高效的環(huán)境效應(yīng)識(shí)別算法；④ 圖像采集與識(shí)別平臺(tái)向小型化、實(shí)時(shí)化、智能化發(fā)展。