張德銀 黃少晗 趙志恒 李俊佟 張?jiān)?/p>

摘 要：飛機(jī)蒙皮受大氣環(huán)境侵蝕及飛鳥(niǎo)撞擊等影響而出現(xiàn)各種缺陷，將嚴(yán)重威脅飛行安全.為解決飛機(jī)蒙皮人工檢查耗時(shí)長(zhǎng)及檢測(cè)不充分等問(wèn)題，提出基于融合神經(jīng)網(wǎng)絡(luò)的飛機(jī)蒙皮缺陷檢測(cè)方法.在YOLOv5網(wǎng)絡(luò)基礎(chǔ)上，將Xception架構(gòu)融入其中，同時(shí)在Backbone中加入全局通道注意力機(jī)制，在Neck和Output中加入通道空間注意力機(jī)制，形成新的融合神經(jīng)網(wǎng)絡(luò).將采集到的飛機(jī)表面缺陷8 503幅圖像分為訓(xùn)練集和測(cè)試集.新融合神經(jīng)網(wǎng)絡(luò)經(jīng)訓(xùn)練后，用測(cè)試集驗(yàn)證，鉚釘腐蝕、鉚釘脫落、蒙皮裂痕、蒙皮脫落及蒙皮撞擊5種缺陷檢測(cè)平均精確度分別為0.960、0.928、0.931、0.934、0.948.融合神經(jīng)網(wǎng)絡(luò)準(zhǔn)確率為0.950，召回率為0.964，平均精確度為0.957，說(shuō)明新融合神經(jīng)網(wǎng)絡(luò)對(duì)飛機(jī)蒙皮缺陷識(shí)別是有效的.

關(guān)鍵詞：飛機(jī)蒙皮缺陷；注意力機(jī)制；深度學(xué)習(xí)；融合神經(jīng)網(wǎng)絡(luò)；目標(biāo)檢測(cè)

中圖分類號(hào)：V241.07

文獻(xiàn)標(biāo)志碼：A

0 引 言

飛行安全最重要的保障就是繞機(jī)檢查.從飛機(jī)機(jī)頭處的3個(gè)探頭到14個(gè)放電刷，從雷達(dá)罩到起落架，總共13個(gè)步驟56項(xiàng)內(nèi)容，均需要人工進(jìn)行仔細(xì)無(wú)差別檢測(cè).檢查飛機(jī)是每次航班必做的環(huán)節(jié)，也是飛機(jī)在起飛之前和降落之后不可缺少的重要防線.如果在起飛之前和降落之后檢查出飛機(jī)蒙皮所出現(xiàn)的問(wèn)題，就可以避免很多危險(xiǎn)事故的發(fā)生^[1-2].

飛機(jī)蒙皮表面會(huì)受到大氣環(huán)境的侵蝕、飛鳥(niǎo)撞擊、閃電沖擊及飛行中蒙皮相互拉扯的應(yīng)力作用，會(huì)出現(xiàn)蒙皮裂紋、撞擊坑和蒙皮腐蝕等缺陷^[3].這些飛機(jī)表面缺陷不僅影響飛機(jī)表面美觀，更會(huì)影響飛機(jī)的整體使用壽命.如果繼續(xù)飛行將會(huì)因?yàn)槔稇?yīng)力，使得缺陷裂口進(jìn)一步被撕裂，從而導(dǎo)致飛行事故的發(fā)生^[4].傳統(tǒng)的飛機(jī)蒙皮檢測(cè)方法是通過(guò)人工繞機(jī)檢查，需要人工細(xì)致地觀察飛機(jī)的每寸蒙皮.但是由于飛機(jī)表面太大，人工檢測(cè)存在耗時(shí)長(zhǎng)、檢測(cè)不充分且會(huì)忽略致命蒙皮缺陷等問(wèn)題^[5].在智慧民航背景下，如何快速地對(duì)蒙皮進(jìn)行精確檢測(cè)是研究的重點(diǎn)之一，而機(jī)器視覺(jué)技術(shù)則是一種十分可靠的方法^[6]，其利用圖像采集設(shè)備對(duì)航空器蒙皮進(jìn)行采集，并建立大量飛機(jī)蒙皮數(shù)據(jù)集，再利用諸如神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)方法對(duì)蒙皮數(shù)據(jù)集進(jìn)行檢測(cè).隨著計(jì)算機(jī)視覺(jué)算法的不斷改進(jìn)，基于神經(jīng)網(wǎng)絡(luò)的視覺(jué)蒙皮檢測(cè)方法就可以進(jìn)一步縮短檢測(cè)的周期，并提高智能化^[7].

本研究探討關(guān)于飛機(jī)蒙皮缺陷快速巡檢的人工智能系統(tǒng)，適用于所有民用航空飛機(jī)蒙皮缺陷巡檢^[8].本研究設(shè)計(jì)并實(shí)現(xiàn)基于機(jī)器視覺(jué)的神經(jīng)網(wǎng)絡(luò)便攜式民航航空器蒙皮檢測(cè)儀，通過(guò)訓(xùn)練飛機(jī)蒙皮缺陷，提高神經(jīng)網(wǎng)絡(luò)對(duì)飛機(jī)蒙皮的檢測(cè)效果，以實(shí)現(xiàn)對(duì)蒙皮的安全狀況智能檢測(cè)評(píng)估.由于航空安全要求高標(biāo)準(zhǔn)無(wú)差別，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)無(wú)法滿足現(xiàn)有需求，因此需要通過(guò)融合來(lái)提升檢測(cè)效果精度^[9].該檢測(cè)儀能夠?qū)娇掌鞯谋砻婷善みM(jìn)行損傷檢測(cè)，對(duì)其損傷類型進(jìn)行評(píng)估，其檢測(cè)精度與速度極大優(yōu)于現(xiàn)有人工檢測(cè)方法，滿足日常巡檢的基本保障^[10].

1 圖像數(shù)據(jù)集的建立

由于圖像數(shù)據(jù)集是人工智能最重要的因素之一，神經(jīng)網(wǎng)絡(luò)識(shí)別的準(zhǔn)確率和效果的差異很大程度上由數(shù)據(jù)集的質(zhì)量確定^[11].如何收集到大量?jī)?yōu)質(zhì)數(shù)據(jù)集及如何標(biāo)注識(shí)別對(duì)象的目標(biāo)特征，都將直接或間接影響神經(jīng)網(wǎng)絡(luò)對(duì)飛機(jī)蒙皮缺陷的識(shí)別效果^[12].為了獲得高質(zhì)量蒙皮缺陷數(shù)據(jù)集，本研究在得到許可后，在國(guó)內(nèi)航空機(jī)場(chǎng)使用專用相機(jī)進(jìn)行飛機(jī)蒙皮缺陷圖像數(shù)據(jù)集的采集^[13].

為采集飛機(jī)蒙皮圖像數(shù)據(jù)集，本研究選用對(duì)焦好且焦距足夠的數(shù)碼單反相機(jī)dSLR.為了避免在拍攝過(guò)程中相機(jī)發(fā)生抖動(dòng)造成缺陷數(shù)據(jù)集的情況，因此要選用具有快速快門(mén)的相機(jī)，且拍攝時(shí)間控制在0.002 s左右，從而避免因抖動(dòng)造成拍攝不清晰的情況^[14].此外相機(jī)過(guò)濾器也相當(dāng)重要，由于采集飛機(jī)蒙皮缺陷時(shí)均在戶外可見(jiàn)光的情況下，因此要選用帶有偏光濾鏡的相機(jī)，以減少偏振光，達(dá)到增強(qiáng)顏色的效果^[15].為達(dá)到以上效果，綜合經(jīng)濟(jì)性、實(shí)用性及重量等因素，本研究最終選取尼康D7100中端專業(yè)單反數(shù)碼照相機(jī).

本研究在廣漢機(jī)場(chǎng)、新津機(jī)場(chǎng)、天府國(guó)際機(jī)場(chǎng)、雙流國(guó)際機(jī)場(chǎng)及平頂山飛機(jī)場(chǎng)等機(jī)場(chǎng)采集A319、A320、B733、B737、PA44、TB200、B747及B777等帶有缺陷的飛機(jī)蒙皮圖像共計(jì)8 503張，如圖1所示.圖1（A）為已采集到的飛機(jī)蒙皮缺陷圖像數(shù)據(jù)集截圖.將采集到的飛機(jī)表面缺陷分為5類，即鉚釘脫落、鉚釘腐蝕、蒙皮脫落、蒙皮裂痕及蒙皮撞擊，并使用labellmg標(biāo)注軟件，對(duì)采集到的數(shù)據(jù)集進(jìn)行標(biāo)注，標(biāo)注后生成與之相對(duì)應(yīng)的xml文件，如圖1（B）所示.首先將多缺陷圖像通過(guò)pycharm剪切程序裁剪，得到10 437幅圖像數(shù)據(jù)集，接著使用添加噪聲、對(duì)比度變換及亮度調(diào)節(jié)等方法生成新圖像數(shù)據(jù)集，以截圖和標(biāo)注后生成的xml文件實(shí)現(xiàn)對(duì)飛機(jī)蒙皮缺陷樣本的擴(kuò)增，最后獲得12 440幅圖像.

2 融合神經(jīng)網(wǎng)絡(luò)的構(gòu)建

由于通道注意力模塊（channel attention module，CAM）^[16]的缺點(diǎn)是不易提取到小目標(biāo)特征，從而導(dǎo)致小目標(biāo)易漏檢，因此，本研究采用全局池化代替CAM中最大池化操作，因?yàn)槿殖鼗梢跃徑饩W(wǎng)絡(luò)對(duì)于小目標(biāo)信息的過(guò)濾，最大程度保留小目標(biāo)信息，以提高神經(jīng)網(wǎng)絡(luò)對(duì)小目標(biāo)的檢測(cè).相比于CAM，改進(jìn)的全局通道注意力（global channel attention，GCA）使用4層特征共享感知機(jī)（multi-layer perceptron，MLP），可以更充分獲取小目標(biāo)特征信息.改進(jìn)后的CAM注意力機(jī)制命名為全局通道注意力機(jī)制GCA，其流程圖如圖2所示.

擠壓與激勵(lì)網(wǎng)絡(luò)（ squeeze-and-excitation networks，SENet）的缺點(diǎn)在于忽略了空間信息，因此提出由SENet改進(jìn)而來(lái)的通道空間注意力（channel space attention，CPA）機(jī)制，可以通過(guò)賦予空間信息更大的權(quán)重，顯示出目標(biāo)的位置信息.為了獲取圖像寬度和高度上的注意力并對(duì)精確位置信息進(jìn)行編碼，將輸入特征圖分為寬度與長(zhǎng)度2個(gè)方向進(jìn)行全局平均池化，分別獲得在寬度和長(zhǎng)度方向的特征圖，如式（1）和式（2）所示^[17-18].

將獲得的全局池化的寬度與長(zhǎng)度方向上的特征圖進(jìn)行合并，送入共享卷積核為1×1的卷積模塊，將維度降低為原來(lái)的C/r，并將經(jīng)過(guò)批量處理歸一化的特征圖F₁送入Sigmoid 激活函數(shù)，得到特征圖f，如式（3）所示^[19].

f=βF₁D^h，D^w（3）

將得到的特征圖f根據(jù)原來(lái)的長(zhǎng)度與寬度開(kāi)始卷積核為 1×1的卷積，獲得通道數(shù)目與原來(lái)相同數(shù)目的特征圖F_h和F_w，經(jīng)過(guò)Sigmoid激活函數(shù)得到特征圖在長(zhǎng)度上的注意力權(quán)重g^h和在寬度上的注意力權(quán)重g^w，如式（4）和式（5）所示^[20-21].

g^h=?F_hf^h（4）

g^w=?F_wf^w（5）

通過(guò)式（1）～式（5）計(jì)算之后將得到輸入特征圖高度注意力權(quán)重g^h和長(zhǎng)度注意力權(quán)重g^w，最后在原始特征圖上經(jīng)過(guò)乘法加權(quán)計(jì)算，獲得最終在寬度和高度方向上帶有注意力權(quán)重的特征圖.改進(jìn)后的CPA機(jī)制如圖3所示.

圖3 改進(jìn)后的CPA機(jī)制圖

本研究采用YOLOv5神經(jīng)網(wǎng)絡(luò)模型與Xception網(wǎng)絡(luò)模型融合，通過(guò)訓(xùn)練結(jié)果反復(fù)調(diào)整網(wǎng)絡(luò)模型參數(shù)進(jìn)行飛機(jī)蒙皮缺陷的檢測(cè).YOLOv5與Xception融合的神經(jīng)網(wǎng)絡(luò)框架圖如圖4所示.Xception網(wǎng)絡(luò)模型相比CBS擁有更多卷積層，可以使模型在進(jìn)入U(xiǎn)psample前進(jìn)行進(jìn)一步深入卷積，使原有神經(jīng)網(wǎng)絡(luò)具有更快的收斂效果，從而提升檢測(cè)效果的快速性和準(zhǔn)確度.Xception網(wǎng)絡(luò)模型也具有輕量化且計(jì)算小的優(yōu)點(diǎn)^[22].在Backbone中加入GCA機(jī)制模塊，在Neck和Output中加入CPA機(jī)制，對(duì)飛機(jī)蒙皮缺陷小目標(biāo)進(jìn)行檢測(cè)精度提升.融合后的神經(jīng)網(wǎng)絡(luò)算法進(jìn)一步提高了檢測(cè)精度，能夠有效檢測(cè)到復(fù)雜飛機(jī)蒙皮背景中缺陷的具體位置^[23].本研究將所提出的YOLOv5和Xception融合神經(jīng)網(wǎng)絡(luò)對(duì)飛機(jī)蒙皮缺陷檢測(cè)方法進(jìn)行了訓(xùn)練和測(cè)試，與原始YOLOv5神經(jīng)網(wǎng)絡(luò)進(jìn)行了實(shí)驗(yàn)對(duì)比，其中，采用Precision、Recall及mAP等評(píng)價(jià)指標(biāo)^[24].

損失函數(shù)CIOU_Loss是一種監(jiān)督神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程，通過(guò)自動(dòng)調(diào)節(jié)權(quán)重的方式幫助神經(jīng)網(wǎng)絡(luò)模型對(duì)飛機(jī)蒙皮缺陷的學(xué)習(xí)，而且通過(guò)對(duì)比標(biāo)注和神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)后的預(yù)測(cè)，計(jì)算出神經(jīng)網(wǎng)絡(luò)模型的損失，并繪制出神經(jīng)網(wǎng)絡(luò)的損失函數(shù)曲線.損失函數(shù)CIOU_Loss可以防止神經(jīng)網(wǎng)絡(luò)模型過(guò)大，減小了神經(jīng)網(wǎng)絡(luò)模型參數(shù)，此種方式稱為防止過(guò)擬合，也稱為正則化^[25].損失函數(shù)CIOU_Loss綜合考慮了邊框比、寬高比及中心距離等問(wèn)題，極大提高了飛機(jī)蒙皮缺陷檢測(cè)的準(zhǔn)確性^[26]，其計(jì)算式如下：

式（6）和式（7）中，IoU為交互比，v為衡量長(zhǎng)寬比一致性的參數(shù)^[27-28].

式（8）中，α是衡量權(quán)值的參數(shù)^[29].

3 實(shí)驗(yàn)過(guò)程和分析

3.1 實(shí)驗(yàn)平臺(tái)的建立

實(shí)驗(yàn)平臺(tái)的建立和運(yùn)行是保證實(shí)驗(yàn)?zāi)芊癯晒Φ年P(guān)鍵.本研究需要對(duì)神經(jīng)網(wǎng)絡(luò)的實(shí)驗(yàn)平臺(tái)完成搭建，并且在更換不同融合神經(jīng)網(wǎng)絡(luò)的同時(shí)需要對(duì)moudle（模型）不斷調(diào)整，以確保神經(jīng)網(wǎng)絡(luò)正常運(yùn)行.神經(jīng)網(wǎng)絡(luò)正常運(yùn)行后，還需要對(duì)飛機(jī)蒙皮缺陷數(shù)據(jù)集進(jìn)行合適分類，設(shè)置合適的參數(shù).設(shè)置參數(shù)運(yùn)行時(shí)，需要控制相關(guān)定量，即200輪、統(tǒng)一運(yùn)行大小為16、統(tǒng)一輸入圖像為640×640，以確保實(shí)驗(yàn)效果的準(zhǔn)確性和真實(shí)對(duì)比性^[30].實(shí)驗(yàn)后，若實(shí)驗(yàn)效果未達(dá)到預(yù)期效果，需要調(diào)整神經(jīng)網(wǎng)絡(luò)中的融合框架位置或?qū)ι窠?jīng)網(wǎng)絡(luò)中的代碼與參數(shù)進(jìn)行調(diào)整，以確保獲得最佳效果^[31].

本研究的實(shí)驗(yàn)在Pytorch深度學(xué)習(xí)框架下進(jìn)行，利用YOLOv5與Xception融合神經(jīng)網(wǎng)絡(luò)對(duì)飛機(jī)蒙皮中的鉚釘腐蝕、鉚釘脫落、蒙皮裂痕、蒙皮脫落、蒙皮撞擊5種主要缺陷進(jìn)行檢測(cè).具體配置環(huán)境參數(shù)如表1所示.

本研究最終獲得12 440幅圖像的數(shù)據(jù)集，其中鉚釘腐蝕2 637幅、鉚釘脫落2 309幅、蒙皮裂痕2 406幅、蒙皮脫落2 523幅、蒙皮撞擊2 565幅，并利用標(biāo)注軟件進(jìn)行標(biāo)注，分別標(biāo)注為rivet corrosion（鉚釘腐蝕）、rivet falling off（鉚釘脫落）、skin crack（蒙皮裂痕）、skin paint falling off（蒙皮脫落）、external impact（蒙皮撞擊）.將增強(qiáng)后的數(shù)據(jù)集按7：3的結(jié)構(gòu)劃分為訓(xùn)練集8 708幅、測(cè)試集3 732幅.訓(xùn)練的超參數(shù)設(shè)置如表2所示.

3.2 評(píng)價(jià)指標(biāo)

目標(biāo)檢測(cè)常見(jiàn)的評(píng)價(jià)方式有P（準(zhǔn)確率）、R（召回率）及mAP（平均精確度）.P與R可用于評(píng)價(jià)此檢測(cè)模型的優(yōu)劣，而mAP綜合考慮了P與R的相關(guān)性，更準(zhǔn)確地反映目標(biāo)檢測(cè)的能力.本研究選取P、R及mAP 3種方式來(lái)綜合評(píng)價(jià)檢測(cè)指標(biāo)^[34-35]，從而全面評(píng)估檢測(cè)性能.

式（9）中，T_P表示檢測(cè)正確的數(shù)量，F(xiàn)_P表示檢測(cè)錯(cuò)誤的數(shù)量^[32].

式（10）中，F(xiàn)_N表示將某種檢測(cè)目標(biāo)當(dāng)作其他目標(biāo)的數(shù)量^[33].

式（11）中，mAP是平均精確度^[34-35].

3.3 實(shí)驗(yàn)結(jié)果與分析

單獨(dú)YOLOv5神經(jīng)網(wǎng)絡(luò)對(duì)于飛機(jī)蒙皮缺陷的檢測(cè)輸出數(shù)據(jù)效果如表3所示.YOLOv5神經(jīng)網(wǎng)絡(luò)對(duì)于飛機(jī)蒙皮缺陷檢測(cè)中重要的5種檢測(cè)物為rivet corrosion（鉚釘腐蝕）、rivet falling off（鉚釘脫落）、skin crack（蒙皮裂痕）、skin paint falling off（蒙皮脫落）、external impact（蒙皮撞擊）.單獨(dú)YOLOv5神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測(cè)效果圖如圖5所示，其中，圖5（A）為鉚釘腐蝕檢測(cè)效果圖，圖5（B）為蒙皮裂痕檢測(cè)效果圖，圖5（C）為蒙皮裂痕檢測(cè)效果圖，圖5（D）為蒙皮脫落檢測(cè)效果圖，圖5（E）為蒙皮撞擊檢測(cè)效果圖，圖5（F）為鉚釘脫落檢測(cè)效果圖.

YOLOv5和Xception融合神經(jīng)網(wǎng)絡(luò)對(duì)于飛機(jī)蒙皮缺陷檢測(cè)中重要的5種檢測(cè)物，得到相應(yīng)的被檢測(cè)物數(shù)據(jù)效果，如表4所示.YOLOv5與Xception融合神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測(cè)效果如圖6所示，其中，圖6（A）為鉚釘腐蝕檢測(cè)效果圖，圖6（B）為蒙皮撞擊檢測(cè)效果圖，圖6（C）為蒙皮裂痕檢測(cè)效果圖，圖6（D）為蒙皮脫落檢測(cè)效果圖，圖6（E）為蒙皮裂痕檢測(cè)效果圖，圖6（F）為鉚釘脫落檢測(cè)效果圖.

為驗(yàn)證YOLOv5與Xception融合神經(jīng)網(wǎng)絡(luò)的有效性，本研究將單獨(dú)YOLOv5神經(jīng)網(wǎng)絡(luò)和YOLOv5與Xception融合神經(jīng)網(wǎng)絡(luò)對(duì)驗(yàn)證數(shù)據(jù)集進(jìn)行對(duì)比檢測(cè)，對(duì)比效果如表5所示.由對(duì)比實(shí)驗(yàn)結(jié)果可知，YOLOv5與Xception融合神經(jīng)網(wǎng)絡(luò)算法在識(shí)別準(zhǔn)確率與識(shí)別用時(shí)等方面都強(qiáng)于單獨(dú)YOLOv5算法.YOLOv5與Xception融合神經(jīng)網(wǎng)絡(luò)的檢測(cè)準(zhǔn)確率、召回率、平均精確度都達(dá)到了更高水平，且融合神經(jīng)網(wǎng)絡(luò)平均檢測(cè)用時(shí)為30 ms，比單獨(dú)YOLOv5神經(jīng)網(wǎng)絡(luò)巡檢提高了9.10%，進(jìn)一步說(shuō)明了YOLOv5與Xception融合神經(jīng)網(wǎng)絡(luò)對(duì)飛機(jī)表面缺陷檢測(cè)的快速性與高效性.

4 結(jié)論與展望

本研究探討了適用于民航飛機(jī)蒙皮缺陷檢測(cè)的智能檢測(cè)系統(tǒng)，將Xception網(wǎng)絡(luò)架構(gòu)融入到Y(jié)OLOv5神經(jīng)網(wǎng)絡(luò)的Backbone中，對(duì)飛機(jī)蒙皮缺陷進(jìn)行檢測(cè)，同時(shí)在YOLOv5的Backbone中加入GCA機(jī)制，在YOLOv5的Neck和Output中加入CPA機(jī)制，提高檢測(cè)平均精確度.經(jīng)實(shí)驗(yàn)驗(yàn)證，YOLOv5與Xception融合神經(jīng)網(wǎng)絡(luò)準(zhǔn)確率0.950、召回率0.964、平均精確度0.957，相比單獨(dú)YOLOv5神經(jīng)網(wǎng)絡(luò)，分別提升了0.068、0.056、0.058.YOLOv5與Xception融合神經(jīng)網(wǎng)絡(luò)平均檢測(cè)時(shí)間為30 ms，相比選擇單獨(dú)YOLOv5方式進(jìn)行巡檢的檢測(cè)速度提高了3 ms.實(shí)驗(yàn)結(jié)果表示，基于YOLOv5與Xception融合神經(jīng)網(wǎng)絡(luò)對(duì)飛機(jī)蒙皮缺陷具有高效率、高精度、智能化的檢測(cè)，具有較強(qiáng)的實(shí)用價(jià)值.

針對(duì)本研究搭建的融合神經(jīng)網(wǎng)絡(luò)對(duì)飛機(jī)蒙皮缺陷檢測(cè)可以進(jìn)行快速有效識(shí)別，能夠在實(shí)時(shí)檢測(cè)實(shí)驗(yàn)中實(shí)時(shí)傳輸檢測(cè)后的效果^[36].本研究的方法可以幫助民航從業(yè)人員在對(duì)飛機(jī)蒙皮檢測(cè)時(shí)節(jié)約大量時(shí)間^[37]，同時(shí)通過(guò)對(duì)YOLOv5神經(jīng)網(wǎng)絡(luò)的不斷融合和改進(jìn)，增加了對(duì)飛機(jī)蒙皮缺陷檢測(cè)5種識(shí)別對(duì)象的有效性^[38].

本研究在樣本集的建立過(guò)程中，由于考慮樣本集數(shù)量和質(zhì)量的問(wèn)題，使用了傳統(tǒng)圖像處理方式對(duì)樣本數(shù)據(jù)進(jìn)行了擴(kuò)增，但是該方法對(duì)樣本的擴(kuò)增能力有限^[39].若想要進(jìn)一步提升樣本集的全面性，可以利用生成對(duì)抗神經(jīng)網(wǎng)絡(luò)對(duì)飛機(jī)蒙皮缺陷樣本進(jìn)行學(xué)習(xí)和重構(gòu)，得到全新的飛機(jī)蒙皮缺陷樣本，實(shí)現(xiàn)對(duì)樣本的擴(kuò)增^[40].

由于神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)平臺(tái)的軟硬件限制，越深度的網(wǎng)絡(luò)模型對(duì)硬件計(jì)算力的要求越高，所以下一步的研究將對(duì)硬件平臺(tái)進(jìn)行升級(jí)，提供更強(qiáng)大的計(jì)算力，給更加深度的網(wǎng)絡(luò)訓(xùn)練提供支持，以得到最好的飛機(jī)蒙皮識(shí)別神經(jīng)網(wǎng)絡(luò)模型.

參考文獻(xiàn)：

[1]王得道，王森榮，林超，等.基于CNN-LSTM融合神經(jīng)網(wǎng)絡(luò)的CRTSⅡ型軌道板溫度預(yù)測(cè)方法[J].鐵道學(xué)報(bào)，2023，45（2）：108-115.

[2]朱淑暢，李文輝.基于卷積和Transformer融合的服裝分類算法[J].吉林大學(xué)學(xué)報(bào)（理學(xué)版），2023，61（5）：1195-1201.

[3]丁華彬，丁麒文.基于語(yǔ)義損失的紅外與可見(jiàn)光圖像融合算法[J].紅外技術(shù)，2023，45（9）：941-947.

[4]錢(qián)白云，呂朝陽(yáng)，張維寧，等.基于多傳感器信息融合與混合感受野殘差卷積神經(jīng)網(wǎng)絡(luò)的調(diào)相機(jī)轉(zhuǎn)子故障診斷[J].計(jì)算機(jī)測(cè)量與控制，2023，31（9）：29-35.

[5]吳懷誠(chéng)，劉家強(qiáng)，岳蕾，等.基于多特征融合的卷積神經(jīng)網(wǎng)絡(luò)的電能質(zhì)量擾動(dòng)識(shí)別方法[J].電網(wǎng)與清潔能源，2023，39（9）：19-23.

[6]周哲，歐陽(yáng)勇.融合神經(jīng)網(wǎng)絡(luò)GRU和RRT算法的機(jī)械臂路徑規(guī)劃[J].組合機(jī)床與自動(dòng)化加工技術(shù)，2023，65（9）：7-10.

[7]劉霞，馮文暉，連峰，等.基于物理信息神經(jīng)網(wǎng)絡(luò)的氣動(dòng)數(shù)據(jù)融合方法[J].空氣動(dòng)力學(xué)學(xué)報(bào)，2023，41（8）：87-96.

[8]韓永成，張聞文，何偉基，等.基于自適應(yīng)截?cái)嗄M曝光和無(wú)監(jiān)督融合的低照度真彩色圖像增強(qiáng)算法[J].光子學(xué)報(bào)，2023，52（9）：245-259.

[9]陸應(yīng)越，羅昊，吳樸艷，等.融合BP神經(jīng)網(wǎng)絡(luò)和知識(shí)圖譜的微博熱搜研究與分析[J].電腦編程技巧與維護(hù)，2023，30（9）：127-130.

[10]吳軍，石改琴，盧帥員，等.采用無(wú)人機(jī)視覺(jué)的飛機(jī)蒙皮損傷智能檢測(cè)方法[J].中國(guó)測(cè)試，2021，47（11）：119-126.

[11]王建兵，楊超，劉方方，等.基于圖卷積神經(jīng)網(wǎng)絡(luò)和RoBERTa的物流訂單分類[J].計(jì)算機(jī)技術(shù)與發(fā)展，2023，33（10）：195-201.

[12]張歡，程洪，葛美伶，等.機(jī)器學(xué)習(xí)輔助高熵合金相結(jié)構(gòu)預(yù)測(cè)[J].成都大學(xué)學(xué)報(bào)（自然科學(xué)版），2022，41（3）：280-286.

[13]閆政偉，王晨，黃秋波，等.云數(shù)據(jù)共享中一種輕量級(jí)的數(shù)據(jù)確定性刪除算法[J].成都大學(xué)學(xué)報(bào)（自然科學(xué)版），2023，42（3）：255-261.

[14]冷志鵬，孫文瑞，朱立偉，等.基于YOLO-UNet算法的路面病害定量分析方法[J].物聯(lián)網(wǎng)技術(shù)，2023，13（8）：141-143.

[15]徐仵博，劉立群.GLHMS算法的PCNN參數(shù)優(yōu)化及其在圖像融合中的應(yīng)用[J].軟件導(dǎo)刊，2023，22（8）：187-195.

[16]楊燦，王重熙，章隆兵.基于層間融合的神經(jīng)網(wǎng)絡(luò)訪存密集型層加速[J].高技術(shù)通訊，2023，33（8）：823-835.

[17]李東澤，齊詠生，劉利強(qiáng).基于LSTM-ATTENTION融合神經(jīng)網(wǎng)絡(luò)的光伏功率預(yù)測(cè)[J].內(nèi)蒙古工業(yè)大學(xué)學(xué)報(bào)（自然科學(xué)版），2023，42（4）：350-354.

[18]閆婧，武林偉，劉偉杰，等.基于統(tǒng)一網(wǎng)絡(luò)架構(gòu)的多模態(tài)航空影像質(zhì)量評(píng)價(jià)研究[J].現(xiàn)代電子技術(shù)，2023，46（17）：43-47.

[19]馬孝威.基于多源信息融合的托輥故障檢測(cè)系統(tǒng)[J].煤礦機(jī)械，2023，44（9）：168-170.

[20]代婷婷.基于改進(jìn)智能算法的機(jī)器人路徑規(guī)劃問(wèn)題研究[J].成都大學(xué)學(xué)報(bào)（自然科學(xué)版），2021，40（4）：379-383.

[21]杜航，張濤，陳巖，等.基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)石油單井產(chǎn)量[J].成都大學(xué)學(xué)報(bào)（自然科學(xué)版），2021，40（1）：57-61.

[22]淡文慧，毛鵬軍，蘇坤，等.基于改進(jìn)YOLOv4的移動(dòng)機(jī)器人障礙物檢測(cè)[J].組合機(jī)床與自動(dòng)化加工技術(shù)，2023，65（10）：73-76.

[23]許若波，李平，張梓楚，等.基于多源融合的人臉圖像超分辨率算法[J].電腦知識(shí)與技術(shù)，2023，19（24）：107-109.

[24]王瀏洋，徐彥偉，頡潭成，等.基于優(yōu)化CNN與信息融合的地鐵牽引電機(jī)軸承故障診斷[J].機(jī)械與電子，2023，41（8）：39-44.

[25]閆冰，余梟，王帥，等.IMRT QA中基于后融合卷積神經(jīng)網(wǎng)絡(luò)的MLC誤差分類預(yù)測(cè)[J].中國(guó)醫(yī)學(xué)物理學(xué)雜志，2023，40（8）：925-932.

[26]曹軻，譚沖，劉洪，等.基于改進(jìn)灰狼算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的無(wú)線傳感器網(wǎng)絡(luò)數(shù)據(jù)融合算法[J].中國(guó)科學(xué)院大學(xué)學(xué)報(bào)，2022，39（2）：232-239.

[27]祁宏宇.基于注意力U-Net網(wǎng)絡(luò)的紅外夜視質(zhì)量增強(qiáng)研究[J].光學(xué)技術(shù)，2023，49（5）：623-630.

[28]張亞加，邱啟蒙，劉恒，等.基于多尺度分解和改進(jìn)稀疏表示的腦部圖像融合[J].陜西理工大學(xué)學(xué)報(bào)（自然科學(xué)版），2023，39（4）：52-61.

[29]李揚(yáng)，胡學(xué)鋼，王磊，等.基于圖神經(jīng)網(wǎng)絡(luò)的環(huán)狀RNA生物標(biāo)志物篩選預(yù)測(cè)算法[J].中國(guó)科學(xué)：信息科學(xué)，2023，53（11）：2214-2229.

[30]路琨婷，費(fèi)蓉蓉，張選德.融合卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像全色銳化[J].計(jì)算機(jī)應(yīng)用，2023，43（9）：2963-2969.

[31]裴紅蕾.基于綜合信息融合神經(jīng)網(wǎng)絡(luò)的軸承故障診斷[J].機(jī)電工程，2022，39（4）：495-500.

[32]王治學(xué).融合實(shí)體信息的圖卷積神經(jīng)網(wǎng)絡(luò)的短文本分類模型分析[J].信息系統(tǒng)工程，2023，36（9）：122-125.

[33]楊佳攀，陳為，艾渤.基于深度展開(kāi)神經(jīng)網(wǎng)絡(luò)的融合感知通信場(chǎng)景信道估計(jì)[J].移動(dòng)通信，2023，47（9）：64-70.

[34]葉文超，羅水洋，李金豪，等.近紅外光譜與圖像融合的雜交水稻種子分類方法研究[J].光譜學(xué)與光譜分析，2023，43（9）：2935-2941.

[35]馮江，李濤，朱哲，等.絮體性狀實(shí)時(shí)圖像檢測(cè)系統(tǒng)的開(kāi)發(fā)與應(yīng)用[J].環(huán)境污染與防治，2008，191（10）：40-43.

[36]宋小飛，晁永生.基于改進(jìn)YOLOv5s網(wǎng)絡(luò)的機(jī)械零件目標(biāo)檢測(cè)[J].組合機(jī)床與自動(dòng)化加工技術(shù)，2023，65（8）：84-88.

[37]趙衛(wèi)東，施實(shí)偉，周嬋.基于ImageNet預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的圖像風(fēng)格遷移[J].成都大學(xué)學(xué)報(bào)（自然科學(xué)版），2021，40（4）：367-373.

[38]Zhao Z，Wang P，Lu W.Multi-layer fusion neural network for deepfake detection[J].IJDCF，2021，13（4）：26-39.

[39]王冠博，楊俊東，李波，等.改進(jìn)YOLO v4的火焰圖像實(shí)時(shí)檢測(cè)[J].計(jì)算機(jī)工程與設(shè)計(jì)，2022，43（5）：1358-1365.

[40]梁秀滿，安金銘，曹曉華，等.基于CNN-Transformer雙流網(wǎng)絡(luò)的燒結(jié)火焰燃燒狀態(tài)分類[J].應(yīng)用光學(xué)，2023，44（5）：1030-1036.

（實(shí)習(xí)編輯：黃愛(ài)明）

Investigation of Aircraft Skin Defect Detection Based on Fusion Neural Network

ZHANG Deyin，HUANG Shaohan，ZHAO Zhiheng，LI Juntong，ZHANG Yuyao

（Institute of Electronic and Electrical Engineering，Civil Aviation Flight University of China，Guanghan 618307，China）

Abstract：The aircraft skin is damaged by multiple factors，such as atmospheric environment erosion，bird strike and so on.Flight safety is threatened by those factors.A skin defect detection method based on fusion neural network is proposed to solve the problems，such as time-consuming and insufficient manual inspection in aircraft skin in this paper.The Xception architecture is integrated into the YOLOv5 network，and the global channel attention mechanism is added to Backbone，and the channel space attention mechanism is added in Neck and Output so as to form a new fusion neural network based on the YOLOv5 network.The 8 503 images of aircraft surface defects collected are divided into training sets and test sets.After training，the new fusion neural network is verified by the test set，and the average accuracy of the five kinds of defects detection，including rivet peeling，rivet corrosion，skin peeling，skin crack and skin impact，are 0.960，0.928，0.931，0.934，0.948 respectively.And the overall recognition accuracy of the whole aircraft skin defects to the new fusion neural network is 0.950，the recall rate is 0.964，and the average accuracy rate is 0.957.The experimental results show that the new fusion neural network is effective for aircraft skin defect recognition.

Key words：aircraft skin defects;attention mechanism;deep learning;fusion neural network;object detection