樊 瑋，段博坤，黃 睿*，劉 挺，張 寧

（1.中國民航大學計算機科學與技術學院，天津 300300；2.廈門航空信息部，福建廈門 361006）

（?通信作者電子郵箱rhuang@cauc.edu.cn）

0 引言

現代民航飛機大多使用高涵道比的渦輪風扇發(fā)動機，其核心機部分工作在高溫高壓的惡劣環(huán)境下，為了保證航空器運行的安全和效率，必須對發(fā)動機的工作狀態(tài)進行監(jiān)控。業(yè)界普遍采用視情維護策略［1］，要求“定期對設備或部件按標準進行檢驗，以確定其在下一個計劃檢查周期之前能夠使用”?？滋綑z查是現在最主要的視情維護技術，但需要由專業(yè)人員觀察孔探圖像進行評估才能得出最終的檢查結果，目前還沒有較為可靠的自動化檢測技術。

隨著人工智能技術的不斷發(fā)展，研究人員開始探索基于深度學習的孔探圖像自動檢測技術［2］，但該項研究尚處于起步階段，檢測精度較低，無法很好地代替人工檢測，其中制約模型泛化能力一個重要的因素是數據規(guī)模。由于數據采集和標注的工作量巨大，目前含有檢測目標的孔探圖像數據量稀少，待檢測目標的比例低，且樣本空間分布不均；因此在進行模型訓練時經常需要對樣本空間進行擴充。

深度學習任務中進行數據擴充一般采用旋轉、裁剪、縮放等傳統擴展方法，但這些方法只改變了圖像的表現形式，并未改變圖像中的內容。使用生成對抗網絡（Generative Against Network，GAN）等深度學習技術進行數據擴展，則無法在生成圖像的同時生成相應的標注信息。因此，在發(fā)動機孔探圖像的缺陷檢測這種數據量少且待檢測目標比例低的任務中，現有數據擴展方法不能在已有數據的基礎上產生更多的有缺陷圖像，如在無缺陷的發(fā)動機孔探圖像上產生燒蝕、孔洞、裂縫等缺陷。此外，在一些標注難度較大的數據上，現有方法也無法在不改變樣本空間大小的前提下產生更多帶有標注的數據。

針對以上問題，本文提出了基于風格遷移技術的交互式數據擴展方法，主要思想是：在航空發(fā)動機孔探圖像數據集上，根據已標注好的數據構建缺陷庫和背景圖像庫；針對不同的發(fā)動機區(qū)域圖像，選擇不同類型的缺陷，并通過縮放、旋轉等變形操作調整缺陷的形狀完成交互；為了保證缺陷樣本和粘貼圖像的對應區(qū)域具有相同的風格，采用風格遷移技術改變缺陷樣本的風格；使用泊松融合的方法將風格化后的樣本融合到背景圖像中，得到擴展樣本。該方法結合了風格遷移和泊松融合兩種方法，解決了擴展目標和圖像背景區(qū)域風格不一致、粘貼邊界明顯的問題，使得擴展后的數據更加接近真實采集的數據，并可以利用現有的已標注數據，產生更多的帶標注的數據，有效地解決了視覺檢測任務中獲取數據難、標注難以及樣本分布不平衡的問題。

1 相關工作

在航空發(fā)動機的缺陷檢測任務中，根據對圖像改變方式的不同，使用的數據擴展方法可以分為兩大類：傳統數據擴展方法和基于深度學習的數據擴展方法。

圖1 所示為不同的數據擴展方法的對比結果，傳統數據擴展方法通過改變圖像的表現形式來達到擴展數據的目的。Howard［3］指出現有的數據擴展方法采用旋轉、裁剪［4］、縮放、仿射變換［5］、透視變換［6］等針對圖像全局變換的操作擴充圖像的數量。這些擴展方法實現簡單，且被證明能夠有效提升模型泛化能力［7］，如：Krizhevsky 等［8］在ImageNet 比賽中使用橫向移動、水平翻轉的方式將訓練數據擴大至原來的2 048倍用于圖像分類訓練，并借此獲得了圖像分類的冠軍。而當數據集中包含無用的高頻特征時，對圖像添加噪聲擾動［9］，如高斯噪聲、椒鹽噪聲等，可以扭曲高頻特征，避免模型擬合無用的高頻特征，達到增強模型學習能力的目的。此外，通過改變圖像色彩空間［10］包括簡單地改變圖像的顏色、亮度、對比度和清晰度；采用像素限制、像素矩陣變換和像素值顛倒等方法可以從色彩空間角度擬合偏置，但過多的色彩變換易使模型在顏色空間上擬合而不利于網絡學習到預期特征。這些常用的擴展方法可以對小樣本數據集快速擴展，但無法很好地解決樣本空間分布不平衡問題。Chawla 等［11］和Zhang 等［12］提出了人工合成新樣本的方法，為解決樣本分布不平衡問題提供了可行的思路。

基于深度學習的數據擴展方法利用深度神經網絡的學習能力來改變或生成圖像內容以達到擴展數據的目的。Bowles等［13］利用生成對抗網絡（GAN）技術對醫(yī)學影像進行數據增強，其擴展數據集顯著改善了U-net 的檢測精度。Zhu 等［14］使用循環(huán)生成對抗網絡（Cycle-GAN）改變圖像內容，如實現風景圖片中季節(jié)的變換以達到數據擴展的目的。陳文兵等［15］將高斯混合模型（Gaussian Mixture Model，GMM）和條件GAN（Conditional GAN，CGAN）結合并提出了GMM-CGAN 方法，通過該方法進行數據擴展并在卷積神經網絡（Convolutional Neural Network，CNN）模型上訓練，分類準確率提升了14.1%。GAN 能夠有效進行數據擴展，但其計算量巨大且難以訓練，不適用于大規(guī)模數據擴展任務。

圖1 不同的數據擴展方法對比Fig.1 Comparison of different data augmentation methods

上述方法能夠在一定程度上解決訓練樣本不足的問題，并提高模型的泛化能力；但擴充的數據僅是對現有數據的線性或者非線性變化，沒有增加數據的樣本空間，限制了模型的學習能力。使用GAN 進行數據擴展難以達到魯棒的效果（如使用帶有缺陷的發(fā)動機孔探圖像訓練GAN，難以生成缺陷位置合理、效果真實的新圖像），并且不能同時生成新數據和相應的標簽，制約了GAN的廣泛使用。

2 本文方法

本文針對發(fā)動機孔探圖像的缺陷檢測任務提出了交互式的數據擴展方法。首先，基于原始樣本剔除背景信息，并構建僅含有待檢測目標的圖像庫；其次，將缺陷圖像和背景圖像上的指定區(qū)域進行風格一致化，使得缺陷圖像和輸入圖像具有相同的風格；最后，將缺陷圖像粘貼在輸入圖像上的指定區(qū)域，并通過泊松融合對粘貼區(qū)域的邊緣進行修正，產生擴展后的圖像。本文提出的基于風格遷移技術的交互式數據擴展方法框架如圖2 所示，其中交互界面選擇缺陷生成位置及類型。泊松融合中的兩張圖像分別表示輸入圖像和風格化后缺陷圖像的一階梯度圖像，“+”表示將缺陷圖像梯度作為引導矢量場對輸入圖像待融合區(qū)域進行插值。

2.1 缺陷圖像庫構建

在發(fā)動機孔探圖像的缺陷檢測項目中，原始發(fā)動機孔探圖像數量較少。而待檢測目標包含不同類型的發(fā)動機內部缺陷，并且依賴于特定的發(fā)動機部位，如：發(fā)動機燃燒室易產生燒蝕和穿孔等類型的缺陷；高壓渦輪機葉片易產生磨損和裂紋等類型的缺陷。但現有數據擴展方法采用的旋轉、裁剪、縮放和仿射變換等針對圖像全局變換的操作僅擴充圖像的數量，不能改變圖像內容。考慮到以上問題，構建缺陷圖像庫，按類別收集發(fā)動機孔探圖像中的缺陷。首先，根據每一張原始發(fā)動機孔探圖像的標簽信息提取出相應圖像中的缺陷內容。將所有圖像的缺陷內容和相應的缺陷標簽作為缺陷信息進行匯總，并將缺陷信息按其標簽類別保存為磨損、凹坑、卷曲、裂紋、材料丟失、涂層丟失、燒蝕和缺口這8 個類別的缺陷圖像，從而構建出缺陷圖像庫。缺陷圖像庫中的每一類缺陷可以作為缺陷源，用于交互式擴展至其他發(fā)動機孔探圖像中。

圖2 基于風格遷移技術的交互式數據擴展框架Fig.2 Framework of interactive data augmentation based on style transfer technology

2.2 風格一致化

從缺陷圖像庫中按類別挑選缺陷圖像，并與背景圖像（輸入圖像）進行直接粘貼融合，融合結果如圖3 所示。由于缺陷圖像與背景圖像的顏色和紋理等特征相差較大，導致融合效果較差。因此，采用Shen 等［16］提出的能夠生成任意風格和任意內容的風格遷移模型對缺陷圖像和背景圖像進行風格一致化，以減小缺陷與背景之間的風格差異。該模型包含元模型和轉換模型兩個子模型，其中：元模型具有復雜的網絡結構，用于特征學習及權重訓練；轉換模型則僅保存權重數據用于指定風格的遷移。將缺陷圖像和背景圖像進行風格一致化的過程詳述如下。

首先，從背景圖像中選擇可能發(fā)生某類缺陷的位置區(qū)域作為待粘貼區(qū)域，得到風格圖像Isty，缺陷圖像作為目標圖像D，使用Isty對風格遷移模型進行訓練后，對D進行風格遷移，得到風格化后的缺陷圖像Dsty。形式化表示如式（1）所示：

式中Φsty(?，?)表示風格遷移模型的風格轉換操作。

圖3 直接融合效果Fig.3 Direct fusion effect

將Dsty通過交互式界面粘貼至指定位置，并進行旋轉和縮放，得到新生成的樣本I'new。形式化表示如式（2）所示：

式中：Isrc表示背景圖像；Γ(?，?，θ，s，(x，y))表示將圖像粘貼至背景圖像中（x，y）位置，并旋轉θ角度或縮放s倍。

圖4 所示為針對發(fā)動機孔探圖像的風格遷移結果。經過風格一致化后，目標圖像能夠具有和風格圖像一致的風格。但新樣本I'new粘貼區(qū)域的邊緣部分存在明顯粘貼痕跡，為解決此問題，本文采用泊松融合算法對粘貼區(qū)域邊緣進行修正。

圖4 圖像風格遷移結果Fig.4 Image style transfer results

2.3 泊松融合

泊松圖像編輯是Pérez 等［17］提出的一種利用梯度信息對待融合區(qū)域進行自然插值的方法。該方法利用了心理學家Land等［18］提出的通過Laplace算子限制、平滑圖像中漸變梯度的方法，減弱兩張圖像融合的痕跡。

泊松算法使背景圖像Isrc在待融合區(qū)域的邊緣根據缺陷圖像Dsty的梯度信息生成與背景圖像Isrc相近的像素，以達到平滑效果。其過程可形式化為式（3）：

式中，Φpos(?)表示對圖像中融合區(qū)域執(zhí)行泊松算法以平滑邊緣。

泊松融合算法利用泊松方程對圖像進行插值。泊松方程在圖像融合區(qū)域的內部梯度和邊界條件確定后具有唯一解。融合區(qū)域的像素值由給定的邊界條件（背景圖像融合區(qū)域的邊緣位置像素值）和內部的梯度場（缺陷圖像梯度）唯一確定。泊松方程的求解目標是使得到的像素值變化趨勢與引導向量場之間差值最小，以達到融合區(qū)域與其他區(qū)域的自然過渡。計算式如式（4）所示：

式中：-v|2保證了生成圖像f在融合區(qū)域Ω處的梯度?f與缺陷圖像在融合區(qū)域Ω處的梯度v相似；=保證了生成圖像f與背景圖像f *在融合區(qū)域邊緣位置?Ω處的像素值相等。

由于圖像像素值為離散值，可將梯度問題轉換為一階差分問題，并進行求導得到二階差分方程：

由此可將最小值問題離散化為式（7）所示方程，根據該離散化方法可將泊松融合的過程轉化為多元方程組的求解。

其中：f(x，y)為融合區(qū)域（x，y）位置的插值，Δf(x，y)為融合區(qū)域（x，y）位置的散度。由Δf(x，y)可構成融合區(qū)域的散度矩陣B。由已知的邊界條件（背景圖像f *中待融合區(qū)域邊緣的像素值）構造系數矩陣A，由式（8）即可解得融合后區(qū)域的插值矩陣X，將新生成的像素值X插入背景圖像f *的融合區(qū)域Ω處，得到新圖像Inew。

2.4 測試數據集

為了驗證本文方法，實驗時從8 個類別對應的原始缺陷圖像中各隨機選10 張圖像。然后，使用本文方法對每張圖像擴展1倍，生成80張新的缺陷圖像作為負例；從原始缺陷圖像中另選80張圖像作為正例。組成具有160張圖像的測試集。

2.5 評價標準

實驗采用分類錯誤率進行評價。分類正確的圖像數為TN（True Number），正樣本中分類錯誤的圖像數為FN1（False Number），負樣本中分類錯誤的圖像為FN2，則錯誤率F的計算如式（9）所示：

對于本文實驗來說，錯誤率F越接近0.5 則說明生成樣本的真實度越高，即生成圖像和真實圖像的區(qū)分度越低。

3 實驗與結果分析

3.1 風格遷移模型訓練

實驗選取1 000 張帶有缺陷的發(fā)動機原始圖片作為風格數據集和目標數據集進行學習。實驗采用Pytorch 深度學習框架，預訓練學習率為lE-4，風格訓練網絡權重為25，每一批次輸入8張圖像，網絡迭代訓練5 000個epoch。

3.2 有效性結果分析

為驗證本文方法的有效性，邀請了兩名非專業(yè)人員和一名專業(yè)孔探人員對160 張測試圖像進行分類。待測人員不知道測試圖像中真假圖像的數量比例，僅通過觀察圖像后判斷圖像的真假，并同時指出假的圖像中偽造缺陷的位置。

測試結果如表1 所示。非專業(yè)人員1 的測試結果中6 張真實圖像被識別為生成樣本，72 張生成樣本被識別為真實圖像，分類錯誤率為48.8%；非專業(yè)人員2 的測試結果中有3 張真實圖像被識別為生成樣本，68 張生成樣本被識別為真實圖像，分類錯誤率為44.4%；專業(yè)人員未將真實圖像識別為生成樣本，但有62 張生成樣本被識別為真實圖像，分類錯誤為38.7%。測試人員的平均分類錯誤率達到了44.0%。

表1 不同測試人員的分類結果Tab.1 Classification results by different testers

可以發(fā)現，專業(yè)人員由于其長期積累的工作經驗，分類的錯誤率明顯低于非專業(yè)人員的分類錯誤率；但仍有62 張生成的樣本被誤分類成真實圖像，表明了本文方法擴展后的缺陷圖像較為真實。

圖5 所示為使用直接粘貼方法和本文方法在發(fā)動機不同部位圖像上產生擴展圖像的對比結果?？梢园l(fā)現，使用本文方法生成的擴展圖像將來自不同背景且風格各異的缺陷圖像自然地融入到了指定的發(fā)動機背景圖像中，生成了較為真實的帶有新缺陷的發(fā)動機孔探圖像，實現了對發(fā)動機孔探圖像內容上的數據擴展。

3.3 基于Mask R-CNN的缺陷檢測

為了進一步驗證本文數據擴展方法的有效性，使用Mask R-CNN（Mask Region-based Convolutional Neural Network）作為檢測識別網絡，分別用傳統的數據擴展方法和本文方法擴展訓練數據后，進行孔探圖像的缺陷檢測實驗。實驗選取了90張只含有燒蝕缺陷的發(fā)動機孔探圖，從中隨機選取58 張作為訓練集、18 張作為驗證集、14 張作為測試集。針對訓練集，分別使用傳統擴展方法與本文方法擴展10 倍，記為D_ext10 和D_Iext10。實驗結果如表2 所示，其中AP（Average Precision）表示平均精確度，AP（0.5）表示以0.5 為交并比（Intersection over Union，IoU）臨界值估計出平均精確度，AP（0.75）表示以0.75 為IoU臨界值估計出平均精確度?？梢园l(fā)現，使用本文方法擴展后的數據作為訓練集，在檢測和分割任務的精度上都有所提升。其中，在檢測任務上其AP 提高了0.226，在分割任務AP上提高了0.204。相較于傳統的數據擴展方法，本文方法可以使得模型的檢測和分割AP 在原有基礎上分別提高99.5%和91.9%。

表2 使用不同擴展方法的訓練結果Tab.2 Training results of different augmentation methods

3.4 消融實驗

為了分析本文提出的數據擴展方法，分別對比了生成過程中各階段產生的擴展圖像，并列舉了幾個失敗的案例。

3.4.1 消融實驗中間結果對比

實驗過程中使用不同方法生成圖像的對比結果如圖6 所示。其中僅泊松結果、僅風格化結果分別表示只對缺陷部分使用泊松算法進行融合和只對缺陷部分使用風格化進行融合的結果圖像。若僅使用泊松算法進行融合，當缺陷圖像與背景圖像的風格差異較大時，融合區(qū)域中心部分與背景區(qū)域的風格對比較為明顯；僅使用風格化方法進行融合，融合區(qū)域邊緣部分像素變化較大，融合效果不好。本文方法結合了這兩種算法的優(yōu)勢，使用風格化減小缺陷圖像與背景圖像之間的風格差異，再利用泊松算法對風格化后的缺陷圖像邊緣區(qū)域進行修正，得到較為真實的生成圖像。

圖5 使用直接粘貼方法和本文方法在發(fā)動機不同部位圖像上產生的擴展圖像對比Fig.5 Comparison of augmented images generated by direct pasting method and proposed method on different parts of engine images

圖6 圖像生成過程中各階段圖像對比Fig.6 Comparison of images in different stages of image generation process

3.4.2 失敗案例分析

圖7 為擴展的孔洞和裂縫圖像。可以看出，在擴展孔洞和裂縫兩類缺陷時，由于孔洞和裂縫內部基本為黑色，使用風格遷移模型會將這些黑色區(qū)域風格化成背景圖的顏色，從而失去缺陷的內部信息。為了避免風格化導致的問題，因此對孔洞和裂縫采用直接粘貼的方式并使用泊松融合修正融合區(qū)域的邊界。

圖7 失敗的擴展圖像Fig.7 Failed augmented images

4 結語

本文提出了基于風格遷移的交互式航空發(fā)動機孔探圖像擴展方法，解決了發(fā)動機孔探圖像缺陷檢測中缺陷數據不足、缺陷類別分布不均的問題。在使用本文方法進行數據擴展時，可以通過交互界面自由選擇不同類型的缺陷，將其融入到指定的背景圖像中。為了減少圖像融合時帶來的不真實的效果，本文采用風格遷移技術降低缺陷與背景圖像之間的風格差異，然后使用泊松融合算法對融合區(qū)域的邊界進行修正，得到了可以亂真的擴展圖像，實現了對發(fā)動機孔探圖像缺陷內容上的擴充。此外，在進行數據擴展時可以同時生成擴展缺陷像素級的標簽，解決了數據標注的問題。通過人工分類和Mask R-CNN 的缺陷檢測實驗，充分驗證了本文方法的有效性。本文提出的數據擴展方法可以應用到數據量少、標注困難、樣本空間分布不平衡的視覺檢測任務中（如壁畫的病害檢測），能夠有效提高檢測的精度。