陳嘉欣，孫傳猛，葛耀棟，李欣宇，靳書云，李 勇

(1.中北大學(xué) 省部共建動態(tài)測試技術(shù)國家重點實驗室，山西 太原 030051；2.中北大學(xué) 電氣與控制工程學(xué)院，山西 太原 030051；3.華北計算機系統(tǒng)工程研究所，北京 100083；4.重慶大學(xué) 煤礦災(zāi)害動力學(xué)與控制國家重點實驗室，重慶 400044)

在國家“科技強國”“交通強國”戰(zhàn)略支撐下,高速鐵路等新型載運工具得到了普遍關(guān)注和認(rèn)可,并積極進(jìn)行布局。其中,高動態(tài)、高精度軌道巡檢技術(shù)對高速鐵路的智能運維至關(guān)重要[1]。然而,基于人工智能技術(shù)開展高速條件下鋼軌軌面缺陷自主檢測面臨以下小樣本學(xué)習(xí)難題:

1)數(shù)據(jù)分布不平衡[2]。已有軌道在通常情況下都是無缺陷的,對剛修建完或正在建設(shè)中的高速鐵路軌道而言,獲得軌面缺陷數(shù)據(jù)更是難上加難。顯然,目前構(gòu)建的軌面缺陷數(shù)據(jù)集存在正負(fù)樣本分布不平衡問題,這嚴(yán)重降低了相關(guān)缺陷檢測模型的性能,極端情況下模型會將缺陷識別為噪聲從而導(dǎo)致缺陷檢測結(jié)果無效。

2)數(shù)據(jù)缺乏多樣性。軌面缺陷數(shù)據(jù)獲取困難,相關(guān)數(shù)據(jù)集規(guī)模偏小,這意味著數(shù)據(jù)正負(fù)樣本的形態(tài)偏少,背景與目標(biāo)樣式多樣性不足,導(dǎo)致模型只能學(xué)到部分特征而影響模型的識別性能,甚至引發(fā)“過擬合”問題。

3)數(shù)據(jù)標(biāo)注難度大[3]。軌面缺陷數(shù)據(jù)的標(biāo)注存在鑒定難等問題,需要專業(yè)人員完成。此外,通過實地拍攝得到覆蓋面廣的數(shù)據(jù)集并準(zhǔn)確標(biāo)注,將會耗費大量的人力、物力。

針對上述小樣本學(xué)習(xí)難題,一種可靠的解決方法是遷移學(xué)習(xí),它通過人工生成缺陷形態(tài)符合真實分布的、目標(biāo)與背景近似真實的模擬圖像來使數(shù)據(jù)集的增強,訓(xùn)練增強數(shù)據(jù)集實現(xiàn)缺陷檢測模型的卓越性能;隨著新的、真實的缺陷數(shù)據(jù)不斷加入訓(xùn)練集,不斷微調(diào)已有模型,實現(xiàn)性能的最優(yōu)化。

顯然,模擬圖像生成的質(zhì)量直接關(guān)系到遷移學(xué)習(xí)的成敗。生成對抗網(wǎng)絡(luò)(generative adversarial network, GAN)[4-8]是一種基于博弈論的深度學(xué)習(xí)生成模型,可以學(xué)習(xí)樣本數(shù)據(jù)高階語義特征并生成具有該特征的新數(shù)據(jù)。GAN模型是在2014年由Goodfellow等提出,相對其他數(shù)據(jù)增強方法,其生成的圖像具有清晰度、分辨率更高且速度更快等優(yōu)點[9-10]。在圖像生成領(lǐng)域,相關(guān)學(xué)者對GAN模型做了大量研究工作。2019年,Bailo等[11]采用條件生成對抗網(wǎng)絡(luò)(conditional generative adversarial network, CGAN),對顯微鏡下的紅細(xì)胞圖像進(jìn)行生成,得出在生成數(shù)據(jù)對檢測任務(wù)的增益大于分割任務(wù)的結(jié)論。2020年,Suh等[12]提出分類增強型生成對抗網(wǎng)絡(luò)(classification enhancement generative adversarial networks, CEGAN),可以在數(shù)據(jù)不平衡的情況下生成合成的少數(shù)群體數(shù)據(jù)來增強分類,提高了非平衡數(shù)據(jù)條件下分類的穩(wěn)定性和性能。同年,Niu等[13]提出一種新的缺陷圖像生成方法,引入兩個鑒別器和周期一致性損失來生成換向器缺損圖像。2021年,Belhiti等[14]改進(jìn)了StackGAN,實現(xiàn)對人臉數(shù)據(jù)的生成。同年,Cui等[15]提出生成式協(xié)同訓(xùn)練網(wǎng)絡(luò)GenCo,通過引入多個互補的鑒別器來緩解鑒別器過擬合的問題,這些鑒別器在訓(xùn)練中可以在多個不同的尺度上進(jìn)行檢測。

雖然軌面缺陷形態(tài)無定式,但類別是固定的。因此,生成的軌面缺陷模擬圖像,既不能樣式單一、與小樣本數(shù)據(jù)集中缺陷形態(tài)完全一致,又不能形態(tài)過分夸張、跳脫已有類別限制。因此,本文采用CycleGAN和Pix2Pix相結(jié)合的方法,實現(xiàn)小樣本數(shù)據(jù)集語義特征學(xué)習(xí)和軌面缺陷數(shù)據(jù)的智能生成。其中,Pix2Pix輸入的是成對的缺陷圖像和背景圖像,生成特定類別的缺陷圖像;CycleGAN模型則生成不受定式約束的缺陷圖像。二者結(jié)合,實現(xiàn)模擬圖像缺陷類別不變而形態(tài)各異,從而達(dá)到數(shù)據(jù)集增強的目的。

1 相關(guān)理論

1.1 GAN

GAN[4]結(jié)構(gòu)見圖1。

圖1 GAN模型基本結(jié)構(gòu)

通過生成器網(wǎng)絡(luò)G和判別器網(wǎng)絡(luò)D不斷進(jìn)行二元極大、極小博弈,達(dá)到同時優(yōu)化兩個模型的目的。其中,生成器G的目標(biāo)是提高生成樣本與真實樣本的相似度,即實現(xiàn)生成樣本pg與真實樣本pd分布相同;判別器D的目標(biāo)是分辨真實樣本與生成樣本。GAN損失函數(shù)(目標(biāo)函數(shù))LGAN的表達(dá)式為

E(ln{1-fD[fG(z)]})}

(1)

式中:x為圖像數(shù)據(jù);z為隨機噪聲;E為期望值;fD為判別器D的輸出;fG為生成器G的輸出。

1.2 Pix2Pix

經(jīng)典GAN模型生成內(nèi)容由參數(shù)fG和隨機噪聲z決定,無法控制生成內(nèi)容。為控制生成器生成內(nèi)容,引入條件信息y。在Pix2Pix模型中,y為與m對應(yīng)的另一個圖像域數(shù)據(jù)。在生成器中,隨機噪聲z和數(shù)據(jù)y同時作為輸入,生成一個跨模態(tài)特征;在判別器中,數(shù)據(jù)m及對應(yīng)的y作為輸入,生成跨模態(tài)向量,同時判斷m的真?zhèn)巍＿@樣,隨著條件信息y的引入,生成器逐漸被控,生成特定結(jié)果。加入條件信息y,Pix2Pix的損失函數(shù)[16-17]Lpix2pix的表達(dá)式為

E(ln{1-fD[fG(z|y)]})}

(2)

通常,在損失函數(shù)中引入L1正則項可以使模型參數(shù)稀疏化,從而提升泛化能力,有助于生成更清晰的數(shù)據(jù)[18],則L1正則項損失函數(shù)LL1為

LL1(fG)=E[‖y-fG(m,z)‖1]

(3)

在正則約束情況下,添加懲罰因子λ為0.01的懲罰項,則模型參數(shù)fG*為

(4)

不同于經(jīng)典GAN使用MLP作為模型結(jié)構(gòu),Pix2Pix使用了CNN中常用的卷積+BN+ReLU的模型結(jié)構(gòu)。其中,生成器采用了經(jīng)典的編碼器-解碼器結(jié)構(gòu)[19],即UNet,其典型結(jié)構(gòu)見圖2。UNet可以保留不同分辨率下像素級的細(xì)節(jié)信息,實現(xiàn)將高分辨率輸入網(wǎng)格映射到高分辨率輸出網(wǎng)格;判別器采用PatchGAN[20],這不同于經(jīng)典GAN,將整幅圖作為判別器判別的目標(biāo),而是將輸入圖像分成若干個圖像塊(Patch),依次作為判別目標(biāo)。當(dāng)圖像塊的大小為1×1時,PatchGAN又被叫做PixelGAN。Pix2Pix對一張圖片切割成不同的N×N大小的Patch,判別器對每一個Patch做真假判別,將一張圖片所有Patch的結(jié)果取平均作為最終的判別器輸出。PatchGAN判別器結(jié)構(gòu)見圖3。

圖2 UNet典型結(jié)構(gòu)

圖3 PatchGAN判別器結(jié)構(gòu)

最終,Pix2Pix形成如圖4所示的結(jié)構(gòu)。圖4中,黑白Mask標(biāo)注即為引入的條件信息y,該標(biāo)注為二值圖像,反映了缺陷所對應(yīng)的位置和形狀大小信息。

圖4 Pix2Pix模型基本結(jié)構(gòu)

1.3 CycleGAN

Pix2Pix模型訓(xùn)練需要輸入成對的缺陷圖像和背景圖像。顯然,實際成對的軌面圖像數(shù)據(jù)是很難獲取的。CycleGAN[21],即循環(huán)生成對抗網(wǎng)絡(luò),采用雙向循環(huán)生成的結(jié)構(gòu),突破Pix2Pix對數(shù)據(jù)集圖片一一對應(yīng)的限制。

CycleGAN結(jié)構(gòu)見圖5。圖5中包含兩個生成器網(wǎng)絡(luò)和兩個判別器網(wǎng)絡(luò)。生成器網(wǎng)絡(luò)結(jié)構(gòu)見圖6。其中,兩個生成器網(wǎng)絡(luò)結(jié)構(gòu)相同,包含下采樣、轉(zhuǎn)碼和上采樣3部分;兩個判別器結(jié)構(gòu)采用PatchGAN,同Pix2Pix模型。

圖5 CycleGAN模型基本結(jié)構(gòu)

圖6 生成器網(wǎng)絡(luò)結(jié)構(gòu)

設(shè)無缺陷軌面圖像為X域,有缺陷軌面圖像為Y域,則生成器網(wǎng)絡(luò)G1的映射函數(shù)fG1為

fG1(x)=y′x∈X

(5)

生成器網(wǎng)絡(luò)G2的映射函數(shù)fG2為

fG2(y)=x′y∈Y

(6)

兩個生成器可以實現(xiàn)跨域圖像生成,兩個判別器則分別判斷兩個生成器生成數(shù)據(jù)與真實數(shù)據(jù)之間的差異,這與經(jīng)典GAN網(wǎng)絡(luò)是一致的。

由于輸入CycleGAN的兩組(X、Y域)圖像沒有一一對應(yīng)關(guān)系,即輸入的兩組圖片完全是隨機搭配在一起,常規(guī)GAN以及Pix2Pix學(xué)不到任何聯(lián)系,而CycleGAN通過添加“循環(huán)生成”并優(yōu)化循環(huán)一致性損失(consistencyloss)來代替Pix2Pix中的約束條件,使生成器網(wǎng)絡(luò)保留原域圖片特征。循環(huán)一致性體現(xiàn)在:由生成器網(wǎng)絡(luò)G1生成的Y域數(shù)據(jù),再由生成器網(wǎng)絡(luò)G2恢復(fù)為X域數(shù)據(jù)x′,這與初始輸入的X域x應(yīng)該是一致的。因此,可由L1損失來判斷x與x′的差異,生成器的循環(huán)一致性損失Lcyc的表達(dá)式為

Lcyc(fG1,fG2)=E{‖fG2[fG1(x)]-x‖1}+

E{‖fG1[fG2(y)]-y‖1}

(7)

同經(jīng)典GAN一樣,CycleGAN還包含對抗性損失。其中,由X域到Y(jié)域的對抗損失為

LGAN(fG1,fD2,X,Y)=E[lnfD2(y)]+

E(ln{1-fD2[fG1(x)]})

(8)

式中: fD2為判別器網(wǎng)絡(luò)D2對應(yīng)的映射函數(shù)。

由Y域到X域的對抗損失為

LGAN(fG2,fD1,Y,X)=E[lnfD1(x)]+

E(ln{1-fD1[fG2(y)]})

(9)

式中: fD1為判別器網(wǎng)絡(luò)D1對應(yīng)的映射函數(shù)。

此外,CycleGAN還引入了IdentityLoss來確保生成器網(wǎng)絡(luò)所生成的數(shù)據(jù)盡量保留源圖像特性(如色調(diào))。IdentityLoss的表達(dá)式為

LIdent(fG1,fG2)=E[‖fG1(x)-x‖1]+E[‖fG2(y)-y‖1]

(10)

這樣,CycleGAN總的損失函數(shù)表達(dá)式為

λ2LIdent(fG1,fG2)

(11)

式中:λ1、λ2為正則化系數(shù)。

1.4 智能生成總體流程

綜上所述,采樣Pix2Pix模型可以約束生成缺陷圖像的類型,采用CycleGAN模型可以生成不受定式約束的軌面缺陷圖像。這樣,將二者結(jié)合即可實現(xiàn)模擬圖像缺陷類別均衡而形態(tài)各異,達(dá)到數(shù)據(jù)集增強的目的,從而解決基于人工智能的高動態(tài)高精度軌道巡檢技術(shù)的小樣本學(xué)習(xí)難題,其具體過程見圖7。

圖7 總體流程

基于CycleGAN和Pix2Pix的軌面缺陷圖像智能生成方法的偽代碼如下:

初始化:初始化Mp、Mc。

1.for(t=1,…,T)do

2. 訓(xùn)練模型Mp中的生成器Gp、判別器Dp;

3. 損失函數(shù)反向傳播,更新模型參數(shù);

4.endfor

5.for(t=1,…,T)do

6. 更新模型Mc中的生成器G1、G2,判別器D1、D2;

7. 損失函數(shù)反向傳播,更新模型參數(shù);

8.endfor

9.設(shè)定生成黑白Mask標(biāo)注類型,使用Gp得到缺陷圖像。

10.輸入軌面無缺陷圖像和缺陷圖像,使用G1、G2對應(yīng)生成軌面缺陷圖像和無缺陷圖像。

2 實驗研究

2.1 實驗方案

為驗證本文技術(shù)方法的可行性,設(shè)計實驗方案包含以下兩個方面:①制作軌面圖像數(shù)據(jù)集。數(shù)據(jù)集包含有缺陷數(shù)據(jù)集和無缺陷數(shù)據(jù)集兩大類,有缺陷數(shù)據(jù)的缺陷均有對應(yīng)的黑白Mask標(biāo)注。②分別搭建Pix2Pix和CycleGAN生成對抗網(wǎng)絡(luò),分別輸入相應(yīng)的數(shù)據(jù)訓(xùn)練各自模型,并考察其生成圖像質(zhì)量。

本次實驗平臺為Pycharm2020,所用GPUNVIDIARTX6000,開發(fā)語言為Python3.6,配置環(huán)境為Pytorch1.7。

2.2 軌面缺陷數(shù)據(jù)集制作

本文采用RSDDsType-Ⅰ數(shù)據(jù)集[22]作為實驗對象。相比其他故障檢測數(shù)據(jù)集,RSDDs檢測難度更大,體現(xiàn)如下: ①識別功能有限。該數(shù)據(jù)集視覺特征的局限性使得大多數(shù)基于復(fù)雜紋理和形狀特征的目標(biāo)識別方法無法成功訓(xùn)練[23]。②缺乏可識別的先驗信息。軌面缺陷往往以隨機或任意的方式出現(xiàn),其形狀和大小各不相同。③較低的灰度值先驗[24]往往被光照不均一、反射特性變化和噪聲引起的不規(guī)則物所抑制。

RSDDsType-Ⅰ數(shù)據(jù)集共有67張真實缺陷軌面圖片和其缺陷對應(yīng)的黑白Mask標(biāo)注。數(shù)據(jù)集部分圖片及其黑白Mask標(biāo)注見圖8。RSDDsType-Ⅰ數(shù)據(jù)集如何判斷缺陷說明見文獻(xiàn)[22]。

圖8 RSDDs Type-Ⅰ數(shù)據(jù)集部分樣本

原始的RSDDsType-Ⅰ數(shù)據(jù)集不能滿足本實驗方案要求,必須再次加工獲得滿足本次實驗的數(shù)據(jù)集樣本。首先,利用矩陣運算將原始樣本圖像裁剪成256×256大小的多個新樣本;然后,根據(jù)對應(yīng)Mask標(biāo)簽將裁剪后的圖片分為有缺陷軌面數(shù)據(jù)集和無缺陷軌面數(shù)據(jù)集;最終,制作的有缺陷軌面數(shù)據(jù)集包含樣本141張及對應(yīng)黑白Mask標(biāo)注,部分樣本見圖9(a),無缺陷軌面數(shù)據(jù)集包含樣本465張,部分樣本見圖9(b)。

圖9 有、無缺陷軌面數(shù)據(jù)集部分樣本

2.3 實驗結(jié)果與分析

2.3.1 基于Pix2Pix的軌道圖像生成實驗

將成對的有缺陷軌面數(shù)據(jù)集樣本與其黑白Mask標(biāo)注圖像輸入到Pix2Pix模型進(jìn)行訓(xùn)練,訓(xùn)練共計800輪。為防止過擬合,在Pix2Pix架構(gòu)中還設(shè)置了Dropout層。

訓(xùn)練完成后,隨機抽取若干樣本測試網(wǎng)絡(luò)性能,測試結(jié)果見圖10。由圖10可知,通過控制輸入到Pix2Pix網(wǎng)絡(luò)的黑白Mask形狀,可以實現(xiàn)對生成缺陷形態(tài)的精確控制。

圖10 Pix2Pix模型隨機抽樣測試結(jié)果

為進(jìn)一步驗證Pix2Pix的軌面圖像生成效果,需要更多的Mask圖像,達(dá)到豐富數(shù)據(jù)集的目的。Mask圖像采用如下兩種方法生成: ①對RSDDsType-I數(shù)據(jù)集自帶的Mask進(jìn)行隨機變換,包括縮放、鏡像、移位等操作; ②利用規(guī)則圖形生成Mask圖像。方法②的具體步驟如下:

Step1生成256×256大小的黑色背景。

Step2生成一個隨機數(shù)n作為缺陷數(shù)量。

Step3隨機生成一個坐標(biāo)(x,y)和半徑r,以此為參數(shù)畫圓并填充為白色。

Step4確定橫向壓縮率dx、縱向壓縮率dy、旋轉(zhuǎn)角度θ,并對白色目標(biāo)進(jìn)行對應(yīng)的壓縮、旋轉(zhuǎn)操作。

Step5不斷重復(fù)Step3、Step4,直至完成所有的n個缺陷目標(biāo)的生成,然后轉(zhuǎn)入下一個Mask的制作。

Step6利用上述兩種方法獲得了理想的軌面缺陷Mask圖像,部分樣本見圖11。其中,圖11(a)由方法①得到;圖11(b)由方法②得到。

圖11 兩種方法生成的部分黑白Mask圖像

將Mask圖像輸入到訓(xùn)練好的Pix2Pix模型,生成有缺陷軌面模擬圖像,結(jié)果見圖12(因篇幅有限,僅展示部分圖像)。由圖12可知,隨機生成的Mask圖像均能得到對應(yīng)的模擬缺陷圖像,表明Pix2Pix模型能夠生成特定類別的缺陷圖像。

圖12 設(shè)定Mask生成的模擬缺陷圖像

2.3.2 基于CycleGAN的軌面圖像生成實驗

將465張無缺陷軌面數(shù)據(jù)集樣本作為真實X域數(shù)據(jù),將141張有缺陷軌面數(shù)據(jù)集樣本作為真實Y域數(shù)據(jù),輸入CycleGAN進(jìn)行訓(xùn)練。訓(xùn)練共計200輪。

訓(xùn)練完成后,隨機確定軌面圖像進(jìn)行CycleGAN模型效果驗證,結(jié)果見圖13。由圖13可知,CycleGAN模型成功地將有缺陷軌面圖像轉(zhuǎn)換成無缺陷軌面圖像,將無缺陷軌面圖像轉(zhuǎn)換成有缺陷軌面圖像,且缺陷樣式不受定式約束。

圖13 CycleGAN生成的圖像

3 性能測試

本文方法生成的軌面缺陷模擬圖像,從圖像內(nèi)容和缺陷形態(tài)而言,十分接近真實的軌面缺陷圖像。但對于小樣本數(shù)據(jù)集而言,存在數(shù)據(jù)分布不平衡、數(shù)據(jù)缺乏多樣性等問題。由于生成器固有特性,無法利用劃分?jǐn)?shù)據(jù)集的方式來評估生成對抗網(wǎng)絡(luò)模型生成圖像的性能[25]。因此,采用本文方法生成軌面缺陷模擬圖像進(jìn)行數(shù)據(jù)集增強后,是否解決了數(shù)據(jù)分布平衡、樣本多樣性等問題,當(dāng)前并沒有恰當(dāng)?shù)脑u價指標(biāo)。如果增強后的數(shù)據(jù)集在計算機視覺任務(wù)中能更好地發(fā)揮各自網(wǎng)絡(luò)模型的性能,則能間接反映增強數(shù)據(jù)集解決了原數(shù)據(jù)集小樣本學(xué)習(xí)難題。因此,本文利用圖像分類、目標(biāo)檢測、語義分割這3大典型的計算機視覺任務(wù)來測試本文方法生成圖像性能,進(jìn)而驗證該方法解決軌面缺陷檢測技術(shù)小樣本學(xué)習(xí)難題的有效性。在訓(xùn)練過程中,所有實驗均同時采用了在線數(shù)據(jù)增強,最終實驗結(jié)果僅突出了數(shù)據(jù)集擴(kuò)充后的有效性。

3.1 基于VGG19的圖像分類性能測試

VGG19是牛津大學(xué)視覺幾何小組提出的一種深層卷積網(wǎng)絡(luò)結(jié)構(gòu),在圖像分類任務(wù)中性能卓越、廣受認(rèn)可[26]。VGG19訓(xùn)練不需要Mask標(biāo)注,只需將有、無缺陷軌道圖像分別賦予不同的分類標(biāo)簽輸入網(wǎng)絡(luò)即可。

首先,構(gòu)造原始的軌面缺陷小樣本數(shù)據(jù)集。為模擬數(shù)據(jù)分布失衡,用于訓(xùn)練的有、無缺陷軌面圖像樣本分別為20、311張;用于測試的有、無缺陷軌面圖像樣本分別為121、134張,見表1。表1中,def、no_def分別表示有、無缺陷軌面樣本。

表1 原始數(shù)據(jù)集訓(xùn)練和測試劃分 張

然后,利用Pix2Pix和CycleGAN對有缺陷軌面數(shù)據(jù)集進(jìn)行增強,結(jié)果見表2。表2中,ori為原始數(shù)據(jù)集;aug(Pix2Pix2)、aug(CycleGAN)和aug(Mix)分別為Pix2Pix2、CycleGAN和兩者混合增強的數(shù)據(jù)集。

表2 增強的有缺陷數(shù)據(jù)集結(jié)果 張

將增強后的有缺陷軌面數(shù)據(jù)均加入到訓(xùn)練集中,這樣新的增強數(shù)據(jù)集中有缺陷和無缺陷樣本數(shù)量相等。

最后,分別用原始數(shù)據(jù)訓(xùn)練集和增強數(shù)據(jù)訓(xùn)練集訓(xùn)練具有同一結(jié)構(gòu)的VGG19模型,并利用測試集(兩數(shù)據(jù)集的測試集完全相同)測試各自訓(xùn)練模型的性能,結(jié)果見表3。表3中,準(zhǔn)確率為正確分類的樣本數(shù)與總樣本數(shù)之比。由表3可知,采用Pix2Pix和CycleGAN增強數(shù)據(jù)集均大幅度提高了VGG19分類模型的性能,而聯(lián)合CycleGAN和Pix2Pix增強方法提升幅度最大,達(dá)81.177%。這表明本文方法在圖像分類任務(wù)中,可顯著改善小樣本特征帶來的數(shù)據(jù)分布不平衡、缺乏多樣性等問題。

表3 基于VGG19的圖像分類性能測試結(jié)果 %

3.2 基于YOLOv5的目標(biāo)檢測性能測試

YOLOv5是近年來性能最卓越的目標(biāo)檢測算法之一。本文利用YOLOv5來測試增強數(shù)據(jù)集對目標(biāo)檢測算法性能的提高能力。

使用與3.1節(jié)所述中相同的有缺陷軌面圖像樣本作為訓(xùn)練集和測試集,且在不同數(shù)據(jù)集的實驗中均設(shè)置相同的超參數(shù)以對比檢測結(jié)果。以準(zhǔn)確率、召回率以及均值平均精度作為檢測結(jié)果的評價指標(biāo),數(shù)值越高表明對缺陷的定位和識別越加準(zhǔn)確。對3種增強數(shù)據(jù)集進(jìn)行實驗,結(jié)果見表4。表4中,召回率為正樣本被預(yù)測正確數(shù)量與總正樣本個數(shù)之比;均值平均精度為計算所有類別的準(zhǔn)確率和召回率曲線下面積的平均值。由表4可知,聯(lián)合Pix2Pix和CycleGAN增強數(shù)據(jù)集方法使得均值平均精度達(dá)到最高,相比原數(shù)據(jù)集提升了18.30%。這表明,聯(lián)合兩種方法豐富數(shù)據(jù)集對模型泛化能力的提升效果最為顯著,部分檢測結(jié)果見圖14。

圖14 原始與3種增強數(shù)據(jù)集的部分缺陷檢測結(jié)果

3.3 基于UNet的語義分割性能測試

UNet是一種經(jīng)典的語義分割深度學(xué)習(xí)模型。本文利用UNet來測試增強數(shù)據(jù)集對語義分割算法性能的提高能力。該測試試驗所用的訓(xùn)練集和測試集同樣為3.1節(jié)所述數(shù)據(jù)集。

由于UNet是有監(jiān)督學(xué)習(xí),需要為訓(xùn)練集的各個樣本制作相應(yīng)的標(biāo)簽圖像。對于原始訓(xùn)練集,各樣本對應(yīng)的黑白Mask圖像即可作為標(biāo)簽;對于Pix2Pix生成的有缺陷軌面數(shù)據(jù),其輸入的Mask圖像可以直接作為標(biāo)簽;對于CycleGAN生成的有缺陷軌面數(shù)據(jù),由于是在無缺陷數(shù)據(jù)上生成的,將生成數(shù)據(jù)和原數(shù)據(jù)進(jìn)行減法運算,并采用全局閾值處理方法[27]轉(zhuǎn)換為二值圖像,然后使用形態(tài)學(xué)處理濾除噪聲并填補空隙,即可得到相應(yīng)的Mask標(biāo)簽圖像,見圖15。

圖15 CycleGAN生成缺陷圖像標(biāo)簽

分別用原始數(shù)據(jù)訓(xùn)練集和增強數(shù)據(jù)訓(xùn)練集訓(xùn)練具有同一結(jié)構(gòu)的UNet模型,并利用測試集測試各自訓(xùn)練模型的性能。UNet模型的評估指標(biāo)為Dice Score,該指標(biāo)主要用于計算兩集合間的相似性,即兩集合間相似性越高,Dice Score越高。UNet模型在各數(shù)據(jù)集上的性能見表5。表5中,Dice Score為預(yù)測結(jié)果與真實標(biāo)簽的重疊區(qū)域與兩者并集之比。由表5可知,采用Pix2Pix增強數(shù)據(jù)集降低了UNet分割性能,這是因為只用Pix2Pix生成數(shù)據(jù)沒有有效的增強缺陷的多樣性;只采用CycleGAN方法生成的數(shù)據(jù),在多樣性上有較大增強,因而提升了UNet分割性能;而聯(lián)合CycleGAN和Pix2Pix增強方法在增強數(shù)據(jù)分布平衡和缺陷多樣性方面更優(yōu),因而取得了最好的分割性能,其UNet分割Dice Score達(dá)到71.015,相比原始數(shù)據(jù)集提高了6%。

表5 基于UNet的圖像分割性能測試結(jié)果

4 結(jié)論

1)采用CycleGAN和Pix2Pix相結(jié)合的方法,實現(xiàn)小樣本數(shù)據(jù)集語義特征學(xué)習(xí)和軌面缺陷數(shù)據(jù)的智能生成,生成數(shù)據(jù)缺陷類別不變、而形態(tài)各異,從而達(dá)到數(shù)據(jù)集增強的目的。

2)利用VGG19、YOLOv5和UNet進(jìn)行的軌道圖像小樣本數(shù)據(jù)集增強性能測試實驗表明,本文方法在圖像分類任務(wù)中的準(zhǔn)確率為81.177%,較原數(shù)據(jù)集提高23.138%;在目標(biāo)檢測任務(wù)中,準(zhǔn)確率為91.90%,提升26.60%,召回率為87.20%,提升16.00%,均值平均精度為93.50%,提升18.30%;在語義分割任務(wù)中Dice Score為71.015,較原數(shù)據(jù)集提高6%。