魯統(tǒng)偉，徐子昕，閔 鋒

（1.武漢工程大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，武漢 430205；2.智能機(jī)器人湖北省重點(diǎn)實(shí)驗(yàn)室，武漢 430205）

0 概述

隨著深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Neural Network，DCNN）［1-2］的不斷改進(jìn)和發(fā)展，其在圖像分類［3-5］、目標(biāo)檢測(cè)［6-7］、語義分割［8-9］、視頻分析［10-11］等計(jì)算機(jī)視覺任務(wù)中得到廣泛應(yīng)用并取得重要研究成果。為進(jìn)一步提高DCNN 分類器訓(xùn)練效果，研究人員提出了數(shù)據(jù)增強(qiáng)［12］、正則化［13-14］等一系列方法，并且設(shè)計(jì)區(qū)域丟棄算法（dropout），將dropout 用于刪除隱藏的激活層，防止卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）過于關(guān)注圖像中某塊的小區(qū)域特征。dropout 算法還可以直接應(yīng)用在輸入數(shù)據(jù)樣本中，通過隨機(jī)丟棄部分像素區(qū)域得到新樣本，現(xiàn)已被證明可使模型注意力不局限于樣本的局部區(qū)域，更好地學(xué)習(xí)樣本特征的整體分布，提高分類器的訓(xùn)練準(zhǔn)確率［15］。由于dropout 算法去除的區(qū)域通常被簡單地歸零或填充隨機(jī)噪聲，因此對(duì)于小尺寸的圖像，減少了訓(xùn)練圖像上特征像素的比例，不利于進(jìn)一步分類與定位。在基于工業(yè)視覺的語義分割任務(wù)中，直接采用dropout 算法會(huì)產(chǎn)生兩方面的問題。一方面，由于工業(yè)零部件正負(fù)樣本區(qū)別小，在人工標(biāo)注時(shí)會(huì)產(chǎn)生錯(cuò)誤標(biāo)簽，因此直接采用dropout 算法會(huì)忽略錯(cuò)誤標(biāo)簽對(duì)模型的誤導(dǎo)［16-17］。另一方面，工業(yè)零部件的訓(xùn)練集樣本具有重復(fù)性與相似性［18］，現(xiàn)有的填充策略和圖像融合策略會(huì)引入非信息噪聲，降低樣本信噪比［19-20］。

DEVRIES 等［21］提出Cutout 數(shù)據(jù)增強(qiáng)算法，對(duì)原樣本圖像使用掩模遮擋一個(gè)矩形區(qū)域以得到新樣本圖像，新樣本圖像標(biāo)簽采用原始標(biāo)簽。YUN 等［22］在此基礎(chǔ)上提出CutMix 數(shù)據(jù)增強(qiáng)算法。該算法與Cutout 算法相似，不同之處在于CutMix 使用其他樣本的隨機(jī)區(qū)域進(jìn)行填充，并先分別按照兩個(gè)樣本的原始標(biāo)簽進(jìn)行損失計(jì)算，再將兩者求和得到最終損失值。這兩種數(shù)據(jù)增強(qiáng)方法在提高分類器訓(xùn)練效率上取得了較好的結(jié)果，但僅對(duì)原標(biāo)簽做簡單的線性變化或直接使用原標(biāo)簽作為新樣本標(biāo)簽的方法是無法表示標(biāo)簽中離散信息的，這會(huì)導(dǎo)致網(wǎng)絡(luò)模型無法將離散信息也作為一種特征進(jìn)行學(xué)習(xí)。為解決上述問題，本文提出一種基于生成對(duì)抗網(wǎng)絡(luò)（Generation Adversarial Network，GAN）的知識(shí)蒸餾數(shù)據(jù)增強(qiáng)方法。對(duì)區(qū)域丟棄算法中的丟棄運(yùn)算進(jìn)行改進(jìn)，在生成對(duì)抗網(wǎng)絡(luò)［23］的基礎(chǔ)上，對(duì)其生成器和判別器結(jié)構(gòu)進(jìn)行優(yōu)化，設(shè)計(jì)一種補(bǔ)丁生成網(wǎng)絡(luò)。補(bǔ)丁生成網(wǎng)絡(luò)通過學(xué)習(xí)原樣本的像素分布生成填充補(bǔ)丁，以減少隨機(jī)噪聲。同時(shí)，在區(qū)域丟棄算法中引入基于知識(shí)蒸餾的標(biāo)簽生成算法，通過教師網(wǎng)絡(luò)獲得Soft-lable并輔助學(xué)生網(wǎng)絡(luò)進(jìn)行訓(xùn)練［24］。Soft-lable 比普通的One-Hot 標(biāo)簽具有更高的信息熵，能有效輔助學(xué)生網(wǎng)絡(luò)學(xué)習(xí)不同類別間的類間差距，減少錯(cuò)誤標(biāo)簽對(duì)模型的影響，提高分類器的精度。

1 區(qū)域丟棄算法

區(qū)域丟棄算法作為一種正則化方法被廣泛應(yīng)用于防止神經(jīng)網(wǎng)絡(luò)過擬合，通過在網(wǎng)絡(luò)的前向傳播過程中按照一定比例舍棄節(jié)點(diǎn)的激活值的方式增強(qiáng)網(wǎng)絡(luò)分類器的訓(xùn)練效率。與全連接層相比，區(qū)域丟棄算法在卷積層中的效果較差，這是由于卷積層使用了卷積核，使得卷積層的參數(shù)量遠(yuǎn)少于全連接層，因此在解空間中對(duì)正則化的要求更少，并且在卷積層中特征圖的相鄰像素信息相似，舍棄掉的像素信息又存在于其他的像素中，繼續(xù)向后傳遞。

為提高區(qū)域丟棄策略在卷積層中的正則化效果，將卷積層中的丟棄操作設(shè)置到輸入層。通過直接移除輸入圖像的連續(xù)區(qū)域迫使網(wǎng)絡(luò)去學(xué)習(xí)全局信息，而不僅關(guān)注于局部區(qū)域。在許多視覺任務(wù)中常常存在目標(biāo)物體被遮擋的情況，區(qū)域丟棄算法也可以看作是對(duì)遮擋的模擬，定義如下：

其中：x∈RW×H×C表示原始樣本，W表示原始圖像的寬度、H為圖像高度、C為圖像通道數(shù)；表示生成的新樣本，采用原始樣本標(biāo)簽y作為新樣本的標(biāo)簽；M∈{0,1}W×H表示一個(gè)尺寸為ssize×ssize的矩形二值掩模。掩模M的中心位置是隨機(jī)生成的，像素坐標(biāo)（x，y）范圍如式（2）所示：

其中：wwidth表示圖像寬度；hheight表示圖像高度。

掩模左上角（x1，y1）、左下角（x1，y2）、右上角（x2，y1）、右下角（x2，y2）這4 個(gè)角點(diǎn)坐標(biāo)與中心坐標(biāo)的關(guān)系如式（3）所示：

對(duì)分類任務(wù)常用的CIFAR-10 數(shù)據(jù)集使用區(qū)域丟棄算法后的樣本效果見圖1。

圖1 區(qū)域丟棄后的CIFAR-10 數(shù)據(jù)集樣本Fig.1 CIFAR-10 dataset sample after dropout

區(qū)域丟棄算法雖然能通過單樣本進(jìn)行數(shù)據(jù)增強(qiáng)，并提高網(wǎng)絡(luò)訓(xùn)練效率，但是直接應(yīng)用于工業(yè)攝像機(jī)獲取到的工業(yè)數(shù)據(jù)集還存在如下問題：1）在使用二值掩模對(duì)原樣本進(jìn)行遮擋時(shí)，會(huì)引入二值噪聲，需要對(duì)所有樣本的所有像素值進(jìn)行歸一化操作，這會(huì)增加額外的計(jì)算量；2）使用原樣本的標(biāo)簽進(jìn)行網(wǎng)絡(luò)損失計(jì)算，這對(duì)于圖像分類任務(wù)和語義分割任務(wù)都是不合適的，在圖像分類任務(wù)中每張圖像僅對(duì)應(yīng)一個(gè)標(biāo)簽，原標(biāo)簽無法體現(xiàn)出不同類別之間的差異信息，在語義分割任務(wù)中每一個(gè)像素點(diǎn)都對(duì)應(yīng)一個(gè)One-Hot 標(biāo)簽，丟棄的像素點(diǎn)被二值填充，此時(shí)仍采用像素點(diǎn)的原始標(biāo)簽是不合理的。針對(duì)以上問題，本文對(duì)區(qū)域丟棄算法在標(biāo)簽生成方式上進(jìn)行改進(jìn)和優(yōu)化。

2 基于GAN 的知識(shí)蒸餾數(shù)據(jù)增強(qiáng)算法

本文主要從非監(jiān)督單樣本數(shù)據(jù)增強(qiáng)方式和新標(biāo)簽生成方式2 個(gè)方面對(duì)區(qū)域丟棄算法進(jìn)行改進(jìn)。

2.1 改進(jìn)的數(shù)據(jù)增強(qiáng)算法

為進(jìn)一步提高數(shù)據(jù)增強(qiáng)算法的生成樣本質(zhì)量，引入補(bǔ)丁填充算法。補(bǔ)丁填充算法被使用在CutMix算法中，能減少丟棄像素導(dǎo)致的信息缺失、訓(xùn)練困難問題。受補(bǔ)丁填充算法的啟發(fā)，構(gòu)造一種補(bǔ)丁生成網(wǎng)絡(luò)，并將其應(yīng)用在區(qū)域丟棄算法中。

補(bǔ)丁生成網(wǎng)絡(luò)整體采用常規(guī)GAN 模型中的生成器-判別器結(jié)構(gòu)作為網(wǎng)絡(luò)骨架，受到PATHK 等［25-26］在圖像修復(fù)任務(wù)中的啟發(fā)，本文算法將生成器G 設(shè)計(jì)為一個(gè)編碼器-解碼器（Encoder-Decoder）結(jié)構(gòu)。對(duì)于生成器G 輸入一張512×512 大小的三通道圖片，設(shè)置區(qū)域丟棄使用的掩模尺寸為128×128，即生成器需要生成一個(gè)128×128 大小的補(bǔ)丁。輸入圖片經(jīng)過4 次卷積池化下采樣為32×32 大小的512 維特征，再經(jīng)過2 次上采樣（UpSampling）恢復(fù)尺寸得到最終的三通道128×128 的填充補(bǔ)丁。補(bǔ)丁生成網(wǎng)絡(luò)生成器G 和常規(guī)GAN 生成器G 結(jié)構(gòu)見圖2。

圖2 補(bǔ)丁生成網(wǎng)絡(luò)生成器與常規(guī)GAN 生成器結(jié)構(gòu)Fig.2 Structure of patch generation network generator and conventional GAN generator

從圖2 可以看出，與常規(guī)GAN 生成器相比，補(bǔ)丁生成網(wǎng)絡(luò)將編碼器中的全連接層替換為卷積層，在解碼器中增加了上采樣層以控制最終獲得的補(bǔ)丁尺寸。同時(shí)，在激活函數(shù)選擇上，改用系數(shù)為0.2 的LeakyReLu 激活函數(shù)替代tanh 激活函數(shù)，以防止在訓(xùn)練過程中的梯度震蕩問題。

在生成器中的編碼器Encoder 設(shè)計(jì)為一個(gè)典型的卷積結(jié)構(gòu)，共使用4 層卷積層，這4 個(gè)卷積層分別使用32 個(gè)步長為2 的3×3 卷積核、64 個(gè)步長為2 的3×3 卷積核、128 個(gè)步長為2 的3×3 卷積核和512 個(gè)步長為2 的1×1 卷積核。輸入圖像經(jīng)過4 次卷積層后，特征圖的尺寸縮小為原圖的1/16。生成器中的解碼器Decoder 通過兩次上采樣恢復(fù)特征圖尺寸。在上采樣的具體實(shí)現(xiàn)中，直接采用反卷積（Deconv）層雖然更簡單，但其存在棋盤效應(yīng)，必須人為設(shè)計(jì)卷積核尺寸才能整除步長。為了減少網(wǎng)絡(luò)設(shè)計(jì)的難度，通過2 次疊加使用上采樣層和卷積層實(shí)現(xiàn)上采樣操作。第1 次使用上采樣層與128 個(gè)步長為1 的3×3 卷積層將32×32×512 的特征圖擴(kuò)大為64×64×128，第2 次使用上采樣層與64 個(gè)步長為1 的3×3 卷積層將64×64×128 的特征圖繼續(xù)擴(kuò)大為128×128×64，之后通過一個(gè)卷積層將特征圖的尺寸調(diào)整為128×128×3。僅進(jìn)行兩次上采樣操作的原因?yàn)椋号c常規(guī)GAN 的解碼器需要將特征圖尺寸還原到原圖大小不同，補(bǔ)丁生成網(wǎng)絡(luò)僅需要將特征圖尺寸還原到與補(bǔ)丁相同的大?。ㄔ瓐D大小的1/4）。

在判別器的設(shè)計(jì)上，常規(guī)GAN 判別器結(jié)構(gòu)與補(bǔ)丁生成網(wǎng)絡(luò)判別器結(jié)構(gòu)見圖3。

圖3 補(bǔ)丁生成網(wǎng)絡(luò)判別器與常規(guī)GAN 判別器結(jié)構(gòu)Fig.3 Structure of patch generation network discriminator and conventional GAN discriminator

從圖3 可以看出，補(bǔ)丁生成網(wǎng)絡(luò)判別器的設(shè)計(jì)參考常規(guī)GAN 判別器的結(jié)構(gòu)，但在卷積層后沒有再使用最大池化層，而是將這些信息最后直接平化（Flatten）輸入到全連接層中。在經(jīng)過激活函數(shù)后，補(bǔ)丁生成網(wǎng)絡(luò)判別器還加入了BN 層加快收斂速度。

判別器的輸入為生成器生成的128×128×3 尺寸的補(bǔ)丁，經(jīng)過3 個(gè)卷積層和1 個(gè)平化層，最后輸出1 個(gè)一維概率值。3 個(gè)卷積層分別使用64 個(gè)步長為2 的3×3卷積核、128 個(gè)步長為2 的3×3 卷積核和256 個(gè)步長為1 的3×3 卷積核。加入平化層是將32×32×256 的特征一維化成26 244個(gè)一維向量，使卷積層與全連接（Dense）層進(jìn)行過度。最終通過sigmoid 激活函數(shù)輸出一個(gè)表示該補(bǔ)丁是否為真的一維概率值。

基于生成對(duì)抗網(wǎng)絡(luò)的補(bǔ)丁填充算法定義如下：

其中：X表示新樣本；新樣本的標(biāo)簽Y先使用原始樣本標(biāo)簽y，本節(jié)僅討論圖像的非監(jiān)督數(shù)據(jù)增強(qiáng)變化規(guī)則，在下節(jié)中將會(huì)對(duì)樣本標(biāo)簽的生成方式進(jìn)行詳細(xì)討論；M∈{0,1}W×H表示區(qū)域丟棄算法中使用的二值掩模；E(M·x)表示將區(qū)域丟棄樣本作為編碼器的輸入；D(E(M·x))表示解碼器生成的填充補(bǔ)丁。

對(duì)圖像分類數(shù)據(jù)集和語義分割數(shù)據(jù)集分別使用補(bǔ)丁填充算法后的樣本效果見圖4。考慮到生成像素分布完全擬合的樣本需要大量的時(shí)間，為方便討論，本文設(shè)置epoch 為1 000，batch_size 大小為8 以提高補(bǔ)丁生成效率。從圖4（a）、圖4（b）、圖4（c）和圖4（d）中可以看出補(bǔ)丁像素會(huì)隨著迭代次數(shù)的增加，逐漸接近原樣本像素分布。同時(shí)，本文算法生成的補(bǔ)丁并非僅還原原樣本圖，而是與原樣本的低尺度圖像像素分布接近，這樣在一個(gè)mini-batch 中還能夠增加多尺度信息。但在CIFAR-10 數(shù)據(jù)集中，考慮到樣本尺寸過小，生成低尺度圖像意義不大，本文將補(bǔ)丁的擬合對(duì)象調(diào)整為全局圖像，見圖4（e）。

圖4 填充補(bǔ)丁后的圖像樣本Fig.4 Image sample after padding patch

2.2 改進(jìn)的標(biāo)簽生成算法

知識(shí)蒸餾是一種模型壓縮方法，目的是將知識(shí)從性能好、參數(shù)量大的高精度網(wǎng)絡(luò)轉(zhuǎn)移到易于部署、參數(shù)量小的模型中。這種訓(xùn)練模式也被稱為教師-學(xué)生模式。教師模型是由一個(gè)或者多個(gè)網(wǎng)絡(luò)組成的復(fù)雜模型，學(xué)生模型是一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)簡單、易于調(diào)整參數(shù)的模型。教師模型在訓(xùn)練中給予學(xué)生模型的指導(dǎo)稱為知識(shí)，知識(shí)的定義如下：

其中：j表示樣本集合；z表示教師模型最后一層的輸出；T表示蒸餾所采取的溫度，同時(shí)反映了標(biāo)簽的軟化程度，在知識(shí)蒸餾過程中取T為1。

引入知識(shí)蒸餾算法生成數(shù)據(jù)增強(qiáng)樣本的標(biāo)簽，將其與標(biāo)簽平滑方法相融合，提出一種基于知識(shí)蒸餾的標(biāo)簽生成算法?；谥R(shí)蒸餾的標(biāo)簽生成算法流程見圖5。

圖5 基于知識(shí)蒸餾的標(biāo)簽生成算法流程Fig.5 Procedure of label generation algorithm based on knowledge distillation

改進(jìn)的基于知識(shí)蒸餾的標(biāo)簽生成算法引入了標(biāo)簽融合模塊，見圖5 中的虛線框。將教師網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)到的知識(shí)通過與真實(shí)標(biāo)簽混合的方式傳遞給學(xué)生網(wǎng)絡(luò)，設(shè)教師網(wǎng)絡(luò)由N個(gè)復(fù)雜CNN 組成，則傳遞的知識(shí)共有N個(gè)。相較于直接使用未采取知識(shí)蒸餾的One-Hot 離散標(biāo)簽，使用經(jīng)過蒸餾的知識(shí)對(duì)學(xué)生網(wǎng)絡(luò)進(jìn)行訓(xùn)練可以學(xué)習(xí)到不同類別間的相似度信息，從而提高分類與分割任務(wù)的精度。同時(shí)，在語義分割數(shù)據(jù)集的數(shù)據(jù)清洗過程中，通常發(fā)現(xiàn)人工標(biāo)定錯(cuò)誤的樣本，通過標(biāo)簽混合的方式也能減少錯(cuò)誤的標(biāo)簽信息所占的權(quán)重比例，降低訓(xùn)練過程中錯(cuò)誤標(biāo)簽對(duì)模型產(chǎn)生的誤導(dǎo)。

基于知識(shí)蒸餾的標(biāo)簽生成算法定義如下：

其中：生成的標(biāo)簽L由Ltrue與Lsoft按比例混合得到，Ltrue表示人工標(biāo)注的真實(shí)標(biāo)簽，Lsoft表示通過教師網(wǎng)絡(luò)獲取到的知識(shí)，為保證Ltrue真實(shí)標(biāo)簽的所占比例更高，兩者按照Beta 分布取值，約束兩者之和為1；α與β表示混合系數(shù)，取α為0.3、β為0.7；pi表示教師網(wǎng)絡(luò)對(duì)第i個(gè)樣本的預(yù)測(cè)值；N表示樣本數(shù)量。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

為驗(yàn)證本文數(shù)據(jù)增強(qiáng)算法和標(biāo)簽生成算法的有效性，分別在圖像分類和語義分割兩個(gè)任務(wù)上進(jìn)行實(shí)驗(yàn)。對(duì)于圖像分類任務(wù)采用CIFAR-10 和CIFAR-100 數(shù)據(jù)集［27］。CIFAR-10 數(shù)據(jù)集是一個(gè)被圖像分類任務(wù)廣泛使用的數(shù)據(jù)集，包含10 個(gè)類別的32×32 大小的三通道RGB 圖像，每個(gè)類別包括50 000 張訓(xùn)練樣本和10 000 張測(cè)試樣本，部分樣本見圖6。

圖6 CIFAR-10 數(shù)據(jù)集部分樣本Fig.6 Partial sample of CIFAR-10 dataset

CIFAR-100 數(shù)據(jù)集是在CIFAR-10 數(shù)據(jù)集的基礎(chǔ)上進(jìn)行擴(kuò)充得到，包含20 個(gè)父類（superclass），每個(gè)父類又包含5 個(gè)子類（classes），即100 個(gè)類別的32×32 大小的三通道RGB 圖像，其中每個(gè)子類包含500 個(gè)訓(xùn)練樣本和100 個(gè)測(cè)試樣本。CIFAR-10 和CIFAR-100 數(shù)據(jù)集的每個(gè)樣本按照固定的命名格式進(jìn)行命名，每張圖像的標(biāo)簽為其名字的首個(gè)數(shù)字，例如樣本名“2_403.jpg”表示樣本的標(biāo)簽為2。

由于目前沒有用于語義分割的工業(yè)數(shù)據(jù)集，因此語義分割任務(wù)采用汽車轉(zhuǎn)向器軸承數(shù)據(jù)集，該數(shù)據(jù)集由軸承裝配線上的工業(yè)相機(jī)拍攝得到，共2 020張樣本圖像，訓(xùn)練集共1 212 張樣本圖像，測(cè)試集和驗(yàn)證集分別為404 張樣本圖像。汽車轉(zhuǎn)向器軸承數(shù)據(jù)集中正負(fù)樣本的4 種不同位姿見圖7，凹槽用圓圈標(biāo)出，非凹槽用矩形標(biāo)出。汽車轉(zhuǎn)向器分為內(nèi)側(cè)與外側(cè)，當(dāng)且僅當(dāng)內(nèi)側(cè)與外側(cè)均為凹槽時(shí)才是正樣本，見圖7（a），其余位姿均為負(fù)樣本見圖7（b）、圖7（c）和圖7（d）。該數(shù)據(jù)集包括正樣本和負(fù)樣本2 個(gè)類別，其中負(fù)樣本存在3 種位姿，正樣本存在1 種位姿。

圖7 汽車轉(zhuǎn)向器軸承數(shù)據(jù)集樣本Fig.7 Sample of automobile steering gear bearing dataset

汽車轉(zhuǎn)向器軸承數(shù)據(jù)集全部由手工標(biāo)注，數(shù)據(jù)集標(biāo)注示例見圖8（a），示例圖像對(duì)應(yīng)的json 文件見圖8（b），其中，label 表示標(biāo)簽名，points 表示識(shí)別目標(biāo)的像素點(diǎn)坐標(biāo)。

圖8 數(shù)據(jù)集標(biāo)注示例Fig.8 Example of dataset annotation

3.2 評(píng)價(jià)指標(biāo)

通過以下指標(biāo)［28］評(píng)價(jià)基于生成對(duì)抗網(wǎng)絡(luò)的知識(shí)蒸餾數(shù)據(jù)增強(qiáng)算法的性能：

1）最低k錯(cuò)誤率（Top-kError）。Top-kError 表示對(duì)每一類最終預(yù)測(cè)結(jié)果中最大的k個(gè)值不包含真實(shí)標(biāo)簽的概率。Top-kError 越小表示分類精度越高。

2）特征曲線下面積（Area Under the Receiver Operating Characteristic，AUROC）。AUROC 表示模型隨機(jī)預(yù)測(cè)到的正樣本次數(shù)比負(fù)樣本次數(shù)多時(shí)的數(shù)學(xué)期望，其大小為以假正例率（False Positive Rate，F(xiàn)PR）為橫坐標(biāo)、真正例率（True Positive Rate，TPR）為縱坐標(biāo)的ROC 曲線下的面積。TPR 與FPR 計(jì)算公式如式（7）所示：

其中：TTP表示預(yù)測(cè)為正樣本、實(shí)際為正樣本的樣本個(gè)數(shù)；FFN表示預(yù)測(cè)為負(fù)樣本、實(shí)際為正樣本的樣本個(gè)數(shù)；TTN表示預(yù)測(cè)為負(fù)樣本、實(shí)際為負(fù)樣本的樣本個(gè)數(shù)；FFP表示預(yù)測(cè)為正樣本、實(shí)際為負(fù)樣本的樣本個(gè)數(shù)。在實(shí)際統(tǒng)計(jì)中，TTP、FFN、TTN和FFP均由混淆矩陣獲得。AUROC 越大表示分類器的精度越高，效果越好。

3）平均交并比（mean Intersection over Union，mIoU）。mIoU 表示預(yù)測(cè)值與真實(shí)值的平均交并比。mIoU 越大，表示兩者重疊越多，分割精度越高，計(jì)算公式如式（8）所示：

其中：n表示測(cè)試樣本數(shù)；設(shè)第i個(gè)樣本的預(yù)測(cè)像素點(diǎn)連通域?yàn)镻i、真實(shí)標(biāo)簽像素連通域?yàn)門i，表示Pi?Ti時(shí)的Pi均表示Pi為非Ti子集時(shí)預(yù)測(cè)面積與真實(shí)標(biāo)簽的非重合面積。

雖然mIoU 是像素級(jí)別的評(píng)估標(biāo)準(zhǔn)，但是在實(shí)際檢測(cè)任務(wù)中可能存在mIoU 值大，但分割不準(zhǔn)確的情況，見圖9，彩色效果見《計(jì)算機(jī)工程》官網(wǎng)HTML 版。在圖9 中，background 為模型預(yù)測(cè)存在凹槽的區(qū)域，target 為真實(shí)標(biāo)簽區(qū)域。對(duì)于測(cè)試樣本2，雖然模型對(duì)所有凹槽預(yù)測(cè)正確，但預(yù)測(cè)區(qū)域面積遠(yuǎn)大于真實(shí)標(biāo)簽面積。對(duì)于測(cè)試樣本3，雖然僅預(yù)測(cè)出一個(gè)凹槽，但預(yù)測(cè)錯(cuò)誤的像素面積極小。然而，測(cè)試樣本3的mIoU 甚至比測(cè)試樣本2 的mIoU 更大，這對(duì)于檢測(cè)任務(wù)顯然是不合理的。

圖9 語義分割示意圖Fig.9 Schematic diagram of semantic segmentation

為更直觀地分析模型檢測(cè)效果，針對(duì)圖像級(jí)別的轉(zhuǎn)向器凹槽識(shí)別任務(wù)對(duì)式（8）進(jìn)行修改，得到適用于本文任務(wù)的凹槽識(shí)別率評(píng)估指標(biāo)。凹槽識(shí)別率定義如式（9）所示：

設(shè)第i個(gè)樣本實(shí)際凹槽連通域像素點(diǎn)集為Ti，i∈(1,2,…,n)，模型預(yù)測(cè)的像素連通域點(diǎn)集為Pi。當(dāng)Pi?Ti時(shí)，預(yù)測(cè)凹槽區(qū)域正確增加1。當(dāng)Pi的部分像素屬于Ti的非真子集時(shí)，代表部分凹槽預(yù)測(cè)正確也增加1。當(dāng)Pi為非Ti子集時(shí)，代表預(yù)測(cè)區(qū)域全部為非凹槽區(qū)域，預(yù)測(cè)全部錯(cuò)誤增加1。

3.3 結(jié)果分析

在PyCharm 中編程實(shí)現(xiàn)本文算法，編程語言為Python3.6.10，深度學(xué)習(xí)框架為PyTorch1.0.0，實(shí)驗(yàn)硬件平臺(tái)包括Intel?CoreTMi7-7700HQ CPU@ 2.80 GHz處理器，以及GeForce GTX 1070 GPU 用于加速模型訓(xùn)練。

在教師模型Net-T 的選擇上，僅使用一個(gè)網(wǎng)絡(luò)模型作為教師模型Net-T。學(xué)生模型Net-S 使用與教師模型相同的數(shù)據(jù)集訓(xùn)練，采用五折交叉檢驗(yàn)方式來訓(xùn)練教師模型Net-T。將數(shù)據(jù)集隨機(jī)分為等量的5 份，其中，4 份作為訓(xùn)練集，1 份作為測(cè)試集，重復(fù)5 次上述過程訓(xùn)練得到教師模型。這樣的目的是促使模型從多方面學(xué)習(xí)樣本，避免得到局部最優(yōu)值。將Net-T 每次對(duì)數(shù)據(jù)集的Softmax 預(yù)測(cè)值作為知識(shí)蒸餾得到的軟標(biāo)簽（Soft-label），將軟標(biāo)簽與真實(shí)標(biāo)簽（True-label）進(jìn)行混合獲得訓(xùn)練學(xué)生模型Net-S 使用的標(biāo)簽。生成的軟標(biāo)簽保存至csv 文件中，部分CIFAR-10 數(shù)據(jù)集軟標(biāo)簽csv 文件見圖10。

圖10 教師網(wǎng)絡(luò)生成的軟標(biāo)簽Fig.10 Soft-label generated by Net-T

從圖10 可以看出，軟標(biāo)簽學(xué)習(xí)到離散標(biāo)簽所沒有體現(xiàn)的類間距離信息。例如，在圖10 中image_id為Train_0_0 的樣本，該樣本在轎車（automobile）上的最大預(yù)測(cè)值為0.515，在卡車（truck）上的第二大預(yù)測(cè)值為0.288，說明該樣本最有可能為轎車，同時(shí)該樣本與卡車的特征最接近?？梢姡ㄟ^知識(shí)蒸餾可以為學(xué)生網(wǎng)絡(luò)Net-S 提供原標(biāo)簽中所沒有的知識(shí)。

學(xué)生模型在訓(xùn)練中不對(duì)數(shù)據(jù)集劃分，直接使用完整的數(shù)據(jù)集訓(xùn)練。教師網(wǎng)絡(luò)訓(xùn)練流程見圖11。

圖11 教師網(wǎng)絡(luò)訓(xùn)練流程Fig.11 Procedure of Net-T training

設(shè)置mini-batch 為32，max_iter 為1 000，訓(xùn)練周期（epoch）為350。為系統(tǒng)地評(píng)估本文算法，使ImageNet2017 分類競(jìng)賽中的最佳網(wǎng)絡(luò)SE-ResNet50作為骨架網(wǎng)絡(luò)，該網(wǎng)絡(luò)模型具有25M 的參數(shù)量，采用交叉熵函數(shù)作為損失函數(shù)。

為防止數(shù)據(jù)集在訓(xùn)練過程中存在過擬合現(xiàn)象，同時(shí)為減少模型訓(xùn)練中復(fù)雜的調(diào)參步驟，采用余弦退火和熱重啟［29］算法作為學(xué)習(xí)率調(diào)整算法，學(xué)習(xí)率計(jì)算公式如式（10）所示：

圖12 學(xué)習(xí)率曲線Fig.12 Learning rate curve

3.3.1 本文算法與區(qū)域丟棄算法的對(duì)比

區(qū)域丟棄算法與本文算法在CIFAR-100 數(shù)據(jù)集上的損失對(duì)比見圖13。從圖13 可以看出，在訓(xùn)練初期采用本文算法的損失值會(huì)大于區(qū)域丟棄算法，這是因?yàn)樵谟?xùn)練初期生成補(bǔ)丁的像素分布不能很好地與原數(shù)據(jù)集像素?cái)M合。但隨著迭代次數(shù)的增加，像素分布越來越接近真實(shí)分布，在訓(xùn)練結(jié)束時(shí)，采用本文算法能得到更低的損失值，并且能更快地達(dá)到收斂?？傮w而言，本文算法能在一定程度上提高網(wǎng)絡(luò)的訓(xùn)練效率。

圖13 區(qū)域丟棄算法與本文算法的損失對(duì)比Fig.13 Comparison of loss between dropout algorithm and the proposed algorithm

為更直觀地對(duì)檢測(cè)結(jié)果進(jìn)行比較，圖14 給出了采用3 種不同數(shù)據(jù)增強(qiáng)算法的熱力圖。從圖14 可以看出，對(duì)于測(cè)試圖片的凹槽檢測(cè)，本文算法和區(qū)域丟棄算法均能正確識(shí)別內(nèi)側(cè)凹槽，但在識(shí)別準(zhǔn)確率上，特別是對(duì)于汽車轉(zhuǎn)向器軸承的外側(cè)區(qū)域，僅使用原始數(shù)據(jù)集而未采用任何數(shù)據(jù)增強(qiáng)方式的檢測(cè)效果最差，將轉(zhuǎn)向器外側(cè)凸起和其他區(qū)域均錯(cuò)誤識(shí)別為凹槽。區(qū)域丟棄算法會(huì)受到背景的影響，將轉(zhuǎn)向器其他區(qū)域也識(shí)別為凹槽。可見，本文算法的檢測(cè)效果明顯優(yōu)于區(qū)域丟棄算法。

圖14 語義分割熱力圖Fig.14 Semantic segmentation heatmap

3.3.2 本文算法與其他數(shù)據(jù)增強(qiáng)算法的對(duì)比

為進(jìn)一步驗(yàn)證本文算法的有效性，將本文算法與Cutout 和CutMix 這兩種數(shù)據(jù)增強(qiáng)算法進(jìn)行比較，在CIFAR-100 數(shù)據(jù)集上的分類結(jié)果見表1。選擇常用的Top-1 Err 和Top-5 Err 作為Top-kErr 評(píng)價(jià)標(biāo)準(zhǔn)，Top-1 Err 和Top-5 Err 越小代表分類效果越好。由表1 可以看出，無論采用何種算法，Top-1 Err 均比Top-5 Err 高約20 個(gè)百分點(diǎn)，這是因?yàn)轭A(yù)測(cè)概率最大的1 個(gè)結(jié)果即為真實(shí)標(biāo)簽的情況要少于預(yù)測(cè)最大的5 個(gè)結(jié)果中包含真實(shí)標(biāo)簽的情況。本文算法在CIFAR-100 數(shù)據(jù)集上取得了較好的分類效果，與Cutout 算法相比，Top-1 Err 降低了1 個(gè) 百分點(diǎn)，Top-5 Err 降低了0.4 個(gè)百分點(diǎn)。與CutMix 算法相比，Top-1 Err 雖然提高了1 個(gè)百分點(diǎn)，但Top-5 Err 降低了0.1 個(gè)百分點(diǎn)。

表1 在CIFAR-100 數(shù)據(jù)集上的分類結(jié)果比較Table 1 Comparison of classification results on the CIFAR-100 dataset %

在CIFRA-10 數(shù)據(jù)集上的分類結(jié)果見表2。從表2可以看出，本文算法在CIFAR-10 數(shù)據(jù)集上也具有一定的有效性，相較于dropout算法在Top-1 Err 和Top-5 Err上分別降低了0.5 和0.6 個(gè)百分點(diǎn)，相較于Cutout 算法在Top-1 Err 和Top-5 Err 上分別降 低了0.2 和0.5 個(gè)百分點(diǎn)，但與CutMix 算法相比，在Top-5 Err 上雖然降低了0.3 個(gè)百分點(diǎn)，但在Top-1 Err 上卻增加了0.1 個(gè)百分點(diǎn)。

表2 在CIFAR-10 數(shù)據(jù)集上的分類結(jié)果比較Table 2 Comparison of classification results on the CIFAR-10 dataset %

導(dǎo)致CutMix 算法相較于本文算法在CIFAR-100和CIFAR-10 兩個(gè)數(shù)據(jù)集上Top-1 Err 上更好的原因?yàn)椋簝蓚€(gè)CIFAR 數(shù)據(jù)集的圖像大小僅為32×32，圖像特點(diǎn)為像素少而像素間包含的語義信息和特征信息多。本文算法不適用于此類特點(diǎn)的圖像，因?yàn)橥ㄟ^擬合樣本像素生成的“假”補(bǔ)丁所包含的特征信息遠(yuǎn)少于所丟棄的真實(shí)圖像。CutMix 算法雖然丟棄了部分真實(shí)圖像區(qū)域，但填充的補(bǔ)丁是數(shù)據(jù)集中其他樣本圖像的真實(shí)像素區(qū)域，避免了該問題。如果僅使用原樣本標(biāo)簽，則生成的補(bǔ)丁與真實(shí)區(qū)域相比效果會(huì)略差。CutMix 算法與本文算法在汽車轉(zhuǎn)向器軸承數(shù)據(jù)集樣本上的應(yīng)用效果見圖15（a）～圖15（c）。在CIFAR-10 數(shù)據(jù)集上，圖15（d）中的真實(shí)補(bǔ)丁與圖15（e）中本文算法生成的“假”補(bǔ)丁區(qū)別甚大，可以證實(shí)上述分析。

圖15 填充補(bǔ)丁后的CutMix算法與本文算法樣本應(yīng)用效果對(duì)比Fig.15 Comparison of sample application effect of CutMix algorithm and the proposed algorithm after padding patch

除了在CIFAR-10 和CIFAR-100 兩個(gè)數(shù)據(jù)集上，本文還在汽車轉(zhuǎn)向器軸承數(shù)據(jù)集上進(jìn)行數(shù)據(jù)增強(qiáng)算法性能對(duì)比，選用Google 提出的DeepLabv3+作為語義分割的骨架網(wǎng)絡(luò)，該網(wǎng)絡(luò)在多項(xiàng)指標(biāo)中均獲得最高分類精度［30］，結(jié)果見表3。從表3 可以看出，本文算法在語義分割任務(wù)上具有較好的效果，相較于dropout、Cutout 或CutMix 算法在準(zhǔn)確率 和mIoU 上均有一定的提升，相較于CutMix 算法在識(shí)別準(zhǔn)確率和mIoU 上均提升了0.4 個(gè)百分點(diǎn)。這是因?yàn)樵谡Z義分割任務(wù)中，網(wǎng)絡(luò)模型的預(yù)測(cè)是像素級(jí)別的，CIFAR-10與CIFAR-100 數(shù)據(jù)集中包含32×32 大小的圖像，而汽車轉(zhuǎn)向器軸承數(shù)據(jù)集中包含512×512 大小的圖像，在分類數(shù)據(jù)集中生成的補(bǔ)丁像素對(duì)總像素的像素分布影響更大，所以在分類任務(wù)中本文算法較CutMix 算法的性能優(yōu)勢(shì)并不明顯，但在語義分割任務(wù)中本文算法性能更優(yōu)。

表3 在汽車轉(zhuǎn)向器軸承數(shù)據(jù)集上的語義分割結(jié)果Table 3 Semantic segmentation results on the automobile steering gear bearing dataset %

3.3.3 消融實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證標(biāo)簽生成算法能提升數(shù)據(jù)增強(qiáng)算法在圖像分類與語義分割任務(wù)中的精度，設(shè)置消融實(shí)驗(yàn)。將算法分為3 組進(jìn)行訓(xùn)練：第1 組為原始區(qū)域丟棄算法；第2 組為將數(shù)據(jù)增強(qiáng)算法改為本文提出的基于生成對(duì)抗網(wǎng)絡(luò)的數(shù)據(jù)增強(qiáng)算法；第3 組在第2 組的基礎(chǔ)上增加了基于知識(shí)蒸餾的標(biāo)簽生成算法。在CIFAR-100 數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果見表4，其中，“√”表示包括該算法，“×”表示未包括該算法。從表4 可以看出：對(duì)于第1 組實(shí)驗(yàn)，僅使用原始CIFAR-100 數(shù)據(jù)，Top-1 Err 和Top-5 Err 分別為28.4% 和5.7%；對(duì)于第2 組實(shí)驗(yàn)，僅采用基于生成對(duì)抗網(wǎng)絡(luò)的數(shù)據(jù)增強(qiáng)算法，Top-1 Err 和Top-5 Err 相較于第1 組實(shí)驗(yàn)提升了1.9 和0.5 個(gè)百分點(diǎn)，原因是補(bǔ)丁尺寸占整個(gè)像素面積過大，反而會(huì)降低信噪比；對(duì)于第3 組實(shí)驗(yàn)，同時(shí)使用本文提出的兩種算法時(shí)卻能提高準(zhǔn)確率，Top-1 Err 和Top-5 Err 相較于第1 組實(shí)驗(yàn)分別降低了3.1 和0.8 個(gè)百分點(diǎn)，達(dá)到最優(yōu)分類精度，這說明知識(shí)蒸餾提取到的Soft-label 對(duì)提高分類精度有一定的效果。

表4 在CIFAR-100 數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果Table 4 Ablation experimental results on CIFAR-100 dataset

在CIFAR-10 數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果見表5。從表5 可以看出：對(duì)于第1 組實(shí)驗(yàn)，僅使用原始CIFAR-10 數(shù)據(jù)，Top-1 Err 和Top-5 Err 分別為4.4%和1.9%；對(duì)于第2 組實(shí)驗(yàn)，與CIFAR-100 數(shù)據(jù)集實(shí)驗(yàn)結(jié)果類似，由于兩個(gè)數(shù)據(jù)集樣本尺寸一樣，因此僅采用基于生成對(duì)抗網(wǎng)絡(luò)的數(shù)據(jù)增強(qiáng)算法對(duì)Top-1 Err 和Top-5 Err 的提升效果不明顯，甚至?xí)档蜏?zhǔn)確率；對(duì)于第3 組實(shí)驗(yàn)，同時(shí)采用本文提出的兩種算法相較于第1 組實(shí)驗(yàn)分別在Top-1 Err 和Top-5 Err 上降低了0.5 和0.6 個(gè)百分點(diǎn)，達(dá)到最優(yōu)分類精度。

表5 在CIFAR-10 數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果Table 5 Ablation experimental results on CIFAR-10 dataset

針對(duì)表4 中的第2 組實(shí)驗(yàn)均會(huì)受到掩模尺寸影響，降低本文算法效果的問題，在CIFAR-100 數(shù)據(jù)集上分析丟棄區(qū)域所使用掩模M尺寸對(duì)實(shí)驗(yàn)結(jié)果的影響。使用與之前實(shí)驗(yàn)相同的基準(zhǔn)網(wǎng)絡(luò)與訓(xùn)練策略進(jìn)行網(wǎng)絡(luò)訓(xùn)練。評(píng)估掩模M的尺寸分別為0×0、4×4、8×8、16×16 時(shí)的Top-1 Err，其中0×0 表示直接采用原圖訓(xùn)練，實(shí)驗(yàn)結(jié)果見圖16。從圖16 可以看出，選擇掩模尺寸為4×4（即圖像尺寸的1/8）時(shí)，Top-1 Err 取到最小值為25.5%，若繼續(xù)擴(kuò)大掩模尺寸為圖像尺寸的1/4（即8×8）和1/2（即16×16）均會(huì)增加Top-1 Err，降低分類精度。這也證實(shí)了表4 中第2 組實(shí)驗(yàn)精度下降主要是由掩模尺寸導(dǎo)致。在后續(xù)實(shí)驗(yàn)的掩模尺寸上采用效果最好的4×4 掩模尺寸。

圖16 掩模尺寸對(duì)Top-1 Err 的影響Fig.16 Influence of the size of the mask on Top-1 Err

通常而言，只要提供足夠多的訓(xùn)練樣本，神經(jīng)網(wǎng)絡(luò)的魯棒性能就能得到極大提升，但當(dāng)某個(gè)樣本的特征在已知特征空間以外時(shí)，神經(jīng)網(wǎng)絡(luò)存在不能以較低的置信度表示沒有學(xué)到的特征。為了驗(yàn)證本文算法與CutMix 和Cutout 兩種數(shù)據(jù)增強(qiáng)算法的泛化性能，在OOD 樣本［31］上對(duì)2 種數(shù)據(jù)增強(qiáng)算法與本文數(shù)據(jù)增強(qiáng)算法進(jìn)行對(duì)比。使用CIFAR-100 預(yù)訓(xùn)練模型對(duì)CIFAR-100 數(shù)據(jù)集中的OOD 樣本進(jìn)行預(yù)測(cè)，通過預(yù)測(cè)結(jié)果來判斷泛化性能。OOD 樣本選取CIFAR-100 預(yù)訓(xùn)練模型預(yù)測(cè)的Top-1 Err 值與真實(shí)標(biāo)簽不同的樣本。使用在CIFAR-100 上預(yù)訓(xùn)練的SE-ResNet50 模型，在1 000 個(gè)測(cè)試樣本中選出283 個(gè)OOD 樣本，然后分別采用基于CutMix 算法、Cutout算法和本文算法這3 種數(shù)據(jù)增強(qiáng)算法訓(xùn)練出的網(wǎng)絡(luò)模型對(duì)283 個(gè)OOD 樣本進(jìn)行預(yù)測(cè)評(píng)估。網(wǎng)絡(luò)模型采用與3.3 節(jié)中相同的網(wǎng)絡(luò)模型訓(xùn)練參數(shù)和訓(xùn)練策略，預(yù)訓(xùn)練模型上的OOD 樣本預(yù)測(cè)結(jié)果見表6。從表6可以看出，本文算法會(huì)受到樣本尺寸的影響，AUROC 相較于CutMix 算法降低了0.9 個(gè)百分點(diǎn)，相較于Cutout 算法提高了1.3 個(gè)百分點(diǎn)。

表6 預(yù)訓(xùn)練模型上OOD 樣本預(yù)測(cè)結(jié)果Table 6 OOD sample prediction results on the pre-trained model %

4 結(jié)束語

為解決圖像分類任務(wù)中網(wǎng)絡(luò)模型無法從離散的標(biāo)簽中學(xué)習(xí)到不同類別間的相似度信息以及工業(yè)視覺檢測(cè)任務(wù)中存在正負(fù)樣本難區(qū)分、樣本量少等問題，本文改進(jìn)區(qū)域丟棄算法，提出一種基于生成對(duì)抗網(wǎng)絡(luò)的知識(shí)蒸餾數(shù)據(jù)增強(qiáng)算法，通過生成器-對(duì)抗器學(xué)習(xí)樣本的像素分布，生成填充補(bǔ)丁，提高生成數(shù)據(jù)的信噪比。將知識(shí)蒸餾中的教師-學(xué)生模型應(yīng)用到擴(kuò)充樣本的標(biāo)簽生成中，通過教師網(wǎng)絡(luò)獲得Soft-label對(duì)學(xué)生網(wǎng)絡(luò)的訓(xùn)練進(jìn)行指導(dǎo)，將離散的標(biāo)簽信息進(jìn)行軟化，使網(wǎng)絡(luò)模型對(duì)樣本的離散空間特征進(jìn)行更充分的學(xué)習(xí)。實(shí)驗(yàn)結(jié)果表明，相較于區(qū)域丟棄算法，該算法在CIFAR-100 數(shù)據(jù)集和CIFAR-10 數(shù)據(jù)集的Top-1 Err上分別降低了3.1和0.5個(gè)百分點(diǎn)，在Top-5 Err上分別降低了0.8 和0.6 個(gè)百分點(diǎn)。在汽車轉(zhuǎn)向器軸承數(shù)據(jù)集的語義分割任務(wù)中，相較于區(qū)域丟棄算法、CutMix 算法和Cutout 算法，該算法在mIoU 上分別提高了2.8、0.4 和1.3 個(gè)百分點(diǎn)，在識(shí)別準(zhǔn)確率上分別提高了2.3、0.4 和0.8 個(gè)百分點(diǎn)。由于本文所選用數(shù)據(jù)集均來自理想光照環(huán)境，因此下一步將考慮光照變化等因素來改變數(shù)據(jù)生成方式，同時(shí)通過在原樣本上增加濾波生成補(bǔ)丁等策略降低補(bǔ)丁生成耗時(shí)，提升數(shù)據(jù)生成質(zhì)量和實(shí)時(shí)性。