王素琴，任 琪，石 敏，朱登明

基于異常檢測的產(chǎn)品表面缺陷檢測與分割

王素琴1，任 琪1，石 敏1，朱登明2,3

(1. 華北電力大學(xué)控制與計(jì)算機(jī)工程學(xué)院，北京 102206；2. 中國科學(xué)院計(jì)算技術(shù)研究所前瞻研究實(shí)驗(yàn)室，北京 100190；3. 太倉中科信息技術(shù)研究院，江蘇 太倉 215400)

工業(yè)制造中缺陷樣本難以獲得且缺陷表現(xiàn)形式多樣，只用訓(xùn)練正樣本的異常檢測技術(shù)越來越多地被應(yīng)用于產(chǎn)品表面缺陷檢測。異常檢測一般通過評估產(chǎn)品圖像的異常分?jǐn)?shù)對產(chǎn)品進(jìn)行有無缺陷的判斷，缺乏對缺陷位置的描述，最新提出的異常分割方法對此進(jìn)行了改進(jìn)，但對缺陷區(qū)域的分割不夠精確?；诋惓z測方法，使用標(biāo)準(zhǔn)化流來判斷產(chǎn)品表面是否有缺陷，采用多尺度特征融合并對齊來初步定位缺陷位置，結(jié)合梯度和最大信息熵，使用分水嶺算法對初定位結(jié)果進(jìn)行優(yōu)化得到缺陷分割掩碼。在麗盛制板，KolektorSDD和AITEX 3個(gè)表面缺陷數(shù)據(jù)集的檢測與分割結(jié)果均優(yōu)于其他同類方法。此外，在小樣本數(shù)據(jù)集上也能達(dá)到良好的檢測與分割精度。

異常檢測；缺陷分割；多尺度特征融合；特征對齊；分水嶺算法

工業(yè)生產(chǎn)中，產(chǎn)品表面質(zhì)量事關(guān)產(chǎn)品性能及安全，因此，需要對其表面質(zhì)量進(jìn)行嚴(yán)格檢測。人工目視檢測被廣泛應(yīng)用于表面缺陷檢測中，雖然可以憑借檢測員豐富的經(jīng)驗(yàn)對正常和異常零件做出精確判斷，但存在人工成本高昂和不同檢測員檢測標(biāo)準(zhǔn)有差異的局限性。因此，使用機(jī)器視覺方案解決表面缺陷檢測問題成為當(dāng)前研究熱點(diǎn)。

傳統(tǒng)的機(jī)器視覺方案通常使用圖像濾波、邊緣提取、閾值分割和形態(tài)學(xué)處理等圖像處理算法以達(dá)到檢測表面缺陷的目的。此類方法雖然檢測速度快、準(zhǔn)確性高，但對圖像的質(zhì)量要求也很高。除此之外，傳統(tǒng)機(jī)器視覺圖像處理算法通常是針對某一特定數(shù)據(jù)集設(shè)計(jì)，普適性差?；谏疃葘W(xué)習(xí)的方法學(xué)習(xí)圖像數(shù)據(jù)的通用特征表達(dá)，在缺陷分類和定位上取得了非常好的效果，越來越多地被應(yīng)用于表面缺陷檢測領(lǐng)域。

有監(jiān)督缺陷檢測方法憑借大量缺陷樣本，有效學(xué)習(xí)缺陷的特征表達(dá)，從而達(dá)到檢測要求，但實(shí)際生產(chǎn)中難以獲得缺陷樣本。此外，由于制造過程的不可預(yù)見性，新的缺陷類型隨時(shí)可能出現(xiàn)，面對新的、多樣化的缺陷，檢測標(biāo)準(zhǔn)和評估指標(biāo)往往不同，需要耗費(fèi)大量人力資源對訓(xùn)練樣本進(jìn)行標(biāo)注以滿足有監(jiān)督缺陷檢測的訓(xùn)練需求，尤其是圖像分割的標(biāo)注。

針對數(shù)據(jù)集中負(fù)樣本極少而正樣本多的問題，無監(jiān)督方法只需要學(xué)習(xí)正樣本的特征表達(dá)，從而可以對測試樣本進(jìn)行精確分類?；跓o監(jiān)督學(xué)習(xí)，BALDI[1]提出了一種異常檢測方法，訓(xùn)練過程只需提供足夠的正樣本，無需提供缺陷樣本，且無需人工標(biāo)注，即可達(dá)到有監(jiān)督檢測的效果。異常檢測中常用的模型如變分自編碼器[2]和GANs[3]采用重建圖像的方式來檢測異常，其重心主要放在對圖像的分類問題上。僅僅對圖像做分類并不能直觀地展示缺陷在圖像中的位置及其特征。DifferNet[4]使用標(biāo)準(zhǔn)化流(normalization flow，NF)[5]求得圖像的異常分?jǐn)?shù)并作分類，同時(shí)基于梯度信息得到缺陷的大致位置。此方法雖然能夠定位缺陷，但并未分割出缺陷區(qū)域，且定位不準(zhǔn)確，不能夠真實(shí)反映缺陷的特征信息。

針對異常檢測網(wǎng)絡(luò)在缺陷定位和分割方面存在的問題，本文主要做了以下幾點(diǎn)工作：

(1) 基于DifferNet網(wǎng)絡(luò)，選擇若干特征圖進(jìn)行多尺度特征融合并對齊，初步定位缺陷位置；

(2) 基于梯度和最大信息熵，采用分水嶺分割算法優(yōu)化初定位結(jié)果得到更貼近缺陷區(qū)域的分割掩碼；

(3) 使用結(jié)合圖像級統(tǒng)計(jì)信息和像素級匹配信息的評價(jià)指標(biāo)E-measure[6]來評估分割結(jié)果；

(4) 在自行構(gòu)建的麗盛制板數(shù)據(jù)集，公共表面缺陷數(shù)據(jù)集KolektorSDD[7]和AITEX[8]上進(jìn)行實(shí)驗(yàn)，并與近三年最優(yōu)的異常檢測分割方法進(jìn)行對比，結(jié)果表明，本文方法在分割精度和魯棒性方面優(yōu)于其他同類方法。

1 相關(guān)工作

早期有較多傳統(tǒng)圖像處理算法進(jìn)行缺陷檢測。文獻(xiàn)[9]面對高空間分辨率多光譜遙感影像使用分水嶺分割算法產(chǎn)生過分割的問題，結(jié)合各個(gè)波段的光譜信息和形態(tài)學(xué)處理對圖像進(jìn)行修正，有效克服了分水嶺分割算法的過分割問題，但形態(tài)學(xué)結(jié)構(gòu)元素的選取直接影響圖像的修正。文獻(xiàn)[10]使用OTSU算法和歐氏距離聚類算法對皮革表面缺陷進(jìn)行分割和分類，在聚類算法中結(jié)合形態(tài)學(xué)處理對圖像進(jìn)行腐蝕操作，能夠有效地檢測出皮革表面缺陷。傳統(tǒng)圖像處理算法通常適用于缺陷區(qū)域明顯，與背景顏色差異較大，易于分割的圖像，但一個(gè)具體的算法往往只適用于一種缺陷圖像或少數(shù)幾種缺陷圖像，泛化性差。

深度學(xué)習(xí)算法通過從大量的圖像數(shù)據(jù)中學(xué)習(xí)缺陷特征信息彌補(bǔ)了傳統(tǒng)圖像處理算法的不足。文獻(xiàn)[11]使用馬爾科夫隨機(jī)場對晶片圖像缺陷做分割，并基于AdaBoost分類器對分割出的局部缺陷區(qū)域進(jìn)行分類。文獻(xiàn)[12]利用級聯(lián)自編碼器結(jié)構(gòu)，基于語義分割將輸入的缺陷圖像轉(zhuǎn)換成像素級預(yù)測掩碼輸出，再通過卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)對分割區(qū)域進(jìn)行分類。文獻(xiàn)[13]提出雙重聯(lián)合檢測CNN，以較少的先驗(yàn)知識(shí)自動(dòng)提取有效的圖像特征進(jìn)行缺陷檢測。上述方法均基于有監(jiān)督的學(xué)習(xí)，在缺陷圖像數(shù)據(jù)量充足的情況下能達(dá)到很好的檢測效果，但實(shí)際生產(chǎn)中有缺陷樣本獲取難度很大，僅使用正樣本的無監(jiān)督或使用正樣本和少量負(fù)樣本的半監(jiān)督學(xué)習(xí)方式成為了研究重點(diǎn)。

文獻(xiàn)[14]使用條件生成對抗網(wǎng)絡(luò)，在正樣本上學(xué)習(xí)高維圖像的生成和潛在空間的推理，在UBA數(shù)據(jù)集[15]的AUC達(dá)到了0.643。文獻(xiàn)[2]考慮變量分布可變性的概率度量，利用變分自編碼器重構(gòu)概率，從而達(dá)到異常檢測的目的，在MNIST數(shù)據(jù)集[16]的AUC和F1分?jǐn)?shù)分別達(dá)到0.731和0.383。文獻(xiàn)[17]提出了由生成器和判別器組成的端到端單分類體系結(jié)構(gòu)，生成器學(xué)習(xí)目標(biāo)圖像的概率對圖像進(jìn)行重建，判別器學(xué)習(xí)區(qū)分重建圖像和真實(shí)圖像，網(wǎng)絡(luò)在MNIST數(shù)據(jù)集上的F1分?jǐn)?shù)達(dá)到0.85以上。文獻(xiàn)[18]對自編碼器偶爾會(huì)將異常樣本重建為正常樣本的問題，使用記憶模塊存儲(chǔ)正常數(shù)據(jù)的原型，因此，在異常檢測中，異常樣本的重構(gòu)誤差將大大減小，網(wǎng)絡(luò)在MNIST數(shù)據(jù)集上的AUC達(dá)到了0.975。以上方法只將圖像分類為正常或異常，并未涉及到對異常區(qū)域的定位。

文獻(xiàn)[19]利用師生網(wǎng)絡(luò)解決自然圖像中無監(jiān)督異常分割這一具有挑戰(zhàn)性的問題，教師網(wǎng)絡(luò)指導(dǎo)學(xué)生網(wǎng)絡(luò)的訓(xùn)練，學(xué)生網(wǎng)絡(luò)集合的預(yù)測方差和回歸誤差得到最終的異常分?jǐn)?shù)和異常分割，在專門為異常檢測準(zhǔn)備的MVTec AD數(shù)據(jù)集[20]上，該網(wǎng)絡(luò)的AUPRO達(dá)到了0.857。文獻(xiàn)[21]在K近鄰算法的基礎(chǔ)上，將多分辨率特征金字塔與正常圖像相匹配以計(jì)算像素間的距離來定位異常位置，在MVTec AD數(shù)據(jù)集的圖像級和像素級AUROC分別達(dá)到了0.855和0.960。文獻(xiàn)[22]描述向量數(shù)據(jù)，并將其拓展到基于補(bǔ)丁的自監(jiān)督學(xué)習(xí)以分割異常像素，在MVTec AD數(shù)據(jù)集的圖像級和像素級AUROC分別達(dá)到了0.921和0.957。文獻(xiàn)[23]利用預(yù)處理CNN進(jìn)行塊嵌入，并采用多元高斯分布獲得正常樣本的概率表示，同時(shí)利用CNN不同語義級別之間的相關(guān)性對異常進(jìn)行定位，網(wǎng)絡(luò)在MVTec AD數(shù)據(jù)集的圖像級和像素級AUROC分別達(dá)到了0.955和0.973。文獻(xiàn)[24]利用師生網(wǎng)絡(luò)學(xué)習(xí)正常樣本的分布，此外，集成多尺度特征匹配策略檢測各種大小的異常，在MVTec AD數(shù)據(jù)集的圖像級和像素級AUROC分別達(dá)到了0.955和0.970。

2 網(wǎng)絡(luò)構(gòu)建

本文構(gòu)建的網(wǎng)絡(luò)主要分為圖像處理模塊、特征提取器、檢測模塊和分割模塊4個(gè)部分，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。圖像處理模塊首先對輸入圖像進(jìn)行旋轉(zhuǎn)操作以擴(kuò)充數(shù)據(jù)集，且對擴(kuò)充后的圖像構(gòu)建圖像金字塔以獲得不同尺度的結(jié)構(gòu)信息。特征提取器采用AlexNet網(wǎng)絡(luò)，將最終輸出特征輸入到檢測模塊實(shí)現(xiàn)異常檢測，同時(shí)，保存提取到的多尺度特征信息來分割缺陷。檢測模塊基于標(biāo)準(zhǔn)化流將特征映射到潛在空間以求其密度分布，最后得到圖像的異常分?jǐn)?shù)。分割模塊首先利用保存的特征信息進(jìn)行多尺度特征融合并對齊，初步定位缺陷位置，為了分割出更細(xì)致的缺陷區(qū)域，再利用圖像級梯度信息，得到缺陷輪廓清晰的梯度圖，接著使用最大信息熵算法確定最大熵的灰度值并以該灰度值為閾值進(jìn)行分割，這可以將梯度圖中的噪聲干擾去除，最后采用分水嶺算法結(jié)合梯度圖和閾值分割圖分割出缺陷區(qū)域。網(wǎng)絡(luò)輸出的分割掩碼相比初定位結(jié)果，在缺陷的外觀輪廓及細(xì)節(jié)信息上更接近真實(shí)缺陷。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)

2.1 圖像處理與特征提取

圖像處理模塊對輸入圖像使用Torchvision庫的Transforms模塊進(jìn)行轉(zhuǎn)換，為獲得穩(wěn)定的異常分?jǐn)?shù)及精確的缺陷分割，將圖像按順時(shí)針方向每隔90°旋轉(zhuǎn)一次以擴(kuò)充數(shù)據(jù)集，再對擴(kuò)充數(shù)據(jù)集構(gòu)建448×448，224×224和112×112大小的3個(gè)尺度的圖像金字塔以獲得不同尺度的結(jié)構(gòu)信息。

從零開始對輸入的正常圖像訓(xùn)練一個(gè)異常檢測網(wǎng)絡(luò)難以得到令人滿意的效果，為此，使用在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練過的AlexNet[25]網(wǎng)絡(luò)作為特征提取器，該網(wǎng)絡(luò)的各層輸入輸出見表1。

表1 AlexNet特征提取器結(jié)構(gòu)

對于輸入網(wǎng)絡(luò)的圖像?，提取的特征為

特征提取器在訓(xùn)練階段提取并保存正常樣本的特征信息，在測試階段將測試樣本的特征與訓(xùn)練過程中保存的特征信息對齊以定位缺陷。

2.2 異常檢測

對圖像?進(jìn)行異常檢測，則要計(jì)算圖像特征?的概率密度P()，通過標(biāo)準(zhǔn)化流f將映射到使用標(biāo)準(zhǔn)正態(tài)分布定義P()的潛在空間:{→|?,?}，從P()可以直接計(jì)算樣本的似然性。異常樣本的特征應(yīng)該不在分布范圍內(nèi)，因此具有比正常樣本更低的似然性，根據(jù)計(jì)算得到的似然性將一個(gè)樣本分類為正?；虍惓颖尽榱双@得更穩(wěn)定的異常分?jǐn)?shù)()，使用多重變換T()?求圖像的平均負(fù)對數(shù)似然性，即

其中，是旋轉(zhuǎn)、亮度和對比度調(diào)整的組合操作。一張圖像的異常分?jǐn)?shù)如果高于閾值，則圖像被分類為異常，該決策可以表達(dá)為

其中，()=1表示分類為異常。

2.3 缺陷分割

在圖像被分類為異常或正常后，下一步目的是定位并分割一個(gè)或多個(gè)異常像素。本文考慮通過對齊特征圖來定位并分割出異常像素。為了獲得準(zhǔn)確的定位和分割結(jié)果，使用同一主干網(wǎng)絡(luò)在圖像的每個(gè)像素位置?提取深度特征圖f(,)。所提取到的特征圖與圖像金字塔類似，較淺層具有較高的分辨率和細(xì)節(jié)信息，較高層的分辨率較低，但包含更多的特征信息。為了對齊特征圖，使用多尺度特征融合來描述每個(gè)位置，即連接不同層的特征輸出，這樣的特征既包含圖像的局部細(xì)節(jié)信息，也包含圖像全局信息，且能夠保證找到測試圖像和正常圖像之間的對應(yīng)關(guān)系。在個(gè)最近鄰的所有像素位置上構(gòu)建一個(gè)特征圖庫，即

像素的異常分?jǐn)?shù)是通過計(jì)算特征(,)與圖庫中最近的個(gè)特征之間的平均距離得到的，因此目標(biāo)圖像中像素的異常分?jǐn)?shù)的計(jì)算為

其中，N(f(,))為特征f(,)在訓(xùn)練階段保存的特征圖中檢索個(gè)最近鄰特征；若(,)大于給定的閾值，則該像素為異常像素。

基于無監(jiān)督訓(xùn)練的多尺度特征融合并使用對齊來定位缺陷位置，其缺乏對缺陷細(xì)節(jié)信息的描述。使用梯度衡量圖像灰度的變化率，加強(qiáng)圖像中前景和背景的區(qū)別可以有效描繪出缺陷輪廓。因此，對輸入網(wǎng)絡(luò)的圖像求其局部梯度值，即

其中，，分別為圖像的方向和方向。

在圖像的局部梯度值中，除缺陷外，還存在一些與背景有顯著區(qū)別的噪聲點(diǎn)。為了區(qū)分這2種情況，使用最大信息熵算法決策出使得缺陷區(qū)域與背景區(qū)域2部分灰度統(tǒng)計(jì)信息量最大的閾值，使用該閾值對圖像進(jìn)行閾值分割可以有效消除噪聲點(diǎn)影響，其計(jì)算式為

其中，為輸入的梯度圖；為梯度圖灰度值取值范圍。

使用最大信息熵對梯度圖進(jìn)行閾值分割缺乏對像素在空間關(guān)系上的相似性和封閉性的考慮，而分水嶺算法會(huì)將鄰近像素的相似性作為重要參考，從而空間位置上相鄰且灰度值相近的像素點(diǎn)互相連接起來構(gòu)成一個(gè)封閉輪廓，即

其中，(,)為原始圖像，，分別為圖像的方向和方向。

3 數(shù)據(jù)構(gòu)建及預(yù)處理

3.1 圖像處理與特征提取

(1) 麗盛制板數(shù)據(jù)集。該數(shù)據(jù)集在工廠生產(chǎn)環(huán)境中實(shí)時(shí)采集，其中包括缺陷圖像10種類型，共405張圖像；正常圖像共450張。每張缺陷圖像中包含至少一種缺陷，圖像的分辨率為500×500，數(shù)據(jù)集缺陷類型及圖像數(shù)量見表2。

表2 麗盛制板數(shù)據(jù)集缺陷類型及數(shù)量

麗盛制板數(shù)據(jù)集的缺陷圖像數(shù)量不均衡，缺陷表現(xiàn)形式不一，既有條狀缺陷又有團(tuán)狀缺陷，且部分缺陷占整張圖像面積比例較小，如圖2所示。本文在原始數(shù)據(jù)集中不足10張的采用旋轉(zhuǎn)、水平翻轉(zhuǎn)、平移等組合操作進(jìn)行數(shù)據(jù)增強(qiáng)，最終隨機(jī)得到的訓(xùn)練集包含正常樣本200張，測試集包含正常樣本20張，異常樣本共10類，每一類包含10張圖像。

圖2 麗盛制板數(shù)據(jù)集缺陷樣本及真值圖

(2) 公共表面缺陷數(shù)據(jù)集。為驗(yàn)證本文網(wǎng)絡(luò)的魯棒性，在背景紋理及光照條件更復(fù)雜的公共表面缺陷數(shù)據(jù)集KolektorSDD和AITEX上進(jìn)行實(shí)驗(yàn)，其樣本如圖3所示。KolektorSDD數(shù)據(jù)集中包含了50組電子換向器圖片，其中每組包含8張圖片以及對應(yīng)的語義分割標(biāo)簽，圖像寬均為500像素，高為1 240～1 273像素。AITEX數(shù)據(jù)集由7種不同織物結(jié)構(gòu)的245張圖像組成，圖像尺寸均為4096×256像素，其中無缺陷圖像140張，平均每種織物20張，此外還有105張紡織行業(yè)中常見的不同類型的織物缺陷圖像。

圖3 公共表面缺陷數(shù)據(jù)集缺陷樣本((a) KolektorSDD數(shù)據(jù)集；(b) AITEX數(shù)據(jù)集)

3.2 圖像預(yù)處理

對圖像進(jìn)行缺陷檢測易受到背景紋理等因素的影響，因此需要對圖像進(jìn)行預(yù)處理。圖像灰度處理將3通道圖像轉(zhuǎn)換為1通道圖像，有效降低圖像數(shù)據(jù)量。原始圖像中存在噪聲，采用均值濾波來去除。圖像經(jīng)灰度和均值濾波2步預(yù)處理后的結(jié)果如圖4所示。

圖4 圖像預(yù)處理結(jié)果((a)原圖；(b)預(yù)處理結(jié)果圖)

不同數(shù)據(jù)集、不同缺陷類型圖像的尺寸各異，為方便網(wǎng)絡(luò)訓(xùn)練及處理，使用Opencv將所有圖像縮放到500×500分辨率。

4 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)使用系統(tǒng)環(huán)境為Ubuntu16.04LTS的GPU服務(wù)器，硬件配置為NVIDIA GeForce RTX 2080Ti和16 G內(nèi)存，網(wǎng)絡(luò)基于Pytorch深度學(xué)習(xí)框架搭建和訓(xùn)練。

4.1 評價(jià)指標(biāo)

接受者操作特征曲線下面積(area under the receiver operating characteristic，AUROC)[4]常被用來評價(jià)二值分類器的優(yōu)劣，其值越接近1，說明分類結(jié)果越好，其計(jì)算與混淆矩陣(表3)有關(guān)。

表3 混淆矩陣

注：TP表示正確分類為正樣本的數(shù)量；FN表示錯(cuò)誤分類為負(fù)樣本的數(shù)量；FP表示錯(cuò)誤分類為正樣本的數(shù)量；TN表示正確分類為負(fù)樣本的數(shù)量

AUROC指由真陽性率(true positive rate，TPR)作縱軸和假陽性率(false positiverate，F(xiàn)PR)作橫軸繪制的曲線與橫軸所圍面積，即

在分割精度評估方面，增強(qiáng)匹配指標(biāo)(E-measure)充分考慮圖像級統(tǒng)計(jì)信息和像素級匹配信息，測量精度顯著優(yōu)于傳統(tǒng)測量方法，常被用來評估二值前景圖的分割精度。為了能夠同時(shí)反映全局統(tǒng)計(jì)量和局部像素匹配信息，定義輸入二值映射的每個(gè)像素值與其全局平均值間的距離為偏差矩陣，即

其中，是一個(gè)所有元素值都為1的矩陣，且尺寸與輸入二值映射相同。對二值真值圖和二值分割圖計(jì)算其偏差矩陣和之間的相似性為

4.2 異常檢測

網(wǎng)絡(luò)訓(xùn)練使用Adam優(yōu)化器更新和優(yōu)化模型參數(shù)，設(shè)為0.000 1，設(shè)為True，設(shè)為0.2，設(shè)為4。初始時(shí)，設(shè)為500，當(dāng)數(shù)據(jù)迭代至200次時(shí)模型已經(jīng)收斂，隨著迭代次數(shù)的增加，檢測與分割精度并未提高反而有所下降，因此將訓(xùn)練迭代次數(shù)設(shè)為200。

本文方法與GANomaly[14]，DifferNet，SPADE[21]，STPM[24]和PaDiM[23]方法在異常檢測方面進(jìn)行了對比，結(jié)果見表4。在麗盛制板數(shù)據(jù)集上，本文方法的平均AUROC達(dá)到了0.996，為所有方法的最高精度，在10種缺陷類型中，有9種AUROC達(dá)到了1，由于短痕類數(shù)據(jù)中缺陷弱小且表現(xiàn)形式更豐富，學(xué)習(xí)難度較大，其檢測精度略低于DifferNet，SPADE，STPM和PaDiM方法。在KolektorSDD數(shù)據(jù)集上，本文方法的平均AUROC達(dá)到了0.871，高于其他對比方法。在AITEX數(shù)據(jù)集上，本文方法的AUROC達(dá)到了0.985，比其他方法提高了至少8.2%。與其他對比方法相比，本文方法在3個(gè)表面缺陷數(shù)據(jù)集上均取得了最優(yōu)結(jié)果，對表面缺陷數(shù)據(jù)進(jìn)行異常檢測可以精確地對圖像做分類。

表4 異常檢測結(jié)果

注：加粗項(xiàng)表示在該組的最優(yōu)AUROC

此外，在麗盛制板數(shù)據(jù)集上，用10張正常樣本訓(xùn)練得到的模型僅在短痕類缺陷上的AUROC下降到0.785，而其他9種類型缺陷的AUROC仍然為1，平均AUROC達(dá)到0.979。在KolektorSDD，AITEX的小樣本實(shí)驗(yàn)中，分類精度AUROC分別達(dá)到0.817和0.790。結(jié)果表明，本文方法對小樣本數(shù)據(jù)能保持較高的異常分類精度，適用于小樣本異常檢測。

4.3 缺陷分割

基礎(chǔ)網(wǎng)絡(luò)DifferNet只對缺陷進(jìn)行粗略定位，其定位結(jié)果比較模糊，且缺乏對缺陷區(qū)域的分割，如圖5第3列所示，因此本文與最近提出的異常檢測分割方法SPADE，STPM和PaDiM在麗盛制板，KolektorSDD和AITEX 3個(gè)數(shù)據(jù)集上進(jìn)行分割實(shí)驗(yàn)。分割結(jié)果如圖5所示，對黑塊、黑線等面積較大或形狀清晰的顯著缺陷，本文方法的分割結(jié)果更接近真實(shí)缺陷區(qū)域，對黑團(tuán)、圓斑等面積較小的非顯著缺陷，也能對其進(jìn)行精確分割。對各方法的分割結(jié)果使用E-measure評估，見表5。在麗盛制板數(shù)據(jù)集上的平均分割精度達(dá)到0.701 3，高于其他方法，10種缺陷中，在黑團(tuán)、黑線、短痕、黑點(diǎn)、破損和凹坑這6種缺陷上的分割精度達(dá)到了最優(yōu)。在KolektorSDD數(shù)據(jù)集上的E-measure值達(dá)到0.583 6，相比其他方法至少提高了9.3%。在AITEX數(shù)據(jù)集上的E-measure值達(dá)到0.478 7，相比其他方法至少提高了42.9%，遠(yuǎn)優(yōu)于其他方法。實(shí)驗(yàn)結(jié)果表明，在保證圖像高精度分類的基礎(chǔ)上，本文方法分割缺陷區(qū)域更精確。

為驗(yàn)證在小樣本數(shù)據(jù)集上的分割效果，僅使用包含10張正常樣本的小數(shù)據(jù)集進(jìn)行訓(xùn)練，訓(xùn)練得到的模型在麗盛制板，KolektorSDD和AITEX3個(gè)數(shù)據(jù)集的分割精度分別達(dá)到0.681 1，0.583 4和0.440 5，均優(yōu)于使用非小樣本訓(xùn)練集訓(xùn)練的其他方法。實(shí)驗(yàn)證明本文方法在小樣本表面缺陷數(shù)據(jù)集上也能得到良好的分割結(jié)果。

4.4 對比及消融實(shí)驗(yàn)

本文使用在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練過的AlexNet網(wǎng)絡(luò)作為特征提取器，為驗(yàn)證特征提取器的有效性，比較了同樣在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練過的VGG16[26]和ResNet50[27]網(wǎng)絡(luò)，在3個(gè)表面缺陷數(shù)據(jù)集上的異常檢測和缺陷分割的評估結(jié)果見表6。

從實(shí)驗(yàn)結(jié)果看，在缺陷分類問題上，AlexNet特征提取器在AITEX，KolektorSDD和麗盛制板3個(gè)表面缺陷數(shù)據(jù)集上的分類精度分別達(dá)到了0.985，0.871和0.996，均優(yōu)于VGG16和ResNet50。對缺陷分割問題，AlexNet 在AITEX和麗盛制板數(shù)據(jù)集上的分割精度優(yōu)于VGG16和ResNet50，分別達(dá)到了0.478 7和0.701 3，僅在KoloktorSDD數(shù)據(jù)集上的分割精度低于VGG16，其分割精度為0.583 6。綜合來看，選擇AlexNet作為特征提取器。

根據(jù)2.3節(jié)提出的方法對缺陷進(jìn)行粗定位時(shí)，不同尺度特征的融合對最終的分割結(jié)果有不同的影響，因此，表7中詳細(xì)比較了在麗盛制板數(shù)據(jù)集上，不同尺度融合情況的分割精度。由表1可知，AlexNet特征提取網(wǎng)絡(luò)經(jīng)不同卷積層和最大池化層提取的特征圖分辨率分別為55×55，27×27，13×13和6×6，消融實(shí)驗(yàn)在這4個(gè)不同分辨率的特征圖上進(jìn)行。

圖5 缺陷定位及分割結(jié)果

表5 缺陷分割結(jié)果

注：加粗項(xiàng)表示該組的最優(yōu)E-measure

表6 特征提取器對比實(shí)驗(yàn)結(jié)果

注：加粗項(xiàng)為最優(yōu)結(jié)果

從實(shí)驗(yàn)1～4可以觀察到，只使用單特征圖對齊，隨著分辨率減小，分割的效果越來越差，因此，應(yīng)盡可能保留55×55分辨率的特征圖。實(shí)驗(yàn)1和5對比，證明多尺度融合可以提高分割精度。實(shí)驗(yàn)5～15則表示不同尺度特征融合的分割評估結(jié)果，當(dāng)融合4個(gè)尺度的特征圖時(shí)，分割掩碼的評估結(jié)果是最優(yōu)的，E-measure值為0.701 3。

在融合4個(gè)尺度大小的特征圖的基礎(chǔ)上，對AITEX和麗盛制板2個(gè)表面缺陷數(shù)據(jù)集的初定位結(jié)果是否進(jìn)行最大信息熵分割或分水嶺分割優(yōu)化進(jìn)行了消融實(shí)驗(yàn)，缺陷分割結(jié)果圖和分割精度統(tǒng)計(jì)分別如圖6和表8所示。

表7 多尺度消融實(shí)驗(yàn)結(jié)果

注：加粗?jǐn)?shù)據(jù)為最優(yōu)結(jié)果

圖6 分割優(yōu)化消融實(shí)驗(yàn)結(jié)果((a)原圖；(b)真值圖；(c)特征對齊；(d)特征對齊+最大信息熵；(e)特征對齊+分水嶺算法；(f)特征對齊+最大信息熵+分水嶺算法)

表8 分割優(yōu)化消融實(shí)驗(yàn)結(jié)果

注：加粗?jǐn)?shù)據(jù)為最優(yōu)結(jié)果

從4組實(shí)驗(yàn)可以看到，采用基于梯度圖和最大信息熵的分水嶺分割算法在AITEX和麗盛制板2個(gè)數(shù)據(jù)集上均達(dá)到最優(yōu)結(jié)果，E-measure值分別為0.478 7和0.701 3。

5 結(jié) 論

本文主要針對使用異常檢測方法對表面缺陷圖像進(jìn)行缺陷分割不精確的問題，提出了一種無監(jiān)督異常分割方法，采用多尺度特征融合并對齊進(jìn)行初步定位，再基于梯度和最大信息熵的分水嶺分割算法對初步定位結(jié)果進(jìn)行優(yōu)化。本文方法在麗盛制板，KoloktorSDD和AITEX 3個(gè)表面缺陷數(shù)據(jù)集上的異常分類精度均達(dá)到了當(dāng)前最優(yōu)水平，且比現(xiàn)有異常分割最好的方法在分割缺陷區(qū)域時(shí)對缺陷細(xì)節(jié)的描繪更好，在結(jié)合圖像級統(tǒng)計(jì)信息和像素級匹配信息的二值前景分割評估指標(biāo)E-measure上均優(yōu)于其他同類方法。除此之外，本文方法在小樣本數(shù)據(jù)集上也取得了良好的缺陷分類與分割結(jié)果。本文提出的缺陷分割方法在背景紋理相似或有規(guī)律的表面缺陷數(shù)據(jù)上表現(xiàn)良好，在背景雜亂或無規(guī)律的表面缺陷數(shù)據(jù)圖像上進(jìn)行異常檢測與分割將是接下來的研究重點(diǎn)。

[1] BALDI P. Autoencoders, unsupervised learning, and deep architectures[C]//2011 International Conference on Unsupervised and Transfer Learning Workshop. New York: ACM Press, 2012: 37-50.

[2] AN J, CHO S. Variational autoencoder based anomaly detection using reconstruction probability[EB/OL]. [2021-07-28]. http://dm.snu.ac.kr/static/docs/TR/SNUDM-TR-2015-03.pdf.

[3] GOODFELLOW I, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial networks[J]. Communications of the ACM, 2020, 63(11): 139-144.

[4] RUDOLPH M, WANDT B, ROSENHAHN B. Same same but DifferNet: semi-supervised defect detection with normalizing flows[C]//2021 IEEE Winter Conference on Applications of Computer Vision. New York: IEEE Press, 2021: 1906-1915.

[5] KOBYZEV I, PRINCE S J D, BRUBAKER M A. Normalizing flows: an introduction and review of current methods[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 43(11): 3964-3979.

[6] FAN D P, GONG C, CAO Y, et al. Enhanced-alignment measure for binary foreground map evaluation[EB/OL]. [2021-06-10]. https://arxiv.org/abs/1805.10421.

[7] TABERNIK D, ?ELA S, SKVAR? J, et al. Segmentation- based deep-learning approach for surface-defect detection[J]. Journal of Intelligent Manufacturing, 2020, 31(3): 759-776.

[8] SILVESTRE-BLANES J, ALBERO-ALBERO T, MIRALLES I, et al. A public fabric database for defect detection methods and results[J]. Autex Research Journal, 2019, 19(4): 363-374.

[9] 李攀峰, 黨建武, 王陽萍. 基于多光譜混合梯度的遙感影像分水嶺分割方法[J]. 蘭州交通大學(xué)學(xué)報(bào), 2019, 38(5): 47-54.

LI P F, DANG J W, WANG Y P. Watershed segmentation of remote sensing image based on multispectral hybrid gradient[J]. Journal of Lanzhou Jiaotong University, 2019, 38(5): 47-54 (in Chinese).

[10] HOANG K, WEN W, NACHIMUTHU A, et al. Achieving automation in leather surface inspection[J]. Computers in Industry, 1997, 34(1): 43-54.

[11] LEE S H, KOO H I, CHO N I. New automatic defect classification algorithm based on a classification-after- segmentation framework[J]. Journal of Electronic Imaging, 2010, 19: 020502.

[12] TAO X, ZHANG D P, MA W Z, et al. Automatic metallic surface defect detection and recognition with convolutional neural networks[J]. Applied Sciences, 2018, 8(9): 1575.

[13] WANG T, CHEN Y, QIAO M N, et al. A fast and robust convolutional neural network-based defect detection model in product quality control[J]. The International Journal of Advanced Manufacturing Technology, 2018, 94(9-12): 3465-3471.

[14] AKCAY S, ATAPOUR-ABARGHOUEI A, BRECKON T P. GANomaly: semi-supervised anomaly detection via adversarial training[EB/OL]. [2021-05-10]. https://arxiv.org/abs/1805.06725.

[15] ROGERS T W, JACCARD N, MORTON E J, et al. Automated X-ray image analysis for cargo security: critical review and future promise[J]. Journal of X-Ray Science and Technology, 2017, 25(1): 33-56.

[16] LECUN Y, CORTES C, BURGES C C.THE MNIST DATABASE of handwritten digits [EB/OL]. [2021-06-19]. http://yann.lecun.com/exdb/mnist/.

[17] SABOKROU M, KHALOOEI M, FATHY M, et al. Adversarially learned one-class classifier for novelty detection[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2018: 3379-3388.

[18] GONG D, LIU L Q, LE V, et al. Memorizing normality to detect anomaly: memory-augmented deep autoencoder for unsupervised anomaly detection[C]//2019 IEEE/CVF International Conference on Computer Vision. New York: IEEE Press, 2019: 1705-1714.

[19] BERGMANN P, FAUSER M, SATTLEGGER D, et al. Uninformed students: student-teacher anomaly detection with discriminative latent embeddings[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2020: 4182-4191.

[20] BERGMANN P, FAUSER M, SATTLEGGER D, et al. MVTec AD—A comprehensive real-world dataset for unsupervised anomaly detection[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2019: 9584-9592.

[21] COHEN N, HOSHEN Y. Sub-image anomaly detection with deep pyramid correspondences[EB/OL]. [2021-07-11]. https:// arxiv.org/abs/2005.02357.

[22] YI J H, YOON S. Patch SVDD: Patch-level SVDD for anomaly detection and segmentation[EB/OL]. [2021-05-26]. https://arxiv.org/abs/2006.16067v2.

[23] DEFARD T, SETKOV A, LOESCH A, et al. PaDiM: a patch distribution modeling framework for anomaly detection and localization[EB/OL]. [2021-08-01]. https://arxiv.org/abs/2011. 08785.

[24] WANG G D, HAN S M, DING E R, et al. Student-teacher feature pyramid matching for unsupervised anomaly detection[EB/OL]. [2021-04-19]. https://arxiv.org/abs/2103.04257.

[25] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM, 2017, 60(6): 84-90.

[26] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL]. [2021-08-07]. https://arxiv.org/abs/1409.1556.

[27] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2016: 770-778.

Product surface defect detection and segmentation based on anomaly detection

WANG Su-qin1, REN Qi1, SHI Min1, ZHU Deng-ming2,3

(1. School of Control and Computer Engineering, North China Electric Power University, Beijing 102206, China; 2. Prospective Research Laboratory, Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190, China; 3. Taicang Institute of Information Technology, Taicang Jiangsu 215400, China)

In industrial manufacturing, it is difficult to obtain defective samples and the defects are in diverse forms. Anomaly detection, which only trains positive samples, is being increasingly applied to defect detection on product surfaces. Anomaly detection generally determines whether the product has defects by evaluating the anomaly score of the product image, while unable to describe the locations of the defects. The latest anomaly segmentation method has been improved, but the segmentation of the defective area is not accurate enough.Based on the anomaly detection method, normalization flow was employed to judge whether the product surface was defective, and multi-scale feature fusion and alignment were adopted to initially locate the defects. Combined with the gradient and maximum information entropy, the watershed algorithm was used to optimize the initial positioning results to obtain the defect segmentation mask. The detection and segmentation results on the three surface defect datasets of Lisheng Board, KolektorSDD, and AITEX are superior to other similar methods. In addition, good detection and segmentation accuracy can also be achieved on few-shots.

anomaly detection; defect segmentation; multi-scale feature fusion; feature alignment; watershed algorithm

TP 391

10.11996/JG.j.2095-302X.2022030377

A

2095-302X(2022)03-0377-10

2021-11-29；

2022-01-20

29 November，2021；

20 January，2022

國家自然科學(xué)基金項(xiàng)目(61972379)

National Natural Science Foundation of China (61972379)

王素琴(1970–)，女，副教授，碩士。主要研究方向?yàn)橛?jì)算機(jī)視覺、數(shù)據(jù)分析與挖掘。E-mail：wsq@ncepu.edu.cn

WANG Su-qin (1970-), associate professor, master. Her main research interests cover computer vision, data analysis and mining. E-mail：wsq@ncepu.edu.cn

朱登明(1973–)，男，副研究員，博士。主要研究方向?yàn)樘摂M現(xiàn)實(shí)、計(jì)算機(jī)圖形學(xué)。E-mail：mdzhu@ict.ac.cn

ZHU Deng-ming (1973-), associate researcher, Ph.D. His main research interests cover virtual reality, computer graphics. E-mail：mdzhu@ict.ac.cn