顧德英 陳 龍 李文超 王 娜

（東北大學(xué)秦皇島分校，河北秦皇島，066004）

在紡織行業(yè)中，疵點(diǎn)檢測是織物生產(chǎn)和質(zhì)量管理的關(guān)鍵環(huán)節(jié)。傳統(tǒng)的織物疵點(diǎn)檢測大多是依靠人工進(jìn)行，需要檢測人員一直用肉眼觀察生產(chǎn)線上的織物，但隨著紡織工業(yè)的生產(chǎn)標(biāo)準(zhǔn)不斷提高，織物的圖案、花色越來越復(fù)雜，人工檢測的速度和精度逐漸與紡織產(chǎn)業(yè)的要求產(chǎn)生脫節(jié)。此外，人工檢測存在如檢測效率低、檢測速度慢、漏檢率較高等不足。因此，自動(dòng)化織物疵點(diǎn)檢測設(shè)備代替人工檢測是紡織業(yè)領(lǐng)域發(fā)展的必然趨勢，準(zhǔn)確、高效、自動(dòng)化地檢測到復(fù)雜圖案印花織物疵點(diǎn)具有重要意義［1］。

目前，國內(nèi)外的學(xué)者針對單色、規(guī)則圖案的織物疵點(diǎn)檢測問題已經(jīng)取得了一定的研究成果。2014 年，GIRSHICK R 等［2］提出R?CNN 區(qū)域卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，利用候選區(qū)域結(jié)合卷積神經(jīng)網(wǎng)絡(luò)提取特征，但該算法訓(xùn)練過程耗時(shí)相對過長。LIU Z 等［3］采用點(diǎn)到點(diǎn)的方式，利用卷積神經(jīng)網(wǎng)絡(luò)對織物疵點(diǎn)進(jìn)行檢測，該方法適用于復(fù)雜的織物紋理背景。文獻(xiàn)［4］提出在網(wǎng)絡(luò)模型中增加卷積網(wǎng)絡(luò)約束來提高訓(xùn)練速度。景軍鋒等［5］提出了針對單色織物疵點(diǎn)檢測和分類的算法，但該算法未在紋理復(fù)雜的織物上實(shí)踐。LI Y 等［6］提出了一種對棧式去噪自編碼器，并在其中融合Fisher 準(zhǔn)則，但隨著織物圖片樣本數(shù)增加，其準(zhǔn)確率會(huì)有所下降。許玉格等［7］提出了一種基于深度學(xué)習(xí)的紋理織物疵點(diǎn)檢測方法，該方法可提升檢測的準(zhǔn)確率，但織物疵點(diǎn)種類增多時(shí)，需進(jìn)一步調(diào)整才能符合實(shí)際應(yīng)用需求。劉洲峰等［8］提出了一種對比圖像像素的鄰域和主鄰域結(jié)構(gòu)圖的方法。該方法對圖案規(guī)則的織物樣本檢測效果較好，但對圖案不規(guī)則的織物樣本檢測效果較差。

綜上所述，織物疵點(diǎn)檢測技術(shù)雖然取得了一定的成果，但在復(fù)雜圖案印花織物疵點(diǎn)檢測方面仍存在準(zhǔn)確率不足及漏檢率高的問題。因此，本研究提出一種基于深度學(xué)習(xí)的復(fù)雜圖案印花織物疵點(diǎn)檢測方法。該方法采用改進(jìn)的織物疵點(diǎn)檢測模型，結(jié)合改進(jìn)的損失函數(shù)對數(shù)據(jù)集進(jìn)行處理，有效提升了檢測的準(zhǔn)確率，降低了誤檢率和漏檢率。

1 改進(jìn)的不規(guī)則疵點(diǎn)檢測模型

為解決復(fù)雜圖案印花織物疵點(diǎn)檢測在準(zhǔn)確率、誤檢率以及漏檢率上存在的問題，本研究在ResNet50 網(wǎng)絡(luò)的基礎(chǔ)上融入可變形卷積（De?formable Convolutional Networks，DCN）結(jié)構(gòu)［9］，得到改進(jìn)后的ResNet50?DCN 網(wǎng)絡(luò)模型。該網(wǎng)絡(luò)模型在提取疵點(diǎn)特征的過程中，采用網(wǎng)絡(luò)的第3～第5 階段生成的特征圖建立BFP?FPN（Bal?anced Feature Pyramid ? Feature Pyramid Net?works）模塊［10?11］，然后在該模塊的輸出部分引入具有線性性質(zhì)的特征融合模塊，該模塊可以融合織物圖片的模板圖和待檢測的疵點(diǎn)圖，從而獲取融合后的特征圖，消除了復(fù)雜圖案背景對織物圖像的影響，然后將提取到的結(jié)果送入RPN（Re?gion Proposal Network）網(wǎng)絡(luò)，獲得相應(yīng)的候選框后進(jìn)行ROI 池化處理，得到大小相同的候選框，最終對候選框做分類以及回歸處理。模型的整體結(jié)構(gòu)見圖1。

圖1 整體網(wǎng)絡(luò)結(jié)構(gòu)圖

1.1 ResNet50?DCN 網(wǎng)絡(luò)模型

一般情況下，ResNet50 網(wǎng)絡(luò)［12］中卷積核是大小固定的，在面對不同尺寸或者不同形狀的織物疵點(diǎn)時(shí)，缺乏一定的自適應(yīng)能力，會(huì)導(dǎo)致定位不精準(zhǔn)。而在DCN 模塊中的每一個(gè)單元均能夠進(jìn)行變形，且任一單元點(diǎn)均可跟隨一個(gè)具有學(xué)習(xí)能力的偏移量進(jìn)行移動(dòng)。復(fù)雜圖案印花織物疵點(diǎn)形狀很多呈現(xiàn)不規(guī)則狀態(tài)，僅使用原始的ResNet50 網(wǎng)絡(luò)不能較好地處理不規(guī)則疵點(diǎn)，所以，本研究在ResNet50 網(wǎng)絡(luò)的基礎(chǔ)上引入DCN 來適應(yīng)形狀不規(guī)則的織物疵點(diǎn)，較好地提升了檢測的準(zhǔn)確率。

原始的ResNet50 網(wǎng)絡(luò)模型主要包括5 個(gè)階段，首先將待檢測的織物圖片輸入到網(wǎng)絡(luò)中，接著進(jìn)入第1 階段，該階段主要包括卷積、批處理、Re?lu 激活函數(shù)以及最大池化，第2～第5 階段主要由卷積模塊和識(shí)別模塊組成，然后輸出對應(yīng)的特征圖。

本研究在ResNet50 網(wǎng)絡(luò)模型的后3 個(gè)階段中加入DCN，見圖2。圖2 虛框內(nèi)是3×3 的DCN，首先在普通卷積上引入2D 偏移量，然后依據(jù)輸入部分的特征圖，再利用補(bǔ)充卷積層進(jìn)行學(xué)習(xí)，實(shí)現(xiàn)對復(fù)雜圖案印花織物的不規(guī)則形狀疵點(diǎn)的學(xué)習(xí)以及適應(yīng)，最后將輸入部分獲得的特征圖以及偏移量一起送入卷積層獲得相應(yīng)的輸出特征圖。

圖2 ResNet50?DCN 網(wǎng)絡(luò)模型

1.2 改進(jìn)的BFP?FPN 結(jié)構(gòu)

FPN 模塊在檢測小像素目標(biāo)中效果較好，該模塊由2 個(gè)部分組成。第1 部分通過自下而上提取特征，第2 部分將自上而下的每一層特征圖和左側(cè)的特征圖相加，2 個(gè)部分之間采取橫向連接方式，最后獲取特征融合后的預(yù)測結(jié)果。由于不同層級(jí)間特征具有不平衡性，F(xiàn)PN 結(jié)構(gòu)在提取特征時(shí)存在提取不平衡的問題，因此，本研究使用BFP?FPN 模塊緩解不同層級(jí)間特征不平衡問題，并在BFP?FPN 模塊后添加具有線性性質(zhì)的特征融合模塊，改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)見圖3。圖3 中，C1～C4 表示FPN 結(jié)構(gòu)獲得的4 個(gè)尺度的輸出結(jié)果，P1～P4 表示經(jīng)過BFP 處理后的輸出結(jié)果。

圖3 改進(jìn)的FPN 網(wǎng)絡(luò)模型

引入的特征融合模塊實(shí)質(zhì)是一種線性組合方式，即將含有復(fù)雜圖案印花織物疵點(diǎn)圖片的特征圖與不含任何疵點(diǎn)的模板圖片特征圖進(jìn)行加權(quán)求和，其采用的計(jì)算公式見式（1）。

式中：Df表示待檢測特征圖，Tf表示模板特征圖，Of表示輸出的融合特征圖，m、n表示學(xué)習(xí)參數(shù)。自動(dòng)學(xué)習(xí)模板特征圖與待檢測特征圖之間存在相關(guān)性，改進(jìn)后的BFP?FPN 結(jié)構(gòu)能夠更充分提取特征信息，同時(shí)增強(qiáng)不同層級(jí)間特征的平衡性。

2 改進(jìn)的損失函數(shù)

Focal Loss 函數(shù)［13］一般用于處理多分類任務(wù)中數(shù)據(jù)樣本的不平衡問題。本研究中的織物疵點(diǎn)類型豐富且數(shù)據(jù)樣本分布不均，因此采用Focal Loss 函數(shù)克服在不同類型織物疵點(diǎn)圖片樣本下存在的不均衡問題。該函數(shù)中通過采用softmax函數(shù)計(jì)算目標(biāo)的預(yù)測值，softmax 函數(shù)的計(jì)算公式見式（2）。由式（2）可知，該函數(shù)主要由指數(shù)函數(shù)構(gòu)成，其具有放大性質(zhì)，該性質(zhì)在一定程度上會(huì)導(dǎo)致數(shù)據(jù)的上溢。所以，本研究在原函數(shù)的基礎(chǔ)上添加了一個(gè)常數(shù)項(xiàng)作為調(diào)節(jié)因子，保證結(jié)果不變的同時(shí)確保了數(shù)據(jù)的正確性。

式中：y的值為0 或者1，y?是目標(biāo)的預(yù)測值，γ表示調(diào)節(jié)權(quán)重曲線的傾斜程度。

在多分類問題中，F(xiàn)ocal Loss 函數(shù)可以簡化為Lfl=-(1-y?)γlogy?，在式（3）的基礎(chǔ)上提出了一點(diǎn)改進(jìn)，見式（4）。

式中：K與γ均用于表示調(diào)節(jié)權(quán)重曲線的傾斜程度，添加的ε值表示調(diào)節(jié)因子，用于防止指數(shù)函數(shù)造成的數(shù)據(jù)溢出。

因?yàn)橹笖?shù)函數(shù)自身的性質(zhì)可以推導(dǎo)得到softmax(-Kxi+ε) =softmax(-Kxi)，所以改進(jìn)后的損失函數(shù)有效地避免了數(shù)據(jù)處理時(shí)存在的上溢情況，同時(shí)保證了獲取數(shù)據(jù)的準(zhǔn)確性。

3 試驗(yàn)分析

3.1 試驗(yàn)數(shù)據(jù)集及試驗(yàn)設(shè)置

本研究采用的計(jì)算機(jī)配置為Intel i7 8700K CPU 和NVIDIA GeForce GTX1080TI GPU，操作系統(tǒng)是Ubuntu16.04，采用PyTorch 深度學(xué)習(xí)框架，試驗(yàn)中設(shè)置batch size 為2，訓(xùn)練步數(shù)為550 000，初始學(xué)習(xí)率為0.002，優(yōu)化參數(shù)動(dòng)量因子為0.9，衰減系數(shù)為0.000 1。本研究的數(shù)據(jù)集中包含了18 063 張織物疵點(diǎn)圖片，680 張模板圖片。其中，模板圖片是指只含有背景紋理信息且不包含疵點(diǎn)的織物圖片。試驗(yàn)過程中采用分辨率為4 096 pixel×1 696 pixel 的織物圖片，并且選用其中的16 256 張布匹疵點(diǎn)圖片做訓(xùn)練集，然后將剩下的1 807 張布匹圖片做驗(yàn)證集。本研究主要針對破洞、縫頭、網(wǎng)折、蟲粘、花毛、沾污以及織疵共7 類疵點(diǎn)進(jìn)行檢測，試驗(yàn)結(jié)果見圖4。

圖4 本研究模型檢測結(jié)果圖

最終通過分類準(zhǔn)確率（Accuracy，Acc）與平均精度均值（mean Average Precision，mAP）兩項(xiàng)指標(biāo)的值判斷改進(jìn)的網(wǎng)絡(luò)模型和原始網(wǎng)絡(luò)模型的性能。準(zhǔn)確率計(jì)算公式見式（5）。

式中：TP表示正確分類的正例，TN表示正確分類的負(fù)例，F(xiàn)P表示負(fù)例被錯(cuò)分為正例，F(xiàn)N表示正例錯(cuò)分為負(fù)例。

平均精度（Average Precision，AP）表示針對單個(gè)類別的識(shí)別器，mAP表示對不同類別的AP獲取平均結(jié)果，具有評價(jià)多個(gè)分類器的性能。mAP的值域在0～1 的范圍內(nèi)，mAP值越大說明其檢測準(zhǔn)確率越高。具體見式（6）～式（8）。

式中：AP中采用了11 點(diǎn)插值的方式獲取最佳的檢測精度，r表示11 個(gè)點(diǎn)中的任意一點(diǎn)，ρinterp(r)表示單一類別識(shí)別器在任意一點(diǎn)獲取的檢測精度值，ρ(r?)表示召回值為r?時(shí)的檢測精度值，N表示分類器的個(gè)數(shù)總和。

3.2 ResNet50?DCN 網(wǎng)絡(luò)性能

ResNet50 與ResNet50?DCN 的網(wǎng)絡(luò)性能對比試驗(yàn)結(jié)果見表1。由表1 可知，mAP和準(zhǔn)確率分別提高了0.75 個(gè)百分點(diǎn)和0.91 個(gè)百分點(diǎn)，誤檢率和漏檢率分別降低了0.91 個(gè)百分點(diǎn)和0.29 個(gè)百分點(diǎn)。改進(jìn)后的網(wǎng)絡(luò)模型能夠有效提高檢測準(zhǔn)確率，同時(shí)也改善了網(wǎng)絡(luò)模型存在的誤檢率和漏檢率問題。改進(jìn)后的ResNet50?DCN 網(wǎng)絡(luò)模型具有更強(qiáng)的不規(guī)則織物疵點(diǎn)的特征提取能力。

表1 ResNet50 和ResNet50?DCN 網(wǎng)絡(luò)性能對比

3.3 BFP?FPN 網(wǎng)絡(luò)性能

在FPN 網(wǎng)絡(luò)中加入BFP 模塊，利用優(yōu)化的BFP?FPN 結(jié)構(gòu)，改善了復(fù)雜圖案印花織物疵點(diǎn)在FPN 網(wǎng)絡(luò)不同層級(jí)特征不平衡問題。試驗(yàn)結(jié)果見表2。由表2 可知，mAP和準(zhǔn)確率分別提高了0.79 個(gè)百分點(diǎn)和0.70 個(gè)百分點(diǎn)，而誤檢率和漏檢率分別降低了0.70 個(gè)百分點(diǎn)和0.10 個(gè)百分點(diǎn)。改進(jìn)后的網(wǎng)絡(luò)模型比原始網(wǎng)絡(luò)模型稍有改善，說明BFP?FPN 模塊結(jié)合特征融合模塊對特征提取具有較好的效果。

表2 FPN 和BFP?FPN 網(wǎng)絡(luò)性能對比

3.4 本研究改進(jìn)算法試驗(yàn)結(jié)果

不同模型在織物疵點(diǎn)數(shù)據(jù)集上的試驗(yàn)結(jié)果見表3。由表3 可知，本研究改進(jìn)的算法與已經(jīng)存在的優(yōu)秀算法相比，其mAP值達(dá)到了67.87%，提高了2.34 個(gè)百分點(diǎn)，且有效地將復(fù)雜圖案印花織物疵點(diǎn)檢測的準(zhǔn)確率提升了3.01 個(gè)百分點(diǎn)，并將誤檢率與漏檢率分別降低了3.01 個(gè)百分點(diǎn)、0.04個(gè)百分點(diǎn)。

表3 不同模型在織物疵點(diǎn)數(shù)據(jù)集上的試驗(yàn)結(jié)果

4 結(jié)論

本研究提出的基于深度學(xué)習(xí)的復(fù)雜圖案印花織物疵點(diǎn)檢測方法從準(zhǔn)確率、誤檢率、漏檢率上均優(yōu)于原始算法。試驗(yàn)過程中主要針對表面平整的印花織物進(jìn)行檢測，采用改進(jìn)的ResNet50?DCN網(wǎng)絡(luò)結(jié)構(gòu)增強(qiáng)了對不規(guī)則織物疵點(diǎn)的適應(yīng)能力，利用優(yōu)化的BFP?FPN 結(jié)構(gòu)改善了復(fù)雜圖案印花織物疵點(diǎn)在FPN 網(wǎng)絡(luò)不同層級(jí)特征不平衡問題，并且使用改進(jìn)的損失函數(shù)有力地確保了數(shù)據(jù)的正確性。試驗(yàn)表明，該算法有效地克服了復(fù)雜圖案印花織物疵點(diǎn)檢測過程中存在準(zhǔn)確率較低、誤檢率和漏檢率較高的檢測難點(diǎn)，較好地改善了復(fù)雜圖案印花織物疵點(diǎn)檢測模型的性能。