李敏 楊珊 何儒漢 姚迅 崔樹芹

摘 要：為了實(shí)現(xiàn)提花織物疵點(diǎn)自動(dòng)檢測(cè)，提出了一種結(jié)合視覺顯著性和卷積神經(jīng)網(wǎng)絡(luò)的提花織物疵點(diǎn)檢測(cè)方法。針對(duì)提花織物背景干擾的問題，利用視覺顯著性模型（Context-aware，CA）抑制背景信息，突出疵點(diǎn)區(qū)域的顯著性來(lái)獲得圖像的顯著圖;為了區(qū)分織物圖像中是否存在疵點(diǎn)，使用在通用數(shù)據(jù)集上訓(xùn)練過的VGG16神經(jīng)網(wǎng)絡(luò)模型對(duì)提花織物圖像的顯著圖分類。結(jié)果表明：該方法在提花織物疵點(diǎn)檢測(cè)上平均準(zhǔn)確率為97.07%，比直接利用VGG16模型對(duì)提花織物疵點(diǎn)檢測(cè)的準(zhǔn)確率提高了19.44%，是一種適合提花織物疵點(diǎn)檢測(cè)的方法。

關(guān)鍵詞：提花織物;疵點(diǎn)檢測(cè);視覺顯著性;卷積神經(jīng)網(wǎng)絡(luò)

中圖分類號(hào)： TS101.9

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1009-265X（2021）06-0062-05

Jacquard Fabric Defect Detection Technology CombiningContext-awareness and Convolutional Neural Network

LI Min， YANG Shan， He Ruhan， YAO Xun， CUI Shuqin

（School of Computer Science and Artificial Intelligence， Wuhan Textile University， Wuhan 430200， China）

Abstract： In order to achieve the automatic detection of jacquard fabric defects， a method is proposed to detect jacquard fabric defects， which combines context-awareness and convolutional neural network. In order to solve the problem of background interference in the jacquard fabric， a context-aware （CA） model was used to suppress the background information and highlight the salience of the defect area to obtain a context-aware view of the image. To distinguish whether there are defects in the fabric image， the VGG16 neural network model trained on the general data set was used to classify the context-aware views of the image. The results show that this method has an average accuracy of 97.07% in the detection of jacquard fabric defects， which is 19.44% higher than that of the detection of jacquard fabric defects by the direct use of the VGG16 model. It is a suitable method for detecting jacquard fabric defects.

Key words： jacquard fabric; defect detection; context-awareness; convolutional neural network

收稿日期：2020-11-03? 網(wǎng)絡(luò)首發(fā)日期：2021-04-15

基金項(xiàng)目：湖北省教育廳科技項(xiàng)目（D20161605）

作者簡(jiǎn)介：李敏（1978-），女，湖北武漢人，副教授，博士，主要從事圖像處理和模式識(shí)別方面的研究。

織物疵點(diǎn)檢測(cè)是提高紡織質(zhì)量的重要環(huán)節(jié)，其中提花織物的檢測(cè)是織物疵點(diǎn)檢測(cè)中的難點(diǎn)[1]。近年來(lái)，隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)作為其主要的算法被廣泛運(yùn)用到圖像的缺陷檢測(cè)中[2]，如羅俊麗等[3]提出基于卷積神經(jīng)網(wǎng)絡(luò)和遷移學(xué)習(xí)的色織物疵點(diǎn)檢測(cè)，該方法是分別利用殘差網(wǎng)絡(luò)模型和在通用數(shù)據(jù)集上訓(xùn)練過的殘差網(wǎng)絡(luò)模型對(duì)預(yù)處理過的織物圖像進(jìn)行分類訓(xùn)練，然后比較在大小不同的數(shù)據(jù)集上訓(xùn)練的效果;曹振軍等[4]提出了基于樹莓派的深度學(xué)習(xí)色織物疵點(diǎn)檢測(cè)方法，使用改進(jìn)的Inception-v3模型和人工交互界面來(lái)實(shí)現(xiàn)的色織物疵點(diǎn)的實(shí)時(shí)檢測(cè)系統(tǒng);Liu等[5]提出基于更快的R-CNN的織物疵點(diǎn)檢測(cè)，通過RPN提取多個(gè)候選區(qū)域并利用Fast R-CNN對(duì)候選區(qū)進(jìn)行疵點(diǎn)檢測(cè)，最后采用Soft-NMS來(lái)精確檢測(cè)結(jié)果;Jun等[6]提出基于深度卷積神經(jīng)網(wǎng)絡(luò)的兩階段策略的織物缺陷檢測(cè)，是利用Inception-v1模型對(duì)圖像進(jìn)行局部缺陷預(yù)測(cè)再用LeNet-5模型對(duì)全局缺陷進(jìn)行識(shí)別。

上述方法針對(duì)素織物圖像的疵點(diǎn)檢測(cè)效果明顯，但在提花織物圖像的疵點(diǎn)檢測(cè)上不能滿足紡織品質(zhì)量的要求，這是因?yàn)樘峄椢锎嬖趶?fù)雜的背景，在檢測(cè)過程中背景信息往往會(huì)被當(dāng)作疵點(diǎn)從而影響了檢測(cè)的準(zhǔn)確率。

為了消除提花織物花紋對(duì)疵點(diǎn)檢測(cè)的干擾，李敏等[7]、周文明等[8]提出了使用視覺顯著性來(lái)對(duì)織物疵點(diǎn)進(jìn)行檢測(cè)，先將織物圖像輸入視覺顯著模型中生成顯著圖，然后通過顯著圖來(lái)確定疵點(diǎn)的位置。雖然上述方法能夠較好地解決有疵點(diǎn)的織物圖像中背景花紋對(duì)疵點(diǎn)檢測(cè)的干擾，但容易導(dǎo)致在檢測(cè)過程中將無(wú)疵點(diǎn)的織物圖像誤判為有疵點(diǎn)的織物圖像，增大了誤檢率。

為了提高檢測(cè)的準(zhǔn)確率，降低誤檢率，本文提出了結(jié)合視覺顯著性和卷積神經(jīng)網(wǎng)絡(luò)的提花織物疵點(diǎn)檢測(cè)方法。該方法先利用視覺顯著性模型抑制背景信息，突出疵點(diǎn)區(qū)域的顯著性;然后利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)織物圖像進(jìn)行有無(wú)疵點(diǎn)的判斷。經(jīng)實(shí)驗(yàn)驗(yàn)證，本文所提方法可以大大提高提花織物疵點(diǎn)檢測(cè)的準(zhǔn)確率，同時(shí)降低誤檢率。

1 基于VGG16的織物疵點(diǎn)檢測(cè)法

近年來(lái)，VGG網(wǎng)絡(luò)被廣泛應(yīng)用到織物疵點(diǎn)檢測(cè)領(lǐng)域。Sun等[9]將基于VGG16的卷積神經(jīng)網(wǎng)絡(luò)系統(tǒng)用于織物疵點(diǎn)檢測(cè)中;張馳[10]提出了一種基于VGGNet的織物缺陷識(shí)別方法，該方法用于解決復(fù)雜的織物疵點(diǎn)檢測(cè)和疵點(diǎn)分割的問題。

利用在通用數(shù)據(jù)集上訓(xùn)練過的VGG16網(wǎng)絡(luò)，本文對(duì)有疵點(diǎn)和無(wú)疵點(diǎn)的兩類織物圖像上進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)過程中用到了852張?zhí)峄椢飯D像，圖像大小為250像素×250像素。經(jīng)過100輪訓(xùn)練后得到的準(zhǔn)確率跟損失率結(jié)果如圖1所示。其中，方法1為在素織物數(shù)據(jù)集上的檢測(cè)結(jié)果，方法2為在提花數(shù)據(jù)集上的檢測(cè)結(jié)果。分析圖1可以發(fā)現(xiàn)，VGG16模型在素織物數(shù)據(jù)集上的檢測(cè)效果明顯好于提花數(shù)據(jù)集。因?yàn)樵谟?xùn)練100輪后，方法2檢測(cè)的準(zhǔn)確率只有88.06%，損失率為40.15%;而方法1檢測(cè)的準(zhǔn)確率可達(dá)到94.55%，損失率為27.20%。造成這種現(xiàn)象的主要原因?yàn)?，跟素織物相比較，提花織物圖像背景復(fù)雜，提花織物的花紋在檢測(cè)過程中往往會(huì)被誤判為疵點(diǎn)，從而影響了檢測(cè)的準(zhǔn)確率。

2 結(jié)合視覺顯著性和神經(jīng)網(wǎng)絡(luò)的織物疵點(diǎn)檢測(cè)法

2.1 基本思想

視覺顯著性旨在突出顯示圖像中最顯著的對(duì)象或區(qū)域[11]。為了排除背景信息對(duì)檢測(cè)的干擾提升檢測(cè)的準(zhǔn)確率，先將提花織物圖像輸入到CA模型[12]中生成顯著圖。然后將生成的顯著圖輸入到VGG16模型中對(duì)顯著圖進(jìn)行分類，從而區(qū)分有疵點(diǎn)的顯著圖和無(wú)疵點(diǎn)的顯著圖，即為有疵點(diǎn)的織物圖像和無(wú)疵點(diǎn)的織物圖像。圖2為本文方法的流程圖。

2.2 方法實(shí)現(xiàn)

利用視覺顯著性做提花織物疵點(diǎn)檢測(cè)時(shí)，圖像中存在疵點(diǎn)的區(qū)域較圖像中其他部分有一定的差別，而這種差別會(huì)使得該區(qū)域顯著性更高?；诖耍瑥娜趾途植靠紤]，通過抑制提花織物背景區(qū)域的顯著性，提高異常區(qū)域的顯著性來(lái)實(shí)現(xiàn)提花織物疵點(diǎn)檢測(cè)。根據(jù)如下原則對(duì)提花織物圖像進(jìn)行處理。

a）從圖像局部考慮，提高圖像中存在顏色或紋理異常區(qū)域的顯著值，降低正常區(qū)域的顯著值。

b）從圖像的全局考慮，抑制經(jīng)常出現(xiàn)的區(qū)域的特征，增強(qiáng)異常區(qū)域的特征。

c）從圖像的空間位置考慮，顯著的像素是聚集的，非顯著區(qū)域的像素是分散的。

2.2.1 局部全局單尺度顯著性計(jì)算

首先將圖像切分成多個(gè)塊（文中將圖像分為7像素×7像素的圖像塊），將圖像所對(duì)應(yīng)的塊與所有的其他塊做對(duì)比，根據(jù)原則a）、b）可知，如果以像素為中心的塊是獨(dú)特的，則像素是顯著的。根據(jù)原則c），圖像塊之間的位置距離是一個(gè)重要因素，顯著區(qū)域的圖像塊是聚集的，而背景區(qū)域的圖像塊是分散的，因此圖像塊之間的差異性計(jì)算為式（1）。

式中：dposition（pi，pj）是塊pi和塊pj之間的位置距離，dcolor（pi，pj）是塊pi和塊pj在Lab空間上的顏色距離，然后將它們歸一化到[0，1]區(qū)間。根據(jù)實(shí)驗(yàn)驗(yàn)證c取值為3。

2.2.2 多尺度顯著性增強(qiáng)

考慮到背景圖像會(huì)在不同的尺度上出現(xiàn)相似的像素塊，但對(duì)于顯著圖而言，相似的像素塊只會(huì)出現(xiàn)在某些尺度上。因此選取4個(gè)尺度R=（r，0.8r，0.5r，0.3r），根據(jù)單尺度計(jì)算法則來(lái)計(jì)4個(gè)尺度上pi的顯著性，如式（2）所示，其中rk∈R。

然后，通過以pi為中心的一組多尺度圖像塊集合來(lái)表示每個(gè)像素。設(shè)R={r1，…，rM}表示pi需要考慮的塊大小的集合，M取值為4。r越大，分割像素的數(shù)量越少，塊越大。pi的顯著性取其在不同尺度下顯著性的平均值，如式（3）所示。

2.2.3 融合場(chǎng)景

根據(jù)視覺注意力理論，圖像中可能存在一個(gè)或多個(gè)注意焦點(diǎn)，而注意焦點(diǎn)區(qū)域是顯著區(qū)域。為了獲得注意焦點(diǎn)，分兩步進(jìn)行。首先，從式（3）生成的顯著圖Sri中提取出顯著性較高的像素（通過閾值取像素，最佳閾值為0.8）;然后對(duì)顯著像素之外的區(qū)域進(jìn)行加權(quán)，權(quán)值通過與其最近的顯著像素的歐式距離獲得。dfoci（i）是像素i與最近顯著像素之間的歐幾里德位置距離，歸一化為范圍[0，1]。計(jì)算為式（4）。

圖3是將提花織物圖像輸入CA模型中得到相應(yīng)的顯著圖。從圖3中可看出，視覺顯著性模型對(duì)存在疵點(diǎn)的提花織物圖像處理，生成的顯著圖能夠準(zhǔn)確高亮的顯示出疵點(diǎn)的位置及形狀。而對(duì)于無(wú)疵點(diǎn)的提花織物圖像，生成的顯著圖將背景當(dāng)作疵點(diǎn)高亮顯示，并且顯示的部分雜亂無(wú)章。因此利用存在這種特征的顯著圖，既能夠降低背景區(qū)域的干擾也能很好的區(qū)分有疵點(diǎn)的提花織物和無(wú)疵點(diǎn)的提花織物。

3 結(jié)果及分析

實(shí)驗(yàn)的硬件環(huán)境為CPU 2.81GHZ，內(nèi)存8G，操作系統(tǒng)為Windows 10，軟件及編譯環(huán)境為Matlab r2018a、Tensorflow-gpu 1.8.0、Python 3.5.2和Keras2.2.4。

實(shí)驗(yàn)中共使用了852張?zhí)峄椢飯D片生成的顯著圖，其中有疵點(diǎn)織物圖像有357張，無(wú)疵點(diǎn)織物圖像有495張，顯著圖的大小為均為250像素×250像素。

實(shí)驗(yàn)使用幾種不同的顯著性模型對(duì)提花織物計(jì)算生成的顯著圖做了比較，即SR（Spectral residual， SR）模型（方法1），GVBS（Graph-based visual saliency， GBVS）模型（方法2），COV（Covariances， COV）模型（方法3）和本文使用的CA模型（方法4）[12]結(jié)果如圖4所示。從圖4中可以看到，CA模型相較于其他模型生成的疵點(diǎn)的大小、形狀以及位置更準(zhǔn)確，因此使用CA模型來(lái)生成顯著圖更有益于后面對(duì)圖像做分類測(cè)試。

分析圖5發(fā)現(xiàn)，利用CA模型對(duì)852張?zhí)峄椢飯D像進(jìn)行顯著性計(jì)算生成顯著圖，再對(duì)顯著圖利用神經(jīng)網(wǎng)絡(luò)做分類（本文的方法），在同樣經(jīng)過100輪訓(xùn)練后，檢測(cè)的準(zhǔn)確率可達(dá)到99.42%，損失率為5.16%。相較于其他兩種擬合效果更好。這說明結(jié)合顯著性模型和神經(jīng)網(wǎng)絡(luò)的方法對(duì)提花織物數(shù)據(jù)的檢測(cè)是可行的。

VGG16在3種數(shù)據(jù)集上的檢測(cè)結(jié)果如表1所示，從表1中可以看到，對(duì)顯著圖進(jìn)行分類比直接對(duì)提花織物圖像分類效果更好。從訓(xùn)練分類階段看，在相同的學(xué)習(xí)步長(zhǎng)下，VGG16對(duì)提花織物的顯著圖分類的速度是對(duì)提花織物數(shù)據(jù)分類速度的兩倍。

4 結(jié) 語(yǔ)

針對(duì)提花織物的疵點(diǎn)檢測(cè)，提出了一種結(jié)合視覺顯著性和卷積神經(jīng)網(wǎng)絡(luò)織物疵點(diǎn)檢測(cè)方法，主要是利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)織物圖像的顯著圖進(jìn)行分類，并在不同的模型上對(duì)多種提花織物圖像進(jìn)行了實(shí)驗(yàn)。結(jié)果表明，該方法在條紋、格子等規(guī)則的織物數(shù)據(jù)集上效果最佳，然而，對(duì)于微小型疵點(diǎn)在不規(guī)則的提花數(shù)據(jù)上檢測(cè)效果卻不盡人意。因此，提高不規(guī)則提花織物疵點(diǎn)檢測(cè)的準(zhǔn)確率和多分類是下一步研究的重點(diǎn)。

參考文獻(xiàn)：

[1]NGAN H， PANG G， YUNG N. Automated fabric defect detection： A review[J].Image and Vision Computing， 2011，29（7）：442-458.

[2]趙艷，左保齊.機(jī)器視覺在織物疵點(diǎn)檢測(cè)上的應(yīng)用研究綜述[J].計(jì)算機(jī)工程與應(yīng)用，2020，56（2）：11-17.

[3]羅俊麗，路凱.基于卷積神經(jīng)網(wǎng)絡(luò)和遷移學(xué)習(xí)的色織物疵點(diǎn)檢測(cè)[J].上海紡織科技，2019，47（6）：52-56.

[4]曹振軍，景軍鋒，蘇澤斌，等.基于樹莓派的深度學(xué)習(xí)色織物疵點(diǎn)檢測(cè)研究[J].棉紡織技術(shù)，2019，47（1）：11-15.

[5]LIU X， LIU Z， LI C， et al. Fabric defect detection based on faster R-CNN[C]// International Conference on Graphic and Image Processing， Proc SPIE： 2018，1061：55-63.

[6]JUN X， WANG J， ZHOU J， et al. Fabric defect detection based on a deep convolutional neural network using a two-stage strategy[J].Textile Research Journal， 2021，91（1/2）：130-142.

[7]李敏，崔樹芹，陳佳.應(yīng)用視覺顯著性的小提花織物疵點(diǎn)檢測(cè)[J].紡織學(xué)報(bào)，2016，37（12）：38-42，48.

[8]周文明，周建，潘如如.應(yīng)用上下文視覺顯著性的色織物疵點(diǎn)檢測(cè)[J].紡織學(xué)報(bào)，2020，41（8）：39-44.

[9]SUN H C， CASTOR N M. Fabrics defects detection system based on convolution neural network[J].International Journal of Science， 2020，7（5）：154-158.

[10]張馳.基于輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)的織物缺陷識(shí)別算法研究[D].鄭州：中原工學(xué)院，2019.

[11]LI M， WAN S， DENG Z， et al.Fabric defect detection based on saliency histogram features[J]. Computational Intelligence， 2019，35（3）：517-534.

[12]GOFERMAN S， ZELNIK-MANOR L，TAL A.Context-aware saliency detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2012，34（10）：1915-1926.