李 亮，陳廣峰，丁彩紅

(東華大學(xué) 機械工程學(xué)院, 上海 201620)

化妝棉是紡織行業(yè)中常見的產(chǎn)品之一,在人們的日常生活中發(fā)揮著重要作用。由于機械設(shè)備不穩(wěn)定、工人操作水平不足等原因,化妝棉在制造過程中易出現(xiàn)質(zhì)量缺陷。常見的化妝棉缺陷包括褶皺、異物油污、無壓點、缺少非織造布、壓邊不良、壓點不良。目前國內(nèi)主要依靠人工對化妝棉棉片的缺陷進行檢測,人工檢測的方式容易受外界因素的影響,導(dǎo)致檢測精度和檢測效率大打折扣。

基于機器視覺的自動缺陷檢測方法可有效提高生產(chǎn)效率并降低誤檢率和漏檢率?；趥鹘y(tǒng)機器視覺技術(shù)的缺陷檢測方法利用人工設(shè)計的特征進行分類,算法效果往往依賴于研究者對缺陷特征的人工選擇和準確描述[1],例如:范程華等[2]將太陽能電池板表面缺陷作為研究對象,在一維傅里葉變換的基礎(chǔ)上構(gòu)建缺陷區(qū)域在小波域的投影系數(shù)欠定方程,借助匹配追蹤思想篩選圖像中的缺陷,通過尋找缺陷區(qū)域在小波中的投影大值,實現(xiàn)缺陷檢測;Celik等[3]運用小波變換和形態(tài)學(xué)處理等方法對5種織物的缺陷區(qū)域進行檢測,再利用灰度共生矩陣和前饋神經(jīng)網(wǎng)絡(luò)對5種織物缺陷進行分類。這種基于傳統(tǒng)機器視覺的缺陷檢測方法檢測時間較長,且檢測對象的紋理相對簡單,往往難以完成紋理背景較為復(fù)雜的缺陷及小面積缺陷的檢測任務(wù)?；瘖y棉棉片存在很多小面積缺陷(如異物油污、壓點等),這導(dǎo)致傳統(tǒng)的基于機器視覺的缺陷檢測方法適應(yīng)性較差。

基于深度學(xué)習(xí)的缺陷檢測方法檢測效率較高,能有效地識別小面積缺陷。例如:汪琦等[4]通過構(gòu)造基于Mask R-CNN的絕緣子串分割模型,在獲取的掩模圖像中引入最小外接矩形提取絕緣子串圖像,搭建自爆缺陷檢測模型,實現(xiàn)絕緣子自爆缺陷的檢測,識別準確率高達94.12%。Huang等[5]基于全卷積網(wǎng)絡(luò)(FCN)提出一種地鐵盾構(gòu)隧道裂縫和滲漏缺陷檢測算法,在自建的裂紋和泄露數(shù)據(jù)集上得到99.2%的綜合識別準確率,檢測效果良好。Zhang等[6]將YOLOv2目標檢測算法與深度卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合,實現(xiàn)對色織織物的缺陷檢測,識別準確率達86.8%。Mei等[7]提出一種基于無監(jiān)督學(xué)習(xí)的織物缺陷檢測方法,通過在多個高斯金字塔級別使用卷積去噪自編碼器重建圖像,實現(xiàn)對織物缺陷的檢測,在織物數(shù)據(jù)集上測試時獲得83.3%的識別準確率。

本文提出一種基于改進Mask R-CNN[8]的化妝棉棉片缺陷檢測方法,旨在構(gòu)建一種基于深度學(xué)習(xí)的缺陷檢測方法,以實現(xiàn)對化妝棉棉片缺陷的快速、準確自動化檢測。

1 改進的Mask R-CNN網(wǎng)絡(luò)模型框架

Mask R-CNN是一種兩階段目標實例分割框架。第一階段,使用基礎(chǔ)網(wǎng)絡(luò)結(jié)合特征金字塔網(wǎng)絡(luò)(feature pyramid networks,FPN)[9]結(jié)構(gòu)生成特征圖,再使用區(qū)域建議網(wǎng)絡(luò)(region proposal networks,RPN)[10]在特征圖上生成一系列候選框并進行篩選。第二階段,使用分類網(wǎng)絡(luò)完成分類、檢測和分割任務(wù)。由于Mask R-CNN網(wǎng)絡(luò)對化妝棉棉片缺陷檢測的準確率不高,易出現(xiàn)漏檢、誤檢現(xiàn)象,為緩解這種現(xiàn)象,本文對Mask R-CNN網(wǎng)絡(luò)模型進行改進。首先,去掉Mask R-CNN網(wǎng)絡(luò)中的分割分支,引入深度卷積思想改進基礎(chǔ)網(wǎng)絡(luò);其次,改進FPN結(jié)構(gòu),以實現(xiàn)更加精準的預(yù)測。原始的FPN僅僅是將基礎(chǔ)網(wǎng)絡(luò)中的前后兩個特征圖進行融合相加;改進后FPN增加了1個淺層特征圖,采用多信息融合的方式將所有的特征圖進行融合相加,同時改進低分辨率圖像的上采樣方式。此外,在RPN前添加注意力機制模塊,以使網(wǎng)絡(luò)更加關(guān)注缺陷目標區(qū)域。改進的Mask R-CNN網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 改進的Mask R-CNN網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Improved Mask R-CNN network structure

2 改進的Mask R-CNN網(wǎng)絡(luò)模型細節(jié)

2.1 深度卷積網(wǎng)絡(luò)

在一定范圍內(nèi),增加特征提取網(wǎng)絡(luò)深度能夠提高檢測的準確率,但同時模型的復(fù)雜度和訓(xùn)練的難度也會增加。這是因為反向傳播過程中誤差的累積會引發(fā)“梯度彌散”或“梯度爆炸”現(xiàn)象。ResNet[11]特征提取網(wǎng)絡(luò)中的殘差模塊可以緩解該現(xiàn)象。為了使ResNet模型可以根據(jù)圖像的特征信息,自適應(yīng)地調(diào)整各個通道的特征響應(yīng),從而提高模型的特征提取能力,參考Swin Transformer[12]在ResNet50基礎(chǔ)上進行改進,改進后的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 深度卷積網(wǎng)絡(luò)Fig.2 Depthwise convolutional network

ResNet50中stage 0采用步長為2的7×7大卷積與最大池化方法對原始圖像進行預(yù)處理。大卷積核不僅參數(shù)量很大,而且會破壞原始圖像的通道信息和細節(jié)紋理信息,導(dǎo)致網(wǎng)絡(luò)后續(xù)學(xué)習(xí)的性能較差。本文使用步長為4的4×4小卷積替代7×7大卷積,以減少信息的損失和參數(shù)量。

ResNet50中stage 1、stage 2、stage 3、stage 4堆疊的殘差模塊的次數(shù)依次為3、4、6、3。參考Swin Transformer結(jié)構(gòu),將4個stage堆疊的殘差模塊次數(shù)依次修改為3、3、9、3。對ResNet50中的兩種殘差結(jié)構(gòu)進行改進,如圖3所示。原始殘差網(wǎng)絡(luò)中的3×3卷積有較多的參數(shù)量,這將降低檢測速度,并且卷積過程中每個通道采用同樣的卷積核,無法充分提取所有的通道信息,因此,將原殘差結(jié)構(gòu)中3×3的普通卷積修改為7×7的深度卷積,同時將深度卷積上移。非線性激活函數(shù)可以防止梯度消失,但是使用過多會使原始圖像過度非線性化,從而破壞通道信息,因此減少對非線性激活函數(shù)的使用。為了提高模型的泛化能力,將非線性激活函數(shù)修改為加入隨機正則的GELU激活函數(shù)[13]。標準化可以加速網(wǎng)絡(luò)的收斂并減少過擬合,但是使用過多可能會破壞原始圖像的分布,損失圖像信息,因此減少標準化的使用。此外,ResNet50采用的Batch Normalization[14]是在批次維度上對圖像采用相同的均值和方差進行標準化,而圖像的每個通道的信息是不同的,因此會在一定程度上破壞通道維度的信息,故將Batch Normalization修改為在通道維度上進行標準化的Layer Normalization[15]。

圖3 ResNet50和深度卷積網(wǎng)絡(luò)殘差結(jié)構(gòu)圖Fig.3 Residual structure diagram of ResNet50 and depthwise convolutional network

2.2 多信息融合特征金字塔網(wǎng)絡(luò)

Mask R-CNN的主干網(wǎng)絡(luò)由特征提取網(wǎng)絡(luò)ResNet和FPN構(gòu)成。FPN作為一種多尺度檢測方法,能夠?qū)崿F(xiàn)多尺度特征圖的提取。原始的FPN獲取的特征圖對語義信息的表達不夠完整,很難同時兼顧大目標、中等目標和小目標的檢測精度,如圖4(a)所示。為增加上下文信息的參考,使模型獲得不同語義程度上的特征圖信息,從而提高對化妝棉棉片上的小目標缺陷的檢測精度,提出一種多信息融合的特征金字塔結(jié)構(gòu),如圖4(b)所示。

在圖4(a)與圖4(b)中,兩種特征金字塔網(wǎng)絡(luò)均采用自上而下的橫向連接結(jié)構(gòu),C1～C5均為基礎(chǔ)網(wǎng)絡(luò)每個階段生成的特征圖。圖4(a)中,P2-P6為C1～C5相鄰兩個特征圖經(jīng)過上采樣融合相加生成的特征圖,上采樣方式均采用雙線性插值;圖4(b)中P1～P6為C1～C5所有特征圖經(jīng)過上下采樣融合相加生成的特征圖。C4和C5兩個低分辨率特征圖采用的上采樣方式是Pixel Shuffle[16],C1～C3采用的上采樣方式則是雙線性插值。與雙線性插值相比,Pixel Shuffle在上采樣時不會損失任何細節(jié)信息,信息總量保持不變,能夠提高低分辨率特征圖的表征能力。

2.3 注意力機制

化妝棉棉片表面紋理復(fù)雜,在模型的檢測過程中會造成一定的干擾。將注意力機制引入到網(wǎng)絡(luò)中,能更好地提取圖像的特征,同時增加與缺陷相關(guān)的特征權(quán)重[17]。注意力機制通過給圖像特征施加相應(yīng)的注意力權(quán)重,從而突出待檢測目標的重要特征,并抑制一些無關(guān)信息。常見的注意力機制包括通道注意力機制[18]、空間注意力機制[19]及混合注意力機制[20-21]。通道注意力機制是在圖像特征通道尺度上施加注意力權(quán)重,使得模型關(guān)注有意義的特征;空間注意力機制是在圖像特征空間尺度上施加注意力權(quán)重,使得模型關(guān)注特征在空間中具體的位置;混合注意力機制則能夠充分結(jié)合特征通道和特征空間兩個維度的注意力機制,對圖像特征進行全面解析,從而使模型精準關(guān)注圖像中的目標特征。

在區(qū)域建議網(wǎng)絡(luò)生成前引入混合注意力機制[20],并在此基礎(chǔ)上對其進行改進,以更好地解析融合后的圖像特征,從而在區(qū)域建議網(wǎng)絡(luò)中生成更加準確的預(yù)選框。本文將混合注意力機制的通道域注意力模塊中的多層感知機替換成1個1×1卷積和Batch Normalization,再與一個7×7的Depthwise卷積[22]進行跳躍連接。Depthwise卷積是不同通道的特征圖采用不同的卷積核進行卷積操作,這能夠避免普通卷積中不同通道的特征圖因采用相同的權(quán)重表征原始圖像而導(dǎo)致信息損失的問題。改進后的注意力機制模型如圖5所示。

圖5中,WC為通道注意力權(quán)重,WS為空間注意力權(quán)重。給定特征融合金字塔生成的特征圖Fi,首先,將該特征圖送入通道注意力模塊,分別通過平均池化和最大池化得到特征圖每個通道的信息;然后,利用1×1卷積將通過池化獲取的信息參數(shù)進行疊加,再經(jīng)激活函數(shù)Sigmoid進行非線性激活,獲得通道注意力特征權(quán)重MC(Fi),再與輸入特征圖Fi逐元素相乘,得到通道注意力特征圖FC;接著,將FC送入空間注意力模塊,依次進行平均池化和最大池化,再通過1×1卷積進行通道轉(zhuǎn)換,并利用Sigmoid函數(shù)進行非線性激活,得到空間注意力特征權(quán)重MS(Fi),再次與FC逐元素相乘,獲得空間注意力特征圖FS。將原始特征圖Fi經(jīng)過一個7×7的Depthwise卷積獲得的結(jié)果與FS逐元素相加,得到最終的特征圖FO。

2.4 損失函數(shù)

由于去掉了Mask R-CNN網(wǎng)絡(luò)中的分割分支,改進后Mask R-CNN只有4個損失函數(shù),如式(1)所示。

LLoss=Lrcls+Lrbbox+Lcls+Lbbox

(1)

式中:Lrcls為區(qū)域建議網(wǎng)絡(luò)的分類損失;Lrbbox為區(qū)域建議網(wǎng)絡(luò)的邊界框回歸損失;Lcls為整個網(wǎng)絡(luò)的分類損失;Lbbox為整個網(wǎng)絡(luò)的邊界框回歸損失。

一般目標檢測網(wǎng)絡(luò)存在兩個問題:一是正負樣本不平衡問題;二是簡單和困難樣本不平衡問題。為解決這兩個問題,在區(qū)域建議網(wǎng)絡(luò)中對原來的交叉熵損失函數(shù)進行改進,設(shè)計一種新的損失函數(shù),如式(2)所示。整個網(wǎng)絡(luò)的分類損失采用交叉熵損失函數(shù),如式(3)所示。

(2)

(3)

式(2)中,α為衡量正負樣本的權(quán)重系數(shù),一般負樣本較多,因此取較小的值,從而提高正樣本的權(quán)重,這里取0.25;γ為調(diào)節(jié)簡單樣本和困難樣本之間的權(quán)重系數(shù),可使模型在訓(xùn)練時更專注于難分類的樣本,這里取2;式(2)和式(3)中的y為類別參數(shù),正樣本取1,負樣本取0;K為類別數(shù);P為目標屬于某個類別的概率。

整個網(wǎng)絡(luò)和區(qū)域建議網(wǎng)絡(luò)的回歸損失均使用SmoothL1損失函數(shù):

(4)

式中:x、y為矩形框的中心坐標;w、h為矩形框的寬和高;Gi為真實框的回歸參數(shù);pi為預(yù)測框的回歸參數(shù)。

3 試驗方法與結(jié)果

3.1 數(shù)據(jù)集的說明與準備

化妝棉棉片主要通過裁切制成,在工業(yè)生產(chǎn)中會出現(xiàn)各種表面缺陷,常見的有褶皺、異物油污、無壓點、缺少非織造布、壓邊不良、壓點不良等6類缺陷,如圖6所示。

試驗采用自制的化妝棉棉片缺陷檢測數(shù)據(jù)集。圖像使用工業(yè)相機在黑色檢測平臺上采集,剔除一些不符合要求的圖像后獲得原始的數(shù)據(jù)集,共800張,按照8∶1∶1的比例劃分為訓(xùn)練集、測試集和驗證集,圖像數(shù)量分別為640、80、80。3種數(shù)據(jù)集均包含所有的缺陷圖像。為了模擬化妝棉棉片的工業(yè)生產(chǎn)環(huán)境,對訓(xùn)練集和測試集采用對比度增強、隨機鏡像、隨機縮放、旋轉(zhuǎn)變換方法進行擴增,驗證集保持不變。對增強后的數(shù)據(jù)集進行篩選從而使各類缺陷達到均衡。數(shù)據(jù)增強后數(shù)據(jù)集的數(shù)量分布為訓(xùn)練集3 840張、測試集480張、驗證集80張。

3.2 試驗平臺配置

試驗在Ubuntu 9.3.0系統(tǒng)上進行。系統(tǒng)具體配置如表1所示。

表1 試驗平臺配置Table 1 Experimental platform configuration

3.3 試驗設(shè)置

針對化妝棉缺陷檢測模型,將Batchsize設(shè)置為4;模型訓(xùn)練輪數(shù)為45,每輪訓(xùn)練960次,初始學(xué)習(xí)率設(shè)置為0.005;優(yōu)化器使用SGD,學(xué)習(xí)動量設(shè)為0.9;學(xué)習(xí)率更新策略使用MultiStepLR。模型訓(xùn)練損失和學(xué)習(xí)率曲線如圖7所示。共訓(xùn)練50輪,前15輪模型的下降速度很快,而15～25輪時下降趨勢減緩,訓(xùn)練至45輪后基本趨于穩(wěn)定,表明模型已經(jīng)收斂。

圖7 模型總損失和學(xué)習(xí)率曲線Fig.7 Total loss and learning rate curve of the model

3.4 對比試驗與結(jié)果分析

3.4.1 評價指標

評價缺陷檢測精度的指標通常為誤檢率和漏檢率。誤檢率一般用平均準確率(mean average precision,RmAP)來衡量;漏檢率一般使用召回率(Rre)來衡量。平均準確率越高,誤檢率越低;召回率越高,漏檢率越低。具體計算公式為

(5)

(6)

式中:P(R)為PR曲線;n為類別編號;N為類別數(shù);NTP為預(yù)測結(jié)果為正樣本且實際結(jié)果為正樣本的個數(shù);NFN為預(yù)測結(jié)果為負樣本且實際結(jié)果為正樣本個數(shù)。

3.4.2 特征提取網(wǎng)絡(luò)對比試驗

為了衡量深度卷積網(wǎng)絡(luò)的性能,使用ResNet50、ResNet101、ResNext101、SENet50、RepVGG、深度卷積網(wǎng)絡(luò)等6種卷積神經(jīng)網(wǎng)絡(luò)模型作為Mask R-CNN的特征提取網(wǎng)絡(luò)。設(shè)置6組對比試驗,試驗結(jié)果如表2所示。

表2 不同特征提取網(wǎng)絡(luò)的對比試驗結(jié)果

由表2可知,使用本文提出的深度卷積網(wǎng)絡(luò)來搭建Mask R-CNN時,特征提取能力顯著增強,檢測效果提升明顯,RmAP達89.5%,Rre達77.4%。相比其他網(wǎng)絡(luò),深度卷積網(wǎng)絡(luò)的Rre和RmAP最高,即漏檢率和誤檢率最低,展現(xiàn)出強大的特征提取能力。相比ResNet50、ResNet101、ResNext101、SENet50、RepVGG,RmAP分別提高了6.3%、5.2%、4.4%、5.5%、6.5%,Rre分別提高了9.6%、6.8%、4.9%、8.1%、6.2%。由此可見,本文提出的深度卷積網(wǎng)絡(luò),由于采用了多個深度卷積堆疊而成的殘差結(jié)構(gòu),同時減少了標準化和激活函數(shù)的使用,能夠提取出更多的有用信息,顯著降低漏檢率和誤檢率。

3.4.3 改進模塊對比試驗

本文在原始Mask R-CNN檢測框架下分別改進了FPN、加入了多通道注意力機制以及優(yōu)化了損失函數(shù)。為驗證上述改進模塊的作用,以本文提出的深度卷積網(wǎng)絡(luò)為特征提取網(wǎng)絡(luò),設(shè)置6組對比試驗,結(jié)果如表3所示。

表3 不同模塊的對比試驗結(jié)果

表3第一行是以深度卷積網(wǎng)絡(luò)為特征提取網(wǎng)絡(luò)的Mask R-CNN的檢測結(jié)果。由表3可以看出:原網(wǎng)絡(luò)加入多通道注意力機制后,RmAP和Rre分別提高了4.2%和7.1%;改進FPN后,RmAP和Rre分別提高了4.9%和7.0%;優(yōu)化損失函數(shù)后,RmAP和Rre分別提高了1.5%和1.0%;改進FPN,且加入注意力機制后,RmAP和Rre分別提高了5.6%和12.7%;改進FPN、加入注意力機制、優(yōu)化損失函數(shù)后,RmAP和Rre分別提高了6.9%和13.8%;綜合各模塊的優(yōu)點,改進Mask R-CNN的RmAP可達95.7%,Rre可達88.1%。由此可見:對于化妝棉棉片缺陷數(shù)據(jù)集而言,多信息融合特征金字塔網(wǎng)絡(luò)能夠提取出更多的缺陷信息;在區(qū)域建議網(wǎng)絡(luò)前加入多通道注意力機制,有助于模型更加關(guān)注缺陷部位的特征,從而使模型學(xué)習(xí)地更加充分;改進區(qū)域建議網(wǎng)絡(luò)的損失函數(shù)有利于生成更加準確的候選框,從而降低誤檢率和漏檢率。

3.4.4 經(jīng)典網(wǎng)絡(luò)對比試驗

為進一步驗證改進的Mask R-CNN的效果,選取Faster R-CNN、SSD、YOLOv5、Mask R-CNN 4種經(jīng)典網(wǎng)絡(luò)進行對比,試驗結(jié)果如表4所示。

表4 改進的Mask R-CNN與經(jīng)典網(wǎng)絡(luò)的對比試驗結(jié)果

從表4可以看出,改進Mask R-CNN的檢測效果優(yōu)于Faster R-CNN、YOLOv5、SSD、Mask R-CNN網(wǎng)絡(luò)。與Mask R-CNN相比,改進Mask R-CNN的RmAP分別提高38.7%、64.4%、18.0%、13.7%,Rre分別提高58.5%、96.7%、31.1%、24.8%。由此可見,本文提出的網(wǎng)絡(luò)模型在化妝棉棉片數(shù)據(jù)集上漏檢率和誤檢率均較低,有著更好的檢測效果。此外,缺陷檢測的平均時間增加幅度較小,檢測1張圖只需0.08 s,遠高于人工檢測的速度,滿足實際工業(yè)的需求。

3.4.5 試驗效果與分析

為了驗證改進的Mask R-CNN的檢測效果,選取3張含有缺陷的化妝棉棉片進行測試驗證,如圖8所示。圖8(a)為待檢測圖像,圖中待檢測缺陷目標用虛線框標注,圖8(b)～(f)分別為Faster R-CNN、YOLOv5、SSD、Mask R-CNN、改進的Mask R-CNN等5種檢測算法的檢測結(jié)果。

圖8 不同檢測算法的檢測結(jié)果對比Fig.8 Comparison of test results of different detection algorithms

從圖8可以看出,采用Faster R-CNN、YOLOv5、SSD、Mask R-CNN等4種算法檢測時均出現(xiàn)不同程度的漏檢和誤檢,尤其是YOLOv5算法沒有檢測出任何缺陷目標。這是因為化妝棉數(shù)據(jù)集存在很多異物油污、壓點等小目標缺陷,YOLOv5算法本身對小目標的檢測效果不好,同時YOLOv5算法在實際運算過程中會利用非極大值抑制算法選取得分最高的那個預(yù)測框,而YOLOv5算法的回歸思想基礎(chǔ)是將圖像劃分成S×S個網(wǎng)格,每個網(wǎng)格最多只能預(yù)測1個目標物,因此它對在同一個網(wǎng)格內(nèi)出現(xiàn)多個目標物體的情況表現(xiàn)不佳,無法全部識別目標。本文改進的Mask R-CNN算法,能夠更準確識別化妝棉棉片的缺陷類別和位置,平均準確率和召回率均較高,較好地解決了漏檢、誤檢問題。

4 結(jié) 論

采用改進的Mask R-CNN檢測模型,在自制的化妝棉棉片數(shù)據(jù)集上取得95.7%的檢測準確率和88.1%的召回率,具有良好的檢測效果,可以代替人工檢測,具體結(jié)論如下:

1)在特征提取網(wǎng)絡(luò)部分,通過堆疊深度卷積的殘差結(jié)構(gòu),同時減少標準化和激活函數(shù)的使用,獲得更豐富的語義特征,有利于后續(xù)檢測框的生成和預(yù)測,增強檢測能力。

2)采用多信息融合的特征金字塔網(wǎng)絡(luò)可以獲得更多的特征圖信息參考,同時用像素重組的上采樣方式替代原始的雙線性插值的上采樣方式,能夠提高小分辨率特征圖的表征能力,從而提高檢測準確率;引入混合域注意力機制,能夠提高小缺陷目標的檢測效果;采用Depthwise卷積,能有效解決漏檢、誤檢問題。

3)針對正負樣本不平衡和簡單困難樣本不平衡兩個問題,對區(qū)域建議網(wǎng)絡(luò)的分類損失函數(shù)進行優(yōu)化,可提高檢測算法的準確度。