李 輝,呂祥聰,徐凌偉,申貝貝

(青島科技大學(xué) 信息科學(xué)技術(shù)學(xué)院,山東 青島 266061)

0 引言

布匹瑕疵的檢測(cè)是紡織業(yè)急需解決的一大難題,在生產(chǎn)布匹的過程中,一旦出現(xiàn)缺陷,沒能及時(shí)發(fā)現(xiàn),通常會(huì)大批量的生產(chǎn),將會(huì)造成無法彌補(bǔ)的損失,一旦流入市場(chǎng),將直接影響企業(yè)的信譽(yù),且目前的布匹瑕疵檢測(cè)方法,依舊大多數(shù)采用人工結(jié)合放大鏡進(jìn)行質(zhì)檢,但由于無法克服自身的生理因素,容易出現(xiàn)大量漏檢和誤檢。因此,布匹瑕疵檢測(cè)對(duì)于紡織業(yè)生產(chǎn)具有重要的研究價(jià)值和研究意義,通過專門的布匹檢測(cè)方法應(yīng)用到視覺儀器上,用機(jī)器代替人工質(zhì)檢,可以有效提高布匹瑕疵的檢測(cè)率,產(chǎn)出更高質(zhì)量的布匹。當(dāng)前布匹檢測(cè)方法主要分為兩大類,傳統(tǒng)的檢測(cè)方法和基于深度學(xué)習(xí)的布匹檢測(cè)方法,傳統(tǒng)的布匹檢測(cè)方法除了人工檢測(cè),還有利用波譜檢測(cè)[1]、數(shù)學(xué)統(tǒng)計(jì)[2,3]、圖像差分[4,5]以及圖像紋理[6]等方法進(jìn)行布匹瑕疵特征提取,上述傳統(tǒng)方法可以實(shí)現(xiàn)某種布匹瑕疵的檢測(cè),但是往往只針對(duì)一種瑕疵設(shè)計(jì),魯棒性和遷移性較差,檢測(cè)能力有限,且無法真正應(yīng)用到市場(chǎng)中,通常只在仿真中實(shí)現(xiàn)。目前采用基于深度學(xué)習(xí)的檢測(cè)方法,是當(dāng)今目標(biāo)檢測(cè)研究的主要方向,采用深度學(xué)習(xí)可以更加有效的學(xué)習(xí)到目標(biāo)特征,對(duì)目標(biāo)的檢測(cè)率更高,且精度遠(yuǎn)高于傳統(tǒng)的檢測(cè)方法,可以最大化的節(jié)省人力,提高生產(chǎn)的效率[7,8]。基于深度學(xué)習(xí)[9,10]的檢測(cè)方法主要分兩階段[11,12]和單階段[13,16]檢測(cè)方法,Qin等[17]提出了多分支殘差網(wǎng)絡(luò)的布匹缺陷檢測(cè)研究,該方法在原有殘差模塊的基礎(chǔ)上,增加了一個(gè)新的卷積分支,隨著網(wǎng)絡(luò)層數(shù)動(dòng)態(tài)調(diào)整感受野的大小,然后在下采樣階段替換了殘差模塊,提出了一種新的多分支殘差骨干網(wǎng)。Wei等[18]首先利用瑕疵圖像的特征,減少了Faster RCNN中的錨點(diǎn)數(shù)量,然后在候選區(qū)域階段生成前景錨點(diǎn)和邊界框回歸,最后反饋到感興趣區(qū)域進(jìn)行分類。Yan等[19]提出了改進(jìn)的深度殘差網(wǎng)絡(luò)進(jìn)行素色布匹瑕疵特征提取,再通過設(shè)計(jì)特征金字塔和候選區(qū)域網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)瑕疵點(diǎn)的分類與檢測(cè)。Liu等[15]提出了基于SSD算法的自適應(yīng)素色布匹瑕疵檢測(cè)方法,采用特征金字塔的方式加強(qiáng)了特征圖之間的傳遞,緩解了梯度消失問題,但該方法對(duì)小目標(biāo)瑕疵檢測(cè)準(zhǔn)確率有待提高。Zhao等[20]針對(duì)SSD對(duì)小瑕疵目標(biāo)檢測(cè)效果不理想,提出了將多尺度特征融合用于布匹瑕疵小目標(biāo)的檢測(cè),該方法在多層特征提取時(shí)引入殘差模塊,通過多尺度特征融合提高了模型對(duì)小瑕疵目標(biāo)的檢測(cè)率。Jing等[21]提出了改進(jìn)的YOL Ov3模型用于素色布匹瑕疵檢測(cè),該方法首先通過結(jié)合布匹瑕疵尺寸和k-means算法對(duì)目標(biāo)瑕疵進(jìn)行維度聚類,然后將底層特征與高層信息相結(jié)合,在不同大小的特征圖上加入YOLO檢測(cè)層,雖然方法檢測(cè)速度快,但是對(duì)于瑕疵檢測(cè)效果精度較差。

當(dāng)前布匹缺陷檢測(cè)任務(wù)的難點(diǎn)主要有以下幾個(gè)方面:(1)小目標(biāo)問題,布匹中的一些瑕疵特征極其小且數(shù)目繁多,難以用肉眼進(jìn)行判別。(2)極端長寬比,布匹中的各類瑕疵形狀各不相同,尺寸跨度極大。(3)樣本不均衡,樣本不均衡是指部分疵點(diǎn)擁有大量的訓(xùn)練樣本,而另一部分瑕疵點(diǎn)則只有少數(shù)的樣本;已有的目標(biāo)檢測(cè)算法都難以解決小目標(biāo)瑕疵、尺度變化大、樣本不均衡等布匹疵點(diǎn)的漏檢和瑕疵準(zhǔn)確定位低的問題,因此本文提出了一種融合形變卷積和自注意力的素色布匹瑕疵檢測(cè)方法。該方法(1)針對(duì)原始的Res-Net[11]中殘差模塊中由于目標(biāo)幾何畸變而導(dǎo)致特征圖對(duì)瑕疵特征表達(dá)能力不足的問題,提出了融合形變卷積(DCN)[22]的多尺度特征提取,從而提升模型對(duì)不規(guī)則瑕疵特征的表達(dá)能力。(2)針對(duì)數(shù)據(jù)集中小目標(biāo)瑕疵居多的問題,提出了雙通道特征融合模塊,通過引入自注意力機(jī)制[23,24]自適應(yīng)地融合深層的語義信息與淺層的結(jié)構(gòu)信息,提高小目標(biāo)瑕疵的準(zhǔn)確率。(3)針對(duì)布匹瑕疵中尺度變化懸殊的疵點(diǎn),在候選區(qū)域(RPN)階段設(shè)計(jì)自適應(yīng)邊界框生成器,引導(dǎo)初始錨定框設(shè)計(jì),適應(yīng)極端長寬比的目標(biāo),利于后續(xù)檢測(cè)框回歸,使檢測(cè)效果進(jìn)一步優(yōu)化。

1 提出的布匹瑕疵檢測(cè)方法

本文提出的布匹瑕疵檢測(cè)方法主要分為三部分:(1)設(shè)計(jì)融合形變卷積的多尺度特征提取網(wǎng)絡(luò),從而更好地處理布匹圖像中的目標(biāo)形變問題,有效提取瑕疵特征;(2)由于布匹瑕疵中小目標(biāo)占比較多,在骨干網(wǎng)絡(luò)后接入多通道注意力聚合網(wǎng)絡(luò),生成新的具有強(qiáng)語義和精確位置信息的特征圖;(3)在RPN階段,設(shè)計(jì)自適應(yīng)錨框聚類生成器,獲得更緊密的包圍框,同時(shí)級(jí)聯(lián)具有不同IOU閾值的檢測(cè)網(wǎng)絡(luò)逐級(jí)完成瑕疵的精確定位。

1.1 融合形變卷積的多尺度特征提取

本文采用的特征提取骨干網(wǎng)絡(luò)是殘差網(wǎng)絡(luò)Res Net,主要有五個(gè)特征提取層,第一個(gè)特征提取層,包含卷積核、批處理以及最大池化層。其余四個(gè)特征提取層,分別用同樣結(jié)構(gòu)的殘差模塊組成,經(jīng)過深度殘差網(wǎng)絡(luò)特征提取,輸出五個(gè)特征表示層C1到C5,針對(duì)布匹瑕疵呈現(xiàn)出的極端長寬比,常規(guī)卷積不能有效進(jìn)行特征提取,因此本文在C3到C5特征提取層,通過融合形變卷積替換常規(guī)卷積對(duì)布匹瑕疵進(jìn)行特征提取,整體網(wǎng)絡(luò)提取過程如圖2所示。

圖2 Res Net引入DCN模塊網(wǎng)絡(luò)結(jié)構(gòu)圖

本文在骨干網(wǎng)絡(luò)的最后三個(gè)階段采用形變卷積替換普通卷積,通過學(xué)習(xí)中心點(diǎn)的偏移和權(quán)重,使采樣點(diǎn)感受野可以根據(jù)目標(biāo)特征進(jìn)行自適應(yīng)變化,以此來適應(yīng)不同形狀的瑕疵,緩解了傳統(tǒng)卷積采樣無法適應(yīng)目標(biāo)的幾何形變問題,具體結(jié)構(gòu)如表1所示,改進(jìn)后的骨干網(wǎng)絡(luò)更能適應(yīng)布匹疵點(diǎn)的極端長寬比,有利于疵點(diǎn)的精確檢測(cè)。

表1 融合形變卷積的多尺度特征提取網(wǎng)絡(luò)結(jié)構(gòu)

1.2 多通道注意力聚合網(wǎng)絡(luò)

常用特征聚合方式是通過將不同的特征圖進(jìn)行重新放大或者縮小到統(tǒng)一尺度,再進(jìn)行簡單的通道相加,將不同特征的通道信息進(jìn)行融合,可以有效地提高特征圖的語義信息,但該特征聚合方式仍有一定的不足,對(duì)于一些小目標(biāo)的特征信息表現(xiàn)的不是明顯,容易丟失,因此,本文通過改進(jìn)自注意力機(jī)制,提出多通道特征聚合網(wǎng)絡(luò)模塊(MCFA)。該注意力網(wǎng)絡(luò),可以融合特征圖中目標(biāo)的關(guān)鍵信息,增強(qiáng)目標(biāo)的特征與位置信息,尤其是對(duì)于小目標(biāo)瑕疵,可以有效地解決小目標(biāo)瑕疵特征難提取問題,提高網(wǎng)絡(luò)處理極端目標(biāo)的檢測(cè)能力,增強(qiáng)網(wǎng)絡(luò)的魯棒性。

1.2.1 特征通道注意力模塊。采集到的布匹圖像中,小目標(biāo)的數(shù)量占比較大,在布匹瑕疵檢測(cè)任務(wù)中,為了獲取更多小瑕疵目標(biāo)特征信息,本文提出了改進(jìn)的特征通道注意力網(wǎng)絡(luò),該網(wǎng)絡(luò)通過將其中一個(gè)全局最大池化層去掉,采用全局平均池化層,減少池化層造成小目標(biāo)瑕疵信息的丟失;其次將另一個(gè)全局最大池化層改為全局未池化層,增強(qiáng)小瑕疵目標(biāo)的特征信息,對(duì)每個(gè)特征通道建模,產(chǎn)生特征依賴關(guān)系,使得特征通道獲取更多的權(quán)重。詳細(xì)的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示,首先將特征圖F∈R H×W×C進(jìn)行全局平均池化層Favg∈R C×1×1和全局未池化層Fno∈R C×1×1,生成兩個(gè)不同的特征通道層,再經(jīng)過兩個(gè)全連接層增加或減少通道數(shù),將兩個(gè)不同的特征層通道數(shù)變成一致,再結(jié)合激活函數(shù)Rel u,對(duì)特征層賦予不同的權(quán)重,再進(jìn)行特征通道逐元素相乘聚合兩個(gè)特征層的通道信息,最終得到特征通道注意力圖FCA∈R C×1×1。

圖3 通道注意力模塊結(jié)構(gòu)圖

1.2.2 空間注意力模塊。由于特征通道注意力網(wǎng)絡(luò)只對(duì)目標(biāo)特征進(jìn)行了增強(qiáng),但沒有對(duì)目標(biāo)位置信息進(jìn)行建模,對(duì)于一些小瑕疵的位置信息,依然不能很好定位,出現(xiàn)一定的偏移。因此,在上述特征通道注意力網(wǎng)絡(luò)的基礎(chǔ)上,提出了空間通道注意力網(wǎng)絡(luò),通過在空間通道中,對(duì)瑕疵位置信息進(jìn)行加權(quán),空間選擇性的聚合每個(gè)瑕疵的位置信息,實(shí)現(xiàn)更加精準(zhǔn)的定位。空間通道注意力網(wǎng)絡(luò)具體的過程如圖4所示。

圖4 空間注意力模塊結(jié)構(gòu)圖

通過將特征通道注意力輸出的特征圖與低層的特征圖作為空間通道注意力網(wǎng)絡(luò)的輸入端,首先將該兩個(gè)特征圖進(jìn)行簡單通道拼接,保留更多的低層特征信息,再進(jìn)行批處理BN層,再通過Rel u層的1×1的卷積生成兩個(gè)特征圖F1和F2。先對(duì)F1重塑再轉(zhuǎn)置,即得到矩陣QT,將F2重塑為M矩陣,最后將QT與M矩陣進(jìn)行相乘,再經(jīng)過Sig moid函數(shù)生成空間通道注意力矩陣,表達(dá)公式如

再將生成的空間通道注意力矩陣與特征通道注意力矩陣進(jìn)行逐元素相加,生成多通道注意力特征圖。表達(dá)公式如

1.3 自適應(yīng)錨框聚類

在Cascade RCNN的候選區(qū)域建議網(wǎng)絡(luò)(RPN)階段,一般來說,會(huì)設(shè)置一些固定大小的先驗(yàn)框,如圖5(a)所示,縱橫比通常為0.5、1.0、2.0,這樣網(wǎng)絡(luò)就可以從真實(shí)框中學(xué)習(xí)先驗(yàn)框的偏差值。但是在布匹瑕疵檢測(cè)樣本圖片中,由于布匹疵點(diǎn)的特殊性,經(jīng)常存在任意形狀和尺度大小不一的瑕疵點(diǎn)。如果通用先驗(yàn)框的尺寸設(shè)計(jì)的不合理,很容易使得真實(shí)瑕疵目標(biāo)與相對(duì)應(yīng)的Anchor存在過大過小的情況,導(dǎo)致最終模型擬合效果較差。為了使算法模型在訓(xùn)練過程中可以實(shí)現(xiàn)較理想的收斂效果,增大布匹瑕疵檢測(cè)的準(zhǔn)確率,本文改進(jìn)基于K-means聚類算法,設(shè)計(jì)了自適應(yīng)邊框生成器。重新設(shè)計(jì)針對(duì)布匹瑕疵數(shù)據(jù)較為合適的Anchor尺寸,使得生成的候選框(Anchor box)和與之臨近的真實(shí)框(Gr ound tr uth)有更大的交并比,如圖5(b)所示。這樣設(shè)計(jì)不僅能夠加快模型收斂速度,而且還能有效提高檢測(cè)瑕疵的精度。

圖5 Anchor與IOU

傳統(tǒng)聚類方式使用歐式聚類作為度量標(biāo)準(zhǔn)進(jìn)行聚類,這種方式對(duì)于布匹瑕疵數(shù)據(jù)集中存在的縱橫比懸殊問題并不適用。為了適應(yīng)布匹瑕疵數(shù)據(jù)集分布特點(diǎn),本文采用一種新的度量方式IOU度量替換歐式距離度量,指導(dǎo)Anchor對(duì)錨框大小進(jìn)行聚類。過程如式(3),其中b是標(biāo)注的真實(shí)邊界框,c是聚類的中心點(diǎn),

詳細(xì)描述如:(1)聚類使用的原始數(shù)據(jù)為訓(xùn)練集中的布匹瑕疵數(shù)據(jù),其中包含的信息為樣本集中真實(shí)瑕疵框坐標(biāo)信息。(2)對(duì)于每類瑕疵,隨機(jī)選取k個(gè)初始聚類中心點(diǎn),每一個(gè)聚類中心代表一類瑕疵集簇。(3)對(duì)所有的真實(shí)標(biāo)注框按公式(3)計(jì)算與k個(gè)瑕疵中心點(diǎn)的距離,并將各標(biāo)注框歸類給距離最近的聚類中心,形成k個(gè)簇。(4)所有瑕疵集標(biāo)注框分配完畢以后,對(duì)每個(gè)簇重新計(jì)算聚類中心點(diǎn),計(jì)算公式為

(5)重復(fù)(3)和(4),直到算法計(jì)算得到最優(yōu)的錨定框,具體過程如算法1所示。

算法1:自適應(yīng)邊框生成器算法輸入:每類待聚類瑕疵樣本集真實(shí)邊界框:B＝{b i,i∈{1,2,…,n}}初始Anchor大小:A＝{a j,j∈{1,2,…,m}}輸出:最優(yōu)初始錨定框 A*＝{a j1,j 1∈{1,2,…,m}}算法過程:1 Repeat 2 令Cj＝?,j∈{1,2,…,m}3 f or i＝1,2,…,n do 4 d ij＝1-IOU(b i,a j) //計(jì)算真實(shí)邊界框和當(dāng)前Anchor的距離5 λj＝arg min i∈{1,2,…,m}d ij//距離最近的Anchor確定的b i簇標(biāo)記6 Cλj＝Cλj∪{b i} //將真實(shí)邊界框b i劃入相應(yīng)的簇7 end f or 8 A*＝? 9 f or j＝1,2,…,m do 10 μj＝1 Cj∑bi∈cj b i //計(jì)算新的Anchor大小11 A*＝A*∪μj //將計(jì)算的Anchor大小添加到A*中12 end f or 13 Until達(dá)到最大迭代次數(shù)獲得最優(yōu)錨定框

2 實(shí)驗(yàn)結(jié)果

2.1 實(shí)驗(yàn)環(huán)境及數(shù)據(jù)集

實(shí)驗(yàn)環(huán)境:本文實(shí)驗(yàn)所有的環(huán)節(jié)在Ubunt u18.04系統(tǒng)上搭建,內(nèi)存為64位,顯卡為NVIDIA GeForce RTX 3080Ti,代碼的運(yùn)行環(huán)境為Python3.8,使用Pytorch作為本文的代碼實(shí)驗(yàn)框架。為了排除其他相關(guān)變量對(duì)實(shí)驗(yàn)結(jié)果的影響,所有實(shí)驗(yàn)都是基于上述環(huán)境進(jìn)行訓(xùn)練和測(cè)試的。

實(shí)施細(xì)節(jié):實(shí)驗(yàn)數(shù)據(jù)集采用COCO[25]數(shù)據(jù)集的格式,模型使用的優(yōu)化器類型為Adam優(yōu)化器,其中初始學(xué)習(xí)率為0.000 1,動(dòng)量為0.9,Batch Size設(shè)置為8,衰減系數(shù)為0.001,訓(xùn)練步數(shù)為20 000,為了加快收斂速度,使用了COCO的預(yù)訓(xùn)練權(quán)重,并設(shè)置了梯度裁剪來穩(wěn)定訓(xùn)練過程,避免產(chǎn)生梯度爆炸或梯度消失。

數(shù)據(jù)集:實(shí)驗(yàn)采用的數(shù)據(jù)集來自天池布匹挑戰(zhàn)大賽布匹瑕疵圖像,素色布匹圖片一共9 596張,其中包含正常圖片3 683張和瑕疵圖片5 913張,每張瑕疵圖片中包含1種或多種瑕疵,圖像分辨率為2 446×1 000,在實(shí)驗(yàn)中,對(duì)所有的瑕疵圖像按照8∶2劃分訓(xùn)練集與測(cè)試集。樣本集中包含紡織工業(yè)中常見的20類瑕疵類別,如破洞、污漬、三絲、結(jié)頭、毛粒、松經(jīng)、斷經(jīng)等,數(shù)據(jù)集樣本瑕疵分布及數(shù)量如表2所示。

表2 布匹瑕疵的分類與數(shù)量

表2真實(shí)的反映出數(shù)據(jù)集的瑕疵類別分布極不平衡的問題,其中,結(jié)頭瑕疵點(diǎn)達(dá)到了1 996,而白腳瑕疵點(diǎn)僅有161,圖6為數(shù)據(jù)集中不同類型瑕疵點(diǎn)的目標(biāo)數(shù)統(tǒng)計(jì),不同瑕疵點(diǎn)間數(shù)目差異巨大,種類分布嚴(yán)重不均,例如結(jié)頭近2 000個(gè)樣本,而花板跳只有123個(gè)樣本,這容易產(chǎn)生過擬合,使訓(xùn)練出來的模型泛化能力較差,圖7為不同面積目標(biāo)的數(shù)量占 比其中小目標(biāo)占比較高約四分之一,這些都給布匹疵點(diǎn)的檢測(cè)帶來了困難。

圖6 不同類別目標(biāo)數(shù)統(tǒng)計(jì)

圖7 目標(biāo)面積統(tǒng)計(jì)

為達(dá)到理想訓(xùn)練效果,在訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)模型時(shí),通常需要大量的瑕疵樣本,因此本文采用數(shù)據(jù)增強(qiáng)的方式對(duì)原始的瑕疵樣本進(jìn)行數(shù)據(jù)擴(kuò)充,為避免失真,對(duì)原始瑕疵樣本集分別進(jìn)行水平和垂直方向的翻轉(zhuǎn),并對(duì)其疵點(diǎn)較少的樣本進(jìn)行對(duì)稱變化等方式數(shù)據(jù)擴(kuò)充,數(shù)據(jù)增強(qiáng)后的瑕疵樣本圖片數(shù)量為原來的2倍。

2.2 訓(xùn)練

圖8是采用不同算法訓(xùn)練時(shí)模型的損失收斂變化情況,從圖中可以看出,損失曲線逐漸擬合于所訓(xùn)練的布匹瑕疵數(shù)據(jù)集。本文所提出的方法模型擁有更好的收斂性,并且誤差也降低到較低的水平,這是由于通過融合形變卷積的多尺度特征提取,引入自注意力機(jī)制使模型表現(xiàn)出更強(qiáng)的判別瑕疵特征的能力,在RPN階段采用自適應(yīng)邊框生成器,指導(dǎo)初始錨設(shè)計(jì),從而使所提出的方法擁有更好的收斂性。

圖8 模型的損失收斂曲線圖

圖9展示了不同類別的布匹瑕疵特征圖可視化,其中特征圖中紅色部分為重點(diǎn)關(guān)注的瑕疵區(qū)域部分,顯而易見,對(duì)于不規(guī)則、尺度變化大和小瑕疵的目標(biāo),該模型成功捕獲到了布匹的瑕疵特征。最主要的原因歸于采用自注意力機(jī)制設(shè)計(jì)了雙通道特征融合,通過進(jìn)行自適應(yīng)的調(diào)整融合獲取更為有效的瑕疵特征,使得模型更加關(guān)注瑕疵特征,表現(xiàn)出更強(qiáng)判別極端瑕疵特征的能力。

圖9 布匹瑕疵特征圖可視化

2.3 實(shí)驗(yàn)結(jié)果與分析

為了分析和評(píng)價(jià)提出的瑕疵檢測(cè)方法的性能,設(shè)置4組對(duì)比實(shí)驗(yàn),采用準(zhǔn)確率(Acc)、平均精度均值(mAP)、F1度量(F1-Score)和誤檢率(NF)四個(gè)評(píng)價(jià)指標(biāo)綜合說明算法的瑕疵和缺陷檢驗(yàn)的準(zhǔn)確性和有效性。

(1)驗(yàn)證融合形變卷積多尺度特征提取網(wǎng)絡(luò)對(duì)模型性能的有效性,即在級(jí)聯(lián)網(wǎng)絡(luò)模型中分別以Resnet50、Resnet101以及加入形變卷積后的實(shí)驗(yàn)對(duì)比。從表3中可以看出,在Resnet101中加入形變卷積后,準(zhǔn)確率提高了1.56個(gè)百分點(diǎn),且誤檢率降到了6.02%,這說明引入形變卷積后,多尺度特征提取網(wǎng)絡(luò)獲得具有更多瑕疵的關(guān)鍵信息的特征圖,使算法更精確的對(duì)不規(guī)則瑕疵進(jìn)行定位。

表3 不同特征提取網(wǎng)絡(luò)對(duì)比結(jié)果

(2)多通道特征聚合網(wǎng)絡(luò)(MCFA)對(duì)模型性能的有效性,實(shí)驗(yàn)對(duì)比如表4所示。從表4中可以看出,在基線方法的基礎(chǔ)上,添加特征通道注意力模塊后(TA),模型的mAP提升了0.75%,然后添加空間注意力模塊后(PA),模型的mAP提升了0.66%,說明了空間注意力模塊有助于定位小目標(biāo)疵點(diǎn)特征;添加MCFA,本文模型的mAP提升了2.49%,且準(zhǔn)確率達(dá)到95.84%,從而證明了MCFA的有效性。利用注意力機(jī)制篩選出語義信息更豐富的小瑕疵特征,緩解了小瑕疵目標(biāo)特征表達(dá)的不足,實(shí)現(xiàn)了更準(zhǔn)確的瑕疵識(shí)別與定位。

表4 不同特征融合性能對(duì)比結(jié)果

(3)驗(yàn)證自適應(yīng)錨框聚類對(duì)模型性能的有效性。實(shí)驗(yàn)對(duì)比結(jié)果如表5所示,針對(duì)松經(jīng)、斷經(jīng)、吊經(jīng)這類瑕疵極端長寬比的情況,采用自適應(yīng)邊界框生成器后,平均檢測(cè)精度均提升明顯,充分說明了自適應(yīng)錨框聚類算法的有效性。這得益于生成器計(jì)算最優(yōu)錨定框后,錨定框的尺寸適用于部分瑕疵極端長寬比的比例值,平均檢測(cè)精度提升的主要原因是初始錨定框設(shè)計(jì)的更加合理,尺寸適應(yīng)布匹瑕疵真實(shí)框大小,利于后續(xù)的檢測(cè)和回歸,有效緩解極端瑕疵長寬比懸殊大對(duì)模型檢測(cè)性能的影響,增強(qiáng)瑕疵檢測(cè)模型的學(xué)習(xí)能力。

表5 部分瑕疵AP對(duì)比結(jié)果

(4)提出方法與其他先進(jìn)的一階段和兩階段方法進(jìn)行了實(shí)驗(yàn)對(duì)比。表6為本文提出的方法與其它先進(jìn)檢測(cè)方法在素色布匹瑕疵數(shù)據(jù)集上的效果比較,可以看出,級(jí)聯(lián)檢測(cè)器采用級(jí)聯(lián)的結(jié)構(gòu),設(shè)計(jì)了多個(gè)檢測(cè)器,

表6 不同網(wǎng)絡(luò)瑕疵檢測(cè)結(jié)果

通過逐步提升檢測(cè)框的IOU閾值,所以檢測(cè)準(zhǔn)確率要優(yōu)于Mask RCNN、Retina Net、YOL Ov5等,與未改進(jìn)的原Cascade RCNN相比,在檢測(cè)時(shí)間增加8.69 ms的前提下,準(zhǔn)確率達(dá)到98.14%,mAP值提升16.7%。從實(shí)驗(yàn)結(jié)果可以看出,本文所提方法單張樣本瑕疵檢測(cè)用時(shí)70.32 ms,可以滿足實(shí)際工廠車間生產(chǎn)要求,且平均檢測(cè)精度和準(zhǔn)確率都達(dá)到了最高,因此本文方法對(duì)不規(guī)則瑕疵、小目標(biāo)瑕疵和尺度變化大的瑕疵適用性更強(qiáng)。

為了驗(yàn)證改進(jìn)后模型對(duì)素色布匹瑕疵的檢測(cè)性能,在測(cè)試集中針對(duì)不同瑕疵類別進(jìn)行測(cè)試。圖10給出了本文方法在素色布匹瑕疵數(shù)據(jù)集上的效果圖,其中,左側(cè)數(shù)字表示瑕疵類別,右側(cè)數(shù)字表示檢測(cè)精度,從該圖中可以看出,所提出的檢測(cè)方法對(duì)目標(biāo)瑕疵的邊界識(shí)別更加精準(zhǔn),對(duì)小目標(biāo)的檢出能力更強(qiáng),疵點(diǎn)檢測(cè)效果更好;對(duì)瑕疵尺度變化大的目標(biāo)檢測(cè)效果也相對(duì)較好,能夠得到精確地包圍框和較高的分類得分。

圖1 瑕疵檢測(cè)網(wǎng)絡(luò)框架圖

圖10 布匹瑕疵檢測(cè)結(jié)果

3 結(jié)論

布匹瑕疵的自動(dòng)檢測(cè)是工業(yè)界的重要研究熱點(diǎn)。將深度學(xué)習(xí)算法應(yīng)用于布匹瑕疵檢測(cè)對(duì)于提高布匹瑕疵檢測(cè)性能有著重要意義。本文分析了實(shí)際工廠車間素色布匹瑕疵的特點(diǎn),針對(duì)素色布匹中瑕疵不規(guī)則、小瑕疵目標(biāo)多、瑕疵縱橫比懸殊等問題,提出了融合形變卷積和自注意力的素色布匹瑕疵檢測(cè)方法。通過融合形變卷積的多尺度特征提取、構(gòu)建雙通道特征聚合的注意力模塊和采用自適應(yīng)邊框生成器的方式,有效地提升了布匹瑕疵點(diǎn)的檢測(cè)精度。經(jīng)實(shí)驗(yàn)對(duì)比分析發(fā)現(xiàn),這些改進(jìn)很好地解決了不規(guī)則瑕疵、小目標(biāo)瑕疵和瑕疵縱橫比懸殊帶來的負(fù)面影響,同時(shí)在素色布匹瑕疵數(shù)據(jù)集的消融實(shí)驗(yàn)和性能對(duì)比實(shí)驗(yàn)表明,對(duì)20種素色布匹瑕疵的整體檢測(cè)準(zhǔn)確率達(dá)到了98.14%,平均精度均值為68.31%,單張瑕疵圖片的檢測(cè)時(shí)間為70.32 ms,優(yōu)于當(dāng)前主流的素色布匹瑕疵檢測(cè)方法,證明了提出方法的先進(jìn)性。但由于是采用兩階段的級(jí)聯(lián)檢測(cè)器,該模型存在較多參數(shù),影響了檢測(cè)時(shí)間。因此,在保證檢測(cè)精度的同時(shí)減少參數(shù)量,使模型更加輕量化,更好的滿足實(shí)時(shí)性應(yīng)用和需求,將是下一步的研究方向,未來還可以考慮在實(shí)際工廠車間對(duì)動(dòng)態(tài)視頻識(shí)別處理,嘗試對(duì)動(dòng)態(tài)視頻進(jìn)行研究,更具有實(shí)際意義。