馬創(chuàng)佳, 齊立哲, 高曉飛, 王子恒, 孫云權

(復旦大學 工程與應用技術研究院, 上海 200433)

在服裝生產(chǎn)中,質(zhì)量低下會導致產(chǎn)品返工,造成對原材料和人力成本的浪費[1]。當前,生產(chǎn)線上對產(chǎn)品縫紉線跡質(zhì)量的評估主要由人工目視檢查完成,但這種方法主觀性強、效率低下,且隨著勞動力成本的上升加重了服裝產(chǎn)業(yè)的成本負擔,通過人工智能技術實現(xiàn)服裝紡織產(chǎn)業(yè)轉(zhuǎn)型升級是大勢所趨[2-3]。

隨著人工智能的發(fā)展,計算機視覺技術已應用于多個工業(yè)領域中。當前,計算機視覺在服裝生產(chǎn)方面的應用仍集中于對織物表面的缺陷檢測,國內(nèi)外對縫紉線跡的檢測研究仍較少?；趥鹘y(tǒng)圖像處理方法的研究中,核心在于提取線跡或針腳點的特征,從而獲取目標特征的數(shù)量和位置信息,計算均勻度和密度實現(xiàn)縫紉質(zhì)量評估。傳統(tǒng)的邊緣提取算法如Sobel[4]、Canny[5]等通過劃分線跡與非線跡區(qū)域?qū)崿F(xiàn)線跡特征提取,但面對縫紉線與面料顏色相似的情況效果不佳,易受面料褶皺引起的折痕干擾,影響檢測效果。面向多種線跡類型的場景,李彩林等[6]首先識別線跡類型和定位線跡針腳點,并為不同線跡類型設計特征提取方法提取線跡特征用于質(zhì)量檢測。以上工作在實際應用中雖能代替人工檢測,有效提升檢測速度和準確率,但提出的方法僅能用于線跡種類單一、面料需嚴格平整的場景,且存在算法魯棒性差、需人工調(diào)整參數(shù)等問題,面對不同的線跡類型時需重新設計檢測方案,難以廣泛應用。

近年來,以卷積神經(jīng)網(wǎng)絡為代表的深度學習模型被廣泛應用于多項工業(yè)任務中。以VGG-16[7]、ResNet[8]為代表的卷積神經(jīng)網(wǎng)絡通過強大的自學習能力,在有限的數(shù)據(jù)集合中準確提取目標特征,有效避免外界干擾的影響。Kim等[9]利用預訓練的VGG-16模型提取直線形縫紉線跡特征,用于線跡密度、斷線等質(zhì)量問題的判斷。此外,基于卷積神經(jīng)網(wǎng)絡的目標檢測算法也被應用于縫紉線跡質(zhì)量檢測。畢月[10]采用了SSD(single shot multibox detector)目標檢測方法實現(xiàn)護照上縫紉線跡段的檢測識別,并以識別到的線跡段數(shù)量來進行質(zhì)量判斷;但上述方法并不適用于線跡特征相似、縫紉線與面料顏色差異較大的縫紉場景,因為大多數(shù)卷積神經(jīng)網(wǎng)絡模型是面向通用場景設計的,直接應用于縫紉線跡檢測無法達到良好的檢測效果。

針對以上分析,為兼顧算法實時性和檢測精度,本文以YOLOv4-Tiny[11]算法為基礎進行改進,實現(xiàn)縫紉線跡針腳點的有效識別和定位。為解決縫紉線跡與面料顏色相近、面料褶皺等因素導致YOLOv4-Tiny無法有效識別線跡目標特征的問題,在原網(wǎng)絡結構中嵌入一種改進的卷積注意力模塊(convolutional block attention module, CBAM)[12],提高對線跡特征的學習能力,并引入快速空間金字塔池化(spatial pyramid pooling-fast, SPPF)解決檢測過程中因線跡局部特征相似而出現(xiàn)的誤檢問題。后續(xù)利用模型獲取縫紉線跡針腳點的數(shù)量和位置信息計算線跡針腳點密度和均勻度,實現(xiàn)了5種線跡類型的質(zhì)量評估。

1 縫紉線跡質(zhì)量檢測方法設計

基于改進YOLOv4-Tiny的縫紉線跡質(zhì)量檢測主要包含3個步驟:1)采集縫紉線跡圖像,并對圖像中的線跡針腳點進行標注,構建用于模型訓練的數(shù)據(jù)集;2)對改進后的YOLOv4-Tiny神經(jīng)網(wǎng)絡進行模型訓練,通過目標檢測實現(xiàn)縫紉線跡針腳點的定位;3)通過針腳點數(shù)量和位置信息計算線跡密度和均勻度,實現(xiàn)縫紉線跡質(zhì)量的評估。檢測流程如圖1 所示。

圖1 縫紉線跡質(zhì)量檢測流程圖Fig. 1 Flow chart of sewing stitch quality test

1.1 數(shù)據(jù)集構建

本文在實驗室環(huán)境中采集數(shù)據(jù)集圖像,圖像拍攝時工業(yè)相機置于縫紉機側面,且相機視野僅包含面料及縫紉線區(qū)域。在4種純色的純棉面料上各縫制5種類型線跡,使用工業(yè)相機拍攝縫紉線跡圖像并保存為jpg格式文件,數(shù)據(jù)分布如表1所示,線跡類型示例如圖2所示。使用labelimg對圖像進行標注,標注信息主要包含目標線跡類型、標注框左上角坐標和右下角坐標,保存為xml格式用于模型訓練。數(shù)據(jù)集圖像共200張,包含直線形(straight)、鋸齒形(serrated)、 虛線鋸齒形(dash serrated)、裝飾縫(ornament) 和拼接縫(splicing)共5種類型線跡。實驗中,將灰色和粉色面料縫制的線跡圖像70張設為測試集,其余130張以7∶3的比例劃分為訓練集和驗證集用于模型訓練。

表1 縫紉線跡數(shù)據(jù)集分布統(tǒng)計Tab. 1 Sewing stitch data set distribution statistics

圖2 縫紉線跡樣例圖Fig. 2 Sample drawing of sewing stitch type. (a) Straight; (b) Serrated; (c) Dash serrated; (d) Ornament; (e) Splicing

1.2 基于改進YOLOv4-Tiny針腳點定位

本文的縫紉線跡質(zhì)量檢測任務,關鍵在于獲取線跡針腳點的數(shù)量和位置信息。為此,采用改進的YOLOv4-Tiny算法對線跡針腳點進行檢測。由于縫紉線與面料的顏色相近、面料褶皺等因素的干擾,易造成誤檢以及檢測目標與實際位置偏差較大的現(xiàn)象。且虛線鋸齒形和裝飾縫的局部特征與鋸齒形的線跡特征高度相似,檢測中易因感受野過小而出現(xiàn)線跡類型相互誤識別的現(xiàn)象。

YOLOv4-Tiny是輕量級的目標檢測神經(jīng)網(wǎng)絡,其主干網(wǎng)絡CSPDarkNet53-Tiny由3個CBL和3個CSP模塊組成,相比YOLOv4算法深度明顯下降,且提高了檢測速度,但犧牲了網(wǎng)絡的特征提取能力,模型檢測精度有所下降。且由于YOLOv4-Tiny算法是面向通用數(shù)據(jù)集設計的,在縫紉線跡識別這一場景下需針對前面所提的問題進行調(diào)整改進,以適應本文的檢測任務。為此,本文引入改進的CBAM模塊和SPPF模塊對YOLOv4-Tiny網(wǎng)絡結構進行改進,提高模型對線跡的特征提取能力以及檢測過程中結合上下文信息的能力。本文改進的YOLOv4-Tiny網(wǎng)絡結構如圖3所示,其中改進的Soft-CBAM和Soft-SPPF的具體結構如圖4所示。

圖3 改進后的YOLOv4-Tiny網(wǎng)絡結構Fig. 3 Improved YOLOv4-Tiny network structure

1.2.1 改進CBAM注意力機制

本文引入CBAM注意力機制,將輸入特征圖先后通過通道注意力機制(channel attention, CA)和空間注意力機制(spatial attention, SA)設置不同通道和區(qū)域間的權重,從而調(diào)整網(wǎng)絡對包含線跡信息的重要通道和區(qū)域的關注度,提高YOLOv4-Tiny對縫紉線跡的特征提取能力。

CA和SA都采用最大池化(max pooling)對輸入特征圖進行池化操作,該操作會在選定區(qū)域內(nèi)選取特征最明顯的像素點作為輸出。SA的池化操作是通道維度的,目的是使網(wǎng)絡關注有特征存在的區(qū)域,因此采用最大池化可有效突出特征圖每個位置的特征信息。CA的作用是使網(wǎng)絡關注有價值的特征通道,池化操作是在每個通道的特征圖上進行的,采用最大池化易使當前通道忽視其有效的特征信息。在縫紉線跡檢測中,縫紉線跡的特征與面料往往非常相似,使用最大池化操作易使網(wǎng)絡偏向關注與目標無關的特征區(qū)域,從而忽略線跡特征區(qū)域,無法有效提高對線跡針腳點特征的關注。

基于以上分析,本文對CA中的池化模塊進行改進,用SoftPool[13]替換最大池化操作。SoftPool對目標點通過指數(shù)加權方式獲取相應權重,然后將權重與池化區(qū)域像素點相乘再相加得到最終輸出。該池化方法可在下采樣的同時充分保留池化區(qū)域內(nèi)的有效線跡特征信息,減少信息損失。此外,為減少參數(shù)量,用1×1卷積替換CA中的全連接層。改進后的CBAM注意力機制稱為Soft-CBAM,如圖4(a)所示,圖中的Mc和Ms分別表示CA和SA運算。將其嵌入到主干特征提取網(wǎng)絡的輸出之后以及頸部網(wǎng)絡的上采樣操作之后。

圖4 Soft-CBAM模塊結構和Soft-SPPF網(wǎng)絡結構Fig. 4 Soft-CBAM module structure and Soft-SPPF network architecture

添加Soft-CBAM后,圖5展示了圖2(a)在經(jīng)過主干特征提取網(wǎng)絡兩個輸出路徑后,特征圖的可視化結果,圖中顏色越明亮的區(qū)域表明線跡特征越突出。對比圖5(a)、(b)可知,改進后的網(wǎng)絡模型對特征圖關注的區(qū)域明顯改變,更注重和突出圖像中線跡特征所在的中間區(qū)域,弱化了與線跡無關的特征信息。

1.2.2 改進快速空間金字塔池化SPPF

在縫紉線跡針腳點的檢測中,存在如虛線鋸齒形線跡的局部特征與鋸齒形線跡特征相似的情況,網(wǎng)絡模型若無法有效結合目標特征區(qū)域的上下文信息,易出現(xiàn)誤檢的問題。

本文引入SPP[14]的快速版本——SPPF模塊,通過多層池化操作實現(xiàn)特征圖局部特征和全局特征的提取與合并,提高模型的感受野。SPPF通過堆疊多個小尺寸池化層的方式達到大尺寸池化層的池化效果,并將每個池化層的輸出進行拼接實現(xiàn)多尺度特征融合,提升網(wǎng)絡表達能力。傳統(tǒng)SPPF模塊的池化操作通常采用最大池化,本文將其替換為SoftPool,保證該輸入特征圖在經(jīng)過該模塊后充分保留線跡特征的細節(jié)信息并用于檢測。此外,為減少模塊計算量,將SPPF中第1個卷積層的輸出通道數(shù)修改為輸入特征圖的1/4,使經(jīng)過池化后拼接的特征圖通道數(shù)與原通道數(shù)保持一致。改進后的Soft-SPPF網(wǎng)絡結構如圖4(b)所示,其中H、W和C分別為輸入特征圖的高度、寬度和通道數(shù)。

本文在YOLO Head之前加入Soft-SPPF模塊,提高線跡特征的感受野范圍,使得YOLO Head進行檢測時充分利用目標針腳點區(qū)域的周邊特征信息,有效減少因線跡局部特征相似造成誤檢的情況。

1.3 縫紉線跡質(zhì)量檢測方法

縫紉線跡質(zhì)量指標包含線跡密度和均勻度,本文同一圖像中僅有一種線跡類型,將待測圖像傳入改進的YOLOv4-Tiny算法進行縫紉線跡的針腳點目標檢測后,輸出得到針腳點的針腳數(shù)量和每個針腳點的中心坐標,通過本節(jié)介紹方法計算密度和均勻度。

1.3.1 物像空間標定

為矯正圖像中由相機鏡頭帶來的畸變,本文采用“張氏標定法”[15]對相機進行標定。完成相機標定并對圖像進行矯正后,將一規(guī)則物體放置在面料檢測平臺上,然后利用相機拍攝規(guī)則物體后獲取圖像中物體邊長的像素距離dp,再通過人工尺量的方式讀取物體的實際長度dm,從而計算像素實際長度與像素距離之間的比值K,單位為pixel/cm,公式為

K=dp/dm

(1)

1.3.2 密度檢測

本文以縫紉線跡在10 cm內(nèi)包含的線跡針腳點數(shù)量為標準計算線跡密度D。選取圖像中線跡兩端的針腳點中心坐標并由式(2)計算它們間的像素距離L,從而獲取線跡長度。后續(xù)由式(3)可得線跡密度。

(2)

(3)

式中:(xl,yl)與(xr,yr)為線跡左右兩端針腳點的中心坐標;N為針腳點數(shù)量。

1.3.3 均勻度檢測

本文通過計算相鄰針腳點的距離與平均像素距離的相對誤差來衡量均勻度。首先獲得圖像中線跡長度的像素距離L,并通過式(4)計算得到相鄰針腳點間的平均像素距離(M)。

M=L/(N-1)

(4)

通過目標檢測算法輸出的定位信息可獲取每個針腳點錨框的中心坐標。計算相鄰針腳點中心坐標的像素距離與M的絕對誤差,再計算與M的比值,得到相鄰針腳點相對誤差(RRE)。

(5)

式中,(xi,yi)與(xi+1,yi+1)為相鄰2個針腳點的中心坐標。由公式可知,相對誤差越小,相鄰針腳點的距離與M的差值越小,說明2個針腳點的距離越標準。

本文計算所有相鄰針腳點的平均相對誤差(RMRE), 并以此衡量整條線跡的均勻程度,計算結果越小,縫紉線跡越均勻。

(6)

式中,RREi為第i個針腳點處的相對誤差。

2 實驗與分析

2.1 實驗環(huán)境與模型訓練策略

本文對改進的YOLOv4-Tiny模型進行訓練,操作系統(tǒng)為Ubuntu18.04,編程語言為Python3.8,采用Pytorch1.7.0深度學習框架訓練。顯卡為GeForce RTX 2080Ti,顯存大小為11 GB,CPU為Intel Xeon E5-2678 v3,后續(xù)測試實驗皆在此環(huán)境配置下完成。

圖7 改進的YOLOv4-Tiny檢測效果Fig. 7 Detection effect of improved YOLOv4-Tiny algorithm. (a) Original image; (b) Detection results

本文以在VOC2007數(shù)據(jù)集上的預訓練模型初始化網(wǎng)絡權重參數(shù),并在自建的縫紉線跡數(shù)據(jù)集上進行訓練。訓練過程中,使用Adam算法優(yōu)化模型參數(shù),初始學習率設為0.001,并采用余弦退火方法調(diào)整學習率。迭代次數(shù)epoch設為200,批樣本大小batch size設為8。

結合實際應用場景需求,在訓練過程中對線跡圖像采用如旋轉(zhuǎn)、水平翻轉(zhuǎn)、色彩抖動、添加噪聲和光照調(diào)節(jié)等方式進行在線數(shù)據(jù)增強,使訓練所得的網(wǎng)絡模型具備較好的抗干擾能力,且能適用于與數(shù)據(jù)集顏色相近面料的線跡識別。

圖6示出訓練過程中的模型損失值變化曲線。可看出在前50次迭代訓練中,模型損失值快速下降,擬合本文數(shù)據(jù)集,并在150次迭代后模型基本收斂,損失值保持在一個平穩(wěn)范圍內(nèi)。

圖6 模型訓練損失曲線Fig. 6 Model training loss curve

2.2 縫紉線跡質(zhì)量檢測

本文用訓練得到的改進YOLOv4-Tiny模型對測試集中5種類型縫紉線跡、且縫紉線與面料顏色相同的圖像進行針腳點識別和定位,并用于自動質(zhì)量檢測,檢測結果如圖7所示。從圖7看出,改進的模型在亮度較高(直線形)和較低(虛線鋸齒形)的情況下均能準確識別,且在線跡周圍有明顯褶皺時也能準確識別針腳點。

將人工通過尺量的各線跡點間距經(jīng)計算所得結果與縫紉質(zhì)量自動檢測結果比較,結果如表2所示。質(zhì)量指標包括縫紉線跡密度和均勻度,均勻度以所有相鄰針腳點間距與平均間距的平均相對誤差衡量。由于針腳數(shù)量和線跡長度的統(tǒng)計是計算密度和均勻度的前提,因此在實驗中也對其結果進行對比。

由表2可知,自動檢測與人工檢測對針腳數(shù)量的統(tǒng)計完全相同,線跡長度的差值在1.1 mm內(nèi)。在密度和均勻度的統(tǒng)計中,直線形線跡的差值均高于其他類型的線跡,其中自動檢測的密度值比人工檢測高出0.6,保持在±1 針/(10 cm)內(nèi)。而均勻度計算結果差值最大為1.21%,這是由于直線形線跡的針腳點相比其他類型線跡更加細小、密集,人工統(tǒng)計難度大,尺量讀數(shù)時的細小誤差會導致均勻度的計算結果與自動檢測偏差較大。

表2 自動質(zhì)量檢測與人工檢測方法效果對比Tab. 2 Comparison between automatic quality assessment and manual testing methods

考慮人工尺量讀數(shù)誤差的影響以及實際生產(chǎn)要求,縫紉線跡質(zhì)量自動檢測結果與人工檢測的差值在可接受范圍內(nèi),驗證了本文所提方法的可行性,表明改進的YOLOv4-Tiny算法面對不同類型線跡均可準確識別和定位線跡針腳點的位置,且相比人工檢測穩(wěn)定性更高,可有效代替人工用于實際檢測。

2.3 改進YOLOv4-Tiny算法有效性驗證

本文采用目標檢測算法中常用的均值平均精度(PMAP)、F1值和檢測時間對改進的YOLOv4-Tiny算法的檢測性能進行評估。

2.3.1 不同目標檢測模型對比驗證

為客觀評估改進的YOLOv4-Tiny算法在縫紉線跡檢測任務上的有效性,將之與輕量級目標檢測算法MobileNet-SSD、YOLOv5s和YOLOv4-Tiny在實驗測試集上的PMAP、F1值和檢測時間進行比較,結果如表3所示?？梢?YOLOv4-Tiny各項性能指標均優(yōu)于MobileNet-SSD和YOLOv5s,且檢測時間最短,對其進行改進更合適。而改進的YOLOv4-Tiny算法與原算法相比,PMAP和F1值都有明顯提升,PMAP值為85.50%,F1值為0.892。檢測速度方面,本文提出的算法需15.9 ms實現(xiàn)縫紉線跡檢測,與YOLOv4-Tiny算法的檢測時間基本持平。

表3 不同目標檢測算法性能對比Tab. 3 Performance comparison of different object detection algorithms

此外,本文基于YOLOv4-Tiny算法對圖7(a)中線跡圖像進行質(zhì)量檢測實驗,實驗結果與人工檢測的差值如表4所示。與表2中的數(shù)據(jù)對比發(fā)現(xiàn),基于YOLOv4-Tiny算法檢測得到的線跡長度和均勻度與人工檢測結果的差值范圍更大,均勻度差值普遍更高。表明改進后的算法對線跡針腳點的識別效果更好,定位更準確,適用于縫紉線跡檢測場景。

表4 YOLOv4-Tiny算法質(zhì)量檢測結果與人工檢測的差值Tab. 4 Difference between quality detection results and manual detection based on YOLOv4-Tiny algorithm

2.3.2 消融實驗

為驗證本文引入的Soft-CBAM和Soft-SPPF模塊對檢測算法性能提升的貢獻,進行了消融實驗。將改進前后的模塊依次加入YOLOv4-Tiny算法中,對比檢測精度PMAP、F1值和檢測時間變化,結果如表5所示。

表5 各模塊對檢測算法的貢獻Tab. 5 Contribution of each module to detection algorithm

對比a組和其它組實驗結果發(fā)現(xiàn),本文引入的各個模塊對模型檢測性能均有提升,且檢測速度沒有明顯下降。b、c組的實驗結果表明,改進后的Soft-CBAM模塊效果更優(yōu),PMAP和F1值提升更多的同時速度更快,更適用于線跡檢測場景,驗證了SoftPool替換最大池化以及用1×1卷積代替全連接層的有效性。對比d、e組可發(fā)現(xiàn),引入Soft-SPPF相比SPPF僅多了0.4 ms的檢測時間,但PMAP和F1值提升明顯,檢測效果更好,驗證了Soft-SPPF的性能提升。

3 結 論

針對縫紉質(zhì)量檢測場景,研究了基于改進YOLOv4-Tiny的縫紉線跡質(zhì)量檢測方法,首先將改進后的YOLOv4-Tiny在自建數(shù)據(jù)集上訓練與測試,檢測時間為15.9 ms,檢測精度為85.50%,可有效識別線跡針腳點數(shù)量和位置信息。然后利用本文方法計算線跡長度、密度和均勻度,實現(xiàn)質(zhì)量檢測。并將本文質(zhì)量檢測方法與人工方法進行對比,驗證所提方法的可行性,通過對比和消融實驗驗證了改進YOLOv4-Tiny的性能提升。

此次研究中,實驗所用面料為純棉,且均為無圖案面料,本文方法在其它材質(zhì)以及有圖案面料上的效果仍有不足,后續(xù)工作可從這2個方向深入探究。