李志誠(chéng) 曾志強(qiáng)

（五邑大學(xué)智能制造學(xué)部，廣東江門，529000）

造紙工業(yè)在國(guó)民經(jīng)濟(jì)中具有重要作用，2020 年，我國(guó)紙及紙板生產(chǎn)企業(yè)達(dá)2500 多家［1］。生活用紙企業(yè)是造紙工業(yè)的重要組成部分，在經(jīng)濟(jì)全球化以及科技不斷發(fā)展的大背景下，生活用紙企業(yè)的競(jìng)爭(zhēng)日趨激烈。降低生產(chǎn)成本、提高生產(chǎn)效率以及產(chǎn)品質(zhì)量是生活用紙企業(yè)提升自身競(jìng)爭(zhēng)力的有效途徑［2］。卷紙是生活用紙企業(yè)的主要產(chǎn)品之一，在卷紙的生產(chǎn)過程中，卷紙包裝是其中的一個(gè)工序，在包裝過程中，不可避免會(huì)出現(xiàn)包裝缺陷問題。卷紙包裝缺陷問題的出現(xiàn)給企業(yè)生產(chǎn)帶來了多種問題，主要體現(xiàn)在以下幾個(gè)方面：①導(dǎo)致產(chǎn)品重新包裝，浪費(fèi)包裝材料，增加輔料的成本以及廢棄的包裝材料會(huì)增加環(huán)境污染；②需要花費(fèi)大量的人力檢測(cè)產(chǎn)品包裝問題，增加人力成本并難以保證產(chǎn)品包裝過程的可靠性；③若有包裝缺陷的產(chǎn)品流入到市場(chǎng)，增加客戶的投訴以及降低企業(yè)的信譽(yù)。為此，有效解決卷紙的包裝缺陷檢測(cè)問題對(duì)于生活用紙企業(yè)的提質(zhì)增效具有重要意義。

傳統(tǒng)機(jī)器學(xué)習(xí)方法具有一定的缺陷檢測(cè)效果，如通過將方向梯度直方圖（Histogram of Oriented Gradi?ent，HOG）和支持向量機(jī)（Support Vector Machine，SVM）結(jié)合［3］的方法對(duì)車輛零件進(jìn)行缺陷檢測(cè)；使用SIFT 匹配算法對(duì)PCB 板進(jìn)行缺陷檢測(cè)［4］。然而，以上方法并不能有效地解決卷紙包裝缺陷檢測(cè)問題。隨著深度學(xué)習(xí)的快速發(fā)展，其在工業(yè)上的應(yīng)用越來越廣泛，尤其是卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN） 在缺陷檢測(cè)［5-7］和缺陷分類［8-9］上的應(yīng)用。

隨著CNN 的快速發(fā)展，其在計(jì)算機(jī)視覺領(lǐng)域也取得了很多重要的突破。例如，為了避免重復(fù)計(jì)算卷積特征，He 等［10］提出了空間金字塔池化（Spatial Pyramid Pooling，SPP），整個(gè)圖像僅計(jì)算1次特征圖，在任意區(qū)域中合并特征以生成固定長(zhǎng)度的表示形式；為了減少神經(jīng)網(wǎng)絡(luò)計(jì)算的資源，Wang等［11］提出了跨階段局部網(wǎng)絡(luò)（Cross Stage Partial Network，CSPNet）；在目標(biāo)檢測(cè)領(lǐng)域，Redmon等［12］提出了YOLOv3算法，使用Darknet-53作為骨架網(wǎng)絡(luò)，提取圖片信號(hào)的多尺度特征，然后進(jìn)行多尺度特征融合以提取深層次特征，然后通過檢測(cè)頭進(jìn)行預(yù)測(cè)。YOLOv3 算法在目標(biāo)檢測(cè)方面具有較高的準(zhǔn)確性和較快的檢測(cè)速度，目前在目標(biāo)識(shí)別、缺陷檢測(cè)等領(lǐng)域獲得了很好的應(yīng)用［13-15］。

相對(duì)來說，CNN 的全局特征提取能力較弱，而Transformer具有更好的全局特征提取能力［16］，但其對(duì)于細(xì)節(jié)和局部特征的提取能力不如CNN。Transformer一開始被應(yīng)用在自然語(yǔ)言處理（NLP）領(lǐng)域，后來，Google Brain 提出了 Vision Transformer［17］，實(shí)現(xiàn)了圖片分塊處理，將Transformer 應(yīng)用到了計(jì)算機(jī)視覺領(lǐng)域，可獲得比CNN 更好的檢測(cè)效果，有利于圖像數(shù)據(jù)的全局特征提取。Srinivas等［18］結(jié)合多種計(jì)算機(jī)視覺任務(wù)的自注意力機(jī)制，提出了Bottleneck Transformer，采用多頭注意力（Multi-Head Self-Attention，MHSA）替換Resnet網(wǎng)絡(luò)中的3×3卷積，在實(shí)例分割和目標(biāo)檢測(cè)方面，減少了參數(shù)量，提高了檢測(cè)速度。

1 基于iYOLOv3的卷紙包裝缺陷檢測(cè)算法

針對(duì)卷紙包裝缺陷檢測(cè)問題，筆者提出了改進(jìn)的YOLOv3（iYOLOv3）算法，考慮卷紙包裝圖像信息具有很強(qiáng)的局部相關(guān)性和全局相關(guān)性，在對(duì)圖像數(shù)據(jù)的特征提取網(wǎng)絡(luò)設(shè)計(jì)上，將MHSA和CNN結(jié)合，對(duì)于圖像的低層特征圖和高層特征圖分別使用CNN和MH?SA 進(jìn)行特征提取，有利于二者取長(zhǎng)補(bǔ)短，更加充分地提取局部和全局特征；同時(shí)在特征融合網(wǎng)絡(luò)層設(shè)計(jì)上，將特征金字塔網(wǎng)絡(luò)（Feature Pyramid Networks，F(xiàn)PN）［19］和路徑聚合網(wǎng)絡(luò)（Path Aggregation Network，PAN）［20］結(jié)合，以更深層次地提取圖像數(shù)據(jù)的上下文信息。

1.1 iYOLOv3算法的設(shè)計(jì)

iYOLOv3 算法的網(wǎng)絡(luò)模型主要分為3 部分：骨架網(wǎng)絡(luò)、特征融合層、檢測(cè)頭。通過骨架網(wǎng)絡(luò)提取出圖片數(shù)據(jù)的多尺度特征，然后通過特征融合層對(duì)多尺度特征進(jìn)行特征融合，最后通過CNN 獲得初步預(yù)測(cè)結(jié)果，然后通過非極大值抑制（Non-Maximum Suppres?sion，NMS）［21］以去除多余的框，得到最終的預(yù)測(cè)結(jié)果。對(duì)于骨架網(wǎng)路的設(shè)計(jì)，并非使用全卷積網(wǎng)絡(luò)，而是采用MHSA和CNN結(jié)合的設(shè)計(jì)方法，因?yàn)樽宰⒁饬C(jī)制的時(shí)間與空間復(fù)雜度、輸入尺寸成二次方關(guān)系，而低層特征圖的輸入尺寸太大，故直接使用MHSA將會(huì)消耗較大的計(jì)算資源。因此，筆者首先通過CNN獲得高層特征圖，而高層特征圖尺寸較小，故使用MHSA提取高層特征圖語(yǔ)義信息。iYOLOV3算法網(wǎng)絡(luò)結(jié)構(gòu)圖如圖1所示。

圖1中Conv0～Conv10各個(gè)CNN的結(jié)構(gòu)參數(shù)如表1所示。Conv0～Conv10 各個(gè)CNN 在完成卷積操作后，進(jìn)行BatchNorm操作，而后經(jīng)過SiLU激活函數(shù)，得到相應(yīng)的特征圖。

圖1 iYOLOv3算法網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Network structure diagram of iYOLOv3 algorithm

表1 CNN結(jié)構(gòu)參數(shù)Table 1 Structure parameters of CNN

式中，(bx，by)是預(yù)測(cè)框的中心坐標(biāo)；bw和bh分別是預(yù)測(cè)框的寬和高；(cx，cy)是預(yù)測(cè)框相對(duì)于單元格的偏移值；pw和ph分別是邊界框的寬和高；δ是Sigmoid激活函數(shù)，其計(jì)算公式見式（2）。

1.2 Slice_CNN網(wǎng)絡(luò)層

在YOLOv3 的基礎(chǔ)上，筆者新增了Slice_CNN 網(wǎng)絡(luò)層。Slice_CNN 網(wǎng)絡(luò)層將輸入的圖像數(shù)據(jù)信息進(jìn)行初步的特征提取，相對(duì)于全卷積神經(jīng)網(wǎng)絡(luò)，其層數(shù)和參數(shù)量更少，網(wǎng)絡(luò)推理速度更快。Slice_CNN 網(wǎng)絡(luò)結(jié)構(gòu)圖如圖2所示。

圖2 Slice_CNN網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Network structure diagram of Slice_CNN

輸 入 圖 像 數(shù) 據(jù) 大 小 為 batch_size×3×640×640，Slice_CNN算法步驟如下：

（1）第0維和第1維維數(shù)不變，將第2維和第3維進(jìn)行切片操作后變成 4 份 ［batch_size］［3］［320］［320］，4 份切片對(duì)應(yīng)的計(jì)算規(guī)則見式（3），其中，i，j=1，1，2，3，…，319。

式中，Input 是尺寸為batch_size×3×640×640 的輸入圖像數(shù)據(jù)。

（2）對(duì)4 份切片數(shù)據(jù)進(jìn)行Concat 操作后，依次經(jīng)過3×3 卷積、BatchNorm、SiLU 激活函數(shù)，最后得到輸出結(jié)果。

二級(jí)平臺(tái)可作為景觀帶中的步道、活動(dòng)廣場(chǎng)等，其高程適宜選取略高于200年一遇潮位7.93m，以滿足越浪自排的要求，同時(shí)應(yīng)低于堤頂高程，以滿足景觀空間層次感及觀海視線通透的要求，宜取8.0m～8.2m。二級(jí)平臺(tái)即主要活動(dòng)空間與親水步道的銜接，則主要通過設(shè)置景觀擋墻、階梯、跌級(jí)花池、階梯坐墻等多種形式來巧妙消除二者高差，豐富濱水景觀。

1.3 多頭自注意力模塊

為了更好地獲取圖片數(shù)據(jù)的全局特征，使用全卷積神經(jīng)網(wǎng)絡(luò)可能需要堆積大量CNN，這雖然可提高模型的特征提取效果，但模型的計(jì)算速度降低，顯然不是最優(yōu)的選擇。因此，可通過MHSA替換部分CNN以獲得更好的效果。本研究使用MHSA 的頭數(shù)量為4，其網(wǎng)絡(luò)結(jié)構(gòu)圖如圖3所示。

圖3 MHSA網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Network structure diagram of MHSA

圖3中的Rw和Rh分別是特征圖寬度和高度的位置編碼，Q、K、V 分別表示查詢、鍵和位置編碼，⊕表示矩陣對(duì)應(yīng)位置元素求和，?表示矩陣乘法。

1.4 多尺度特征融合網(wǎng)絡(luò)層

高層特征圖具有較大的感受野，而低層特征圖具有較多的細(xì)節(jié)和局部信息。iYOLOv3模型的多尺度特征融合網(wǎng)絡(luò)層結(jié)合了FPN 和PAN 特征融合網(wǎng)絡(luò)的優(yōu)點(diǎn)，先對(duì)多尺度特征自上而下進(jìn)行特征融合（見圖4（a）），而后對(duì)多尺度特征自下而上進(jìn)行特征融合（見圖4（b）），因此可更有效地促進(jìn)不同尺度特征信息的流通和融合，從而更好地提取上下文信息。多尺度特征融合網(wǎng)絡(luò)結(jié)構(gòu)如圖1中的特征融合層所示。

圖4 特征融合過程圖Fig.4 Diagram of feature fusion process

1.5 損失函數(shù)

邊框回歸的損失函數(shù)采用了GIoU_LOSS［23］，GIoU的計(jì)算公式見式（4）。

式中，A和B是 2 個(gè)待計(jì)算 GIoU 的矩形，C是矩形A和B的最小閉包。

計(jì)算Objectness 和計(jì)算分類的損失函數(shù)使用BCE?WithLogitsLoss 函數(shù)，將 Sigmoid 網(wǎng)絡(luò)層和 BCELoss 合并成一層，同時(shí)使用log-sum-exp 來提高結(jié)果的穩(wěn)定性，使得結(jié)果比使用單獨(dú)的Sigmoid 和BCELoss 更加穩(wěn)定。令BCEWithLogitsLoss 的計(jì)算函數(shù)為l(x，y)，其計(jì)算公式見式（5）。

式中，N是batch_size。

1.6 激活函數(shù)

采用SiLU 函數(shù)作為網(wǎng)絡(luò)的主要激活函數(shù)，其計(jì)算公式見式（6）。

2 實(shí)驗(yàn)壞境和數(shù)據(jù)集

實(shí)驗(yàn)軟件環(huán)境為Win10、CUDA11.0，硬件環(huán)境GPU 是 NVIDIA GetForce RTX 2080Ti， CPU 是 i9-10900K CPU 3.70GHz。

實(shí)驗(yàn)數(shù)據(jù)集從江門某紙業(yè)公司采集而來，2531張訓(xùn)練圖片，843 張測(cè)試圖片。將包裝缺陷類型分為以下5 類：①未包裝（Class1），②包裝后卷紙倒下（Class2），③包裝正確（Class3），④側(cè)部包裝問題（Class4），⑤頂部包裝問題（Class5）。

3 實(shí)驗(yàn)分析

首先對(duì)原始數(shù)據(jù)集的訓(xùn)練集進(jìn)行數(shù)據(jù)增強(qiáng)，然后對(duì)模型進(jìn)行訓(xùn)練，模型訓(xùn)練時(shí)的batch_size 設(shè)為16，一共訓(xùn)練了300個(gè)epoch，每個(gè)epoch訓(xùn)練完成后對(duì)測(cè)試集進(jìn)行測(cè)試，保留訓(xùn)練過程中的模型權(quán)重文件。

3.1 數(shù)據(jù)增強(qiáng)

為了增強(qiáng)模型的魯棒性，在訓(xùn)練數(shù)據(jù)前，采用隨機(jī)數(shù)據(jù)增強(qiáng)的方法，隨機(jī)對(duì)一些訓(xùn)練圖像數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)，圖片對(duì)應(yīng)的標(biāo)簽也根據(jù)相應(yīng)的數(shù)據(jù)增強(qiáng)方法進(jìn)行相應(yīng)的調(diào)整。采用的數(shù)據(jù)增強(qiáng)方法如下：①左右翻轉(zhuǎn)，②對(duì)比度、色彩飽和度、色調(diào)、銳度調(diào)整，③加入椒鹽噪音、高斯噪音，④圖像縮放。

3.2 訓(xùn)練策略

iYOLOv3算法通過隨機(jī)梯度下降的方法對(duì)模型進(jìn)行訓(xùn)練。對(duì)網(wǎng)絡(luò)的不同網(wǎng)絡(luò)層采用了不同的學(xué)習(xí)率進(jìn)行訓(xùn)練：權(quán)重層使用lr1 學(xué)習(xí)率進(jìn)行訓(xùn)練、偏置層使用lr2學(xué)習(xí)率進(jìn)行訓(xùn)練、BN網(wǎng)絡(luò)層和其他網(wǎng)絡(luò)層使用lr0 學(xué)習(xí)率進(jìn)行訓(xùn)練。模型在訓(xùn)練的前1000 個(gè)迭代采用warm-up 方法對(duì)模型的學(xué)習(xí)率進(jìn)行預(yù)熱，當(dāng)訓(xùn)練時(shí)的迭代過程在warm-up 階段，使用一維線性插值的方法進(jìn)行學(xué)習(xí)率的更新。在warm-up 階段后，使用余弦退火算法對(duì)學(xué)習(xí)率進(jìn)行更新，其計(jì)算公式見式（7）。

式中，lr_new是新的學(xué)習(xí)率，t是當(dāng)前的epoch，T是總的epoch，mi是最小學(xué)習(xí)率，mx是最大學(xué)習(xí)率，lr是最初學(xué)習(xí)率。

3.3 實(shí)驗(yàn)和結(jié)果

iYOLOv3 算法訓(xùn)練過程中測(cè)試集中的準(zhǔn)確率（P）、召回率（R）和AP@50∶5∶95（為通過計(jì)算具有10個(gè)不同IoU閾值（0.5，0.55，...，0.95）的AP的平均值）在不同epoch 的變化如圖5 所示。1 個(gè)epoch表示完成1次全部訓(xùn)練集數(shù)據(jù)的訓(xùn)練。

圖5 iYOLOv3算法訓(xùn)練過程中P、R、AP@50∶5∶95變化圖Fig.5 Variation of P,R,and AP@50∶5∶95 in the training process of iYOLOv3 algorithm

實(shí)驗(yàn)采用P、R、AP@50∶5∶95 和F1 作為評(píng)價(jià)iYOLOv3算法的性能指標(biāo)，相對(duì)P、R、F1，AP@50∶5∶95 對(duì)于檢測(cè)算法的測(cè)評(píng)更加全面，因?yàn)槠渫瑫r(shí)評(píng)估了不同閾值時(shí)模型的分類和回歸的能力。F1-置信度曲線可以很好地反映檢測(cè)算法在不同置信度和F1的變化關(guān)系。將iYOLOv3 算法在測(cè)試集上進(jìn)行測(cè)試，測(cè)試結(jié)果的F1-置信度曲線圖如圖6所示。

從圖6 可以看出，在置信度較大時(shí)，Class1～Class5的F1值仍能夠保持較高的水平。不同置信度對(duì)應(yīng)的P和R均能較好地反映檢測(cè)算法的性能［24］。為了更好地評(píng)價(jià)iYOLOv3 算法的性能，繪制了P-R曲線（見圖7）。圖7中，iYOLOv3算法的P在R較大時(shí)仍能保持較高水平，說明iYOLOv3算法具有很好的查準(zhǔn)率和查全率。

圖6 iYOLOv3算法的F1-置信度曲線圖Fig.6 F1-confidence curve of iYOLOv3 algorithm

圖7 iYOLOv3算法的P-R曲線圖Fig.7 P-R curve of iYOLOv3 algorithm

利用訓(xùn)練至收斂后的iYOLOv3算法對(duì)卷紙包裝缺陷Class1～Class5進(jìn)行檢測(cè)，結(jié)果如圖8所示。

為了比較不同激活函數(shù)對(duì)iYOLOv3 算法的影響，將iYOLOv3 模型中的激活函數(shù)替換成其他激活函數(shù)，對(duì)修改后的模型進(jìn)行訓(xùn)練，同時(shí)分別進(jìn)行了測(cè)試，結(jié)果如表2所示。其中，P、R、AP@50∶5∶95和F1均是 Class1～Class5 的平均結(jié)果，P、R和F1 的 IoU 閾值為0.85，P、R和F1的計(jì)算公式分別見式（8）～式（10），F(xiàn)PS是算法檢測(cè)速度，即每秒處理的圖像數(shù)量（幀/s）。

表2 不同激活函數(shù)的性能測(cè)試結(jié)果Table 2 Performance test results of different activation functions

式中，TP（True Positives）是邊界框被正確檢測(cè)的個(gè)數(shù)，F(xiàn)P（False Positives）是不需要檢測(cè)的目標(biāo)被識(shí)別為檢測(cè)目標(biāo)的個(gè)數(shù)，F(xiàn)N（False Negatives）是沒有被檢測(cè)到的邊界框的個(gè)數(shù)。

從表2可以看出，SiLU、ReLU、SoftPlus、Leaky?ReLU 激活函數(shù)對(duì)iYOLOv3 算法FPS的影響不大，但ReLU和SoftPlus激活函數(shù)對(duì)應(yīng)測(cè)試結(jié)果的P比SiLU激活函數(shù)分別高0.2 個(gè)百分點(diǎn)和0.3 個(gè)百分點(diǎn)；而SiLU激活函數(shù)在R、AP@50∶5∶95 和F1 評(píng)價(jià)指標(biāo)上表現(xiàn)出更好的效果。

為了比較不同算法的性能，將iYOLOv3 和YO?LOv3 （輸入圖片分辨率為 608×608）、Faster RCNN［25］和SSD300［26］進(jìn)行了比較，結(jié)果如表 3 所示。其中，F(xiàn)aster R-CNN的骨架網(wǎng)絡(luò)采用ResNet50［27］，輸入圖片分辨率為600×600。

由表3 可知，相較于YOLOv3、Faster R-CNN 和SSD300，iYOLOv3 算 法在P、R、 AP@50∶5∶95、F1、FPS評(píng)價(jià)指標(biāo)上都取得了更好的效果，尤其是FPS，相較于YOLOv3提高了2倍多。

表3 不同檢測(cè)算法的性能測(cè)試結(jié)果Table 3 Performance test results of different detection algorithms

4 結(jié) 論

針對(duì)卷紙包裝圖像信息具有很強(qiáng)的局部相關(guān)性和全局相關(guān)性，提出了一種改進(jìn)的YOLOv3卷紙包裝缺陷檢測(cè)算法（iYOLOv3 算法）。iYOLOv3 算法在特征提取時(shí)將卷積神經(jīng)網(wǎng)絡(luò)與多頭注意力機(jī)制結(jié)合，更加有利于提取卷紙包裝圖像數(shù)據(jù)的局部特征和全局特征；在進(jìn)行多尺度特征融合時(shí)，將特征金字塔網(wǎng)絡(luò)和路徑聚合網(wǎng)絡(luò)進(jìn)行結(jié)合，更有效地提取卷紙包裝數(shù)據(jù)的特征。此外，本研究采用了簡(jiǎn)單有效的SiLU 激活函數(shù)，改進(jìn)了YOLOv3 算法預(yù)測(cè)框的公式和損失函數(shù)。實(shí)驗(yàn)分析結(jié)果表明，相對(duì)于YOLOv3 算法，iYO?LOv3算法在準(zhǔn)確率、召回率、AP@50∶5∶95、F1及檢測(cè)速度評(píng)價(jià)指標(biāo)上都獲得了更好的效果，可為流水線上卷紙包裝的缺陷檢測(cè)提供實(shí)時(shí)準(zhǔn)確的檢測(cè)。