葉宇星，孫志鋒,，馬風(fēng)力,，陸玲霞，黃穎

基于改進(jìn)YOLOv5s的腌制蔬菜真空包裝缺陷檢測

葉宇星1，孫志鋒1,2，馬風(fēng)力1,2，陸玲霞1，黃穎2

（1.浙江大學(xué) 電氣工程學(xué)院，杭州 310007；2.杭州力超智能科技有限公司，杭州 310014）

針對傳統(tǒng)的基于人工的腌制蔬菜真空缺陷包裝剔除效率低、漏檢率高等問題，提出一種基于改進(jìn)YOLOv5s的腌制蔬菜真空包裝缺陷檢測方法。首先，使用Ghost卷積替換CSP模塊中的卷積，在提高模型特征提取能力的同時降低網(wǎng)絡(luò)的參數(shù)量；其次，利用空間換深度（Space-to-Depth, SPD）和深度可分離卷積（Depthwise-Separable Convolution, DSConv）組合操作SPD–DSConv進(jìn)行下采樣，減少下采樣造成的特征信息損耗；最后，在網(wǎng)絡(luò)中引入SE注意力機(jī)制，提高算法的精確率。在自制的腌制蔬菜真空包裝數(shù)據(jù)集上，改進(jìn)后的網(wǎng)絡(luò)平均精度（man Average Precision,mAP）為93.88%，模型尺寸為3.91 MB，相比原網(wǎng)絡(luò)精度提高了2.05%，模型尺寸縮減了44.38%。文中方法能夠?qū)崿F(xiàn)腌制蔬菜真空缺陷包裝的分類和定位，為基于機(jī)器人的缺陷包裝剔除奠定了基礎(chǔ)。

食品真空包裝；YOLOv5s；缺陷檢測

傳統(tǒng)腌制蔬菜作為老百姓餐桌的風(fēng)味佳肴歷史悠久，其生產(chǎn)環(huán)節(jié)包括：腌制、發(fā)酵、起池、剪筋、切絲、漂淡、脫水、拌料、小包裝罐裝、包裝封口、巴氏滅菌、產(chǎn)品檢驗。目前傳統(tǒng)腌制蔬菜的真空包裝通過罐裝機(jī)實現(xiàn)了一體化的自動上袋、稱量加料、封口、抽真空的包裝流程，但是對缺陷包裝的檢測和剔除主要還是依賴于人工。

根據(jù)罐裝機(jī)的加工流程，可以將具有缺陷的腌制蔬菜包裝分為以下2類：由封口不完全造成的漏包；由自動上袋開口失敗或稱量加料失誤造成的次包。受限于人眼的視覺敏銳度，基于人工的缺陷包裝檢測存在效率低、漏檢率高等問題。

隨著計算機(jī)技術(shù)的進(jìn)步，機(jī)器視覺在食品包裝缺陷檢測上的應(yīng)用也越發(fā)的廣泛。食品包裝材料具有多樣性，常見的包裝材料有塑料、金屬、玻璃、紙質(zhì)等[1]，其對應(yīng)的缺陷類型也存在差異，但在檢測方法上有一定的共通性。馬志剛等[2]結(jié)合中值濾波、Canny算子等圖像預(yù)處理和圖像匹配的方法，搭建了機(jī)器視覺系統(tǒng)，實現(xiàn)了對條煙外包裝的缺陷檢測；Xiong等[3]提出了基于水平集映射（LSM）的方法，利用圖像灰度值表示包裝輪廓和缺陷位置信息，實現(xiàn)了對餅干缺陷包裝的檢測；Gao等[4]選取梯度直方圖（Histogram of Oriented Gradient, HOG）特征作為圖像的識別特征，并基于支持向量機(jī)（Support Vector Machine, SVM）對特征進(jìn)行分類，實現(xiàn)了對不同表面缺陷程度的紅酒包裝檢測；Bin-roslan等[5]將單階段目標(biāo)檢測網(wǎng)絡(luò)YOLOv5應(yīng)用于塑料包裝缺陷檢測中，實現(xiàn)了高精度的塑料包裝表面缺陷的實時檢測。

相較于基于人工的包裝缺陷檢測，上述機(jī)器學(xué)習(xí)算法可以實現(xiàn)對特定包裝缺陷的精確檢測。腌制蔬菜的真空包裝缺陷差異性較小，且其在傳送帶上運輸?shù)乃俣容^快，目前針對食品包裝檢測的傳統(tǒng)機(jī)器學(xué)習(xí)算法難以實現(xiàn)對其快速檢測與精確定位。針對以上問題，文中提出一種基于改進(jìn)YOLOv5s的腌制蔬菜真空包裝缺陷檢測方法，在提高缺陷包裝檢測精度的同時縮小模型的尺寸。首先，在CPS模塊中引入Ghost卷積，在提高模型特征提取能力的同時降低網(wǎng)絡(luò)的參數(shù)量；其次，利用空間換深度（Space-to-Depth, SPD）和深度可分離卷積（Depthwise-Separable Convolution, DSConv）的組合操作SPD–DSConv進(jìn)行下采樣，減少下采樣過程中特征信息的損耗；最后，引入SE注意力機(jī)制，提高算法的精確率。

1 YOLOv5s模型

YOLO（You Only Look Once）系列在單階段目標(biāo)檢測網(wǎng)絡(luò)中占據(jù)了重要地位，可以快速準(zhǔn)確地得到物體的類別和位置信息[6]。YOLOv5模型是Ultralytics團(tuán)隊于2020年6月提出的具有更優(yōu)檢測精度和速度的YOLO系列模型[7]。本文采用的YOLOv5s模型由YOLOv5按照一定比例縮小網(wǎng)絡(luò)寬度和深度得到，兼顧了精度和速度上的要求。YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)包括輸入端（Input）、主干特征提取網(wǎng)絡(luò)（Backbone）、特征融合頸部（Neck）和輸出預(yù)測端（Head）[8]。

Input部分對圖像進(jìn)行數(shù)據(jù)增強(qiáng)操作，包括Mosai增強(qiáng)方法，旋轉(zhuǎn)、平移、縮放、錯切等仿射變換方法以及HSV色彩空間增強(qiáng)方法。在訓(xùn)練時，對輸入圖像以一定概率進(jìn)行以上數(shù)據(jù)增強(qiáng)方法，可以豐富數(shù)據(jù)集樣本，使得訓(xùn)練的模型具有更好的魯棒性[9]。

Backbone部分包括CBS模塊、CSP模塊[10]和SPPF模塊。CBS模塊為常規(guī)的卷積、批標(biāo)準(zhǔn)化（Batch Normalization, BN）和SiLU激活函數(shù)，主要負(fù)責(zé)下采樣工作，Backbone的第1個CBS模塊的卷積核大小為6×6，輸入圖像分辨率較大，采用大卷積核可以更好地獲取全局特征[11]，其余CBS模塊的卷積核大小均為3×3。CSP模塊主要負(fù)責(zé)特征的提取，通過跨階段結(jié)構(gòu)將不同層次的特征信息進(jìn)行融合，減少梯度信息的重復(fù)。SPPF模塊是空間池化金字塔（Spatial Pyramid Pooling, SPP）[12]模塊的改良版，將輸入特征依次經(jīng)過3次5×5的最大池化操作，保留了SPP模塊可以有效減少重復(fù)特征的提取優(yōu)點并減少了計算成本。

Neck部分包含特征金字塔（Feature Pyramid Networks, FPN）[13]和感知對抗網(wǎng)絡(luò)（Perceptual Adversarial Networks, PAN）[14]。首先通過上采樣方式融合自下而上的特征信息，再通過下采樣方式將特征信息作進(jìn)一步提取，實現(xiàn)了多層次信息的交互。

Head部分主要完成對物體類別信息和特征信息的預(yù)測。在訓(xùn)練過程中通過GIOU[15]損失函數(shù)對模型參數(shù)進(jìn)行修正，在預(yù)測過程中通過非極大值抑制（Non-Maximum Supression, NMS）對預(yù)測的不同類別的物體的坐標(biāo)信息進(jìn)行校正和篩選。

2 改進(jìn)YOLOv5s模型

改進(jìn)的YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。在網(wǎng)絡(luò)Backbone和Neck部分的CSP模塊中引入Ghost卷積，替換其中的普通卷積，在提高模型特征提取能力的同時降低網(wǎng)絡(luò)的參數(shù)量。將Backbone和Neck部分中的下采樣卷積用SPD–DSConv代替，減少下采樣過程中特征信息的損耗并使得網(wǎng)絡(luò)更加輕量化，但保留Backbone中6×6的卷積，使網(wǎng)絡(luò)可以更好地融合輸入圖像的局部特征。在Backbone中引入一個SE模塊，增加模型的特征提取能力。

圖1 YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)

圖2 改進(jìn)YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)

2.1 Ghost卷積

腌制蔬菜完成罐裝后，需要在傳送帶上運輸?shù)较乱粴⒕h(huán)節(jié)，實現(xiàn)運輸過程中缺陷包裝的實時精確檢測，對進(jìn)一步實現(xiàn)基于機(jī)器人的缺陷包裝剔除有重要意義。YOLOv5s網(wǎng)絡(luò)相較于YOLOv5網(wǎng)絡(luò)，在深度上已經(jīng)進(jìn)行了極大的壓縮，但要實現(xiàn)傳送帶上包裝的不間斷檢測對網(wǎng)絡(luò)的輕量化有更進(jìn)一步的要求。

Ghost卷積利用普通卷積生成的特征圖中具有冗余性的特征，采用低成本的線性變換方式在普通卷積生成的特征圖基礎(chǔ)上得到新的特征圖[16]。在保持模型特征提取能力的同時減少網(wǎng)絡(luò)的參數(shù)量。

Ghost卷積的過程如圖3所示。假設(shè)輸入的特征圖大小為，經(jīng)過普通卷積后生成不含冗余的(/2)的中間特征圖；再以廉價的線性操作即分組卷積，使中間特征圖的每個通道形成冗余特征圖；最后將冗余特征圖和中間特征圖在通道上進(jìn)行拼接，生成完整的的特征圖。假設(shè)使用的普通卷積和分組卷積的卷積核大小均為×，則Ghost卷積中常規(guī)卷積的參數(shù)量見式（1）。

分組卷積的參數(shù)量見式（2）。

因此Ghost卷積的參數(shù)量見式（3）。

當(dāng)完全由傳統(tǒng)卷積獲得輸出特征圖時，卷積的參數(shù)量見式（4）。

對比式（3）和式（4），可以發(fā)現(xiàn)Ghost卷積的參數(shù)量大約為普通卷積的1/2。CSP模塊負(fù)責(zé)網(wǎng)絡(luò)的特征提取，包含整個網(wǎng)絡(luò)的大部分參數(shù)，將Ghost卷積替換CSP模塊中的普通卷積可以有效降低網(wǎng)絡(luò)的參數(shù)量。

圖3 Ghost卷積

2.2 SPD–DSConv

腌制蔬菜包裝采用真空包裝的形式，在罐裝機(jī)剛完成抽真空后，漏包和正常包裝的差異性較小，封口不嚴(yán)引起的缺陷在一開始僅表現(xiàn)為封口處的細(xì)小差異，在殺菌等后續(xù)環(huán)節(jié)完成后才會逐漸引起包裝整體的漏氣，放大缺陷差異，要實現(xiàn)對罐裝之后缺陷包裝的剔除，需要實現(xiàn)對封口處細(xì)小差異特征的準(zhǔn)確提取。

在常見的目標(biāo)檢測網(wǎng)絡(luò)模型中，多用步長為2的卷積進(jìn)行下采樣，而對分辨率較小的特征來說，這種下采樣方式會導(dǎo)致特征圖細(xì)粒度信息的丟失[17]。

SPD具體方法如圖4所示。采用空間換深度的操作，利用切片組合的方式將圖像進(jìn)行下采樣，再通過卷積將通道維度信息進(jìn)行融合，可以減少下采樣過程中細(xì)粒度信息的丟失。

DSConv方法如圖5所示。其包括逐通道卷積和逐點卷積，首先利用逐通道卷積對輸入特征圖每個通道進(jìn)行分組卷積，生成中間特征圖，再對中間特征圖進(jìn)行逐點卷積，采用卷積核大小為1×1，步長為1的普通卷積得到最終的特征圖。假設(shè)輸入和輸出特征圖大小為，卷積核大小為，則普通卷積操作所需參數(shù)量見式（5）。

深度可分離卷積操作所需參數(shù)量見圖（6）。

綜合式（5）和式（6），對通道數(shù)較多的特征來說，DSConv可以大幅減少卷積所需的參數(shù)量。SPD雖然有利于特征信息的融合，但會帶來通道維度翻倍，對于普通的卷積來說，其參數(shù)量也會成倍增長，因此在SPD操作后利用DSConv來對通道維度信息進(jìn)行融合，可以大幅度減少所需的參數(shù)量。

圖4 SPD結(jié)構(gòu)

圖5 深度可分離卷積

2.3 SE注意力機(jī)制

腌制蔬菜包裝在傳送帶上的姿態(tài)并非規(guī)則整齊的，會出現(xiàn)不同的形態(tài)，甚至不同的包裝之間會出現(xiàn)不同程度的堆疊導(dǎo)致缺陷特征被部分遮擋，因此需要對網(wǎng)絡(luò)的特征提取能力作進(jìn)一步的增強(qiáng)。

SE模塊是一種通道注意力，它對輸入特征圖進(jìn)行通道特征加強(qiáng)，而不改變特征圖的大小[18]。本文將SE模塊放在Backbone的末尾，加強(qiáng)整體的通道特征，使后續(xù)的Neck部分能更好地對重要特征進(jìn)行融合，提高模型性能。SE模塊的結(jié)構(gòu)如圖6所示，其結(jié)構(gòu)包含壓縮、通道特征學(xué)習(xí)和激勵。假設(shè)輸入特征圖的大小為××，壓縮部分通過全局池化平均在空間維度上將輸入特征圖壓縮成1×1×的特征圖；通道特征學(xué)習(xí)部分首先利用卷積核大小為1×1、步長為1的卷積和SiLU激活函數(shù)得到1×1×()的特征圖，其中為通道縮放因子，本文采用=16，再通過卷積核大小為1×1、步長為1的卷積和Sigmoid激活函數(shù)得到1×1×的通道權(quán)重系數(shù)；激勵部分將原始輸入特征逐通道乘上通道權(quán)重系數(shù)，得到帶有通道注意力的特征圖，其中不同的通道權(quán)重系數(shù)反映了該通道特征的重要性。

圖6 SE注意力機(jī)制

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)集介紹

本文采用自制腌制蔬菜包裝數(shù)據(jù)集，包裝樣本由浙江寧波某公司提供，其中缺陷包裝由生產(chǎn)線上6 d內(nèi)人工篩選而得。根據(jù)罐裝機(jī)自動包裝的流程，將缺陷樣本類型分為漏包、次包，其中漏包的主要特征為包裝封口不嚴(yán)密，易于漏氣；次包的主要特征為包裝雖然密封，但計量不準(zhǔn)或少于設(shè)定的包裝物料質(zhì)量，乃至空包。根據(jù)腌制蔬菜種類的不同，數(shù)據(jù)集中包含榨菜絲、榨菜芯、榨菜片、腌蘿卜等不同外觀包裝。根據(jù)傳送帶上運輸包裝的真實情況，同一批次中包含多個分布不均勻的包裝，數(shù)據(jù)集中包含多個正常包裝和缺陷包裝以不同數(shù)量和不同堆疊方式放置。根據(jù)以上方式對包裝樣本進(jìn)行數(shù)據(jù)采集，最后獲得3 374張圖片，并利用LableImg工具對圖片中的目標(biāo)進(jìn)行標(biāo)注，分為正常包（Normal）、次包（Defect）和漏包（Leakage），其目標(biāo)數(shù)量分別為3 140、1 619、2 943。

數(shù)據(jù)集中的部分圖像如圖7所示，其中文本表示該樣本所屬的類別。

圖7 自制腌制蔬菜包裝數(shù)據(jù)集

3.2 環(huán)境配置

實驗環(huán)境為Windows 10操作系統(tǒng)，選用Python語言的PyTorch 1.7深度學(xué)習(xí)框架；CPU處理器為Intel(R) Core(TM) i7–10700 CPU @ 2.90GHz；GPU為NVIDIA GeForce RTX 3060。

訓(xùn)練時，將數(shù)據(jù)集中圖片隨機(jī)劃分，最終選用2 618張圖片作為訓(xùn)練集，756張圖片作為驗證集，設(shè)置Batch_size為4。訓(xùn)練過程中，模型輸入圖片的分辨率為640×640；采用SGD優(yōu)化器訓(xùn)練網(wǎng)絡(luò)，動量參數(shù)設(shè)置為0.937，權(quán)重衰減系數(shù)為0.000 5。文中模型的學(xué)習(xí)率和損失值隨迭代次數(shù)變化如圖8所示。模型一共訓(xùn)練400批次，學(xué)習(xí)率下降策略采用余弦退火，初始學(xué)習(xí)率設(shè)置為0.01，在第300批次時降低至0.001，同時在開始訓(xùn)練時開啟熱身訓(xùn)練，幫助模型更好的收斂。關(guān)于熱身訓(xùn)練的具體內(nèi)容參考文獻(xiàn)[19]。根據(jù)損失值隨迭代批次的變化可以發(fā)現(xiàn)在迭代批次達(dá)到300時，模型在訓(xùn)練集上趨于收斂，因此，在300～400批次時利用驗證集驗證模型的效果，并保存在驗證集上表現(xiàn)最好的模型權(quán)重，避免模型過擬合。

圖8 文中模型學(xué)習(xí)率和損失值變化曲線

3.3 評價指標(biāo)

文中采用平均精度（mean Average Precision,mAP）、參數(shù)量（Parameters）、浮點運算數(shù)（Floating Point Operations, FLOPs）分別評價模型的精度、空間復(fù)雜度和時間復(fù)雜度。

mAP是所有目標(biāo)類別P的均值，可以同時評價模型的分類和定位性能。P為該目標(biāo)類別在不同置信度下準(zhǔn)確率和召回率繪制曲線所圍面積，公式如下：

式中：p為預(yù)測為正樣本且實際為正樣本的樣本數(shù)量；p為預(yù)測為正樣本但實際為負(fù)樣本的樣本數(shù)量；N為預(yù)測為負(fù)樣本但實際為正樣本的數(shù)量；P為類別精度；為樣本類別數(shù)。

3.4 結(jié)果分析

根據(jù)實際的腌制蔬菜在傳送帶上運輸?shù)那闆r，在不同的堆疊程度下驗證本文算法的檢測效果。實驗結(jié)果如圖9所示，圖9中的數(shù)值為對應(yīng)類別的置信度。訓(xùn)練好的網(wǎng)絡(luò)可以精確地實現(xiàn)榨菜絲、榨菜片、榨菜芯、蘿卜干等不同腌制蔬菜包裝在復(fù)雜堆疊環(huán)境下的分類和定位。

為驗證本文算法的有效性，在相同的驗證集和訓(xùn)練環(huán)境配置下，通過消融實驗驗證所添加的各個模塊效果，實驗結(jié)果見表1。其中YOLOv5s–G表示在原網(wǎng)絡(luò)中僅加入Ghost卷積，YOLOv5s–SD表示在原網(wǎng)絡(luò)中加入SPD–DSConv模塊，YOLOv5s–SE表示在原網(wǎng)絡(luò)中加入SE注意力機(jī)制，YOLOv5s– G–SD表示在原網(wǎng)絡(luò)中同時加入Ghost卷積和SPD–DSConv模塊。由表1可知，在YOLOv5s算法基礎(chǔ)上加入Ghost卷積后，mAP提升了2.53%，同時模型參數(shù)量下降了27.03%。表明引入Ghost卷積后的CSP模塊不僅能降低網(wǎng)絡(luò)參數(shù)量，還提高了網(wǎng)絡(luò)的特征提取能力。用SPD–DSConv替換原本的下采樣卷積后，網(wǎng)絡(luò)在保持精度的同時還降低了網(wǎng)絡(luò)的參數(shù)量。同時加入Ghost卷積和SPD–DSConv模塊后，在不損失精度的條件下，模型尺寸下降了44.81%；在此基礎(chǔ)上加入SE注意力機(jī)制，進(jìn)一步提升了網(wǎng)絡(luò)的特征提取能力。對比原YOLOv5s算法，本文算法各類別精度均獲得了提升，且對設(shè)備的算力和內(nèi)存要求較小，模型的平均精度提升了2.05%，尺寸下降了44.38%。

為進(jìn)一步驗證本文算法的優(yōu)越性，在相同的數(shù)據(jù)集和訓(xùn)練環(huán)境下，將本文算法與輕量級單階段目標(biāo)檢測網(wǎng)絡(luò)YOLOv3–tiny、YOLOv4–tiny進(jìn)行對比實驗，結(jié)果如表2所示。

由表2可知，本文模型的各類別精度均高于YOLOv3–tiny和YOLOv4–tiny的各類別精度。相較于YOLOv3–tiny和YOLOv4–tiny，本文模型的平均精度分別提高了3.01%、2.70%，同時模型參數(shù)量分別降低了54.90%、33.50%。實驗證明改進(jìn)后的YOLOv5s網(wǎng)絡(luò)能夠?qū)崿F(xiàn)快速精確地進(jìn)行腌制蔬菜包裝的缺陷檢測。

圖9 腌制蔬菜包裝缺陷檢測效果

表1 消融實驗對比結(jié)果

Tab.1 Comparison results of ablation experiments

表2 各網(wǎng)絡(luò)模型性能對比

Tab.2 Performance comparison of network models

4 結(jié)語

為解決傳統(tǒng)基于人工腌制蔬菜真空缺陷包裝剔除效率低、漏檢率高的問題，文中提出了基于改進(jìn)的YOLOv5s腌制蔬菜真空包裝缺陷檢測方法。在網(wǎng)絡(luò)中引入了Ghost卷積，在保持網(wǎng)絡(luò)特征提取能力的同時降低網(wǎng)絡(luò)參數(shù)量，有利于實現(xiàn)傳送帶上運輸?shù)牟煌坞缰剖卟税b的實時高效檢測；引入SPD–DSConv模塊進(jìn)行下采樣，減少下采樣過程中細(xì)粒度信息的丟失，有利于對腌制蔬菜缺陷包裝細(xì)小缺陷特征的提??；引入SE注意力機(jī)制，進(jìn)一步增強(qiáng)了網(wǎng)絡(luò)對腌制蔬菜缺陷包裝的特征提取能力。改進(jìn)后的網(wǎng)絡(luò)能夠?qū)崿F(xiàn)高精度的實時缺陷檢測，為基于自動化腌制蔬菜缺陷包裝剔除系統(tǒng)的構(gòu)建奠定基礎(chǔ)。

[1] 張紅巖, 王永志, 劉慶紅. 圖像識別技術(shù)在食品包裝缺陷檢測中的應(yīng)用[J]. 食品與機(jī)械, 2020, 36(8): 225-228.

ZHANG Hong-yan, WANG Yong-zhi, LIU Qing-hong. Application of Image Recognition Technology in Food Packaging Defect Monitoring[J]. Food & Machinery, 2020, 36(8): 225-228.

[2] 馬志剛, 趙志強(qiáng). 基于機(jī)器視覺的包裝品質(zhì)檢測系統(tǒng)設(shè)計[J]. 包裝工程, 2022, 43(21): 193-197.

MA Zhi-gang, ZHAO Zhi-qiang. Design of Packaging Quality Inspection System Based on Machine Vision[J]. Packaging Engineering, 2022, 43(21): 193-197.

[3] XIONG Kun-kun, LI Weng-sheng, DONG Shu-ai, et al. Defect Detection of Biscuit Packaging Based on Level Set Map[C]// 2022 15th International Congress on Image and Signal Processing, BioMedical Engineering and Informatics (CISP-BMEI), Beijing, China, 2022: 1-7.

[4] GAO Cong-rui. Design of Tourism Package with Paper and the Detection and Recognition of Surface Defects-Taking the Paper Package of Red Wine as an Example[J]. Journal of Intelligent Systems, 2021, 30(1): 720-727.

[5] BIN-ROSLAN M I, IBRAHIM Z, AZIZ Z A, Real-Time Plastic Surface Defect Detection Using Deep Learning[C]// 2022 IEEE 12th Symposium on Computer Applications & Industrial Electronics (ISCAIE), Penang, Malaysia, 2022: 111-116.

[6] 邵延華, 張鐸, 楚紅雨, 等. 基于深度學(xué)習(xí)的YOLO目標(biāo)檢測綜述[J]. 電子與信息學(xué)報, 2022, 44(10): 3697-3708.

SHAO Yan-hua, ZHANG Duo, CHU Hong-yu, et al. A Review of YOLO Object Detection Based on Deep Learning[J]. Journal of Electronics & Information Technology, 2022, 44(10): 3697-3708.

[7] 王朕, 李豪, 嚴(yán)冬梅, 等. 基于改進(jìn)YOLOv5的路面病害檢測模型[J]. 計算機(jī)工程, 2023, 49(2): 15-23.

WANG Zhen, LI Hao, YAN Dong-mei, et al. Pavement Disease Detection Model Based on Improved YOLOv5[J]. Computer Engineering, 2023, 49(2): 15-23.

[8] HU Wen-xin, XIONG Jun-tao, LIANG Jun-hao, et al. A Method of Citrus Epidermis Defects Detection Based on an Improved YOLOv5[J]. Biosystems Engineering, 2023, 227: 19-35.

[9] 王淑青, 頓偉超, 黃劍鋒, 等. 基于YOLOv5的瓷磚表面缺陷檢測[J]. 包裝工程, 2022, 43(9): 217-224.

WANG Shu-qing, DUN Wei-chao, HUANG Jian-feng, et al. Ceramic Tile Surface Defect Detection Based on YOLOv5[J]. Packaging Engineering, 2022, 43(9): 217-224.

[10] WANG C Y, LIAO H Y M, YEH I H, et al. CSPNet: A New Backbone that can Enhance Learning Capability of CNN[C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Seattle, WA, USA, 2020: 1571-1580.

[11] DING Xiao-hong, ZHANG Xiang-yu, ZHOU Yi-zhuang, et al. Scaling up your Kernels to 31x31: Revisiting Large Kernel Design in CNNS[C]// 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), New Orleans, LA, USA, 2022: 11953-11965.

[12] HE Kai-ming, ZHANG Xiang-yu, REN Shao-qing, et al. Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904-1916.

[13] ZHANG Y, HAN J H, KWON Y W, et al. A New Architecture of Feature Pyramid Network for Object Detection[C]// 2020 IEEE 6th International Conference on Computer and Communications (ICCC), Chengdu, China, 2020: 1224-1228.

[14] CHEN Yu-nian, WANG Yan-jie, ZHANG Yang, et, al. PANet: A Context Based Predicate Association Network for Scene Graph Generation[C]// 2019 IEEE International Conference on Multimedia and Expo (ICME), Shanghai, China, 2019: 508-513.

[15] REZATOFIGHI H, TSOI N, GWAK J, et al. Generalized Intersection over Union: A Metric and a Loss for Bounding Box Regression[C]// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, CA, USA, 2019: 658-666.

[16] HAN Kai, WANG Yun-he, TIAN QI, et al. GhostNet: More Features from Cheap Operations[C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA, 2020: 1577-1586.

[17] SUNKARA R, LUO T. No More Strided Convolutions or Pooling: A New CNN Building Block for Low-Resolution Images and Small Objects[C]// European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD), Grenoble, France, 2022.

[18] CHEN Jia-dong, WU Yin-cheng, YANG Yin, et al. An Efficient Memristor-Based Circuit Implementation of Squeeze-and-Excitation Fully Convolutional Neural Networks[J]. IEEE Transactions on Neural Networks and Learning Systems, 2022, 33(4): 1779-1790.

[19] HE Kai-ming, ZHANG Xiang-yu, REN Shao-qing, et al. Deep Residual Learning for Image Recognition[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016: 770-778.

Vacuum Packaging Defect Detection of Pickled Vegetables Based on Improved YOLOv5s

YE Yu-xing1, SUN Zhi-feng1,2,MA Feng-li1,2,LU Ling-xia1,HUANG Ying2

(1. College of Electrical Engineering, Zhejiang University, Hangzhou 310007, China; 2. Hangzhou Lichao Intelligent Technology Co., Ltd., Hangzhou 310014, China)

The work aims to propose a vacuum packaging defect detection method for pickled vegetables based on YOLOv5s network to solve the low efficiency and high leakage rate of manual-based vacuum defect packaging rejection of pickled vegetables. Firstly, Ghost Convolution was used to replace the convolution in the CSP module, which reduced the number of parameters in the network while improving the feature extraction capability of the model; Secondly, in order to reduce the loss of feature information in down sampling, the space-to-depth (SPD) and depthwise-separable convolution (DSConv) were used in down sampling; Finally, the SE attention mechanism module was introduced in the network to improve the accuracy of the algorithm. On the dataset of homemade pickled vegetable packaging, the mean average precision (mAP) of the improved network reached 93.88 and the model size reached 3.91 MB. Compared with the original model, the mAP was increased by 2.05% and the model was reduced by 44.38%. The method in the paper enables the classification and localization of the defective vacuum packages of pickled vegetables, and lays a foundation for robot-based defective package rejection.

food vacuum packaging; YOLOv5s; defect detection

TP391.4

A

1001-3563(2023)09-0045-09

10.19554/j.cnki.1001-3563.2023.09.006

2023?02?24

寧波市現(xiàn)代農(nóng)業(yè)專項（2022Z176）；國家重點研發(fā)計劃項目（2016YFD0400405）

葉宇星（1998—），男，碩士生，主攻計算機(jī)視覺。

孫志鋒（1963—），男，碩士，副教授，主要研究方向為微電網(wǎng)技術(shù)，人工智能等。

責(zé)任編輯：曾鈺嬋