申 飛,周 敏,黃周林,李鑫炎,張美洲

(武漢科技大學(xué)a.冶金裝備及其控制教育部重點(diǎn)實(shí)驗(yàn)室;b.機(jī)械傳動與制造工程湖北省重點(diǎn)實(shí)驗(yàn)室;c.精密制造研究院,武漢 430081)

0 引言

在注塑齒輪生產(chǎn)過程中,由于溫度、注塑時(shí)間等因素影響,齒輪可能出現(xiàn)表面黑點(diǎn)、輪齒變形、輪齒缺失等缺陷。由于齒輪缺陷檢測過程往往十分復(fù)雜,檢測設(shè)備也較為昂貴,因此在實(shí)際生產(chǎn)中迫切需要對齒輪進(jìn)行快速檢測和分析[1]。傳統(tǒng)齒輪制造過程中的檢測方式以人工檢測為主,但是人工檢測不可避免地會出現(xiàn)錯檢、漏檢等問題。機(jī)器視覺檢測是一種非接觸式無損檢測,在高速、精細(xì)和重復(fù)的制造過程中更加可靠,與傳統(tǒng)的檢測方法相比,具有不可替代的優(yōu)越性。

陳碩等[2]提出利用廣泛的Canny算子提取出待檢齒輪的輪廓,通過計(jì)算機(jī)求解出輪廓之間的距離,但該方法可能在提取輪廓時(shí)出現(xiàn)誤差且識別速度較低。郭冕等[3]提出以模態(tài)分解模型將齒輪信號分解,并通過BP神經(jīng)網(wǎng)絡(luò),實(shí)現(xiàn)微型塑料齒輪缺陷檢測,但該方法在齒輪信號除噪聲方面檢測識別精度低、魯棒性差。楊亞等[4]采用SURF算法對于齒輪的特征進(jìn)行匹配,獲取缺陷信息后采用OSTU算法對缺陷進(jìn)行分割處理并分類,但是該方法不能很好的分類缺陷。JEONGHYEON等[5]采用聲波頻率分析法,采用CNN模型進(jìn)行分析缺陷,數(shù)據(jù)分析需要大量時(shí)間,導(dǎo)致檢測效率降低。仇嬌慧等[6]提出一種改進(jìn)的YOLOv5網(wǎng)絡(luò)模型,但該模型中的主干網(wǎng)絡(luò)C3結(jié)構(gòu)以及添加的注意力機(jī)制結(jié)構(gòu)導(dǎo)致參數(shù)量上升、識別速度降低。

基于上述問題,本文提出一種改進(jìn)的YOLOv5s(即VSD-YOLOv5s)網(wǎng)絡(luò)模型。該網(wǎng)絡(luò)模型使用輕量化ShuffleNetv2主干網(wǎng)絡(luò),引入SE注意力機(jī)制及DIOU-NMS方法,提升注塑齒輪缺陷檢測的識別精度與識別速度。

1 YOLOv5s網(wǎng)絡(luò)模型結(jié)構(gòu)

YOLOv5包含4個版本的目標(biāo)檢測網(wǎng)絡(luò)模型,即YOLOv5s、YOLOv5m、YOLOv51和YOLOv5x,模型的規(guī)模和訓(xùn)練參數(shù)的數(shù)量在4個版本中依次增加[7],其中,YOLOv5s網(wǎng)絡(luò)模型最快?？紤]到缺陷檢測需要嚴(yán)格的實(shí)時(shí)性,本文以最簡單、最快的網(wǎng)絡(luò)模型YOLOv5s作為基準(zhǔn),來完成表面缺陷的在線檢測。YOLOv5s的結(jié)構(gòu)由4部分組成,輸入端、Backbone網(wǎng)絡(luò)、Neck網(wǎng)絡(luò)、Prediction輸出端,如圖1所示。輸入端采用自適應(yīng)圖像填充、自適應(yīng)錨框計(jì)算和Mosaic數(shù)據(jù)增強(qiáng),以提升檢測的準(zhǔn)確性;在Backbone網(wǎng)絡(luò)中,使用了Focus模塊、C3主干網(wǎng)絡(luò)模塊和卷積模塊。Focus模塊主要用于切片操作,通過增加特征圖的維度來縮小特征圖的尺寸,同時(shí)保留圖像特征信息。C3主干網(wǎng)絡(luò)模塊中的殘差結(jié)構(gòu)有效防止梯度消失,使得特征更加細(xì)致;Neck網(wǎng)絡(luò)中主要包含C3網(wǎng)絡(luò)模塊、上采樣和下采樣過程,降低計(jì)算量,同時(shí)提高特征融合能力和信息保留度。Prediction輸出端中使用NMS后處理方法篩選多個目標(biāo)錨框,抑制無效信息,以提高識別準(zhǔn)確性。

圖1 YOLOv5s網(wǎng)絡(luò)模型結(jié)構(gòu)

2 改進(jìn)的YOLOv5s網(wǎng)絡(luò)模型

為了滿足注塑齒輪表面缺陷在線檢測的速度和識別精度要求,本文提出了一種VSD-YOLOv5s網(wǎng)絡(luò)模型,對YOLOv5s的結(jié)構(gòu)進(jìn)行了修改,能夠檢測不規(guī)則和細(xì)小的齒輪缺陷。

2.1 將主干網(wǎng)絡(luò)C3替換為ShuffleNetV2

YOLOv5s中主干網(wǎng)絡(luò)C3,如圖2所示,旨在更好地提取圖像的深層特征。C3主要由Bottleneck、Conv2d、BN+SiLU激活函數(shù)組成,輸入通道分為兩個分支,通過兩個分支的卷積運(yùn)算,將特征映射中的通道數(shù)減半。然后特征映射通過第二分支中的Conv2d層、BN層和瓶頸層,并利用Concat層對兩個分支進(jìn)行深度融合[8-9]。最后,通過連續(xù)穿過Conv2d層和BN層生成模塊的輸出特征映射,特征映射的大小與主干網(wǎng)絡(luò)C3的輸入大小相同。

圖2 主干網(wǎng)絡(luò)C3

YOLOv5s主干特征提取網(wǎng)絡(luò)采用C3網(wǎng)絡(luò)結(jié)構(gòu),帶來較大的參數(shù)量,識別速度較慢,應(yīng)用受限。因此本文將主干特征提取網(wǎng)絡(luò)替換為更輕量的ShuffleNetV2網(wǎng)絡(luò)結(jié)構(gòu),以實(shí)現(xiàn)網(wǎng)絡(luò)模型的輕量化,提升識別速度和識別精度。

如圖3所示,本文使用先進(jìn)的ShuffleNetv2單元,其中Channel Split操作將通道數(shù)平均分成兩部分,代替了原有的分組卷積結(jié)構(gòu)。每個分支中的卷積層輸入、輸出通道數(shù)均相同,其中一個分支不進(jìn)行任何操作以減少基本單元數(shù)。針對ShuffleNetv2中單元塊的下采樣,不再采用Channel Split,通過在每個分支中添加stride=2代替原有的Channel Split模塊以提高模型容量及檢測效率。最后使用Concat、Channle Shuffle代替原有的Add、ReLU模塊以增加模型通道之間的信息交流。綜合上述改動,特征圖空間大小將減半,且使模型具有較高的模型容量和檢測效率,減小了模型的計(jì)算復(fù)雜度,降低了模型的內(nèi)存占用率,極大地提高了模型的計(jì)算效率。

圖3 基本ShuffleNetv2單元

2.2 引入SE注意力機(jī)制模塊

注意力機(jī)制是指重點(diǎn)關(guān)注檢測部分而忽略無關(guān)要素,SE注意力機(jī)制模塊,如圖4所示。首先,對特征映射進(jìn)行壓縮操作以獲得通道的全局特征;然后,對全局特征進(jìn)行激勵操作,以學(xué)習(xí)通道之間的關(guān)系,并獲取不同通道的權(quán)重;最后,對原始特征映射進(jìn)行乘法操作,得到最終的特征。這個機(jī)制有助于模型更加注重信息量最大的通道特征,同時(shí)抑制那些不重要的通道特征[10]。

圖4 SE注意力機(jī)制

本文通過引入SE注意力機(jī)制模塊,以建立卷積特征通道之間的相互依賴性來提高網(wǎng)絡(luò)的表示能力。首先,輸入特征圖X,讓其經(jīng)過Ftr操作生成特征圖U;然后,進(jìn)行Squeeze 操作、Excitation操作,Scale操作。Squeeze操作是一種壓縮操作,它將輸入圖像的高度H和寬度W都壓縮為1,但通道數(shù)不變的矩陣。通常使用全局平均“池化”操作來實(shí)現(xiàn),以確保最終特征包含輸入圖像的所有信息。Excitation操作對通過Squeeze操作生成的1×1×C特征圖進(jìn)行維度降低和恢復(fù)操作,使用全連接層獲取不同通道的權(quán)重,自動關(guān)注具有最高權(quán)重的通道。Scale操作是一種簡單的加權(quán)運(yùn)算操作,它將Excitation操作生成的特征圖與輸入特征圖通過Sigmoid激活函數(shù)進(jìn)行Channel運(yùn)算,得到輸出值。

2.3 將NMS改進(jìn)為DIOU-NMS

在YOLOv5s原有的NMS中,使用IOU度量來抑制冗余檢測框,IOU的全稱為交并比,即表示為預(yù)測邊框A(Prediction box)和真實(shí)邊框B(Ground truth box)的交集和并集的比值。IOU的計(jì)算公式為:

(1)

但I(xiàn)OU度量法并未將兩個框之間的中心點(diǎn)距離考慮在抑制標(biāo)準(zhǔn)之內(nèi),此時(shí)模型檢測到的遺漏框和錯誤框的數(shù)量將會增加?？紤]到以上情況,為提高模型檢測的準(zhǔn)確性[11-12],本文使用DIOU-NMS方法,其計(jì)算函數(shù)方程可以定義為:

(2)

式中:Si表示第i個檢測框?qū)?yīng)的置信度得分,RDIOU(M,bi)表示基于DIOU的檢測框交叉比,M表示置信度得分最高的檢測框,bi表示剩余檢測框集合中的第i個檢測框,Nt表示設(shè)定的閾值。本文DIOU損失函數(shù)[13-15]的懲罰項(xiàng)可以定義為:

(3)

如圖5所示,c是覆蓋兩個錨框的最小封閉框的對角線長度,d=ρ2(b,bgt)是兩個錨框的中心點(diǎn)的距離。其中b和bgt分別表示和的中心點(diǎn),ρ為歐氏距離,c為覆蓋兩個框的最小包圍框的對角線長度。DIOU損失函數(shù)可以定義為:

(4)

圖5 邊界框的DIOU損失

圖6 改進(jìn)后的YOLOv5s網(wǎng)絡(luò)模型結(jié)構(gòu)

以此來看,DIOU損失函數(shù)不是按外接矩形和并集面積的差值,而是同時(shí)最小化外接矩形的面積和兩框中心點(diǎn)的距離,這會使得網(wǎng)絡(luò)更傾向于移動邊界框的位置來減少損失函數(shù)。因此,考慮到影響邊界框檢測的3個幾何因素,即重疊區(qū)域、中心點(diǎn)距離和縱橫比,并在此基礎(chǔ)上將DIOU-NMS方法添加到本文的模型中,從而加快了模型的收斂速度,提高了模型的性能。

3 結(jié)果與分析

實(shí)驗(yàn)環(huán)境:在該實(shí)驗(yàn)中使用的計(jì)算機(jī)中央處理單元(CPU型號)是Intel(R)Core(TM)i7-12700F CPU@2.10 GHz,并且運(yùn)行存儲器是16 GB。圖形處理器(GPU型號)為NVIDIA GeForce RTX 1080獨(dú)立顯卡,顯存為8 GB。采用64位Windows 10操作系統(tǒng)作為軟件環(huán)境,PyCharm作為開發(fā)平臺,PyTorch作為深度學(xué)習(xí)框架,Python作為編程語言,CUDA 11.3版本并行計(jì)算框架作為開發(fā)平臺,如圖7所示。

圖7 注塑齒輪缺陷檢測平臺環(huán)境

實(shí)驗(yàn)數(shù)據(jù)集共包含2000張分辨率為640×640的圖片,按照8∶2的比例劃分為數(shù)據(jù)集和驗(yàn)證集。在訓(xùn)練過程中,設(shè)置每批次訓(xùn)練16張圖片,初始學(xué)習(xí)率為0.003,IOU閾值為0.5,針對所有參照模型均按照這些參數(shù)訓(xùn)練300個Epoch。

數(shù)據(jù)集預(yù)處理:采用自制的齒輪缺陷數(shù)據(jù)集,其中主要包括輪齒變形、輪齒缺失、表面黑點(diǎn)3種情況,如圖8所示。運(yùn)用VSD-YOLOv5s模型進(jìn)行缺陷檢測,采用Mosaic增強(qiáng)方法和自適應(yīng)錨框方法對于數(shù)據(jù)集進(jìn)行前期處理。

圖8 輪齒破損、輪齒缺失、表面黑點(diǎn)缺陷圖

本文VSD-YOLOv5s模型的模型評估指標(biāo)主要包括準(zhǔn)確率(P)、召回率(R),平均識別精度(MAP)、識別速度(FPS)。

(5)

(6)

(7)

式中:TP表示正確識別齒輪缺陷,FP表示對齒輪缺陷識別的錯誤分類,FN表示不明齒輪缺陷,C表示齒輪缺陷對象類別的數(shù)量,k表示IOU閾值,N表示閾值的IOU數(shù)量,P(k)表示識別精度,R(k)表示召回率。

如圖9所示,為了對VSD-YOLOv5s模型的檢測性能進(jìn)行全面評估,本文采用YOLOv5s和VSD-YOLOv5s作為縱向比較模型、采用經(jīng)典的目標(biāo)檢測模型Fast-RCNN作為橫向比較模型,設(shè)置相同的實(shí)驗(yàn)參數(shù),上述模型的檢測效果表1所示。

表1 模型檢測效果對比

圖9 VSD-YOLOv5s模型測試集檢測

由表1的實(shí)驗(yàn)結(jié)果可知,VSD-YOLOv5s的MAP達(dá)到94.1%,準(zhǔn)確率達(dá)到95.1%,相較于另外3種模型有所提升,對各類表面缺陷具有良好的檢測效果,識別速度相較于YOLOv5s,FPS提高5 fps。因此,與YOLOv5s,Fast-RCNN兩種模型相比,VSD-YOLOv5s模型具有優(yōu)越的檢測性能,取得了最佳的檢測效果,能夠滿足在線缺陷檢測系統(tǒng)的較高識別精度需求。

本文將3種模型在測試過程中產(chǎn)生的準(zhǔn)確率以及召回率記錄并繪制P-R曲線圖,如圖10所示,通過P-R曲線我們可以看到VSD-YOLOv5s模型的性能優(yōu)于Fast-RCNN和YOLOv5s。

圖10 缺陷檢測3種模型的P-R曲線

為了驗(yàn)證不同改進(jìn)方法對YOLOv5s模型性能的影響,本文對多種改進(jìn)方法進(jìn)行了比較與討論,如表2所示。“√”表明網(wǎng)絡(luò)模型中加入此模塊,而“×”表明網(wǎng)絡(luò)模型中沒有加入此模塊。原YOLOv5s模型的大小是14.58 MB,FPS為70 fps。使用ShuffleNetV2模塊的輕量級ShuffleNetV2-YOLOv5s模型的大小減少到7.95 MB,FPS提升到74 fps。結(jié)果表明,當(dāng)在模型中加入ShuffleNetV2時(shí),可達(dá)到模型輕量化的效果并提升識別速度;單獨(dú)使用SE模塊時(shí),YOLOv5s模型的MAP從91.2%增加到 92.1%。ShuffleNetV2-YOLOv5s模型的MAP從91.80%增加到93.8%。當(dāng)SE注意力機(jī)制、DIOU-NMS以及ShuffleNetV2同時(shí)應(yīng)用時(shí),相比于原模型,VSD-YOLOv5s模型的識別準(zhǔn)確率提升了0.9%,識別精度提升了1.7%,識別速度提升了5 fps,模型的性能得到了全面改善,達(dá)到最優(yōu)。

表2 VSD-YOLOv5s改進(jìn)模型與其他模型對比

4 結(jié)論

針對注塑齒輪缺陷檢測存在的問題,提出一種VSD-YOLOv5s的齒輪缺陷檢測輕量化網(wǎng)絡(luò)模型結(jié)構(gòu),在改進(jìn)后的模型架構(gòu)中,使用了輕量級的ShuffleNetV2模塊,為了準(zhǔn)確識別注塑齒輪缺陷的不同種類,在模型中引入SE注意力機(jī)制,將NMS改進(jìn)為DIOU-NMS方法加速模型的收斂,在不同測試集進(jìn)行測試驗(yàn)證VSD-YOLOv5s網(wǎng)絡(luò)模型的可行性,實(shí)驗(yàn)結(jié)果表明,模型滿足在線檢測系統(tǒng)對高實(shí)時(shí)性、低漏檢率和低誤檢率的要求,結(jié)構(gòu)更簡化,復(fù)雜度更低,檢測識別精度更高。未來在模型的實(shí)際應(yīng)用中,將建立缺陷樣本庫,并及時(shí)收集和完善樣本庫,提升檢測效果。