曹義親 劉文才 徐露
摘要:【目的】針對YOLOX算法在鋼材表面缺陷檢測中特征提取不充分、多目標(biāo)缺陷檢測能力較弱等問題,提出改進(jìn)損失函數(shù)的多維度特征融合帶鋼材料表面缺陷檢測算法?!痉椒ā渴紫?,在Backbone部分應(yīng)用SPP_SF保留多尺度特征信息,提高分類精度。其次,在Neck部分加入多維度特征融合模塊MDFFM,將通道、空間、位置信息融入特征向量中,加強算法的特征提取能力。最后,引入Varifocal Loss和α-CIoU加權(quán)正負(fù)樣本,提高預(yù)測框的回歸精度?!窘Y(jié)果】實驗結(jié)果表明,YOLOX-αSMV在NEU-DET數(shù)據(jù)集中的mAP@0.5:0.95達(dá)到了47.54%,較YOLOX算法提高了3.43%?!窘Y(jié)論】算法在保持檢測速度基本不變的情況下,對模糊缺陷和小目標(biāo)缺陷的識別、定位能力明顯提升。
關(guān)鍵詞:YOLOX;缺陷檢測;α-CIoU;坐標(biāo)注意力;Varifocal Loss;SoftPool
中圖分類號:TP391;U226 文獻(xiàn)標(biāo)志碼:A
文章編號:1005-0523(2024)02-0109-09
YOLOX-αSMV Algorithm for Surface Defect Detection
of Strip Steel Material
Cao Yiqin1, Liu Wencai1, Xu Lu2
(1. School of Software, East China Jiaotong University, Nanchang 330013, China; 2. School of Mechanical and Electrical Engineering, Jiangxi Vocational &Technical College of Communications, Nanchang 330013, China)
Abstract: 【Objective】In order to solve the problems of insufficient feature extraction and weak ability of multi-target defect detection of YOLOX algorithm in steel surface defect detection, a multi-dimensional feature fusion strip material surface defect detection algorithm based on improved loss function is proposed. 【Method】First of all, apply SPP_SF to the Backbone part to retain multi-scale feature information and improve classification accuracy. Secondly, the multi-dimensional feature fusion module MDFFM is added in the Neck part to integrate the channel, space and position information into the feature vector to strengthen the feature ex-traction ability of the algorithm. Finally, the introduction of Varifocal Loss and α-CIoU is weighted with positive and negative samples to improve the regression accuracy of the prediction box. 【Result】The experimental results show that YOLOX-αSMV in NEU-DET data set mAP@0.5:0.95 reaches 47.54%, which is 3.43% higher than YOLOX algorithm. 【Conclusion】The algorithm significantly improves the recognition and localization of fuzzy defects and small target defects while keeping the detection speed basically unchanged.
Key words: YOLOX; defect detection; α-CIoU; coordinate attention; Varifocal Loss; SoftPool
Citation format: CAO Y Q, LIU W C, XU L. YOLOX-αSMV algorithm for surface defect detection of strip steel material[J]. Journal of East China Jiaotong University, 2024, 41(2): 109-117.
【研究意義】受生產(chǎn)工藝、環(huán)境、使用年限等因素的影響,帶鋼材料表面會出現(xiàn)表面點蝕、劃痕、裂紋、軋制氧化皮等缺陷,導(dǎo)致鋼材質(zhì)量的下降,對工業(yè)生產(chǎn)及產(chǎn)品的可靠性和安全性將造成嚴(yán)重影響。因此,如何對帶鋼材料產(chǎn)品表面的缺陷進(jìn)行及時有效的檢測,一直是相關(guān)企業(yè)和學(xué)者的重要研究內(nèi)容。
【研究進(jìn)展】常用的帶鋼材料表面缺陷檢測方法主要有CCD攝像掃描器檢測、激光掃描檢測、漏磁檢測、人工檢測等,雖然可以對帶鋼表面的缺陷進(jìn)行檢測,但存在難度大、成本高、易受外部干擾、精度低、耗時長等一系列問題,很難符合實際檢測需求。
機器視覺檢測技術(shù)憑借成本低、速度快、精度高等優(yōu)勢逐漸成為許多學(xué)者的研究熱點,并取得了良好效果。深度學(xué)習(xí)作為機器學(xué)習(xí)中的一種特殊范式,應(yīng)用于越來越多的領(lǐng)域,基于該方法的缺陷檢測技術(shù)也逐漸取代傳統(tǒng)方法,得到了系統(tǒng)研究。Hu等[1]提出一種改進(jìn)的兩階段網(wǎng)絡(luò)Faster R-CNN對PCB缺陷圖像進(jìn)行檢測,使用Shuffle殘差單元代替基本殘差單元,減少了整個網(wǎng)絡(luò)的計算量,準(zhǔn)確率基本保持不變,參數(shù)量減少了2倍。這種方法進(jìn)一步簡化了缺陷檢測操作,降低了測試成本,但使用不同缺陷數(shù)據(jù)集時精度下降,泛化能力差。曹義親等[2]提出E-YOLOX算法采用邊緣Cutout數(shù)據(jù)增強對缺陷圖片進(jìn)行預(yù)處理,使用新的特征提取網(wǎng)絡(luò)ECMNet提取梯度流特征信息,為特征融合和缺陷預(yù)測提供了良好基礎(chǔ),較好地平衡了檢測精度和速度。Jin等[3]采用雙階段網(wǎng)絡(luò)對概率圖模型FRGMM生成的分割方案進(jìn)行目標(biāo)定位,具有更高的準(zhǔn)確率和召回率,也更具魯棒性,適用于弱照明、外部噪音、油污等外部因素較多的情況。
上述深度學(xué)習(xí)算法雖然在一定程度上達(dá)到了傳統(tǒng)缺陷檢測方法無法達(dá)到的檢測速度,但在精度方面仍有所欠缺。Urbonas等[4]使用遷移學(xué)習(xí)和數(shù)據(jù)增強的方法,采用更快的R-CNN網(wǎng)絡(luò),將特征提取網(wǎng)絡(luò)替換為使用預(yù)訓(xùn)練權(quán)重的AlexNet、VGG、GoogLeNet和ResNet來檢測木板的表面缺陷,檢測精度達(dá)到了96.1%。該方法的局限性在于缺陷的特征模糊,手動標(biāo)記的數(shù)據(jù)容易出現(xiàn)錯誤和誤差,從而影響網(wǎng)絡(luò)性能。Zhang等[5]基于YOLO(you only look once)網(wǎng)絡(luò),使用兩個密集塊對圖像進(jìn)行優(yōu)先級分類,讓網(wǎng)絡(luò)提前接收多層卷積特征,從而增強特征融合,檢測精度得到進(jìn)一步提高,同時縮短了檢測時間。這種優(yōu)先級分類依賴于大量的訓(xùn)練數(shù)據(jù),對于小樣本缺陷的檢測很不友好。
目前的缺陷檢測算法雖在檢測中有良好效果,但在提高算法檢測精度的同時,降低網(wǎng)絡(luò)參數(shù)量、提升檢測速度是亟待解決的問題。MT-YOLOv5算法[6]的檢測精度雖然達(dá)到了82.4%,但檢測速度只有65.4 f/s,參數(shù)量也高達(dá)29.7 M,且在軋制氧化皮等多目標(biāo)、小缺陷的檢測精度只有大概70%。翁玉尚等[7]改進(jìn)的Mask R-CNN算法準(zhǔn)確率達(dá)到了96%,檢測速度卻只有5.9 f/s。
【創(chuàng)新特色】針對YOLOX算法在鋼材表面缺陷檢測中特征提取不充分、多目標(biāo)缺陷檢測能力較弱等問題,本文以YOLOX算法為基準(zhǔn)模型進(jìn)行改進(jìn),提出了YOLOX-αSMV模型,主要工作有:基于SoftPool,提出SPP_SF結(jié)構(gòu),最大程度保留池化過程中的多尺度特征信息,提高分類準(zhǔn)確率及算法的訓(xùn)練效率;提出了多維度特征融合模塊(multi-dimensional feature fusion module,MDFFM),將通道、空間、位置信息融入特征圖中,增強算法的特征提取能力;利用Varifocal Loss和α-CIoU加權(quán)不同訓(xùn)練樣本,提高回歸精度,對離群數(shù)據(jù)有一定的調(diào)整能力,增強訓(xùn)練穩(wěn)定性。
【關(guān)鍵問題】本文算法在相關(guān)數(shù)據(jù)集上取得較高檢測精度的同時,降低了網(wǎng)絡(luò)參數(shù)量,達(dá)到較快的檢測速度,實現(xiàn)檢測速度與檢測精度之間更好的平衡,具有一定的泛化能力和魯棒性。
1 YOLOX-αSMV目標(biāo)檢測模型
YOLOX是曠視科技在2021年推出的單階段目標(biāo)檢測算法,由特征提取網(wǎng)絡(luò)CSPDarkNet、特征融合網(wǎng)絡(luò)PAFPN和Decoupled head檢測頭組成。本文提出的目標(biāo)檢測模型YOLOX-αSMV對YOLOX算法進(jìn)行了針對性改進(jìn),網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。
1) 特征提取網(wǎng)絡(luò)(Backbone)。缺陷圖片經(jīng)過Focus進(jìn)行初步下采樣,使用不同大小的卷積運算和SPP_SF進(jìn)行特征提取和融合,生成大、中、小3種不同尺度的細(xì)粒度特征向量,用于檢測不同大小的缺陷區(qū)域。
2) 特征融合網(wǎng)絡(luò)(Neck)。3種不同尺度的特征向量先通過MDFFM融入缺陷的通道、空間和位置信息,再經(jīng)過一系列上采樣、下采樣、特征拼接等卷積操作,加強對缺陷類別的特征提取能力,進(jìn)行淺層和深層的高級語義信息交互,最終輸出3個更加豐富的特征層。
3) 檢測頭(Prediction)。80×80、40×40、20×20三種預(yù)測不同缺陷大小的特征層經(jīng)過一個1×1卷積調(diào)整通道數(shù)后,分成兩個特征向量分別進(jìn)行回歸和分類。用于分類的特征向量通過Varifocal Loss加權(quán)正負(fù)樣本,傾斜訓(xùn)練重心,使訓(xùn)練更高效;用于回歸的特征向量通過α-CIoU提高預(yù)測框的回歸精度,加速訓(xùn)練,最終和置信度預(yù)測拼接成每個特征層的預(yù)測結(jié)果。
1.1 SPP_SF模塊
YOLOX網(wǎng)絡(luò)在Backbone中引入SPP模塊擴(kuò)大感受野,融合不同尺度特征圖的信息,其主要由3個并聯(lián)的最大池化層和殘差連接構(gòu)成,最大池化層選取特定區(qū)域的最大值為輸出,保留主要特征的同時,降低模型計算量,防止過擬合。
最大池化雖然降低了特征冗余度,但也丟失了圖像中的大多數(shù)信息,降低了網(wǎng)絡(luò)性能。Stergiou等[8]受早期手工編碼特征的池化實驗啟發(fā),提出了軟池化(SoftPool),既保持了基本的池化功能,讓區(qū)域內(nèi)的所有特征值都對最終輸出有貢獻(xiàn),又減少了信息損失。
SoftPool基于自然指數(shù)e,利用激活的Softmax加權(quán)求和。整個過程如式(1)所示,首先計算核大小內(nèi)的權(quán)重,再將權(quán)重與每個特征值相乘并求和,得到最終輸出,從而保留輸入的基本屬性,并放大更強的特征映射。同時,整個過程是可微的,這表示在反向傳播期間,核大小區(qū)域內(nèi)的所有特征至少會被分配一個最小梯度值進(jìn)行更新,提高了訓(xùn)練期間的神經(jīng)連通性,有利于提高訓(xùn)練效果。
[a=i∈Reaij∈Reajai] (1)
式中:[R]為池化區(qū)域;[ai]為特征值。
本文保持融合特征圖尺度不變,提出了SPP_SF,如圖2所示。相比于YOLOX中的SPP,SPP_SF將最大池化層替換為SoftPool,在不增加參數(shù)和計算量的情況下,保留原圖中更多細(xì)節(jié),提高分類準(zhǔn)確率,加快推理時間。
1.2 MDFFM多維度特征融合模塊
帶鋼材料表面缺陷數(shù)據(jù)集中的圖片分辨率較低,不同缺陷類型顏色背景、紋理特征較為相似,這給缺陷檢測帶來了難度。為此,本文引入了卷積注意力模塊[9](convolutional block attention module,CBAM)和坐標(biāo)注意力[10](coordinate attention,CA),將通道、空間和位置信息融入特征圖中,加強模型對缺陷目標(biāo)的定位和識別能力。
CBAM網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示,其通過通道注意力機制的并行池化和MLP映射操作聚合特征圖的空間信息,提高網(wǎng)絡(luò)的表達(dá)能力;通過空間注意力模塊的串行池化和基礎(chǔ)卷積運算突出通道特征圖的信息區(qū)域,豐富特征向量,將通道信息和空間信息同時融入其中。通過以上兩步計算,網(wǎng)絡(luò)的各個分支可以分別了解在通道和空間維度上,要“參與什么”和“到哪里去”,幫助特征信息在網(wǎng)絡(luò)中流動。
為彌補CBAM不關(guān)注或只關(guān)注局部位置信息的問題,并讓網(wǎng)絡(luò)更精確地定位缺陷位置,本文同時引入CA模塊。CA模塊在兩個空間方向上分別編碼方向和位置映射,互補地增強目標(biāo)區(qū)域的表現(xiàn),整個過程如圖4所示。
CA注意力網(wǎng)絡(luò)首先使用一維編碼聚合兩個方向的特征信息,將目標(biāo)的坐標(biāo)信息嵌入特征向量中。然后,利用通道數(shù)的縮放操作降低網(wǎng)絡(luò)計算量,混合通道信息,增加非線性擬合能力。
CA坐標(biāo)注意力沿輸入特征向量的水平方向和垂直方向的編碼過程都反映了感興趣的對象是否存在于相應(yīng)的行和列中,可以充分利用捕獲的位置信息,準(zhǔn)確地突出顯示感興趣區(qū)域,從而更好地識別缺陷位置和類別,提高模型的適用性和檢測能力。
本文同時應(yīng)用CBAM和CA模塊,提出多維度特征融合模塊MDFFM,將通道、空間與位置3個維度的特征信息融入特征圖,豐富Backbone中輸出的多尺度特征向量,為后續(xù)融合低層細(xì)節(jié)信息和高層語義信息提供幫助,增強模型檢測能力。
1.3 Varifocal Loss模塊
在帶鋼材料表面缺陷圖片中,存在的缺陷區(qū)域只占整個圖片較少的部分,使用目標(biāo)檢測模型進(jìn)行缺陷檢測時,不可避免地會產(chǎn)生正負(fù)樣本數(shù)不匹配的問題。因此,本文模型使用了Varifocal Loss[11],可以有效地解決此問題。Varifocal Loss計算方式如下
[VFLp,q=-qqlogp+1-qlog1-p, q>0-αpγlog1-p? ? ? ? ? ? ? ? ,? ? ? ? ? ? ?q=0](2)
式中:[p]為預(yù)測的IACS值;對于[q],若是負(fù)樣本,則為0,若是正樣本,則為預(yù)測的邊界框和真實框的IoU;[γ]為比例因子。
Varifocal Loss只對負(fù)樣本進(jìn)行了衰減,降低負(fù)樣本對損失的貢獻(xiàn)度。對正樣本使用q加權(quán)處理,提高其對損失的貢獻(xiàn)度,從而傾斜訓(xùn)練重點至高質(zhì)量的正樣本。實驗證明,這樣的處理可以大大增加不同缺陷類別的檢測精度。
1.4 α-CIoU模塊
為解決預(yù)測框和真實框不重疊時,IoU損失出現(xiàn)的梯度消失問題,出現(xiàn)了幾種基于IoU改進(jìn)的損失設(shè)計,如CIoU、GIoU等。He等[12]在現(xiàn)有的IoU損失中引入了Power變換,提出了一種新的損失函數(shù)α-IoU Losses,通過增加冪指數(shù)α(α=3),使目標(biāo)檢測模型更靈活的實現(xiàn)不同Bounding box(Bbox)的回歸精度,而且,對小數(shù)據(jù)集和噪聲框更健壯。根據(jù)α-IoU Losses,可概括CIoU損失函數(shù)新形式為
[Lα-CIoU=1-IoUα+ρ2αb,bgtc2α+βυα] (3)
式中:[c]為同時包含預(yù)測框和真實框的最小閉包區(qū)域的對角線距離;[ρ2b,bgt]為預(yù)測框和真實框中心點的歐式距離;[βυ]用于度量長寬比的一致性。
CIoU相比IoU,增加了重疊面積、中心點距離、長寬比、檢測框尺度損失4種幾何參數(shù),而α-CIoU損失函數(shù)優(yōu)于原本形式,讓α-CIoU損失在不引入額外參數(shù)、不增加推理時間的情況下,通過自適應(yīng)增加高IoU對象的損失和梯度權(quán)重,使模型更關(guān)注高IoU對象,從而提高了Bbox的回歸精度,增強了模型對部分小目標(biāo)缺陷和含有噪聲缺陷的定位、識別能力。
2 實驗結(jié)果與分析
2.1 實驗環(huán)境與參數(shù)設(shè)定
模型訓(xùn)練迭代次數(shù)Epoch設(shè)置為300次,Batch_size設(shè)置為8。優(yōu)化器采用隨機梯度下降法SGD,初始學(xué)習(xí)率為0.01,使用余弦退火學(xué)習(xí)策略,權(quán)重衰減為0.000 5。實驗環(huán)境如表1所示。
2.2 數(shù)據(jù)集
實驗所用的NEU-DET數(shù)據(jù)集包含6類缺陷,如圖5所示,分別為裂紋(Cr),夾雜(In),斑塊(Pa),表面點蝕(Ps),軋制氧化皮(RS),劃痕(Sc),每種缺陷有300張,共1 800張圖片。按照7∶2∶1隨機劃分?jǐn)?shù)據(jù)集,其中1 260張訓(xùn)練集,360張驗證集,180張測試集。
2.3 評價指標(biāo)
實驗采用平均精度均值mAP(mean average precision),檢測刷新率FPS(frame per second)和參數(shù)量Params作為模型性能的評估指標(biāo)。
1) 本文中IoU為真實框和預(yù)測框的交并比,如下
[IoU = A?BA?B] (4)
式中:A為真實框區(qū)域;B為預(yù)測框區(qū)域。
2) FPS為每秒鐘檢測的圖片數(shù)量,如下
[FPS=FrameNumElapsedTime] (5)
式中:[FrameNum]為檢測圖片數(shù)量;[ElapsedTime]為模型檢測運行的總時間。
3) mAP即mAP@0.5:0.95,IoU從0.5取到0.95,步長為0.05,計算所有AP的均值;mAP50為IoU取0.5,計算所有AP均值(本文主要采用mAP作為評價指標(biāo),力求更嚴(yán)格地評估算法性能)。計算方式如下
[AP=01p(r)dr] (6)
[mAP=1ni=1nAPi] (7)
式中:[p(r)]為以準(zhǔn)確率p為縱坐標(biāo),以召回率r為橫坐標(biāo)的pr曲線。
2.4 對比實驗及結(jié)果分析
為驗證本文算法在NEU-DET數(shù)據(jù)集上的檢測效果,在相同實驗環(huán)境和數(shù)據(jù)集劃分下,選取了通用目標(biāo)檢測算法和鋼材缺陷目標(biāo)檢測領(lǐng)域的算法進(jìn)行對比實驗分析,實驗結(jié)果如表2所示。
由表2實驗結(jié)果可知,YOLOX-αSMV的mAP為47.54%,相比于其他目標(biāo)檢測算法均有不同程度的提高,比YOLOv3提高13.54%,比YOLOv5提高8.94%,比YOLOv7提高1.64%,比文獻(xiàn)[15]提高11.14%,比基準(zhǔn)模YOLOX提高3.43%。并且,除在Sc 缺陷類上檢測精度略低于YOLOv8外,YOLOX-αSMV對每種缺陷類別的檢測精度均高于其他對比算法,mAP50達(dá)到了最優(yōu)值78.84%。
YOLOX-αSMV模型的參數(shù)量為9.02 M,比大多數(shù)模型參數(shù)量低,僅比YOLOv5高1.82 M,而檢測速度達(dá)到了175.5 f/s,比YOLOv5提高75.7 f/s,比YOLOv7提高36.6 f/s,與基準(zhǔn)模型YOLOX相比基本保持不變。
與目前標(biāo)檢測領(lǐng)域的SOTA算法YOLOv8相比,本文模型mAP提高0.24%,參數(shù)量只有YOLOv8的約80%,檢測速度提高了51.55%。
綜合以上實驗結(jié)果可知,在NEU-DET數(shù)據(jù)集上,YOLOX-αSMV以較小的代價,達(dá)到了較優(yōu)的檢測結(jié)果,說明本文算法適用于帶鋼材料表面缺陷檢測,有較強的缺陷檢測能力,能夠檢測出其他目標(biāo)檢測模型難以識別的模糊缺陷、小目標(biāo)等缺陷。
為驗證本文算法的泛化能力,進(jìn)一步在鋼材表面缺陷數(shù)據(jù)集GC10-DET和公共數(shù)據(jù)集PASCAL VOC2012上對YOLOX算法和YOLOX-αSMV算法進(jìn)行對比實驗。GC10-DET包括沖孔、焊縫、夾雜物、新月形縫隙等10種缺陷類別;VOC2012包括人、動物、交通工具、家具四大類,共20種常見目標(biāo)類別,實驗結(jié)果如表3所示。
由表3數(shù)據(jù)可知,本文算法在GC10-DET上,mAP達(dá)到37.67%,提高2.77%,在PASCAL VOC2012數(shù)據(jù)集上,mAP達(dá)到57.68%,相對于YOLOX網(wǎng)絡(luò),提高2.02%,F(xiàn)PS均基本保持不變,表現(xiàn)良好。充分說明了本文提出的YOLOX-αSMV算法在同類型數(shù)據(jù)集和公共數(shù)據(jù)集上依舊具有良好的泛化能力和檢測性能。
圖6直觀地展示了YOLOX算法和本文算法在實際檢測中對部分缺陷的檢測效果。兩種算法對比可知:本文算法能檢測出YOLOX算法未檢出的小目標(biāo)缺陷;檢測框更貼近真實缺陷區(qū)域;相同區(qū)域檢測框的置信度更高。這充分證明本文對YOLOX改進(jìn)的有效性,改進(jìn)后的算法更適用于帶鋼材料表面缺陷檢測,具有良好的實用價值。
2.5 消融實驗及分析
2.5.1 CBAM和CA模塊融合方式
為對比CBAM和CA模塊融合多維度信息的不同順序和方式對模型精度的影響,本文設(shè)計了如圖7所示的兩種多維度特征融合模塊。
圖7(a)為CBAM和CA模塊串行,特征向量經(jīng)過CBAM融合通道和空間信息后,通過CA模塊融入缺陷的位置信息,最后輸出融合后的特征向量。圖7(b)為CBAM和CA模塊并行,輸入的特征向量同時經(jīng)過CBAM和CA模塊融入相應(yīng)維度的特征信息,再相加并通過一個SiLU激活函數(shù)后輸出。不同融合結(jié)構(gòu)的實驗結(jié)果如表4所示。
由表4數(shù)據(jù)可知,CBAM和CA模塊采用串行結(jié)構(gòu)雖然在速度上比并行結(jié)構(gòu)略慢,但精度提高1.9%。因此,本文模型采用CBAM和CA模塊串行融合多維度特征信息。
2.5.2 消融實驗
為進(jìn)一步驗證本文模型的檢測能力,分析4種改進(jìn)方案對算法的作用,在NEU-DET數(shù)據(jù)集上,設(shè)置相同的運行環(huán)境和實驗超參數(shù),對各改進(jìn)方案進(jìn)行消融實驗,表中,“√”表示使用該改進(jìn)方案。由表5實驗數(shù)據(jù)可知,單獨采用這4種改進(jìn)方案對模型的參數(shù)量、檢測能力和檢測速度都有不同程度的影響。由實驗2、3、4、5可知,4種改進(jìn)方案對模型性能都有增益,MDFFM的引入加強了模型的特征提取能力,mAP提升2.84%,SPP_SF保留了更多的特征信息,提高了模型的訓(xùn)練效率,F(xiàn)PS達(dá)到182.3 f/s。
由實驗6可知,在YOLOX網(wǎng)絡(luò)中同時應(yīng)用MDFFM和SPP_SF,檢測速度下降9.2 f/s,mAP提高3.01%,檢測精度提升最為明顯,這說明了雖然SPP_SF對檢測精度效果有限,但可以彌補MDFFM在速度上的不足,有效提高了模型的檢測能力。由實驗7可知,同時引入分類損失Varifocal Loss和回歸損失α-CIoU,在不增加模型參數(shù)量的前提下,mAP提高2.42%,檢測速度也提高7.7 f/s,說明將有限的訓(xùn)練資源傾斜到有目標(biāo)的正樣本上,并優(yōu)化IoU計算方式可以提高模型魯棒性和檢測速度。
由實驗8可知,同時采用這4種改進(jìn)方案,參數(shù)量提高0.08 M,檢測速度下降1.7 f/s,在小幅度犧牲模型大小和檢測速度的情況下,mAP達(dá)到47.54%,mAP50達(dá)到78.84%,分別提高3.43%、2.14%。RS類缺陷由于部分樣本偏暗,導(dǎo)致特征提取過程中的信息丟失,未達(dá)到最優(yōu),不過仍優(yōu)于YOLOX網(wǎng)絡(luò)。除RS缺陷外,其余缺陷類別精度均達(dá)到最優(yōu),進(jìn)一步證明了本文模型在帶鋼材料表面缺陷檢測中的有效性。
3 結(jié)論
本文通過引入通道注意力機制、軟池化,改進(jìn)損失函數(shù)等方法對YOLOX算法進(jìn)行優(yōu)化,提出了YOLOX-αSMV算法,以實現(xiàn)對帶鋼材料表面缺陷高效、精確的檢測。在NEU-DET數(shù)據(jù)集上對算法進(jìn)行了實驗分析,結(jié)論如下。
1) 改進(jìn)算法有效彌補了原網(wǎng)絡(luò)的漏檢、錯檢情況,檢測框的置信度也更高,更接近真實框,具有一定的魯棒性。
2) 本文算法在裂紋缺陷上的檢測精度仍然較低,后續(xù)可以對此類缺陷的檢測進(jìn)行研究,進(jìn)一步提高算法的檢測能力。
參考文獻(xiàn):
[1]? ?HU B, WANG J. Detection of PCB surface defects with improved Faster R-CNN and feature pyramid network[J]. IEEE Access, 2020, 8: 108335-108345.
[2]? ?曹義親, 周一緯, 徐露. 基于E-YOLOX的實時金屬表面缺陷檢測算法[J]. 圖學(xué)學(xué)報, 2023, 44(4): 677-690.
CAO Y Q, ZHOU Y W, XU L. A real-time metallic surface defect detection algorithm based on E-YOLOX[J]. Journal of Graphics, 2023, 44(4): 677-690.
[3]? ?JIN X, WANG Y, ZHANG H, et al. DM-RIS: Deep multimodel rail inspection system with improved MRF-GMM and CNN[J]. IEEE Transactions on Instrumentation and Measurement, 2019, 69(4): 1051-1065.
[4]? ?URBONAS A, RAUDONIS V, MASKELI?NAS R, et al. Automated identification of wood veneer surface defects using faster region-based convolutional neural network with data augmentation and transfer learning[J].Applied Sciences, 2019, 9(22): 4898.
[5]? ?ZHANG J, KANG X, NI H, et al. Surface defect detection of steel strips based on classification priority YOLOv3-dense network[J]. Ironmaking & Steelmaking, 2021, 48(5): 547-558.
[6]? ?馬燕婷, 趙紅東, 閻超, 等. 改進(jìn)YOLOv5網(wǎng)絡(luò)的帶鋼表面缺陷檢測方法[J]. 電子測量與儀器學(xué)報, 2022, 36(8):150-157.
MA Y T, ZHAO H D, YAN C, et al. Strip steel surface defect detection method by improved YOLOv5 network[J]. Journal of Electronic Measurement and Instrumentation, 2022, 36(8): 150-157.
[7]? ?翁玉尚, 肖金球, 夏禹. 改進(jìn)Mask R-CNN算法的帶鋼表面缺陷檢測[J]. 計算機工程與應(yīng)用, 2021, 57(19): 235-242.
WENG Y S, XIAO J Q, XIA Y. Strip surface defect detection based on improved Mask R-CNN algorithm[J]. Computer Engineering and Applications, 2021, 57(19): 235-242.
[8]? ?STERGIOU A, POPPE R, KALLIATAKIS G. Refining activation downsampling with softpool[C]//Montreal: 2021 IEEE/CVF International Conference on Computer Vision (ICCV), 2021.
[9]? ?WOO S, PARK J C, LEE J Y, et al. Cbam: Convolutional block attention module[C]// Munich: Proceedings of the European Conference on Computer Vision (ECCV), 2018.
[10] HOU Q, ZHOU D, FENG J. Coordinate attention for efficient mobile network design[C]// Nashville : 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021.
[11] ZHANG H, WANG Y, DAYOUB F, et al. Varifocalnet: An IoU-aware dense object detector[C]// Nashville :2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021.
[12] HE J, ERFANI S, MA X, et al. Alpha-IoU: A family of power intersection over union losses for bounding box regression[J]. Advances in Neural Information Processing Systems, 2021, 34: 20230-20242.
[13] TIAN Z, SHEN C, CHEN H, et al. Fcos: Fully convolutional one-stage object detection[C]//Seoul: 2019 IEEE/CVF International Conference on Computer Vision (ICCV), 2019.
[14] WANG C Y, BOCHKOVSKIY A, LIAO H Y M. YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors[C]// Vancouver: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023.
[15] 曹義親, 伍銘林, 徐露. 基于改進(jìn)YOLOv5算法的鋼材表面缺陷檢測[J]. 圖學(xué)學(xué)報, 2023, 44(2): 335-345.
CAO Y Q, WU M L, XU L. Steel surface defect detection based on improved YOLOv5 algorithm[J]. Journal of Graphics, 2023, 44(2): 335-345.
第一作者:曹義親(1964—),男,教授,碩士,碩士生導(dǎo)師,研究方向為圖像處理、模式識別。E-mail:yqcao@ecjtu.edu.cn。
通信作者:劉文才(1999—),男,碩士研究生,研究方向為圖像處理。E-mail:473256359@qq.com。