李一鳴,王 瀟
(1.北京信息科技大學(xué) 機(jī)電工程學(xué)院,北京 100192;2.北京信息科技大學(xué) 現(xiàn)代測(cè)控技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室,北京 100192)
軋鋼作為重要的工業(yè)原材料,軋鋼的質(zhì)量直接影響產(chǎn)品的質(zhì)量[1]。因此,軋鋼的表面缺陷精準(zhǔn)檢測(cè)顯得尤為重要。目前,軋鋼表面缺陷的檢測(cè)方法主要有無(wú)損檢測(cè)[2]和基于機(jī)器視覺(jué)的檢測(cè)[3]。其中無(wú)損檢測(cè)存在檢測(cè)類(lèi)型有限的缺陷;基于機(jī)器視覺(jué)檢測(cè)方法存在手工提取特征的主觀性,難以實(shí)現(xiàn)多種缺陷類(lèi)型的檢測(cè),尤其是小目標(biāo)的識(shí)別定位[4,5]。
隨著深度學(xué)習(xí)網(wǎng)絡(luò)的日益成熟,深度學(xué)習(xí)方法在目標(biāo)檢測(cè)與識(shí)別分類(lèi)問(wèn)題中得到了廣泛的應(yīng)用,也運(yùn)用到鋼材的表面缺陷檢測(cè)中[6~9]。文獻(xiàn)[6]采用改進(jìn)的YOLOv3進(jìn)行金屬表面缺陷檢測(cè),檢測(cè)精度達(dá)到67.64%。文獻(xiàn)[7]采用改進(jìn)的Faster R-CNN進(jìn)行螺紋鋼表面缺陷檢測(cè),取得了穩(wěn)定的缺陷檢測(cè)模型。文獻(xiàn)[8]采用卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)鋼板表面焊縫,檢測(cè)精度達(dá)到97%以上。文獻(xiàn)[9]采用改進(jìn)Faster R-CNN檢測(cè)鋼板表面缺陷,平均檢測(cè)精度達(dá)到87.14%,明顯提高了小缺陷的檢測(cè)精度。
YOLOv5s模型沿用YOLOv3、YOLOv4的整體布局,包含Input、Backbone、Neck、Output四個(gè)部分,其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。
圖1 YOLOv5s模型結(jié)構(gòu)
Input:采用Mosaic方式擴(kuò)充數(shù)據(jù)樣本,通過(guò)不斷更新預(yù)測(cè)框和標(biāo)注框的差值并反向更新網(wǎng)絡(luò)的參數(shù)自主的計(jì)算最佳a(bǔ)nchor框值,自適應(yīng)的縮放圖片從而減少黑邊降低冗余信息;
Backbone:包含F(xiàn)ocus結(jié)構(gòu)、CSP Networks和SPP結(jié)構(gòu);
Neck:由CSP2_X結(jié)構(gòu)、FPN+PAN結(jié)構(gòu)組成;
Output:包含邊界框損失函數(shù)和NMS,從而獲得最佳的目標(biāo)檢測(cè)框。
軋鋼表面缺陷目標(biāo)檢測(cè)試驗(yàn)采用東北大學(xué)鋼材表面缺陷數(shù)據(jù)集(NEU-CLS)[10]作為YOLOv5模型的訓(xùn)練輸入和檢測(cè)目標(biāo),該數(shù)據(jù)集包含6種常見(jiàn)的軋鋼表面缺陷,分別為軋制氧化皮(rolled-in scale)、斑塊(patches)、細(xì)裂紋(crazing)、表面點(diǎn)蝕(pitted surface)、夾雜(inclusion)、劃痕(scratches)。數(shù)據(jù)集圖像的初始分辨率為200×200像素,訓(xùn)練集包括295×6張圖片,驗(yàn)證集包括5×6張圖片,一共1800張圖片。
2.2.1 試驗(yàn)環(huán)境與配置
基于YOLOv5模型的軋鋼表面缺陷檢測(cè)的硬件環(huán)境為:
1)處理器:Intel i7-8550U CPU @1.80GHz;
2)計(jì)算機(jī)內(nèi)存:8GB;
3)顯卡:GPU NVIDIA GeForce MX150。
軟件環(huán)境為:
1)操作系統(tǒng):windows1064位;
2)開(kāi)發(fā)語(yǔ)言:python 3.7,pytorch 1.7.1框架;
3)軟件庫(kù)文件:numpy 1.19.2,opencv 4.5.1,cuda 11.0.221,tensorboard 2.5.0。
2.2.2 YOLOv5模型超參數(shù)設(shè)置
分別基于YOLOv5s模型、YOLOv5m模型和YOLOv5l模型訓(xùn)練軋鋼表面缺陷檢測(cè)模型,采用小批量隨機(jī)梯度下降法(SGD)來(lái)訓(xùn)練檢測(cè)模型,3個(gè)YOLOv5模型的小批量(batch)分別設(shè)為16、4、2,網(wǎng)絡(luò)的初始學(xué)習(xí)率設(shè)為0.01,動(dòng)量參數(shù)設(shè)為0.937,權(quán)重衰減系數(shù)設(shè)為0.0005,最大訓(xùn)練次數(shù)設(shè)為300。
2.2.3 YOLOv5模型訓(xùn)練過(guò)程
使用YOLOv5在COCO數(shù)據(jù)集上訓(xùn)練好的權(quán)值文件yolov5s.pt、yolov5m.pt、yolov5l.pt分別作為其對(duì)應(yīng)的YOLOv5模型的初始權(quán)值,采用遷移學(xué)習(xí)微調(diào)模型的權(quán)值,使得YOLOv5模型收斂,獲得軋鋼表面缺陷檢測(cè)模型,實(shí)現(xiàn)軋鋼表面缺陷的精準(zhǔn)檢測(cè)。
其中,YOLOv5s模型訓(xùn)練耗時(shí)為32.62h,得到的權(quán)值文件大小為14.4MB;YOLOv5m模型的訓(xùn)練耗時(shí)為59.42h,得到的權(quán)值文件大小為42.5MB;YOLOv5l模型的訓(xùn)練耗時(shí)為112.5h,得到的權(quán)值文件大小為93.8MB。由此可知,隨著YOLOv5模型規(guī)模越大,訓(xùn)練耗時(shí)越長(zhǎng),權(quán)值文件占用的空間也越大。
分別通過(guò)測(cè)試精度(precision,P)、召回率(Recall,R)和mAP來(lái)評(píng)價(jià)軋鋼表面缺陷檢測(cè)模型的性能。P指的是一個(gè)檢測(cè)模型預(yù)測(cè)的正樣本的確是正樣本的概率;R指的是一個(gè)檢測(cè)模型預(yù)測(cè)的實(shí)際正樣本的個(gè)數(shù);AP為P對(duì)R的積分,而mAP是各類(lèi)AP的平均值,它用來(lái)評(píng)價(jià)檢測(cè)模型的整體性能。
基于YOLOv5s模型、YOLOv5m模型和YOLOv5l模型的軋鋼表面缺陷檢測(cè)結(jié)果如圖2~圖4所示。由圖2~圖4可以看出,對(duì)比于軋鋼表面缺陷標(biāo)注,3個(gè)模型的6類(lèi)缺陷均能較準(zhǔn)確地識(shí)別定位,但存在缺陷的定位精度不高的情況?;赮OLOv5s、YOLOv5m和YOLOv5l的軋鋼表面缺陷檢測(cè)模型性能對(duì)比如表1所示。由表1可知,YOLOv5l模型的精度P、召回率R和mAP均低于另兩個(gè)模型,可能的原因是YOLOv5l模型規(guī)模較大,訓(xùn)練不夠,模型仍未完全收斂。YOLOv5m模型的精度P(0.875)高于YOLOv5s模型的精度P(0.772);YOLOv5s模型的召回率R(0.773)高于YOLOv5m模型的召回率R(0.687);在IOU的閾值為0.5時(shí),YOLOv5s模型的mAP(0.776)略高于YOLOv5m模型的精度mAP(0.773);而IOU的閾值從0.5取至0.95,兩個(gè)模型的mAP的平均值均較低,只有0.441。因此,可以看出,判定正負(fù)樣本的IOU閾值對(duì)于軋鋼表明缺陷檢測(cè)非常重要。綜合考慮YOLOv5s模型和YOLOv5m模型的性能指標(biāo),以及兩個(gè)模型的訓(xùn)練耗時(shí)與模型大小,采用YOLOv5s模型作為軋鋼表面缺陷檢測(cè)的模型。
圖4 基于YOLOv5l的軋鋼表面缺陷檢測(cè)結(jié)果
表1 基于不同YOLOv5模型的軋鋼表面缺陷檢測(cè)模型的性能
圖2 基于YOLOv5s的軋鋼表面缺陷檢測(cè)結(jié)果
圖3 基于YOLOv5m的軋鋼表面缺陷檢測(cè)結(jié)果
軋鋼表面缺陷智能檢測(cè),有助于生產(chǎn)人員準(zhǔn)確地把握軋鋼的情況和快速地做出決策。而軋鋼表面的缺陷大小參差不齊,綜合考慮試驗(yàn)硬件條件和模型性能,基于YOLOv5模型對(duì)軋鋼的表面缺陷進(jìn)行檢測(cè)。并對(duì)比不同種類(lèi)YOLOv5模型的性能指標(biāo),采用YOLOv5s模型來(lái)實(shí)現(xiàn)軋鋼表面缺陷的智能檢測(cè),該模型的整體性能指標(biāo)mAP較高,且模型較小。