孟 瑞 ，盧宗遠 ，叢英浩

(1.安徽工業(yè)大學(xué)a.機械工程學(xué)院，b.工程研究院, 安徽 馬鞍山 243032；2.上海梅山鋼鐵股份有限公司,江蘇 南京 210039)

燒結(jié)機臺車在作業(yè)的整個過程中，臺車軸承經(jīng)受著高溫、重載等惡劣的工況，軸承在缺少潤滑的狀態(tài)下磨損加劇，經(jīng)常出現(xiàn)損壞，嚴重影響臺車的使用壽命，進而影響燒結(jié)生產(chǎn)穩(wěn)定運行。為確保燒結(jié)機臺車車輪的良好潤滑狀態(tài)，目前使用一種機器視覺的跟蹤注油系統(tǒng)控制機器人自動為車輪注油。其中常采用全局閾值分割、數(shù)學(xué)形態(tài)學(xué)、邊緣特征提取、霍夫圓檢測等傳統(tǒng)機器視覺檢測算法來定位注油孔[1]。傳統(tǒng)檢測算法快速便捷，但易受光照、灰塵、油污等現(xiàn)場因素的干擾，導(dǎo)致檢測的準確率不高；此外，人工設(shè)計的特征與分類器的主觀選擇也影響識別的準確率。對于表面整潔的注油孔，采用閾值分割和霍夫圓檢測等傳統(tǒng)機器視覺算法可快速準確地檢測到其坐標；但對于注油后的油孔因表面常留有黃油油漬，且油漬分布不規(guī)則，采用傳統(tǒng)機器視覺檢測算法很難準確檢測注油孔位置。

與傳統(tǒng)機器視覺檢測算法相比，卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)領(lǐng)域的重要分支，在處理圖像數(shù)據(jù)時采用卷積神經(jīng)網(wǎng)絡(luò)提取特征，特征表達及泛化能力優(yōu)于人工設(shè)計的特征[2]。隨著計算機視覺與深度學(xué)習(xí)技術(shù)在工業(yè)機器人領(lǐng)域的廣泛應(yīng)用，深度卷積神經(jīng)網(wǎng)絡(luò)(deep convolutional neural networks，DCNN)在視覺機器人中突顯出巨大優(yōu)勢。深度學(xué)習(xí)檢測算法主要分為兩種，一種是兩階段目標檢測算法，主要有RCNN(region with CNN feature)、Fast RCNN、Faster RCNN[3-5]等，先由網(wǎng)絡(luò)獲取目標區(qū)域候選框，再通過RCNN 進行分類。趙衛(wèi)東等[6]使用Faster RCNN 作為電表字符缺陷分步檢測算法，在檢測每張圖像耗時0.6 s 的情況下，準確率達99.9%。然而兩階段目標檢測中生成候選區(qū)域步驟占用大量資源，導(dǎo)致檢測速度慢。與之相比，以SSD(single shot multibox detector)[7]、YOLO[8-9]等為代表的單階段目標檢測算法，只需一次提取特征即可實現(xiàn)目標檢測，檢測速度快。李維剛等[10]通過調(diào)整YOLOv3 算法結(jié)構(gòu)，融合淺層與深層特征形成新的大尺度檢測圖層，在NEU-DET 數(shù)據(jù)集上的檢測精度較原YOLOv3 算法提高了11%，檢測速度保持在50 F/s；盧艷東等[11]提出一種改進的YOLOv3-tiny 輕量級軌道緊固件檢測算法，采用具有反向殘差的線性瓶頸結(jié)構(gòu)為主干，采用深度可分離卷積檢測頭部，改進的YOLOv3-tiny 檢測精度達98.81%，檢測速度達25 F/s。

上述算法中通過使用改進的卷積神經(jīng)網(wǎng)絡(luò)完成不同尺度目標的檢測。對于注油機器人等工業(yè)流水線類機器人，檢測的目標尺度相對固定、檢測難度較低，但對檢測的實時性要求較高；且機器人部署平臺性能有限，當(dāng)前深度學(xué)習(xí)模型冗余度較大無法充分發(fā)揮檢測效果。鑒于此，基于YOLOv5 算法，提出一種改進的輕量級檢測算法YOLOv5-S，采用ShuffleNetv2 作為特征提取部分并調(diào)整輸入圖像分辨率和深度卷積核尺寸，以期機器人在工控機算力和存儲資源有限時也具備良好的識別率和檢測速度。

1 網(wǎng)絡(luò)構(gòu)建

1.1 YOLOv5 網(wǎng)絡(luò)結(jié)構(gòu)

YOLO 系列算法是目前使用最多的一種單階段目標檢測算法，當(dāng)前最新版本為YOLOv5，結(jié)構(gòu)如圖1。YOLOv5 對應(yīng)4 個模型，分別是v5s，v5m，v5l 和v5x。YOLOv5s 模型相對簡潔、訓(xùn)練速度快，其他版本模型都是在YOLOv5s 模型的基礎(chǔ)上對結(jié)構(gòu)進行加深與加寬的。文中選用模型最小的YOLOv5s。

圖1 YOLOv5 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 YOLOv5 network structure

YOLOv5 分為三部分，具體為特征提取、FPN 與YOLO Head。將輸入的圖像縮放至規(guī)定尺寸后，在主干網(wǎng)絡(luò)中進行特征提取，獲取3 個有效特征層用于下一步網(wǎng)絡(luò)的構(gòu)建；FPN 為YOLOv5 的加強特征提取網(wǎng)絡(luò)，主干網(wǎng)絡(luò)輸出的3 個有效特征層通過FPN 進行特征融合，結(jié)合不同尺度的特征信息進行特征加強；YOLO Head 是YOLOv5 的分類器與回歸器。通過主干網(wǎng)絡(luò)和FPN 獲得3 個加強的有效特征層，每個特征層的特征圖都有寬、高和通道數(shù)，此時特征圖可看作特征點的集合，每個特征點的特征數(shù)即為通道數(shù)。每個特征點由YOLO Head 判斷是否有目標物體與其對應(yīng)。因此，YOLOv5 算法目標檢測流程為特征提取、特征加強、預(yù)測特征點對應(yīng)的目標。

1.2 ShuffleNetv2 網(wǎng)絡(luò)結(jié)構(gòu)

Ma 等[12]將ShuffleNetv2 作為一個有效的分類網(wǎng)絡(luò)，同時提出4 條實用準則：

1) 當(dāng)卷積層輸入輸出特征通道數(shù)相等時，內(nèi)存訪問量(memory access cost，MAC)最小，模型速度最快；

2) 卷積的分組運算增加MAC，以減慢模型速度；

3) 模型中的分支數(shù)越少，模型速度越快；

4) 元素操作的時間消耗遠大于觸發(fā)器中反映的值，應(yīng)盡量減少元素操作。

基于上述4 個標準，文中提出ShuffleNetv2 網(wǎng)絡(luò)結(jié)構(gòu)，如表1。在ShuffleNetv2 網(wǎng)絡(luò)模型中，主要結(jié)構(gòu)是中間的3 個stage，每個stage 中ShuffleNetv2 的下采樣單元均重復(fù)1 次，ShuffleNetv2 基本單元重復(fù)次數(shù)分別為3，7，3。圖2(a)為ShuffleNetv2 的基本單元，輸入的特征通道被平分后分別進入2 個分支卷積，再將輸出進行堆疊操作，特征圖通過基本單元的操作后大小和通道數(shù)不變。圖2(b)為Shuffle-Netv2 的下采樣單元，將輸入的特征通道復(fù)制2 份直接進入2 個分支，特征圖尺寸通過下采樣單元的操作后變小，輸出的通道數(shù)增加1 倍。對于ShuffleNetv2結(jié)構(gòu)，在邊緣設(shè)備部署時具有較低的延時及較好的泛化性能。為實現(xiàn)在更低計算資源的嵌入式場景中使用，或在輕量級檢測框架中作為網(wǎng)絡(luò)的特征提取部分，需對ShuffleNetv2 進行優(yōu)化。

圖2 ShuffleNetv2 的構(gòu)建塊Fig.2 Building blocks of ShuffleNetv2

表1 ShuffleNetv2 網(wǎng)絡(luò)結(jié)構(gòu)Tab.1 ShuffleNetv2 network structure

1.3 YOLOv5-S 網(wǎng)絡(luò)結(jié)構(gòu)

CNN 中多數(shù)卷積運算的目的是提取圖像特征，卷積過程中網(wǎng)絡(luò)每層輸出特征圖上的像素點在輸入圖像映射的區(qū)域大小被稱為感受野。大的感受野包含更多的上下文信息和像素信息，有利于對大型對象的定位。文獻[13-14]也證明了感受野對語義分割和目標檢測任務(wù)的有效性，YOLO，SSD，RetinaNet 等算法特征提取部分的定位任務(wù)比分類任務(wù)難度大。由此表明在后期的特征融合階段淺層特征應(yīng)更充分，同時只有結(jié)合深層特征才能在目標檢測任務(wù)中達到理想的效果。從目前的輕量級特征提取網(wǎng)絡(luò)中發(fā)現(xiàn)，ShuffleNet[15]、MobileNet[16-17]的輸入分辨率限制了感受野的大小，且缺乏淺層特征，不利于目標檢測任務(wù)中的定位。

為更好地滿足目標檢測任務(wù)中的特征提取，對輕量級卷積神經(jīng)網(wǎng)絡(luò)ShuffleNet 進行改進，將輸入圖像的分辨率調(diào)整為416×416，以確保模型能夠提取豐富的淺層特征信息；將ShuffleNetv2 部分基本單元中深度卷積的卷積核尺寸由原來的3×3 替換為5×5，以進一步擴展特征圖的感受野，如圖3。ShuffleNetv2 最后3 個特征層的功能主要是分類，因此只保留Conv1，Maxpool，Stage2，Stage3，Stage4 作為YOLOv5-S 中特征提取部分，具體網(wǎng)絡(luò)結(jié)構(gòu)如表2。

表2 基于ShuffleNetv2 的特征提取網(wǎng)絡(luò)Tab.2 Feature extraction network based on ShuffleNetv2

圖3 改進ShuffleNetv2 的構(gòu)建塊Fig.3 Building blocks for improved ShuffleNetv2

文中通過改進YOLOv5 算法得到輕量級目標檢測算法YOLOv5-S，將其網(wǎng)絡(luò)特征提取部分替換為改進的ShuffleNetv2 結(jié)構(gòu)，YOLOv5-S 算法的網(wǎng)絡(luò)結(jié)構(gòu)如圖4。由圖4 可看出：改進算法的網(wǎng)絡(luò)結(jié)構(gòu)中Stage2，Stage3 和Stage4 的輸出分別作為特征融合網(wǎng)絡(luò)的輸入；每個Stage 操作先經(jīng)過1 個ShuffleNetv2空間下采樣單元和3 個重復(fù)的基本單元，減少了相同的操作次數(shù)，保留了空間金字塔網(wǎng)絡(luò)(圖中的SPP結(jié)構(gòu))。

圖4 YOLOv5-S 網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 YOLOv5-S network structure

2 實驗驗證

2.1 數(shù)據(jù)篩選與處理

采取不同工況下注油孔的圖像數(shù)據(jù)樣本，按照工況將數(shù)據(jù)樣本分為三類，即正常注油、注油孔缺失、注油孔密封球損壞，如圖5。共采集1 408 張圖像，每張圖像的分辨率為 640×480，將樣本按8∶2 劃分為訓(xùn)練集和測試集，結(jié)果如表3。使用開源LabelImg 對圖像中的注油孔進行標注及分類，樣本類別名分別為“oiling”“missing”“breaking”，標注后的文件以 txt 作為后綴，與圖像名保持一致。對于所有的實驗，使用i7-10700 CPU 加1050 Ti GPU 進行訓(xùn)練，深度學(xué)習(xí)框架為Pytorch；僅使用CPU 進行測試驗證，模擬部署環(huán)境。

表3 數(shù)據(jù)集類別分類Tab.3 Classification of dataset categories

圖5 數(shù)據(jù)集分類Fig.5 Data set classification

2.2 實驗與結(jié)果分析

為驗證改進算法YOLOv5-S 的有效性，在配置條件及數(shù)據(jù)集相同的條件下對YOLOv5-S，YOLOv5，YOLOv3-tiny[12]進行訓(xùn)練實驗。設(shè)置初始學(xué)習(xí)速率為0.01，若模型在2 次迭代以上采用驗證損失函數(shù)進行訓(xùn)練而損失值沒有減少，則將學(xué)習(xí)速率降至當(dāng)前速率的0.10，最后在300 次迭代時終止。在輕量級目標檢測領(lǐng)域，算法評估指標主要包含模型大小、速度和性能3 個方面。模型大小即所占內(nèi)存大小，速度評估指標有幀數(shù)(FPS)、浮點操作次數(shù)(FLOPs)等，性能評估指標有平均精度均值(mean average precision，mAP)、損失、召回率等。YOLOv5-S，YOLOv5，YOLOv3-tiny 算法的mAP、模型大小、FLOPs 等的實驗結(jié)果如表4。由表4 可看出：與YOLOv5 相比，YOLOv5-S 的mAP 僅下降0.1%，模型大小縮減了10.779 MB，浮點運算縮減了11.7×109次，檢測速度提升了11.7 F/s；YOLOv5-S 在速度和精度評估指標方面均優(yōu)于YOLOv3-tiny。

表4 目標檢測模型性能評價指標實驗結(jié)果Tab.4 Test results of target detection algorithm performance evaluation indicators

YOLOv5-S 的訓(xùn)練與驗證數(shù)據(jù)如圖6。

圖6 YOLOv5-S 算法的訓(xùn)練與驗證數(shù)據(jù)Fig.6 Training and validation data of YOLOv5-S algorithm

圖6 中：橫坐標為迭代次數(shù)n；縱坐標為訓(xùn)練結(jié)果指標。其中：Box，Objectness，Classification 分別為訓(xùn)練集回歸坐標損失、置信度損失，分類損失；Val box，Val objectness，Val classification 為驗證集的3 項損失；mAP@0.50 為圖像預(yù)測框和真實框在交并比為0.50 時的平均精度均值；mAP@0.50～0.95 為交并比在0.50～0.95 之間的平均精度均值。由圖6(a)可看出：回歸坐標損失、置信度損失和分類損失在訓(xùn)練集迭代過程中呈平穩(wěn)下降趨勢；精度、召回率在迭代過程中震蕩上升并趨于穩(wěn)定。由圖6(b)可看出：3 項損失在驗證集迭代過程中同樣呈平穩(wěn)下降趨勢；整體的mAP@0.50 趨近于1，且整體的mAP@0.50～0.95 在0.9以上。證明YOLOv5-S 算法在注油孔檢測中效果穩(wěn)定可靠。

通過精度和召回率關(guān)系曲線可直觀比較檢測算法的性能，分別將YOLOv3-tiny 和YOLOv5-S 算法訓(xùn)練結(jié)果中召回率為橫坐標，精度為縱坐標繪制曲線，結(jié)果如圖7。曲線圍成的面積越大網(wǎng)絡(luò)的性能越高。由圖7 可看出：同一坐標系中，YOLOv3-tiny的精度和召回率關(guān)系曲線被YOLOv5-S 的精度和召回率關(guān)系曲線完全包含，說明后者的性能優(yōu)于前者。

圖7 YOLOv5-S 和YOLOv3-tiny 算法的精度-召回率曲線Fig.7 Recall-precision curves of YOLOv5-S and YOLOv3-tiny algorithms

改進算法的檢測效果如圖8，圖8(a)為潔凈情況下注油孔圖像的檢測效果，8(b)為油污情況下注油孔圖像的檢測效果。圖中矩形框為注油孔的檢測框，檢測框上方文字為類別名，數(shù)字為檢測注油孔的置信率。由圖8 可看出：改進算法對表面留有油污的注油孔也具有良好的檢測效果。

圖8 目標檢測結(jié)果Fig.8 Target detection results

3 結(jié) 論

針對傳統(tǒng)機器視覺檢測算法受限及已有的深度學(xué)習(xí)檢測模型存在冗余等問題，通過YOLOv5 算法的改進，提出一種輕量級深度學(xué)習(xí)檢測算法YOLOv5-S，使用ShuffleNetv2 作為特征提取部分，通過更改輸入圖像的分辨率及擴大深度卷積的卷積核尺寸等手段提升特征提取能力，且使用注油孔樣本數(shù)據(jù)集進行對比驗證。結(jié)果表明：相比原算法，YOLOv5-S 的mAP 僅下降0.1%，而模型大小和浮點操作次數(shù)分別縮減76.7%和71.3%，檢測速度提升了11.7 F/s；YOLOv5-S 的檢測速度和精度也均優(yōu)于已有的輕量級目標檢測算法YOLOv3-tiny，進一步說明了YOLOv5-S 中更換網(wǎng)絡(luò)特征提取部分以及優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)的有效性。