黨浚哲 陳立燁 崔子航 段琦鋒 陳思妍

摘? 要：為了能夠及時對煤礦運輸皮帶的故障進行檢測，文章研究一種用于煤礦運輸皮帶機故障檢測的機器學(xué)習(xí)方法。在對皮帶故障檢測圖像特點分析的基礎(chǔ)上，以基于ShuffleNet V2改進的YOLOv5網(wǎng)絡(luò)建立了煤礦運輸皮帶的故障檢測網(wǎng)絡(luò)。針對因工作環(huán)境導(dǎo)致的圖像質(zhì)量問題，在網(wǎng)絡(luò)前部加入了圖像預(yù)處理模塊。同時，為了減小模型體積，提高檢測速度和效率，對加強特征提取模塊和多尺度特征融合模塊進行了改進。實驗結(jié)果表明，煤礦運輸皮帶故障檢測網(wǎng)絡(luò)的mAP值達到0.896，實現(xiàn)了較高的檢測精度；同時檢測速度可達32.2幀/秒，滿足工業(yè)現(xiàn)場對實時檢測的需求。

關(guān)鍵詞：生產(chǎn)安全；皮帶運輸機；目標(biāo)檢測；計算機視覺

中圖分類號：TP391.4? 文獻標(biāo)識碼：A? 文章編號：2096-4706（2023）17-0145-06

Machine Learning Method for Fault Detection of Coal Mine Transport Belt

DANG Junzhe， CHEN Liye， CUI Zihang， DUAN Qifeng， CHEN Siyan

（School of Mechanical Electronic & Information Engineering， China University of Mining and Technology-Beijing，

Beijing? 100083， China）

Abstract： In order to detect the fault of coal mine transport belt in time， this paper studies a machine learning method for fault detection of coal mine transport belt machine. Based on the analysis of the characteristics of belt fault detection images， the fault detection network of coal mine transport belt is established by using the improved YOLOv5 network based on ShuffleNet V2. Aiming at the problem of image quality caused by working environment， an image preprocessing module is added to the front of the network. At the same time， in order to reduce the model volume， improve the detection speed and efficiency， the enhanced feature extraction module and the multi-scale feature fusion module are improved. The experimental results show that the mAP value of the proposed fault detection network of coal mine transport belt is up to 0.896， which achieves high detection accuracy. At the same time， the detection speed can be up to 32.2 FPS， to meet the needs of industrial field real-time detection.

Keywords： production safety; belt conveyor; object detection; computer vision

0? 引? 言

皮帶運輸機是一種遠(yuǎn)距離物料運輸設(shè)備，在煤礦生產(chǎn)中廣泛使用。受到日常檢修維護、工作環(huán)境以及皮帶耐久性等因素的影響，長時間、長距離地運行時可能會出現(xiàn)各種故障，如果解決不及時，將會發(fā)生事故，嚴(yán)重影響煤礦的生產(chǎn)安全，甚至?xí)o企業(yè)造成巨大的損失。研究運輸皮帶故障檢測具有重要的實際意義。

對于運輸皮帶故障國內(nèi)外學(xué)者提出了很多檢測方法，按照檢測方式可以劃分為接觸式檢測與非接觸式檢測。接觸式檢測較為常用的方法是物理機械式檢測法，檢測裝置包括棒形檢測器、壓力檢測器[1]等。非接觸式機器視覺檢測方法，譚恒提出了改進的Canny算法進行輸送帶的縱向撕裂和跑偏檢測[2]。張桂堂提出了改進的Otsu閾值分割算法和基于方向模板的中心二次提取算法，利用區(qū)域分割特征提取實現(xiàn)縱向撕裂的檢測[3]。武文澤提出了基于AlexNet和GoogLeNet的撕裂檢測算法[4]。崔敏提出改進的Sobel梯度算子，利用PCNN和MaskRCNN實現(xiàn)撕裂圖像特征提取和撕裂位置檢測，識別效果優(yōu)于基于混合特征的SVM方法[5]。滕飛提出利用X射線和FCOS故障檢測算法，改進了CIoU損失函數(shù)增強小撕裂的檢測能力[6]。

本文研究一種基于深度神經(jīng)網(wǎng)絡(luò)的皮帶磨損、撕裂檢測方法。

1? 皮帶故障檢測問題

皮帶機常見的故障主要包括撕裂、磨損、漏料、跑偏以及打滑等。就皮帶撕裂故障而言，目前常用的是機械式的檢測方法。機械式檢測方法容易誤報，另外，由于長期的接觸摩擦，使用壽命會受較大影響，可靠性較差。

非接觸式方法進行故障檢測，例如超聲波檢測、X射線檢測、電磁感應(yīng)檢測。這類方法可以對皮帶內(nèi)部結(jié)構(gòu)進行實時檢測，通過對比正常運行與故障時內(nèi)部結(jié)構(gòu)的不同來判斷皮帶工作情況。非接觸式檢測裝置檢測精度高，但是使用壽命會有所減少，成本較高，未能普遍推廣應(yīng)用。

采用計算機視覺技術(shù)進行檢測需要獲取運輸皮帶的圖像，煤礦生產(chǎn)環(huán)境粉塵多，照度不足，環(huán)境背景主要是煤，這樣造成的問題一是采集到的圖像普遍畫質(zhì)較差，需進行圖像預(yù)處理；二是采集到的圖片同質(zhì)化嚴(yán)重，易導(dǎo)致深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練時過擬合，泛化能力減弱。另外，運輸皮帶檢測任務(wù)對實時性要求高，算法要有高的檢測速度。

YOLOv5網(wǎng)絡(luò)在檢測精度與速度上具有較好的平衡性。它完全去除了候選區(qū)域生成和隨后的特征再篩選的過程，在PASCAL VOC等公開數(shù)據(jù)集上的實驗證明SSD在保證準(zhǔn)確性的同時，速度更快，適用于工業(yè)場景下的部署應(yīng)用。

本文將以YOLOv5算法為基礎(chǔ)，建立運輸皮帶故障識別模型。

2? 運輸皮帶故障識別模型的建立

2.1? 基礎(chǔ)模型YOLOv5

YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)簡潔，優(yōu)化了模型大小，減少了模型的參數(shù)量，運行速度更快，適合工業(yè)生產(chǎn)過程的實時檢測。它由三個部分組成，分別是Backbone、Neck（FPN+PAN）、Head三個部分。如圖1所示。

Backbone模塊主要包括三個部分，分別是卷積結(jié)構(gòu)、CSP和SPP。其中卷積結(jié)構(gòu)由三部分組成，分別是卷積層、BN層和激活函數(shù)。

Neck層主要包括FPN和PAN結(jié)構(gòu)。PAN層則在FPN層的基礎(chǔ)上增加了從低維度向高維度傳遞語義信息的過程，能夠?qū)崿F(xiàn)對大目標(biāo)特征提取的同時兼顧對小目標(biāo)特征的提取。

Head又叫Prediction層，Head層中利用率損失函數(shù)，能對前面網(wǎng)絡(luò)綜合提取出的特征進行推理和預(yù)測，實現(xiàn)對目標(biāo)的定位操作。

本文將根據(jù)煤礦運輸皮帶檢測的需要，進行模塊的修改，在YOLOv5的基礎(chǔ)上建立運輸皮帶故障檢測模型。

2.2? 皮帶故障檢測模型

為了更好地適合皮帶故障檢測應(yīng)用，本文提出了幾個修改，分別是圖像預(yù)處理模塊、主干特征提取模塊、加強特征提取模塊、多尺度特征融合模塊和預(yù)測輸出模塊，建立了一種深度神經(jīng)網(wǎng)絡(luò)運輸皮帶故障檢測模型。

2.2.1? 圖像預(yù)處理模塊

煤礦皮帶運輸機的工作現(xiàn)場環(huán)境惡劣，環(huán)境照明度低，空氣中存在粉塵和水霧，使得圖像的質(zhì)量降低，需要在算法的輸入端之前加上圖像預(yù)處理模塊，具體需要完成的包括低照度圖像增強和圖像去霧。

低照度增強模塊使用自適應(yīng)直方圖均衡技術(shù)。本文的皮帶磨損和撕裂故障需要關(guān)注對圖像局部細(xì)節(jié)的增強處理，因此采用自適應(yīng)直方圖均衡法，能夠?qū)植繄D像的像素與灰度分布特征進行均衡化處理，對增強局部細(xì)節(jié)效果更好。

去霧處理本文使用DehazeNet算法，該算法能通過學(xué)習(xí)得到有霧圖像與透射圖之間的映射關(guān)系，進而生成透射率映射圖[7]，再利用大氣散射模型恢復(fù)出無霧圖像。

2.2.2? 主干特征提取模塊

雖然YOLOv5中使用的殘差結(jié)構(gòu)可以通過堆疊多層來增強網(wǎng)絡(luò)的特征提取能力，但是層數(shù)增多也會增大計算量，使得建立的模型不能達到輕量化的要求。本文使用ShuffleNet V2網(wǎng)絡(luò)來實現(xiàn)圖像主要特征的提取。

ShuffleNet V2[8]是一種輕量化的網(wǎng)絡(luò)，具有計算量小、推理速度快等特點，同時也有很強的特征提取能力。本文選擇ShuffleNet V2作為backbone中的特征提取模塊，為了進一步減小計算量，本文對原有的ShuffleNet V2網(wǎng)絡(luò)進行了改進。主要是對原ShuffleNet V2的block中的channel shuffle操作進行了一些修改。原有的channel shuffle操作能夠?qū)Σ煌矸e分組的結(jié)果進行信息融合，從而保證得到的特征圖中的信息更加豐富。但是對于本文的皮帶檢測任務(wù)來說需要這些不同通道中的不同的信息，為此，在Stride為2的block的右側(cè)分支借鑒Picodet[9]和MobileNet V3中的處理方法，使用深度可分離卷積來替代channel shuffle的操作，實現(xiàn)不同通道的特征整合，同時在dw卷積后添加SE通道注意力模塊，增強通道之間信息整合能力。在Stride為1的block右側(cè)分支借鑒了GhostNet中的Ghost block方法來減少計算量，而左側(cè)捷徑分支與右側(cè)的輸出拼接后再接入SE注意力模塊。改進后的Enhanced ShuffleNet網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

2.2.3? 加強特征提取模塊

使用SPP模塊來實現(xiàn)特征的進一步提取時需要計算三種不同的最大池化，從而增大了計算量。為了進一步提高檢測速度，本文使用SPPF模塊代替原有的SPP模塊。SPPF模塊不需要進行分組卷積，也不需要進行不同尺度的池化。僅僅使用單一尺度的最大池化，并通過對不同深度的池化層的拼接處理實現(xiàn)對多尺度特征的信息融合。具體網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

實驗表明，改進的SPPF模塊相比于SPP模塊運算速度快，更適用于本文的應(yīng)用場景。

2.2.4? 多尺度特征融合模塊

YOLOv5網(wǎng)絡(luò)使用PAN模塊來實現(xiàn)對不同尺度特征的融合。PAN模塊雖然能融合多尺度的特征，但是在計算中跨越了大量卷積層，計算量很大。為了降低計算成本、提高模型的檢測速度，本文用CSPPAN模塊代替PAN模塊來完成對不同尺度特征圖的獲取。在PAN模塊的基礎(chǔ)上引入了CSP網(wǎng)絡(luò)和深度可分離卷積，利用深度可分離卷積可以調(diào)整特征圖的channel數(shù)，同時利用CSP網(wǎng)絡(luò)進行特征融合，從而減少了計算成本。

圖4中P6輸出中提取了尺度比較小的特征，利用此模塊更有利于對小尺度目標(biāo)的檢測，從而提高皮帶故障檢測網(wǎng)絡(luò)的小目標(biāo)檢測能力。

2.2.5? 預(yù)測輸出模塊

預(yù)測輸出模塊就是對最終提取出來的特征進行解碼，對相應(yīng)的目標(biāo)進行預(yù)測。預(yù)測輸出模塊分為三個部分，分別是分類模塊、回歸模塊和置信度模塊。

分類模塊對特征圖進行逐點分類，從特征圖中獲取每個位置所屬類別信息。本文算法識別的故障為皮帶磨損和撕裂兩類故障，所以分類模塊輸出的特征圖形狀為W×H×2。

回歸模塊對分類模塊輸出的特征圖進行解碼，計算出故障的大小和位置。利用故障中心點坐標(biāo)偏移量tx、ty和故障長寬比率tw、th這四個參數(shù)可以計算出故障位置信息偏移量bx、by、bw、bh?；貧w模塊的示意圖如圖5所示。

置信度模塊有利于網(wǎng)絡(luò)更快地收斂，本文在預(yù)測輸出模塊中最后引入置信度模塊，可以增強網(wǎng)絡(luò)對預(yù)測結(jié)果的判別區(qū)分能力。本文檢測的皮帶磨損和撕裂具有高度的相似性，因此加入此模塊能夠更好地區(qū)分這兩類故障，增強網(wǎng)絡(luò)的檢測能力。

3? 數(shù)據(jù)集和模型實驗

3.1? 數(shù)據(jù)集的建立

本文采集某選煤廠的圖像數(shù)據(jù)建立了皮帶故障樣本庫。共采集了2 500張磨損、撕裂圖片。其中撕裂圖像1 550張，磨損圖像1 250張，這里重復(fù)計算了同時包含兩種故障的圖像計300張。樣本庫由兩個部分組成，一個是原始故障圖片，另一個是儲存在json文件中的標(biāo)注。本文采用MSCOCO標(biāo)注格式。磨損撕裂兩種故障如圖6所示。

3.2? 訓(xùn)練相關(guān)措施

本文使用的訓(xùn)練平臺的硬件配置如下：CPU為Intel Corei 7-9900KF，內(nèi)存為32 GB，GPU為兩塊GeForce RTX 2080 Ti。軟件及版本為：操作系統(tǒng)Ubuntu 20.04 LTS，Conda 5.3.1，PyTorch 1.10.2，Python 3.8。

本文在對模型進行訓(xùn)練時使用了Mosaic數(shù)據(jù)增強技術(shù)。Mosaic數(shù)據(jù)增強結(jié)果如圖7所示。

皮帶故障檢測數(shù)據(jù)集中兩種故障的樣本數(shù)量不均衡，本文使用過采樣策略來使得模型對于兩種故障的訓(xùn)練達到平衡。

本文利用PyTorch的數(shù)據(jù)集采樣類Weighted Random Sampler方法來實現(xiàn)過采樣，由于數(shù)據(jù)集中磨損故障的樣本數(shù)量較少，所以增大這類樣本的權(quán)重，使得這類故障的樣本更容易被采樣到，從而實現(xiàn)對磨損和撕裂故障學(xué)習(xí)次數(shù)的平衡。

模型優(yōu)化器使用常用的小批量隨機梯度下降（MSGD），搭配nesterov、momentum、weight decay更新網(wǎng)絡(luò)參數(shù)。學(xué)習(xí)率初始設(shè)置為0.01，momentum設(shè)置為0.9，weight decay設(shè)置為0.000 5，更新卷積層權(quán)重、卷積層偏置、BN層參數(shù)同時僅對卷積層的權(quán)重進行權(quán)重衰退。學(xué)習(xí)率調(diào)整采用了余弦退火衰減策略，并且增加了學(xué)習(xí)率預(yù)熱機制。使用EDA策略，提高模型的魯棒性。

損失函數(shù)包括分類損失和定位損失，由于皮帶的兩種常見故障——磨損和撕裂占圖片總面積很小，而背景區(qū)域占面積很大。而正樣本包含故障，負(fù)樣本則是無關(guān)背景，因此本文的皮帶機故障檢測問題存在著較為嚴(yán)重的正負(fù)樣本不均衡的問題。為了解決此問題，本文使用的分類損失函數(shù)為基于Focal Loss（FL）的Quality Focal Loss（QFL）。Focal Loss計算式為：

權(quán)重因子αt用來緩解正負(fù)樣本不平衡問題，γ≥0可以緩解難易樣本不平衡問題。Quality Focal Loss計算式為：

式中y為0～1的質(zhì)量標(biāo)簽，δ為預(yù)測的結(jié)果分?jǐn)?shù)。QFL在繼承了FL的優(yōu)點的同時，性能上也有一定的提升。

對于皮帶機故障檢測而言，雖然常用的GIoU損失在回歸框與真實框沒有交集的時候仍然可以進行梯度的反向傳播，從而達到訓(xùn)練效果。DIoU損失相對于IoU和GIoU損失相比，收斂速度更快。模型在相同的訓(xùn)練時間的情況下，用DIoU損失、訓(xùn)練后得到的模型，在用于檢測時，回歸框與真實框的接近或重合程度會比用GIoU損失函數(shù)訓(xùn)練結(jié)果更好。因此本文定位損失函數(shù)選擇了DIoU Loss。計算式為：

IoU Loss與DIoU Loss對比如圖8所示。

3.3? 評價指標(biāo)與實驗結(jié)果分析

作為實時檢測模型，其性能可以用檢測精度和檢測速度來評價。檢測精度能夠就是模型能否準(zhǔn)確地識別出故障類型，代表了模型的檢測效果。目前使用較多的衡量模型檢測精度的指標(biāo)主要有基于混淆矩陣計算的查準(zhǔn)率、查全率，同時考慮查準(zhǔn)率和查全率的PR曲線，平均精確度以及平均準(zhǔn)確度均值等。本文選取IoU閾值0.5和在[0.5，0.95]每隔0.05得到的AP值計算平均值得到AP@0.5和mAP作為皮帶故障檢測模型精度的評價指標(biāo)。

如圖9所示，三條曲線分別來自不同的模型測試結(jié)果，通過PR曲線可以直觀地判斷出兩個模型的精度差異。例如圖中模型B的曲線完全在模型A曲線的上方，則模型B的精度優(yōu)于模型A。同樣，圖中模型C的檢測精度也優(yōu)于模型A。對B、C而言，由于兩個模型的PR曲線存在交點，此時就難以直觀地判斷B、C哪一個精度更高，此時就需要計算兩個曲線哪一個與坐標(biāo)軸圍成的面積更大，面積更大的那個模型精度更高。

為了能定量地更加精確地對模型進行評價，可以使用平均精度（AP），平均精度等于PR曲線與兩個坐標(biāo)軸圍成的面積。計算式為：

式中的p（r）為PR曲線方程，在計算AP的基礎(chǔ)上在全部目標(biāo)類別上對AP計算平均值就得到了平均精確度均值（mAP）。

對于本文的皮帶故障檢測模型而言，考慮從模型發(fā)現(xiàn)故障到識別出故障的耗時，耗時越短檢測速度就越快。本文選擇單位時間的檢測幀數(shù)（FPS）作為評價模型檢測速度的指標(biāo)。

本文將建立的皮帶故障檢測模型性與FasterRCNN、SSD、CenterNet和YOLOv3 tiny模型進行了對比實驗。繪制出各算法AP@50、mAP、FPS、FLOPs如圖10所示。

對比實驗結(jié)果可知，本文建立的檢測算法在檢測精度上略好于FasterRCNN、SSD，明顯強于CenterNet、YOLOv3 tiny。檢測速度上大幅領(lǐng)先

FasterRCNN、SSD、CenterNet，稍遜YOLOv3 tiny。而且本模型計算過程中涉及的參量更少，浮點運算次數(shù)FLOPs少于其他4個，因此若將模型部署到性能有限的嵌入式設(shè)備中更有優(yōu)勢。

4? 結(jié)? 論

本文針對煤礦運輸皮帶的磨損和撕裂兩種故障提出了一種基于YOLOv5的輕量化檢測模型。該模型具有檢測速度快、檢測效果好、計算量小易部署等優(yōu)點。本文主要內(nèi)容：

1）研究了煤礦運輸皮帶故障檢測的問題和解決辦法。

2）以YOLOv5為基礎(chǔ)建立了運輸皮帶磨損和撕裂故障的檢測模型。

3）為了提高模型的特征提取能力，更好地區(qū)分兩種故障類型，在模型中引入了注意力機制SE模塊。

4）為了實現(xiàn)使模型更加輕量化的目標(biāo)，將SPP網(wǎng)絡(luò)替換為SPPF網(wǎng)絡(luò)，將ShuffleNetV2改進為Enhanced ShuffleNet，將PAN模塊替換為CSPPAN模塊，減小了計算成本，為AI邊緣計算設(shè)備部署提供了可能性。

本文提出的檢測模型與常用的4個模型相比有不同幅度的領(lǐng)先優(yōu)勢。根據(jù)本文提出的評價指標(biāo)， 在不同的AP值下測出的E值均領(lǐng)先于其他4個模型改：因此，本文的檢測模型在執(zhí)行檢測任務(wù)時性能更加優(yōu)越。

參考文獻：

[1] 頊熙亮.基于機器視覺的礦用皮帶運輸機故障智能檢測系統(tǒng) [J].煤礦現(xiàn)代化，2020（5）：212-215.

[2] 譚恒.基于雙視圖像的帶式輸送機異常狀態(tài)檢測 [D].太原：太原理工大學(xué)，2021.

[3] 張桂堂.基于機器視覺的重型輸送帶縱向撕裂檢測技術(shù)研究 [D].青島：青島科技大學(xué)，2021.

[4] 武文澤.基于機器視覺的選煤廠輸送機皮帶磨損故障診斷研究 [D].徐州：中國礦業(yè)大學(xué)，2020.

[5] 崔敏.基于機器視覺的輸送帶縱向撕裂檢測系統(tǒng)研究 [D].曲阜：曲阜師范大學(xué)，2021.

[6] 滕飛.基于深度學(xué)習(xí)的鋼絲繩芯輸送帶故障檢測算法研究 [D].蘭州：蘭州理工大學(xué)，2021.

[7] 謝艷麗，姜志，王軍，等.霧霾天氣下光源目標(biāo)檢測算法 [J].激光雜志，2021，42（11）46-52.

[8] MA N，ZHANG X，ZHENG H T，et al. Shufflenet v2：Practical guidelines for efficient cnn architecture design [EB/OL].[2023-02-18].https：//scholar.lanfanshu.cn/scholar？q=Shufflenet+v2%3APractical+guidelines+for+efficient+cnn+architecture+design.

[9] YU G，CHANG Q，LV W，et al. PP-PicoDet： A Better Real-Time Object Detector on Mobile Devices [EB/OL].[2023-02-18].https：//scholar.lanfanshu.cn/scholar？q=PP-PicoDet%3AA+Better+Real-Time+Object+Detector+on+Mobile+Devices.

作者簡介：黨浚哲（2002—），男，漢族，遼寧營口人，本科在讀，研究方向：計算機視覺、機器學(xué)習(xí)；陳立燁（2003—），男，漢族，山東臨沂人，本科在讀，研究方向：深度學(xué)習(xí)、信息處理；崔子航（2002—），男，漢族，河南駐馬店人，本科在讀，研究方向：計算機視覺、大數(shù)據(jù)；段琦鋒（2001—），男，漢族，山西太原人，本科在讀，研究方向：信息處理、圖像識別；陳思妍（2003—），女，漢族，湖南株洲人，本科在讀，研究方向：信息傳輸、無線通信。