韓濤， 黃友銳， 張立志， 徐善永， 許家昌， 鮑士水

(1.安徽理工大學(xué) 電氣與信息工程學(xué)院，安徽 淮南 232001；2.西安外事學(xué)院 工學(xué)院，陜西 西安 710077)

0 引言

帶式輸送機是重要的煤炭運輸設(shè)備，具有運輸距離長、運輸量大、速度快、連續(xù)作業(yè)時間長等特點[1-3]。帶式輸送機實際應(yīng)用中需要對輸煤量和跑偏進(jìn)行檢測：輸煤量檢測可使帶式輸送機根據(jù)煤量自動調(diào)速，減少能耗[4-5]；跑偏檢測可避免出現(xiàn)安全事故。目前，帶式輸送機輸煤量和跑偏檢測主要通過布設(shè)繁多的傳感器實現(xiàn)，且多為接觸式傳感器，長期使用后傳感器損耗嚴(yán)重，檢測準(zhǔn)確率降低，實時性變差。因此采用檢測性能穩(wěn)定、準(zhǔn)確率高的非接觸式檢測方法逐漸成為研究熱點。

文獻(xiàn)[6]使用激光掃描輸送帶，獲得輸送帶上物料的點云信息，根據(jù)點云構(gòu)成的輪廓，確定輸送帶輸煤量。文獻(xiàn)[7]使用激光的Ohta顏色特征構(gòu)建輸送帶輪廓線，計算輸送帶梯形截面積，從而獲得輸煤量。但文獻(xiàn)[6-7]都是用激光對輸送帶進(jìn)行點或線的掃描，容易受環(huán)境中細(xì)小顆粒物的影響，且激光本身受外部強光影響，對物料輪廓提取造成較大干擾，同時激光儀價格昂貴，限制了其應(yīng)用。使用相機拍攝圖像受外界強光干擾小，且可獲取一個區(qū)域的圖像信息，信息量豐富，檢測更準(zhǔn)確。文獻(xiàn)[8]使用數(shù)字?jǐn)z像機獲取輸送帶視頻圖像，通過對比圖像的時域與頻域特征，計算輸煤量。文獻(xiàn)[9]使用圖像邊緣檢測得到煤料寬度，通過知識庫模糊計算得到輸煤量。文獻(xiàn)[10]使用雙目攝像機獲得煤料圖像及其深度信息，通過模糊推理得出煤料體積，進(jìn)而實現(xiàn)輸煤量計算。文獻(xiàn)[11]通過改進(jìn)的邊緣檢測算法，提取輸送帶邊緣線及其位置信息，從而判斷輸送帶是否跑偏。但文獻(xiàn)[8-11]采用圖像識別方法進(jìn)行輸煤量或跑偏檢測，需要人工設(shè)計圖像特征，對圖像特征提取的要求較高，人工設(shè)計圖像特征的合理性和有效性在不同的應(yīng)用環(huán)境下差別較大，通用性不佳，且通過人工設(shè)計圖像特征的方法同時實現(xiàn)輸煤量和跑偏檢測十分困難。

近年來深度學(xué)習(xí)迅速發(fā)展，其中卷積神經(jīng)網(wǎng)絡(luò)使用端到端的學(xué)習(xí)方法，使網(wǎng)絡(luò)自學(xué)習(xí)圖像特征，不需要人工設(shè)計圖像特征，大幅度提高了圖像檢測性能[12-16]。但傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)是單任務(wù)網(wǎng)絡(luò)，為實現(xiàn)輸煤量和跑偏的同時檢測，使用2個卷積神經(jīng)網(wǎng)絡(luò)分別對輸煤量和跑偏進(jìn)行檢測，會導(dǎo)致網(wǎng)絡(luò)體積大、參數(shù)多、計算量大、運行時間長，嚴(yán)重影響檢測性能。本文提出了一種基于多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)(Multi-Task Convolutional Neural Network，MT-CNN)的帶式輸送機輸煤量和跑偏檢測方法，同時對輸煤量檢測和跑偏檢測這2個任務(wù)進(jìn)行學(xué)習(xí)，使2個任務(wù)共享同一個網(wǎng)絡(luò)底層結(jié)構(gòu)和參數(shù)，可減小網(wǎng)絡(luò)體積，降低計算量，提高運行速度。

1 檢測原理

帶式輸送機輸煤量和跑偏檢測由離線訓(xùn)練和在線檢測2個階段組成，如圖1所示。離線訓(xùn)練階段，對輸送帶圖像進(jìn)行灰度化、中值濾波和提取感興趣區(qū)域(Region of Interest，ROI)等預(yù)處理，將預(yù)處理后的圖像制作成訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集，并對MT-CNN進(jìn)行訓(xùn)練。在線檢測階段，使用訓(xùn)練好的MT-CNN對輸送帶實時圖像進(jìn)行檢測，實現(xiàn)帶式輸送機輸煤量和跑偏的同時檢測。

圖1 帶式輸送機輸煤量和跑偏檢測原理

2 MT-CNN

2.1 MT-CNN結(jié)構(gòu)

通過圖像識別將輸送帶輸煤量分為“大輸煤量”、“中輸煤量”、“小輸煤量”和“無輸煤量”，輸送帶跑偏分為“左跑偏”、“無跑偏”和“右跑偏”，這是經(jīng)典的圖像識別分類問題。卷積神經(jīng)網(wǎng)絡(luò)中經(jīng)典的VGGNet[17]模型結(jié)構(gòu)相對簡單，因此本文基于VGGNet模型構(gòu)建MT-CNN。

VGGNet模型由輸入層、卷積層、激活層、池化層、全連接層和輸出層構(gòu)成。輸入層輸入224×224的RGB圖像；卷積層采用小卷積核(3×3和1×1)對圖像進(jìn)行卷積運算，用于提取圖像特征；激活層采用ReLU函數(shù)，對圖像特征進(jìn)行非線性映射；池化層采用2×2池化核進(jìn)行池化操作，對圖像特征降維、壓縮，減小網(wǎng)絡(luò)計算的復(fù)雜度；全連接層采用4 096個通道，對所有特征進(jìn)行重新映射，最大化利用特征信息；輸出層是1個Softmax，用于計算最終識別結(jié)果。

VGGNet模型是一個單任務(wù)模型，輸入的RGB圖像特征豐富且結(jié)構(gòu)復(fù)雜，采用較小的卷積核和池化核，且全連接層有較多的通道，使得VGGNet模型體積較大，運行時間長。而輸送帶圖像預(yù)處理后為灰度圖，尺寸較大，圖像結(jié)構(gòu)簡單，且需要同時檢測輸煤量和跑偏，實時性要求較高。

本文在VGGNet模型的基礎(chǔ)上，增大卷積核和池化核的尺度，減少全連接層通道數(shù)量，改變輸出層結(jié)構(gòu)，構(gòu)建MT-CNN，結(jié)構(gòu)如圖2所示。

圖2 MT-CNN結(jié)構(gòu)

Fig.2 Structure of MT-CNN

輸入層輸入350×350的灰度圖L[0]。

卷積層通過卷積核對輸入的圖像進(jìn)行卷積計算，提取圖像特征。卷積層1采用7×7的卷積核對L[0]進(jìn)行卷積計算，得到圖像特征：

z[1]=w[1]*L[0]+b[1]

(1)

式中：w[1]和b[1]分別為卷積層1的權(quán)重和偏置；*表示卷積計算。

激活層對圖像特征進(jìn)行非線性映射，提取圖像中復(fù)雜的非線性特征。激活層1采用ReLU函數(shù)對z[1]進(jìn)行非線性變換，得到圖像的非線性特征：

a[1]=ReLU(z[1])=max(0,z[1])

(2)

池化層在保留主要特征的基礎(chǔ)上對圖像特征進(jìn)行降維、壓縮，減小網(wǎng)絡(luò)計算復(fù)雜度。池化層1采用4×4池化核對a[1]進(jìn)行最大池化計算，得到降維后的圖像：

(3)

卷積層2、激活層2和池化層2作用和計算方式分別與卷積層1、激活層1和池化層1類似。最終池化層2計算輸出L[2]到全連接層。

全連接層將得到的所有特征進(jìn)行重新映射，最大化利用特征信息。L[2]經(jīng)過具有128個通道的全連接層1計算后可得

L[3]=ReLU(w[3]L[2]+b[3])

(4)

式中w[3]和b[3]分別為全連接層1的權(quán)重和偏置。

同樣，L[3]經(jīng)過具有7個通道的全連接層2計算后可得

L[4]=ReLU(w[4]L[3]+b[4])

(5)

式中w[4]和b[4]分別為全連接層2的權(quán)重和偏置。

2.2 MT-CNN訓(xùn)練

MT-CNN中所有權(quán)重w[i](i=1，2，3，4)和偏置b[i]需要通過訓(xùn)練來確定，使用訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集對MT-CNN進(jìn)行訓(xùn)練。

訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集獲取步驟如下。

(1)獲取輸送帶在不同時間段、光照強度和溫濕度環(huán)境下的圖像，預(yù)處理后截取ROI。

(2)從中選取“無輸煤量”、“小輸煤量”、“中輸煤量”、“大輸煤量”、“無跑偏”、“左跑偏”和“右跑偏”7種情況的圖像各若干張，組成輸送帶圖像樣本集。

(3)根據(jù)表1、表2對輸送帶圖像樣本集中圖像標(biāo)注標(biāo)簽值y=[y1y2y3y4y5y6y7]T。

表1 輸煤量標(biāo)簽值

表2 跑偏標(biāo)簽值

(4)從輸送帶圖像樣本集中取各種輸煤量和跑偏情況的圖像各M1張，組成訓(xùn)練數(shù)據(jù)集(包括7M1張圖像)，再從輸送帶圖像樣本集剩余圖像中隨機選取輸煤量和跑偏情況的圖像各M2(M2

MT-CNN訓(xùn)練流程如圖3所示，具體步驟如下。

圖3 MT-CNN訓(xùn)練流程

(1)參數(shù)初始化，設(shè)置MT-CNN中每層的w[i]，b[i]為隨機值，迭代次數(shù)s，學(xué)習(xí)率R，檢測準(zhǔn)確率閾值T。

(5)更新w[i]和b[i]：w[i]←w[i]-RΔw[i]，b[i]←b[i]-RΔb[i]。

(6)判斷是否為訓(xùn)練數(shù)據(jù)集最后一張圖像：若不是，則輸入下一張圖像，返回步驟(2)；否則，轉(zhuǎn)到步驟(7)。

(8)判斷檢測準(zhǔn)確率是否達(dá)到要求：若Ac≥T，則轉(zhuǎn)到步驟(9)；若Ac

(9)保存參數(shù)w[i]和b[i]，網(wǎng)絡(luò)訓(xùn)練完成。

3 實驗與分析

硬件環(huán)境：CPU(3.40 GHz，Inteli5)，8 GB內(nèi)存，GTX1060顯卡。軟件環(huán)境：Win7操作系統(tǒng)，Anaconda3(64 bit)集成編程環(huán)境(集成Python3.6.2，Numpy1.13.1, Matplotlib2.0.2)，OpenCV3.3.0圖像處理工具，PyTorch0.3.0開源深度學(xué)習(xí)框架。

使用攝像機獲取輸送帶圖像。從輸送帶圖像樣本集中選取“無輸煤量”、“小輸煤量”、“中輸煤量”、“大輸煤量”、“無跑偏”、“左跑偏”和“右跑偏”共7種情況的圖像各800張，并按隨機順序?qū)⑦@5 600張圖像的圖像名和對應(yīng)的標(biāo)簽值保存，構(gòu)成訓(xùn)練數(shù)據(jù)集；從輸送帶圖像樣本集剩余的圖像中隨機選取輸煤量、跑偏圖像各500張，并按隨機順序?qū)⑦@1 000張圖像的圖像名和對應(yīng)的標(biāo)簽值保存，構(gòu)成測試數(shù)據(jù)集。

3.1 檢測準(zhǔn)確性

設(shè)置迭代次數(shù)s=25，學(xué)習(xí)率R=0.01，對MT-CNN進(jìn)行訓(xùn)練，并用測試數(shù)據(jù)集分別計算輸煤量和跑偏檢測準(zhǔn)確率，取兩者的平均值作為本文方法的檢測準(zhǔn)確率。準(zhǔn)確率隨迭代次數(shù)變化曲線如圖4所示，可看出MT-CNN收斂速度快，且隨著迭代次數(shù)增加，檢測準(zhǔn)確率逐漸提高，最終穩(wěn)定在92.5%。

圖4 檢測準(zhǔn)確率隨迭代次數(shù)變化曲線

為進(jìn)一步提高檢測準(zhǔn)確率，將檢測錯誤的所有圖像提取出來進(jìn)行分析，發(fā)現(xiàn)檢測錯誤的圖像總體分為兩類：ROI中輸送帶區(qū)域只有部分有煤料的圖像；輸煤量或跑偏情況處于分類結(jié)果之間的臨界狀態(tài)的圖像。通過查看訓(xùn)練數(shù)據(jù)集，發(fā)現(xiàn)檢測錯誤的第1類圖像只有36張，約占訓(xùn)練數(shù)據(jù)集的0.6%，導(dǎo)致MT-CNN對該類圖像的檢測訓(xùn)練不足。因此增加檢測錯誤的第1類圖像在訓(xùn)練數(shù)據(jù)集中的比例，重新訓(xùn)練MT-CNN，檢測準(zhǔn)確率提高到97.3%。對于檢測錯誤的第2類圖像，由于人工對圖像標(biāo)注只能憑經(jīng)驗分類，難以保證標(biāo)注全部準(zhǔn)確，所以無法徹底消除該類圖像檢測錯誤。

3.2 檢測實時性

使用測試數(shù)據(jù)集對MT-CNN分別輸入1，10，100，1 000張圖像進(jìn)行實時性檢測，每組實驗進(jìn)行10次取平均值，結(jié)果見表3。根據(jù)表3可計算出本文方法平均處理每張圖像時間約為23.1 ms，處理速度快，實時性較好。

表3 運行時間

3.3 性能對比

為驗證MT-CNN在準(zhǔn)確性和實時性上的優(yōu)勢，與VGGNet模型進(jìn)行對比。由于VGGNet模型是單任務(wù)模型，設(shè)置2個VGGNet模型分別對輸煤量和跑偏進(jìn)行檢測。使用相同的訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集對2種網(wǎng)絡(luò)進(jìn)行實驗，檢測準(zhǔn)確率、運行時間分別如圖5和圖6所示。

圖5 檢測準(zhǔn)確率對比

圖6 運行時間對比

從圖5和圖6可看出，與VGGNet模型相比，MT-CNN檢測準(zhǔn)確率高、運行時間少。主要是因為在MT-CNN的底層即卷積層、激活層、池化層等，2個任務(wù)共享相同的網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)，可以用訓(xùn)練數(shù)據(jù)集中5 600張圖像共同訓(xùn)練共享網(wǎng)絡(luò)參數(shù)，訓(xùn)練效果好，檢測準(zhǔn)確率較高，且只需要經(jīng)過1個網(wǎng)絡(luò)即可同時檢測輸煤量和跑偏，計算量小，運行時間短；而使用2個VGGNet模型分別檢測輸煤量和跑偏時，只能分別使用訓(xùn)練數(shù)據(jù)集中3 200張輸煤量圖像和2 400張跑偏圖像對2個VGGNet模型訓(xùn)練，每個任務(wù)樣本數(shù)量較少，影響訓(xùn)練效果，檢測準(zhǔn)確率較低，且需要經(jīng)過2個網(wǎng)絡(luò)分別檢測輸煤量和跑偏，計算量大，運行時間長。

4 實際運行結(jié)果

在現(xiàn)場環(huán)境中使用本文方法對輸送帶實時圖像進(jìn)行輸煤量和跑偏檢測，檢測結(jié)果在監(jiān)控終端顯示屏中實時顯示，如圖7所示。圖中白色方框為檢測提取的ROI，檢測結(jié)果在白色方框上方以“X，Y”(“X”表示輸煤量檢測結(jié)果，用“N”、“L”、“M”、“H”分別表示“無輸煤量”、“小輸煤量”、“中輸煤量”、“大輸煤量”；“Y”表示跑偏檢測結(jié)果，用“N”、“L”、“R”分別表示“無跑偏”、“左跑偏”、“右跑偏”)形式標(biāo)注。為直觀觀測輸送帶跑偏情況并與檢測結(jié)果比較，在ROI中設(shè)置2條白色直線段分別作為“左邊界線”和“右邊界線”，當(dāng)檢測結(jié)果為左跑偏時，圖像中輸送帶左邊緣應(yīng)與“左邊界線”相交，同理，可檢驗本文方法檢測右跑偏和無跑偏是否正確。從圖7可看出，檢測結(jié)果與輸送帶實際的輸煤量和跑偏情況一致。

(a)大輸煤量無跑偏

(b)中輸煤量無跑偏

(c)小輸煤量無跑偏

(d)無輸煤量無跑偏

(e)中輸煤量左跑偏

(f)中輸煤量右跑偏

5 結(jié)語

基于MT-CNN的帶式輸送機輸煤量和跑偏檢測方法采用多任務(wù)學(xué)習(xí)方式，使輸煤量檢測和跑偏檢測這2個任務(wù)共享網(wǎng)絡(luò)底層結(jié)構(gòu)和參數(shù)，降低了網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜性，在較少的訓(xùn)練數(shù)據(jù)集條件下具有較好的訓(xùn)練效果，提高了檢測準(zhǔn)確率和實時性。該方法實現(xiàn)了帶式輸送機輸煤量和跑偏的準(zhǔn)確、快速檢測，為后續(xù)帶式輸送機自動調(diào)速和糾偏提供了依據(jù)。