王衛(wèi)東，張康輝，呂子奇，谷詔闖，錢瀚文，張情意

中國礦業(yè)大學(xué)(北京)化學(xué)與環(huán)境工程學(xué)院，北京 100083

原煤開采過程中會混入各類鐵器、錨桿、錨索、網(wǎng)片、破損膠帶、電纜頭、木材等生產(chǎn)廢舊物資，井下作業(yè)產(chǎn)生的生活垃圾(如塑料瓶、塑料袋等)也會混入到原煤中[1-3]。煤中異物容易堵塞管道、溜槽、閥門、篩孔等部件，成為困擾選煤廠連續(xù)生產(chǎn)的主要因素之一。一旦發(fā)生事故，輕則運輸系統(tǒng)堵塞、降低脫泥脫介系統(tǒng)效率、發(fā)生跑冒滴漏現(xiàn)象，重則會劃傷帶式輸送機，造成設(shè)備故障和產(chǎn)品質(zhì)量等事故[4]。攔雜網(wǎng)、除雜鉤等機械裝置是近年來常用的除雜方法，但除雜效率較低，且需要頻繁檢查和維護除雜裝置，應(yīng)用局限性較大[4]，無法滿足當(dāng)前生產(chǎn)的需求，因此作者提出一種基于機器視覺的異物分揀方法[5]，該方法的關(guān)鍵在于異物的智能檢測。

近年來，基于機器視覺的異物檢測研究逐漸深入。文獻[6]通過傳統(tǒng)的圖像處理進行特征提取，并引入支持向量機(Support Vector Machine，SVM)進行分類；文獻[7]基于概率圖模型提取紋理特征和基于緊湊顏色編碼結(jié)構(gòu)化的目標(biāo)跟蹤方法，對異物進行定位和識別；基于傳統(tǒng)圖像處理技術(shù)的異物檢測方法在特定應(yīng)用場景中可以有效識別異物，然而其穩(wěn)定性與可擴展性有待提高。常規(guī)的異物檢測方法受用戶設(shè)置的手工參數(shù)的影響很大，但是基于深度學(xué)習(xí)的方法可以通過學(xué)習(xí)訓(xùn)練數(shù)據(jù)的特征來提供更加準確的結(jié)果，并且在食品、農(nóng)業(yè)、醫(yī)學(xué)領(lǐng)域已有應(yīng)用[8-10]。

深度學(xué)習(xí)在目標(biāo)檢測和語義分割等視覺任務(wù)中的成功應(yīng)用[11-20]，展示了神經(jīng)網(wǎng)絡(luò)強大的特征提取能力。利用深度學(xué)習(xí)目標(biāo)檢測框架Faster-RCNN對運煤輸送帶上的異物進行識別，雖然能精準定位到異物位置信息但不能完整勾勒輪廓，不利于異物中心點的描述，從而影響后續(xù)分揀[21]。

針對煤中異物檢測，本文提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的方法，用于復(fù)雜環(huán)境下煤中異物的像素級預(yù)測，完成邊界的精確標(biāo)記。該方法利用神經(jīng)網(wǎng)絡(luò)卷積層自動分層提取特征，提出一種損失函數(shù)用于解決樣本分布不平衡帶來的漏檢和誤檢問題，并使用條件隨機場作為后端優(yōu)化模塊，細化網(wǎng)絡(luò)輸出結(jié)果，實現(xiàn)煤中異物的準確檢測與分割。

1 網(wǎng)絡(luò)結(jié)構(gòu)

基于深度卷積神經(jīng)網(wǎng)絡(luò)的煤中異物檢測模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，前端主要包括編碼器模塊、解碼器模塊和跳層連接模塊，后端使用條件隨機場優(yōu)化編碼器模塊。模型層級嵌套具有殘差連接的卷積層，可以有效捕捉異物圖像的局部特征；池化層將特征圖尺寸縮小，使其成為更低維的表征；轉(zhuǎn)置卷積執(zhí)行上采樣恢復(fù)空間維度，跳層連接融合多尺度的特征，建立端到端的異物檢測，對每一個像素點進行分類，從而完成前景(煤中異物)和背景的分割。

圖1 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure diagram

1.1 前端網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

為保證網(wǎng)絡(luò)結(jié)構(gòu)能夠提取有效信息，又可提高模型的訓(xùn)練速度，卷積層使用殘差卷積塊，由2個33卷積和一個11卷積組成，并采用殘差連接，能夠增加網(wǎng)絡(luò)深度，使得特征映射對輸出的變化更加敏感，模型擁有更強的表達能力，提高網(wǎng)絡(luò)分割精度，還可以使模型更容易訓(xùn)練，既能防止模型退化，又能緩解梯度消失[22]。卷積層步長為1，全0填充，池化層采用最大值池化，池化窗口為22，步長為2，圖像經(jīng)過編碼器端4次池化下采樣后，大小為原圖大小的1/16。為得到與原圖同樣大小的輸出結(jié)果，解碼器的上采樣層采用轉(zhuǎn)置卷積，滑動窗口大小為22，步長為2，每次轉(zhuǎn)置卷積后都要進行批量歸一化(Batch Normalization，BN)，允許模型使用較大的學(xué)習(xí)率，減弱對初始化的強依賴性，保持隱藏層中數(shù)值的均值、方差不變，讓數(shù)值更穩(wěn)定，為后面網(wǎng)絡(luò)提供堅實的基礎(chǔ)，同時還有正則化作用。將不同尺度的特征圖譜進行上采樣恢復(fù)圖像信息，在解碼器端進行多尺度特征融合，最終經(jīng)過Softmax激勵函數(shù)輸出概率值，進行逐像素的預(yù)測，從而完成邊界的精確標(biāo)記。Softmax激勵函數(shù)概率值計算公式如下：

(1)

式中，xi表示特征圖譜中的第i個輸出向量。

1.2 后端優(yōu)化模塊設(shè)計

前端網(wǎng)絡(luò)不斷的卷積和池化操作，使后續(xù)像素點的感受野不斷增大，導(dǎo)致輸出結(jié)果對邊緣約束力不足，最后的分割結(jié)果較粗，因此使用條件隨機場考慮全局信息(顏色和空間位置)，對模型分割結(jié)果進行細化。

條件隨機場(Conditional Random Field， CRF)是給定一組隨機變量的條件下另一組輸出隨機變量的條件概率分布模型[23-25]。對于每個像素i具有類別標(biāo)簽xi對應(yīng)的觀測值yi，每個像素點作為節(jié)點，像素與像素間的關(guān)系作為邊，即構(gòu)成了一個條件隨機場。通過觀測變量yi來推測像素i對應(yīng)的類別標(biāo)簽xi，條件隨機場如圖2所示。

圖2 條件隨機場示意圖Fig.2 Schematic diagram of conditional random field

CRF基于底層圖像像素強度對前端網(wǎng)絡(luò)輸出結(jié)果進行“平滑”，將像素強度相似的點標(biāo)記為同一類別。后端優(yōu)化模塊的能量函數(shù)如下：

E(x)=∑θi(xi)+∑θij(xi，xj)

(2)

式中，xi，xj分別表示像素點i，j對應(yīng)的標(biāo)簽；θi(xi)為一元勢函數(shù)來自異物檢測模型的輸出；θij(xi，xj)為二元勢函數(shù)描述像素點間的關(guān)系。

鼓勵相似像素分配相同的標(biāo)簽，而相差較大的像素分配不同標(biāo)簽。像素點之間綜合考慮顏色空間和歐式距離進行相似性度量，因此基于CRF后端優(yōu)化模塊能夠細化異物圖像在邊界處的分割。

θi(xi)=-logp(xi)

(3)

式中，p(xi) 為深度卷積神經(jīng)網(wǎng)絡(luò)計算的像素點i處的標(biāo)記分布概率。

θij(xi，xj)=μ(xi，xj)∑ωmkm(fi，fj)

(4)

式中，μ(xi，xj)為約束力方向，只有相同的標(biāo)簽?zāi)芰坎趴梢曰ハ鄠鲗?dǎo)；ωm為權(quán)重參數(shù)；km為高斯卷積核，取決于像素i、j提取的特征(表示為f)，并由參數(shù)ωm進行加權(quán)。

(5)

式(5)的km(fi，fj)求和項中，第一項表示兩像素點空間位置距離越近，顏色越接近，特征就越強；第二項是平滑處理，考慮兩像素點空間上的接近程度。

1.3 模型評估指標(biāo)

煤中異物檢測模型的評價標(biāo)準采用交并比(Intersection Over Union，IOU)，即標(biāo)簽與預(yù)測結(jié)果的重疊區(qū)域大小與它們占總區(qū)域大小的比值，表示為

(6)

式中，TP(True Positive)為分類正確的正樣本；TN(True Negtive)為分類錯誤的正樣本；FN(False Negtive)為分類錯誤的負樣本。

圖像中每個需要分割類別的 IOU 均值MIOU表示為

(7)

式中，N為類別總數(shù)。

2 實驗設(shè)置

2.1 異物圖像數(shù)據(jù)采集

在安徽省淮北礦業(yè)股份有限公司渦北選煤廠手選輸送帶上采集的異物圖片共9 653張，其中異物主要為木棍、竹竿、繩子、塑料袋、鐵器等。圖像數(shù)據(jù)采集裝置如圖3所示。圖像數(shù)據(jù)采集主要設(shè)備分為兩部分：一部分為高清相機和高壓風(fēng)噴吹的鏡頭除塵裝置；另一部分為數(shù)據(jù)處理單元，主要為高性能的中央處理器CPU和圖像處理器GPU。具體型號和參數(shù)見表1。

圖3 圖像數(shù)據(jù)采集裝置Fig.3 Image data acquisition device

表1 主要設(shè)備清單Tab.1 List of major equipment

2.2 異物圖像預(yù)處理

為了提高數(shù)據(jù)特征的多樣性，將采集到的異物圖像從RGB色彩空間轉(zhuǎn)換到HSV色彩空間進行統(tǒng)一預(yù)處理，隨機0.9～1.1倍調(diào)整曝光和飽和度，然后再將其從HSV色彩空間轉(zhuǎn)換到RGB色彩空間。為了增強模型的魯棒性和泛化能力，對數(shù)據(jù)集剪切、縮放、旋轉(zhuǎn)、平移變換，進行數(shù)據(jù)增強，由原始的9 351張異物圖像增至18 715張，最后將所有圖像統(tǒng)一處理為256×512像素的RGB彩色圖像，作為網(wǎng)絡(luò)的輸入。對訓(xùn)練樣本集按照8∶2的比例隨機劃分訓(xùn)練集和測試集，得到訓(xùn)練異物圖像樣本14 972張，測試樣本集3 743張。

2.3 模型的損失函數(shù)

為了緩解前景(異物)、背景(輸送帶、煤、矸石)比例嚴重失衡對模型訓(xùn)練的影響，提出一種損失函數(shù)能夠降低易分類樣本的權(quán)重，使其更加關(guān)注難分類的樣本，避免在訓(xùn)練過程中大量的簡單負樣本淹沒檢測器，從而解決類別不均衡問題。損失函數(shù)計算公式如下：

(8)

不同γ對于損失函數(shù)的調(diào)整如圖4所示。當(dāng)γ>0時可減少易分類樣本的損失，更加關(guān)注于難分、錯分的樣本。

圖4 不同情況下?lián)p失函數(shù)曲線Fig.4 Loss function graph under different γ cases

此外，加入平衡因子α，用來平衡正負樣本本身的比例不均。最終損失函數(shù)計算公式如下：

(9)

2.4 網(wǎng)絡(luò)訓(xùn)練與參數(shù)尋優(yōu)

為了減少模型訓(xùn)練時間，在ImageNet預(yù)先訓(xùn)練權(quán)重的基礎(chǔ)上進行微調(diào)，采用Adam優(yōu)化器，學(xué)習(xí)率為10-5，學(xué)習(xí)衰減率為5×10-4，迭代30次。對于損失函數(shù)中的2個超參數(shù)進行網(wǎng)格尋優(yōu)，通過前期探索實驗初步確認參數(shù)搜索范圍。首先，選取α=0.25，對比γ分別為0、1、2、3這4組參數(shù)，確定最優(yōu)γ值；然后，取α分別為0.15、0.25、0.35這3組參數(shù)進行對比，確定損失函數(shù)中參數(shù)的最優(yōu)組合；訓(xùn)練過程中采用相似度系數(shù)作為精度評價指標(biāo)，當(dāng)驗證集的相似度系數(shù)不繼續(xù)上升時即終止模型訓(xùn)練，以防止模型發(fā)生過擬合。

3 結(jié)果與分析

為驗證本文提出模型對煤中異物的檢測效果，選取經(jīng)典語義分割網(wǎng)絡(luò)FCN-32、Unet、Segnet作為對比，使用3 743張異物圖像數(shù)據(jù)集測試模型性能，測試結(jié)果見表2。由表2可知，文中提出的模型在測試集上的表現(xiàn)最優(yōu)，正樣本MIOU達到55.82%，總樣本MIOU為77.83%。使用最優(yōu)模型對測試集中4類異物(硬質(zhì)棍狀異物、硬質(zhì)板狀異物、軟質(zhì)繩狀異物和軟質(zhì)布狀異物)在兩種不同生產(chǎn)狀況下(正常生產(chǎn)和物料堆疊)進行測試，異物檢測準確率達到98.58%，測試結(jié)果如圖5所示。

圖5 煤中異物測試示例Fig.5 Example of foreign objects detection in coal images

表2 模型表現(xiàn)對比Tab.2 Comparison with other models %

3.1 損失函數(shù)對模型效果的影響

損失函數(shù)是決定網(wǎng)絡(luò)學(xué)習(xí)質(zhì)量的關(guān)鍵，用來表現(xiàn)預(yù)測與實際數(shù)據(jù)的差距程度。文中提出的損失函數(shù)包含2個超參數(shù)：γ因子用來調(diào)節(jié)樣本權(quán)重降低的速率，使得模型減少易分類樣本的損失，以便更加關(guān)注于難分、錯分的樣本；平衡因子α用來平衡正負樣本的比例。通過超參數(shù)的調(diào)節(jié)可使模型減少誤檢情況，不同超參數(shù)組合訓(xùn)練結(jié)果對比如圖6所示。以交叉熵損失函數(shù)作為模型基準，確定損失函數(shù)最佳參數(shù)組合為γ=1，α=0.25，使得模型正樣本MIOU提高了7.85%，總樣本MIOU提高了3.74%。使用不同損失函數(shù)訓(xùn)練模型，預(yù)測結(jié)果對比如圖7所示。其中，圖7(b)為真實標(biāo)注，圖7(c)預(yù)測結(jié)果1對應(yīng)的模型由交叉熵損失函數(shù)訓(xùn)練得到，圖7(d)預(yù)測結(jié)果2對應(yīng)的模型由最佳參數(shù)組合的損失函數(shù)訓(xùn)練得到。對比圖7(c)(d)可以看出，損失函數(shù)的調(diào)節(jié)能夠有效緩解前景、背景比例嚴重失衡引起的模型誤檢問題，同時還能抑制部分圖像噪聲，使得模型在復(fù)雜情況下對煤中異物的檢測具有更強的魯棒性和泛化能力。

圖6 不同參數(shù)組合對比結(jié)果Fig.6 Comparison of different parameter combinations

圖7 損失函數(shù)對模型預(yù)測結(jié)果的影響Fig.7 Influence of loss function on model prediction results

3.2 迭代次數(shù)對模型效果的影響

為了分析迭代次數(shù)對模型的影響，采用Adam優(yōu)化器，學(xué)習(xí)率為10-5，學(xué)習(xí)衰減率為5×10-4，迭代50次模型的相似度與損失值如圖8所示。當(dāng)?shù)螖?shù)較少時，網(wǎng)絡(luò)學(xué)習(xí)效果并不理想，隨著迭代次數(shù)的增加、網(wǎng)絡(luò)參數(shù)的不斷優(yōu)化，經(jīng)過30次迭代之后模型的相似度系數(shù)的提升和損失函數(shù)的下降已趨于穩(wěn)定，模型迭代20次已經(jīng)基本收斂，損失值穩(wěn)定在0.15左右，相似度基本穩(wěn)定在98%左右。通過模型在測試集上的表現(xiàn)，不同訓(xùn)練輪次下模型效果如圖9所示。模型訓(xùn)練迭代次數(shù)為25時，模型效果最優(yōu)，正樣本MIOU達到55.82%，總樣本MIOU為77.83%，如果繼續(xù)訓(xùn)練模型將會產(chǎn)生過擬合現(xiàn)象。

圖8 模型訓(xùn)練過程Fig.8 The process of model training

圖9 不同訓(xùn)練輪次下模型預(yù)測結(jié)果Fig.9 Model predict results under different training rounds

3.3 后端優(yōu)化對模型效果的提升

通過損失函數(shù)的約束，模型在一定程度上緩解了誤檢問題，但是由于前端網(wǎng)絡(luò)不斷的卷積和池化操作，使后續(xù)像素點的感受野不斷增大，導(dǎo)致輸出結(jié)果對邊緣約束力不足，最后的分割結(jié)果較粗。因此，后端優(yōu)化模塊考慮全局信息(顏色和空間位置)，對模型分割結(jié)果進行細化，通過能量函數(shù)優(yōu)化求解，對預(yù)測結(jié)果和原始圖像中明顯不符合事實的進行識別、判斷、剔除，替換成合理的解釋，對圖像語義預(yù)測結(jié)果進行優(yōu)化，生成最終的語義分割結(jié)果。使用CRF前后模型MIOU指標(biāo)對比見表3。

表3 使用CRF前后數(shù)據(jù)對比Tab.3 Data Comparison with CRF %

由表3可知，使用交叉熵損失函數(shù)通過CRF優(yōu)化迭代5次時，正樣本MIOU為55.52%,總樣本MIOU為77.63%；使用改進的損失函數(shù)通過CRF優(yōu)化迭代1次時，正樣本MIOU為55.92%，總樣本的MIOU為77.83%。改進損失函數(shù)后CRF迭代次數(shù)更少，速度更快，模型效果更優(yōu)。使用后端優(yōu)化模塊前后模型預(yù)測結(jié)果對比如圖10所示，可以看出由于圖像采集過程中背景的干擾和噪聲的存在導(dǎo)致模型存在誤檢情況。圖10(c)是經(jīng)過CRF對模型調(diào)優(yōu)后的結(jié)果。在空間位置上，距離很近的像素應(yīng)該分為同一類，在RGB顏色空間上會給予一定的懲罰值和一些能量項，使得對于模型預(yù)測的概率進行修正，減少對一些離散像素的誤檢測和對邊緣進行細化，能夠抑制一定的噪聲，減少過分割和誤檢測。通過對比可以看出，使用后端優(yōu)化模塊調(diào)優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)的輸出并強化其捕捉細粒度信息，促成了底層圖像信息(如像素間的相互關(guān)系)與產(chǎn)生像素級別的類別標(biāo)簽推理輸出的結(jié)合。這樣可有效地細化分割結(jié)果，減少過分割和誤檢測，提升模型的魯棒性和泛化能力，能夠完成復(fù)雜環(huán)境下的煤中異物檢測。

圖10 后端優(yōu)化前后預(yù)測結(jié)果對比Fig.10 Comparison of prediction results with CRF

3.4 模型誤檢原因分析

為了進一步了解神經(jīng)網(wǎng)絡(luò)的分類決策策略，方便對神經(jīng)網(wǎng)絡(luò)決策過程調(diào)試，使用類激活圖進行可視化對模型誤檢原因進行分析?？梢暬Y(jié)果如圖11所示?？梢钥闯?，誤檢主要出現(xiàn)在煤矸表面有明顯的棱角及其邊緣、視覺容易混淆的區(qū)域，并且圖像噪聲會對煤中異物的識別帶來一定的干擾。因此，對于背景和噪聲干擾帶來的誤檢問題提出一種損失函數(shù)用于網(wǎng)絡(luò)訓(xùn)練，并使用條件隨機場對模型預(yù)測結(jié)果進行細化，效果提升明顯。從圖11(b)中可以看出，針對易分類和難分類樣本分布兩種極端情況，通過損失函數(shù)對模型進行調(diào)整，降低易分類樣本的權(quán)重，使模型更加關(guān)注于難分類的樣本，從而在一定程度上緩解誤檢情況。針對可能誤分類樣本采用后端優(yōu)化模塊從顏色和空間位置上對網(wǎng)絡(luò)輸出結(jié)果進行調(diào)整，使得模型能有效地細化分割結(jié)果，減少誤檢情況，提升模型的魯棒性和泛化能力，能夠完成復(fù)雜環(huán)境下的煤中異物檢測。

圖11 類激活圖Fig.11 Class activation map

4 結(jié) 論

(1) 針對煤矸分選系統(tǒng)中的異物圖像進行數(shù)據(jù)增強，增加模型泛化能力和魯棒性，簡單有效；提出一種損失函數(shù)，在一定程度上解決了復(fù)雜易混淆背景和煤中異物所占圖像像素比例小所帶來的誤檢問題；模型使用多尺度信息融合，取長補短，提升結(jié)果測試能力。通過對3 743張測試數(shù)據(jù)集進行測試，檢測準確率達到98.58%，正樣本MIOU達到55.82%，總樣本MIOU為77.83%。

(2) 提出使用條件隨機場作為其后端優(yōu)化模塊，調(diào)優(yōu)分割架構(gòu)的輸出并強化其捕捉細粒度信息，促成了底層圖像信息(如像素間的相互關(guān)系)與產(chǎn)生像素級別的類別標(biāo)簽推理輸出的結(jié)合。能有效地細化分割結(jié)果，減少過分割和誤檢測，提升模型準確率。針對本文提出的損失函數(shù)，使用CRF優(yōu)化使得正樣本MIOU提升了4.39%，總樣本MIOU提高了2.17%。

(3) 基于類激活圖的可視化方法分析了模型誤檢原因。對損失函數(shù)的改進和條件隨機場的優(yōu)化，可有效緩解模型對煤矸石表面和背景的誤檢情況。