張 勇， 郭永存， 陳 偉， 王 爽， 程 剛

(安徽理工大學(xué) a. 電氣與信息工程學(xué)院； b. 機(jī)械工程學(xué)院； c. 深部煤礦采動(dòng)響應(yīng)與災(zāi)害防控國(guó)家重點(diǎn)實(shí)驗(yàn)室， 安徽 淮南 232001)

煤矸分選是煤礦生產(chǎn)過(guò)程中的重要一環(huán)。準(zhǔn)確分離出原煤中的矸石，可以提高煤的發(fā)熱量，降低運(yùn)輸成本， 并避免矸石對(duì)環(huán)境的污染[1]。 傳統(tǒng)的煤矸分選方法有人工選矸和機(jī)器選矸。 人工選矸不僅勞動(dòng)強(qiáng)度大，而且選矸效果存在不確定性。機(jī)器選矸有跳汰法[2]、 浮選法[3]和重介質(zhì)法[4]等，但這些方法會(huì)帶來(lái)對(duì)土地和水資源的污染， 存在巨大的安全隱患。 隨著計(jì)算機(jī)技術(shù)的發(fā)展， 計(jì)算機(jī)視覺(jué)識(shí)別技術(shù)開(kāi)始普遍應(yīng)用于工業(yè)生產(chǎn)的各個(gè)領(lǐng)域。 計(jì)算機(jī)視覺(jué)識(shí)別煤和矸石方法分為機(jī)器學(xué)習(xí)和深度學(xué)習(xí)2種類(lèi)型。

在機(jī)器學(xué)習(xí)方面，魯恒潤(rùn)等[5]利用煤與矸石灰度、紋理特征量的相關(guān)性構(gòu)造歸一化特征向量，結(jié)合BP神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別分類(lèi)，最終識(shí)別率可達(dá)到87.5%。Dou等[6]提出基于圖像分析的relief-SVM方法用來(lái)識(shí)別煤和矸石，通過(guò)圖像分析提取煤和矸石圖像的顏色和紋理等特征，并使用relief-SVM構(gòu)造最優(yōu)分類(lèi)器識(shí)別、判斷煤和矸石；Hou[7]提出一種基于圖像特征和神經(jīng)網(wǎng)絡(luò)相結(jié)合的煤和矸石識(shí)別方法，通過(guò)對(duì)煤和矸石圖像灰度和紋理的特征提取，再利用前向神經(jīng)網(wǎng)絡(luò)完成對(duì)煤和矸石的識(shí)別分類(lèi)。上述方法均需要通過(guò)圖像預(yù)處理指定分類(lèi)的人工特征，存在數(shù)據(jù)預(yù)處理復(fù)雜、檢測(cè)維度單一、 速度慢和精度低等問(wèn)題。

在深度學(xué)習(xí)方面， 徐志強(qiáng)等[8]采用模型剪枝對(duì)相似度高的卷積核進(jìn)行裁剪， 降低了模型復(fù)雜度， 避免了模型參數(shù)的冗余與過(guò)擬合； Lv等[9]采用注意力機(jī)制研究了煤矸石目標(biāo)檢測(cè)中的細(xì)粒度問(wèn)題， 加強(qiáng)網(wǎng)絡(luò)對(duì)于小尺寸煤和矸石的檢測(cè)能力； 郜亞松等[10]提出一種輕量級(jí)的煤矸識(shí)別網(wǎng)絡(luò)模型， 在保證模型復(fù)雜度小幅增加的前提下提高網(wǎng)絡(luò)的識(shí)別能力； 杜京義等[11]針對(duì)目標(biāo)檢測(cè)算法精度低、 實(shí)時(shí)性差等問(wèn)題， 提出采用Ghost網(wǎng)絡(luò)和自注意力機(jī)制優(yōu)化SSD目標(biāo)檢測(cè)網(wǎng)絡(luò)， 改善了網(wǎng)絡(luò)的檢測(cè)效果。

輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練往往需要大量的數(shù)據(jù)集的支撐， 但大量數(shù)據(jù)集的獲取普遍存在一定的困難。 本文中從注意力機(jī)制、 激活函數(shù)和分類(lèi)頭等3個(gè)方面對(duì)輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)MobileNetv3進(jìn)行改進(jìn)， 提高模型在小樣本數(shù)據(jù)集下的訓(xùn)練收斂速度和識(shí)別準(zhǔn)確率， 并對(duì)訓(xùn)練后的模型進(jìn)行量化和移動(dòng)端部署操作， 測(cè)試模型量化前、 后的空間體積與復(fù)雜度， 實(shí)際推理時(shí)間與識(shí)別準(zhǔn)確率。

1 實(shí)驗(yàn)

1.1 煤和矸石的數(shù)據(jù)采集和預(yù)處理

實(shí)驗(yàn)所用的煤和矸石樣本來(lái)自于淮南市潘二礦，利用實(shí)驗(yàn)裝置采集煤和矸石的數(shù)據(jù)圖片各500張，煤和矸石樣本如圖1所示。圖片樣本按照7∶1∶2的比例劃分為訓(xùn)練集、 驗(yàn)證集和測(cè)試集。

(a)煤(b)矸石圖1 煤和矸石樣本Fig.1 Samples of coal and gangue

實(shí)驗(yàn)訓(xùn)練集中樣本僅有700張，在模型訓(xùn)練時(shí)容易陷入過(guò)擬合，需要對(duì)采集的樣本進(jìn)行數(shù)據(jù)增強(qiáng)，實(shí)驗(yàn)采取的數(shù)據(jù)增強(qiáng)參數(shù)值如表1所示。

表1 數(shù)據(jù)增強(qiáng)參數(shù)

1.2 移動(dòng)端煤矸識(shí)別實(shí)驗(yàn)裝置

移動(dòng)端煤矸識(shí)別實(shí)驗(yàn)裝置如圖2所示。實(shí)驗(yàn)裝置主要包括帶式輸送機(jī)、移動(dòng)端識(shí)別單元NanoPC-T4開(kāi)發(fā)板、 相機(jī)、 煤和矸石樣本、 設(shè)備架體、 可調(diào)光源和對(duì)應(yīng)的光源控制器。其中，使用的輸送帶是一種常見(jiàn)的礦用鋼絲繩輸送帶，輸送帶寬為0.6 m，厚度為15 mm，最大運(yùn)行速度為4 m/s；相機(jī)型號(hào)為羅技C922，光源型號(hào)為2個(gè)KM-BRD36030-白光，光源控制器型號(hào)為DSC2.0-2C030W-24PS(60 W)，用于調(diào)節(jié)光照強(qiáng)度。

(a)實(shí)驗(yàn)裝置(b)煤或矸石圖2 移動(dòng)端煤矸識(shí)別實(shí)驗(yàn)裝置Fig.2 Experimental equipment for coal and gangue identification at mobile device

2 網(wǎng)絡(luò)輕量化和模型優(yōu)化方法

2.1 網(wǎng)絡(luò)輕量化

對(duì)于移動(dòng)端深度學(xué)習(xí)系統(tǒng)的開(kāi)發(fā)，一般采用輕量型的學(xué)習(xí)網(wǎng)絡(luò)。常見(jiàn)的輕量型的深度學(xué)習(xí)網(wǎng)絡(luò)有SqueezeNet[12]、 EfficientNet[13]、 MobileNet[14-16]和ShuffleNet[17-18]等。輕量型卷積神經(jīng)網(wǎng)絡(luò)中的模型輕量化使用深度可分離卷積。標(biāo)準(zhǔn)卷積操作流程示意圖如圖3所示。M為輸入通道數(shù)，N為輸出通道數(shù)，DF、DK、DG分別為輸入特征圖尺寸、 卷積核尺寸和輸出特征圖尺寸；輸入特征映射F尺寸為(DF，DF，M)，標(biāo)準(zhǔn)卷積K為(DK，DK，M，N)，輸出特征映射G為(DG，DG，N)。

圖3 標(biāo)準(zhǔn)卷積操作流程示意圖Fig.3 Schematic diagram of standard convolution operation flow

通過(guò)卷積，輸出計(jì)算量C1的計(jì)算公式[14]為

(1)

深度可分離卷積將標(biāo)準(zhǔn)卷積拆分為深度卷積和逐點(diǎn)卷積，深度可分離卷積的操作流程示意圖如圖4所示。由圖可見(jiàn)，深度卷積負(fù)責(zé)濾波作用，輸入尺寸為(DK，DK， 1，M)，輸出特征尺寸為(DG，DG，M)；逐點(diǎn)卷積負(fù)責(zé)轉(zhuǎn)換通道，輸入尺寸為(1，M，N)，輸出尺寸為(DG，DG，N)。經(jīng)過(guò)深度可分離卷積，計(jì)算量C2的計(jì)算公式[14]為

圖4 深度可分離卷積的操作流程示意圖Fig.4 Schematic diagram of depth separable convolution operation flow

(2)

經(jīng)過(guò)深度可分離卷積的作用，卷積操作的壓縮比為s，模型復(fù)雜度大幅度降低。壓縮比s的計(jì)算公式為

(3)

2.2 注意力機(jī)制

MobileNetv3網(wǎng)絡(luò)中的注意力機(jī)制為SENet[19]。SENet通過(guò)在2個(gè)連接層間使用維度縮減來(lái)產(chǎn)生每個(gè)通道的權(quán)重信息，幫助網(wǎng)絡(luò)學(xué)習(xí)重要的特征信息，但通道的降維會(huì)對(duì)通道預(yù)測(cè)帶來(lái)副作用，降低模型預(yù)測(cè)效率，而且捕獲全部通道間的互相依賴會(huì)加大網(wǎng)絡(luò)的參數(shù)量。針對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)，采用一種高效通道注意力模塊避免降維。高效通道只捕獲有效的跨通道的交互信息，能夠在增加少量參數(shù)的前提下獲得明顯的性能增益，高效通道注意力機(jī)制模型[20]如圖5所示。

圖5 高效通道注意力模型[20]Fig.5 Efficient channeled attention model[20]

由圖5可見(jiàn)，H、W和C分別表示特征圖的高度、寬度和通道維數(shù)，輸入尺寸為H×W×C的特征圖通過(guò)全局平均池化得到尺寸為1×1×C的向量；利用卷積核個(gè)數(shù)為k的一維卷積完成通道間的信息交互，得到每個(gè)通道的權(quán)重，并添加到卷積操作中，獲得輸出尺寸為H×W×C的高維特征，因此，學(xué)習(xí)到的通道注意力Wk的計(jì)算公式[20]為

(4)

式中：Wk涉及K×C個(gè)參數(shù)，同時(shí)避免了不同組的完全獨(dú)立；ωi(i=1，2，…，c)為權(quán)重，如果只考慮特征yi(i=1，2，…，c)和k個(gè)鄰居間的信息交互，則ωi的計(jì)算公式為

(5)

式中σ表示sigmoid激活操作。為了進(jìn)一步提高性能，通過(guò)使用相同的權(quán)重ωj(j=1，2，…，k)實(shí)現(xiàn)通道間的權(quán)重信息共享，并利用卷積核大小為k的一維卷積來(lái)實(shí)現(xiàn)通道間的信息交互，ωi計(jì)算公式又為

(6)

ω=σ(C1Dk(y))，

(7)

式中C1D代表一維卷積操作。

高效通道注意力機(jī)制旨在捕獲局部跨道信息交互，需確定通道交互信息的大致范圍，即一維卷積核的大小為k；通過(guò)借鑒組卷積，得出跨通道信息交互作用的覆蓋范圍與通道維數(shù)C成正比，并利用以2為底的指數(shù)函數(shù)表示通道維數(shù)C與卷積核大小k之間的非線性映射關(guān)系φ，通道維數(shù)的計(jì)算公式為

C=φ(k)=2(γk-b)。

(8)

給定通道維數(shù)C時(shí)，則一維卷積核大小k計(jì)算公式為

(9)

式中： |·|odd為最接近值的奇數(shù)；γ、b參數(shù)值分別設(shè)為2、 1。

2.3 激活函數(shù)

MobileNetv3中的激活函數(shù)為h-swish，是通過(guò)NAS暴力搜索技術(shù)找到的Swish激活函數(shù)改進(jìn)版，但在小樣本數(shù)據(jù)集中，將不再適用。本文中使用SMU(smooth maximum unit)激活函數(shù)[21]替代網(wǎng)絡(luò)中的h-swish激活函數(shù)，減少網(wǎng)絡(luò)參數(shù)間的依賴，緩解模型訓(xùn)練過(guò)擬合的發(fā)生，加快模型訓(xùn)練收斂速度，SMU激活函數(shù)表達(dá)式為

(10)

式中：x為當(dāng)前輸入特征； erf為高斯誤差函數(shù)；μ為可訓(xùn)練的平滑參數(shù)，初始化為1 000 000；α為超參數(shù)，設(shè)為0.25。

2.4 分類(lèi)頭

小數(shù)據(jù)集中，MobileNetv3中使用2次尺寸為1×1的卷積擴(kuò)展特征到高維度特征空間。豐富預(yù)測(cè)特征的方式不僅會(huì)增加模型計(jì)算復(fù)雜度，而且會(huì)降低分類(lèi)頭的訓(xùn)練收斂速度。針對(duì)小樣本數(shù)據(jù)集的模型訓(xùn)練，使用全連接層代替平均池化后的卷積操作，直接對(duì)特征圖分類(lèi)結(jié)果進(jìn)行預(yù)測(cè)，避免小樣本數(shù)據(jù)集訓(xùn)練過(guò)程中的不收斂現(xiàn)象，提高模型訓(xùn)練和推理速率，MobileNetv3和改進(jìn)后E-MobileNetv3網(wǎng)絡(luò)分類(lèi)頭結(jié)構(gòu)如圖6所示。

(a)MobileNetv3(b)改進(jìn)后E-MobileNetv3圖6 MobileNetv3和改進(jìn)后E-MobileNetv3網(wǎng)絡(luò)分類(lèi)頭結(jié)構(gòu)Fig.6 Classification head of MobileNetv3 and E-MobileNetv3

改進(jìn)后E-MobileNetv3網(wǎng)絡(luò)結(jié)構(gòu)如表2所示。由表可知，網(wǎng)絡(luò)模型的瓶頸層Bneck_block均采用高效通道域注意力機(jī)制，加強(qiáng)通道傳播過(guò)程中的跨通道信息交互能力。

3 結(jié)果與討論

3.1 模型訓(xùn)練

模型訓(xùn)練基于Windows10(64位)操作系統(tǒng)，電腦配置為Inter Core i5-9300H，NVIDIA GTX1660Ti 6G顯卡，在深度學(xué)習(xí)框架Tensorflow2.0中進(jìn)行模型的訓(xùn)練、驗(yàn)證和預(yù)測(cè)。模型輸入圖像的像素設(shè)為224×224，訓(xùn)練次數(shù)為50，模型優(yōu)化器為SGD函數(shù)，損失函數(shù)為交叉熵?fù)p失函數(shù)，并記錄訓(xùn)練精度和損失函數(shù)曲線。

分別對(duì)EfficientNet、 MobileNetv2、 MobileNetv3、 ShuffleNetv2、 SqueezeNet和E-MobileNetv3網(wǎng)絡(luò)的模型進(jìn)行訓(xùn)練，并繪制訓(xùn)練和驗(yàn)證損失曲線，研究損失值隨訓(xùn)練次數(shù)的變化規(guī)律。輕量型卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練和驗(yàn)證損失曲線如圖7所示。由圖可知，MobileNetv3訓(xùn)練出現(xiàn)過(guò)擬合，ShuffleNetv2訓(xùn)練梯度爆炸，模型訓(xùn)練效果不佳；EfficientNet、 MobileNetv2和SqueezeNet訓(xùn)練收斂速度較慢，且驗(yàn)證損失函數(shù)波動(dòng)較大；E-MobileNetv3模型經(jīng)過(guò)約20次的訓(xùn)練后，模型逐漸收斂，且波動(dòng)較小，最終損失函數(shù)值穩(wěn)定在0.008左右，損失函數(shù)較小，且訓(xùn)練損失和驗(yàn)證損失間波動(dòng)較小，模型訓(xùn)練完美擬合，訓(xùn)練效果較好，因此，E-MobileNetv3模型的訓(xùn)練參數(shù)設(shè)置較為合理。

(a)EfficientNet(b)MobileNetv2(c)MobileNetv3(d)ShuffleNetv2(e)SqueezeNet(f)E-MobileNetv3圖7 輕量型卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練和驗(yàn)證損失曲線Fig.7 Training and verification loss curves of lightweight convolutional neural network models

E-MobileNetv3模型訓(xùn)練準(zhǔn)確率曲線如圖8所示。由圖8可知，經(jīng)過(guò)50次的訓(xùn)練，模型訓(xùn)練準(zhǔn)確率和驗(yàn)證準(zhǔn)確率均大于99%，模型準(zhǔn)確率較高，訓(xùn)練效果較好。

(a)訓(xùn)練次數(shù)為0～50(b)訓(xùn)練次數(shù)為45～50圖8 E-MobileNetv3模型訓(xùn)練準(zhǔn)確率曲線Fig.8 Training accuracy curve of E-MobileNetv3 model

3.2 模型壓縮

深度學(xué)習(xí)網(wǎng)絡(luò)模型中常用的壓縮方法主要有模型剪枝和模型量化2種。模型剪枝常用在模型訓(xùn)練后，用于去除一些不重要的神經(jīng)元連接，但神經(jīng)元級(jí)別的剪枝會(huì)使結(jié)果變得稀疏，不利于緩存優(yōu)化和內(nèi)存訪問(wèn)，濾波器級(jí)別的剪枝又難以衡量濾波器的重要程度；模型量化將浮點(diǎn)數(shù)替換成整數(shù)進(jìn)行存儲(chǔ)和計(jì)算，能夠加快模型的推理速度并減小計(jì)算內(nèi)存，因此，選用模型量化作為模型壓縮方法。常用的量化方式有動(dòng)態(tài)離線量化、靜態(tài)離線量化和量化訓(xùn)練，本文中選用動(dòng)態(tài)離線量化的方式對(duì)模型進(jìn)行壓縮。量化公式為

qi=round(xf/xs)+xz，

(11)

(12)

(13)

模型采用浮點(diǎn)32位到8位整型的量化，模型輸入浮點(diǎn)數(shù)據(jù)區(qū)間為[(2-2-23)×2127，(223-2)×2127]，輸出整型數(shù)據(jù)區(qū)間為[-128,127]。

3.3 移動(dòng)端部署

模型的移動(dòng)端部署采用Tensorflow深度學(xué)習(xí)框架中的Tensorflow lite進(jìn)行部署工作。移動(dòng)端設(shè)備使用NanoPC-T4開(kāi)發(fā)板，主控芯片為瑞芯微RK3399芯片，內(nèi)部運(yùn)行Android8.1系統(tǒng)。端側(cè)模型訓(xùn)練后，通過(guò)模型轉(zhuǎn)換和量化操作，保存為tflite格式，下載至開(kāi)發(fā)板中，結(jié)合實(shí)驗(yàn)裝置，進(jìn)行移動(dòng)端煤矸識(shí)別。

模型量化前、 后模型體積和浮點(diǎn)運(yùn)算次數(shù)如表3所示。由表可知，改進(jìn)后模型的復(fù)雜度最低，且模型存儲(chǔ)容量最小，經(jīng)過(guò)8位整型動(dòng)態(tài)離線量化操作，模型存儲(chǔ)容量?jī)H為0.52 MB，為原網(wǎng)絡(luò)的24.64%，滿足移動(dòng)端模型的部署需求。

表3 模型量化前、 后存儲(chǔ)容量和浮點(diǎn)運(yùn)算次數(shù)

通過(guò)移動(dòng)端的部署， 測(cè)量各模型在移動(dòng)端的推理時(shí)間和識(shí)別準(zhǔn)確率。 模型量化前、 后的推理時(shí)間和識(shí)別準(zhǔn)確率如表4所示。 由表可知， 輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)MobileNetv2、 MobileNetv3、 ShuffleNetv2和E-MobileNetv3模型的移動(dòng)端推理時(shí)間均小于250 ms，改進(jìn)后的E-MobileNetv3網(wǎng)絡(luò)模型量化前、 后推理時(shí)間均小于100 ms，識(shí)別速度較快，滿足移動(dòng)端煤和矸石的識(shí)別速度需求；EfficientNet和SqueezeNet移動(dòng)端推理速度較慢，推理時(shí)間均大于2 500 ms，雖然SqueezeNet模型存儲(chǔ)容量不大，但普通卷積的大量堆積導(dǎo)致在移動(dòng)端的推理速度減慢。綜上，改進(jìn)后網(wǎng)絡(luò)E-MobileNetv3識(shí)別準(zhǔn)確率最高可達(dá)99.7%，能夠很好地滿足實(shí)際工況中的對(duì)煤矸識(shí)別精度的要求。

表4 模型量化前、 后的推理時(shí)間和識(shí)別準(zhǔn)確率

3.4 煤和矸石的圖像識(shí)別

利用實(shí)驗(yàn)裝置，實(shí)時(shí)采集輸送帶上的煤和矸石圖像，經(jīng)移動(dòng)端識(shí)別單元處理后，通過(guò)屏幕顯示煤和矸石的識(shí)別結(jié)果、識(shí)別概率和推理時(shí)間。移動(dòng)端煤和矸石的識(shí)別結(jié)果如圖9所示。

(a)煤(b)矸石圖9 煤和矸石識(shí)別結(jié)果Fig.9 Identification results of coal and gangue

4 結(jié)論

本文中分析了輕量化卷積神經(jīng)網(wǎng)絡(luò)模型輕量化的方法， 并從注意力機(jī)制、 激活函數(shù)和分類(lèi)頭3個(gè)方面對(duì)MobileNetv3網(wǎng)絡(luò)進(jìn)行改進(jìn)， 通過(guò)模型量化壓縮網(wǎng)絡(luò)在移動(dòng)端部署模型， 分析對(duì)比改進(jìn)網(wǎng)絡(luò)與EfficientNet、 MobileNetv2、 MobileNetv3、 ShuffleNetv2、 SqueezeNet模型的量化前、 后的空間存儲(chǔ)容量， 浮點(diǎn)運(yùn)算次數(shù)， 量化前、 后模型移動(dòng)端推理時(shí)間和識(shí)別準(zhǔn)確率，得到以下結(jié)論：

1)高效通道域注意力機(jī)制加強(qiáng)了輕量型卷積神經(jīng)網(wǎng)絡(luò)跨通道間的信息交互，提高了模型的識(shí)別準(zhǔn)確率。Mobilenetv3網(wǎng)絡(luò)激活函數(shù)不適用小樣本數(shù)據(jù)集，會(huì)造成模型訓(xùn)練的過(guò)擬合；分類(lèi)頭的卷積輸出不僅會(huì)增加模型復(fù)雜度，而且會(huì)造成模型訓(xùn)練的不收斂；改進(jìn)后網(wǎng)絡(luò)經(jīng)過(guò)20次的訓(xùn)練，模型即收斂，速度較快，且訓(xùn)練和驗(yàn)證準(zhǔn)確率均大于99%。

2)改進(jìn)后模型經(jīng)量化壓縮后，模型存儲(chǔ)容量較小，僅為原網(wǎng)絡(luò)的24.64%，模型復(fù)雜度大幅度下降；移動(dòng)端推理時(shí)間較短，僅為77 ms，識(shí)別準(zhǔn)確率達(dá)到99.7%，對(duì)于移動(dòng)端煤矸分選具有一定的應(yīng)用價(jià)值。

3)利用實(shí)驗(yàn)裝置實(shí)時(shí)采集輸送帶上的煤和矸石圖像，經(jīng)移動(dòng)端識(shí)別單元處理后，通過(guò)屏幕顯示煤和矸石的識(shí)別結(jié)果、 識(shí)別概率和推理時(shí)間，識(shí)別效果較好，驗(yàn)證了識(shí)別方法的可靠性。