王冠軍，蘇婷婷，劉文博，錢(qián)智平，李佳澤

(中國(guó)礦業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院， 江蘇 徐州 221116)

0 引言

傳統(tǒng)的煤矸石人工分選方法是指原煤被運(yùn)出井口后，經(jīng)帶式輸送機(jī)運(yùn)到人工揀矸樓，由工人把矸石與雜物揀出來(lái)，再輸送到選煤車間。對(duì)煤矸石自動(dòng)分揀方法的研究主要集中在煤矸石圖像識(shí)別技術(shù)上，例如小波分析與DSP[1-2]、粗糙集理論[3]、紋理分析[4-5]、核典型相關(guān)分析[6]、灰度自適應(yīng)邊緣檢測(cè)[7]等。以上方法均可實(shí)現(xiàn)簡(jiǎn)單的矸石檢測(cè)，存在的主要不足是實(shí)時(shí)性較差且整體分揀準(zhǔn)確率不高。利用密度進(jìn)行分選[8-9]的方法適用于井下初選，且成本較高。針對(duì)上述問(wèn)題，本文設(shè)計(jì)了一種基于EAIDK的智能煤矸分揀系統(tǒng)。

1 系統(tǒng)總體設(shè)計(jì)

1.1 系統(tǒng)結(jié)構(gòu)

基于EAIDK的智能煤矸分揀系統(tǒng)由EAIDK-610平臺(tái)、視覺(jué)系統(tǒng)、機(jī)械臂等組成，如圖1所示。EAIDK-610是一種面向邊緣計(jì)算的嵌入式人工智能開(kāi)發(fā)平臺(tái)，硬件方面，使用高性能ARM SoC搭載OPEN AI LAB嵌入式AI開(kāi)發(fā)平臺(tái)AID，具備語(yǔ)音、視頻等數(shù)據(jù)采集能力，有適用于多場(chǎng)景的運(yùn)動(dòng)控制接口；軟件方面，支持視覺(jué)處理與分析、語(yǔ)音識(shí)別、語(yǔ)義分析、SLAM(即時(shí)定位與地圖構(gòu)建)等應(yīng)用的基礎(chǔ)平臺(tái)和主流開(kāi)源算法。視覺(jué)系統(tǒng)由PLC、智能攝像機(jī)、觸摸屏等構(gòu)成，實(shí)現(xiàn)圖像采集與處理功能。機(jī)械臂安裝于輸送帶一側(cè)軌道上，可以水平運(yùn)動(dòng)。

圖1 基于EAIDK的智能煤矸分揀系統(tǒng)結(jié)構(gòu)

1.2 系統(tǒng)工作流程

原煤經(jīng)過(guò)帶式輸送機(jī)輸送到原煤倉(cāng)時(shí)，通過(guò)帶式輸送機(jī)上方的攝像機(jī)獲得當(dāng)前原煤圖像，識(shí)別煤和矸石，并測(cè)量矸石位置和朝向；通過(guò)手眼標(biāo)定獲得攝像機(jī)坐標(biāo)系與機(jī)械臂坐標(biāo)系之間的關(guān)系；機(jī)械臂以合適的姿態(tài)運(yùn)動(dòng)到矸石位置，抓取矸石并移動(dòng)到矸石桶位置后放下矸石；最后機(jī)械臂歸位，進(jìn)入下一輪煤矸分揀。系統(tǒng)工作流程如圖2所示。

圖2 基于EAIDK的智能煤矸分揀系統(tǒng)工作流程

2 基于EAIDK的矸石識(shí)別

在處理的圖像中，煤塊是黑色的，而矸石基本上是灰色的，煤塊本身灰度比較低，只有當(dāng)煤塊反光時(shí)，反光部分出現(xiàn)亮點(diǎn)，煤塊的這些部分灰度級(jí)才會(huì)較高，而矸石一般灰度級(jí)都比較高。以灰度分布的均值和方差作為特征值來(lái)區(qū)分煤塊和矸石，根據(jù)模式識(shí)別的原理，將煤和矸石的標(biāo)準(zhǔn)特征值作為分揀標(biāo)準(zhǔn)。在識(shí)別時(shí)，將實(shí)際煤和矸石的灰度分布與之比較，理論上就可以將煤和矸石區(qū)分開(kāi)來(lái)。

2.1 圖像預(yù)處理

使用TEngine深度學(xué)習(xí)框架所支持的基于卷積神經(jīng)網(wǎng)絡(luò)的VGG16深度學(xué)習(xí)模型搭建檢測(cè)模型，VGG16模型如圖3所示。VGG16總共有16層，含13個(gè)卷積層和3個(gè)全連接層。圖像經(jīng)過(guò)64個(gè)卷積核的2次卷積，128個(gè)卷積核2次卷積，256個(gè)卷積核3次卷積，2次512個(gè)卷積核3次卷積后，分別進(jìn)行一次池化處理，最后進(jìn)行3次全連接。將矸石分揀圖像輸入VGG16模型，在VGG16模型中將圖片的每個(gè)像素值減去在訓(xùn)練集上計(jì)算得到的平均RGB值，并將智能處理單元EAIDK-610接收到的圖像信息調(diào)整為符合神經(jīng)網(wǎng)絡(luò)輸入數(shù)據(jù)要求的格式。

2.2 圖像識(shí)別標(biāo)記

(1) 特征提取。將預(yù)處理后的圖像輸入特征提取網(wǎng)絡(luò)得到特征圖。VGG16模型經(jīng)過(guò)fine-tune處理后作為特征提取網(wǎng)絡(luò)，即移除VGG16模型中conv5最后一層的后續(xù)所有層，并使用剩余的權(quán)重作為模型下一次訓(xùn)練的起點(diǎn)。這種特征提取方式相比投影方法更為科學(xué)合理，且可通過(guò)改變卷積核大小、池化和最后輸出的特征向量的大小控制整體模型的擬合能力，相比其他特征提取方法更為靈活。

圖3 VGG16模型

(2) 目標(biāo)檢測(cè)。對(duì)特征圖進(jìn)行滑動(dòng)掃描，生成一組預(yù)定義的錨點(diǎn)框。用回歸模型和分類模型對(duì)預(yù)定義的錨點(diǎn)框進(jìn)行坐標(biāo)預(yù)測(cè)和矸石概率預(yù)測(cè)，判定目標(biāo)是否為矸石并定位錨點(diǎn)框頂點(diǎn)坐標(biāo)。最后，將回歸和分類預(yù)測(cè)的輸出進(jìn)行非極大值抑制篩選，得到最終矸石篩選結(jié)果。在conv5中加入3個(gè)新的卷積層搭建目標(biāo)檢測(cè)網(wǎng)絡(luò)：第1部分是一個(gè)常規(guī)卷積層，用于對(duì)前一層提供的數(shù)據(jù)進(jìn)行編碼；第2部分卷積層用于回歸和預(yù)測(cè)；第3部分負(fù)責(zé)預(yù)測(cè)目標(biāo)概率。

(3) 圖像標(biāo)記。根據(jù)預(yù)定義區(qū)域矸石檢測(cè)結(jié)果對(duì)矸石進(jìn)行標(biāo)記。

通過(guò)多媒體接口將識(shí)別標(biāo)記出的矸石信息輸出到機(jī)器人接口進(jìn)行后續(xù)揀矸操作，并在顯示設(shè)備上實(shí)時(shí)顯示，EAIDK-610可提供顯示觸摸一體屏配件。

3 矸石分揀控制

3.1 手眼標(biāo)定

為獲得攝像機(jī)與機(jī)械臂坐標(biāo)系的關(guān)系，需要進(jìn)行手眼標(biāo)定。對(duì)于固定視覺(jué)手眼系統(tǒng)的標(biāo)定，兩坐標(biāo)系之間的齊次坐標(biāo)變換關(guān)系可記為[10-11]

(1)

式中：xc,yc,zc為目標(biāo)點(diǎn)在攝像機(jī)坐標(biāo)系中的坐標(biāo)；xr,yr,zr為目標(biāo)點(diǎn)在機(jī)械臂坐標(biāo)系中的坐標(biāo)；R為機(jī)械臂坐標(biāo)系相對(duì)攝像機(jī)坐標(biāo)系旋轉(zhuǎn)3×3的正交矩陣，描述了機(jī)械臂坐標(biāo)系在攝像機(jī)坐標(biāo)系中的位置和姿態(tài)；Y為機(jī)械臂坐標(biāo)系的原點(diǎn)在攝像機(jī)坐標(biāo)系中的坐標(biāo)。

3.2 機(jī)械臂控制

為實(shí)現(xiàn)煤矸石揀取，需要控制機(jī)械臂運(yùn)動(dòng)，使機(jī)械臂在規(guī)定時(shí)間內(nèi)以合理姿態(tài)到達(dá)規(guī)定位置。在保證控制性能和精度的情況下，首先建立兩自由度機(jī)械臂簡(jiǎn)化模型，通過(guò)拉格朗日方程建立動(dòng)力學(xué)方程[12]：

(2)

根據(jù)動(dòng)力學(xué)方程對(duì)機(jī)械臂進(jìn)行正逆運(yùn)動(dòng)學(xué)解算，利用FPGA技術(shù)構(gòu)建專用的機(jī)器人主-從手臂運(yùn)動(dòng)學(xué)硬件模型，在毫秒級(jí)的時(shí)間內(nèi)實(shí)現(xiàn)復(fù)雜的主機(jī)械臂模型正解和從機(jī)械臂模型逆解計(jì)算，最后結(jié)合軌跡規(guī)劃完成機(jī)械臂運(yùn)動(dòng)規(guī)劃。機(jī)械臂運(yùn)動(dòng)過(guò)程分為3個(gè)階段：① 趨近階段：機(jī)械臂運(yùn)動(dòng)到輸送帶末端并打開(kāi)抓手到合適大小。② 揀取階段：抓取煤矸石并投放到矸石通道中。③ 回位階段：機(jī)械臂回位到初始位置，等待下一次揀取。

4 實(shí)驗(yàn)驗(yàn)證

通過(guò)基于EAIDK的智能煤矸分揀系統(tǒng)采集100組數(shù)據(jù)，每組包含100張圖像，原始圖像預(yù)處理后送入VGG16模型進(jìn)行訓(xùn)練，模型平均訓(xùn)練時(shí)間為10 min，利用訓(xùn)練完的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行矸石識(shí)別和分揀。模型的訓(xùn)練在服務(wù)器端進(jìn)行，使用AI高性能計(jì)算(Alibaba Cloud HPC)平臺(tái)完成。由于模型只需訓(xùn)練一次，所付出的時(shí)間代價(jià)是可接受的。經(jīng)平臺(tái)處理后的矸石識(shí)別圖像如圖4所示。矸石識(shí)別準(zhǔn)確率曲線如圖5所示。可以看出，矸石識(shí)別準(zhǔn)確率穩(wěn)定保持在95%以上。

圖4 經(jīng)平臺(tái)處理后的矸石識(shí)別圖像

圖5 矸石識(shí)別準(zhǔn)確率曲線

在河南神火集團(tuán)薛湖選煤廠進(jìn)行了系統(tǒng)測(cè)試，得出視覺(jué)系統(tǒng)的平均工作周期為110 ms，選煤廠自動(dòng)機(jī)械臂響應(yīng)跟蹤時(shí)間小于30 ms，執(zhí)行誤差為1 mm左右，可以滿足分揀工藝要求。

5 結(jié)語(yǔ)

設(shè)計(jì)了基于EAIDK的智能煤矸分揀系統(tǒng)，利用EAIDK-610平臺(tái)作為控制中心，通過(guò)視覺(jué)系統(tǒng)實(shí)現(xiàn)圖像采集與處理，并采用機(jī)械臂實(shí)現(xiàn)矸石分揀。該系統(tǒng)矸石識(shí)別準(zhǔn)確率高，機(jī)械臂跟蹤時(shí)間短，執(zhí)行誤差小。該系統(tǒng)存在的主要問(wèn)題是當(dāng)原煤含矸量較高時(shí)，系統(tǒng)響應(yīng)受限，此外，由于自然光源和燈光等干擾，增加了圖像處理難度，圖像檢測(cè)模型的訓(xùn)練時(shí)間也較長(zhǎng)，下一步工作將集中于提高系統(tǒng)響應(yīng)速度，進(jìn)一步提高矸石識(shí)別率，并完善實(shí)時(shí)追蹤系統(tǒng)。