牛云鵬 張立亞 賀云龍

(1.神東煤炭集團(tuán)信息管理中心，陜西省榆林市，719315；2.煤炭科學(xué)技術(shù)研究院有限公司，北京市朝陽區(qū)，100013)

目前，煤礦井下綜采工作面的各種自動(dòng)化和信息化類的系統(tǒng)對(duì)煤礦的安全生產(chǎn)起到了關(guān)鍵性保障作用[1-6]，但是國內(nèi)煤礦的應(yīng)用現(xiàn)狀基本上以監(jiān)測(cè)為主，沒有對(duì)監(jiān)測(cè)的對(duì)象進(jìn)行分析挖掘。

隨著信息技術(shù)的發(fā)展，特別是圖像處理技術(shù)的發(fā)展，智能數(shù)字圖像處理技術(shù)在礦井中的應(yīng)用已有較高水平。如美國通過對(duì)井下監(jiān)控圖像進(jìn)行處理，已開發(fā)出井下礦車監(jiān)督系統(tǒng)，可辨別礦車的里程、路線和時(shí)間以及礦車的貨物種類、重量等；德國煤礦開采采用了“煤礦圖像處理”技術(shù)，即使在不利條件下，也能正常對(duì)物體的“好”和“壞”進(jìn)行區(qū)分[7]。

煤礦綜采工作面可視化監(jiān)控及其分析對(duì)綜采工作面自動(dòng)化的發(fā)展具有重要作用。為了有效解決這一問題，筆者設(shè)計(jì)了一種適應(yīng)于智能大采高綜采工作面的視頻分析系統(tǒng)。

1 智能大采高綜采工作面視頻分析系統(tǒng)組成

結(jié)合神東煤炭集團(tuán)上灣煤礦(以下簡(jiǎn)稱“上灣煤礦”)12401綜采工作面的實(shí)際需求，基于無線傳輸網(wǎng)絡(luò)平臺(tái)，視頻智能分析平臺(tái)通過搭建GPU集群，對(duì)多路并發(fā)視頻進(jìn)行在線解析，實(shí)現(xiàn)在巷道集控中心及地面調(diào)度實(shí)時(shí)展現(xiàn)生產(chǎn)環(huán)境畫面和自動(dòng)控制等功能，設(shè)計(jì)出一套適應(yīng)于智能大采高綜采工作面的視頻分析系統(tǒng)。系統(tǒng)組成結(jié)構(gòu)圖如圖1所示。

圖1 系統(tǒng)組成結(jié)構(gòu)圖

2 系統(tǒng)主要功能模塊設(shè)計(jì)

2.1 片幫報(bào)警智能視頻識(shí)別

片幫事故本質(zhì)上屬于動(dòng)態(tài)事件[8]，片幫發(fā)生時(shí)，監(jiān)控相機(jī)視野內(nèi)的局部相鄰像素會(huì)發(fā)生一致性運(yùn)動(dòng)，算法自動(dòng)捕獲和識(shí)別這樣的運(yùn)動(dòng)，并以此為依據(jù)進(jìn)行事故發(fā)生與否的判斷。同時(shí)，由于井下環(huán)境的特殊性，前景和背景的紋理相似度較高，因此通過降噪、銳化算法將煤壁畫面中相鄰且具有明顯特征的群像素點(diǎn)作為特征點(diǎn)，在連續(xù)的圖像幀中比對(duì)這些特征點(diǎn)間出現(xiàn)的相對(duì)運(yùn)動(dòng)，一定數(shù)量特征點(diǎn)出現(xiàn)的相對(duì)位移達(dá)到閾值可認(rèn)為該區(qū)域的煤壁將產(chǎn)生片幫。當(dāng)片幫面積大于 1.5 m2時(shí)，系統(tǒng)發(fā)出報(bào)警信息并顯示實(shí)時(shí)畫面。視頻分析平臺(tái)也可區(qū)分不同區(qū)域的片幫報(bào)警和同一區(qū)域的連續(xù)片幫報(bào)警。煤壁片幫分析界面如圖2所示，護(hù)幫板下片幫分析界面如圖3所示。

圖2 煤壁片幫分析界面

圖3 護(hù)幫板下片幫分析界面

2.2 堆煤檢測(cè)智能視頻識(shí)別

通過無監(jiān)督分割算法得到煤堆的邊界，從而計(jì)算煤堆在畫面中的占比。根據(jù)實(shí)際場(chǎng)景教學(xué)標(biāo)定，得到具體的量化閾值，當(dāng)占比超出閾值時(shí)，生成堆煤報(bào)警信息。此解決方案和絆線檢測(cè)結(jié)合使用，加強(qiáng)方法的穩(wěn)定性和精確度。

在轉(zhuǎn)載機(jī)與帶式輸送機(jī)搭接轉(zhuǎn)載點(diǎn)、破碎機(jī)上方安裝礦用攝像機(jī)采集帶式輸送機(jī)沿線視頻，后端智能視頻服務(wù)器分析并實(shí)現(xiàn)報(bào)警。用戶通過軟件在視頻圖像上繪制方格，在視頻上設(shè)置電子圍欄，通過虛擬警戒線來判斷是否堆煤。當(dāng)煤塊穿越警戒線(閾值設(shè)置為70%)時(shí)，即產(chǎn)生堆煤報(bào)警信息。堆煤檢測(cè)分析界面如圖4所示。

圖4 堆煤檢測(cè)分析界面

2.3 刮板輸送機(jī)內(nèi)大塊煤視頻識(shí)別

通過監(jiān)控視頻的智能識(shí)別技術(shù)，對(duì)刮板輸送機(jī)內(nèi)的煤量進(jìn)行估算，并對(duì)大塊煤進(jìn)行智能識(shí)別。識(shí)別出的煤量分為5個(gè)等級(jí)，當(dāng)煤量達(dá)到最高級(jí)和出現(xiàn)大塊煤時(shí)，系統(tǒng)進(jìn)行事件預(yù)警并將結(jié)果推送到智能決策平臺(tái)；當(dāng)發(fā)現(xiàn)直徑大于刮板輸送機(jī)寬度的大塊煤時(shí)，發(fā)出預(yù)警信息，并彈窗上報(bào)智能決策平臺(tái)。大塊煤分析界面如圖5所示。

圖5 大塊煤分析界面

2.4 人員“三違”預(yù)警、報(bào)警智能視頻識(shí)別

對(duì)煤礦井下工作人員在綜采工作面處的重點(diǎn)“三違”行為采用智能視頻識(shí)別算法[9-10]進(jìn)行識(shí)別。在工作面上隅角、下隅角實(shí)現(xiàn)人員通過時(shí)準(zhǔn)確實(shí)時(shí)識(shí)別，對(duì)進(jìn)入該區(qū)域的行為預(yù)警并提醒工作人員禁止進(jìn)入指定區(qū)域；在危險(xiǎn)區(qū)域?qū)θ藛T進(jìn)行檢測(cè)識(shí)別，并把預(yù)警信息推送到特定界面或指定系統(tǒng)，例如在刮板輸送機(jī)內(nèi)、液壓支架架前區(qū)域、刮板輸送機(jī)機(jī)頭和機(jī)尾附近，當(dāng)人員進(jìn)入該區(qū)域時(shí)，除了預(yù)警提醒外，還要進(jìn)行現(xiàn)場(chǎng)聲光報(bào)警，智能決策平臺(tái)彈窗并語音報(bào)警。工作人員進(jìn)入生產(chǎn)區(qū)域警示提醒界面和工作人員危險(xiǎn)區(qū)域越界報(bào)警界面如圖6和圖7所示。

圖6 工作人員進(jìn)入生產(chǎn)區(qū)域警示提醒界面

圖7 工作人員危險(xiǎn)區(qū)域越界報(bào)警界面

2.5 綜采工作面工作人員人臉識(shí)別

通過煤礦井下綜采工作面惡劣環(huán)境下的工作人員人臉識(shí)別算法，可應(yīng)用在綜采工作面控制臺(tái)或交接班處實(shí)現(xiàn)自動(dòng)人臉捕捉考勤功能。

提前采集需要進(jìn)行跟班管理人員的人臉信息，建成人臉數(shù)據(jù)庫。采集的人臉信息包含面部干凈時(shí)的人臉、下井后的人臉、未戴安全帽的人臉、戴著安全帽的人臉4種狀態(tài)。當(dāng)瓦斯檢測(cè)員、安檢員、跟班礦長交接班時(shí)，在攝像頭處進(jìn)行人臉信息采集，系統(tǒng)對(duì)人臉進(jìn)行識(shí)別，判斷人員是否為當(dāng)值人員。工作人員在人臉識(shí)別攝像機(jī)前考勤時(shí)，考勤成功時(shí)有相應(yīng)的語音提示，考勤不成功亦有相應(yīng)的語音提示。綜采工作面工作人員人臉識(shí)別界面和綜采工作面工作人員人臉識(shí)別管理界面如圖8和圖9所示。

圖8 綜采工作面工作人員人臉識(shí)別界面

圖9 綜采工作面工作人員人臉識(shí)別管理界面

3 現(xiàn)場(chǎng)工業(yè)試驗(yàn)

2018年，智能大采高綜采工作面的視頻分析系統(tǒng)在上灣煤礦12401綜采工作面進(jìn)行現(xiàn)場(chǎng)安裝和調(diào)試。井下設(shè)備安裝示意圖如圖10所示。

圖10 井下設(shè)備安裝示意圖

工業(yè)試驗(yàn)中，在8.8 m液壓支架上共安裝32臺(tái)隔爆攝像機(jī)，安裝10臺(tái)聲光報(bào)警裝置。隔爆攝像機(jī)和聲光報(bào)警裝置通過有線與無線結(jié)合的方式，接入到井下環(huán)網(wǎng)網(wǎng)絡(luò)中。

3.1 實(shí)現(xiàn)的功能

(1)片幫報(bào)警智能視頻識(shí)別。工作面發(fā)生片幫面積大于 1.5 m2時(shí)，系統(tǒng)能及時(shí)發(fā)出報(bào)警及相關(guān)圖像信息。

(2)堆煤檢測(cè)智能視頻識(shí)別。在帶式輸送機(jī)轉(zhuǎn)載點(diǎn)、破碎機(jī)處上方安裝礦用攝像機(jī)采集膠帶沿線視頻，該處出現(xiàn)堆煤現(xiàn)象時(shí)出發(fā)報(bào)警。

(3)刮板輸送機(jī)內(nèi)大塊煤智能視頻識(shí)別。當(dāng)發(fā)現(xiàn)直徑大于刮板輸送機(jī)寬度的大塊煤時(shí)，發(fā)出預(yù)警信息，并彈窗上報(bào)智能決策平臺(tái)。

(4)人員“三違”預(yù)警、報(bào)警智能視頻識(shí)別。在工作面上隅角、下隅角實(shí)現(xiàn)人員通過時(shí)的識(shí)別，對(duì)進(jìn)入該區(qū)域的行為警告禁止進(jìn)入。

(5)綜采工作面工作人員人臉識(shí)別。輸入具有進(jìn)入權(quán)限的人臉信息庫50人，自動(dòng)人臉捕捉考勤功能。

3.2 技術(shù)指標(biāo)

軟件平臺(tái)程序基于B/S架構(gòu)，并發(fā)用戶數(shù)量不小于50，軟件實(shí)現(xiàn)用戶分級(jí)管理。其中，綜采工作面的片幫報(bào)警智能視頻識(shí)別、堆煤檢測(cè)智能視頻識(shí)別、刮板輸送機(jī)內(nèi)大塊煤視頻識(shí)別和人員“三違”預(yù)警、報(bào)警智能視頻識(shí)別等功能分析響應(yīng)時(shí)間小于10 s，識(shí)別準(zhǔn)確率不低于90%。人臉識(shí)別時(shí)間小于5 s，準(zhǔn)確率達(dá)100%。

4 結(jié)語

結(jié)合上灣煤礦12401綜采工作面的實(shí)際需求，進(jìn)行了片幫報(bào)警智能視頻識(shí)別、堆煤檢測(cè)智能視頻識(shí)別、刮板機(jī)內(nèi)大塊煤及煤量估算智能視頻識(shí)別、人員“三違”預(yù)警、報(bào)警智能視頻識(shí)別、綜采工作面工作人員人臉識(shí)別等功能模塊的設(shè)計(jì)，對(duì)多路并發(fā)視頻進(jìn)行在線解析，實(shí)現(xiàn)基于煤礦監(jiān)控視頻的智能化人員和設(shè)備的分析與處理的功能。本系統(tǒng)把人和機(jī)器的力量加以統(tǒng)一，極大地提高了工作效率，為井下移動(dòng)目標(biāo)管理提供決策依據(jù)，能夠提高綜采工作面的安全監(jiān)管水平。