杜春暉

(1.中國煤炭科工集團(tuán)太原研究院有限公司， 山西 太原 030006；2.山西天地煤機(jī)裝備有限公司， 山西 太原 030006)

0 引言

綜采工作面是煤礦的第一生產(chǎn)現(xiàn)場，是煤礦安全管理工作的重中之重[1-2]。目前國內(nèi)綜采工作面基本實現(xiàn)了三機(jī)設(shè)備一鍵啟停、液壓支架自動移架、采煤機(jī)自動跟機(jī)、刮板輸送機(jī)自動校直等。隨著網(wǎng)絡(luò)通信技術(shù)的發(fā)展，越來越多的綜采工作面完成了視頻監(jiān)控系統(tǒng)的覆蓋，有的礦井開始嘗試借助虛擬現(xiàn)實技術(shù)構(gòu)建三維采礦現(xiàn)實環(huán)境，模擬綜采工作面三機(jī)作業(yè)過程及設(shè)備運(yùn)行情況[3-6]。煤礦井下視頻監(jiān)控系統(tǒng)作為煤礦安全生產(chǎn)的輔助系統(tǒng)，主要用于井下重點防護(hù)區(qū)域的監(jiān)控與人員監(jiān)管[7]。

隨著煤礦開采自動化程度逐步提高，視頻監(jiān)控系統(tǒng)成為無人化綜采工作面的必備系統(tǒng)。利用遠(yuǎn)程視頻監(jiān)控系統(tǒng)，地面人員可對井下情況進(jìn)行實時監(jiān)控，及時發(fā)現(xiàn)事故隱患，指導(dǎo)地面人員遠(yuǎn)程控制設(shè)備啟停，避免事故發(fā)生，同時可為事故原因分析提供第一手影像資料。然而，現(xiàn)有綜采工作面視頻監(jiān)控系統(tǒng)存在占用帶寬大、視頻存儲不完整、采煤機(jī)截割畫面不突出、視頻拼接畫面參差不齊等問題，為解決上述問題，筆者從系統(tǒng)硬件和軟件、視頻壓縮和拼接算法等方面進(jìn)行優(yōu)化設(shè)計。

1 現(xiàn)有視頻監(jiān)控系統(tǒng)結(jié)構(gòu)及存在問題

1.1 系統(tǒng)結(jié)構(gòu)

綜采工作面視頻監(jiān)控系統(tǒng)結(jié)構(gòu)如圖1所示。在液壓支架上安裝大量攝像儀[8-9]，將攝像儀正對煤壁，通過礦用網(wǎng)線與最近工作面交換機(jī)連接。工作面交換機(jī)之間通過光纖連接組成工作面環(huán)網(wǎng)并接入井下環(huán)網(wǎng)交換機(jī)。地面主機(jī)通過交換機(jī)連接至井下環(huán)網(wǎng)，便可獲取每臺攝像儀的視頻畫面。為直觀顯示整個綜采工作面的情況，上位機(jī)軟件對每臺攝像儀的視頻畫面進(jìn)行實時拼接，同時，將視頻數(shù)據(jù)存儲于網(wǎng)絡(luò)視頻存儲服務(wù)器內(nèi)。

1.2 存在問題

(1) 視頻傳輸占用帶寬較大。綜采工作面一般采用百兆光纖環(huán)網(wǎng)，按照每臺攝像儀占用3 Mbit/s帶寬計算，可布置30多臺攝像儀。即使采用千兆光纖環(huán)網(wǎng)，若在工作面布置大量攝像儀，視頻數(shù)據(jù)傳輸占用的網(wǎng)絡(luò)帶寬也非常大，畫面卡頓現(xiàn)象不可避免，同時，還會影響設(shè)備運(yùn)行狀態(tài)數(shù)據(jù)和控制信號的實時傳輸。

圖1 綜采工作面視頻監(jiān)控系統(tǒng)結(jié)構(gòu)Fig.1 Structure of video monitoring system on fully mechanized mining face

(2) 視頻存儲不完整。利用地面網(wǎng)絡(luò)視頻存儲服務(wù)器存儲井下視頻數(shù)據(jù)時，井下攝像儀與地面網(wǎng)絡(luò)視頻存儲服務(wù)器之間經(jīng)過了多級網(wǎng)絡(luò)連接，且攝像儀數(shù)量較多，視頻數(shù)據(jù)傳輸量較大，很容易發(fā)生網(wǎng)絡(luò)擁堵或線路故障，導(dǎo)致地面網(wǎng)絡(luò)視頻存儲服務(wù)器無法存儲完整、流暢的視頻數(shù)據(jù)。

(3) 采煤機(jī)截割畫面不突出。綜采工作面需要重點監(jiān)視采煤機(jī)的實時運(yùn)行畫面，但拼接后的全景視頻畫面不僅局部卡頓，而且采煤機(jī)在整個畫面中的比例很小，采煤機(jī)運(yùn)行狀態(tài)無法看清，如圖2所示。

圖2 全景畫面中采煤機(jī)位置Fig.2 Shearer position in panoramic picture

(4) 視頻拼接畫面參差不齊。視頻拼接的前提是所有攝像儀畫面中心點位于同一水平軸上，而液壓支架上的攝像儀位置高低有差異，角度有差異，畫面中心點不可能完全處于同一水平軸上。這就導(dǎo)致視頻拼接后的畫面出現(xiàn)參差不齊的現(xiàn)象，影響整幅畫面的流暢性，如圖3所示。

圖3 視頻拼接畫面Fig.3 Video stitching screen

2 優(yōu)化設(shè)計方案

2.1 硬件優(yōu)化設(shè)計

優(yōu)化后的視頻監(jiān)控系統(tǒng)結(jié)構(gòu)如圖4所示。在系統(tǒng)中引入網(wǎng)絡(luò)硬盤錄像機(jī)，將攝像儀按就近原則進(jìn)行編組，每組8臺攝像儀通過網(wǎng)線接入同一臺硬盤錄像機(jī)，將硬盤錄像機(jī)通過網(wǎng)線就近接入工作面交換機(jī)，通過井下環(huán)網(wǎng)將數(shù)據(jù)傳輸至地面集控中心。這樣設(shè)計的優(yōu)勢如下：① 減小網(wǎng)絡(luò)帶寬占用，避免網(wǎng)絡(luò)擁堵。當(dāng)視頻數(shù)據(jù)進(jìn)入硬盤錄像機(jī)后，經(jīng)壓縮、存儲后再轉(zhuǎn)發(fā)，極大地降低了傳輸數(shù)據(jù)量，減小了網(wǎng)絡(luò)帶寬占用率。② 減少數(shù)據(jù)丟失，保證數(shù)據(jù)完整性。網(wǎng)絡(luò)硬盤錄像機(jī)的每個輸入通道分別對應(yīng)一臺攝像儀，不受網(wǎng)絡(luò)帶寬的影響，保證每臺攝像儀的視頻數(shù)據(jù)可完整保存在硬盤錄像機(jī)里；同時，由集中存儲變?yōu)榉稚⒋鎯?，避免了因網(wǎng)絡(luò)硬盤錄像機(jī)上一級線路連接故障造成的攝像儀視頻數(shù)據(jù)集體丟失，保證在攝像儀正常的情況下，每臺攝像儀的視頻數(shù)據(jù)均能可靠存儲，即使發(fā)生通信故障，也可在系統(tǒng)恢復(fù)后調(diào)取錄像視頻，實現(xiàn)工況再現(xiàn)。

圖4 優(yōu)化后的視頻監(jiān)控系統(tǒng)結(jié)構(gòu)Fig.4 Structure of optimized video monitoring system

2.2 軟件優(yōu)化設(shè)計

采用實時視頻與動畫模擬相結(jié)合的方式，以突出重點、局部放大為原則，將綜采工作面視頻畫面與設(shè)備狀態(tài)參數(shù)集中反映于顯示屏上。遠(yuǎn)程控制界面如圖5所示。采煤機(jī)截割視窗專門顯示采煤機(jī)截割畫面，系統(tǒng)具有智能識別功能，當(dāng)采煤機(jī)運(yùn)行至攝像儀視角范圍內(nèi)時，自動切換為正對采煤機(jī)的3臺攝像儀所拍攝視頻的拼接畫面，可清晰顯示出采煤機(jī)截割時的運(yùn)行狀態(tài)。選中采煤機(jī)全景視窗后，通過移動進(jìn)度條可查看全景畫面中的任意部分。刮板輸送機(jī)視窗根據(jù)現(xiàn)場傳回的刮板輸送機(jī)運(yùn)行狀態(tài)參數(shù)，動畫顯示刮板輸送機(jī)工作狀態(tài)及狀態(tài)參數(shù)。液壓支架移架視窗通過動畫顯示現(xiàn)場支架移架情況，通過滑動進(jìn)度條可查看任意液壓支架的移架位置。攝像儀視窗中的每個編號對應(yīng)一臺攝像儀，點擊任意編號即可查看對應(yīng)攝像儀的視頻畫面，編號為綠色表示攝像儀為正常工作狀態(tài)，紅色表示故障狀態(tài)，藍(lán)色表示采煤機(jī)所在位置。

圖5 遠(yuǎn)程控制界面Fig.5 Remote control interface

3 視頻處理算法設(shè)計

3.1 視頻壓縮算法

由于綜采工作面的特殊性，實現(xiàn)全景視頻展示需要安裝大量的攝像儀。傳統(tǒng)的視頻壓縮方法僅對視頻數(shù)據(jù)本身進(jìn)行壓縮，不滿足該場景下的高壓縮比與傳輸實時性要求。本文提出了基于深度學(xué)習(xí)技術(shù)的視頻壓縮算法，除壓縮視頻數(shù)據(jù)本身外，對幀間數(shù)據(jù)也進(jìn)行壓縮。

將一個完整的視頻分為由多個圖像幀序列組成的視頻片段，每個視頻片段由一段16幀的圖像幀序列組成。為提高視頻片段分類的準(zhǔn)確性，使相鄰2個視頻片段重疊8幀圖像，采用雙通道三維卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)模型同時分析視頻幀的空間信息和時序信息；將網(wǎng)絡(luò)模型的輸出結(jié)果送至支持向量機(jī)(Support Vector Machine，SVM)分類器，將視頻片段分為劇變、漸變和普通類型；同時，將相同類型的相鄰視頻片段連接成一個視頻片段，連接后的視頻片段總長不超過32幀。視頻片段分類框架如圖6所示，其中N為視頻幀數(shù)，N=8(n+1)，n為視頻片段數(shù)量。

圖6 視頻片段分類框架Fig.6 Video clip classification framework

要對視頻片段進(jìn)行準(zhǔn)確分類，必須用大量數(shù)據(jù)對CNN模型進(jìn)行訓(xùn)練。本文采用合成數(shù)據(jù)集和增量數(shù)據(jù)集，通過圖像混合模型從正常視頻幀序列中生成足夠的劇變和漸變樣本；利用這些樣本進(jìn)行訓(xùn)練，形成初步的分類器模型；利用分類器模型對未標(biāo)注的數(shù)據(jù)進(jìn)行預(yù)測，選出結(jié)果正確的數(shù)據(jù)集作為增量數(shù)據(jù)集。重復(fù)上述過程，直至CNN模型誤差足夠小，再利用最終的數(shù)據(jù)集進(jìn)行訓(xùn)練，得到高性能分類器。

對分類后的視頻片段進(jìn)行后處理，計算視頻片段中首幀和尾幀的顏色直方圖，如果2幀圖像顏色直方圖之間的Bhatta-charyya距離足夠小，則認(rèn)為該視頻片段為普通類型。因為劇變和漸變都表示該視頻片段的幀序處于變化中，所以對這2類視頻片段不作處理。對于普通視頻片段，只保留首幀和尾幀，視頻解碼時需要在幀間進(jìn)行插幀。

為驗證視頻壓縮算法的有效性，利用H.264/AVC參考軟件JM16.0和HEVC參考軟件HM13.0實現(xiàn)算法，并用8個通用測試序列進(jìn)行實驗。全I(xiàn)幀編碼結(jié)構(gòu)下的實驗結(jié)果見表1。實驗結(jié)果表明：對于平緩的視頻內(nèi)容(如FourPeople序列)，相比于經(jīng)典的H.264/AVC編碼標(biāo)準(zhǔn)，本文算法的碼率降低了79.43%，對于HEVC編碼標(biāo)準(zhǔn)，本文算法的碼率降低了13.65%。當(dāng)視頻內(nèi)容變化劇烈時(如BasketballDrill序列)，相比于H.264/AVC編碼標(biāo)準(zhǔn)，本文算法的碼率降低了37.82%，相比于HEVC編碼標(biāo)準(zhǔn)，本文算法的碼率降低了1.97%。相比于H.264/AVC和HEVC編碼標(biāo)準(zhǔn)，本文算法的平均碼率分別降低53.87%和7.44%。

3.2 圖像拼接算法

綜采工作面空間狹窄，縱深較大，攝像儀距離煤壁較近，要保證大量視頻數(shù)據(jù)傳輸?shù)膶崟r性，最好的方式是采用廣角攝像儀，增加單個攝像儀的覆蓋面，減少攝像儀數(shù)量。但是，攝像儀的視場角越大，視頻畫面畸變越大，增加了視頻拼接的難度。若采用視場角較小的鏡頭，視頻畫面畸變較小，畸變修正較為簡單，但需要攝像儀與煤壁保持足夠的距離，在綜采工作面有限的空間內(nèi)，攝像儀的安裝較為困難。即使攝像儀與煤壁保持較大距離，仍然避免不了視頻畫面的畸變。在全景視頻拼接過程中，最關(guān)鍵的技術(shù)是圖像預(yù)處理、圖像配準(zhǔn)和圖像融合。圖像拼接流程如圖7所示。

表1 全I(xiàn)幀編碼結(jié)構(gòu)下的實驗數(shù)據(jù)Table 1 Experimental data ofall I frame coding

圖7 圖像拼接流程Fig.7 Image stitching flow

圖像畸變分為線性畸變和非線性畸變。線性畸變可通過單應(yīng)陣有效地進(jìn)行矯正。非線性畸變是由鏡頭的固有特性所引入的不可避免的彎曲變形，即使對鏡頭進(jìn)行改造都無法完全消除非線性畸變現(xiàn)象，非線性畸變會導(dǎo)致圖像拼接時邊界區(qū)域出現(xiàn)錯位和重影。本文采用非線性抗失真模型(Nonlinear Anti-distortion Model，NAM)矯正算法，通過反變換找出理想圖像與實際圖像的映射點對，建立變換關(guān)系，還原出無失真的圖像。

圖像矯正后，對控制幀圖像提取特征點并進(jìn)行特征匹配。為提高圖像變換單應(yīng)陣的準(zhǔn)確性，可在場景中添加控制板以增加匹配點數(shù)。本文采用加速穩(wěn)健特征(Speeded-Up Robust Features，SURF)檢測算法，建立尺度空間，進(jìn)行特征點檢測，確認(rèn)特征點主方向并生成特征描述符。SURF檢測算法通過近似計算和減少特征描述向量的方法，在保持較好的尺度不變性和旋轉(zhuǎn)不變性的同時，降低了算法復(fù)雜度，不僅具備很強(qiáng)的魯棒性和精確性，而且提升了運(yùn)算速度，滿足了視頻拼接的實時性要求。

通過雙線性插值方法將圖像投影到參考平面，并計算出圖像間的重合區(qū)域，在重合區(qū)域進(jìn)行圖像融合以消除接縫。首先，建立具有多分辨率信息的圖像金字塔，將待融合的匹配圖像降采樣為不同尺度下的帶通層圖像；然后，對各帶通層圖像進(jìn)行線性加權(quán)融合，得到拼接融合之后的帶通層圖像；最后，對拼接融合后的各帶通層圖像進(jìn)行相加運(yùn)算，得到最終的融合圖像。圖像拼接效果如圖8所示。從圖8(e)可看出，長焦圖像畸變較小，特征匹配較準(zhǔn)確，圖像融合效果較佳。從圖8(j)可看出，廣角圖像畸變較大，畸變矯正效果不理想，直接導(dǎo)致圖像特征匹配效果較差，拼接后的圖像邊緣處出現(xiàn)錯位，無法平滑過渡。

(a) 長焦原始圖像1

(b) 長焦原始圖像2

(c) 長焦原始圖像3

(d) 長焦原始圖像4

(e) 長焦拼接后的全景圖像

(f) 廣角原始圖像1

(g) 廣角原始圖像2

(h) 廣角原始圖像3

(i) 廣角原始圖像4

(j) 廣角拼接后的全景圖像

4 技術(shù)發(fā)展方向

(1) 攝像儀自清潔技術(shù)。攝像儀作為井下視頻監(jiān)控系統(tǒng)的核心部件，其性能好壞直接影響視頻監(jiān)控系統(tǒng)的整體效果。在煤礦井下高粉塵、多水霧的特殊環(huán)境下，攝像儀鏡頭不可避免地會吸附大量粉塵，造成視頻畫面不清晰等問題。目前，攝像儀除塵方法主要有3種：① 在鏡頭表面涂覆納米涂層，防止粉塵吸附。② 給攝像儀加裝雨刮清潔裝置，通過定時沖洗、刮刷鏡頭來保持鏡頭透亮。③ 在攝像儀鏡頭前加裝空氣防護(hù)罩，通過不停吹風(fēng)，在鏡頭前形成風(fēng)幕，防止粉塵吸附在鏡頭上[10-12]。上述除塵方法各有優(yōu)缺點，但使用效果均不理想。

攝像儀自清潔(自除塵)技術(shù)是指攝像儀自行通過外圍輔助機(jī)構(gòu)定時清理鏡頭上的泥污，保證攝像儀清晰成像?？煽紤]設(shè)計一種體積小、質(zhì)量小、安裝方便的除塵機(jī)構(gòu)，將攝像儀與除塵機(jī)構(gòu)進(jìn)行整體設(shè)計，增加內(nèi)部水循環(huán)系統(tǒng)，無需外部供水即可清除表面泥污，并在鏡頭處安裝風(fēng)干噴嘴，通過自循環(huán)氣路將鏡頭吹干。

(2) 視頻監(jiān)控系統(tǒng)智能識別技術(shù)。隨著人工智能的發(fā)展，視頻監(jiān)控系統(tǒng)的智能化成為趨勢。智能化視頻監(jiān)控系統(tǒng)功能主要包括目標(biāo)識別、目標(biāo)跟蹤、目標(biāo)測距、目標(biāo)定位、危險報警等。智能識別技術(shù)可在如下場合應(yīng)用：① 帶式轉(zhuǎn)載機(jī)堆煤預(yù)警：當(dāng)帶式轉(zhuǎn)載機(jī)搭接處有少量堆煤時，視頻監(jiān)控系統(tǒng)發(fā)出“提示預(yù)警”信號；當(dāng)帶式轉(zhuǎn)載機(jī)搭接處有大量堆煤時，發(fā)出“危險報警”信號。② 危險區(qū)域闖入預(yù)警：在采煤機(jī)運(yùn)行過程中，視頻監(jiān)控系統(tǒng)檢測到危險區(qū)域有人員活動時，發(fā)出報警信號。③ 人員管理：建立人臉數(shù)據(jù)庫，在井下交接班處通過人臉識別完成考勤。④ 危險動作預(yù)警：視頻監(jiān)控系統(tǒng)檢測到工作面人員未戴安全帽，人員在同一位置長時間靜止不動，人員有趴、躺、坐等危險動作時，發(fā)出報警信號[13]。可在工作面多角度安裝攝像儀，大量采集工作面人員活動視頻資料，采用AI智能圖像識別算法，通過機(jī)器訓(xùn)練提升系統(tǒng)對各種場景的識別率。

(3) 工作面全景視頻拼接技術(shù)。為了更加直觀、實時了解綜采工作面的生產(chǎn)情況，需要在工作面安裝多臺攝像儀，將所有攝像儀的畫面進(jìn)行實時拼接，形成工作面的全景動態(tài)畫面，指導(dǎo)遠(yuǎn)程操作人員進(jìn)行設(shè)備操作。井下通信網(wǎng)絡(luò)帶寬有限，大量視頻數(shù)據(jù)實時傳輸不可避免地會造成網(wǎng)絡(luò)擁堵，可采用邊緣計算的方式，在攝像頭終端設(shè)備上進(jìn)行圖像預(yù)處理和圖像壓縮，盡量減少數(shù)據(jù)傳輸量。

(4) 高帶寬、低延時無線網(wǎng)絡(luò)通信技術(shù)。有線視頻監(jiān)控系統(tǒng)需要大量布線，在綜采工作面的狹小空間內(nèi)布線會帶來很大麻煩，而且液壓支架移動過程中會造成電纜拉扯，增加系統(tǒng)故障率?，F(xiàn)有的無線通信方式主要有WiFi、4G和5G，WiFi和4G帶寬不足，無法支持大量視頻數(shù)據(jù)傳輸，5G通信設(shè)備價格昂貴，不利于大面積使用。智能化視頻監(jiān)控系統(tǒng)需要依托高帶寬、低延時的通信網(wǎng)絡(luò)來實現(xiàn)[10-11]。可將5G與WiFi6通信技術(shù)進(jìn)行融合，采用Mesh自組網(wǎng)技術(shù)實現(xiàn)工作面無線網(wǎng)絡(luò)覆蓋，完成工作面數(shù)據(jù)交互，通過5G技術(shù)實現(xiàn)主干網(wǎng)絡(luò)數(shù)據(jù)傳輸。

(5) 工作面虛擬現(xiàn)實技術(shù)。目前，國內(nèi)外普遍采用的監(jiān)控方式是在工作面布置各類攝像儀獲取實時視頻信息，在設(shè)備上安裝各類傳感器采集溫度、電流、位移等數(shù)據(jù)，將視頻信息和數(shù)據(jù)信息傳輸至集控中心，供遠(yuǎn)程操作人員分析決策。這樣的方式取得了不錯的效果，但遠(yuǎn)程操作人員接收到的是片面的、局部的信息，沒有身臨其境的感覺。虛擬現(xiàn)實技術(shù)集計算機(jī)圖形學(xué)、人機(jī)接口技術(shù)、多媒體技術(shù)、傳感技術(shù)、網(wǎng)絡(luò)技術(shù)等多種技術(shù)于一體，利用虛擬現(xiàn)實技術(shù)可將工作面實時視頻畫面、生產(chǎn)數(shù)據(jù)、傳感器數(shù)據(jù)、GIS數(shù)據(jù)等結(jié)合起來，構(gòu)建出工作面實時生產(chǎn)作業(yè)場景[14]。

(6) 煤巖界面識別技術(shù)。由于井下煤層與圍巖條件十分復(fù)雜，現(xiàn)有煤巖識別傳感器和系統(tǒng)難以準(zhǔn)確、可靠地識別出煤巖分界線[15]。國外采用較多的是記憶智能程控技術(shù)，但并沒有完全解決煤巖識別的問題?？煽紤]多技術(shù)融合的方式，結(jié)合基于紅外熱成像儀的視頻監(jiān)控系統(tǒng)實現(xiàn)煤巖界面識別[16]。

5 結(jié)語

分析了現(xiàn)有綜采工作面視頻監(jiān)控系統(tǒng)存在的占用帶寬大、視頻存儲不完整、采煤機(jī)截割畫面不突出、視頻拼接畫面參差不齊等問題。針對上述問題，提出引入網(wǎng)絡(luò)硬盤錄像機(jī)，采用高壓縮比視頻編解碼技術(shù)、視頻拼接技術(shù)、動畫模擬技術(shù)相結(jié)合的優(yōu)化設(shè)計方案，實現(xiàn)了采煤機(jī)截割畫面自動切換、工作面全景視頻實時顯示、刮板輸送機(jī)運(yùn)行狀態(tài)與液壓支架移架情況動畫模擬顯示等功能。優(yōu)化后的系統(tǒng)具有視頻傳輸流暢、視頻存儲可靠、局部畫面明顯、界面動態(tài)直觀等特點。探討了綜采工作面視頻監(jiān)控技術(shù)的發(fā)展方向。