魏東， 王忠賓,2， 司壘， 譚超， 路緒良

(1.中國礦業(yè)大學(xué) 機(jī)電工程學(xué)院， 江蘇 徐州 221116； 2.中國礦業(yè)大學(xué) 江蘇省礦山機(jī)電裝備高校重點(diǎn)實(shí)驗(yàn)室， 江蘇 徐州 221116)

0 引言

隨著智能化技術(shù)的發(fā)展，如何推動綜采自動化向綜采智能化轉(zhuǎn)變，是當(dāng)前煤炭行業(yè)亟需解決的核心問題之一[1]。在智能化綜采工作面中，采煤機(jī)操控模式由本地向遠(yuǎn)程轉(zhuǎn)變。本地操控模式下，可以通過跟機(jī)工作人員的觀察和提醒避免人員誤入作業(yè)區(qū)域。遠(yuǎn)程操控模式下，如何保障采煤機(jī)作業(yè)區(qū)域內(nèi)的人員安全是關(guān)鍵問題[2]。當(dāng)前采煤機(jī)已具有三維定位、記憶截割和遠(yuǎn)程監(jiān)控等功能，但缺少采煤機(jī)作業(yè)區(qū)域誤入人員的檢測和預(yù)警保護(hù)功能，一旦有井下人員誤入采煤機(jī)作業(yè)區(qū)域，可能發(fā)生嚴(yán)重的安全事故。因此，有必要研究采煤機(jī)作業(yè)區(qū)域人員檢測技術(shù)，實(shí)現(xiàn)煤礦安全高效生產(chǎn)。

現(xiàn)階段煤礦機(jī)電裝備主動防撞預(yù)警技術(shù)通過激光、射頻、超聲波等傳感器對前方區(qū)域進(jìn)行監(jiān)控，并對采集信息進(jìn)行處理、識別、判斷與決策，出現(xiàn)障礙物時報(bào)警或提示裝備操作人員，實(shí)現(xiàn)預(yù)警防撞功能[3-6]。然而，綜采工作面環(huán)境復(fù)雜、干擾因素眾多，限制了上述傳感器的應(yīng)用，難以滿足綜采工作面機(jī)電裝備防撞系統(tǒng)對可靠性的需求。

隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展，基于圖像的煤礦機(jī)電裝備防撞技術(shù)逐漸引起眾多學(xué)者的關(guān)注[7-9]。王壬[10]將機(jī)器視覺引入井下機(jī)車防撞系統(tǒng)，采用視覺傳感器對機(jī)車前方危險區(qū)域進(jìn)行障礙物檢測，實(shí)現(xiàn)預(yù)警防撞功能。楊娟[11]針對煤礦井下電機(jī)車運(yùn)行的復(fù)雜環(huán)境，提出了基于機(jī)器視覺技術(shù)的圖像處理方法進(jìn)行障礙物識別與報(bào)警。楊鑫[12]設(shè)計(jì)了一種煤礦井下電機(jī)車防撞預(yù)警系統(tǒng)，利用單目攝像機(jī)采集電機(jī)車前方路況，選擇適用于煤礦巷道環(huán)境的機(jī)器視覺算法，實(shí)現(xiàn)電機(jī)車前方障礙物的識別和距離測量，并設(shè)定防撞措施，以達(dá)到預(yù)警目的。然而，由于綜采工作面照度低、環(huán)境惡劣，上述基于可見光傳感器的防撞系統(tǒng)存在較大的局限性，難以滿足煤礦井下機(jī)電裝備防撞系統(tǒng)對準(zhǔn)確性和穩(wěn)定性的需求。

針對上述問題，本文搭建了采煤機(jī)作業(yè)區(qū)域人員精確檢測系統(tǒng)架構(gòu)，采用紅外熱成像技術(shù)代替可見光成像技術(shù)，實(shí)現(xiàn)采煤機(jī)作業(yè)區(qū)域人員檢測，進(jìn)而設(shè)計(jì)了人員精確檢測方法，包括綜采工作面紅外圖像去噪、基于光流法[13]的人員運(yùn)動信息提取、紅外圖像信息分割及基于形態(tài)學(xué)加權(quán)投票法的雙通道信息融合，提高了采煤機(jī)作業(yè)區(qū)域人員檢測的精確性、穩(wěn)定性和適用性，為煤礦井下機(jī)電裝備防撞系統(tǒng)的建立提供了技術(shù)支撐。

1 采煤機(jī)作業(yè)區(qū)域人員精確檢測系統(tǒng)

采煤機(jī)作業(yè)區(qū)域人員精確檢測系統(tǒng)架構(gòu)如圖1所示。

在采煤機(jī)機(jī)身護(hù)板下部加裝在線式紅外熱像儀對采空區(qū)方向進(jìn)行紅外圖像采集。紅外熱像儀型號為MAG32，其采用非制冷焦平面結(jié)構(gòu)，分辨率為384×288，采樣頻率為50 Hz，工作溫度為-30～60 ℃。采煤機(jī)內(nèi)部電源通過電源轉(zhuǎn)換模塊為紅外熱像儀和礦用光纖交換機(jī)供電，電源轉(zhuǎn)換模塊安裝于采煤機(jī)弱電箱中，固定于安裝導(dǎo)軌上。紅外熱像儀采用礦用阻燃網(wǎng)線與礦用光纖交換機(jī)連接，實(shí)現(xiàn)紅外圖像信號傳輸。礦用阻燃網(wǎng)線外部裝備有電氣屏蔽層。

圖1 采煤機(jī)作業(yè)區(qū)域人員精確檢測系統(tǒng)架構(gòu)Fig.1 Framework of personnel precise detection system in shearer operation area

礦用光纖交換機(jī)安裝于弱電箱內(nèi)的安裝導(dǎo)軌上，輸出光纖熔接至鎧裝電纜中的光纖內(nèi)芯，將紅外圖像信號傳輸至井下集控中心的信號處理裝置。紅外圖像信號在信號處理裝置中進(jìn)行人員精確檢測，檢測結(jié)果可用于對采煤機(jī)作業(yè)區(qū)域人員危險情況進(jìn)行評估，并將評估結(jié)果解釋為采煤機(jī)控制信號，通過光纖、礦用光纖交換機(jī)及礦用阻燃網(wǎng)線反饋給采煤機(jī)控制器，根據(jù)需求控制采煤機(jī)執(zhí)行減速制動等動作，或通過綜采工作面沿線安全報(bào)警系統(tǒng)對現(xiàn)場工作人員進(jìn)行及時預(yù)警。同時，井下集控中心將相關(guān)信號及處理結(jié)果上傳至地面調(diào)度室的遠(yuǎn)程監(jiān)控中心進(jìn)行數(shù)據(jù)備案。

采煤機(jī)作業(yè)區(qū)域人員精確檢測系統(tǒng)主要具備4種功能：① 綜采工作面紅外圖像去噪增強(qiáng)；② 紅外圖像域人員運(yùn)動信息提??；③ 紅外圖像信息分割；④ 雙通道信息融合。系統(tǒng)功能實(shí)現(xiàn)流程如圖2所示。

圖2 系統(tǒng)功能實(shí)現(xiàn)流程Fig.2 System function realization process

首先，通過紅外熱像儀采集采煤機(jī)作業(yè)區(qū)域的紅外圖像序列，采用紅外圖像去噪算法濾除噪聲；然后，采用基于光流法的人員運(yùn)動信息提取算法和基于模糊理論的紅外圖像分割算法分別實(shí)現(xiàn)采煤機(jī)作業(yè)區(qū)域人員運(yùn)動信息提取和紅外圖像信息分割，這2項(xiàng)功能采用雙通道并行解算，提高功能實(shí)現(xiàn)效率；最后，采用形態(tài)學(xué)加權(quán)投票法對雙通道信息進(jìn)行融合，實(shí)現(xiàn)采煤機(jī)作業(yè)區(qū)域人員精確檢測。

2 紅外圖像去噪

有效濾除紅外圖像中的噪聲是實(shí)現(xiàn)基于紅外熱成像技術(shù)的采煤機(jī)作業(yè)區(qū)域人員精確檢測的前提。由于紅外圖像自身性質(zhì)與綜采工作面環(huán)境限制，采煤機(jī)作業(yè)區(qū)域紅外圖像所含噪聲具有高強(qiáng)度、不均勻特點(diǎn)，現(xiàn)有圖像去噪技術(shù)難以實(shí)現(xiàn)有效穩(wěn)定的噪聲濾除。為了更好地實(shí)現(xiàn)綜采工作面紅外圖像去噪，同時有效保留紅外圖像中的關(guān)鍵信息，結(jié)合紅外圖像所含噪聲的特點(diǎn)，在標(biāo)準(zhǔn)導(dǎo)向?yàn)V波模型[14]基礎(chǔ)上，引入高斯掩碼對其改進(jìn)，增強(qiáng)了模型對高強(qiáng)度紅外噪聲的濾除能力；進(jìn)一步提出多級導(dǎo)向?yàn)V波模型，在有效保護(hù)紅外圖像梯度信息的同時，實(shí)現(xiàn)了噪聲充分濾除，增強(qiáng)了采煤機(jī)作業(yè)區(qū)域人員精確檢測系統(tǒng)對噪聲的適應(yīng)性和魯棒性。

2.1 導(dǎo)向?yàn)V波模型改進(jìn)

在實(shí)際工程應(yīng)用中，標(biāo)準(zhǔn)導(dǎo)向?yàn)V波通常采用輸入圖像作為引導(dǎo)圖像，以解決場景不斷變化或引導(dǎo)圖像難以選擇的問題，由此形成的基于懲罰因子的平滑模型稱為導(dǎo)向?yàn)V波一般模型。根據(jù)采煤機(jī)作業(yè)區(qū)域人員精確檢測需求，本文在導(dǎo)向?yàn)V波一般模型基礎(chǔ)上，提出以下2種改進(jìn)模型。

2.1.1 基于高斯掩碼改進(jìn)的導(dǎo)向?yàn)V波模型

基于高斯掩碼改進(jìn)的導(dǎo)向?yàn)V波模型將經(jīng)高斯濾波器處理后的輸入圖像作為引導(dǎo)圖像，大大降低了高強(qiáng)度紅外噪聲對導(dǎo)向?yàn)V波一般模型的影響，其中高斯掩碼的窗口尺寸可根據(jù)實(shí)際需求調(diào)整，從而降低小于所選高斯掩碼窗口尺寸的圖像細(xì)節(jié)對輸出圖像的影響，并有效保留尺寸大于高斯掩碼窗口尺寸的圖像特征，確保該特征通過引導(dǎo)圖像作用于導(dǎo)向?yàn)V波一般模型，引導(dǎo)輸入圖像中的對應(yīng)特征被有效保留?；诟咚寡诖a改進(jìn)的導(dǎo)向?yàn)V波模型代價函數(shù)為

(1)

(2)

bp′=μ2-ap′μ1

(3)

(4)

通過將不同窗口尺寸高斯掩碼處理過的輸入圖像作為引導(dǎo)圖像，在導(dǎo)向?yàn)V波一般模型中抑制了紅外圖像中的高強(qiáng)度噪聲，降低了其對采煤機(jī)作業(yè)區(qū)域人員精確檢測的影響。

2.1.2 多級導(dǎo)向?yàn)V波模型

在基于高斯掩碼改進(jìn)的導(dǎo)向?yàn)V波模型中，隨著高斯掩碼窗口尺寸增大，由平滑作用造成的紅外圖像梯度信息損失增大，難以在有效保護(hù)圖像梯度信息的同時，充分濾除細(xì)節(jié)噪聲。因此，在該模型基礎(chǔ)上，進(jìn)一步提出多級導(dǎo)向?yàn)V波模型，采用具有較小高斯掩碼窗口尺寸的多級復(fù)合導(dǎo)向?yàn)V波結(jié)構(gòu)(圖3)，實(shí)現(xiàn)對輸入圖像中紅外噪聲的充分濾除。

圖3 多級導(dǎo)向?yàn)V波模型結(jié)構(gòu)Fig.3 Structure of multi-layer guided filter model

在多級導(dǎo)向?yàn)V波模型中，將經(jīng)小窗口尺寸高斯掩碼平滑后的原始圖像作為第1級導(dǎo)向?yàn)V波的引導(dǎo)圖像，經(jīng)導(dǎo)向?yàn)V波處理后得到第1級結(jié)果圖像，然后將其作為第2級導(dǎo)向?yàn)V波的引導(dǎo)圖像，對輸入的原始圖像進(jìn)行同窗口尺寸導(dǎo)向?yàn)V波處理。重復(fù)以上過程，直至達(dá)到預(yù)設(shè)的處理層級n。

與基于高斯掩碼改進(jìn)的導(dǎo)向?yàn)V波模型相比，多級導(dǎo)向?yàn)V波模型采用多級復(fù)合導(dǎo)向?yàn)V波結(jié)構(gòu)，對生成的引導(dǎo)圖像進(jìn)行同窗口尺寸多級噪聲濾除，同時將處理后的結(jié)果作為后一級引導(dǎo)圖像。其優(yōu)點(diǎn)在于：① 采用小窗口尺寸高斯掩碼能有效避免基于高斯掩碼改進(jìn)的導(dǎo)向?yàn)V波模型的邊緣信息損失問題；② 通過多級導(dǎo)向?yàn)V波處理，可充分濾除給定窗口尺寸以下的噪聲成分及不重要細(xì)節(jié)信息。

2.2 仿真評價

為了直觀地對提出的2種導(dǎo)向?yàn)V波模型性能進(jìn)行評價，采用煤礦井下采煤機(jī)圖像進(jìn)行仿真測試。

2.2.1 基于高斯掩碼改進(jìn)的導(dǎo)向?yàn)V波模型仿真評價

與導(dǎo)向?yàn)V波一般模型相比，基于高斯掩碼改進(jìn)的導(dǎo)向?yàn)V波模型在理論上更適合處理含有較強(qiáng)噪聲的圖像，而強(qiáng)噪聲濾除為基于紅外熱成像技術(shù)的采煤機(jī)作業(yè)區(qū)域人員檢測中的首要問題。另外，在基于高斯掩碼改進(jìn)的導(dǎo)向?yàn)V波模型中，高斯掩碼作用于引導(dǎo)圖像而不直接作用于輸入圖像，可有效避免重要的邊緣信息被嚴(yán)重破壞。基于高斯掩碼改進(jìn)的導(dǎo)向?yàn)V波模型對原始圖像的濾波結(jié)果如圖4所示，其中w為高斯掩碼窗口尺寸。

(a) 原始圖像

(b) w=3像素模型濾波結(jié)果

(c) w=5像素模型濾波結(jié)果

(d) w=7像素模型濾波結(jié)果

(e) w=9像素模型濾波結(jié)果

(f) w=11像素模型濾波結(jié)果

分析圖4可知：① 經(jīng)不同高斯掩碼窗口尺寸的改進(jìn)導(dǎo)向?yàn)V波模型處理的輸出圖像表現(xiàn)出較明顯差異，隨著高斯掩碼窗口尺寸增大，具有更大尺寸的圖像信息被平滑。出現(xiàn)該結(jié)果的原因是對于基于高斯掩碼改進(jìn)的導(dǎo)向?yàn)V波模型，隨著高斯掩碼窗口尺寸變化，引導(dǎo)圖像中不同尺寸的信息受到不同程度的平滑，由于該模型為近似線性濾波模型，經(jīng)不同程度平滑后的引導(dǎo)圖像間接作用于輸出圖像，使得輸出圖像表現(xiàn)出不同的平滑程度。② 當(dāng)高斯掩碼窗口尺寸達(dá)到9像素時，輸出圖像中煤壁紋理等不重要的細(xì)節(jié)信息被有效模糊，但采煤機(jī)搖臂及機(jī)身輪廓等重要的邊緣特征得到了有效保留，未出現(xiàn)過度模糊的現(xiàn)象；當(dāng)高斯掩碼窗口尺寸達(dá)到11像素時，輸出圖像中采煤機(jī)搖臂邊緣處出現(xiàn)小程度模糊現(xiàn)象，但主要搖臂輪廓及大尺寸邊緣仍得到了有效保留。因此根據(jù)不同需求，可選擇不同高斯掩碼窗口尺寸的改進(jìn)導(dǎo)向?yàn)V波模型，如：若需要提取圖像中采煤機(jī)搖臂及機(jī)身信息，則選擇高斯掩碼窗口尺寸為9像素的改進(jìn)導(dǎo)向?yàn)V波模型較合適，因?yàn)樵诒ＷC采煤機(jī)搖臂及機(jī)身邊緣信息基本穩(wěn)定的同時，有效濾除周圍環(huán)境(如煤壁)中的不重要細(xì)節(jié)信息，可避免由于不重要細(xì)節(jié)信息的引入造成識別結(jié)果錯誤或提取結(jié)果不穩(wěn)定；若需要提取煤壁紋理信息，可采用高斯掩碼窗口尺寸為9像素或11像素的改進(jìn)導(dǎo)向?yàn)V波模型對原始圖像進(jìn)行處理，并對輸出圖像與原始圖像進(jìn)行差分，保留差分結(jié)果并進(jìn)一步處理，以提取煤壁紋理信息。③ 盡管改進(jìn)的導(dǎo)向?yàn)V波模型能在一定程度上濾除細(xì)節(jié)信息，但經(jīng)處理后的圖像仍保留少量難以濾除的噪聲，同時較大窗口尺寸的高斯掩碼會造成圖像邊緣信息受到一定程度的破壞。

2.2.2 多級導(dǎo)向?yàn)V波模型仿真評價

采用窗口尺寸為5像素的高斯掩碼對原始圖像進(jìn)行5級導(dǎo)向?yàn)V波處理，各層級輸出圖像如圖5所示。

(a) 原始圖像

(b) 1級濾波結(jié)果

(c) 2級濾波結(jié)果

(d) 3級濾波結(jié)果

(e) 4級濾波結(jié)果

(f) 5級濾波結(jié)果

從圖5可看出，隨著多級導(dǎo)向?yàn)V波模型層級增加，其輸出圖像中的細(xì)節(jié)信息逐漸模糊，但采煤機(jī)搖臂、采煤機(jī)機(jī)身、刮板輸送機(jī)邊緣等重要結(jié)構(gòu)的信息均被有效保留。這是因?yàn)殡S著多級導(dǎo)向?yàn)V波模型層級增加，窗口尺寸小于5像素的細(xì)節(jié)信息在引導(dǎo)圖像中被逐漸濾除，引導(dǎo)圖像通過代價函數(shù)作用于輸出圖像，使得輸出圖像中窗口尺寸小于5像素的細(xì)節(jié)信息被逐漸濾除，而窗口尺寸大于5像素的邊緣信息在各層級中均得到有效保留。

3 基于光流法的人員運(yùn)動信息提取

在采煤機(jī)作業(yè)區(qū)域人員精確檢測系統(tǒng)中，紅外熱像儀隨采煤機(jī)做同步運(yùn)動，采集的紅外圖像信息不斷改變，產(chǎn)生動態(tài)場景問題。為實(shí)現(xiàn)動態(tài)場景下采煤機(jī)作業(yè)區(qū)域人員精確檢測，采用Lucas-Kanade光流法[15]提取紅外場景中各移動部分的光流場信息，并基于對極幾何理論，采用隨機(jī)采樣一致性(Random Sample Consensus，RANSAC)算法[16]對光流場信息進(jìn)行判別提取，確定移動人員前景運(yùn)動信息。

紅外熱像儀采樣頻率最高為50 Hz，因采樣間隔短，可假設(shè)采集的紅外圖像序列中空間定點(diǎn)在相鄰幀圖像中的射影點(diǎn)近似滿足對極幾何關(guān)系。在采煤機(jī)作業(yè)區(qū)域人員檢測中，實(shí)際空間中固定不動而在紅外圖像序列中表現(xiàn)為運(yùn)動的背景點(diǎn)被認(rèn)為滿足對極幾何理論，而與之存在相對運(yùn)動的前景點(diǎn)(采煤機(jī)作業(yè)區(qū)域移動人員)不滿足該理論。因此，可通過對極幾何對運(yùn)動背景下的移動前景進(jìn)行提取，具體實(shí)現(xiàn)步驟如下。

(1) 通過由相鄰幀圖像求得的光流場建立2個圖像中對應(yīng)點(diǎn)對集合，記為Ω。

(2) 從Ω中隨機(jī)抽取8個點(diǎn)對，采用八點(diǎn)法[17]解算基礎(chǔ)矩陣，確定對極線。

(3) 根據(jù)其余點(diǎn)對與對極線之間的距離和判定閾值，將其余點(diǎn)對劃分為局內(nèi)點(diǎn)與局外點(diǎn)(距離小于閾值的為局內(nèi)點(diǎn)，否則為局外點(diǎn))，并生成局內(nèi)點(diǎn)集和局外點(diǎn)集。

(4) 隨機(jī)抽取局內(nèi)點(diǎn)集中的8個點(diǎn)對，再次采用八點(diǎn)法解算基礎(chǔ)矩陣，確定對極線。

(5) 重復(fù)步驟(3)、步驟(4)，直至滿足局內(nèi)點(diǎn)數(shù)大于總點(diǎn)數(shù)90%的終止條件。

(6) 以迭代終止后的基礎(chǔ)矩陣為最終基礎(chǔ)矩陣，所對應(yīng)的對極線為最終對極線，依據(jù)最終基礎(chǔ)矩陣和最終對極線劃分局內(nèi)點(diǎn)集和局外點(diǎn)集，所得結(jié)果分別為背景圖像點(diǎn)集和前景圖像點(diǎn)集。

RANSAC算法中選取的初始局內(nèi)點(diǎn)集是隨機(jī)的，可通過多次執(zhí)行以上步驟，選取全部局內(nèi)點(diǎn)與對極線的距離和最小值對應(yīng)的局內(nèi)點(diǎn)集作為最終結(jié)果。

基于對極幾何理論，在具有動態(tài)背景下移動前景目標(biāo)的運(yùn)動信息提取結(jié)果基礎(chǔ)上，通過形態(tài)學(xué)處理，進(jìn)一步彌合前景點(diǎn)集中的孔洞，消除孤立點(diǎn)，實(shí)現(xiàn)采煤機(jī)作業(yè)區(qū)域人員運(yùn)動信息的完整提取。

4 紅外圖像信息分割

采煤機(jī)作業(yè)區(qū)域中的配套設(shè)備及人員裝備不盡相同，且綜采工作面不斷向前推進(jìn)，因此采煤機(jī)作業(yè)區(qū)域的紅外成像環(huán)境不斷變化。若采用有監(jiān)督方法對紅外圖像信息分割模型進(jìn)行訓(xùn)練，則樣本集適用性與容量之間的矛盾難以調(diào)和，即較小的樣本集難以滿足不同環(huán)境下基于先驗(yàn)信息的圖像分割需求，模型適應(yīng)性差，而較大的樣本集一致性差，噪聲與干擾問題突出，消耗的時間和人力成本與樣本集應(yīng)用價值不呈正比，構(gòu)建的樣本集性價比極低。因此，采用基于無監(jiān)督學(xué)習(xí)的圖像分割方法對采煤機(jī)作業(yè)區(qū)域紅外圖像信息進(jìn)行分割更合適。本文采用基于圖像局部信息權(quán)重的直覺模糊C均值聚類(Local-information Weighted Intuitionistic Fuzzy C-means，LWIFCM) 算法[18]對采煤機(jī)作業(yè)區(qū)域紅外圖像信息進(jìn)行分割，可在有效濾除圖像噪聲基礎(chǔ)上，進(jìn)一步降低可能存在的少量噪聲殘留對人員檢測精度的影響。該算法通過引入自適應(yīng)的局部信息權(quán)重，平衡局部信息對模糊劃分的影響：局部信息在高噪聲區(qū)域具有更大的影響作用，削弱噪聲對聚類結(jié)果準(zhǔn)確性的影響；局部信息在低噪聲區(qū)域的影響力減弱，使得通過聚類算法求得的隸屬關(guān)系對聚類結(jié)果具有更強(qiáng)的決定作用。

在LWIFCM算法中，第i個聚類集中以像素j為中心的窗口局部信息gij的權(quán)重為

(5)

待優(yōu)化的目標(biāo)函數(shù)為

(6)

gij對聚類結(jié)果的影響程度根據(jù)κij自適應(yīng)調(diào)節(jié)。在圖像中具有較強(qiáng)噪聲的區(qū)域，κij隨噪聲強(qiáng)度增大而增大，加強(qiáng)了gij對式(6)中目標(biāo)函數(shù)的影響，像素j周圍的像素將對隸屬度結(jié)果發(fā)揮更大的作用，從而避免因像素j受噪聲影響而對聚類結(jié)果產(chǎn)生影響；在相對平坦的區(qū)域，κij隨噪聲強(qiáng)度減小而減小，使得當(dāng)前像素j在聚類結(jié)果中發(fā)揮更關(guān)鍵的作用。因此，通過引入κij，LWIFCM算法具有更好的非均勻噪聲適應(yīng)性，根據(jù)輸入圖像的性質(zhì)及噪聲分布，通過調(diào)節(jié)gij在目標(biāo)函數(shù)中的作用強(qiáng)度，產(chǎn)生更加穩(wěn)健的聚類結(jié)果。為進(jìn)一步提高圖像分割結(jié)果的穩(wěn)定性，利用淘金算法(Gold-panning Algorithm，GPA)對LWIFCM算法中不確定度參數(shù)α和模糊常數(shù)m進(jìn)行優(yōu)化，并通過迭代運(yùn)算選擇最優(yōu)的初始聚類中心，如圖6所示。

圖6 基于GPA的LWIFCM算法優(yōu)化流程Fig.6 Flow of LWIFCM algorithm optimized by GPA

5 基于形態(tài)學(xué)加權(quán)投票法的雙通道信息融合

為了將基于光流法的人員運(yùn)動信息提取結(jié)果和基于LWIFCM算法的紅外圖像信息分割結(jié)果進(jìn)行有效融合，提出基于形態(tài)學(xué)加權(quán)投票法的雙通道信息融合算法。

機(jī)器學(xué)習(xí)投票理論[19]是政治學(xué)向機(jī)器學(xué)習(xí)的延伸，是集體決策理論的一種。采用投票理論進(jìn)行集體決策具有2個優(yōu)點(diǎn)：① 可做出最優(yōu)決策；② 可提高決策準(zhǔn)確度?；谕镀崩碚摰臋C(jī)器學(xué)習(xí)算法主要包括硬投票和軟投票。若參與投票的個體在決策中具有同樣的影響效力，則稱該決策為硬投票；若在一次決策中，不同決策者根據(jù)其對決策結(jié)果的影響效力不同而具有不同的影響權(quán)重，則稱該決策為軟投票。

形態(tài)學(xué)骨架理論是圖像形態(tài)學(xué)中的重要概念。本文結(jié)合圖7，直觀地對集合A骨架的推導(dǎo)過程進(jìn)行簡述[20]。圖7中從左到右分別為集合A、中心在A骨架S(A)上的最大圓盤、位于A骨架不同線段上的另一個最大圓盤、完整骨架。

圖7 骨架理論Fig.7 Frame theory

最大圓盤定義：① 若z為S(A)內(nèi)的點(diǎn)，(D)z為A內(nèi)以z為中心的最大圓形區(qū)域，且在A內(nèi)部不存在更大的圓形區(qū)域，則稱(D)z為最大圓盤；② (D)z在2個以上位置與A的邊緣相切。

集合A的骨架S(A)可通過腐蝕和開運(yùn)算實(shí)現(xiàn)：

(7)

Sk(A)=(A-kB)-(A-kB)°B

(8)

式中：K為腐蝕總次數(shù)；Sk(A)為對集合A連續(xù)進(jìn)行k次腐蝕后的骨架；B為結(jié)構(gòu)掩碼；°為開運(yùn)算符號。

受光流法實(shí)現(xiàn)原理及紅外圖像影響，基于光流法提取運(yùn)動特征得到的運(yùn)動目標(biāo)位置檢測結(jié)果在非人員區(qū)域同樣存在大量光流。若直接采用硬投票方法對圖像分割得到的不同區(qū)域進(jìn)行決策，會產(chǎn)生較大的決策失誤，而軟投票方法則需要對不同的權(quán)重分布進(jìn)行解釋。因此，本文引入圖像形態(tài)學(xué)骨架理論，對軟投票方法中的權(quán)重分布進(jìn)行規(guī)劃，具體實(shí)現(xiàn)步驟如下。

(1) 將光流法得到的結(jié)果優(yōu)先進(jìn)行閉運(yùn)算，修補(bǔ)前景圖像中的孔洞區(qū)域，得到較完整的光流前景區(qū)域。

(2) 對步驟(1)中得到的光流前景區(qū)域進(jìn)行形態(tài)學(xué)骨架提取，得到光流區(qū)域骨架點(diǎn)集。

(3) 計(jì)算不同光流矢量對應(yīng)的像素點(diǎn)距離光流區(qū)域骨架點(diǎn)集的最小距離，記為距離矩陣D。

(4) 采用min-max標(biāo)準(zhǔn)化方法對D進(jìn)行歸一化運(yùn)算，得到歸一化矩陣W，W即所求的加權(quán)矩陣。

(5) 定義目標(biāo)矩陣為T，在T中令所有光流矢量對應(yīng)的像素點(diǎn)值為雙精度類型1，將加權(quán)矩陣W與目標(biāo)矩陣T做點(diǎn)積運(yùn)算，得到不同像素點(diǎn)的投票值。

(6) 統(tǒng)計(jì)落在圖像分割結(jié)果中不同區(qū)域(屬于相同分割類別的非連接區(qū)域應(yīng)視為不同區(qū)域)的總投票值。

(7) 將不同區(qū)域的總投票值與區(qū)域面積的比值定義為投票權(quán)值v，若v大于所設(shè)閾值，則該分割區(qū)域保留為前景區(qū)域，即移動目標(biāo)區(qū)域。

6 仿真實(shí)驗(yàn)

搭建采煤機(jī)作業(yè)區(qū)域人員精確檢測實(shí)驗(yàn)平臺(圖8)，獲取紅外圖像數(shù)據(jù)集進(jìn)行仿真實(shí)驗(yàn)。仿真分析程序采用基于C++的OpenCV4.1.0開發(fā)，實(shí)現(xiàn)平臺為Visual Studio(Community 2019)。

圖8 采煤機(jī)作業(yè)區(qū)域人員精確檢測實(shí)驗(yàn)平臺Fig.8 Experimental platform for personnel precise detection in shearer operation area

通過實(shí)驗(yàn)平臺采集紅外圖像序列，從中隨機(jī)抽取200對連續(xù)幀紅外圖像(分辨率為384×288)，建立仿真實(shí)驗(yàn)數(shù)據(jù)集。從數(shù)據(jù)集中隨機(jī)選擇1對連續(xù)幀紅外圖像進(jìn)行仿真實(shí)驗(yàn)，如圖9所示。

在仿真實(shí)驗(yàn)中，圖像分割類別設(shè)定為10，將所得的10個不同類別分割層圖像中的非連接區(qū)域進(jìn)行拆分，得到若干個不同區(qū)域，則總區(qū)域數(shù)為

(9)

式中Mq為第q層中存在的不同區(qū)域數(shù)。

采煤機(jī)作業(yè)區(qū)域人員圖像分割中灰度平均值最小的第10層圖像如圖10所示，可看出其中存在11個不同區(qū)域。

圖10 第10層圖像中的不同區(qū)域Fig.10 Different areas in the tenth layer

人員檢測結(jié)果如圖11所示。可看出基于形態(tài)學(xué)加權(quán)投票法的雙通道信息融合結(jié)果避免了基于光流法的運(yùn)動信息提取在完整性和基于LWIFCM算法的紅外圖像信息分割在移動目標(biāo)提取上的不足，能夠有效且完整地提取紅外圖像中移動前景目標(biāo)，且提取結(jié)果與移動人員目標(biāo)基本吻合。

(a) 原始圖像

(b)圖像信息分割結(jié)果

(c) 運(yùn)動信息提取結(jié)果

(d) 雙通道信息融合結(jié)果

7 工業(yè)性試驗(yàn)

為了驗(yàn)證采煤機(jī)作業(yè)區(qū)域人員精確檢測系統(tǒng)的工業(yè)適用性，在河南大有能源有限公司義煤集團(tuán)耿村礦21208綜采工作面進(jìn)行井下工業(yè)性試驗(yàn)，如圖12所示。

圖12 工業(yè)性試驗(yàn)現(xiàn)場Fig.12 Industrial experimental site

根據(jù)圖1中采煤機(jī)作業(yè)區(qū)域人員精確檢測系統(tǒng)架構(gòu)，對采煤機(jī)機(jī)載控制系統(tǒng)及井下集控中心進(jìn)行升級，在采煤機(jī)上方加裝在線式紅外熱像儀，并將紅外熱像儀采集數(shù)據(jù)經(jīng)鎧裝電纜內(nèi)置光纖傳輸至井下集控中心。在井下集控中心加裝采煤機(jī)作業(yè)區(qū)域人員精確檢測與預(yù)警系統(tǒng)，進(jìn)行圖像處理及歷史數(shù)據(jù)保存，其主要參數(shù)：Intel(R) Core(TM) i7-6700K CPU，32 GB內(nèi)存，NVIDIA GeForce RTX 2060 SUPER顯卡，數(shù)據(jù)運(yùn)算平臺為Visual Studio (Community 2019)，采用C++語言結(jié)合OpenCV 4.1.0軟件庫聯(lián)合編程。該系統(tǒng)保存的圖像數(shù)據(jù)集及歷史數(shù)據(jù)經(jīng)工業(yè)環(huán)網(wǎng)定期上傳至云端，之后對本地?cái)?shù)據(jù)集進(jìn)行清理，以保證本地?cái)?shù)據(jù)存儲空間充足。

從云端保存的系統(tǒng)數(shù)據(jù)中提取1組(共57幀)包含人員運(yùn)動過程的真實(shí)紅外圖像序列(圖13)及其對應(yīng)的人員檢測結(jié)果(圖14)，對采煤機(jī)作業(yè)區(qū)域人員精確檢測系統(tǒng)各部分功能的工業(yè)適用性進(jìn)行評價。人員檢測結(jié)果采用工程中常用的矩形檢測框顯示。

圖13 紅外圖像序列Fig.13 Infrared image sequence

圖14 人員檢測結(jié)果Fig.14 Personnel detection results

采用分別基于Horn-Schunk光流法[21]和Farneback光流法[22]實(shí)現(xiàn)的人員檢測結(jié)果作為對比項(xiàng)，引入跟蹤偏差e[23]對位置檢測精度進(jìn)行評價。

(10)

式中：(x，y)為檢測出的移動目標(biāo)中心位置；(x′，y′)為通過人工標(biāo)記獲得的移動目標(biāo)中心位置。

采煤機(jī)作業(yè)區(qū)域人員精確檢測系統(tǒng)的目的是在采煤機(jī)運(yùn)行過程中確保其附近工作人員的安全，因此除對位置檢測精度進(jìn)行評價外，定義重疊比R對空間檢測精度進(jìn)行評價。

(11)

式中ssys，sman分別為檢測得到的矩形框面積、人工標(biāo)記得到的矩形框面積。

評價結(jié)果見表1?？煽闯霰疚姆椒捎行z測紅外圖像域中移動人員位置信息，且檢測結(jié)果較為穩(wěn)定，跟蹤偏差較小，平均值為0.106 5像素；與紅外圖像域中真實(shí)人員位置的重疊比平均值為96.10%，符合人員所處實(shí)際位置，可完整準(zhǔn)確地對紅外圖像域中人員進(jìn)行檢測；平均單次處理時間為0.490 8 s，最大為0.581 1 s，考慮到采煤機(jī)正常運(yùn)行速度為2～8 m/min，0.581 1 s內(nèi)最大行進(jìn)距離為0.077 48 m，滿足人員安全保護(hù)需求。與其他方法相比，本文方法的跟蹤偏差和重疊比均具有明顯優(yōu)勢，且較好地實(shí)現(xiàn)了檢測精度與速率的平衡。

表1 不同方法的評價指標(biāo)對比Table 1 Evaluation indexes comparison of different methods

8 結(jié)論

(1) 搭建了采煤機(jī)作業(yè)區(qū)域人員精確檢測系統(tǒng)架構(gòu)，采用紅外熱成像技術(shù)代替可見光成像技術(shù)，實(shí)現(xiàn)了采煤機(jī)作業(yè)區(qū)域人員檢測，提高了系統(tǒng)的環(huán)境適用性和魯棒性。

(2) 針對復(fù)雜工況下采煤機(jī)作業(yè)區(qū)域紅外圖像包含的高強(qiáng)度復(fù)雜噪聲，基于高斯濾波重構(gòu)引導(dǎo)圖像，建立基于高斯掩碼改進(jìn)的導(dǎo)向?yàn)V波模型，以抑制高強(qiáng)度紅外噪聲，并建立了多級導(dǎo)向?yàn)V波模型，提高了對高強(qiáng)度噪聲的濾除能力和灰度梯度信息的保護(hù)能力。

(3) 基于形態(tài)學(xué)加權(quán)投票法，實(shí)現(xiàn)了基于光流法提取的人員運(yùn)動信息和基于LWIFCM算法分割的圖像信息之間的有效融合，提高了采煤機(jī)作業(yè)區(qū)域人員檢測精度。

(4) 工業(yè)性試驗(yàn)結(jié)果表明，采用本文方法進(jìn)行采煤機(jī)作業(yè)區(qū)域人員檢測時，跟蹤偏差平均值為0.106 5像素，重疊比平均值為96.10%，平均單次處理時間為0.490 8 s，滿足現(xiàn)場需求，為采煤機(jī)作業(yè)區(qū)域人員保護(hù)提供了可靠依據(jù)。