仝澤友，丁恩杰

(中國(guó)礦業(yè)大學(xué) a.信息與控制工程學(xué)院；b.物聯(lián)網(wǎng)(感知礦山)研究中心，江蘇 徐州 221000)

0 引言

在礦井生產(chǎn)過(guò)程中，礦工作業(yè)安全問(wèn)題非常重要。隨著礦山技術(shù)的不斷提高，智慧礦山已經(jīng)成為現(xiàn)代礦業(yè)的主要方向，利用當(dāng)前的智能手段來(lái)實(shí)現(xiàn)礦山的安全生產(chǎn)，是下一階段的主要任務(wù)。

目前，主要針對(duì)礦工違規(guī)行為發(fā)生的原因進(jìn)行了研究，包括礦工的心理及生理因素、設(shè)備因素、管理因素等[1]。文獻(xiàn)[2]針對(duì)礦工情緒進(jìn)行了研究，提出礦工處于正情緒時(shí)，行為能力增強(qiáng)，違規(guī)行為減少。文獻(xiàn)[3]提出煤礦企業(yè)應(yīng)實(shí)施柔性安全監(jiān)管策略，綜合調(diào)節(jié)安全監(jiān)管力度與礦工違規(guī)行為之間的關(guān)系，能有效地減少違規(guī)行為的發(fā)生。文獻(xiàn)[4]提出礦工行為與環(huán)境因素存在密切關(guān)系，應(yīng)提高煤礦設(shè)備水平、改善作業(yè)環(huán)境以減少違規(guī)行為的發(fā)生。

文獻(xiàn)[5]提出了一種基于三維深度卷積神經(jīng)網(wǎng)絡(luò)的車(chē)間生產(chǎn)工人違規(guī)行為識(shí)別方法，主要訓(xùn)練人體關(guān)鍵骨骼點(diǎn)數(shù)據(jù)模型，對(duì)違規(guī)行為進(jìn)行識(shí)別。文獻(xiàn)[6]提出了一種實(shí)時(shí)的建筑工人違規(guī)行為識(shí)別方法，主要使用建筑工人骨骼點(diǎn)之間的角度特征識(shí)別建筑工地特有的違規(guī)行為。以上研究均使用人體骨骼點(diǎn)數(shù)據(jù)對(duì)工人行為進(jìn)行識(shí)別，但未結(jié)合實(shí)際工作環(huán)境，沒(méi)有與環(huán)境交互部分，其實(shí)質(zhì)是做人員行為識(shí)別。文獻(xiàn)[7]提出了一種基于局部方向梯度直方圖(histogram of oriented gradient,HOG)與局部光流直方圖(histogram of flow，HOF)特征聯(lián)合的時(shí)空描述子方法，能夠有效檢測(cè)視頻中多人異常行為。文獻(xiàn)[8]提出一種基于貝葉斯融合的時(shí)空流異常行為檢測(cè)方法，有效提升了異常行為檢測(cè)的等錯(cuò)誤率(equal error rate,EER)和接受者操作特性曲線與坐標(biāo)軸圍成的面積(area under curve,AUC)，但是還存在一定的實(shí)時(shí)性問(wèn)題。

以上研究雖然從多個(gè)方面分析了工人違規(guī)行為，并提出了相應(yīng)的方法以減少類(lèi)似行為的發(fā)生，但在礦山生產(chǎn)中，礦工違規(guī)行為仍時(shí)有發(fā)生。因此，本文提出了一種針對(duì)礦井皮帶區(qū)域的環(huán)境敏感型礦工違規(guī)行為識(shí)別方法，主要針對(duì)吸煙、拋雜物、摘安全帽、手搭皮帶機(jī)、倚靠皮帶機(jī)、攀爬皮帶機(jī)6種違規(guī)行為進(jìn)行識(shí)別。主要使用改進(jìn)運(yùn)動(dòng)歷史圖描述礦工行為并提取HOG特征，與金字塔幾何矩(Hu矩)特征進(jìn)行融合，結(jié)合礦井皮帶區(qū)環(huán)境識(shí)別環(huán)境敏感型礦工的違規(guī)行為，實(shí)時(shí)監(jiān)測(cè)礦井皮帶區(qū)域，能夠及時(shí)發(fā)現(xiàn)違規(guī)行為并做出反應(yīng)，減少安全事故的發(fā)生。

1 行為識(shí)別算法

根據(jù)調(diào)查發(fā)現(xiàn)，礦井皮帶區(qū)域攝像頭位置比較固定，因此將礦工作為前景，其他物體作為背景，且背景環(huán)境不會(huì)隨著時(shí)間發(fā)生變化。實(shí)驗(yàn)場(chǎng)景如圖1所示。

1.1 行為描述

圖1 實(shí)驗(yàn)場(chǎng)景圖

由于視頻序列相鄰幀之間重復(fù)內(nèi)容在90%以上，為提高算法速度，本文使用基于關(guān)鍵幀的方法對(duì)礦工行為進(jìn)行描述，使用等間隔采樣法對(duì)視頻序列抽取關(guān)鍵幀，描述礦工行為。而不同行為持續(xù)時(shí)間長(zhǎng)短不一，例如攀爬皮帶機(jī)行為超過(guò)400幀，摘安全帽行為在150幀左右。若所有行為提取視頻幀間隔固定，則導(dǎo)致持續(xù)時(shí)間長(zhǎng)的行為存在冗余信息，持續(xù)時(shí)間相對(duì)短的行為信息不足，所以，針對(duì)上述6種行為需要設(shè)置不同的間隔提取視頻幀。

為描述連續(xù)N幀視頻序列中礦工行為運(yùn)動(dòng)過(guò)程，使用改進(jìn)運(yùn)動(dòng)歷史圖(improved motion history image,IMHI)方法。傳統(tǒng)運(yùn)動(dòng)歷史圖(motion history image,MHI)是在運(yùn)動(dòng)能量圖(motion energy image,MEI)的基礎(chǔ)上提出的，是一種基于視覺(jué)的灰度圖像[9]，主要利用幀間差分法，將運(yùn)動(dòng)前景與背景分離，實(shí)現(xiàn)運(yùn)動(dòng)分割，進(jìn)而將一段視頻序列壓縮成一張靜態(tài)圖像，圖像中每個(gè)像素的灰度值表示該位置像素的位移情況，像素灰度值越高表示發(fā)生位移的時(shí)間越近。但是MHI需要對(duì)3個(gè)未知參數(shù)進(jìn)行估計(jì)，而IMHI只需對(duì)一個(gè)未知參數(shù)估計(jì)，有效降低了計(jì)算復(fù)雜度。在生成IMHI時(shí)，首先計(jì)算整幅圖像在t時(shí)刻與t-1時(shí)刻視頻幀的二值差分圖[10]：

(1)

(2)

其中：τ為持續(xù)時(shí)間，幀數(shù)的角度決定了運(yùn)動(dòng)的時(shí)間范圍；Ψ(x,y,t)為t時(shí)刻與t-1時(shí)刻的二值差分圖；Hτ(x,y,t)為運(yùn)動(dòng)歷史圖。在計(jì)算IMHI時(shí)，僅有一個(gè)未知參數(shù)β，下面將對(duì)未知參數(shù)的選取進(jìn)行討論。β的選取在很大程度上會(huì)影響運(yùn)動(dòng)歷史圖，若取值過(guò)小則會(huì)產(chǎn)生很多噪聲，影響特征向量的提取與算法的準(zhǔn)確率；若取值過(guò)大則導(dǎo)致運(yùn)動(dòng)信息消失。對(duì)于閾值β分別為15、30、45、60、75和90進(jìn)行分析比較發(fā)現(xiàn)：當(dāng)閾值β<60時(shí)，隨著閾值的提高，噪聲隨之減少，并且運(yùn)動(dòng)信息逐漸清晰；當(dāng)β=60時(shí)，噪聲基本消失不見(jiàn)，可以清晰地判斷出人體的運(yùn)動(dòng)信息，IMHI達(dá)到一個(gè)最優(yōu)狀態(tài)；而當(dāng)β繼續(xù)增大時(shí)，運(yùn)動(dòng)信息噪聲逐漸消失；當(dāng)β=90時(shí)，運(yùn)動(dòng)信息已經(jīng)很模糊，無(wú)法分辨人體運(yùn)動(dòng)軌跡。計(jì)算得到的改進(jìn)運(yùn)動(dòng)歷史圖大小為160 pixels×120 pixels，使用不同的β值計(jì)算拋雜物行為的IMHI如圖2所示。

(a)β=15

(b)β=30

(c)β=45

(d)β=60

(e)β=75

(f)β=90

圖2 不同閾值β時(shí)拋雜物行為的改進(jìn)運(yùn)動(dòng)歷史圖

1.2 特征提取

1.2.1 HOG特征提取

使用HOG特征識(shí)別礦工行為。HOG特征核心思想是局部梯度或邊緣的分布情況可以描述圖像中目標(biāo)的表示與形狀[11]。

在人體行為識(shí)別中，邊緣輪廓信息比較重要，HOG能高效地計(jì)算得到目標(biāo)圖像邊緣信息的算子。HOG特征提取算法如下：由于計(jì)算邊緣梯度與邊緣形狀和顏色無(wú)關(guān)，所以為了降低數(shù)據(jù)集中前景與背景顏色相似造成的干擾，需要對(duì)圖像數(shù)據(jù)進(jìn)行Gamma顏色校正,以調(diào)節(jié)圖像對(duì)比度，降低局部陰影或光照變化造成的干擾。將圖像分成若干個(gè)大小相同的細(xì)胞單元(cell)，相鄰cell(40 pixels×40 pixels組成一個(gè)cell)之間不存在重疊部分,在單元內(nèi)對(duì)像素點(diǎn)求梯度值。計(jì)算公式為：

(3)

其中：I為像素灰度值；Gx(x,y)為水平方向梯度；Gy(x,y)為垂直方向梯度。將所有梯度劃分為9個(gè)方向(bin)，在每個(gè)cell內(nèi)計(jì)算9個(gè)方向梯度直方圖，將相鄰的cell組成一個(gè)大的區(qū)域，稱(chēng)為block。進(jìn)行歸一化處理，可以減少干擾因素對(duì)實(shí)驗(yàn)造成的影響，提高算法的魯棒性。合并block區(qū)域，將所有block區(qū)域的梯度直方圖合并到一起組成一個(gè)大的特征向量，稱(chēng)為HOG特征，這樣每幅圖像就表示成6×36維特征向量。由于HOG是在一幅圖像的每個(gè)單元上計(jì)算得到的，因此HOG特征對(duì)光線變化不敏感。計(jì)算圖像中像素點(diǎn)的水平與垂直方向梯度，不僅可以進(jìn)一步降低光照等因素造成的干擾，還可以體現(xiàn)圖像的輪廓及紋理特征[12]。

除HOG特征外，常用的特征還有尺度不變特征轉(zhuǎn)換(scale-invariant feature transform,SIFT)、加速魯棒特征(spead-up robust features,SURF)等。SIFT是在不同尺度空間上使用不同的窗口檢測(cè)極值點(diǎn)[13]，對(duì)小的角點(diǎn)使用小窗口檢測(cè)，對(duì)大的角點(diǎn)使用大窗口檢測(cè)。SURF算法的實(shí)質(zhì)是SIFT的加速版，其魯棒性與檢測(cè)速度都優(yōu)于SIFT，善于處理模糊和旋轉(zhuǎn)的圖像。SIFT與SURF都是基于線性的尺度分解，忽略了目標(biāo)圖像的發(fā)散邊界與細(xì)節(jié)信息，從而導(dǎo)致提取的特征信息相對(duì)不準(zhǔn)確[14]。

1.2.2 改進(jìn)Hu矩計(jì)算

Hu矩基本原理是利用線性代數(shù)不變矩理論計(jì)算出7個(gè)不變矩[15]。圖像的Hu矩具有平移、旋轉(zhuǎn)和尺度不變性等特點(diǎn)，且時(shí)間復(fù)雜度較低。然而，Hu矩對(duì)圖像的細(xì)節(jié)信息表示能力有限，且不具備非約束縮放不變性，導(dǎo)致識(shí)別率較低。因此，本文提出一種基于高斯圖像金字塔的Hu矩計(jì)算方法。首先，為一幅目標(biāo)圖像構(gòu)建6層金字塔子圖像，并且對(duì)每一層子圖像分別求7個(gè)不變矩。根據(jù)每層圖像的不變矩對(duì)行為識(shí)別特征的貢獻(xiàn)不同，采用加權(quán)方法計(jì)算多維特征向量，進(jìn)行順序級(jí)聯(lián)，組成新的多維Hu矩特征向量，加權(quán)系數(shù)均取0.25。改進(jìn)Hu矩計(jì)算流程如圖3所示。

圖3 改進(jìn)Hu矩計(jì)算流程圖

1.3 特征理解

由于HOG特征是在圖像的細(xì)胞單元上計(jì)算得到的，因此它對(duì)圖像的幾何和光學(xué)形變的變化不敏感，但對(duì)噪聲相當(dāng)敏感。Hu矩對(duì)物體的形狀信息表述較好，算法計(jì)算速度較快，但存在圖像的紋理特征不能太復(fù)雜的缺陷[16]。因此，為了提高算法識(shí)別準(zhǔn)確率，本文使用貝葉斯理論將HOG特征與改進(jìn)Hu矩特征進(jìn)行融合。然而，融合后的特征向量之間不正交，存在冗余信息，因此需要對(duì)融合后的特征向量使用主成分分析(principal component analysis,PCA)進(jìn)行降維。

目前，針對(duì)人體行為特征提取后的特征理解方法主要有：基于機(jī)器學(xué)習(xí)的支持向量機(jī)(support vector machine,SVM)、最近鄰規(guī)則分類(lèi)算法、動(dòng)態(tài)隨機(jī)算法(隱馬爾科夫模型(hidden Markov model,HMM)、條件隨機(jī)場(chǎng)模型(conditional random field,CRF)等)、模板匹配法等[17]。

對(duì)于任意運(yùn)動(dòng)歷史圖，HOG特征向量為6×36維，金字塔Hu矩為6×7維，使用貝葉斯理論融合特征向量。對(duì)于一個(gè)行為視頻序列，提取所有關(guān)鍵視頻序列計(jì)算HOG與金字塔Hu矩特征向量，將上述特征向量融合并降維后送入分類(lèi)器訓(xùn)練，取90%的數(shù)據(jù)作為訓(xùn)練集，其余10%的數(shù)據(jù)作為測(cè)試集。由于K-最近鄰(K-nearest neighbor,KNN)分類(lèi)算法通過(guò)K的選擇可具備丟棄噪音數(shù)據(jù)的健壯性，且簡(jiǎn)單易于實(shí)現(xiàn)，因此選取KNN構(gòu)建行為識(shí)別模型?？紤]歐幾里得距離因素，根據(jù)距離加權(quán)重，即權(quán)重點(diǎn)等于它們距離的倒數(shù)。使用此方法，更近的鄰居對(duì)于所預(yù)測(cè)點(diǎn)的影響更大。

2 違規(guī)行為識(shí)別

2.1 目標(biāo)識(shí)別

本文擬識(shí)別的6種礦工違規(guī)行為不同于生活場(chǎng)景中的一般行為識(shí)別，屬于環(huán)境敏感型的行為識(shí)別范疇。本文基于三元色光(red-green-blue,RGB)視頻對(duì)礦工行為進(jìn)行識(shí)別，使用Mask R-CNN網(wǎng)絡(luò)模型對(duì)礦工、靴子、皮帶機(jī)等目標(biāo)進(jìn)行像素級(jí)分割。

Mask R-CNN[18]是復(fù)雜、多任務(wù)網(wǎng)絡(luò)模型的典型代表，是在Faster RCNN上面加了一個(gè)Mask 預(yù)測(cè)分支；并且在ROI Pooling的基礎(chǔ)上提出了ROI Align，可以完成目標(biāo)檢測(cè)、目標(biāo)分類(lèi)與像素級(jí)目標(biāo)分割3個(gè)任務(wù)。

使用ROI Pooling從輸入圖的ROI得到特征圖上的ROI feature，是直接通過(guò)四舍五入取整得到的結(jié)果，這導(dǎo)致得到的輸出可能發(fā)生偏移，和原圖上的ROI對(duì)不上；同時(shí)將每個(gè)ROI對(duì)應(yīng)的特征轉(zhuǎn)化為固定6×6大小的維度時(shí)又采用了取整操作，對(duì)逐像素的目標(biāo)預(yù)測(cè)是有害的。在此基礎(chǔ)上，ROI Align不再進(jìn)行取整操作，而是使用雙線性插值來(lái)更精確地找到每個(gè)塊對(duì)應(yīng)的特征?？偟膩?lái)說(shuō)，ROI Align的主要作用是剔除ROI Pooling的取整操作，并且使得為每個(gè)ROI取得的特征能夠更好地對(duì)齊原圖上的ROI區(qū)域。

2.2 礦井皮帶運(yùn)輸機(jī)區(qū)域礦工違規(guī)行為判識(shí)方法

基于已經(jīng)識(shí)別的礦工行為,結(jié)合皮帶區(qū)域環(huán)境構(gòu)建礦工違規(guī)行為判識(shí)模型，具體流程如圖4所示。

設(shè)Mask R-CNN檢測(cè)的安全帽像素集合為A=(a1，a2，a3，a4，…，an)，臉的像素集合為B=(b1，b2，b3，b4，…，bn)，手的像素集合為C=(c1，c2，c3，c4，…，cn)，靴子的像素集合為D=(d1，d2，d3，d4，…，dn)，礦工的像素集合為E=(e1，e2，e3，e4，…，en)，皮帶機(jī)的像素集合為F=(f1，f2，f3，f4，…，fn)。下面對(duì)違規(guī)行為具體判識(shí)方法進(jìn)行介紹。

圖4 礦工違規(guī)行為判識(shí)流程

(Ⅰ)吸煙、拋雜物。因?yàn)槲鼰熍c拋雜物兩種行為比較特殊，且吸煙是持續(xù)性動(dòng)作，不需要與環(huán)境結(jié)合即可判定為違規(guī)行為。

(Ⅱ)摘安全帽。當(dāng)出現(xiàn)摘安全帽行為時(shí)，檢測(cè)礦工臉部在圖像中的位置，并檢測(cè)臉部以上1.5倍安全帽大小的區(qū)域是否存在安全帽。若存在安全帽則判定為與摘安全帽行為相似的正常行為；若不存在安全帽則判定為違規(guī)行為。

(Ⅲ)手搭皮帶機(jī)。當(dāng)?shù)V工行為識(shí)別算法確定有手搭皮帶機(jī)行為產(chǎn)生時(shí)，在礦工手部區(qū)域的像素集合內(nèi)隨機(jī)選取一個(gè)像素點(diǎn)i，遍歷皮帶機(jī)區(qū)域像素集合內(nèi)所有像素點(diǎn)，然后計(jì)算與點(diǎn)i的歐氏距離：

dis(i)=|E(i)-F(j)|,j=1,2,3,…,n。

(4)

在礦工身體像素集合上隨機(jī)選取一點(diǎn)h，遍歷皮帶機(jī)區(qū)域像素集合。計(jì)算點(diǎn)h與皮帶機(jī)的最小歐氏距離dis(h)，若dis(h)小于指定閾值β且dis(i)=0，則表明礦工手部區(qū)域在皮帶機(jī)像素集合內(nèi)，判定為違規(guī)行為；否則判識(shí)為安全行為，認(rèn)為是礦工在安全區(qū)域發(fā)生與手搭皮帶機(jī)相似的動(dòng)作。

(Ⅳ)倚靠皮帶機(jī)。當(dāng)出現(xiàn)倚靠行為時(shí)，在礦工身體像素集合上隨機(jī)選取一點(diǎn)q，遍歷皮帶機(jī)像素集合內(nèi)所有點(diǎn)，計(jì)算點(diǎn)q與皮帶機(jī)的最小歐氏距離。如距離dis(q)小于指定閾值δ，則認(rèn)為依靠皮帶機(jī)行為發(fā)生，判識(shí)為違規(guī)行為；若dis(q)大于指定閾值δ，則判識(shí)為安全行為。

(Ⅴ)攀爬皮帶機(jī)。當(dāng)?shù)V工行為識(shí)別算法確定出現(xiàn)攀爬行為時(shí)，在礦工手部區(qū)域隨機(jī)選取一點(diǎn)w，在礦工靴子區(qū)域隨機(jī)選取一點(diǎn)k，在礦工身體像素集合上隨機(jī)選取一點(diǎn)m，遍歷皮帶機(jī)區(qū)域像素集合。計(jì)算點(diǎn)w和點(diǎn)k與皮帶機(jī)區(qū)域像素點(diǎn)的歐氏距離dis(w)與dis(k)，若dis(w)與dis(k)均出現(xiàn)等于0的情況，且礦工身體與皮帶機(jī)距離小于指定閾值θ，則判識(shí)為違規(guī)行為；否則判識(shí)為正常行為。

上述礦工違規(guī)行為判識(shí)模型，均是提取礦工行為結(jié)束時(shí)刻的3幀圖像，利用Mask R-CNN對(duì)目標(biāo)進(jìn)行像素級(jí)分割，利用上述判識(shí)方法對(duì)礦工違規(guī)行為進(jìn)行判識(shí)。若違規(guī)行為的次數(shù)不小于2次，則判識(shí)為違規(guī)行為；否則判識(shí)為正常行為。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)設(shè)置

在x86 Windows電腦上使用python語(yǔ)言進(jìn)行實(shí)驗(yàn)，硬件配置為Inter i3 CPU，2.4 GHz，2 GB內(nèi)存。在皮帶機(jī)實(shí)驗(yàn)室環(huán)境選取12名在校學(xué)生采集實(shí)驗(yàn)數(shù)據(jù)集，主要針對(duì)摘安全帽、攀爬皮帶機(jī)、倚靠皮帶機(jī)、吸煙、拋雜物、手搭皮帶機(jī)6種行為，圖像大小為640 pixels×480 pixels，每種行為均采集24次，樣本總數(shù)為1 728。對(duì)于KNN分類(lèi)器，K取值10，權(quán)重點(diǎn)等于它們距離的倒數(shù)，葉子數(shù)量取值50。訓(xùn)練數(shù)據(jù)時(shí)使用10折法交叉驗(yàn)證，可以得到更準(zhǔn)確的分類(lèi)器。同時(shí)，為驗(yàn)證本文算法識(shí)別行為的有效性，在KTH[19]與Weizmann[20]兩個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。

3.2 實(shí)驗(yàn)分析

根據(jù)前面的實(shí)驗(yàn)算法設(shè)計(jì)，分別在HOG、Hu矩、金字塔Hu矩、HOG與金字塔Hu矩融合的特征上進(jìn)行相應(yīng)的實(shí)驗(yàn)。為避免偶然性，本文進(jìn)行多次實(shí)驗(yàn)且實(shí)驗(yàn)環(huán)境設(shè)置相同。針對(duì)安全帽與皮帶機(jī)等目標(biāo)，其綜合識(shí)別準(zhǔn)確率為96.2%。針對(duì)提取的HOG、Hu矩、金字塔Hu矩、HOG與金字塔Hu矩融合的特征，違規(guī)行為識(shí)別準(zhǔn)確率如表1所示。

表1 違規(guī)行為識(shí)別準(zhǔn)確率 %

針對(duì)HOG與改進(jìn)Hu矩特征的礦工違規(guī)行為識(shí)別的混淆矩陣如圖5所示。

由表1和圖5可知：使用HOG與金字塔Hu矩進(jìn)行特征融合，識(shí)別準(zhǔn)確率可以達(dá)到96.5%，其中，吸煙行為識(shí)別準(zhǔn)確率最高，倚靠皮帶機(jī)行為識(shí)別率最低，各個(gè)違規(guī)行為之間存在一定誤識(shí)別。針對(duì)KTH和Weizmann人體行為數(shù)據(jù)集，其綜合準(zhǔn)確率分別為98.7%和93.8%，具有較高的識(shí)別率。

針對(duì)上述4種礦工行為識(shí)別特征，均在KNN分類(lèi)器的相同條件下進(jìn)行識(shí)別，不同特征的運(yùn)行時(shí)間如表2所示。

表2 不同特征的運(yùn)行時(shí)間 s

由表2可知：Hu矩特征的運(yùn)行速度是0.427 s，而HOG、HOG與改進(jìn)Hu矩融合的算法時(shí)間相對(duì)較長(zhǎng)，是1.573 s。雖然本文使用的特征的時(shí)間復(fù)雜度相對(duì)較長(zhǎng)，但是準(zhǔn)確率卻明顯提升，可以滿(mǎn)足算法實(shí)時(shí)性要求。

4 結(jié)束語(yǔ)

本文提出一種改進(jìn)運(yùn)動(dòng)歷史圖描述礦工行為運(yùn)動(dòng)過(guò)程的方法，能有效地描述礦工運(yùn)動(dòng)過(guò)程并減少計(jì)算參數(shù)。針對(duì)Hu矩對(duì)圖像細(xì)節(jié)表達(dá)能力有限的問(wèn)題，提出一種基于金字塔Hu矩特征并進(jìn)行多特征融合。使用深度學(xué)習(xí)方法對(duì)礦井皮帶區(qū)環(huán)境進(jìn)行識(shí)別，結(jié)合礦井皮帶區(qū)背景環(huán)境對(duì)環(huán)境敏感型礦工違規(guī)行為進(jìn)行判識(shí)。

提出的環(huán)境敏感型礦工違規(guī)行為識(shí)別方法，準(zhǔn)確率較高且計(jì)算速度較快，適合在實(shí)際環(huán)境中運(yùn)行。后續(xù)研究工作將圍繞多人交互違規(guī)行為識(shí)別展開(kāi)，從而可以識(shí)別礦工的多種違規(guī)行為，并致力于對(duì)更復(fù)雜的多人交互類(lèi)違規(guī)行為進(jìn)行識(shí)別。