張成權(quán)，唐家康，汪志峰,

（1.安慶師范大學(xué)計(jì)算機(jī)與信息學(xué)院，安徽安慶246133；2.智能感知與計(jì)算安徽省高等學(xué)校重點(diǎn)實(shí)驗(yàn)室，安徽安慶246133）

隨著計(jì)算機(jī)人機(jī)交互領(lǐng)域的不斷發(fā)展，人體動(dòng)作識(shí)別技術(shù)在智能監(jiān)控、舞蹈教學(xué)、醫(yī)療康復(fù)等方面的應(yīng)用越來(lái)越廣泛，為人們的日常生活提供了極大的便利。一般在不同的應(yīng)用場(chǎng)景中，使用不同的動(dòng)作捕捉設(shè)備，關(guān)于人體動(dòng)作捕捉技術(shù)[1]方面，主要有光學(xué)式和可穿戴式兩種。微軟發(fā)布的Kinect[2]3D體感攝影機(jī)，不僅可以采集人體的彩色圖像和深度信息，還能夠獲得人體骨骼數(shù)據(jù)信息。Luvizon等[3]提出了一種基于骨骼序列的人體動(dòng)作識(shí)別框架，從子關(guān)節(jié)點(diǎn)中提取時(shí)空局部特征，通過(guò)VLAD算法和池化，然后利用LMNN的方法，將多個(gè)特征向量組合在一起，使用k-NN分類器進(jìn)行分類。Gaglio等[4]用k均值聚類、支持向量機(jī)（SVM）和隱馬爾可夫模型（HMM）3種不同的機(jī)器學(xué)習(xí)方法對(duì)人體相鄰關(guān)節(jié)點(diǎn)估計(jì)，然后對(duì)不同的姿勢(shì)分類。Wang等[5]在小訓(xùn)練集上基于深度圖像，通過(guò)加權(quán)分層深度運(yùn)動(dòng)圖和三通道深度卷積神經(jīng)網(wǎng)絡(luò)的方法識(shí)別人體動(dòng)作。Wang等[6]提取隨機(jī)占用模式（ROP）特征的半局部特征，利用稀疏編碼方法對(duì)這些特征進(jìn)行魯棒編碼。Wang等[7]用一種新的動(dòng)作集合模型來(lái)表征人類行為，該模型代表人類關(guān)節(jié)子集的相互作用。Oreifej等[8]使用直方圖來(lái)描述深度序列，該直方圖捕獲時(shí)間、深度和空間坐標(biāo)的4D空間中的表面法線方向的分布。Vemulapalli等[9]提出了一種新的骨架來(lái)表示3D空間中的旋轉(zhuǎn)和平移，模擬各種身體部位之間的3D幾何關(guān)系的方法。Wang等[10]通過(guò)模擬人體姿勢(shì)的時(shí)空結(jié)構(gòu)來(lái)處理視頻中的動(dòng)作識(shí)別，得到了k最佳估計(jì)的輸出，并加入了額外的分割線索和時(shí)間約束來(lái)選擇“最佳”估計(jì)，然后將估計(jì)的關(guān)節(jié)分為5個(gè)身體部分，并應(yīng)用數(shù)據(jù)挖掘技術(shù)獲得人類行為時(shí)空結(jié)構(gòu)的表示。Barnachon等[11]提出了一種使用運(yùn)動(dòng)捕捉（MoCap）數(shù)據(jù)識(shí)別流動(dòng)作框架，實(shí)現(xiàn)對(duì)正在進(jìn)行的活動(dòng)早期識(shí)別。Kapsour等[12]利用關(guān)節(jié)方位角和這些角度在不同時(shí)間尺度上的前向差異來(lái)表示運(yùn)動(dòng)捕捉序列的方法。Rahmani等[13]直接對(duì)點(diǎn)云進(jìn)行處理，并提出了一種對(duì)噪聲、動(dòng)作速度和視點(diǎn)變化更具魯棒性的動(dòng)作識(shí)別新技術(shù)，該技術(shù)包括一個(gè)新的描述符和關(guān)鍵點(diǎn)檢測(cè)算法。Chen等[14]提出了一種雙層框架的三維動(dòng)作識(shí)別方法，以解決高類內(nèi)方差、運(yùn)動(dòng)速度變異性和高計(jì)算代價(jià)的動(dòng)作識(shí)別問(wèn)題。本文是在人體結(jié)構(gòu)分層的基礎(chǔ)上，從兩個(gè)不同的空間維度來(lái)提取人體運(yùn)動(dòng)特征，分別利用三維空間里的關(guān)節(jié)向量和角速度特征以及二維空間里的關(guān)節(jié)角和加速度特征，來(lái)區(qū)分人的整體和局部運(yùn)動(dòng)情況，從而達(dá)到更好的識(shí)別效果。

1 Kinect骨骼數(shù)據(jù)和基于分層的特征提取

在Kinect for Windows SDK的支持下，通過(guò)其骨骼追蹤技術(shù)，能夠?qū)inect視野范圍內(nèi)移動(dòng)的行人進(jìn)行骨骼位置的追蹤，獲得人體的20 個(gè)骨骼關(guān)節(jié)點(diǎn)數(shù)據(jù)信息，每個(gè)關(guān)節(jié)點(diǎn)用(x,y,z)三維坐標(biāo)來(lái)表示。為了便于對(duì)人體骨骼的描述，按照Kinect骨骼數(shù)據(jù)采集的順序，把人體骨骼20個(gè)關(guān)節(jié)點(diǎn)從A到T進(jìn)行編號(hào)，具體如圖1所示。

本文運(yùn)用基于分層特征提取[15]的方法，根據(jù)人體結(jié)構(gòu)學(xué)的知識(shí)，可以把人體分為5大部分。第1部分包括頭部(T)、頸部(C)、脊柱(D)和臀部(G)，第2部分包括左手(L)、左腕(J)、左肘(H)和左肩(A)，第3部分包括右手(M)、右腕(K)、右肘(I)和右肩(B)，第4部分包括左腳(R)、左踝(P)、左膝(N)和左臀(E)，第5部分包括右腳(S)、右踝(Q)、右膝(O)和右臀(F)。軀干是支撐人體的主要部分，人體某些腰部的運(yùn)動(dòng)特征信息來(lái)自于這部分關(guān)節(jié)點(diǎn)，手部和腳部的運(yùn)動(dòng)特征信息來(lái)自于四肢關(guān)節(jié)點(diǎn)。通過(guò)對(duì)人體結(jié)構(gòu)的劃分，能夠用這5大部分之間的組合來(lái)表示人體的一些基本動(dòng)作，例如只有雙臂的動(dòng)作，就是第二部分和第三部分的組合。在分類的方法上，本文采取分層策略。第一層：先把上述5大部分具有相同組合模式的動(dòng)作歸為一類，即動(dòng)作的粗分類。第二層：對(duì)相同組合模式的動(dòng)作再分類，具體判斷是哪種動(dòng)作，即動(dòng)作的細(xì)分類。

在三維空間里，不同的人體動(dòng)作如果只從某個(gè)空間視角觀察時(shí)，會(huì)存在局部遮擋的情況，導(dǎo)致對(duì)某些運(yùn)動(dòng)特征的掩蓋，從而不能準(zhǔn)確地表達(dá)該行為。于是利用人體三視圖的思想，把三維空間里的特征投影到二維平面上，從不同的平面視角去尋找運(yùn)動(dòng)特征，增加了類內(nèi)差異性，彌補(bǔ)了僅考慮三維空間里運(yùn)動(dòng)特征的缺陷。關(guān)節(jié)之間角度的變化體現(xiàn)了平移和旋轉(zhuǎn)的運(yùn)動(dòng)本質(zhì)，因此用角度信息來(lái)描述不同的運(yùn)動(dòng)姿態(tài)。把三維空間人體關(guān)節(jié)角投影到二維平面上，用二維平面里的關(guān)節(jié)角信息作為粗分類的運(yùn)動(dòng)特征，分別從3個(gè)不同的視角方向進(jìn)行平面投影，形成3個(gè)不同平面里的關(guān)節(jié)角：主視圖關(guān)節(jié)角，人體從前向后方向主平面內(nèi)的關(guān)節(jié)角投影；側(cè)視圖關(guān)節(jié)角，人體從左向右方向側(cè)平面內(nèi)的關(guān)節(jié)角投影；俯視圖關(guān)節(jié)角，人體從上向下方向下平面內(nèi)的關(guān)節(jié)角投影。選取的人體骨骼關(guān)節(jié)角如圖2所示。

在Kinect的人體骨骼框架中，每個(gè)關(guān)節(jié)點(diǎn)都對(duì)應(yīng)一個(gè)骨骼數(shù)據(jù)坐標(biāo)，每?jī)蓚€(gè)關(guān)節(jié)點(diǎn)連接起來(lái)構(gòu)成一個(gè)關(guān)節(jié)向量，通過(guò)余弦相似度公式可以計(jì)算出人體骨骼關(guān)節(jié)角的大?。?/p>

圖1 20個(gè)關(guān)節(jié)點(diǎn)的編號(hào)

圖2 人體的17個(gè)關(guān)節(jié)角

式中：θ是每幀骨骼數(shù)據(jù)t時(shí)刻的關(guān)節(jié)角大小，U(t)和V(t)是t時(shí)刻的兩個(gè)關(guān)節(jié)向量。由于采集的Kinect骨骼數(shù)據(jù)是三維坐標(biāo)( x,y,z )，對(duì)三維骨骼數(shù)據(jù)降維，使之變?yōu)槎S投影平面XOY上的骨骼數(shù)據(jù)，再用二維坐標(biāo)去計(jì)算關(guān)節(jié)角的大小。比如計(jì)算左腕，在t時(shí)刻投影到一個(gè)二維平面內(nèi)關(guān)節(jié)角的大小，左手在t時(shí)刻的關(guān)節(jié)點(diǎn)坐標(biāo)是( x1( t ),y1( t )),左肘在t 時(shí)刻的關(guān)節(jié)點(diǎn)坐標(biāo)是( x2( t ),y2( t ))，左腕在t 時(shí)刻的關(guān)節(jié)點(diǎn)坐標(biāo)是( x3( t ),y3( t ))，那么

{2}表示在二維空間內(nèi)，根據(jù)t 時(shí)刻的關(guān)節(jié)點(diǎn)坐標(biāo)，算出二維平面內(nèi)t 時(shí)刻的內(nèi)關(guān)節(jié)向量t)和(t)，再求出這兩個(gè)關(guān)節(jié)向量之間的夾角，最后得到左腕在t時(shí)刻的一個(gè)二維平面內(nèi)關(guān)節(jié)角的大小，圖2中17個(gè)關(guān)節(jié)角在3個(gè)二維平面內(nèi)的投影組成了關(guān)節(jié)角特征向量，把它作為對(duì)人體動(dòng)作第一層粗分類的特征。區(qū)分具有相同組合模式的人體動(dòng)作時(shí)，從運(yùn)動(dòng)學(xué)理論入手來(lái)進(jìn)行特征提取。一個(gè)完整的人體動(dòng)作可以分解為主動(dòng)作和輔動(dòng)作，主動(dòng)作反映了運(yùn)動(dòng)方式的全局狀態(tài)，輔動(dòng)作反映了運(yùn)動(dòng)方式的局部狀態(tài)，只有主輔動(dòng)作特征相結(jié)合，才能更加準(zhǔn)確地表達(dá)這個(gè)動(dòng)作。對(duì)于前面劃分的人體5大部分，分別構(gòu)建出它們?cè)谌S空間里內(nèi)的關(guān)節(jié)向量：

{3}表示在三維空間內(nèi)，t表示某一時(shí)刻，把手腳末端點(diǎn)容易產(chǎn)生漂移的關(guān)節(jié)點(diǎn)暫時(shí)舍去，最終5部分所有時(shí)刻在三維空間內(nèi)的肢體向量分別用GT{3}、AJ{3}、BK{3}、EP{3}、來(lái)表示。依據(jù)對(duì)人體動(dòng)作表達(dá)貢獻(xiàn)度的不同，從每部分選取兩個(gè)關(guān)節(jié)角，稱之為主動(dòng)作關(guān)節(jié)角。軀干部分選擇角θ4和角θ9，左臂部分選擇角θ3和角θ2，右臂部分選擇角θ6和角θ7，左腿部分選擇角θ12和角θ13，右腿部分選擇角θ15和角θ16，根據(jù)(1)式求出關(guān)節(jié)角在三維空間中的大小。前后時(shí)刻關(guān)節(jié)角的變化形成了角速度ω(t)=θ(t+1)-θ(t)。關(guān)節(jié)向量和主動(dòng)作關(guān)節(jié)角的角速度作為主動(dòng)作的特征，代表了人體四肢和軀干整體的運(yùn)動(dòng)情況。人體四肢和軀干的彎曲通過(guò)關(guān)節(jié)點(diǎn)之間距離的變化來(lái)體現(xiàn)，把人體從左視圖方向投影到Y(jié)OZ側(cè)平面內(nèi)，5部分骨骼關(guān)節(jié)點(diǎn)之間的距離為

式中：d(y,z)表示側(cè)平面內(nèi)兩個(gè)關(guān)節(jié)間的歐式距離，t 表示某一時(shí)刻。人體這5 部分首末關(guān)節(jié)點(diǎn)間的距離，反映了四肢和軀干在運(yùn)動(dòng)中彎曲的狀況。前后時(shí)刻距離的變化形成了速度v，加速度能描述人體運(yùn)動(dòng)變化快慢：

把側(cè)平面內(nèi)5部分關(guān)節(jié)間的距離和運(yùn)動(dòng)的加速度作為輔動(dòng)作的特征，5部分的加速度分別為?1,?2,?3,?4,?5。主動(dòng)作和輔動(dòng)作特征共同組成人體動(dòng)作第二層細(xì)分類的特征?？紤]到每個(gè)人的身高臂長(zhǎng)等不盡相同，即使兩個(gè)人做出一樣的動(dòng)作姿勢(shì)，也會(huì)產(chǎn)生一定的誤差，為了消除個(gè)體的差異性，分別把（2）式和（3）式中各項(xiàng)除以肩寬dAB和YOZ側(cè)平面內(nèi)關(guān)節(jié)間歐式距離的均值dˉ來(lái)標(biāo)準(zhǔn)化處理，即：

2 分類器選擇

對(duì)于分類器的選擇，是從分類器特性和運(yùn)動(dòng)特征角度出發(fā)的。支持向量機(jī)的本質(zhì)為特征空間內(nèi)間隔最大的線性分類器，學(xué)習(xí)策略是將問(wèn)題最終轉(zhuǎn)化為一個(gè)凸二次規(guī)劃問(wèn)題的求解，并使得兩類之間的間隔最大化。SVM憑借其出色的學(xué)習(xí)性能，成功地運(yùn)用于模式識(shí)別，特別是運(yùn)動(dòng)模式分類問(wèn)題。隱馬爾可夫模型的基本思想是用雙重隨機(jī)過(guò)程來(lái)描述一個(gè)模式，一個(gè)是Markov鏈，它描述的是狀態(tài)轉(zhuǎn)移，另一個(gè)是隨機(jī)過(guò)程，描述狀態(tài)和觀測(cè)值之間的對(duì)應(yīng)關(guān)系。人體動(dòng)作數(shù)據(jù)在時(shí)間上是連續(xù)的序列，適合用HMM來(lái)處理。

由于人體結(jié)構(gòu)和肢體動(dòng)作的復(fù)雜性，很多相似的人體動(dòng)作之間難以區(qū)分，所以在分類器的設(shè)計(jì)方面，采用雙層不同的分類器。第一層把相同部位參與的動(dòng)作分成一大類，采用支持向量機(jī)，把動(dòng)作粗分類為7大類。即在MSR Action 3D[16]數(shù)據(jù)集中，單臂的動(dòng)作共有11個(gè)作為第1大類，雙臂的動(dòng)作共有3個(gè)作為第2大類，單腿的動(dòng)作共有2個(gè)作為第3大類，其他動(dòng)作有4個(gè)，每個(gè)各作為一大類。第二層對(duì)第一類到第三類動(dòng)作再分類，選擇隱馬爾可夫模型，細(xì)分類出相似度較大的各種行為。完成了對(duì)MSR Action 3D數(shù)據(jù)集中的20個(gè)人體動(dòng)作的分類，具體如圖3所示。

3 實(shí)驗(yàn)結(jié)果和分析

本文實(shí)驗(yàn)軟硬件條件:Intel(R)Core(TM)i5-4210M CPU@2.60GHz,8 GB RAM，64位Windows操作系統(tǒng)，MATLAB R2017b。使用MSR Action 3D公開數(shù)據(jù)集，里面包含20種行為類別，一共567個(gè)樣本。該數(shù)據(jù)集的20種行為類別分別是高揮手、水平揮手、捶打、手抓、沖拳、高拋、畫叉、畫勾、畫圓、拍手、雙揮手、側(cè)拳、彎腰、向前踢、側(cè)踢、慢跑、網(wǎng)球揮拍、網(wǎng)球發(fā)球、高爾夫揮桿、撿起扔。標(biāo)記為a1～a20，如圖4所示。

圖3 雙層分類器模型

去除數(shù)據(jù)缺失的20個(gè)樣本，選取其中的547個(gè)樣本。交叉驗(yàn)證是一種統(tǒng)計(jì)學(xué)上將數(shù)據(jù)樣本切割分成較小子集的一種方法，用它的子集作為訓(xùn)練集和測(cè)試集來(lái)評(píng)估數(shù)據(jù)集的泛化能力。十折交叉驗(yàn)證是將數(shù)據(jù)集分成10份，輪流用9份訓(xùn)練和1份驗(yàn)證，把10次結(jié)果的均值作為對(duì)精度的估計(jì)。本文采用10次10折交叉驗(yàn)證，最后求其均值。把這20種動(dòng)作粗分類成7大類別。圖5是粗分類的混淆矩陣，水平坐標(biāo)軸x代表識(shí)別結(jié)果，垂直坐標(biāo)軸y代表動(dòng)作的真實(shí)標(biāo)簽。從混淆矩陣可以看出，對(duì)于7種類別行為的粗分類基本都是正確的。第1類由于都是手部比較相似的動(dòng)作，側(cè)拳動(dòng)作里也含有單手側(cè)拳和雙手側(cè)拳兩種行為，所以存在一定的識(shí)別誤差。

圖5 7種類別行為粗分類的混淆矩陣

圖6顯示了細(xì)分類的混淆矩陣，第一層分類的結(jié)果會(huì)直接影響第二層的識(shí)別率，總體來(lái)看，手抓，網(wǎng)球發(fā)球和高爾夫揮桿3種動(dòng)作分類識(shí)別率略低，其他動(dòng)作分類均正確。表1顯示了一些使用交叉驗(yàn)證的研究方法與本文研究方法的對(duì)比，通過(guò)在MSR Action 3D數(shù)據(jù)集上的識(shí)別率可以發(fā)現(xiàn)，本文的最高識(shí)別率第二，最低和平均識(shí)別率最高，比其他方法具有更好的穩(wěn)定性。

圖6 20種動(dòng)作細(xì)分類的混淆矩陣

表1 各種方法用MSR Action 3D數(shù)據(jù)集的識(shí)別率對(duì)比

續(xù)表1

4 結(jié)束語(yǔ)

本文提出了一種基于Kinect骨骼數(shù)據(jù)二維空間特征融合的人體動(dòng)作識(shí)別方法。該方法運(yùn)用人體結(jié)構(gòu)學(xué)和空間幾何學(xué)的思維來(lái)對(duì)人體結(jié)構(gòu)劃分和特征提取，通過(guò)分層把兩個(gè)空間維度的主動(dòng)作和輔動(dòng)作特征結(jié)合在一起，運(yùn)用支持向量機(jī)和隱馬爾科夫模型的機(jī)器學(xué)習(xí)方法進(jìn)行分類。實(shí)驗(yàn)結(jié)果和方法對(duì)比表明，本文方法能有效地識(shí)別不同的人體動(dòng)作姿勢(shì)，識(shí)別準(zhǔn)確率較高，魯棒性較強(qiáng)。