摘要： 人體動作姿態(tài)的識別是當(dāng)前的研究熱點(diǎn)，該文主要從人體動作姿態(tài)的分類和人體動作姿態(tài)識別的方法兩個(gè)方面進(jìn)行了介紹，并重點(diǎn)闡述了每種識別方法的研究進(jìn)展情況及其優(yōu)缺點(diǎn)，最后對當(dāng)前研究的難點(diǎn)問題以及未來的發(fā)展趨勢也進(jìn)行了較為深刻的闡述。

關(guān)鍵詞： 人體動作姿態(tài)識別； 人工智能； 隱馬爾可夫模型； 動態(tài)貝葉斯網(wǎng)絡(luò)； 模板匹配

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2013）01-0133-03

人體動作姿態(tài)識別是計(jì)算機(jī)視覺研究領(lǐng)域中最具挑戰(zhàn)的研究方向，是當(dāng)前的研究熱點(diǎn)。對人體動作姿態(tài)進(jìn)行自動識別將帶來一種全新的交互方式，通過身體語言即人體的姿態(tài)和動作來傳達(dá)用戶的意思，如在機(jī)場、工廠等喧鬧的環(huán)境下，采用手勢、動作姿態(tài)識別等人機(jī)交互技術(shù)能夠提供比語音識別更加準(zhǔn)確的信息輸入?？傊?，在智能監(jiān)控、虛擬現(xiàn)實(shí)、感知用戶接口以及基于內(nèi)容的視頻檢索等領(lǐng)域，人體動作姿態(tài)的識別均具有廣泛的應(yīng)用前景。該文首先簡單介紹了人體動作姿態(tài)的分類，然后對人體動作姿態(tài)識別的方法進(jìn)行了分類介紹，并對每種識別方法的研究進(jìn)展情況及其優(yōu)缺點(diǎn)進(jìn)行了重點(diǎn)介紹，最后闡述了人體動作姿態(tài)識別當(dāng)前的研究難點(diǎn)問題以及未來的發(fā)展趨勢，希望能對相關(guān)領(lǐng)域的研究人員有所裨益。

1 人體動作姿態(tài)的分類

人體的運(yùn)動涉及很多部位，包括人整個(gè)身體的運(yùn)動或某個(gè)部位的運(yùn)動，如手部運(yùn)動、腿部運(yùn)動或者頭部運(yùn)動，甚至人的表情、手勢等。這些運(yùn)動分別具有自己不同的特點(diǎn)和不同的復(fù)雜度，所用的研究方法也都不同。而針對人體簡單動作姿態(tài)的識別是當(dāng)前研究的一個(gè)熱點(diǎn)，也是本文討論的重點(diǎn)。人體運(yùn)動的識別可分為兩類：姿態(tài)識別和動作過程識別。

姿態(tài)識別的對象是靜態(tài)系統(tǒng)，主要是識別人體整體或者某一部位的姿勢。根據(jù)識別對象的不同，可分為手形識別、體勢識別、頭部姿態(tài)識別等。

動作過程識別是識別人體運(yùn)動的動態(tài)過程，比如人體的動作識別、步法識別以及手勢識別等。

2 人體動作姿態(tài)識別的方法

人體動作姿態(tài)的識別方法可分為三類：基于統(tǒng)計(jì)的方法、基于模板的方法和基于語法的方法。具體如圖1示。

2.1 基于統(tǒng)計(jì)的方法

基于統(tǒng)計(jì)的方法是動態(tài)識別系統(tǒng)中效果最好的方法，目前主要是隱馬爾可夫模型（HMMs）和動態(tài)貝葉斯網(wǎng)絡(luò)（DBN）兩種方法。

2.1.1 隱馬爾可夫模型

隱馬爾可夫模型是目前應(yīng)用最廣的一種方法。HMMs由狀態(tài)和觀測兩部分組成，是一種基于轉(zhuǎn)移概率和傳輸概率的隨機(jī)模型，系統(tǒng)當(dāng)前所處狀態(tài)的概率只與前一個(gè)時(shí)刻的狀態(tài)有關(guān)，與其它歷史狀態(tài)條件無關(guān)。在HMMs的識別過程中，首先提取出特征向量序列，然后通過學(xué)習(xí)算法進(jìn)行模型參數(shù)訓(xùn)練，最后對未知的運(yùn)動序列進(jìn)行識別分類。

Yamato等人[1]首次用HMMs進(jìn)行人體動作姿態(tài)的識別，之后又出現(xiàn)了HMMs的各種改進(jìn)模型并成為人體動作姿態(tài)識別的主流方法[2-4]。Brand等人[2]提出了耦合隱馬爾可夫模型（CHMM），并對手語進(jìn)行了識別。Nguyen[3]提出了分層隱馬爾可夫模型（HHMMs），HHMMs具有多層隱馬爾可夫模型的結(jié)構(gòu)，能夠清楚地表達(dá)出人體運(yùn)動中的行為細(xì)節(jié)。Duong等人[4]提出了S-HSMM（Switching Hidden-semi Markov Model）模型，S-HSMM的識別性能高于HHMMs，但是算法復(fù)雜度較高。

上述各種隱馬爾可夫模型有兩個(gè)缺點(diǎn)：第一，由于HMMs只適合于描述單個(gè)運(yùn)動物體的系統(tǒng)，隨著運(yùn)動物體數(shù)目的增加，系統(tǒng)的狀態(tài)數(shù)目以及HMM模型中的狀態(tài)轉(zhuǎn)移矩陣和觀測模型的參數(shù)都呈指數(shù)增長，極大地增加了系統(tǒng)的計(jì)算復(fù)雜度，這樣，HMMs的應(yīng)用范圍就有很大的局限性；第二，HMMs模型無法進(jìn)行信息的有效融合，由此導(dǎo)致參數(shù)誤差的相互疊加，進(jìn)而無法保證模型參數(shù)的精確度。

2.1.2 動態(tài)貝葉斯網(wǎng)絡(luò)

動態(tài)貝葉斯網(wǎng)絡(luò)（DBN）是近年發(fā)展起來的統(tǒng)計(jì)模型，能夠?qū)W習(xí)變量間的概率依存關(guān)系及其隨時(shí)間變化的規(guī)律，具有很好的可擴(kuò)展性和可解釋性，對于多信息融合推理、多物體動態(tài)系統(tǒng)識別非常有效，是人體動作姿態(tài)識別今后發(fā)展的方向。

在動態(tài)識別過程中，DBN可以針對具體問題設(shè)計(jì)出相應(yīng)的網(wǎng)絡(luò)結(jié)構(gòu)，而且可以將各種信息進(jìn)行融合推理，同時(shí)為了使信息的配置更加優(yōu)化，還可以對各種不同信息根據(jù)其來源、置信度等設(shè)置不同的權(quán)重。因此不少學(xué)者已經(jīng)開始了這個(gè)方向的研究，將其用于人體動作姿態(tài)的識別，并取得了一定的成就[5-6]。而且，也有部分學(xué)者將HMM和動態(tài)貝葉斯網(wǎng)絡(luò)兩者結(jié)合起來，高效地進(jìn)行人體動作姿態(tài)的建模和識別[7-8]。

但是，目前動態(tài)貝葉斯網(wǎng)絡(luò)在人體動作姿態(tài)識別中的應(yīng)用并不是很多，也還不夠深入，主要原因有：

1）動態(tài)貝葉斯網(wǎng)絡(luò)主要應(yīng)用于識別多個(gè)物體的動態(tài)系統(tǒng)，而這樣的系統(tǒng)需要大量的特征參數(shù)，所以動態(tài)貝葉斯網(wǎng)絡(luò)的方法計(jì)算量較大，復(fù)雜度較高。

2）對目前主流的簡單環(huán)境中人體規(guī)范動作姿態(tài)的識別，HMMs等方法已經(jīng)可以勝任，達(dá)到較好的效果。

2.2 基于模板的方法

基于模板的方法主要是模板匹配法、動態(tài)時(shí)空規(guī)整法和動態(tài)規(guī)劃法。

模板匹配法的思想是首先對人體動作姿態(tài)進(jìn)行訓(xùn)練建立模板庫，然后將待識別的動作姿態(tài)與模板進(jìn)行匹配，計(jì)算二者之間的相似度，如文獻(xiàn)[9]。模板匹配法的優(yōu)點(diǎn)是實(shí)現(xiàn)起來比較簡單、計(jì)算復(fù)雜度較低，缺點(diǎn)是對噪聲和動作姿態(tài)持續(xù)時(shí)間的變化比較敏感。

動態(tài)時(shí)空規(guī)整法是一種非線性時(shí)間規(guī)整方法，它是將待識別的人體動作姿態(tài)模板的時(shí)間軸非線性地映射到訓(xùn)練模板的時(shí)間軸上，從而能夠使兩者的距離最小，如文獻(xiàn)[10]。動態(tài)時(shí)空規(guī)整法較好地解決了人體動作姿態(tài)在時(shí)間尺度上的不確定性。

在動態(tài)規(guī)劃算法的識別過程中，待識別樣本模板中的每個(gè)時(shí)刻特征可以與特征模板中的任意時(shí)刻特征進(jìn)行匹配，二者都無須進(jìn)行時(shí)間規(guī)整，但要求必須順序進(jìn)行，如文獻(xiàn)[11]。動態(tài)規(guī)劃算法的主要缺點(diǎn)是計(jì)算量會隨著訓(xùn)練樣本數(shù)目的增加而增加。

2.3 基于語法的方法

基于語法的方法主要是有限狀態(tài)機(jī) [12]以及上下文無關(guān)的文法 [13]等。當(dāng)前已有不少學(xué)者開始了這個(gè)方面的研究，用自然語言對人體動作姿態(tài)進(jìn)行描述是未來的發(fā)展趨勢。

但是，對圖像序列中的人體動作姿態(tài)進(jìn)行描述是非常復(fù)雜的，而且對事件、行為、狀態(tài)這些概念還存在著不同的理解，如何對場景內(nèi)容進(jìn)行充分有效的表達(dá)還是非常困難的。目前對人體動作姿態(tài)的描述還僅限于簡單的語義解釋，對復(fù)雜場景中人體動作姿態(tài)的語義描述工作還相當(dāng)?shù)钠D巨。

3 難點(diǎn)與發(fā)展趨勢

近年來，人體動作姿態(tài)的識別研究已經(jīng)取得了非常重要的成果，展現(xiàn)出了良好的發(fā)展前景。但下述幾個(gè)方面仍是今后研究的難點(diǎn)問題：

人體動作類別的限制。目前人體動作姿態(tài)識別的研究主要還是集中在簡單的人體動作姿態(tài)上，如人的某些標(biāo)準(zhǔn)姿勢和一些簡單的動作行為，如走、跑、蹲、站等簡單規(guī)范的動作，而且，識別的對象通常是針對單個(gè)人體的運(yùn)動。所以，如何針對在復(fù)雜場景下的多個(gè)人之間的交互動作行為進(jìn)行識別，是未來的一個(gè)發(fā)展趨勢。

特征選擇的困難。特征向量的選擇非常關(guān)鍵，直接影響到所采用的識別方法以及識別性能。如果選取過多的特征，特征向量維數(shù)就會過大，相應(yīng)地就會增加計(jì)算的復(fù)雜度，相反，如果選取的特征過少，又可能無法獲取較高的識別準(zhǔn)確率。因此必須在選取合適的特征和獲取較高的識別準(zhǔn)確率之間進(jìn)行折中權(quán)衡。

機(jī)器學(xué)習(xí)的局限性。利用機(jī)器學(xué)習(xí)工具進(jìn)行人體動作行為的識別取得了一定的進(jìn)展，但仍然還處于初級階段，在識別過程中對人體運(yùn)動的模型需要增加約束條件來減少歧義性，而這些約束條件與一般的現(xiàn)實(shí)情形通常是不吻合的。而且，機(jī)器學(xué)習(xí)的方法要求廣泛的訓(xùn)練，即每個(gè)動作姿態(tài)都需要經(jīng)過大量的訓(xùn)練才能識別，因此，機(jī)器學(xué)習(xí)方法只能識別一些預(yù)先定義的動作集，沒有學(xué)習(xí)新動作的能力。因此機(jī)器學(xué)習(xí)仍是人體動作行為識別的一個(gè)難點(diǎn)問題。

識別算法的性能評價(jià)。魯棒性、實(shí)時(shí)性以及準(zhǔn)確率是衡量一個(gè)算法性能的三個(gè)重要指標(biāo)。在當(dāng)前研究工作中，準(zhǔn)確率是最受關(guān)注的，而另外兩個(gè)指標(biāo)關(guān)注較少，特別是算法的魯棒性。但算法的魯棒性和實(shí)時(shí)性是實(shí)際應(yīng)用中必須考慮的問題，因此，在衡量一個(gè)算法的性能時(shí)，必須對這個(gè)三個(gè)方面進(jìn)行綜合考慮。因此，在考慮某個(gè)具體應(yīng)用時(shí)，需要開發(fā)新技術(shù)既能提高識別的性能，同時(shí)又可以降低算法的計(jì)算復(fù)雜度。

4 結(jié)束語

人體動作姿態(tài)識別本質(zhì)上是一個(gè)人工智能問題，在智能監(jiān)控、虛擬現(xiàn)實(shí)以及感知用戶接口等領(lǐng)域具有廣泛的應(yīng)用前景。該文簡單介紹了人體動作姿態(tài)的分類和人體動作姿態(tài)識別的方法，并對各種識別方法的研究進(jìn)展情況以及優(yōu)缺點(diǎn)進(jìn)行了詳細(xì)介紹，最后對當(dāng)前的研究難點(diǎn)和未來的發(fā)展趨勢做了詳細(xì)闡述，希望能對相關(guān)領(lǐng)域的研究人員有所裨益。

參考文獻(xiàn)：

[1] Yamato J，Ohya J，Ishii K.Recognizing human action in time sequential images using Hidden Markov model [A].In Proc CVPR[C]，IEEE，1992：379-385.

[2] Brand M，Oliver N， Pentland A. Coupled hidden markov models for complex action recognition [A].In Proc CVPR [C] .USA ：IEEE Computer Society Press，1997：994-999.

[3] Nguyen N T，Phung D Q，Venkatesh S，et al. Learning and detecting activities from movement trajectories using the hierachical hidden Markov model [A]. In Proc CVPR[C]. San Diego： IEEE Computer Society Press，2005：955-960.

[4] Duong T V，Bui H H， Phung D Q， et al. Activity recognition and abnormality detection with the switching hidden semi-Markov model [A]. In Proc CVPR[C].San Diego： IEEE Computer Society Press，2005：838-845.

[5] Luo Y，Wu T D， Hwang J N. Object-based analysis and interpretation of human motion in sports video sequences by dynamic Bayesian networks[J].CVIU，2003，92（2）：196-216.

[6] Gong S，Xiang T.Recognition of group activities using dynamic probabilistic networks [A]. In Proc ICCV [C].Washington： IEEE Computer Society Press，2003：742-749.

[7]Oliver N， Horvitz E. A comparison of HMMs and dynamic Bayesian networks for recognizing office activities [J] . Lecture Notes in Artificial Intelligence， 2005： 199-209

[8] N. Robertson， I. Reid. Behaviour understanding in video： a combined method. In： Internatinal Conference on Computer Vision， 2005：15-21.

[9] 謝林海，劉相濱.基于不變矩特征和神經(jīng)網(wǎng)絡(luò)的步態(tài)識別[J].微計(jì)算機(jī)信息，2007，23（7-1）：279-281.

[10] Bobick A F， Wilson A D. A state-based approach to the representation and recognition of gesture [J] .IEEE Trans PAMI，1997，19（12）：1325-1337.

[11] Bobick A F， Andy Wilson. Using configuration states for the representation and recognition of gestures. MIT Media Lab Perceptual Computing Section Technical Report， No. 308， 1995.

[12] Pengyu Hong，Turk M， Huang T.S.Constructing finite state machines for fast gesture recognition. Proceedings of 15th International Conference on Pattern Recognition， 2000， 3： 691-694.

[13] Yamamoto M， Mitomi H，F(xiàn)ujiwara F， et al.Bayesian classi?cation of task-oriented actions based on stochastic context-free grammar. In： International Conference on Automatic Face and Gesture Recognition， Southampton， UK， April 10-12，2006.