楊寧學(xué) 李艷萍

（西南交通大學(xué)軟件學(xué)院，四川成都，610031）

0 引言

人體運(yùn)動(dòng)分析指的是在不需要人為干預(yù)的情況下，綜合利用計(jì)算機(jī)視覺(jué)、模式識(shí)別、圖像處理、人工智能等諸多方面的知識(shí)和技術(shù)，運(yùn)用某種手段跟蹤、捕捉人體的運(yùn)動(dòng)，獲得人體的運(yùn)動(dòng)參數(shù)并從運(yùn)動(dòng)中重建人體的結(jié)構(gòu)和姿態(tài)。人體運(yùn)動(dòng)分析的最終目的是達(dá)到對(duì)人體運(yùn)動(dòng)的理解并加以應(yīng)用。人體運(yùn)動(dòng)分析主要應(yīng)用在智能監(jiān)控、虛擬現(xiàn)實(shí)、感知接口、運(yùn)動(dòng)分析以及基于模型的視頻編碼等領(lǐng)域。人體運(yùn)動(dòng)分析的首要任務(wù)和基本問(wèn)題是獲取人體的運(yùn)動(dòng)參數(shù)，而運(yùn)動(dòng)參數(shù)的獲取有多種方法。如采用專(zhuān)用的機(jī)械裝置或電子裝置等。就廣義而言，人體運(yùn)動(dòng)分析的研究對(duì)象既可以是以人臉、唇、手勢(shì)等為代表的較小尺度的局部人體運(yùn)動(dòng)；也可以是手臂、腿部或全身等大尺度的全身或肢體運(yùn)動(dòng)。

隨著社會(huì)、經(jīng)濟(jì)和技術(shù)的高速發(fā)展，人類(lèi)社會(huì)在經(jīng)歷了早期的農(nóng)業(yè)經(jīng)濟(jì)、工業(yè)經(jīng)濟(jì)時(shí)代之后，正以驚人的速度從“服務(wù)經(jīng)濟(jì)”向“體驗(yàn)經(jīng)濟(jì)”演進(jìn)。人們對(duì)娛樂(lè)的需求，特別是對(duì)數(shù)字化娛樂(lè)內(nèi)容的需求，極大地推動(dòng)數(shù)字娛樂(lè)產(chǎn)業(yè)的迅速崛起。游戲作為數(shù)字娛樂(lè)的一種主要形式正在以驚人的速度向前發(fā)展，其形式也正在從“參與型”向“體驗(yàn)型”轉(zhuǎn)換，玩家通過(guò)鼠標(biāo)鍵盤(pán)進(jìn)行交互的方式，其娛樂(lè)性會(huì)受到極大的限制，而本文提及的人體運(yùn)動(dòng)分析則可以將人體的動(dòng)作、表情等信息通過(guò)獲取、處理和分析之后將其轉(zhuǎn)換為電腦可以理解的信號(hào)傳入游戲場(chǎng)景，并作為游戲場(chǎng)景中的一部分內(nèi)容參與控制玩家角色，從而極大的增強(qiáng)游戲的娛樂(lè)性和沉浸感?；诨ヂ?lián)網(wǎng)絡(luò)的交互式空間的開(kāi)發(fā)剛剛起步，如虛擬聊天室，它在通過(guò)文本交流的同時(shí)可以通過(guò)二維圖標(biāo)來(lái)導(dǎo)航用戶(hù)，如果增加手勢(shì)、頭的姿勢(shì)、面部表情等線(xiàn)索，將會(huì)給參與者們提供更加豐富的交互形式；另外，人的運(yùn)動(dòng)分析在視頻會(huì)議、人物動(dòng)畫(huà)、虛擬工作室等其它虛擬現(xiàn)實(shí)場(chǎng)合也有著相當(dāng)廣泛的應(yīng)用。

本文利用視頻信息來(lái)對(duì)人體局部運(yùn)動(dòng)進(jìn)行獲取、處理和分析，通過(guò)在單一視頻中，跟蹤人體的運(yùn)動(dòng)，提取人體的運(yùn)動(dòng)參數(shù)，并加上時(shí)間參數(shù)使之形成運(yùn)動(dòng)曲線(xiàn)，從而控制三維場(chǎng)景中特定物體的運(yùn)動(dòng)，實(shí)現(xiàn)互動(dòng)娛樂(lè)的效果，增強(qiáng)娛樂(lè)性和交互性。

1 運(yùn)動(dòng)分割

運(yùn)動(dòng)分割的目的是從視頻圖像序列中將變化的區(qū)域從背景圖像中提取出來(lái)。通常情況下，背景是靜止的，但是由于背景圖像的動(dòng)態(tài)變化，如天氣、光照、陰影以及其他噪聲等的影響，使得運(yùn)動(dòng)分割成為一項(xiàng)相當(dāng)困難的工作。

運(yùn)動(dòng)分割可以分為運(yùn)動(dòng)背景和靜止背景下運(yùn)動(dòng)目標(biāo)的檢測(cè)和提取。運(yùn)動(dòng)背景通常指攝像機(jī)隨著運(yùn)動(dòng)物體運(yùn)動(dòng)從而使得圖像背景也產(chǎn)生相應(yīng)的運(yùn)動(dòng)；靜止背景通常指攝像機(jī)固定不動(dòng)，視頻圖像中除了運(yùn)動(dòng)的物體在視頻圖像中存在位移之外，其余部分相對(duì)靜止。本文將研究靜止背景下的運(yùn)動(dòng)目標(biāo)檢測(cè)和提取。靜止背景下運(yùn)動(dòng)物體的檢測(cè)主要有背景差法、幀差法和光流法。

背景差法是目前靜止背景下運(yùn)動(dòng)分割中最常用的一種方法，它是利用當(dāng)前圖像與背景圖像的逐象素的灰度差通過(guò)設(shè)置閾值來(lái)檢測(cè)出運(yùn)動(dòng)區(qū)域的一種技術(shù)。采用背景差法來(lái)檢測(cè)前景時(shí)，需要解決的首要問(wèn)題是獲取背景圖像。一方面可以人為給定若干背景圖像，然后通過(guò)求平均值來(lái)獲取背景圖像，或者通過(guò)圖像訓(xùn)練集的中值圖像或者混合高斯模型等方法來(lái)獲取背景圖像。這類(lèi)方法的優(yōu)點(diǎn)在于對(duì)復(fù)雜背景的情況效果較好，它一般能夠提供最完全的特征數(shù)據(jù)，但對(duì)于動(dòng)態(tài)場(chǎng)景的變化，如光照和外來(lái)無(wú)關(guān)事件的干擾等特別敏感。

背景差法可以用如下的算法流程進(jìn)行描述:

1、背景估計(jì)值B(0)（通常取圖像第1 幀）

3、對(duì)于以后的每一幀F(xiàn)，減去B(n+1),即可獲得運(yùn)動(dòng)物體的區(qū)域。

在實(shí)驗(yàn)中，本文采用了預(yù)先拍攝一段無(wú)人的視頻，接著人再進(jìn)入做運(yùn)動(dòng)（如圖1 所示），這樣在無(wú)人區(qū)域時(shí)間段內(nèi)，采用大的加權(quán)值，然后在人體進(jìn)入后采用小的加權(quán)值，這樣背景的估計(jì)就較為準(zhǔn)確了。

圖1 背景差實(shí)驗(yàn)

這類(lèi)方法的優(yōu)點(diǎn)在于對(duì)復(fù)雜背景的情況效果較好，它一般能夠提供最完全的特征數(shù)據(jù)，但對(duì)于動(dòng)態(tài)場(chǎng)景的變化，如光照和外來(lái)無(wú)關(guān)事件的干擾等特別敏感。

幀差法是在連續(xù)的圖像序列中，在相鄰兩幀間計(jì)算逐象素的灰度差，并通過(guò)設(shè)置閾值來(lái)確定對(duì)應(yīng)運(yùn)動(dòng)前景的象素，進(jìn)而得到運(yùn)動(dòng)前景區(qū)域。Lipton 等利用雙幀差進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)，進(jìn)而用于目標(biāo)的分類(lèi)與跟蹤。

理想情況下，如果相減后差值為零。則認(rèn)為該點(diǎn)屬于靜止背景，反之則屬于運(yùn)動(dòng)物體區(qū)域。在實(shí)際情況中由于存在噪聲等多種外來(lái)因素的干擾，只根據(jù)差值是否為零還不能確定該點(diǎn)的變化情況，可以通過(guò)設(shè)置閾值來(lái)分離運(yùn)動(dòng)目標(biāo)和背景。

這種方法的突出特點(diǎn)是實(shí)現(xiàn)簡(jiǎn)單、運(yùn)算速度快。而且由于相鄰幀間環(huán)境亮度變化很小，幀間差分法受光照變化影響較小。

一個(gè)改進(jìn)的方法是利用三幀差分代替兩幀差分，如VSAM 開(kāi)發(fā)了一種自適應(yīng)背景減除與三幀差分相結(jié)合的混合算法，它能夠快速有效地從背景中檢測(cè)出運(yùn)動(dòng)目標(biāo)。

幀差法對(duì)于動(dòng)態(tài)環(huán)境具有較強(qiáng)的自適應(yīng)性，但一般不能完全提取出所有相關(guān)的特征像素點(diǎn)，在運(yùn)動(dòng)實(shí)體內(nèi)部容易產(chǎn)生空洞現(xiàn)象，特別是對(duì)運(yùn)動(dòng)速度過(guò)慢的物體，不利于進(jìn)一步的對(duì)象分析和識(shí)別。

基于光流方法的運(yùn)動(dòng)檢測(cè)采用了運(yùn)動(dòng)目標(biāo)隨時(shí)間變化的光流特性。光流法除了可以檢測(cè)靜止背景下的運(yùn)動(dòng)目標(biāo)之外，還可以檢測(cè)運(yùn)動(dòng)背景下的運(yùn)動(dòng)目標(biāo)。

由于光流表達(dá)了圖像的變化，包含了目標(biāo)一定的運(yùn)動(dòng)信息，因此通過(guò)計(jì)算光流場(chǎng)可以從圖像中近似計(jì)算不能直接得到的運(yùn)動(dòng)場(chǎng)。1981年，Horn 和Schunck 創(chuàng)造性地將二維速度場(chǎng)與灰度相聯(lián)系，引入光流約束方程，得到光流的基本算法。目前，比較流行的光流計(jì)算方法有基于匹配的方法、基于梯度的方法、基于相位的方法、基于能量的方法和神經(jīng)動(dòng)力學(xué)方法。其中最常用的是基于梯度的方法——Lucas-Kanade 方法。

通過(guò)給定特征點(diǎn)的初始位置和兩幅連續(xù)的圖像幀，利用上述等式就可以用來(lái)解決該特征點(diǎn)的大致位移。

光流法計(jì)算復(fù)雜，實(shí)用性較差，對(duì)背景噪聲非常敏感。

本文通過(guò)實(shí)驗(yàn)將背景差法、改進(jìn)幀差法和光流法進(jìn)行了比較，結(jié)果如圖2 所示。由比較結(jié)果可知，背景差發(fā)和改進(jìn)幀差法提取結(jié)果比較理想，光流法提取結(jié)果較差。

圖2 幾種方法比較

2 運(yùn)動(dòng)特征提取

通過(guò)上述介紹的運(yùn)動(dòng)分割方法將運(yùn)動(dòng)人體從背景中提取出來(lái)之后，由于提取的運(yùn)動(dòng)人體具有一定的體積，不便于描述人體的運(yùn)動(dòng)，因此可以將運(yùn)動(dòng)人體抽象成一個(gè)沒(méi)有體積的點(diǎn)，用這點(diǎn)來(lái)描述人體的運(yùn)動(dòng)，即所謂的特征點(diǎn)。特征點(diǎn)的選取方式有多種，如質(zhì)心、最高點(diǎn)、最低點(diǎn)、最小包圍盒的中心等等，本文選取包圍盒上邊的中點(diǎn)（如圖3 所示）作為頭部運(yùn)動(dòng)的特征點(diǎn)來(lái)描述人體頭部運(yùn)動(dòng)。在單一視頻中，運(yùn)動(dòng)可以分解為x 方向的運(yùn)動(dòng)和y 方向的運(yùn)動(dòng)，將此兩方向的運(yùn)動(dòng)分別繪制在時(shí)間軸上，便形成了特征點(diǎn)在兩個(gè)方向上的運(yùn)動(dòng)軌跡，如圖4 所示。

圖4 特征點(diǎn)在隨時(shí)間發(fā)生的位移變化

3 三維互動(dòng)娛樂(lè)場(chǎng)景

將人體運(yùn)動(dòng)特征提取出來(lái)之后，就可以用來(lái)控制三維互動(dòng)娛樂(lè)場(chǎng)景中的相應(yīng)對(duì)象，使之產(chǎn)生與研究目標(biāo)一致的運(yùn)動(dòng)，從而達(dá)到互動(dòng)娛樂(lè)的效果。由于人體運(yùn)動(dòng)分析和三維互動(dòng)娛樂(lè)場(chǎng)景屬于兩個(gè)相對(duì)獨(dú)立的內(nèi)容，按照面向?qū)ο蟪绦蛟O(shè)計(jì)思想，即高內(nèi)聚，松耦合的設(shè)計(jì)原則，本文在人體運(yùn)動(dòng)分析和三維互動(dòng)娛樂(lè)場(chǎng)景之間加入了一個(gè)數(shù)據(jù)池，如圖5 所示。兩者通過(guò)共享數(shù)據(jù)池中的數(shù)據(jù)來(lái)實(shí)現(xiàn)數(shù)據(jù)共享。

圖5 互動(dòng)娛樂(lè)系統(tǒng)結(jié)構(gòu)圖

圖6 場(chǎng)景節(jié)點(diǎn)及場(chǎng)景元素結(jié)構(gòu)示意圖

為了構(gòu)建一個(gè)通用的三維互動(dòng)娛樂(lè)場(chǎng)景以適應(yīng)更廣泛的互動(dòng)娛樂(lè)場(chǎng)景開(kāi)發(fā)，將現(xiàn)實(shí)世界中的場(chǎng)景劃分成抽象的不同空間，不同空間中還可以劃分成不同的小空間，每個(gè)空間由一個(gè)場(chǎng)景節(jié)點(diǎn)(SceneNode)對(duì)象來(lái)管理，如圖6所示為場(chǎng)景節(jié)點(diǎn)關(guān)系示意圖，場(chǎng)景節(jié)點(diǎn)的具體組織結(jié)構(gòu)關(guān)系視各個(gè)場(chǎng)景具體情況而定。場(chǎng)景節(jié)點(diǎn)將負(fù)責(zé)處理移動(dòng)、旋轉(zhuǎn)和縮放等與空間相關(guān)的行為。在每個(gè)場(chǎng)景節(jié)點(diǎn)上可以?huà)旖痈鞣N場(chǎng)景元素（如Entity、Light、Camera 等），場(chǎng)景元素本身并不負(fù)責(zé)與空間位置相關(guān)的行為，這些與空間位置相關(guān)的行為全部交給場(chǎng)景節(jié)點(diǎn)來(lái)處理。大量的場(chǎng)景節(jié)點(diǎn)按照空間的劃分層次組織成樹(shù)狀結(jié)構(gòu)，從而完成對(duì)整個(gè)場(chǎng)景的有序組織。本文為了通過(guò)在室內(nèi)構(gòu)建球、球板這樣一個(gè)簡(jiǎn)單的互動(dòng)場(chǎng)景來(lái)說(shuō)明互動(dòng)娛樂(lè)的整個(gè)過(guò)程，其空間組織結(jié)構(gòu)如圖7 所示。

圖7 互動(dòng)娛樂(lè)場(chǎng)景中場(chǎng)景元素組織結(jié)構(gòu)

圖8 三維互動(dòng)娛樂(lè)場(chǎng)景

互動(dòng)娛樂(lè)場(chǎng)景通過(guò)輪詢(xún)的方式檢查是否有新的數(shù)據(jù)產(chǎn)生，當(dāng)產(chǎn)生新的數(shù)據(jù)，該新數(shù)據(jù)便可用于控制場(chǎng)景節(jié)點(diǎn)RacketNode，使之與人體運(yùn)動(dòng)軌跡保持一致；球節(jié)點(diǎn)BallNode 的運(yùn)動(dòng)方式為自由落體運(yùn)動(dòng)，初速度設(shè)為0，球在重力作用下往下掉，當(dāng)與球板接觸時(shí)，兩者發(fā)生碰撞，根據(jù)物體碰撞過(guò)程中的能量守恒定律(設(shè)為剛性碰撞），可求得球碰撞后的速度，如此往復(fù)產(chǎn)生互動(dòng)娛樂(lè)效果。軟件運(yùn)行結(jié)果如圖8 所示。

4 結(jié)束語(yǔ)

本文通過(guò)研究單一視頻的人體運(yùn)動(dòng)分析，并將取得的運(yùn)動(dòng)特征數(shù)據(jù)用于控制三維互動(dòng)娛樂(lè)場(chǎng)景中的目標(biāo)元素使之產(chǎn)生相似的運(yùn)動(dòng)，由于單一視頻獲取的是平面運(yùn)動(dòng)，因此其運(yùn)動(dòng)數(shù)據(jù)只能使三維場(chǎng)景中的目標(biāo)元素產(chǎn)生平面運(yùn)動(dòng)，如果要使其能控制目標(biāo)元素產(chǎn)生三維空間運(yùn)動(dòng)，則需要獲取人體運(yùn)動(dòng)的空間特征數(shù)據(jù)，可以通過(guò)雙視頻的方式解決。

[1]王亮,胡衛(wèi)明,譚鐵牛.人運(yùn)動(dòng)的視覺(jué)分析綜述[J].計(jì)算機(jī)學(xué)報(bào),2002,25 (3) :2252237.

[2] Collins R,Lipton A and Kanade T.Introduction to the special section on video surveillance[J].IEEE Trans Pattern Analysis and Machine Intelligence,2000,22 (8):745-746.

[3]10 Maybank S and Tan T.Introduction——special section on visual surveillance[J].International Journal of Computer Vision,2000,37 (2):173-173.

[4]Turk M.Visual interaction with lifelike characters[C].In:Proc IEEE International Conference on Automatic Face and Gesture Recognition,Killington,Vermont USA,1996,368-373.

[5]鄭江濱,趙榮椿.慢運(yùn)動(dòng)背景下運(yùn)動(dòng)目標(biāo)提取算法[J].計(jì)算機(jī)應(yīng)用研究.第25 卷第7 期 2008.2185～2186,2218

[6]欒慶磊,陳正偉,何勇.一種運(yùn)動(dòng)背景下移動(dòng)目標(biāo)的檢測(cè)方法[J].計(jì)算機(jī)與數(shù)字工程.總第228 期 2008年第10期.165～169

[7]侯一民,郭雷,倫向敏.運(yùn)動(dòng)背景下基于粒子濾波的目標(biāo)跟蹤[J].計(jì)算機(jī)工程與應(yīng)用.2007,43(8).62～64,102.

[8]徐秋平,郭敏.靜止背景下基于圖割的運(yùn)動(dòng)目標(biāo)檢測(cè)算法[J].計(jì)算機(jī)工程與應(yīng)用.2008，44(32).186～188,219

[9]I.Haritaoglu,D.Harwood and L.Davis.W4:Real-T i m e S u r v e i l l a n c e o f P e o p l e a n d T h e i r Activities[J],PAMI,vol.22,no.8,2000.

[10]Lipton A,Fujiyoshi H and Patil R.Moving target classification and tracking from real-time video[J].In:Proc IEEE Workshop on Applications of Computer Vision,Princeton,NJ,1998,8-14.

[11]Collins R et al.A system for video surveillance and monitoring:VSAM final report[C].Carnegie Mellon University,Technical Report:CMU-RITR-00-12,2000.

[12]B.Lucas and T.Kanade,An Iterative Image Registration Technique with an Application to Stereo Vision[C],Proceedings of the 7th International Joint Conference on Artificial Intelligence,pp.674-679,1981.