陳起陽　史佩倫　陳方園　熊國瑾

摘要：本文以交互式投影動態(tài)捕捉下的數(shù)據(jù)采集子系統(tǒng)為研究對象，首先分析了基于kinect下的動態(tài)捕捉、語音捕捉以及基于Kinect進(jìn)行圖像分割所使用的Mean Shift算法，然后建立了基于MAYA下的角色模型。

關(guān)鍵詞：交互式投影動態(tài)捕捉;kinect;算法

1基于 kinect 下的動態(tài)捕捉及語音捕捉

Kinect的構(gòu)成結(jié)構(gòu)是由三個鏡頭、四個內(nèi)置麥克風(fēng)構(gòu)造而成，中間結(jié)構(gòu)的鏡頭是RGB的彩色攝像機，它的作用是用來采集彩色圖像，而中間鏡頭的兩邊分別設(shè)有紅外線發(fā)射器和紅外線的CMOS的攝影機。Kinect工作原理是由將紅外線發(fā)射器投射近紅外光譜，然后照射到一些粗糙物體、或者穿透毛玻璃后，所在的光譜回發(fā)生扭曲，進(jìn)而會隨機的反射斑點，之后就會被CMOS攝影機所讀取。最后CMOS攝影機分析到的紅外光3譜并且讀取它們之后生成深度圖。而對于四個麥克風(fēng)，內(nèi)設(shè)數(shù)字的信號處理器DSP這樣的組件， 它們所將同時收錄聲音來源，之后進(jìn)行對比過濾，剔除背景噪音。

對于人體的骨骼動態(tài)捕捉，Kinect所測量的人體骨骼范圍為0.5m—4.5m，而幀數(shù)據(jù)則定為人體的25個關(guān)節(jié)點的集合數(shù)據(jù)，而幀數(shù)據(jù)中的每幀都包含了關(guān)節(jié)中的3D位置和所處的方向，而每秒掃描人體骨骼運動的幀數(shù)為30fps。

2基于Kinect進(jìn)行圖像分割所使用的Mean Shift算法

2.1 Kinect深度圖獲取方式及流程

對于Kinect的RGB彩色攝像機捕捉的彩色圖通過Mean Shift算法]對彩色圖進(jìn)行對于圖像的分割，之后通過散焦法對于分割的圖像進(jìn)行提取及融合，最后對于融合成的深度圖進(jìn)行一個三邊濾波。散焦法對于分割成的單幅圖進(jìn)行提取方式：首先通過邊緣點處的LOG濾波響應(yīng)的正負(fù)處的雙峰間距計算出散焦的模糊參數(shù)從而獲得了邊緣點處的深度值，最后可以使用matting Laplacian的插值從而生成稠密的深度圖。最后可以將散焦法形成的稠密深度圖和RGB彩色攝像機捕捉到的深度圖進(jìn)行一個融合，達(dá)到最終的目的。通過Mean Shift算法所得的深色圖的質(zhì)量遠(yuǎn)超過通過Kinect所捕捉到的深色圖。

優(yōu)先使用散焦法，將Mean Shift算法分割成的深色圖通過散焦法提取深度D2（X，Y）;

將Kinect所捕捉到的深度圖D1（X，Y）與Mean Shift算法分割成的D2（X，Y）進(jìn)行融合，從而生成一個圖像的質(zhì)量較好的融合型深度圖D3（X，Y）;

對于D1（X，Y）和D2（X，Y）融合成的深度圖Dy（X，Y）進(jìn)行三邊濾波。

2.2 Mean Shift 算法圖像分割具體步驟及特征

第一、對于kinect的RGB彩色攝像機所捕捉到的彩色圖轉(zhuǎn)換到LUV色彩空間并且之后使用Mean Shift算法將彩色圖像進(jìn)行分割并將分成c個區(qū)域p1、p2、p3……pc，之中c為通過Mean Shift算法進(jìn)行圖像分割所產(chǎn)生的區(qū)域數(shù)目總和，也可將其稱之為類別數(shù)。

第二、我們將通過散焦法將分割成的c個區(qū)域進(jìn)行深度提取，首先將分割成的區(qū)域的彩色圖進(jìn)行一個轉(zhuǎn)化成為灰度圖，之后使用Canny算子方法進(jìn)行檢測灰度圖的邊緣，并且計算LOG的濾波響應(yīng)，之后通過邊緣處的邊緣點處的LOG濾波的響應(yīng)的正負(fù)雙峰之間的距離進(jìn)行計算從而得到散焦的模糊參數(shù)，最后通過模糊參數(shù)可以進(jìn)而得到邊緣點處的 深度值，這樣我們就可以最后的到分割成的稀疏的深度圖。

第三、我們可以將邊緣處的分割成的稀疏深度圖（包含深度值）通過matting

Laplacian的插值從而生成稠密的深度圖。

第四、對于分割成的稠密深度圖進(jìn)行一個權(quán)值的深度圖像的融合。具體方式：通過對于分割區(qū)域中p1、p2、p3……pc 等進(jìn)行像素級的一個加權(quán)融合，可以根據(jù)此區(qū)域的產(chǎn)生的灰度值的方差和此區(qū)域處的像素到邊緣處像素的距離計算出稠密深度圖所要融合的一個權(quán)值。

第五、我們將對已經(jīng)通過權(quán)值融合好的深度圖進(jìn)行一個三邊濾波，而所謂的三邊濾波則是包括表征的三維空間距離、所呈現(xiàn)的顏色值得差異性以及深度值的差異化。

首先我們將Kinect的RGB所捕捉到的色彩圖轉(zhuǎn)化為LUV的色彩空間，而其中的L*則表示為亮度，其中所取值的區(qū)間為00到100間，而其中的V*則表示為色彩的飽和度，其中的的取值的范圍為-100到100區(qū)間，而將Kinect中的RGB色彩圖動態(tài)捕捉圖轉(zhuǎn)換為LUV空間化的轉(zhuǎn)換的公式：

通過由上式可以通過色彩圖坐標(biāo)（R，G，B）從而計算出LUV的彩色空間（L*，U*，V*）坐標(biāo)值，之后我們進(jìn)行將每個圖之中的坐標(biāo)以及色彩的信息成為一個增廣向量，即x（xs，xr），此外空間的坐標(biāo)xs（x，y），而色彩的信息則為xr（l*，u*，v*），從而得到增廣的向量為x（x，y，l*，u*，v*）。

對于Mean Shift算法下的Mh（xt）而

對于計算公式中，t所代表的含義即為迭代的次數(shù)，而n則為落入到Sh中的像素的個數(shù);而其中的K h h 則為核函數(shù)，且它的定義為

在最后，Mean Shift算法當(dāng)結(jié)束時會一共呈現(xiàn)處c個類型的聚合，且對應(yīng)著Kinect中的RGB所捕捉到的色彩圖分割成的c個區(qū)域中的p1、p2、p3……pc。

2.3散焦法下的圖像深度提取

在對于通過Mean Shift算法分割成的區(qū)域進(jìn)行散焦法的深度提取，當(dāng)分割成的區(qū)域化的所捕捉的模型沒有聚焦點的時候，所通過RGB捕捉到的色彩圖就會產(chǎn)生模糊，之后我們可以根據(jù)物體到達(dá)聚焦的平面的所處距離不同，所產(chǎn)生的模糊程度也會因此而不同。通 過聚散法所產(chǎn)生的構(gòu)成原理則就是先

估算出散焦的模糊的參數(shù)，之后整合RGB捕捉的參數(shù)計算出圖像的深度值。

首先將通過Mean Shift算法分割成的散焦圖C（x，y）轉(zhuǎn)化成灰度的圖像I0（x，y），其中為散焦的參數(shù)。其下，將對于散焦參數(shù)的具體計算、通過matting?Laplacian插值生成稠密深度圖以及生成邊緣處的稀疏的深度圖。

2.4關(guān)于模擬下的Kinect所捕捉的骨骼運動及色彩圖、深度圖

3基于MAYA下的角色模型的建立

基于Kinect下的動態(tài)捕捉到的骨骼運動和深度圖片下，通過MAYA軟件進(jìn)角色模型的構(gòu)建，對于所構(gòu)建的模型，將在模型身體控制器上設(shè)置多個骨骼運動觸發(fā)點，設(shè)置多個 面部控制器，并且建立表情的修構(gòu)數(shù)據(jù)庫和角色模型數(shù)據(jù)庫。

3.1 MAYA下構(gòu)建角色模型及與Kinect的綁定方法

首先通過三維人體掃描儀進(jìn)行人體的掃描，之后再進(jìn)行等比例的縮小并且構(gòu)建虛擬化的三維數(shù)學(xué)模型，從而形成虛擬化的人體模型，在模型之中將包括多個身體控制器和多個面部控制器等，通過在身體模型上綁定骨骼運動系統(tǒng)，從而骨骼運動系統(tǒng)和身體控制器共 同的驅(qū)動者角色模型的動作。同理，我們所進(jìn)行的骨骼運動系統(tǒng)和面部控制器共同驅(qū)動角色模型的面部發(fā)生變化。對于模型的面部表情，我們將通過關(guān)鍵幀的設(shè)置，對模型產(chǎn)生的一些表情進(jìn)行修復(fù)化。其中具體的構(gòu)造方法如下：Q1：首先進(jìn)行三維人體的掃描及按比例構(gòu)造出人物模型，并且在于模型中設(shè)立多個控制器進(jìn)行身體以及面部的控制;Q2：在模型身上綁定骨骼系統(tǒng)，并且與身體控制器進(jìn)行實時綁定，并驅(qū)動身體動作的進(jìn)行和變化;Q2.1：將掃描到的人體骨骼導(dǎo)入到MAYA場景之中，并且調(diào)整每個身體關(guān)鍵的骨骼部位與身體的模型相對應(yīng)齊;Q2.2：根據(jù)客戶端所要求得指令，在模型上自動綁定一些動態(tài)骨骼運動;Q3：在模型身上綁定骨骼系統(tǒng)，并且與面部控制器進(jìn)行實時綁定，并驅(qū)動面部動作的進(jìn)行和變化;Q4：通過關(guān)鍵幀的設(shè)置，我們可以通過已經(jīng)形成的表情的數(shù)據(jù)庫和動作的數(shù)據(jù)庫將信息賦予到模型之中;Q4.1：通過 BlendShape[3]的變形處理將修復(fù)每個所需要的表情;Q4.2：通過關(guān)鍵幀，在身體控制器和面部控制器處的屬性中建立與表情修復(fù)的一種驅(qū)動關(guān)系;

Q4.3：調(diào)整模型的面部表情，并且修復(fù);Q5：可以依據(jù)RBF的修復(fù)設(shè)置，將已經(jīng)儲存的身體模型數(shù)據(jù)進(jìn)行修復(fù)以及對所產(chǎn)生的動作進(jìn)行修正;Q5.1：創(chuàng)建好每個身體模型數(shù)據(jù)，將模型數(shù)據(jù)上傳到模型數(shù)據(jù)庫中，并且利用RBF技術(shù)進(jìn)行定位，對于身體骨骼和所修復(fù)的模型進(jìn)行融合。

3.2構(gòu)建模型及表情修復(fù)流程

第一、構(gòu)建多個身體模型及在身體上綁定多個控制器并對于面部和身體動作的控制;

第二、在身體的模型之中綁定骨骼系統(tǒng)進(jìn)行運動捕捉;

第三、在面部的模型之中綁定骨骼系統(tǒng)進(jìn)行動態(tài)捕捉;

第四、將在表情數(shù)據(jù)庫中進(jìn)行模型與表情的相匹配并且對所產(chǎn)生角色表情部分進(jìn)行修正;

第五、將儲存在數(shù)據(jù)庫中的身體模型進(jìn)行骨骼的動態(tài)融合，并且對于所產(chǎn)生的模型的動作進(jìn)行不斷的修復(fù)。

3.3身體綁定及面部模型綁定結(jié)果示意圖

3.4 基于Unity下的場景模型的建立

參考文獻(xiàn)

[1] Komar，K.G，Proc.SPIE[J]，120，（1977），127.

[2] Y.Chuang，B.Curless，D.Salesin，and ?R.Szeliski.A ?bayesian ?approach ?to ?digital matting[M].CVPR，2001.

[3] 戴鵬，徐光祐.面向網(wǎng)上人際交流的便捷人臉動畫.計算機輔助設(shè)計與圖形學(xué)學(xué)報[J]，2008，2 0（6）：793-800.

[4] 郭海新，劉慶.虛擬現(xiàn)實技術(shù)在室內(nèi)設(shè)計中的應(yīng)用[J].大眾商務(wù)，2010（1）：15-153.