魏來　王迪　邢程　胡珊

摘要：為了實現(xiàn)更加自然的人機交互方式，利用微軟的kinect體感設(shè)備提出一種實時手指定位方法。本方法首先利用kinect的關(guān)節(jié)點信息獲取包含手部的區(qū)域，然后在此區(qū)域利用膚色顏色模型來提取出人的手部區(qū)域，并利用canny方法提取出手部的邊緣信息，最后利用手部邊緣曲線的曲率來判斷手指的指尖。本方法能快速準確的定位手指位置，為進一步進行手指動作的識別做基礎(chǔ)。

關(guān)鍵詞：人機交互；kinect；骨架跟蹤；膚色模型；k曲率

中圖分類號：TP18 文獻標識碼：A 文章編號：1009-3044（2014）28-6713-03

人機交互（Human-Computer Interaction， HCI）：是指為完成確定任務(wù)，在人與計算機之間進行信息交換的過程。傳統(tǒng)的人機交互方式（鼠標、鍵盤、觸摸屏）則由于其便攜性不足而顯得捉襟見肘。在人機交互的研究中，能夠以自然的方式給計算機提供交互信息是當前人機交互系統(tǒng)研究的熱點。

由于在傳統(tǒng)的人機交互中人類輸入給計算機的信息都是都是通過鍵盤和鼠標來完成的，而鍵盤和鼠標的操作都利用手部的動作來實現(xiàn)的，因此在自然的人機交互中利用手部動作來進行人機交互是首選的方式。手部的手指是人體最靈活的部位，因此手指的動作能提供豐富的三維信息，利用這些三維信息可以方便戶以操作真實世界物體的方法去操作計算機，這必將極大的增強人機交互系統(tǒng)的真實感。對人體的手指進行識別，然后對識別后的手指指尖進行動態(tài)的跟蹤，利用實時跟蹤的動態(tài)三維信息來進行人機交互，在自然人機交互系統(tǒng)中有很大的應(yīng)用前景。

隨著微軟Kinect設(shè)備的推出，利用這一廉價的硬件設(shè)備能夠?qū)崟r捕獲場景的彩色和深度信息。該文實現(xiàn)了是利用kinect來實時檢測手指的方法，本方法首先利用kinect的骨架信息定位關(guān)節(jié)點righthand和lefthand的位置信息[1]，然后在此區(qū)域的附近利用膚色顏色模型來提取出人的手部區(qū)域，同時利用canny方法提取出手部的邊緣信息，最后利用手部邊緣曲線的曲率來判斷手指的指尖。

1 基于kinect的骨架追蹤

Kinect利用模式識別和機器學習的方法，識別出20個關(guān)節(jié)點，通過20個關(guān)節(jié)點來表示一個骨架的，具體由下圖1可以看到。當你在Kinect前面做動作的時候，這些關(guān)節(jié)點的位置的也在不斷的變化，因此，通過對關(guān)節(jié)點之間位置的變化信息可以識別出人體的動作。

Kinect SD中的骨豁追蹤系統(tǒng)有四個主要的對象，分別是骨豁數(shù)據(jù)流（SkeletonStream）、骨豁框架（SkeletonFrame）、骨豁模型（Skeleton）和關(guān)節(jié)點（Joint）。

當Kinect正確識別操作者后，kinect 運行庫中SkeletonFrameReady事件被觸發(fā)來處理骨骼跟蹤，該事件的參數(shù)包含兩個重要的對象：SkeletonFrame和Skeleton。在Skeleton對象的Joints屬性集合中保存了所有關(guān)節(jié)點的信息。每個關(guān)節(jié)點的信息都是一個Joint對象，其中的Position的X、Y、Z表示了三維位置。其中Z是Kinect到識別對象的距離。

利用kinect sdk中的MapSkeletonPointToColorPoint 函數(shù)可以把骨骼空間的點映射到彩色圖像空間中。因此只要在骨骼空間中找到代表hand right和hand left的骨架中的關(guān)節(jié)點，就能利用MapSkeletonPointToColorPoint函數(shù)找到手部的區(qū)域大概位置。在此，以hand關(guān)節(jié)映射到彩色空間的點坐標為中心設(shè)定一個區(qū)域來查找手部的區(qū)域。

2 基于 YCbCr 空間的手部區(qū)域提取

圖像中皮膚的顏色主要取決于血紅蛋白、黑色素和光照情況。由于顏色的濃度主要影響的是飽和度而不是色相，所以在光照一致的環(huán)境中，不同膚色人種的皮膚色調(diào)是大致不變的，這是靜態(tài)膚色模型構(gòu)建的基礎(chǔ)?；陬伾钠つw檢測具有簡單、快速、直觀，不受物體形狀變化及視點改變等影響的優(yōu)勢，受到研究者的普遍重視，具有重要的理論研究意義和應(yīng)用價值。

本文需要尋找一個對人的膚色分布有著很好聚類性的顏色空間，在這個空間中，利用膚色信息可以有效的將人的手勢和其他背景分離出來，傳統(tǒng)的顏色空間有 RGB，HSV，YCbCr，LAB 空間等，由于RGB 空間的三個顏色分量具有較強的相關(guān)性，不能將色彩信息和亮度信息分離開來，故它不適合用于膚色分割，該文將重點放在YCbCr 空間上，并將 YCbCr 空間的膚色分割用到本系統(tǒng)中[2]。通過研究表明，發(fā)現(xiàn)在 YCbCr顏色空間進行膚色分割具有如下特點[3]：

1） 在 YCbCr顏色空間，不同的膚色上分布在比較小的范圍內(nèi)；

2） 在 YCbCr顏色空間，膚色的色度受到亮度變化的影響較小；

3） 在 YCbCr顏色空間，膚色聚類性較好，適合做分割。

YCbCr是色彩空間的一種，常用于數(shù)字視頻領(lǐng)域，其中Y是指亮度分量，Cb指藍色色度分量，而Cr指紅色色度分量。YCbCr它可以由 RGB 空間線性變換得到，RGB 變換到 YCbCr 空間的轉(zhuǎn)換公式為：

[Y= 65.481R+ 128.553G +24.966B+ 16Cb= 37.797R +74.203G+ 112.000B +128Cr=112.00R +93.786G +18.214B+ 128] （1）

通過實驗表明，在YCbCr顏色空間中進行膚色分割時，由于Y分量的值表示的是亮度的變化，對膚色的影響較小，故只用考慮Cb和Cr兩個顏色分量。當Cb的數(shù)值在區(qū)間[77，127]，Cr的數(shù)值在區(qū)間 [147，173]時能取得較好的效果。圖顯示了利用YCbCr顏色模型分割手部區(qū)域的結(jié)果：

在獲取了手部區(qū)域的圖像之后，首先利用自適應(yīng)閾值方法把彩色圖像變化成二值圖像，然后利用canny算法獲取手部區(qū)域的邊緣輪廓。實驗結(jié)果如圖所示，圖3為有彩色圖像變化得到的二值圖，圖4是手部的邊緣輪廓圖。

3 基于K曲率的手指定位

在得到了手部區(qū)域的輪廊之后，就可以利用某種算法來找出指尖點所處的位置。該文利用K曲率算法來進行手指指尖識別[4][5]，如圖5所示，P（i）為手部區(qū)域的輪廓線上的一個點。給定一個常數(shù)K，順時方向前進K個點，得到點P（i+K），逆時針方向前進K個點，得到點P（i-K）。

圖形輪廓上的點P（i）的K曲率計算方法如下：以P（i）為起點，P（i-k）為終點得到向量V1，以P（i）為起點，P（i+k）為終點得到向量V2。利用向量V1與的向量V2之間夾角α的余弦作為點P（i）的K曲率。夾角計算公式如公式（2）所示。

[cosα=V1?V2|V1||V2|] （2）

通過判斷向量V1和V2的夾角α是否在某一范圍內(nèi)，來判斷輪廓上的點P（i）是否為指尖點。所選擇的判斷角度大小要合適，如若判斷角度太大，可能會將手腕處那一段誤認為為指尖；當手指較短時或者由于離Kinect較遠，造成截取圖片中手指較短時，測出的角度會很大，如若判斷角度太小，就無法識別出指尖。經(jīng)過實驗發(fā)現(xiàn)當K=20及α<50時，有比較理想的效果。

4 結(jié)束語

由實驗分析可知，采用本文的方法能實時的檢測到手指指尖。在獲取了手指的位置信息后，就可以利用kinect sdk開發(fā)包把彩色圖像空間的位置信息映射到深度空間，進而就能獲取手指的動態(tài)深度信息。利用手指的動態(tài)深度信息就能判斷手指的動作，從而為高級的人機交互系統(tǒng)提供信息來源。

參考文獻：

[1] 吳國斌，李斌，閻驥洲.Kinect人機交互開發(fā)實踐[M].北京：人民郵電出版社，2013.

[2] Chai D，Ngan K N. Locating facial region of a head and shoulders color image[C].Proceedings of the 3rd International Conference on Automatic Face and Gesture Recognition，1998：124-129.

[3] 江鳳兵.不同顏色空間膚色檢測算法的研究[D].贛州：江西理工大學，2011.

[4] Trapero Cerezo.3D Hand and Finger Recognition using Kinect. Universidad de Granada，2012.

[5] 王松林.基于Kinect的手勢識別與機器人控制技術(shù)研究[D].北京：北京交通大學，2014.