曾文獻(xiàn)，趙 楊

（河北經(jīng)貿(mào)大學(xué)，河北 石家莊 050061）

隨著虛擬現(xiàn)實(shí)技術(shù)的日益成熟，模擬駕駛、虛擬旅游、太空漫步、機(jī)器人控制［1，2，3］等基于肢體語言的人機(jī)交互體驗(yàn)系統(tǒng)在娛樂、航空航天、智慧旅游等領(lǐng)域應(yīng)用越來越廣泛。手勢作為人們與外界交流的一種方式，以其自然、直觀、生動的特點(diǎn)被認(rèn)為是虛擬環(huán)境與自然環(huán)境之間交互的最佳方式［4，5］，因此手勢交互技術(shù)成為當(dāng)前人機(jī)交互技術(shù)研究的熱點(diǎn)。然而，基于計算機(jī)視覺的手勢識別無論是基于傳統(tǒng)計算機(jī)視覺還是近幾年來新發(fā)展的基于深度圖像的方案由于受到背景、光照、遮擋物，以及距離攝像頭遠(yuǎn)近等一系列不確定因素的影響，識別效率和準(zhǔn)確性并不理想［6］。因此完全基于計算機(jī)視覺方式的手勢識別的大范圍應(yīng)用受到限制。

近幾年來，微機(jī)電系統(tǒng)（Microelectro Mechanical Systems）MEMS傳感器以其價格低廉、耗電量低、封裝體積小、采集靈敏度高的特點(diǎn)成為移動設(shè)備和可穿戴設(shè)備中的標(biāo)準(zhǔn)配置，它能夠獲取手部運(yùn)動和旋轉(zhuǎn)特征信息，其最大優(yōu)點(diǎn)是不易受背景光照、遮擋等影響。但由于工作原理、材料和制作工藝等方面的缺陷，MEMS傳感器信號存在較大的誤差，且誤差容易累積，造成特征失效。

因此，為了提高手勢交互的準(zhǔn)確性，筆者提出二者融合即基于深度圖像和MEMS傳感器融合的手勢識別方法。相較于采用單一方式，該方法通過Kinect攝像頭獲取手部深度特征（三維形態(tài)），通過加速度傳感器解算出手部運(yùn)動信息，通過角速度傳感器解算出手部旋轉(zhuǎn)信息，將這些信息相互融合，將計算機(jī)視覺方法位移誤差小和MEMS傳感器抗環(huán)境干擾能力強(qiáng)的優(yōu)勢結(jié)合起來，識別手部運(yùn)動軌跡，以實(shí)現(xiàn)和計算機(jī)進(jìn)行交互手勢交互。

1 手勢交互系統(tǒng)處理流程設(shè)計

通過分析基于深度圖像和MEMS傳感器等各種手勢識別技術(shù)適用環(huán)境的基礎(chǔ)上，選取深1度信息、加速度信息、角速度信息作為手勢識別的基礎(chǔ)數(shù)據(jù)，設(shè)計了基于Kinect深度圖像和MEMS加速度和角速度傳感器相融合的手勢軌跡識別模型，最終通過判斷手臂的斜率和姿態(tài)，實(shí)現(xiàn)人機(jī)交互。本研究選取微軟公司推出的Kinect體感設(shè)備獲取深度圖像，采用InvenSense公司MPU6050芯片作為加速度、角速度采集器件。手勢交互系統(tǒng)處理流程如圖1所示。

圖1 手勢交互系統(tǒng)處理流程

本系統(tǒng)想要獲取手臂的方位、運(yùn)動軌跡、旋轉(zhuǎn)等姿態(tài)信息，以達(dá)到控制屏幕對象拾取、移動、旋轉(zhuǎn)以及鼠標(biāo)運(yùn)動等人機(jī)交互功能，所以系統(tǒng)實(shí)時獲取同一個手勢的深度圖像信息和MEMS傳感器信號（加速度信息和角速度信息），對深度圖像處理獲取手臂的斜率信息及運(yùn)動軌跡信息，對三軸加速度信息進(jìn)行二次積分可得到手臂的位移信息，進(jìn)而轉(zhuǎn)換成手臂的位置信息，對角速度進(jìn)行積分可以得到姿態(tài)角（手部旋轉(zhuǎn)信息）。由深度圖像信息和加速度信息融合，最終得到手臂的位置信息，以修正加速度傳感器累積誤差問題，用加速度信息計算出手臂旋轉(zhuǎn)角度等姿態(tài)信息與角速度信息計算出來的手臂姿態(tài)角信息相融合，以修正陀螺儀漂移問題，深度圖像信息和MEMS傳感器信號互為補(bǔ)充，設(shè)計出環(huán)境自適應(yīng)的融合模型。最終根據(jù)手部位置信息和旋轉(zhuǎn)角信息實(shí)現(xiàn)人機(jī)交互。

2 基于深度圖像的手勢特征提取

基于深度圖像信息的手勢識別流程如圖2所示。基于深度圖像的手勢特征提取過程由手勢采集、深度圖像預(yù)處理和手勢特征提取三部分構(gòu)成。手勢采集采用Kinect體感設(shè)備，因此獲取手勢信息不受物體自身的顏色、紋理特征以及環(huán)境光線強(qiáng)弱的影響。深度圖像預(yù)處理部分主要實(shí)現(xiàn)深度圖像的二值化及平滑處理，以消除圖像邊沿的毛刺。手勢識別部分包括區(qū)域分割、邊沿檢測、手勢特許提取。

圖2 基于深度圖像的手勢識別流程

2.1 手勢信息采集

微軟公司的Kinect深度圖像采集設(shè)備，以每秒30幀的速度生成深度圖像流，生成的手勢深度圖像大小為320＊240，每個深度點(diǎn)16位。深度圖像中的每一個像素點(diǎn)代表在深度感應(yīng)攝像頭的視野中，該特定的（x，y）坐標(biāo)處物體到離攝像頭平面最近的物體到該平面的距離（以毫米為單位）。Kinect中深度值最大為4096mm，0值通常表示深度不能確定，一般應(yīng)該將0值過濾掉。微軟建議在開發(fā)中使用1220mm－3810mm范圍內(nèi)的值。在進(jìn)行后續(xù)深度圖像處理之前，本文使用閾值方法過濾深度數(shù)據(jù)至1500mm－2000mm這一范圍內(nèi)。

圖3 平滑算法示意圖

2.2 深度圖像預(yù)處理

由于服裝褶皺、輕微震動等因素影響，Kinect深度圖像往往存在邊沿不平滑，給手勢特征提取帶來很大的誤差，因此，需要進(jìn)行平滑處理。簡單的中值濾波、高斯濾波等平滑算法由于存在誤差傳遞，導(dǎo)致越往后平滑處理失真概率越大，因此，設(shè)計一套簡單的平滑算法，如圖3所示，對將待平滑點(diǎn)（圖中用 表示）周圍9＊5范圍內(nèi)選取5＊5個點(diǎn)（圖中用 表示），然后統(tǒng)計25個點(diǎn)里面有效點(diǎn)超過6個點(diǎn)，即認(rèn)為該點(diǎn)需要平滑，設(shè)置其灰度值為255。但是，在后續(xù)對該點(diǎn)相鄰點(diǎn)平滑處理時，使用該點(diǎn)的原值，這樣就避免了因平滑算法導(dǎo)致誤差傳遞疊加的問題。

為了簡化手勢特征提取算法，將平滑之后的灰度圖像二值化，背景為黑色0，前景為白色255，灰度圖像轉(zhuǎn)化為黑白二值圖像。二值化算法比較簡單，這里就不詳細(xì)描述了。

2.2 手勢特征提取

2.2.1 區(qū)域分割與處理

區(qū)域分割算法首先要確定用戶的基本位置，排除掉一些極端站姿的圖像，算法建議用戶盡可能站在畫面中央，考慮到手勢分布在人體1／3以上位置，設(shè)備初始安裝時，使身高170cm的用戶頭頂映射到Kinect深度圖像縱坐標(biāo)70附近，用戶縱向中心線在深度圖像中的橫坐標(biāo)160±30位置，保證了絕大部分用戶的手勢都能包含在深度圖像中。

為了判斷用戶站姿是否正確，本算法設(shè)計了基于分割塊投影及面積的用戶站姿合法判定方法，考慮到手勢分布在圖像的上部，所以本方法只考慮二值化圖像上部300＊160區(qū)域，將該區(qū)域按照10＊10分割成30＊16個小區(qū)域，每個區(qū)域按照水平和垂直兩個方向投影，投影方法如圖4所示，設(shè)二值圖像中的任一點(diǎn)P（x，y），其中10≤x≤310，10≤y≤160，則在分割區(qū)域水平方向投影點(diǎn)P1（x，y），在垂直方向投影點(diǎn)P2（x，y）。水平方向投影用藍(lán)色表示，豎直方向投影用綠色表示。

圖5顯示了二值圖像經(jīng)投影處理之后生成的水平和垂直兩方向的投影圖，從投影圖中找出水平方向和垂直方向投影線的最大連通線的的長度，起始和終止點(diǎn)坐標(biāo)，垂直方向投影連通線中的長度認(rèn)為是頭所在區(qū)域，然后以此線為依據(jù)，判斷和它相交的水平投影連通線的長度分布圖，判定是否是合法站姿，若合法，找出人身體所在的位置矩形，圖中區(qū)域2即為該算法找到的人體區(qū)域。假設(shè)其左邊沿x坐標(biāo)為Xl，右邊沿x坐標(biāo)為Xr，以此區(qū)域?yàn)閰⒄?，左邊?0，10）－（Xl－10，200）為左胳膊姿勢區(qū)域，右邊（Xr＋10，10）－（300，200）為右胳膊姿勢區(qū)域，圖中區(qū)域1和區(qū)域3分別表示左右胳膊姿勢區(qū)域。

圖4 投影方法示意圖

圖5 區(qū)域分割示意圖

2.2.2 手勢特征提取

左右手的手勢識別算法相近，僅處理方向不同，本文詳細(xì)討論左手姿勢識別算法，讀者可以根據(jù)這個算法修改成右手姿勢識別算法。

由于手勢檢測通常用在手勢實(shí)時控制等領(lǐng)域，因此，手勢識別不能使用過于復(fù)雜的算法，本文提出了一種基于胳膊位置的中心線平均斜率算法，該算法時間復(fù)雜度是O（n），n為待檢測區(qū)域內(nèi)點(diǎn)的個數(shù)，滿足實(shí)施控制的時間要求。算法的核心思想是計算手臂圖像在水平方向和垂直方向上的中心點(diǎn)，所有水平方向的中心點(diǎn)構(gòu)成水平中心曲線，所有垂直方向的中心點(diǎn)構(gòu)成垂直中心曲線，最后計算這兩條曲線的平均斜率，以確定手臂的姿勢。

（1）水平和垂直中心線提取

圖6簡單描述中心曲線計算過程，圖中 表示手臂姿勢二值化圖像中的有效圖像信息點(diǎn)， 表示算法計算出的中心點(diǎn)。計算過程為：針對左手手勢區(qū)域的左邊沿點(diǎn)集（1，a）－（1，j）的每一個點(diǎn)，保持y軸的坐標(biāo)值不變，x軸的坐標(biāo)坐標(biāo)值由最小1搜索到最大9，搜索手臂圖像最大連續(xù)有效線段，如果最大長度線段存在多條，則選擇離前面計算的最大長度最接近的那個線段，求出該最大長度線段的中點(diǎn)。例如圖中b行的處理過程，第一個點(diǎn)（1，b）有效，后面一個點(diǎn)（2，b）無效，因此第一個有效線段長度（1，b）－（1，b）長度為1，繼續(xù)往后搜索直到（7，b）點(diǎn)有效，再往后搜索，找到有效線段（7，b）－（9，b），長度為3，算法選取一行中最長的線段，因此選取線段（7，b）－（9，b），并且計算其中點(diǎn)（8，b）。用此算法對所有行進(jìn)行處理，就得到了圖中所有的中點(diǎn)集。以同樣方法計算出該區(qū)域垂直中心曲線。手臂水平和垂直中心線提取如圖7顯示。

圖6 水平中心線和垂直中心線計算方法

圖7 手勢圖像的水平中心線和垂直中心線

（2）手部位置信息計算

經(jīng)過對各類人群實(shí)測發(fā)現(xiàn)，手部長度占手臂長度的范圍在23%～29%范圍內(nèi)，考慮到手指有彎曲等現(xiàn)象，取手部長度占手臂總長度的20%。根據(jù)手臂中心線位置，在圖7所示左邊區(qū)域和右邊區(qū)域（紅線框的區(qū)域）沿水平中心線從中間向左右兩邊延伸，分別選取左邊區(qū)域最左端的20%區(qū)域和右邊區(qū)域最右端的20%區(qū)域作為手部區(qū)域，并計算該區(qū)域的平均值，作為左右手部的位置信息。

3 基于MEMS傳感器信號的手勢軌跡識別

基于MEMS傳感器信號的手勢軌跡識別流程如圖8所示。

圖8 基于MEMS傳感器信號的手勢軌跡識別流程

3.1 手勢信號采集

用于手勢信號采集的MPU6050芯片為全球首例整合性6軸運(yùn)動處理組件DMP，相較于多組件方案，免除了組合陀螺儀與加速器時間差的問題，可以減輕外圍微處理器的工作負(fù)擔(dān)且避免了繁瑣的濾波和數(shù)據(jù)融合。同時，角速度和角速度量程可控。本文選取角速度量程為±1000°／sec（dps），加速度量程為±4g，加速度輸出速率1kHz，角速度輸出速率為8kHz，外部讀的速度超過輸出速率沒有意義，讀到的都是不變值。若開啟數(shù)字低通濾波功能，則降為1kHz?？蓽?zhǔn)確追蹤快速與慢速動作，數(shù)據(jù)傳輸采用IIC，最高傳輸速度達(dá)400kHz。

3.2 去噪

本文加速度和角速度信號去噪采用卡爾曼濾波算法，卡爾曼濾波器使用一個已知控制輸入系統(tǒng)的動態(tài)模型，結(jié)合來自傳感器的多個連續(xù)測量值，它以“預(yù)測—實(shí)測—修正”的順序遞推，采用反饋遞歸控制的方式使估計均方誤差最小化，計算出更接近真實(shí)狀態(tài)的估算值，該狀態(tài)值比測量值更接近真實(shí)狀態(tài)值，能夠有效地消除系統(tǒng)中的漂移等干擾信號。

假設(shè)Q代表過程噪聲的協(xié)方差，R代表測量噪聲的協(xié)方差，P代表誤差協(xié)方差，Hk代表k時刻的測量值。首先建立預(yù)測模型，根據(jù)慣性的原理本文選取加速度不變即預(yù)測值等于上一次的經(jīng)卡爾曼濾波算法的最優(yōu)值即公式（1）：

接下來，根據(jù)前一個時刻的誤差協(xié)方差Pk－1｜k－1嘗試估計先驗(yàn)誤差協(xié)方差Pk｜k－1，其定義為：

計算卡爾曼增益：

計算卡爾曼估計的最優(yōu)值：

最后更新誤差協(xié)方差P：

3.3 手部位置及旋轉(zhuǎn)角度信息計算

將濾波后的加速度進(jìn)行二次積分得到位移信息，對角速度一次積分得到當(dāng)前時刻的角度，即手勢的姿態(tài)。積分模型如公式（6）所示：

由于本文中讀取加速度和角速度的速度為1kHz，因此計算過程中去t＝0.001s。

4 環(huán)境自適應(yīng)多信號融合模型

上面已經(jīng)通過深度圖像處理得到手臂的位置信息，通過加速度信息得到手臂的位置信息，由角速度信息得到手臂的旋轉(zhuǎn)姿態(tài)信息，三種信息融合計算出最終結(jié)果。融合模型如公式（7）所示，其中R表示最終結(jié)果，P表示圖像處理后的結(jié)果，G表示加速度信號處理結(jié)果，k表示P的可信度。

系數(shù)k取值如圖9所示。

由于深度圖像的采集主要受到遮擋物的影響，因此本文根據(jù)信號的可信度設(shè)計了融合模型。當(dāng)在沒有遮擋物時，本文選取k＝0.8；當(dāng)有遮擋物時，根據(jù)遮擋面積所占的百分比選取k的值。判斷有無遮擋物的方法是統(tǒng)計深度圖像中有效像素點(diǎn)在整幅畫面中的比例。其中x軸表示深度圖像應(yīng)用環(huán)境，當(dāng)檢測不到手臂信息時，x＝0，當(dāng)檢測到手臂信息時，x表示手臂水平中心線在圖7描述區(qū)域中的水平長度，手部信息在整個手臂中的比例，此值為經(jīng)驗(yàn)值，經(jīng)實(shí)測各種體型、身高的人得到的綜合系數(shù)。w取35%，i取40%，z取90%，y取95%。這樣，當(dāng)深度圖像無效時，自動使用加速度信息，如果深度圖像有效，則位置信息相對精確，所以主要采用深度圖像信息作為位置特征。

經(jīng)試驗(yàn)測試，我們獲得了比較準(zhǔn)確的手臂軌跡信息和姿態(tài)信息，利用該信息可以實(shí)現(xiàn)良好的人機(jī)交互，表明該方法的準(zhǔn)確性和效率都很高，能夠達(dá)到人機(jī)交互實(shí)時性及準(zhǔn)確性的要求。

圖9 系數(shù)k取值范圍示意圖

［1］ ZHANG Jian－jie，LIN Hao，ZHAO Ming－guo.A fast algorithm for hand gesture recognition using relief［C］／／Proc of the 6th International Conference on Fuzzy Systems and Knowledge Discovery.2009：8－12.

［2］ KAO M C，LI T H S.Design and implementation of interaction system between humanoid robot and human hand gesture［C］／／Proc of SICE Annual Conference.［S.I.］：IEEE Press.2010：1616－1621.

［3］ 劉江華，程君實(shí)，陳佳品.基于視覺的動態(tài)手勢識別及其在仿人機(jī)器人交互中的應(yīng)用［J］.機(jī)器人，2002，24（3）：197－216.

［4］ 陳一民，張云華.基于手勢識別的機(jī)器人人機(jī)交互技術(shù)研究［J］.機(jī)器人，2009，31（4）：351－356.

［5］ 劉博，張奇志，周亞麗.類人足球機(jī)器人球識別方法的研究［J］.北京信息科技大學(xué)學(xué)報，2010，25（3）：75－79.

［6］ 潘建生.淺談手勢識別 在人機(jī)交互中的應(yīng)用［J］.電腦知識與技術(shù)，2011，35（7）：9216－9218.