王景中，李 萌

(北方工業(yè)大學(xué) 信息工程學(xué)院，北京 100144)

0 引言

手勢識別是一個包含多學(xué)科多領(lǐng)域的課題，隨著人機交互技術(shù)的發(fā)展，未來的手勢識別技術(shù)會趨于基于視覺。對于基于視覺的手勢檢測存在著光線、復(fù)雜背景、人臉胳膊等干擾因素，通常會有附加的限制條件，比如要求背景顏色、穿著長袖衣服等。這些問題短期內(nèi)不能得到完善的解決辦法，因此良好地檢測到手型區(qū)域是手勢識別系統(tǒng)的一個主要研究內(nèi)容[1]。

手勢檢測常用的方法是膚色分割、背景差分、灰度直方圖檢測。單一的方法對手勢檢測無法得到良好的效果，因此要結(jié)合多種方法。邊緣與輪廓檢測是手勢識別中常見的特征提取方法[2-3]，其中Canny算子很適用于手勢的邊緣檢測[4-5]。對于實際的圖形，內(nèi)部邊緣檢測效果不盡相同，因此在不需要圖形內(nèi)部信息時，輪廓可以更直觀地反應(yīng)圖像特征。

手勢識別的核心技術(shù)是目標分類。一種常用的分類方法是利用神經(jīng)網(wǎng)絡(luò)[6]，它是應(yīng)用分類規(guī)則的常用方法。另一種是支持向量機的方法[7]，它在數(shù)學(xué)建模和分類方面非常受歡迎。還有一些方法是通過去除那些對分類決定不起作用的數(shù)據(jù)來提高分類能力，例如PCA（主成分分 析 法 ）[8]。

本文研究視覺手勢的實時檢測分割算法。根據(jù)我國“漢語拼音手指字母圖”中30個不同指式，綜合運用Krisch算子等多種方法進行手勢檢測，然后基于手勢輪廓和PCA算法對字母手勢進行識別。

1 關(guān)鍵技術(shù)

1.1 PCA技術(shù)

PCA（Principal Components Analysis）即主成分分析技術(shù)，旨在利用降維的思想，將高維數(shù)據(jù)投影到較低維空間，間接地對數(shù)據(jù)進行了壓縮處理，同時很大程度上保留了原數(shù)據(jù)的信息。因此在機器學(xué)習(xí)和模式識別及計算機視覺領(lǐng)域，PCA方法被廣泛運用。

1.1.1 基本步驟

(1)設(shè) m個樣本數(shù)據(jù){xm}，每個樣本數(shù)據(jù)是 n維，構(gòu)建一個大小為m×n的樣本矩陣M。

(3)計算樣本數(shù)據(jù)的協(xié)方差矩陣S，公式如下：

(4)對協(xié)方差矩陣做SVD（奇異值分解），即可得到特征值和特征向量。

(5)選出前k個特征向量用于對樣本的表示，達到降低數(shù)據(jù)維度和壓縮的目的。

(6)將數(shù)據(jù)投影到特征向量的空間之中[9]。

1.1.2 基于PCA技術(shù)的圖像識別

高維的圖像空間經(jīng)過PCA變換后得到一組新的正交基，保留其中重要的正交基，可變成低維線性空間。假設(shè)圖像在這些低維線性空間的投影具有可分性，就可將這些投影用作識別的特征矢量。

在圖像識別中，可以用PCA變換對圖像的原始空間進行轉(zhuǎn)換，即構(gòu)造圖像數(shù)據(jù)集的協(xié)方差矩陣，對之進行正交變換，求出協(xié)方差矩陣的特征向量，繼而構(gòu)成投影矩陣。選出前k個特征向量(主成分)，計算投影的系數(shù)，對每一類求出平均系數(shù)。分類時，將需要分類的圖像數(shù)據(jù)進行投影，得到系數(shù)，再與先前計算出的每一類的平均系數(shù)進行比較，可判為最接近的一類。

1.2 Krisch算子

Krisch算子是由8個模板組成的方向算子，圖像中的每個像素在模板代表的8個方向上進行模板卷積計算。它具有良好的邊緣定位能力與抑制噪聲能力，雖然提取出的邊緣和細節(jié)較多，導(dǎo)致虛假邊緣多且邊緣較粗，但是能夠提取出對比度較弱的邊緣，因此應(yīng)用效果較為理想。

1.3 改進的圖像背景差分法

背景差分法是基于圖像序列和參考背景模型相減實現(xiàn)的目標檢測方法。該方法位置精確且速度較快，因此在實時系統(tǒng)檢測中經(jīng)常應(yīng)用背景差分法來獲得檢測結(jié)果。然而該方法對光照敏感，且在背景灰度變化很大的情況下檢測效果不理想。所以常用的背景差分法會受到背景顏色的影響。

本文提出將目標圖像與背景圖像經(jīng)過Krisch算子邊緣檢測后再進行差分，以便得到目標的區(qū)域位置，流程如圖1所示。

圖1 Krisch算子背景差分流程圖

通過邊緣算子的背景差分后，可得到手勢邊緣的一些信息。該方法對背景沒有特殊限制，比直接進行灰度圖像的背景目標結(jié)果明顯完整。在光照的影響下，膚色分割后的圖像手型輪廓變得不平滑，因此通過邏輯運算使Krisch算子的背景差分方法與膚色檢測方法相結(jié)合，共同進行手勢檢測，可以得到較為理想的膚色分割結(jié)果。

2 手勢識別系統(tǒng)設(shè)計

手勢識別系統(tǒng)實現(xiàn)框架流程如圖2所示。

圖2 手勢識別系統(tǒng)實現(xiàn)框架流程圖

如圖2所示，手勢識別系統(tǒng)設(shè)計主要分為兩大部分：(1)首先是創(chuàng)建手勢樣本集，對樣本集圖像進行預(yù)處理、特征提取，最后構(gòu)建手勢向量特征庫；(2)建立在第一部分基礎(chǔ)之上，針對的是單張手勢圖像。手勢圖像經(jīng)過相同的預(yù)處理與特征提取過程，將得到的手勢特征向量與手勢庫進行對比，根據(jù)歐氏距離計算向量距離，從而得到識別結(jié)果。

2.1 圖像預(yù)處理

首先將捕捉到的手勢圖像與背景圖像進行Krisch算子圖像背景差分，然后把原圖像RGB空間轉(zhuǎn)換為HSV空間進行膚色檢測[10]，得到膚色分割后的二值圖像。應(yīng)用邏輯或運算將差分圖像和膚色分割后的圖像結(jié)合起來。

根據(jù)得到的二值圖像檢測最大連通域，得到手連同部分胳膊區(qū)域的二值圖像。最后根據(jù)手勢不同方向，采用不同的方法去掉胳膊，從而得到較為準確的手型區(qū)域。將手型圖像進行歸一化處理，壓縮了圖像的數(shù)據(jù)量，減少冗余度，以便進一步處理。部分樣本輪廓如圖3所示。

圖3 圖像預(yù)處理之后的手勢圖像

經(jīng)過圖像預(yù)處理過程，得到大小為32×32的手型輪廓二值圖像。該方法減少了光照對手型檢測的影響，從而得到了準確的手型區(qū)域，繼而得到可靠的手勢輪廓信息作為特征，為后續(xù)手勢的特征提取與識別完成了良好的預(yù)處理工作。

2.2 特征提取

本文研究的特征以輪廓信息特征為基礎(chǔ)，根據(jù)PCA算法計算樣本圖像的特征值，生成相應(yīng)的特征庫，即投影向量矩陣。具體計算方法如下：

每張手勢輪廓圖像表示為一個32×32像素的矩陣，即為一個二維數(shù)組，將其按行變換成一維數(shù)組，一張圖片就能表示為一個向量 d=（x1，x2…x1024）。

將樣本庫里m張手勢圖片表示成上述向量形式，則m個向量組合成一個m×1 024的樣本矩陣M。當m＜1 024時，經(jīng)過PCA可得到m個特征值與大小為m×1 024的特征向量。選取k個特征向量作為主成分，形成大小為m×k的投影變換矩陣，記為C。將樣本矩陣向C映射，得到m×k的樣本投影矩陣，即為特征庫矩陣，矩陣中每行為一個大小為1×k的樣本特征向量。

2.3 特征匹配識別

在手勢識別系統(tǒng)中，將測試集中圖像進行預(yù)處理，得到的32×32輪廓圖像變?yōu)橐痪S數(shù)組，大小為1×1 024。將此數(shù)組向矩陣C投影，得到大小為1×k的特征向量，記為St。

兩 個 向 量 a=(a[1]，a[2]，… ，a[n])與 b=(b[1]，b[2]，…，b[n])之間的距離 ρ(α，β)定義為下面的公式：

分別計算特征向量St與m個樣本特征向量的歐氏距離，得到距離最小的樣本向量所對應(yīng)的手勢含義即為識別結(jié)果。

3 實驗效果

本手勢識別系統(tǒng)以漢語拼音30個字母手勢為參照,采集了3套手勢（3套分別為不同人的手）形成手勢庫，每套手勢中每個字母手勢錄5張，3套手勢庫共450張手勢圖。圖像格式為BMP圖像，大小為640×480。

根據(jù)本文算法，針對靜態(tài)的字母手勢做了大量實驗來測試其對識別率的影響。從手勢庫1中的每個手勢挑選2張圖像，從手勢庫2中的每個手勢挑選1張圖像，共得到90張圖像作為樣本。經(jīng)過上述特征提取方法得到大小為90×k的特征庫矩陣。其余圖像作為測試圖像。根據(jù)不同的k值，手勢庫圖像識別結(jié)果如表1所示。

由實驗結(jié)果可表面，該算法可有效識別字母手勢。當k為40時，平均識別率可達到92，且用時較少，識別150張靜態(tài)圖像平均40 s左右可完成。當k值逐漸變小時，識別速度提高了，然而識別率下降了。因此在選擇k值時，應(yīng)權(quán)衡速度與準確率。當k=20時，識別率良好，且用時較少，因此在手勢識別系統(tǒng)中可以選此k值。

表1 測試集中字母手勢識別結(jié)果

4 結(jié)論

本文針對漢語拼音30個字母手勢識別進行研究，提出了結(jié)合多種方法的手勢檢測，基于輪廓檢測和主成分分析的識別算法，進行圖像特征提取和分類。實驗證明，該方法可以有效檢測手勢，簡單高效地對手勢進行識別，對圖像的平移和縮放具有穩(wěn)定性。同時，手勢過度旋轉(zhuǎn)對識別存在著一定的影響，可結(jié)合手型的多個幾何特征輔助進行特征比較，從而提高識別率。

[1]馮志全，蔣彥.手勢識別研究綜述[J].濟南大學(xué)學(xué)報(自然科學(xué)版)，2013，27（4）：336-340.

[2]孫麗娟，張立材.基于邊緣梯度方向直方圖的靜態(tài)手語識別[J].微電子學(xué)與計算機，2010，27(3)：148-150.

[3]何陽清，葛元，王林泉.應(yīng)用幾何矩和邊緣檢測的手勢識別算法[J].計算機工程，2005，31(15)：165-166.

[4]CANNY J.A computational approach to edge detection[J].Pattern Analysis and Machine Intelligence，IEEE Transactions on，1986，8(6)：679-698.

[5]THEPADE S D，KULKARNI G，NARKHEDE A，et al.Sign language recognition using color means of gradient slope magnitude edge images[C].Intelligent Systems and Signal Processing(ISSP)，Gujarat：IEEE，2013.

[6]譚昶，肖南峰.基于改進RCE和RBF神經(jīng)網(wǎng)絡(luò)的靜態(tài)手勢識別[J].計算機工程與應(yīng)用，2011，47(7)：172-176.

[7]張秋余，王道東，張墨逸，等.基于特征包支持向量機的手勢識別[J].計算機應(yīng)用，2012，32(12)：3392-3396.

[8]李榮健，韓其龍，楊鑫華.改進的PCA人臉識別新算法[J].大連交通大學(xué)學(xué)報，2008，29(4)：48-51.

[9]ABDI H，WILLIAMS L J.Principal component analysis[J].Wiley Interdisciplinary Reviews：Computational Statistics，2010，2(4)：433-459.

[10]ZHANG X N，JIANG J，LIANG Z H，et al.Skin color enhancement based on favorite skin color in HSV color space[J].Consumer Electronics，IEEE Transactions on，2010，56(3)：1789-1793.