范文兵+朱連杰

摘 要： 針對(duì)手勢(shì)識(shí)別的準(zhǔn)確率和識(shí)別速度等問題，提出一種基于膚色特征提取的手勢(shì)檢測識(shí)別方法。采用OpenCV自有的Haar分類器自動(dòng)提取面部區(qū)域并建立膚色模型，再以膚色模型檢測膚色點(diǎn)集合，去除與面部區(qū)域重合點(diǎn)集獲得手部輪廓，通過綜合計(jì)算掌心位置，手掌輪廓凸包和凸性缺陷實(shí)現(xiàn)手勢(shì)識(shí)別。經(jīng)驗(yàn)證，該方法能夠穩(wěn)定地定位手掌區(qū)域，識(shí)別準(zhǔn)確度高并能夠在保證識(shí)別率的基礎(chǔ)上實(shí)現(xiàn)對(duì)手勢(shì)的快速識(shí)別。

關(guān)鍵詞： Haar特征； 膚色模型； OpenCV； 凸性缺陷； 手勢(shì)識(shí)別

中圖分類號(hào)： TN911.23?34； TP391.4 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2017）18?0085?04

Research on hand gesture detection and recognition method based on

skin color feature extraction

FAN Wenbing， ZHU Lianjie

（School of Information Engineering， Zhengzhou University， Zhengzhou 450001， China）

Abstract： Aiming at the low recognition accuracy and slow recognition speed for hand gesture， a hand gesture detection and recognition method based on skin color feature extraction is proposed. The Haar classifier owned by OpenCV itself is used to extract face regions automatically and establish skin color model； and the skin color model is adopted to detect the point sets of skin color， in which the point set overlapped with face area is removed to acquire the hand contour； then the location of palm center is calculated comprehensively to detect the convex hull and convexity defect of palm contour to recognize the hand gesture. The verification results show that the method can locate the palm area accurately and realize fast recognition for hand gesture while ensuring the recognition rate， and its recognition accuracy is high.

Keywords： Haar?like feature； skin color model； OpenCV； convexity defect； hand gesture recognition

0 引 言

基于生物特征的身份認(rèn)證方法和系統(tǒng)的研究一向都是圖像識(shí)別技術(shù)和模式識(shí)別領(lǐng)域的研究熱點(diǎn)[1?2]，手勢(shì)圖像識(shí)別在人機(jī)交互中的應(yīng)用越來越廣泛，出現(xiàn)了各種各樣的識(shí)別方法。手勢(shì)作為人機(jī)交互（Human Computer Interaction，HCI）接口的一種，具有以人為中心，簡單、高效、人性化的特點(diǎn)，是目前智能識(shí)別領(lǐng)域人機(jī)交互的重要手段之一。常見識(shí)別方法有很多，Zhu等人利用膚色、運(yùn)動(dòng)數(shù)據(jù)結(jié)合手勢(shì)邊框?qū)崿F(xiàn)了對(duì)多種定義手形的識(shí)別。Fang等人通過膚色和運(yùn)動(dòng)數(shù)據(jù)對(duì)手勢(shì)進(jìn)行分割，再利用手部區(qū)域空間尺度及寬高比來識(shí)別手勢(shì)。Rautaray等人檢測手勢(shì)部分采用LK光流法，K最近鄰算法實(shí)現(xiàn)手勢(shì)識(shí)別。Brethes等人使用分水嶺算法，手勢(shì)的分割采用膚色信息，再將顏色塊信息與形狀信息相結(jié)合來進(jìn)行手勢(shì)識(shí)別。Li等人提出的WEGM算法識(shí)別率高達(dá)97.08%。Hsieh，Song等人選取不同手部特征進(jìn)行訓(xùn)練，訓(xùn)練出的分類器用來對(duì)不同手勢(shì)進(jìn)行識(shí)別，準(zhǔn)確率分別達(dá)到94%，75%。此外，手勢(shì)檢測識(shí)別的研究方法還有利用深度圖信息、GMM建模等來對(duì)手勢(shì)區(qū)域進(jìn)行分割，再通過骨架數(shù)據(jù)、熵?cái)?shù)據(jù)、3D建模等方式來實(shí)現(xiàn)手勢(shì)的識(shí)別[3?5]。

上述方法都有各自獨(dú)特的優(yōu)勢(shì)，例如，識(shí)別準(zhǔn)確率高、可識(shí)別手勢(shì)種類多等，但在人機(jī)交互場景中的應(yīng)用不夠完善。用于人機(jī)交互的手勢(shì)識(shí)別系統(tǒng)，不僅需要較高的識(shí)別準(zhǔn)確率，還對(duì)實(shí)時(shí)性與系統(tǒng)的魯棒性有嚴(yán)格要求。手形的提取主要是為了將手掌從龐大背景中提取出來，由于背景復(fù)雜，采用灰度圖像二值化的方法無法取得好的效果。雖然采用顏色手套的解決方案能取得較好效果，但測試設(shè)備復(fù)雜、過程繁瑣。因此，本文提出了一種Haar模型結(jié)合膚色特征來提取手掌輪廓的方式。實(shí)驗(yàn)測試表明，該方法在通常情況下可取得理想效果，具有較高的實(shí)用性和準(zhǔn)確性。

1 手勢(shì)識(shí)別系統(tǒng)框架

實(shí)驗(yàn)提出一種基于膚色特征提取的手勢(shì)檢測識(shí)別系統(tǒng)，如圖1所示。系統(tǒng)獲取到視頻流輸入后，首先基于Haar?like特征識(shí)別面部區(qū)域，遍歷面部區(qū)域的所有像素提取膚色信息并據(jù)此建立膚色模型，再依據(jù)膚色模型檢測手部區(qū)域。去除面部區(qū)域和背景噪聲的干擾后，即可進(jìn)行靜態(tài)手勢(shì)的識(shí)別。其中，多邊形凸包集主要繪制手勢(shì)凸點(diǎn)；多邊形凸性缺陷集主要繪制凹陷點(diǎn)；待凸點(diǎn)與凹陷點(diǎn)繪制完成后，進(jìn)入手勢(shì)形態(tài)識(shí)別，最后輸出結(jié)果。endprint

實(shí)驗(yàn)重點(diǎn)在于通過面部識(shí)別提取人體膚色信息，不需要手動(dòng)選取手部區(qū)域搜索框、對(duì)大量手部和非手部樣本提取Haar?like特征或是人為設(shè)定膚色信息區(qū)間。只有在系統(tǒng)檢測不到面部區(qū)域時(shí)，才調(diào)用預(yù)置的膚色信息進(jìn)行識(shí)別，保障系統(tǒng)在多種情況下的可用性[6?7]。

2 手部區(qū)域自動(dòng)檢測與定位

2.1 基于Haar?like特征定位面部區(qū)域

基于人面部的Haar?like特征進(jìn)行人臉檢測，定位出現(xiàn)在攝像頭中的面部區(qū)域。人臉檢測器是由Paul Viola和Miachael Jones等人通過Adaboost算法構(gòu)造，檢測效果良好。在此基礎(chǔ)上Rainer Lienhart和JochenMaydt又用Haar?like特征加以擴(kuò)展，其原理為將分類能力弱的分類器疊加（Boost），形成Adaboost強(qiáng)分裂器，若給定訓(xùn)練樣本（[a1]，[b1]），（[a2]，[b2]），…，（[an]，[bn]），其中第i個(gè)樣本表示為[ai]，樣本判定為人臉時(shí)，則[bi]=1，樣本不是人臉，則[bi]=0。Haar?like特征中的邊界，線條，中心的特征表示為：

[featurej=i∈（1，2，…，N）?i?RectSum（ri）] （1）

式中：[?i]為矩形權(quán)，[RectSum（ri）]為矩形[ri]灰度積分；N為組成[featurej]的矩形個(gè)數(shù)。通過計(jì)算每個(gè)特征的弱分類器權(quán)重誤差，將誤差最小的分類器疊加入強(qiáng)分類器最終得到級(jí)聯(lián)強(qiáng)分類器，如圖2所示。

在級(jí)聯(lián)強(qiáng)分類器各個(gè)節(jié)點(diǎn)設(shè)定閾值，使得大部分人臉樣本通過，不通過的基本為非人臉。排列越靠后節(jié)點(diǎn)越復(fù)雜，弱分離器越多，可以保證面部區(qū)域的高識(shí)別率。

2.2 基于膚色模型定位手部區(qū)域

利用膚色來檢測手部是手部檢測最直接的方法。皮膚顏色穩(wěn)定，不易受縮放、平移和旋轉(zhuǎn)的影響，且對(duì)圖像的尺寸、拍攝方向和角度的依賴性較小，因此實(shí)驗(yàn)采用的手形檢測方法為膚色檢測[8]。

顏色空間有多種表示方法，較常用的有RGB顏色空間和HSV顏色空間，以色調(diào)空間來區(qū)分膚色信息比亮度空間更具優(yōu)勢(shì)，而RGB顏色空間包含亮度信息居多。根據(jù)Enamin D. Zarit等人對(duì)膚色在彩色空間分布的研究及在檢測中性能的分析，本文選用HSV顏色空間進(jìn)行手部區(qū)域檢測。為了簡化檢測流程，本文在HSV顏色空間的3個(gè)顏色通道均設(shè)定膚色閾值范圍，如果檢測點(diǎn)在H，S，V通道上的取值都在閾值范圍內(nèi)，證明檢測點(diǎn)是膚色點(diǎn)。閾值[φ]設(shè)定條件如下：

[0

式中，檢測點(diǎn)在色彩空間的取值分別由H，S和V表示。取值滿足上述閾值的檢測點(diǎn)判斷為膚色，反之則不是膚色。

[imagedate（m，n）=膚色， data（m，n）∈φ非膚色， data（m，n）?φ] （3）

式中：imagedata（m，n）代表圖像檢測點(diǎn)；data（m，n）代表檢測點(diǎn)在HSV空間里的顏色取值。

在灰度二值化圖像中，由于面部區(qū)域和手部區(qū)域均判定為膚色，所以同時(shí)存在。由Haar?like特征獲取了人臉區(qū)像素點(diǎn)集，由膚色檢測同時(shí)獲取了人臉區(qū)像素點(diǎn)集和手部區(qū)像素點(diǎn)集，去除面部區(qū)域后可獲得手部區(qū)域。

3 手勢(shì)特征提取與識(shí)別

常見的靜態(tài)手勢(shì)特征有質(zhì)心、周長、手指分布等，手的輪廓可以用不間斷的點(diǎn)來表示，在手掌輪廓不易提取時(shí)，或者為了提高計(jì)算效率，也可以通過計(jì)算手掌輪廓特征作為手勢(shì)特征。實(shí)驗(yàn)首次提出了綜合計(jì)算掌心，手掌輪廓凸性缺陷和凸性包絡(luò)來識(shí)別手勢(shì)。

3.1 計(jì)算并提取掌心位置

確定掌心位置時(shí)，根據(jù)人手的生理構(gòu)造，掌心基本為重心位置，然而直接由手掌幾何中心獲取掌心無法排除手指對(duì)幾何中心的影響。為了避免手指對(duì)手掌質(zhì)心計(jì)算帶來的誤差，實(shí)驗(yàn)采用自重權(quán)數(shù)計(jì)算手掌質(zhì)心，見圖3。

由圖3知，手掌五指張開水平設(shè)定分割線后，分割線左右檢測點(diǎn)膚色值變化次數(shù)不同，手掌處變化2次，到達(dá)手指指尖處分別變化4，6，8，10次。設(shè)定6，8，10次變化區(qū)為零像素區(qū)，由OpenCV自帶函數(shù)cvFindContour重新獲取手形區(qū)域。設(shè)4次變化區(qū)自重權(quán)數(shù)為[13，]2次變化區(qū)自重權(quán)數(shù)為[23，]再通過手掌幾何中心來計(jì)算手掌質(zhì)心，公式如下：

[ax=w1?i=1n1x1in1+w2?i=1n2x2in2ay=w1?i=1n1y1in1+w2?i=1n2y2in2] （4）

式中：ax為手掌質(zhì)心橫向坐標(biāo)；ay為手掌質(zhì)心縱向坐標(biāo)；自重權(quán)數(shù)[w1]為[13；]4次變化區(qū)橫向坐標(biāo)用[x1i]表示；4次變化區(qū)縱向坐標(biāo)用[y1i]表示；自重權(quán)數(shù)[w2]為[23，]2次變化區(qū)橫向坐標(biāo)用[x2i]表示；2次變化區(qū)縱向坐標(biāo)用[y2i]表示；（ax，ay）代表手掌質(zhì)心橫、縱坐標(biāo)。手掌質(zhì)心獲取過程如圖4所示。

圖4（a）為手掌圖示，圖4（b）為膚色值變化多于四指區(qū)域，圖4（c）為根據(jù)OpenCV函數(shù)求得手掌質(zhì)心處。

3.2 手形輪廓凸包與凸性缺陷檢測

為了確定手部區(qū)域形狀，需要找到手部區(qū)域的輪廓，獲取手形輪廓凸包點(diǎn)集合與凸性凹陷點(diǎn)集合，利用凸包點(diǎn)集與凸性凹陷點(diǎn)集和掌心點(diǎn)之間的幾何關(guān)系就可以實(shí)現(xiàn)手勢(shì)數(shù)字的識(shí)別。在OpenCV庫函數(shù)中有凸包與凸性凹陷集合的求解方法，但方法粗糙，抗干擾能力差。本文引入Graham Scan算法來實(shí)現(xiàn)手形輪廓的凸包與凸性缺陷檢測。算法基本理論為：平面選取A點(diǎn)，引出射線AM，設(shè)定一個(gè)單位長度和單位角度，以逆時(shí)針方向?yàn)檎较?。平面任意點(diǎn)C都可被特定序數(shù)[ρ，θ][0≤θ≤2]確定，[ρ]代表AC長度，[θ]代表角CAM。由此定義一個(gè)坐標(biāo)系，點(diǎn)A為坐標(biāo)極點(diǎn)，線AM為坐標(biāo)極軸。[ρ]代表C點(diǎn)的坐標(biāo)極徑，[θ]代表C點(diǎn)的坐標(biāo)極角，A點(diǎn)極坐標(biāo)就是特定序數(shù)[ρ，θ]。極坐標(biāo)系中，定點(diǎn)A即原點(diǎn)O，射線AM即橫坐標(biāo)正半軸，以此逆時(shí)針旋轉(zhuǎn)90°為縱坐標(biāo)正半軸。極坐標(biāo)系中任一點(diǎn)[ρ，θ]轉(zhuǎn)化為直角坐標(biāo)（x，y）方式如下：

[x=ρcosθy=ρsinθ] （5）

運(yùn)用Graham Scan算法對(duì)手形區(qū)域進(jìn)行凸包檢測可以獲取手形輪廓圖的凸包，凸包曲線與手掌之間形成的空隙區(qū)域即為凸性缺陷區(qū)如圖5所示（圖示紫色虛線代表手形輪廓的凸包）。手形輪廓凸包檢測完成后，為了進(jìn)一步識(shí)別更精確的手勢(shì)形態(tài)，還需要進(jìn)行凸性缺陷檢測。

檢測凸性缺陷從點(diǎn)[p1]開始到點(diǎn)[p2]結(jié)束，[p3]代表凸包區(qū)b的缺陷最深點(diǎn)（手掌邊緣上距凸包輪廓最遠(yuǎn)點(diǎn)），a～f六條線段定義6個(gè)凸性缺陷深度，d線最長，因此點(diǎn)[p4]代表手形凸性缺陷最深處。

4 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)在VS2013集成開發(fā)環(huán)境下，基于OpenCV視覺庫用C++語言進(jìn)行開發(fā)，測試圖像來源為普通數(shù)字視頻攝像頭采集，使用計(jì)算機(jī)為普通桌面PC機(jī)，采用Intel[?]Core i5?4590 3.30 GHz處理器，32位Windows 10操作系統(tǒng)，攝像頭采用普通數(shù)字視頻攝像頭，為了驗(yàn)證本框架的穩(wěn)定性和高效性[9?10]，驗(yàn)證了0～5六種數(shù)字手勢(shì)。選取8名測試人員，在實(shí)驗(yàn)室環(huán)境下，打開攝像頭進(jìn)行實(shí)時(shí)測試。實(shí)驗(yàn)對(duì)象面對(duì)攝像頭，變換手勢(shì)，驗(yàn)證系統(tǒng)的識(shí)別精度。圖6展示了測試過程中，系統(tǒng)的部分手勢(shì)識(shí)別結(jié)果。

部分手勢(shì)測試結(jié)果如表1 所示。由表1可知，本框架與基于TLD和DTW的動(dòng)態(tài)手勢(shì)跟蹤識(shí)別算法相比識(shí)別精度相近，都達(dá)到了95.8%以上，具有較高的識(shí)別率。結(jié)果與Zhou等人實(shí)驗(yàn)相比，識(shí)別速度分別是其所使用的兩種方法的5倍和45倍，在系統(tǒng)的實(shí)時(shí)測試中，經(jīng)計(jì)算，每幀圖像處理時(shí)間約為82.71 ms，速率范圍為11～14 f/s，顯示系統(tǒng)具有良好的實(shí)時(shí)性、穩(wěn)定性和很高的識(shí)別精度。

5 結(jié) 論

本文提出一種基于膚色特征提取的手勢(shì)檢測識(shí)別方法。通過人臉檢測和定位獲取面部區(qū)域，提取面部區(qū)域的人體膚色特征并建立膚色模型，再以膚色模型檢測膚色點(diǎn)集合，去除與面部區(qū)域重合點(diǎn)后獲得手部區(qū)域。即通過攝像頭實(shí)時(shí)提取目標(biāo)人體的膚色信息建立膚色模型，保證了識(shí)別準(zhǔn)確率和系統(tǒng)實(shí)時(shí)性。后續(xù)將對(duì)動(dòng)態(tài)手勢(shì)跟蹤進(jìn)行研究，在此基礎(chǔ)上實(shí)現(xiàn)多種動(dòng)態(tài)手勢(shì)的識(shí)別。

參考文獻(xiàn)

[1] 萬劍鋒，黎洪松.基于圖像識(shí)別的生產(chǎn)線零件分揀系統(tǒng)[J].現(xiàn)代電子技術(shù)，2016，39（12）：62?65.

[2] 羅偉，馮亮，史桐林，等.基于形態(tài)學(xué)處理與模式識(shí)別的手部圖像分割[J].現(xiàn)代電子技術(shù)，2015，38（12）：80?82.

[3] 季宇.基于特征提取的圖像相似度研究[J].信息系統(tǒng)工程，2016（1）：110.

[4] 杜堃，譚臺(tái)哲.復(fù)雜環(huán)境下通用的手勢(shì)識(shí)別方法[J].計(jì)算機(jī)應(yīng)用，2016（7）：1965?1970.

[5] 黃孝平.基于體繪制思維的人臉識(shí)別算法優(yōu)化研究[J].現(xiàn)代電子技術(shù)，2015，38（24）：19?22.

[6] 余超，關(guān)勝曉.基于TLD和DTW的動(dòng)態(tài)手勢(shì)跟蹤識(shí)別[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2015（10）：148?154.

[7] 張佳佳，王賀，劉宇，等.SVD與SVM疊加算法在玻璃溫度表圖像識(shí)別中的應(yīng)用[J].電子測量技術(shù)，2015（1）：47?50.

[8] 劉祥樓，楊龍，張明，等.基于膚色的眼睛輪廓自動(dòng)提取新方法[J].現(xiàn)代電子技術(shù)，2014，37（14）：125?127.

[9] 張家田，許凱，嚴(yán)正國.基于空中運(yùn)動(dòng)/手勢(shì)控制接口的空中鼠標(biāo)設(shè)計(jì)[J].現(xiàn)代電子技術(shù)，2016，39（6）：143?146.

[10] 劉鑫辰，傅慧源，馬華東.基于RGB?D攝像頭的實(shí)時(shí)手指跟蹤與手勢(shì)識(shí)別[J].計(jì)算機(jī)科學(xué)，2014（10）：50?52.endprint