摘 要：為了滿足基于視覺(jué)的人機(jī)互動(dòng)系統(tǒng)中手指的識(shí)別與理解的需要，提出了一種快速、自適應(yīng)的指尖檢測(cè)方法。該方法首先將輸入圖像基于膚色空間進(jìn)行二值化，利用手指輪廓的平行特性，分離出感興趣的手指部分。在此基礎(chǔ)上，通過(guò)手指輪廓邊緣曲率特征結(jié)合指尖的邊界特征，實(shí)現(xiàn)指尖的快速精確檢測(cè)。實(shí)驗(yàn)結(jié)果表明，該方法能有效的檢測(cè)出指尖，并為進(jìn)一步在人機(jī)互動(dòng)系統(tǒng)中的應(yīng)用打下基礎(chǔ)。

關(guān)鍵詞：?jiǎn)文恳曈X(jué)；聚類；指尖檢測(cè)

DOI：10.16640/j.cnki.37-1222/t.2018.11.110

1 引言

手部識(shí)別作為視覺(jué)識(shí)別的熱點(diǎn)己經(jīng)應(yīng)用于很多領(lǐng)域，例如：人機(jī)互動(dòng)、機(jī)器人控制、手語(yǔ)識(shí)別、虛擬現(xiàn)實(shí)、投影互動(dòng)等領(lǐng)域，有著廣泛的應(yīng)用前景。指尖檢測(cè)算法作為整個(gè)手部識(shí)別最重要的部分決定了手部識(shí)別的優(yōu)劣，這是因?yàn)橹讣馕恢冒私^大部分手的信息。

基于單目的指尖檢測(cè)算法需要利用手部圖像的一些二維信息，形成手部特征。常見(jiàn)的手部特征有膚色特征、輪廓特征，識(shí)別出手部區(qū)域后進(jìn)一步完成對(duì)指尖位置的檢測(cè)和提取。Oka and Sato [1]開(kāi)發(fā)出了EnhancedDesk人機(jī)交互系統(tǒng)，他們把手指看作是一個(gè)矩形和半圓形的組合，然后利用模板匹配來(lái)定位指尖。Argyros and Lourakis[2]首先利用貝葉斯分類器和自適應(yīng)的顏色概率分布來(lái)檢測(cè)和跟蹤人手，對(duì)輪廓數(shù)據(jù)進(jìn)行曲率計(jì)算并確定指尖位置?；谳喞治龇ê突谀０迤ヅ浞ǘ夹枰蕾嚵己玫氖植繄D像，獲得較好的指尖輪廓特征。

本文提出一種快速、自適應(yīng)的基于曲率的指尖檢測(cè)方法。該方法首先將輸入圖像基于膚色空間進(jìn)行二值化；然后采用邊緣檢測(cè)算法提取膚色區(qū)域的輪廓；再根據(jù)手指輪廓的曲率定位類指尖的點(diǎn)，再根據(jù)手指特殊的邊界標(biāo)志來(lái)排除非指尖點(diǎn)。

2 手部膚色區(qū)域提取

在機(jī)器視覺(jué)中，圖像色彩空間主要有RGB、HSV、YCbCr等。其中YCbCr顏色空間受亮度變化的影響較小，較適合作為膚色分布統(tǒng)計(jì)的映射空間[7]，并且Cb，Cr分布獨(dú)立，能較好地聚類膚色區(qū)域，對(duì)姿態(tài)的變化不敏感，具備旋轉(zhuǎn)不變、不受表情等變化的影響，具有較強(qiáng)的魯棒性。但在實(shí)用中，通過(guò)用膚色色彩范圍來(lái)提取膚色區(qū)域卻很困難，因?yàn)樵趫D片中膚色會(huì)隨設(shè)備和環(huán)境光照強(qiáng)度的不同而變化，如果樣本過(guò)大會(huì)使膚色聚類效果不好。

研究表明：在YCbCr空間，除去亮度分量后的Cb，Cr分量的聯(lián)合分布服從二維高斯分布[4]。

其中是顏色在Cb，Cr空間的向量，u1，u2和，分別是訓(xùn)練樣本集中所有樣本的均值向量和協(xié)方差矩陣：

可以利用對(duì)膚色進(jìn)行分類，通過(guò)訓(xùn)練樣本集，估計(jì)膚色閾值。

實(shí)際情況中，由于受光照的影響，膚色數(shù)據(jù)的多樣性，用一個(gè)高斯模型往往自適應(yīng)性較差，不能很好地表達(dá)數(shù)據(jù)分布?？赏ㄟ^(guò)多個(gè)高斯模型一起來(lái)表達(dá)數(shù)據(jù)分布 [5]，但往往計(jì)算量過(guò)大。

本算法通過(guò)高斯模型估計(jì)膚色閾值，再通過(guò)8聯(lián)通區(qū)域生長(zhǎng)法填充邊界點(diǎn)，平滑手部邊緣。在光照較好，且背景中類似膚色區(qū)域與手部區(qū)域有明顯間隔的情況下有較好的效果。

本文還采用了中值濾波和保留最大聯(lián)通區(qū)域等預(yù)處理方法濾除干擾。但是由于閾值條件限制的緣故，提取出的膚色邊緣部分非常粗糙，這是由于膚色區(qū)域提取算法閾值范圍造成的。粗糙的邊緣對(duì)于邊緣曲率計(jì)算會(huì)帶來(lái)較大的干擾，本文采用腐蝕膨脹算法平滑圖像的邊緣。

3 指尖檢測(cè)

3.1 自適應(yīng)K值的K-COS指尖檢測(cè)

手部輪廓的曲率特征對(duì)圖像的縮放和旋轉(zhuǎn)都具有很好的穩(wěn)定性，選擇其作為特征量算法簡(jiǎn)單可靠。求邊緣輪廓的曲率，為了算法簡(jiǎn)單，可用向量夾角的余弦值表示，即K-COS算法[6]。取輪廓與點(diǎn)的前面第K個(gè)點(diǎn)，和后面第K個(gè)點(diǎn)，則使用向量與向量夾角的余弦值作為點(diǎn)的曲率。計(jì)算時(shí)采用向量夾角公式，即：

由于陰影的影響，手部輪廓提取后并不是一條光滑的曲線，在邊緣上很可能出現(xiàn)凹凸不平的情況。這時(shí)選擇合適的k值尤為重要，k值過(guò)小或過(guò)大都會(huì)因余弦值太小而被漏檢或帶來(lái)過(guò)多干擾點(diǎn)。為了適應(yīng)不同大小的目標(biāo)手區(qū)域自適應(yīng)的找出最優(yōu)的k值是基于曲率的指尖檢測(cè)算法關(guān)鍵因素。具體實(shí)現(xiàn)過(guò)程，根據(jù)手部區(qū)域的最小外接矩形的長(zhǎng)寬比反應(yīng)手指的數(shù)量，設(shè)置一個(gè)合適的K的區(qū)間。的曲率選擇在這個(gè)區(qū)內(nèi)所得余弦值的最大值。

求手部區(qū)域邊緣輪廓上每隔2-3個(gè)像素點(diǎn)的曲率，過(guò)濾一部分邊緣干擾。再通過(guò)設(shè)定閾值T，將大于T的點(diǎn)篩選出來(lái)。

從圖2中可以看出，曲率算法將所有指尖均檢測(cè)到。但是同時(shí)可以發(fā)現(xiàn)，該算法出現(xiàn)了一些誤判點(diǎn)。一部分因手部輪廓存在的凹凸不平的情況產(chǎn)生干擾，一部分主要是那些位于兩個(gè)手指之間的凹槽的輪廓點(diǎn)。

3.2 非指尖點(diǎn)的排除

從圖2中可看出滿足曲率閾值的輪廓點(diǎn)，不僅出現(xiàn)在指尖部分，還會(huì)出現(xiàn)在兩指之間的凹槽。要去除非指尖點(diǎn)，可根據(jù)手部的指尖位置有著明顯的邊界特征。圖3為一邊界的1-D表達(dá)，沿著邊界輪廓（始終沿著同一個(gè)方向）計(jì)算各個(gè)像素與掌心的距離r。所得到的曲線，對(duì)平移不變，旋轉(zhuǎn)不變，尺度也將同趨勢(shì)變化。故而可通過(guò)邊界標(biāo)志排除非指尖點(diǎn)。在每個(gè)類指尖點(diǎn)有明顯的聚類效果。按K均值聚類找出n個(gè)聚類中心，即每個(gè)指尖位置。

4 結(jié)論

本文的核心是基于曲率的類指尖點(diǎn)檢測(cè)。此算法對(duì)手部區(qū)域輪廓特征特別敏感，所以在實(shí)現(xiàn)曲率特征提取前，對(duì)手部區(qū)域的預(yù)處理對(duì)檢測(cè)結(jié)果有著非常重要的影響。預(yù)處理主要包括平滑處理，膚色提取，輪廓提取。本文對(duì)指尖位置的檢測(cè)基于多種篩選方法，實(shí)現(xiàn)快速、魯棒的檢測(cè)方法，但仍無(wú)法完全避免干擾。為了提高自適應(yīng)性，各個(gè)步驟的閾值均采用區(qū)間選擇最優(yōu)的方法實(shí)現(xiàn)。此外，實(shí)驗(yàn)還沒(méi)考慮到手臂的干擾（需要增加手勢(shì)的方向解決）。對(duì)于背景中類似膚色的干擾也不能完全濾除，適用于背景較單一的情況。

參考文獻(xiàn)：

[1]Oka K，Sato Y，Koike H，Real-time tracking of multiple fingertips and gesture recognition for augmented desk interface systems， Proceedings of International Conference on Automatic Face and Gesture Recognition，2002：429-434.

[2]Argyros A A，Lourakis M I A，Vision-based interpretation of hand gestures for remote control of a computer mouse， International Conference on Human-Computer Interaction，LNCS 3979，2006，40-51.

[3]高雅萍.基于單目攝像頭的手勢(shì)識(shí)別方法研究[D].廈門大學(xué)，2014.

[4]Yang J，Lu W，Waibel A，Skin-color modeling and adaptation，Proceedings of Asian Conference on Computer Vision，1998（02）：687-694.

[5]Yang M H， Ahuja N， Gaussian mixture model for human skin color and its application in image and video databases， Proceedings of SPIE： Conference on Storage and Retrieval for Image and Video Databases，1999，4_58-466.

[6]D.Lee， analy sis，“S. Lee：“Vision-based ETRI Journa1，2011 ，volfinger action recognition by angle detection and contour 33，415-422.

[7]Yang J，Waibel A，A real-time face tracker，Proceedings of the third IEEE Workshop on Applications of Computer Vision，1996：142-147.

[8]張國(guó)家，左敦穩(wěn).基于圓形梯度的手勢(shì)分割算法的設(shè)計(jì)與實(shí)現(xiàn)[J].機(jī)械設(shè)計(jì)與制造工程，2013（09）：1-6.

作者簡(jiǎn)介：楊雪婷（1982-），女，福建泉州人，碩士研究生，講師，工程技術(shù)學(xué)院電氣與電子信息系系主任，主要研究方向：信號(hào)與信息處理。