張彩珍， 張?jiān)葡迹?趙 丹, 張曉金

(蘭州交通大學(xué) 電子與信息工程學(xué)院，甘肅 蘭州 730070)

0 引 言

隨著人工智能和計(jì)算機(jī)視覺技術(shù)的不斷發(fā)展，人機(jī)交互技術(shù)成為計(jì)算機(jī)領(lǐng)域研究的熱點(diǎn)，其中手勢(shì)是一種直觀自然的交流方式，手勢(shì)識(shí)別亦是研究的重點(diǎn)[1,2]。手勢(shì)識(shí)別的研究現(xiàn)主要有數(shù)據(jù)手套和基于計(jì)算機(jī)視覺的手勢(shì)識(shí)別技術(shù)，基于數(shù)據(jù)手套的識(shí)別需用戶佩戴復(fù)雜的設(shè)備，不大方便且成本高，因而基于計(jì)算機(jī)視覺的識(shí)別技術(shù)因便捷性和開發(fā)成本低受到了人們的青睞。由于手勢(shì)動(dòng)作易變和外界環(huán)境因素的影響，目前較為普遍的識(shí)別方式是將膚色和形狀輪廓特征結(jié)合到一起進(jìn)行識(shí)別。譚臺(tái)哲等人結(jié)合深度信息與膚色信息分割出手勢(shì)區(qū)域，提出一種基于形狀特征的手勢(shì)識(shí)別方法[3]，王兵等人利用Kinect設(shè)備捕獲到手部區(qū)域,采用隱馬爾科夫模型識(shí)別手勢(shì)[4]，王海鵬等人提出了一種基于動(dòng)態(tài)時(shí)間規(guī)整(dynamic time warping,DTW)方法的時(shí)空多尺度手勢(shì)識(shí)別方法——SDTW(spatial-temporal DTW)[5]，楊紅玲等人提出一種基于YCbCr空間膚色分割去除背景結(jié)合卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行手勢(shì)識(shí)別的方法[6]，張墨逸等人提出了一種基于單應(yīng)的目標(biāo)運(yùn)動(dòng)軌跡觀測(cè)模型，利用移動(dòng)相機(jī)進(jìn)行手勢(shì)軌跡識(shí)別的方法[7]，上述算法對(duì)手勢(shì)均有不錯(cuò)的識(shí)別效果，但大多是針對(duì)特定場(chǎng)景，對(duì)于基于單目攝像頭的手勢(shì)識(shí)別時(shí)，識(shí)別具有一定的局限性。

本文提出了一種能應(yīng)用于不同環(huán)境下的基于膚色模型與BP神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別算法。

1 基于離散余弦變換邊緣檢測(cè)和YCbCr空間膚色的手勢(shì)分割

手勢(shì)分割算法主要分為基于膚色、輪廓和運(yùn)動(dòng)三種，因手勢(shì)圖像的特殊性，目前大多采用膚色分割，而好的膚色模型需要一個(gè)能聚簇且與非膚色的重疊部分少的彩色空間；在YCbCr空間，膚色在復(fù)雜背景和不同光照條件下能很好的聚簇在一個(gè)類橢圓范圍內(nèi)，能較好地限制膚色的限制區(qū)域，但也易受到類膚色區(qū)域的干擾，因而提出一種結(jié)合離散余弦變換(discrete cosine transform,DCT)進(jìn)行邊緣檢測(cè)和YCbCr空間膚色模型分割手勢(shì)的方法。

1.1 DCT濾波去噪與邊緣檢測(cè)

一般采集到的圖像均或多或少含有噪聲，分割前需對(duì)圖片進(jìn)行濾波處理；數(shù)字圖像都是實(shí)數(shù)矩陣，在式(1)的DCT中，隨著u,v的增大，其對(duì)應(yīng)的余弦函數(shù)頻率也隨之增大，過程中得到的系數(shù)稱為低頻系數(shù)、中頻系數(shù)和高頻系數(shù)；一般圖像的DCT低頻和高頻系數(shù)分別在DCT系數(shù)矩陣的左上角和右下角位置，圖像中的噪聲通常屬于高頻部分，可通過二維DCT把高頻部分屏蔽掉進(jìn)而抑制噪聲。

二維DCT

cos((2x+1)uπ/16)cos((2y+1)vπ/16)

(1)

二維DCT逆變換

cos((2x+1)uπ/16)cos((2y+1)vπ/16)

步驟2 按順序逐次比較兩次裝試序列Si和Sj中相互對(duì)應(yīng)的任務(wù)節(jié)點(diǎn)th和tk(th,tk∈EngineTask)，若th,tk關(guān)聯(lián)的質(zhì)量表相同，則比較下一任務(wù)節(jié)點(diǎn)；否則將th,tk及其對(duì)應(yīng)的質(zhì)量表分別添入Ψi,Ψj。

(2)

對(duì)式(2)求梯度得

(3)

通過對(duì)式(3)進(jìn)行一系列的簡(jiǎn)化近似運(yùn)算，即得到一個(gè)Hs和Hc的邊緣檢測(cè)矩陣算子，梯度公式可寫成

(4)

根據(jù)式(4)可計(jì)算出梯度算子，繼而計(jì)算出圖像f(x,y)中點(diǎn)的模值，再與邊緣檢測(cè)的閾值T相比判斷是否為邊緣點(diǎn)，檢測(cè)出所有的邊緣點(diǎn)。

1.2 膚色模型分割和形態(tài)學(xué)處理

YCbCr空間中的Y為流明(luminance)，表示光的濃度，Cb和Cr分別為藍(lán)色與紅色的濃度偏移量成份。因一般圖像為RGB色彩空間，需轉(zhuǎn)換到Y(jié)CbCr空間[9，10]

(5)

將膚色映射到Y(jié)CbCr空間，得到一個(gè)CbCr的橢圓，判斷坐標(biāo)(Cb,Cr)是否在橢圓內(nèi)(包括邊界)即可判斷是否為膚色像素點(diǎn)。形成的統(tǒng)計(jì)橢圓模型具體如下

(6)

(7)

膚色檢測(cè)時(shí)可能會(huì)受到圖片中其他物體的影響，分割出非手勢(shì)區(qū)域，通過比較分割出的區(qū)域，去除少像素連通區(qū)域，得到分割出的手勢(shì)；對(duì)分割出的膚色區(qū)域進(jìn)行形態(tài)學(xué)閉運(yùn)算處理，填充空洞使輪廓更清晰。這里a=644.652 1，b=196.840 9，Cx=109.38，Cy=152.02，eCx=1.60，eCy=2.41。手勢(shì)分割提取的過程如圖1所示。

圖1 YCbCr手勢(shì)分割過程

將兩種檢測(cè)結(jié)果相與結(jié)合，可提取出無干擾的手勢(shì)；為測(cè)驗(yàn)分割算法的效果，本文針對(duì)不同背景和亮度下1～10的手勢(shì)進(jìn)行了分割，分割結(jié)果如圖2所示；從圖2的分割結(jié)果圖可看出，手勢(shì)在復(fù)雜背景和有與膚色相近物體干擾的情況下依然能很好的從圖片中分割出來。

圖2 手勢(shì)分割結(jié)果

2 手勢(shì)特征提取

加速穩(wěn)健特征(speeded up robust features，SURF)是SIFT算法的改進(jìn)，改善了特征提取和描述方式，提升了算法執(zhí)行速度，是一種局部特征點(diǎn)檢測(cè)和描述算法[11]，具有圖像縮放、旋轉(zhuǎn)、仿射變換保持不變性的特性，有較好的魯棒性且運(yùn)算速度快，常被應(yīng)用于目標(biāo)識(shí)別、圖像匹配、圖像分析等領(lǐng)域。結(jié)合SURF算法的特點(diǎn)，對(duì)前面分割出的手勢(shì)提取特征點(diǎn)，具體算法流程圖如圖3所示。

圖3 SURF算法流程

圖4 匹配結(jié)果圖

將特征點(diǎn)的數(shù)據(jù)進(jìn)行歸一化處理，獲得的部分特征點(diǎn)的值如表1所示。

表1 部分特征值

3 基于BP神經(jīng)網(wǎng)絡(luò)進(jìn)行手勢(shì)識(shí)別

BP神經(jīng)網(wǎng)絡(luò)因其良好的非線性映射能力、自學(xué)習(xí)和自適應(yīng)能力成為目前應(yīng)用最多的神經(jīng)網(wǎng)絡(luò)[12～15]，分為正向傳播和反向傳播兩個(gè)過程，當(dāng)正向傳播的輸出結(jié)果未達(dá)到期望值時(shí)，開始反向傳播。為了提高手勢(shì)的識(shí)別率，本文基于BP神經(jīng)網(wǎng)絡(luò)建立了手勢(shì)識(shí)別分類器。

對(duì)不同樣本，設(shè)輸入為xi=[xi1,xi2,…,xim]，輸入層m與隱藏層j之間的權(quán)值為wmj，隱藏層j與輸出層k之間的權(quán)值為vjk，采用ReLU函數(shù)作為激勵(lì)函數(shù)。

隱藏層神經(jīng)元的輸入和輸出分別

i=1,2,…

(8)

輸出層神經(jīng)元的輸入和輸出分別為

(9)

隱藏層到輸出層的權(quán)值更新為

Δvjk=ηδkYk,vjk(n+1)=vjk(n)+Δvjk

(10)

輸入層到隱藏層的權(quán)值更新為

Δwmj=ηδkymj,wmj(n+1)=wmj(n)+Δwmj

(11)

式中η為學(xué)習(xí)率，通過調(diào)整學(xué)習(xí)率，反復(fù)迭代使網(wǎng)絡(luò)的實(shí)際輸出與期望輸出逐步的逼近，達(dá)到所要求的結(jié)果。在訓(xùn)練完網(wǎng)絡(luò)之后，將測(cè)試樣本正向傳播，最后到達(dá)輸出層節(jié)點(diǎn)，輸出識(shí)別結(jié)果。針對(duì)之前提取出的特征點(diǎn)進(jìn)行一個(gè)三層神經(jīng)網(wǎng)絡(luò)模型的搭建，輸出的類別向量為：y=diag{1,1,…,1}，分別對(duì)應(yīng)1～10的手勢(shì)數(shù)字。從輸入到輸出所構(gòu)建的網(wǎng)絡(luò)模型如圖5所示。

圖5 神經(jīng)網(wǎng)絡(luò)模型搭建

4 實(shí)驗(yàn)過程和結(jié)果分析

對(duì)本文提出的識(shí)別方法在不同的數(shù)據(jù)庫中進(jìn)行驗(yàn)證，一種是在室內(nèi)采集拍攝組成的手勢(shì)圖像數(shù)據(jù)庫，采集不同環(huán)境、不同光照和角度下的10種類別手勢(shì)圖像各100張，用于算法性能的測(cè)試，另一種是Thomas Moeslund’s Gesture Recognition Database數(shù)據(jù)庫。從采集到的手勢(shì)圖片中選取3 000個(gè)訓(xùn)練樣本和100個(gè)測(cè)試樣本。

因之前提取的每個(gè)特征點(diǎn)有著3個(gè)描述特性，故選擇輸入層神經(jīng)元個(gè)數(shù)為90，網(wǎng)絡(luò)的隱藏層神經(jīng)元個(gè)數(shù)為15，輸出層神經(jīng)元個(gè)數(shù)為10個(gè)，對(duì)應(yīng)表示1～10的手勢(shì)，采用全連接的方式；經(jīng)迭代訓(xùn)練，得到不同的訓(xùn)練次數(shù)與手勢(shì)識(shí)別率和誤差的關(guān)系，如圖6所示。這里BP算法的學(xué)習(xí)率預(yù)先設(shè)為0.01。

圖6 手勢(shì)訓(xùn)練次數(shù)與識(shí)別率和誤差值關(guān)系

由圖6可以看出，隨著訓(xùn)練次數(shù)的增加，手勢(shì)識(shí)別率在不斷提高，而識(shí)別誤差相應(yīng)的減小，當(dāng)訓(xùn)練次數(shù)達(dá)到900次時(shí)，識(shí)別率達(dá)到了最高，誤差值到最低。為驗(yàn)證本文算法的性能，通過算法獲取結(jié)果的識(shí)別率與其他算法的識(shí)別率進(jìn)行了比較，本文算法、文獻(xiàn)[10]、文獻(xiàn)[12]、文獻(xiàn)[13]、文獻(xiàn)[14]的識(shí)別率分別為96 %,94.1 %,95 %,91.7 %,90.35 %。

5 結(jié) 論

經(jīng)對(duì)比發(fā)現(xiàn)本文算法的識(shí)別率較高，本文將DCT算法用于濾波和邊緣檢測(cè)，結(jié)合膚色模型提取出的手勢(shì)效果佳，且算法使用的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，在計(jì)算上縮短了時(shí)間，在提取特征值時(shí)采用了SURF算法，能夠完善提取出手勢(shì)特征，為之后的訓(xùn)練識(shí)別提供了有效的輸入，使得識(shí)別率得以提高。