楊婷婷

(安徽文達(dá)信息工程學(xué)院 計(jì)算機(jī)工程學(xué)院,安徽 合肥 231201)

隨著人們生活科技水平的提高,人們利用各類身份識別方式來保證個人信息的安全,如設(shè)定密碼、安裝各類殺毒軟件等。這些傳統(tǒng)的信息安全管理方式雖然可以在一定程度上維護(hù)個人的信息安全,但是存在數(shù)據(jù)泄密、密碼盜用等弊端。[1]為避免這些弊端,人們采用生物信息識別技術(shù)進(jìn)行信息安全的維護(hù),如指紋、人臉識別等。這些方法具有速度快、穩(wěn)定性好、單一性等特點(diǎn),有效避免了密碼盜用等風(fēng)險(xiǎn)。[2]其中人臉面部表情識別是最有發(fā)展前景的一項(xiàng)生物信息識別技術(shù)。

人臉面部表情的識別是基于計(jì)算機(jī)視覺、人機(jī)交互、心理學(xué)、人類學(xué)等學(xué)科的綜合性學(xué)科。[3-5]通過采集視頻圖像,獲取面部的特征點(diǎn)、五官距離特征等大量信息,從而實(shí)現(xiàn)人臉面部表情的識別。這種識別方式具有安全性高、魯棒性強(qiáng)及識別速度快等優(yōu)點(diǎn)。但是,在實(shí)際的表情識別時,由于人臉面部表情的復(fù)雜性,很多表情仍然無法有效識別,準(zhǔn)確率仍然無法滿足要求。

BP神經(jīng)網(wǎng)絡(luò)算法是一種前饋型的神經(jīng)網(wǎng)絡(luò),通過模擬人腦的組織結(jié)構(gòu)和認(rèn)知過程進(jìn)行信息的處理,具有可解決非線性映射問題、容錯性好以及泛化能力強(qiáng)的優(yōu)點(diǎn),在圖像的識別、語音識別等領(lǐng)域有較為廣泛的應(yīng)用。該算法尤其適用于對復(fù)雜問題的處理以及高精度的預(yù)測,可以將其應(yīng)用于視頻圖像中的人臉面部表情識別。因此本文將基于視頻圖像對人臉面部表情的快速識別進(jìn)行研究。

1 人臉面部表情識別系統(tǒng)設(shè)計(jì)

1.1 總體設(shè)計(jì)

從實(shí)用性和易實(shí)現(xiàn)的角度對人臉面部表情識別系統(tǒng)進(jìn)行設(shè)計(jì)。該系統(tǒng)主要由四個模塊組成,分別是圖像檢測模塊、人臉自動檢測模塊、特征提取模塊和表情識別模塊。人臉面部表情識別系統(tǒng)的結(jié)構(gòu)如圖1所示。

圖1 人臉面部表情識別系統(tǒng)的結(jié)構(gòu)簡圖

為保證系統(tǒng)的順暢運(yùn)行,系統(tǒng)同時需要配備Windows平臺、Pentium 1.0G的處理器,同時還需要安裝Matlab和ACDSee軟件。

1.2 圖像檢測模塊

圖像檢測模塊主要是利用成像設(shè)備獲取包括人臉和環(huán)境在內(nèi)的三維動態(tài)圖像,為后續(xù)的人臉面部表情識別做準(zhǔn)備。該模塊的硬件成像設(shè)備主要包括攝像機(jī)、圖像采集卡、存儲器等。

攝像機(jī)用于獲取三維視頻圖像,其拍攝效果決定了后續(xù)人臉面部表情的識別效果。為保證圖像的清晰度,采用Cannon Power Shot A75攝像機(jī)進(jìn)行拍攝。在進(jìn)行圖像采集時,還可根據(jù)環(huán)境的明暗配置照明裝置,一方面保證圖像的拍攝環(huán)境光照度要求,另一方面獲取人臉圖像深度,以保證圖像的三維效果。人臉表情視頻圖像的獲取有多種方法,如雷達(dá)和變焦測距等,但是成本較高。本文采用結(jié)構(gòu)光照射彩色光帶的方法,其原理示意圖如圖2所示。

圖2 結(jié)構(gòu)光照射彩色光帶的原理示意圖

在拍攝過程中,攝像機(jī)與結(jié)構(gòu)光排布具有一定的距離,結(jié)構(gòu)光照射在平面上,攝像機(jī)拍攝物體表面和光平面,通過攝像機(jī)和光平面的交點(diǎn)即可確定每個點(diǎn)的三維坐標(biāo)。為保證分辨人臉表面深度以及適應(yīng)動態(tài)圖像的拍攝,結(jié)構(gòu)光使用彩色光帶的方式照射。圖像采集卡是將采集到的三維圖像通過A/D轉(zhuǎn)換,以數(shù)字信號的形式傳入計(jì)算機(jī),進(jìn)行分析和后續(xù)的存儲。存儲器用于對采集的圖像、分析過程數(shù)據(jù)和分析結(jié)果進(jìn)行存儲。考慮到三維圖像占用存儲空間較大,因此可以選擇較大容量的存儲器進(jìn)行數(shù)據(jù)的存儲。

1.3 人臉自動檢測模塊

人臉自動檢測模塊是對已獲取的圖像進(jìn)行檢測,識別視頻圖像中人臉的位置和大小。同時跟蹤圖像中的人臉,為后續(xù)的人臉面部表情識別做準(zhǔn)備。該模塊主要包括人臉的識別定位和人臉目標(biāo)的跟蹤識別兩部分。

在進(jìn)行人臉的識別定位時,主要進(jìn)行視頻圖像的預(yù)處理、人臉初識別和驗(yàn)證人臉定位的準(zhǔn)確性,人臉的識別定位過程如圖3所示。

圖3 人臉的識別定位過程圖

首先,對獲取的圖像進(jìn)行預(yù)處理,主要包括YCbCr顏色空間的轉(zhuǎn)換和膚色二維高斯分布。在進(jìn)行人臉圖像的采集時,根據(jù)采集背景,可分為有復(fù)雜背景和無復(fù)雜背景兩種情況。對具有純色簡單背景的圖像,如證件照等直接進(jìn)行識別即可。對具有復(fù)雜背景的圖像,通過分析可知,人臉?biāo)哂械哪w色特點(diǎn)是人臉與背景最大的差別,因此采用顏色空間分布模型進(jìn)行人臉的識別。攝像機(jī)獲取的圖像為RGB顏色空間,為便于顏色的處理,將其轉(zhuǎn)換為YCbCr顏色空間,[6-7]轉(zhuǎn)換方式如下：

(1)

式(1)中的Y為亮度,最低的黑色值為16,最高的白色值為235,偏移值為16;Cb為藍(lán)色,Cr為紅色,藍(lán)色和紅色的值范圍均為16～240,偏移值為128。其后,為便于人臉識別,在二維空間采用高斯分布的方式描述圖像中的顏色分布。在二維空間中,采集圖像的膚色高斯分布G(x)可以用下式表示：

(2)

式(2)中的μ和σ分別為膚色的均值分布和協(xié)方差。圖像的膚色分布中心可視作為膚色的均值分布值,則圖像各部分與膚色分布中心的相似度Si可以按照下式計(jì)算：

(3)

設(shè)定相似度范圍,即可確定圖像中膚色的區(qū)域。其次,進(jìn)行人臉初識別,主要是采用邊界的方法進(jìn)行區(qū)域分割、分割目標(biāo)的合并,確定初始人臉區(qū)域。在進(jìn)行區(qū)域的分割時,快速掃描預(yù)處理后的圖像,將超過相似度范圍區(qū)域點(diǎn)中的相鄰膚色點(diǎn)作為邊界,從而得到人臉的邊界。對每一個邊界點(diǎn),從其附近按照從上到下、從左到右的方向?qū)ふ椅磼呙椟c(diǎn)并連接成為一個矩形,由此可以確定多個不同的膚色矩形區(qū)域。但是這些區(qū)域可能不連接,且無法形成一個完整的人臉,因此還需要對矩形區(qū)域進(jìn)行處理合并。在進(jìn)行合并時,通過將相鄰區(qū)域的矩形以最小矩形區(qū)域連接并替代的方式進(jìn)行合并。在合并時,需要相鄰區(qū)域的矩形滿足顏色差值小于設(shè)定閥值,同時尺寸和位置滿足一定要求才可進(jìn)行合并。以圖4(a)和圖4(b)兩個不同相對位置的M和N區(qū)域?yàn)槔?/p>

圖4 兩個不同相對位置的區(qū)域示意圖 注：(a)左右位置;(b)上下位置。

圖4中M和N區(qū)域的高度和長度分別為h1、h2、l1和l2,兩個矩形區(qū)域需要滿足以下要求：

式(4)中S合并為合并后矩形面積,d1和d2分別為M和N區(qū)域的中心在長度和高度方向的距離。由此完成初始人臉區(qū)域的識別。

最后,是驗(yàn)證人臉定位的正確性,采用眼睛和嘴巴與五官特征的匹配性進(jìn)行驗(yàn)證。在人臉中,眼睛和嘴的部分顏色不是膚色,按照顏色對圖像處理后可以得到眼睛Meye和嘴Mmouth的圖像位置分別為：

(5)

Mmouth=(Cr2)·(Cr·Cb)

(6)

計(jì)算兩只眼睛和嘴巴的夾角,小于25°則可認(rèn)為人臉識別定位正確,否則重新對采集的圖像進(jìn)行處理識別。

由于獲取的圖像為動態(tài)的,在完成人臉的識別后,還需要隨著圖像的動態(tài)變化進(jìn)行人臉跟蹤。為保證追蹤頻率和準(zhǔn)確性,系統(tǒng)采用Gabor Jets相似性方法進(jìn)行人臉追蹤。對于人臉部的任意點(diǎn),如眉毛、眼睛等部分,提取該點(diǎn)當(dāng)前幀的Jets值為Ji,對于下一幀的Jets值Ji+1,兩幀之間的Jets距離D(Ji,Ji+1)[8]為：

式(7)中的θ為圖像中該點(diǎn)在當(dāng)前幀的Gabor方向,λ為Gabor頻率。在該點(diǎn)附近搜尋點(diǎn),使其Jets距離達(dá)到最大,即為下一幀該點(diǎn)的位置。通過對多點(diǎn)進(jìn)行計(jì)算,從而實(shí)現(xiàn)對人臉的追蹤。

1.4 特征提取模塊

特征提取模塊主要用于提取人臉的特征。人臉特征的選取直接決定了人臉表情面部表情識別的準(zhǔn)確性和識別速率。根據(jù)需要,可以設(shè)定人臉模型,從中提取有效特征進(jìn)行分析。有效特征可以選擇人臉的紋理特征、局部運(yùn)動模型以及整體特征。

1.5 表情識別模塊

表情識別模塊是最終實(shí)現(xiàn)對人臉面部表情識別的模塊,該模塊的優(yōu)劣決定了人臉面部表情識別系統(tǒng)的優(yōu)劣程度。本模塊通過采用相關(guān)表情識別算法,如BP神經(jīng)網(wǎng)絡(luò)算法等設(shè)計(jì)進(jìn)行表情的識別,以確定最終的識別結(jié)果。

2 人臉面部表情識別算法設(shè)計(jì)

在進(jìn)行人臉面部表情識別時,需要通過人臉特征提取算法提取相關(guān)特征。其后對特征進(jìn)行分類、識別,將特征參數(shù)作為輸入特征向量,采用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行表情的自動識別。

2.1 人臉特征提取算法設(shè)計(jì)

在進(jìn)行人臉的特征提取時,需要能夠充分反映人臉的表情特點(diǎn)、符合表情動作的運(yùn)動性以及易于提取。而人臉在做出表情時,相應(yīng)的五官需要做出一定的動作。結(jié)合以上的要求和表情特點(diǎn),本系統(tǒng)選擇人臉的紋理特征、局部運(yùn)動模型以及整體特征作為人臉表情識別的輸入特征向量。[9]

在人臉做出表情時,紋理主要體現(xiàn)在額頭和下巴位置,因此在進(jìn)行紋理的提取時也主要針對人臉的這兩個部位進(jìn)行特征提取。臉部紋理按照豎向、橫向和斜向的方向,通過設(shè)定不同方向的檢測器進(jìn)行紋理方向的提取。圖像的梯度▽T(x,y,i)以及其在三個不同方向的梯度▽Tx(x,y,t)、▽Ty(x,y,i)和▽Txy(x,y,i)分別如下所示：

(8)

式(8)中的T(x,y,i)為當(dāng)前i幀的圖像,Wx、Wy和Wxy分別為三個不同方向的紋理檢測器的結(jié)果。通過以上公式可以計(jì)算并確定臉部紋理的梯度、強(qiáng)度變化。人臉做出表情時,對于紋理的檢測就是對紋理在一定時間的微分,此時紋理的變化量Γi(x,y)為：

(9)

為后續(xù)表情的識別,可以設(shè)定紋理變化量的閥值,以避免紋理變化量過高或者過低造成關(guān)鍵信息的丟失,或者噪聲過多影響后續(xù)表情的識別。

人臉的局部運(yùn)動模型是針對人臉做出表情時,提取各采樣點(diǎn)變換時的運(yùn)動模型,并根據(jù)這些模型參數(shù)值確定人臉表情。[10-11]對人臉圖像中的某區(qū)域,其中心位置坐標(biāo)為(x,y)。識別人臉表情最主要的部位為眼睛、嘴巴和眉毛等位置,而這些部位的運(yùn)動模型不盡相同。若該區(qū)域?yàn)檠劬Σ课?則其運(yùn)動模型在水平和豎直方向的分量S(x,y)和T(x,y)分別采用下式計(jì)算：

(10)

式(10)中的m0、n0為水平和豎直分量的平移分量參數(shù);m1、n1為水平和豎直方向壓縮或伸展分量;m2和n2為旋轉(zhuǎn)分量;m3和n3為形變偏角分量;m4和n4為斜度分量。若該區(qū)域?yàn)樽彀秃兔济任恢?則其運(yùn)動模型在水平和垂直方向的分量P(x,y)和Q(x,y)分別采用下式計(jì)算：

(11)

式(11)中的n5為水平和數(shù)值分量的曲率分量,公式中的其他各參數(shù)與眼睛部位運(yùn)動模型各參數(shù)意義相同,可根據(jù)模型進(jìn)行參數(shù)具體數(shù)值的調(diào)整。通過以上方法即可確定各局部區(qū)域的運(yùn)動模型。

整體特征是指整個人臉圖像處理后提取的主要特征,可以采用人臉識別后的結(jié)果作為人臉圖像的整體特征。

2.2 人臉面部表情識別算法設(shè)計(jì)

在進(jìn)行人臉的面部表情識別時,采用三層的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行識別,即BP神經(jīng)網(wǎng)絡(luò)作為表情分類器。該BP神經(jīng)網(wǎng)絡(luò)主要包括輸入層、隱含層和輸出層。其中輸入層的輸入特征向量主要包括紋理特征,眼睛、嘴巴和眉毛的局部特征以及圖像識別的顏色整體特征;輸出層的輸出向量主要包括人臉識別的7種表情,分別為開心、傷心、恐懼、中性、厭惡、驚奇和生氣;隱含層的節(jié)點(diǎn)個數(shù)目前還沒有明確的數(shù)量要求,可以根據(jù)經(jīng)驗(yàn)公式進(jìn)行選擇。隱含層節(jié)點(diǎn)nyin個數(shù)計(jì)算的經(jīng)驗(yàn)公式如下：

nyin=int[sqrt(0.43xy+0.12y2+0.54x+

0.77y+0.86)]

(12)

式(12)中int()為數(shù)值取整,x和y分別為神經(jīng)網(wǎng)絡(luò)輸入層和輸出層的向量個數(shù)。對于本系統(tǒng)來說,x和y分別取13和7,計(jì)算得出隱含層的節(jié)點(diǎn)個數(shù)為7。同時,還需要確定BP算法的學(xué)習(xí)速率,為保證系統(tǒng)可以穩(wěn)定運(yùn)行,還要保證運(yùn)行速率,一般學(xué)習(xí)速率設(shè)定為0.01～0.8,本系統(tǒng)選擇為0.1。

3 結(jié)果與分析

為驗(yàn)證該人臉面部表情識別系統(tǒng)的性能,需要對其進(jìn)行相關(guān)試驗(yàn)。本文主要針對圖像中人臉識別、追蹤和人臉表情的快速識別進(jìn)行了設(shè)計(jì),因此在進(jìn)行試驗(yàn)設(shè)計(jì)時,主要進(jìn)行人臉定位試驗(yàn)和人臉表情快速識別試驗(yàn)。

3.1 人臉定位試驗(yàn)

在進(jìn)行人臉定位試驗(yàn)時,采用隨機(jī)拍攝的圖像測試集。測試集中共包括500張包含人臉的三維圖像,將圖像隨機(jī)分為5組,每組包含100張圖像,分別采用該系統(tǒng)對每組圖像進(jìn)行處理和人臉的定位。識別后移動圖像,驗(yàn)證系統(tǒng)是否可以實(shí)現(xiàn)對人臉的追蹤。系統(tǒng)對圖像處理完成后,人臉的定位和追蹤結(jié)果如表1所示。

表1 人臉定位結(jié)果

由表1可知,該系統(tǒng)對人臉定位的準(zhǔn)確率均在90%以上。且對于識別出的人臉均可以成功追蹤,可以達(dá)到系統(tǒng)對圖像中人臉定位的要求。

3.2 人臉表情識別試驗(yàn)

系統(tǒng)采用BP神經(jīng)網(wǎng)絡(luò)作為分類器進(jìn)行人臉表情的識別,在進(jìn)行試驗(yàn)時,采用人臉識別中的500張人臉識別后的圖像進(jìn)行后續(xù)的人臉表情試驗(yàn)。將第1組和第2組圖像作為訓(xùn)練集,將第3組至第5組共300張圖像作為測試集。

首先,采用訓(xùn)練集的圖像對系統(tǒng)進(jìn)行訓(xùn)練。設(shè)定BP神經(jīng)網(wǎng)絡(luò)的誤差門限為e-3,采用BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練的誤差曲線如圖5所示。

圖5 BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練的誤差曲線圖

由圖5可知,隨著訓(xùn)練次數(shù)的增加,誤差逐漸降低,并逐漸趨于穩(wěn)定。其后,采用該BP神經(jīng)網(wǎng)絡(luò)對3組測試集圖像進(jìn)行表情識別,識別結(jié)果如表2所示。

表2 人臉表情識別結(jié)果

由表2可知,采用該人臉面部表情識別系統(tǒng)進(jìn)行人臉表情識別的準(zhǔn)確率均在84%以上,且識別時間均在1s以內(nèi),基本可以實(shí)現(xiàn)對人臉表情的快速、準(zhǔn)確識別,符合人們對人臉面部表情識別系統(tǒng)的要求。

4 結(jié)論

傳統(tǒng)的信息安全管理方式雖然可以在一定程度上維護(hù)個人的信息安全,但是存在數(shù)據(jù)泄密、密碼盜用等弊端。為提高信息安全性,可以采用人臉面部表情識別進(jìn)行信息安全的維護(hù)。為實(shí)現(xiàn)對人臉面部表情的快速、準(zhǔn)確識別,本文主要進(jìn)行了以下工作：

(1)建立人臉面部表情識別系統(tǒng),該系統(tǒng)主要由四個模塊組成,分別是圖像檢測模塊、人臉自動檢測模塊、特征提取模塊和表情識別模塊。

(2)對系統(tǒng)的各模塊進(jìn)行了設(shè)計(jì)。通過對獲取的圖像進(jìn)行預(yù)處理、人臉初識別和人臉驗(yàn)證,確定人臉位置并可以追蹤。

(3)充分考慮人臉面部表情特征,確定人臉提取特征以及提取算法,并對特征進(jìn)行分類、識別。采用BP神經(jīng)網(wǎng)絡(luò)作為分類器進(jìn)行表情的自動識別,并對相關(guān)算法進(jìn)行了設(shè)計(jì)。

(4)為驗(yàn)證該人臉面部表情識別系統(tǒng)的性能,對其進(jìn)行人臉識別試驗(yàn)和人臉表情快速識別試驗(yàn)。試驗(yàn)結(jié)果表明該系統(tǒng)可以實(shí)現(xiàn)對人臉表情的快速、準(zhǔn)確識別,符合人們對人臉面部表情識別系統(tǒng)的要求。