齊 興，蘇本躍

(1.安徽理工學(xué)校, 安徽 安慶 246003;2.安慶師范學(xué)院 計(jì)算機(jī)與信息學(xué)院，安徽 安慶 246133)

基于區(qū)域塊LBP特征的人臉表情識(shí)別

齊 興1，蘇本躍2

(1.安徽理工學(xué)校, 安徽 安慶 246003;2.安慶師范學(xué)院 計(jì)算機(jī)與信息學(xué)院，安徽 安慶 246133)

人臉表情識(shí)別是模式識(shí)別與人工智能領(lǐng)域的研究熱點(diǎn)之一，針對(duì)傳統(tǒng)LBP方法的不足，提出了一種基于區(qū)域塊LBP的人臉表情識(shí)別方法：先在人臉面部分割出與表情相關(guān)的眉毛、眼睛、鼻子和嘴巴等關(guān)鍵區(qū)域；再從這些關(guān)鍵表情區(qū)域提取表情特征，避免了在整個(gè)面部提取特征耗時(shí)的缺陷，同時(shí)有效地降低了特征維數(shù)；最后利用最近鄰分類器給出識(shí)別結(jié)果，通過實(shí)驗(yàn)驗(yàn)證了本文算法在識(shí)別性能和時(shí)間性能上的優(yōu)勢(shì)。

計(jì)算機(jī)技術(shù)；表情識(shí)別；局部二值模式；特征提取

作為非口頭溝通中最有效的形式，人臉表情廣泛應(yīng)用于人機(jī)情感交互領(lǐng)域[1-3]。人們一方面提取描述能力強(qiáng)、魯棒性好的表情特征，如Gabor小波變換、主動(dòng)外觀模型(AAM，Active Appearance Model)、局部二值模式(LBP，Local Binary Pattern)等，一方面探索穩(wěn)定性好的表情特征分類器，如最近鄰、支持向量機(jī)、反向傳播(BP，Back Propagation)、神經(jīng)網(wǎng)絡(luò)等。然而，表情細(xì)節(jié)更多集中于眼睛、眉毛、嘴巴等區(qū)域，如何融合各區(qū)域的表情特征在減少特征維數(shù)的同時(shí)進(jìn)一步提高分類識(shí)別率，已成為表情識(shí)別領(lǐng)域新的研究熱點(diǎn)。

LBP特征能夠較好地反映表情局部細(xì)節(jié)，并且具有計(jì)算簡(jiǎn)單、尺度變換不變性等優(yōu)點(diǎn)，備受人們關(guān)注。姜銳、許建龍等人提出多重中心化二值模式(MLBP，Multiple Local Binary Patterns)；程雪峰在傳統(tǒng)LBP的基礎(chǔ)上，結(jié)合多尺度、多方向的Gabor分解，提出了LGBP方法；袁寶華等人提出了基于完整局部二值模式(CLBP)。但是，傳統(tǒng)的LBP提取方法是基于圖像像素點(diǎn)的，需要逐個(gè)統(tǒng)計(jì)像素點(diǎn)的規(guī)律分布，得到的圖像統(tǒng)計(jì)直方圖過多，且比較稀疏，影響識(shí)別效果。另外，LBP計(jì)算主要是通過比較中心像素與周圍像素之間的對(duì)比關(guān)系，進(jìn)而描述圖像的灰度分布特征，這完全忽略了中心像素的規(guī)律分布。針對(duì)傳統(tǒng)LBP的不足以及表情細(xì)節(jié)更多分布在眼睛、眉毛、嘴巴等區(qū)域的特點(diǎn)，本文提出了一種基于區(qū)域塊LBP特征提取方法，具體過程如下：首先，根據(jù)積分投影法將人臉表情圖像分割出若干表情關(guān)鍵區(qū)域；然后，在各關(guān)鍵區(qū)域中，以4×4為窗口，計(jì)算2×2領(lǐng)域的均值，提取3×3均值模板的LBP特征并采用直方圖統(tǒng)計(jì)各關(guān)鍵區(qū)域的特征值； 最后，通過特征級(jí)聯(lián)方式形成特征向量，并利用最近鄰分類器實(shí)現(xiàn)分類。

1 LBP表情特征提取

1.1 LBP特征

LBP[4]是一種典型的圖像紋理特征的計(jì)算方法，同時(shí)稱為局部二值模式。它計(jì)算的是周圍像素點(diǎn)與中心像素點(diǎn)的灰度值大小，得到一組能表現(xiàn)圖像局部紋理特征的描述數(shù)據(jù)。LBP計(jì)算方法簡(jiǎn)單，選取一個(gè)3×3大小的鄰域共9個(gè)灰度值，如圖1所示。分別將g0,g1,g2,g3,g4,g5,g6,g7與中心點(diǎn)gt的灰度值逐個(gè)進(jìn)行比較，若該位置的灰度值大于中心點(diǎn)gt像素值，就將該點(diǎn)記錄為1；反之記錄為0。按照?qǐng)D1所示的數(shù)據(jù)計(jì)算得出的LBP算子為二進(jìn)制數(shù)10101001，即中心像素點(diǎn)gt的像素值為169。

由上述LBP算子的計(jì)算方法，能夠明顯看出，LBP算子計(jì)算方法非常簡(jiǎn)單省時(shí)。目前在人臉識(shí)別與表情識(shí)別中有著良好的應(yīng)用，并取得了令人滿意的效果。

1.2 LBP特征提取

LBP特征主要是對(duì)圖像的灰度分布特征進(jìn)行描述，其優(yōu)越性表現(xiàn)在紋理特征提取方面。圖2給出了人臉表情L(zhǎng)BP特征提取結(jié)果。以中心像素為基點(diǎn)，聯(lián)合周圍的像素點(diǎn)，能相對(duì)精確并有效地統(tǒng)計(jì)區(qū)域內(nèi)的紋理特征。計(jì)算方法理解簡(jiǎn)單，實(shí)現(xiàn)起來也比較方便。

但是LBP統(tǒng)計(jì)紋理特征的時(shí)候完全忽略了中心像素點(diǎn)，這是需要解決的至關(guān)重要的問題，因?yàn)橹行南袼攸c(diǎn)的影響往往要大于周邊像素點(diǎn)，這類似于最為吸引人類注意力的往往是中間位置而不是旁邊位置。另外傳統(tǒng)LBP特征是基于逐個(gè)像素點(diǎn)進(jìn)行統(tǒng)計(jì)的，這樣反復(fù)計(jì)算降低了效率。針對(duì)傳統(tǒng)LBP的不足，本文提出了基于區(qū)域塊LBP表情特征提取方法。

2 區(qū)域塊LBP表情特征提取

2.1 表情關(guān)鍵區(qū)域劃分

在實(shí)際的表情圖像采集過程中，表情圖像或多或少會(huì)受到旋轉(zhuǎn)偏移、尺度大小變化等因素的影響，本文采用三庭五眼[5]這樣的定位方法來劃分表情區(qū)域，如圖3所示。

按照一定的比例分割出表情子區(qū)域，規(guī)定眉毛到眼睛的距離為D1，眼睛到鼻翼的距離為D2，鼻翼到嘴巴的距離為D3，如圖4所示。分割左眉毛區(qū)域：選取眉毛中心點(diǎn)為眉毛區(qū)域中心，高度為D1，寬度為眉毛中心點(diǎn)的橫坐標(biāo)值。分割左眼區(qū)域的方法為：以左眼瞳孔所在位置為基準(zhǔn)點(diǎn)，區(qū)域上界為D1的1/2，下界為D2的1/2，左右兩側(cè)邊界和左眉區(qū)域一致。依據(jù)同樣的方法，分割出與這兩個(gè)子區(qū)域分別對(duì)稱的右眉區(qū)域和右眼區(qū)域。分割鼻子區(qū)域的方法為：以鼻唇中心點(diǎn)為基準(zhǔn)點(diǎn)，鼻子區(qū)域上邊界為D2的2/3，鼻子下邊界為D3的1/3，雙眼瞳孔之間的距離為寬度。嘴巴區(qū)域分割方法為：嘴巴區(qū)域上邊界為D3的1/3,嘴巴區(qū)域下邊界為D3的3/4。

2.2 區(qū)域塊LBP特征提取

在表情區(qū)域，將每一大小為4×4像素的模板劃分為一個(gè)子塊，然后將大小4×4的模板統(tǒng)計(jì)退化為大小3×3模板，如圖5所示。

計(jì)算過程：

(1)將4×4像素的模板設(shè)為一個(gè)二維數(shù)組，記為a[4][4]={(a00,a01,a02,a03),(a10,a11,a12,a13),(a20,a21,a22,a23),(a30,a31,a32,a33)},以 ，g0=(a00+a01+a10+a11)/4,g1=(a01+a02+a11+a12)/4，……的方法分別計(jì)算出g0,g1,g2,g3,g4,g5,g6,g7,gc的值。

(2)在實(shí)際操作中在gc與g0,g1,g2,g3,g4,g5,g6,g7比較的過程中，有可能出現(xiàn)gc大于gi(i=0,1,…,7)的情況，那么八進(jìn)制的值全為0沒有意義。于是進(jìn)行重新定義中心點(diǎn)gT=(g0+g1+…+g7+gc)/9，然后再用比較的方法計(jì)算。

(3)比較過程中令fi為gT-gi的值，當(dāng)gT大于gi(i=0,1,…,7)時(shí)fi為0，否則為1，則坐標(biāo)為(x,y)點(diǎn)的LBP值表示為

(1)

(4)因?yàn)楸砬殛P(guān)鍵區(qū)域如眉毛和嘴巴的大小是不一樣的，將子區(qū)域再一次劃分成小塊，眉毛分左右共4塊，眼睛分為左右共8塊，鼻子總體劃分成6塊，嘴巴區(qū)域分成8塊，則對(duì)于每一塊的直方圖可以表示為

(2)

其中m表示關(guān)鍵區(qū)域分塊的數(shù)量，即眉毛為4，眼睛為8，鼻子為6，嘴巴為8；Rk表示表情子區(qū)域，k分別表示眉毛、眼睛、鼻子和嘴巴。

(5)每個(gè)表情子區(qū)域的直方圖可以表示為

其中m的值是不一樣的，具體值是眉毛為4，眼睛為8，鼻子為6，嘴巴為8。

(6)將每個(gè)表情區(qū)域按眉毛、眼睛、鼻子和嘴巴的順序連接到一起，臉部特征向量即可表示為

H={HR0,HR1,HR2,HR3}

相對(duì)于傳統(tǒng)的基于逐個(gè)像素計(jì)算的方法，本文方法有效統(tǒng)計(jì)了4×4范圍內(nèi)的像素分布特征，充分考慮到像素模板內(nèi)每個(gè)像素的值。通過簡(jiǎn)單計(jì)算能夠看出這樣的模板劃分，避免了大量逐一掃描，這樣的計(jì)算方法使得特征值數(shù)量減少到原LBP特征的1/16。

3 實(shí)驗(yàn)與分析

為充分驗(yàn)證算法的有效性，實(shí)驗(yàn)分別在國(guó)際認(rèn)可的公共人臉表情庫JAFFE和Cohn-Kanade上進(jìn)行，具體實(shí)驗(yàn)步驟為，

(1) 對(duì)圖像進(jìn)行預(yù)處理操作。實(shí)驗(yàn)中為了避免光照的影響，對(duì)表情圖像使用灰度規(guī)范化，劃分獲得表情關(guān)鍵區(qū)域，如眉毛、嘴巴、眼睛、鼻子。劃分后獲得的不同表情圖像的關(guān)鍵區(qū)域都發(fā)生了各種變化。

(2) 對(duì)表情區(qū)域進(jìn)行塊LBP特征提取，按照前面所述的眉毛、嘴巴、眼睛、鼻子的順序，將在表情區(qū)域提取的特征級(jí)聯(lián)起來，作為人臉表情待識(shí)別的特征。

(3) 采用最近鄰分類器完成表情識(shí)別任務(wù)。

表1列出了本算法在識(shí)別性能和時(shí)間性能上與其他同類算法的比較。

表1 算法性能比較

從實(shí)驗(yàn)結(jié)果可以看出，本算法在JAFFE和Cohn-Kanade庫上都取得了93%以上的識(shí)別率，只比文獻(xiàn)[6]的識(shí)別率低，而優(yōu)于同類算法的識(shí)別效果。從時(shí)間性能來看，本算法的特征提取時(shí)間和總識(shí)別時(shí)間都是最少的，明顯優(yōu)于其他同類算法，也優(yōu)于識(shí)別率高于本文算法的文獻(xiàn)[6]，這依賴于本文算法特征提取的簡(jiǎn)單省時(shí)，從而克服了Gabor特征耗時(shí)的特點(diǎn)。

4 結(jié)束語

采用區(qū)域塊LBP特征提取方法能有效彌補(bǔ)傳統(tǒng)的中心像素點(diǎn)缺失的不足，以4×4大小的塊基元為單位提取特征，大大降低了算法計(jì)算量。實(shí)驗(yàn)比較證明表情識(shí)別率有了較大的提高，在JAFFE和Cohn-Kanade表情數(shù)據(jù)庫上取得了良好的效果。但同時(shí)也存在不足，在相似度較高的表情識(shí)別效果上還不盡如人意，有待進(jìn)一步完善。

[1]S. Zhang, L. Li, Z. Zhao. Facial expression recognition based on Gabor wavelets and sparse representation[C]. 2012 IEEE 11th International Conference on IEEE, 2012, 2: 816-819.

[2] 胡敏, 朱弘, 王曉華, 等. 基于梯度Gabor直方圖特征的表情識(shí)別方法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2013, 25(12): 1856-1861.

[3] Y. Kami, D. Hasan. Feature selection for improved 3D facial expression recognition [J]. Pattern Recognition Letters, 2014, 38(1): 26-33.

[4] 鄭永斌, 黃新生, 豐松江. SIFT和旋轉(zhuǎn)不變LBP相結(jié)合的圖像匹配算法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2010, 22(2): 286-292.

[5] 顧令飛. 基于多類LDA的人臉表情識(shí)別研究[D]. 廈門: 廈門大學(xué), 2014.

[6] Sun Xinghua, Xu Hongxia, Zhao Chunxia, et al.. Facial expression recognition based on histogram sequence of local Gabor binary patterns[C]. Proceedings of 2008 IEEE Conference on Cybernetics and Intelligent Systems, 2008: 384-389.

[7] T. Ojala, M. Pietikainen, T. Maenpaa. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7): 971-987.

[8] 劉偉鋒, 李樹娟, 王延江. 基于LBP特征的人臉表情分析[D]. 北京: 中國(guó)石油大學(xué), 2010.

[9] Xue Weimin. Facial expression recognition based on Gabor filter and SVM[J]. Chinese Journal of Electronics, 2006, 15(4A): 809-812.

Human Face Recognition Based on the Regional Block LBP

QI Xing1，SU Ben-yue2

(1.Anhui Science and Technology School,Anqing 246003，China; 2.College of Computer and Information,Anqing Teachers College, Anqing 246133, China)

Facial expression describes human emotion by obviously and embody in facial features. Facial expression recognition has attracted more and more attention of researchers, and it has become a hot research topic in the fields of pattern recognition and artificial intelligence in recent years. Aiming at the shortage of the traditional LBP method, this paper proposes a new method of facial expression recognition based on block LBP. First, we divide the expression regions on the whole face, such as eyebrows, eye, nose and mouth, then extract the facial expression feature in the key regions, so avoid time-consuming defects in the entire face extraction and reduce the feature dimension effectively. Last, this paper gives the recognition results by the nearest neighbor classifier. The relevant experiments indicate that this algorithm achieves good results in recognition performance and time performance.

computer technology, facial expression recognition, local binary pattern, feature extraction

2015-03-25

齊興，女，安徽安慶人，碩士，安徽理工學(xué)校中級(jí)講師，研究方向?yàn)橛?jì)算機(jī)科學(xué)與技術(shù)。

時(shí)間：2016-1-5 13:01 網(wǎng)絡(luò)出版地址：http://www.cnki.net/kcms/detail/34.1150.N.20160105.1301.012.html

TP311.52

A

1007-4260(2015)04-0048-04

10.13757/j.cnki.cn34-1150/n.2015.04.012