賀國(guó)慶 王 煒

（1 甘肅政法學(xué)院公安技術(shù)學(xué)院 甘肅 蘭州 730070；2 甘肅省證據(jù)科學(xué)技術(shù)研究與應(yīng)用重點(diǎn)實(shí)驗(yàn)室 甘肅 蘭州 730070）

1 引言

人臉及其表情識(shí)別技術(shù)是智能圖像處理中的一個(gè)重要分支，是安全防范工程中常用的一種技術(shù)，在當(dāng)前嚴(yán)峻的治安形勢(shì)下，利用監(jiān)控圖像對(duì)畫面中的人物進(jìn)行人臉識(shí)別和表情檢測(cè)不失為一種有效手段，尤其是在公安技術(shù)中[1]，利用測(cè)謊儀對(duì)受測(cè)者進(jìn)行測(cè)謊時(shí)，通過(guò)直接物理接觸（主要指皮膚接觸）方法對(duì)受測(cè)者采集生理信號(hào)時(shí)，往往會(huì)由于受測(cè)者對(duì)測(cè)謊設(shè)備的抵觸、緊張等原因增加測(cè)謊的失誤率，若能以視頻圖像分析為輔助，將對(duì)測(cè)謊的有效性具有重要幫助意義。

在一個(gè)完整的表情識(shí)別系統(tǒng)中，表情特征提取是人臉表情識(shí)別過(guò)程中一個(gè)重要組成部分，表情特征的有效性直接決定著表情識(shí)別的準(zhǔn)確性，它對(duì)整個(gè)表情識(shí)別系統(tǒng)有著決定性的作用。在表情特征提取方法中，基于靜態(tài)表情紋理提取法是其中最主要的一種，常用的靜態(tài)紋理特征提取方法主要有基于小波提取方法[2]和基于局部二元模式（Local Binary Pattern，LBP）提取方法[3-4]。基于小波的方法能以人類視覺方法較好的提取紋理特征，但該方法對(duì)內(nèi)存和時(shí)間的要求較高，不利于實(shí)時(shí)系統(tǒng)的建立；利用LBP方法以及它的改進(jìn)方法由于其簡(jiǎn)便性也被常用于表情特征提取。然而不管是基于小波方法還是基于LBP的方法，都存在提取到的特征維數(shù)過(guò)高的問(wèn)題，針對(duì)此問(wèn)題，提出一種降維算法，該算法將圖像歐式距離（Image Euclidean Distance，IMED）嵌入于LLE（Local Linear Embedding）方法中，得到一種改進(jìn)的特征提取方法。

2 圖像預(yù)處理

對(duì)于一個(gè)完整的圖像識(shí)別系統(tǒng)來(lái)說(shuō)，源圖像的選擇和預(yù)處理是必不可少的工作，本文中所用的實(shí)驗(yàn)圖像均來(lái)源于日本女性人臉表情庫(kù)（JAFFE），該表情庫(kù)中的人臉圖像尺寸大小一致，沒有過(guò)多背景干擾，已經(jīng)被多種人臉及表情識(shí)別的研究作為源圖像，是學(xué)術(shù)界公認(rèn)的適合用作于亞洲人臉表情圖像識(shí)別的實(shí)驗(yàn)源圖像。為減少由于光照、噪聲等因素的影響，在對(duì)圖像進(jìn)行特征提取前，對(duì)表情圖像進(jìn)行灰度歸一化處理，完成歸一化處理后利用灰度積分投影[5]的方法得到人臉表情圖像。根據(jù)灰度積分投影方法原理，若圖像不同區(qū)域中有較明顯的灰度變化，則投影曲線也將會(huì)發(fā)生躍變，形成波峰或波谷，這對(duì)于表情圖像中特征點(diǎn)的位置的確定，尤其是眼球的坐標(biāo)很有幫助。為能獲取最佳的包含有表情的人臉，本文中利用二次灰度積分投影的方法實(shí)現(xiàn)人臉的精確檢測(cè)和定位。

第一次灰度投影是對(duì)整個(gè)含有人臉表情圖像進(jìn)行積分檢測(cè)，分別對(duì)垂直方向和水平方向上進(jìn)行積分投影，得積分投影曲線如圖1～2所示。圖中標(biāo)記的位置分別是原始圖像水平方向（臉頰部位）坐標(biāo)和原始圖像垂直部位（眼眼睛部位）坐標(biāo)，由此根據(jù)人臉的五官比例得到較為準(zhǔn)確且完整人臉圖

對(duì)第一次灰度積分投影定位得到的圖像再次進(jìn)行積分投影，得到的積分到投影曲線如圖3～4所示。獲得鼻梁水平位置的坐標(biāo)（即得眼部水平方向坐標(biāo)）及眼睛部位的精確垂直方向的坐標(biāo)，利用已得出的人臉中軸線和圖像中眼睛部位的垂直坐標(biāo)，再次按照人臉五官比例裁剪即可得到精確的人臉表情圖像。

最后進(jìn)行尺寸的歸一化處理，分別得到不同尺寸的表情圖像，用以后續(xù)實(shí)驗(yàn)作對(duì)比。圖像預(yù)處理示意如圖5中第二次積分投影確定圖像所示。

圖1 人臉垂直積分投影

圖2 人臉?biāo)椒e分投影

圖3 眼部坐標(biāo)垂直投影

圖4 眼部坐標(biāo)水平投影

圖5 圖像預(yù)處理裁剪

3 初級(jí)高維特征提取

原始的LBP方法[6]是利用一個(gè)算子模板，將算子模板中心的像素的像素值與周圍像素的像素值作簡(jiǎn)單比較，大于等于中心像素值的標(biāo)記為1，小于中心像素值的標(biāo)記為0，然后按照順時(shí)針或逆時(shí)針得到一組二進(jìn)制數(shù)，這組二進(jìn)制數(shù)即是算子模板中心原像素點(diǎn)的LBP值，對(duì)整幅圖像中每個(gè)像素點(diǎn)都用此模板操作，得到整個(gè)圖像的LBP碼，將由LBP碼組成的直方圖為本幅圖像的LBP特征，如公式（1）所示：

其中，P代表算子模板中與中心點(diǎn)的近鄰點(diǎn)的個(gè)數(shù)，R代表模板中近鄰點(diǎn)與中心點(diǎn)的半徑，是中心像素點(diǎn)）的近鄰點(diǎn)，定義如下：

局部定向模式（Local Directional Pattern，LDP）[7]算法，是對(duì)LBP算子的改進(jìn)，與LBP算法相比，LDP對(duì)于光照和噪聲具有更好的魯棒性。以一個(gè)固定為3×3的模板算子為例，一共有9個(gè)灰度值，利用Kirsch算子對(duì)中心像素點(diǎn)周圍的8個(gè)像素點(diǎn)進(jìn)行計(jì)算，得到每個(gè)不同方向上的Kirsch值，記為。然后依次選取k個(gè)較大的值作為主要特征值，并將這k個(gè)灰度值賦值為1，其它的賦值為0，得到一組二進(jìn)制數(shù)。這個(gè)二進(jìn)制值即為該3×3算子模塊中心值的特征值，記為該點(diǎn)的值，如公式（2）所示：

圖6 LBP和LDP方法提取到的圖譜

4 嵌入圖像歐式距離的LLE降維算法

在各種分類方法的計(jì)算過(guò)程中，樣本距離的計(jì)算常常是必不可少的，對(duì)于圖像識(shí)別來(lái)說(shuō)，最簡(jiǎn)單的方法莫過(guò)于將不同圖片按照像素點(diǎn)灰度值進(jìn)行逐個(gè)比較，但這種方法往往會(huì)因圖像的輕微變動(dòng)而造成兩張相似圖片得到較大距離，從而造成誤判。基于此考慮WANG L等人提出圖像歐式距離[8]，該方法與傳統(tǒng)方法計(jì)算利用公式（3）得到的歐氏距離不同，它在進(jìn)行圖像對(duì)比時(shí)將圖像灰度值所對(duì)應(yīng)的位置考慮進(jìn)去，利用公式（4）得到圖像歐式距離

由IMED方法的原理可見，它能減少由于圖像的輕微變形或擾動(dòng)造成的比較誤差，尤其是對(duì)于表情圖像識(shí)別時(shí)同一表情表現(xiàn)程度不同而形成的紋理的比較，效果尤為明顯。但在進(jìn)行圖片分類識(shí)別時(shí)，若完全以整個(gè)圖像的灰度值作為特征分類，即使利用IMED方法，也會(huì)出現(xiàn)特征信息量嚴(yán)重冗余，分類方法復(fù)雜度指數(shù)增加等問(wèn)題，造成分類錯(cuò)誤?；诖?，需要有一種降維方法提取出有效的分類特征，而流行降維是一種通過(guò)局部線性關(guān)系的聯(lián)合來(lái)解釋全局非線性結(jié)構(gòu)的非線性降維[9]方法，對(duì)于解決人臉識(shí)別與表情識(shí)別這一類具有較多相似性圖片的分類問(wèn)題有較好的效果。

本文利用LLE[10]方法，它是流形方法的其中一種，其基本思想是：在一個(gè)樣本空間中，對(duì)于其中任意一個(gè)樣本點(diǎn)來(lái)說(shuō)，都可以用其周圍有限個(gè)樣本點(diǎn)來(lái)線性表述，在計(jì)算的過(guò)程中得到一個(gè)能最佳重構(gòu)原樣本的權(quán)值向量，從而將樣本從高維空間變換到低維空間。

采用LLE方法將表情特征從高維向量空間變換到低維空間，即可得到各種表情的本質(zhì)幾何特征，但考慮人臉的非剛體性等特點(diǎn)，為得到更好的表情特征，實(shí)現(xiàn)較好的識(shí)別率，將圖像歐式距離方法與LLE方法結(jié)合。

嵌入圖像歐式距離的LLE特征提取方法具體過(guò)程描述如下：

（1）獲取含有高維表情特征的樣本X。利用公式（1）和（2）得到每張表情圖像的LBP和LDP圖譜，由此得到訓(xùn)練樣本集合

（2）將圖像歐式距離嵌入到高維表情圖譜中。由（5）公式可知， 的計(jì)算方法與圖像中像素的灰度值無(wú)關(guān)，只和圖像中像素點(diǎn)的坐標(biāo)位置有關(guān)系，即只與圖像大小有關(guān)系，所以 可以被事先計(jì)算好。為提高實(shí)際使用中的計(jì)算效率，Liwei Wang，Yan Z hang等人提出一種ST（Standardizing Transform）的變化方法，用以計(jì)算，從 而避免不必要重復(fù)的計(jì)算。將分解為與分別是的特征向量和特征值。由此原始圖像變?yōu)椋?/p>

則圖像歐式距離變?yōu)椋?/p>

由（7）公式中可以看出，高維特征圖像經(jīng)過(guò)變換后作為特征提取時(shí)，就相當(dāng)于將IMED方法嵌入了，也就是說(shuō)不用等到提取特征時(shí)再嵌入IMED，從而避免了重復(fù)計(jì)算，提高計(jì)算效率。本步驟實(shí)際是對(duì)LBP及LDP圖像嵌入IMED，為更明顯體現(xiàn)視覺效果，對(duì)未做基本紋理提取的原圖像嵌入IMED，如圖7所示。

圖7 嵌入IMED前后圖像對(duì)比

5 實(shí)驗(yàn)結(jié)果與分析

選擇JAFFE圖庫(kù)中7種表情，每種30張共210張人臉表情圖像，對(duì)這些表情圖像按照文中的方法進(jìn)行預(yù)處理，分別得到分辨率為64×64，48×48，2×32，16×16大小的圖像。對(duì)得到的不同分辨率的表情圖像分別用LBP、LDP方法提取得到高維表情特征，然后分別再用改進(jìn)前與改進(jìn)后的LLE方法對(duì)已經(jīng)提取的高維特征進(jìn)行降維，最后用最近鄰方法分類[11]?；诓煌椒ê筒煌直媛时砬樽R(shí)別得到的識(shí)別率如圖8～11所示。

整體分析圖中的識(shí)別率曲線，利用LDP提取紋理特征的方法得到的識(shí)別效果要好于LBP方法，說(shuō)明LDP方法在一定程度上優(yōu)于LBP方法。

圖8 16×16分辨率表情識(shí)別率曲線

圖8中，16×16分辨率圖像的表情識(shí)別率曲線中，LBP+IMLLE方法得到的效果最好，在不同維數(shù)情況下（60～140），識(shí)別率較穩(wěn)定（70%～75%），魯棒性較強(qiáng)，LDP+IMLLE方法在降維后維數(shù)為80左右得到的表情識(shí)別率接近于LBP+IMLLE方法。

圖9 32×32分辨率表情識(shí)別率曲線

圖9中，32×32分辨率圖像的表情識(shí)別率曲線中，LDP+IMLLE方法的效果與使用像素為16×16分辨率的圖像相比，有明顯提高，使用LBP+IMLLE方法得到的識(shí)別效果與于LDP+LLE方法得到的效果相近，但均高于未改進(jìn)前的方法。

圖10 48×48分辨率表情識(shí)別率曲線

圖10中，48×48分辨率圖像表情識(shí)別率曲線中，同32×32相比，LDP+IMLLE方法最高識(shí)別率高于80%。

圖11 64×64分辨率表情識(shí)別率曲線

圖11中，64×64分辨率圖像表情識(shí)別率曲線中，與48×48，32×32相比，最高識(shí)別率有所下降，但不同維數(shù)情況下識(shí)別率保持穩(wěn)定，尤其是LDP+IMLLE方法在維數(shù)為60～130情況下基本保持在75%以上，這對(duì)不同情況下選取降維后的維數(shù)是重要的參考依據(jù)。

綜上所述，可以看出：

（1）利用LDP方法得到的表情識(shí)別效果要好于LBP方法得到的識(shí)別效果，這種情況在圖9～11中表現(xiàn)的尤為明顯，其識(shí)別率要高出近8%～10%。

（2）嵌入IMED的LLE降維方法得到更為穩(wěn)定的識(shí)別率，尤其是在圖8、9、11中，最為明顯在維數(shù)為60～130均保持在一個(gè)穩(wěn)定的范圍內(nèi)，這對(duì)于多樣本降維過(guò)程中低維維數(shù)的確定提供了一種較大的選擇范圍，同時(shí)也說(shuō)明嵌入IMED方法的LLE對(duì)于人臉表情識(shí)別過(guò)程中的降維具有更好的效果。

（3）文中提出的嵌入IMED方法的LLE算法在對(duì)LBP及LDP圖譜做表情識(shí)別時(shí)好于ZI-LU YING等提出SLLE+LBP的表情識(shí)別方法[12]。SLLE+LBP方法得到的最高識(shí)別率為71.5%，而本文中無(wú)論是基于LBP還是基于LDP圖譜的方法得到的識(shí)別率均高于此值。

本文所有實(shí)驗(yàn)的代碼運(yùn)行均是利用MATLAB2010a軟件完成，硬件平臺(tái)是英特爾酷睿i5處理器（2.9GHz），4G內(nèi)存的PC機(jī)。

6 結(jié)束語(yǔ)

本文對(duì)表情識(shí)別系統(tǒng)中特征提取的降維方法提出了一種改進(jìn)算法，在原有的局部線性嵌入方法（LLE）的基礎(chǔ)上，將圖像歐式距離（IMED）嵌入其中。對(duì)不同分辨率的表情圖像分別提取LBP和LDP特征，利用改進(jìn)后的降維方法得到低維表情特征，利用低維特征對(duì)不同的表情分類。對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析，表明改進(jìn)后的方法提取到的表情特征更加穩(wěn)定。該方法可作為微表情識(shí)別及表情測(cè)謊中的表情特征提取的重要參考。

參考文獻(xiàn)：

[1] 肖軍.人臉識(shí)別技術(shù)在追逃工作中的應(yīng)用現(xiàn)狀與展望[J].刑事技術(shù),2016(2):137-141.

[2] 牛連強(qiáng), 趙子天, 張勝男. 基于Gabor特征融合與LBP直方圖的人臉表情特征提取方法[J]. 沈陽(yáng)工業(yè)大學(xué)學(xué)報(bào),2016(1):63-68.

[3] Ji Y, Idrissi K. Facial Expression Recognition by Automatic Facial Parts Position Detection with Boosted-LBP[C]//IEEE.IEEE International Conference on Signal-Image Technology& Internet-Based Systems (SITIS). Washington DC:IEEE Computer Society,2009:28-35.

[4] 姜銳,許建龍,張愛朋.基于改進(jìn)LBP的人臉表情識(shí)別[J].浙江理工大學(xué)學(xué)報(bào),2013(4):546-549.

[5] 馬艷妮,耿國(guó)華,周明全,等.臉部特征點(diǎn)的定位與提取方法[J].計(jì)算機(jī)工程與應(yīng)用,2009(18):167-170.

[6] Ojala T,Pietikainen M,Maenpaa T.MultiresolutionGray Scale and Rotation Invariant Texture Analysis with Local Binary Patterns[J].IEEE Trans on Pattern Analysis and Machine Intelligence,2002(7):971-987．

[7] Taskeed Jabid,Md Hasanul Kabir,Oksam Chae.Local Directional Pattern (LDP)-A Robust Image Descriptor for Object Recognition[C]//IEEE. IEEE International Conference on Advanced Video and Signal Based Surveillance(AVSS).Washington DC:IEEE Computer Society,2010:482-487.

[8] WANG L,ZHANG Y,FENG J. On the Euclidean distance of image[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2005(8):1334-1339．

[9] 馬瑞,王家廞,宋亦旭. 基于局部線性嵌入(LLE)非線性降維的多流形學(xué)習(xí)[J]. 清華大學(xué)學(xué)報(bào)(自然科學(xué)版),2008(4):582-585.

[10] Roweis S,Saul L.Nonlinear dimensionality reduction by locally linear embedding[J].Science,2000(5500):2323-2326．

[11] 祝磊,朱善安.基于2維保局投影的人臉識(shí)別[J].中國(guó)圖象圖形學(xué)報(bào),2007(11):2043-2047.

[12] Ying Z L,ZHANG Y W,Li J W. Manifold Learning Approach to Facial Expression Recognition on Local Binary Pattern Features[C]//IEEE.IEEE International Conference on Machine Learning and Cybernetics.Baoding:IEEE,2009:405-410.