韋妍

廣東女子職業(yè)技術(shù)學(xué)院 廣東 511450

0 引言

人臉表情是人們之間非語(yǔ)言交流時(shí)的最豐富的資源和最容易表達(dá)人們感情的一種有效方式，在人們的交流中起著非常重要的作用。表情含有豐富的人體行為信息，是情感的主載體，通過(guò)臉部表情能夠表達(dá)人的微妙的情緒反應(yīng)以及人類對(duì)應(yīng)的心理狀態(tài)，由此可見(jiàn)表情信息在人與人之間交流中的重要性。人臉表情識(shí)別技術(shù)隨著人們對(duì)表情信息的日益重視而受到關(guān)注，成為目前一個(gè)研究的熱點(diǎn)。所謂人臉表情識(shí)別，就是利用計(jì)算機(jī)進(jìn)行人臉表情圖像獲取、表情圖像預(yù)處理、表情特征提取和表情分類的過(guò)程，它通過(guò)計(jì)算機(jī)分析人的表情信息，從而推斷人的心理狀態(tài)，最后達(dá)到實(shí)現(xiàn)人機(jī)之間的智能交互。表情識(shí)別技術(shù)是情感計(jì)算機(jī)研究的內(nèi)容之一，是心理學(xué)、生理學(xué)、計(jì)算機(jī)視覺(jué)、生物特征識(shí)別、情感計(jì)算、人工心理理論等多學(xué)科交叉的一個(gè)極富挑戰(zhàn)性的課題，它的研究對(duì)于自然和諧的人機(jī)交互、遠(yuǎn)程教育、安全駕駛等都有重要的作用和意義。

1 國(guó)內(nèi)外研究的發(fā)展與現(xiàn)狀

國(guó)際上對(duì)人臉表情的分析與識(shí)別的研究工作可分為基于心理學(xué)和計(jì)算機(jī)兩類。早在 1872年，生物學(xué)家達(dá)爾文所做的心理實(shí)驗(yàn)就表明，面部表情的含義不會(huì)隨著國(guó)家、種族、性別的不同而不同。1978年美國(guó)心理學(xué)家Ekman和Friesen開(kāi)發(fā)了面部動(dòng)作編碼系統(tǒng)(Facial Action coding system，F(xiàn)ACS)，以此來(lái)檢測(cè)面部表情的細(xì)微變化。在這個(gè)系統(tǒng)中，他將表情分為六個(gè)基本類別：悲傷、高興、恐懼、厭惡、憤怒和驚奇，說(shuō)明了與無(wú)表情人臉特征相比，這六種表情的人臉特征具有相對(duì)獨(dú)特的肌肉運(yùn)動(dòng)規(guī)律。后來(lái)大多數(shù)學(xué)者的研究都是建立在FACS系統(tǒng)的基礎(chǔ)上的，所以說(shuō)這一系統(tǒng)的提出具有里程碑的意義。

計(jì)算機(jī)方面，最初對(duì)表情識(shí)別做了嘗試的是 Suwa和Sugie等人。1978年，他們對(duì)選定的連續(xù)圖像序列中臉部固定的20個(gè)點(diǎn)進(jìn)行跟蹤識(shí)別，并與原型模式((Prototype patterns)進(jìn)行比較以實(shí)現(xiàn)識(shí)別。同年，Terzopoulous和Waters運(yùn)用了簡(jiǎn)化的 Ekman-Friesen模型，用計(jì)算機(jī)產(chǎn)生人臉動(dòng)畫(huà)，同時(shí)也做了人臉視頻序列的表情分析。直到1981年才有學(xué)者從肌肉角度的觀點(diǎn)出發(fā)，用仿生學(xué)方法為面部表情建立模型。

到目前為止，人臉表情識(shí)別已經(jīng)經(jīng)過(guò)了四十多年的發(fā)展。尤其是近些年來(lái)，隨著計(jì)算機(jī)軟件技術(shù)的發(fā)展和硬件性能的提高，它更成為一個(gè)熱門(mén)的研究課題。英國(guó)、美國(guó)、日本等經(jīng)濟(jì)發(fā)達(dá)國(guó)家和發(fā)展中國(guó)家如印度、新加坡都有專門(mén)的研究組進(jìn)行這方面的研究。其中美國(guó)的麻省理工學(xué)院(MIT)的多媒體實(shí)驗(yàn)室的感知計(jì)算組、斯坦福大學(xué)、卡耐基梅隆大學(xué)(CMU)機(jī)器人研究所、東京大學(xué)、大阪大學(xué)的貢獻(xiàn)尤為突出。

到目前為止，國(guó)外的人臉表情識(shí)別的方法大致可以分為五類：

(1) 基于幾何特征提取的方法

基于幾何特征的表情識(shí)別是指對(duì)嘴、眉毛、鼻子、眼睛等這些人臉表情的顯著特征的形狀和位置變化進(jìn)行定位和測(cè)量，確定它的形狀、大小、距離及相互比例，進(jìn)行表情識(shí)別的方法。Bourel等人定義了面部特征點(diǎn)之間的九個(gè)距離并通過(guò)它們構(gòu)建了表情特征向量進(jìn)行表情分析。Chibelushi等人也采用了面部幾何特征點(diǎn)并采用 Kanade-Tucas-Tomasi特征點(diǎn)跟蹤算法實(shí)現(xiàn)特征點(diǎn)跟蹤，然后通過(guò)計(jì)算得到九個(gè)特征系數(shù)，而這九個(gè)系數(shù)構(gòu)成了特征流，描述了由于表情的發(fā)生而引起的面部特征點(diǎn)的幾何關(guān)系的變化。Pantic等人進(jìn)行面部特征檢測(cè)并確定面部幾何關(guān)系，然后他們通過(guò)規(guī)則推理系統(tǒng)將這種面部幾何關(guān)系轉(zhuǎn)化為面部動(dòng)作單元的活動(dòng)，最終通過(guò)專家系統(tǒng)實(shí)現(xiàn)表情識(shí)別。Ying-li Tian等人采用幾何特征提取與神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法對(duì)正面或接近正面的面部圖像進(jìn)行表情識(shí)別，其中提取幾何特征主要包括對(duì)于關(guān)鍵部位的定位特征和表情區(qū)的形狀特征。

(2) 基于統(tǒng)計(jì)特征提取的方法

與提取圖像的幾何特征相比，這種統(tǒng)計(jì)特征是基于圖像的整體灰度特征，它強(qiáng)調(diào)盡可能多的保留原始人臉表情圖像中的信息，通過(guò)對(duì)整幅人臉表情圖像或其中特別的區(qū)域進(jìn)行變換，以此獲取人臉各種表情的特征來(lái)進(jìn)行識(shí)別。這方面比較有代表的方法是主成分分析法(PCA)，它曾經(jīng)是人臉識(shí)別中最常用的方法。1999年，Ginalucal等人在以前人臉識(shí)別算法的基礎(chǔ)上，將PCA算法應(yīng)用到人臉表情識(shí)別上，實(shí)驗(yàn)結(jié)果表明，當(dāng)取前 30個(gè)主分量并使用歐氏距離時(shí)，達(dá)到了最好的79.3%的識(shí)別率。2001年，Andrew J.Calder等人分別從社會(huì)科學(xué)和識(shí)別理論兩個(gè)方面說(shuō)明了主成分分析的有效性和可行性。PCA現(xiàn)在己經(jīng)成功地應(yīng)用于人臉識(shí)別和表情識(shí)別，但是由于在PCA中，只有圖像數(shù)據(jù)當(dāng)中的二階統(tǒng)計(jì)信息被考慮到了，而高階統(tǒng)計(jì)信息并沒(méi)有利用到，在1998年Bartlett提出了基于獨(dú)立分量分析ICA的算法。ICA把n幅原始圖像看成是m幅特征圖像的線性組合，對(duì)這m幅特征圖像進(jìn)行獨(dú)立分量，然后就可以得到特征圖像。C.Havran等也是采用了相似的方法，首先對(duì)圖像進(jìn)行PCA特征提取，然后進(jìn)行獨(dú)立分量分析，試驗(yàn)表明，與單獨(dú)使用主分量分析的表情提取方法相比，這種表情提取方法更加有效，而且對(duì)主分量的特征空間維數(shù)的選擇具有更低的敏感度。Buciu等利用ICA進(jìn)行了表情識(shí)別，該方法將ICA與支持向量機(jī)(SVM)聯(lián)合使用，達(dá)到了分類的目的并取得了很好的效果。

(3) 基于頻率域特征提取的方法

近來(lái)，越來(lái)越多的人關(guān)注Gabor小波并進(jìn)行深入研究，把它應(yīng)用于面部表情識(shí)別，也取得了不錯(cuò)的識(shí)別結(jié)果。Gabor小波核函數(shù)具有與人類大腦皮層簡(jiǎn)單細(xì)胞的二維反射區(qū)相同的特性，它相當(dāng)于一組窄帶帶通濾波器，其方向、基頻帶寬及中心頻率均可以調(diào)節(jié)，具有明顯的方向選擇和頻率選擇特性。TianYing-li 等人將人臉?lè)殖缮舷聝蓚€(gè)部分，再標(biāo)成一個(gè)個(gè)的運(yùn)動(dòng)單元，運(yùn)用Gabor小波對(duì)臉部運(yùn)動(dòng)單元進(jìn)行識(shí)別，最后結(jié)合幾何特征進(jìn)行表情的識(shí)別，達(dá)到了92.7%的識(shí)別率。Wen在一系列手工標(biāo)定的局部小區(qū)域提取平均Gabor小波系數(shù)作為紋理特征，同時(shí)引入了一種在人臉合成中使用的基于比例圖的方法來(lái)對(duì)紋理提取區(qū)域進(jìn)行預(yù)處理，以降低不同人臉差異和光照變化引起的人臉光照度不均的影響。Littlewort等采用Boosting方法選取Gabor特征，采用SVM進(jìn)行分類，識(shí)別率達(dá)93.3%。Kyperountas M等人以Gabor小波等多種特征提取算法為手段，結(jié)合新的分類器對(duì)靜態(tài)圖像進(jìn)行試驗(yàn)，取得了較好的識(shí)別率。

(4) 基于運(yùn)動(dòng)和形變特征提取的方法

基于運(yùn)動(dòng)和形變的特征提取方法關(guān)注由面部表情引起的面部變化。它們以中性臉作為參考面，首先分析各個(gè)面部特征區(qū)域內(nèi)的形變或運(yùn)動(dòng)信息，然后通過(guò)這些信息構(gòu)建特征向量進(jìn)行表情識(shí)別。基于梯度的光流場(chǎng)計(jì)算法最早是由Horn和schunk提出來(lái)的，隨后Mase首次利用光流來(lái)進(jìn)行人臉運(yùn)動(dòng)跟蹤，在FACS系統(tǒng)中的44個(gè)運(yùn)動(dòng)單元中，他利用光流檢測(cè)到了其中的12個(gè)。Essa和Pentland擴(kuò)展了這種方法，使用光流來(lái)估計(jì)面部解剖學(xué)和物理學(xué)模型中的面部運(yùn)動(dòng)。Tian等人把顴骨、眉毛、眼睛和嘴唇等作為特征點(diǎn)進(jìn)行跟蹤，通過(guò)隱藏的面部特征的變形獲得模型的輪廓，提出了一種不同的元素模型。Anderson使用光流法計(jì)算人臉的多渠道灰度模型，完成對(duì)人臉區(qū)域的跟蹤，最后用 SVM算法實(shí)現(xiàn)了表情分類。Irene Kotsia等人主要利用網(wǎng)格跟蹤算法跟蹤由于表情發(fā)生而產(chǎn)生變化的網(wǎng)格，并構(gòu)建變形系統(tǒng)進(jìn)行識(shí)別。實(shí)驗(yàn)結(jié)果表明，識(shí)別六種表情的識(shí)別率達(dá)到了99.7%，而AU的識(shí)別率則達(dá)到95.1%。

(5) 基于模型的方法

基于模型的方法以圖像中人臉對(duì)象的形狀和紋理結(jié)構(gòu)為基礎(chǔ)建立二維或三維模型，以此模型的參數(shù)化變形來(lái)適配人臉圖像中的人臉部分，這些模型的參數(shù)就是所提取的特征。Huang等人提出了一種點(diǎn)分布模型PDM，模型由面部的90個(gè)特征點(diǎn)構(gòu)成，通過(guò)它能夠獲得10個(gè)運(yùn)動(dòng)參數(shù)，最后根據(jù)這些動(dòng)參數(shù)來(lái)實(shí)現(xiàn)表情識(shí)別?；顒?dòng)外觀模型AAM也是一種模型的方法，是由Cootes等人在1998年提出的。它以目標(biāo)對(duì)象變化的程度作為參數(shù)描述，是一種圖像特征定位方法。CriStinacce等人結(jié)合 AAM 和特征響應(yīng)成對(duì)增強(qiáng)算法(PRFR)，用來(lái)檢測(cè)面部邊緣的一些特征以及嘴角、眼眶、鼻尖等局部區(qū)域的特征點(diǎn)。Jaewon Sung等人于2007年提出了一種新的結(jié)合兩種模型的匹配方法，這種方法將 ASM轉(zhuǎn)變?yōu)轭愃朴贏AM的以梯度為基礎(chǔ)的搜索算法，并將AAM和ASM 的誤差項(xiàng)結(jié)合在一個(gè)以梯度為基礎(chǔ)的最優(yōu)模型中。Cheon和Kim提出了Differential-AAM和流形學(xué)習(xí)相結(jié)合的人臉表情識(shí)別算法，實(shí)驗(yàn)證明該算法比AAM算法的識(shí)別率提高了20%。

國(guó)內(nèi)對(duì)人臉表情識(shí)別的研究比較晚，但發(fā)展卻是非常快速。清華大學(xué)、哈爾濱工業(yè)大學(xué)、中科院自動(dòng)化所、中科院計(jì)算所、聯(lián)合實(shí)驗(yàn)室、浙江大學(xué)等多所著名大學(xué)和研究機(jī)構(gòu)都投入相當(dāng)?shù)娜肆臀锪M(jìn)行人臉表情識(shí)別的研究。

哈爾濱工業(yè)大學(xué)高文教授領(lǐng)導(dǎo)的團(tuán)隊(duì)是我國(guó)最早進(jìn)行計(jì)算機(jī)表情分析、編碼與識(shí)別研究的團(tuán)隊(duì)。高文和金輝等通過(guò)對(duì)若干類面部表情圖像的分析，建立了基于部件分解組合的人臉圖像模型，在他們的另一篇文獻(xiàn)中，在對(duì)動(dòng)態(tài)表情圖像序列的時(shí)序分析的基礎(chǔ)上，提出了對(duì)混合表情的識(shí)別系統(tǒng)。中國(guó)科技大學(xué)的尹星云等用隱馬爾科夫模型(HMM)的基本理論和方法設(shè)計(jì)了人臉表情識(shí)別系統(tǒng)。余棉水等提出了一種基于光流的方法，利用光流技術(shù)跟蹤人臉表情圖像序列中的特征點(diǎn)，然后提取特征向量，最后利用神經(jīng)網(wǎng)絡(luò)對(duì)六種基本表情進(jìn)行分類識(shí)別。鄧洪波和金連文提出了一個(gè)基于Gabor特征的人臉表情識(shí)別系統(tǒng)。該系統(tǒng)首先對(duì)表情圖像進(jìn)行預(yù)處理，并提取Gabor特征，然后用PCA+LDA方法進(jìn)行特征選擇，最后采用K近鄰分類方法識(shí)別人臉表情。趙浩和吳小俊在聯(lián)合主動(dòng)表觀模型和主動(dòng)形狀模型的基礎(chǔ)上，充分挖掘標(biāo)定點(diǎn)之間的聯(lián)系，提出一種局部紋理模型構(gòu)建方法。通過(guò)改進(jìn)匹配算法提高特征點(diǎn)的定位精度和匹配速度，結(jié)果表明其識(shí)別率較高。周書(shū)仁和梁昔明提出了融合獨(dú)立分量分析(ICA)與支持向量聚類(SVC)的人臉表情識(shí)別方法。

2 存在的問(wèn)題

人臉表情識(shí)別是一個(gè)具有重要意義而又富有挑戰(zhàn)性的課題，目前還處于研究階段，各種算法還在探索和驗(yàn)證中，還不十分成熟。歸總來(lái)看，目前人臉表情識(shí)別的主要難點(diǎn)是：(1)對(duì)各種表情的體驗(yàn)。人的情緒是細(xì)微多變的，隨之的表情變化也顯得非常復(fù)雜，如有輕松的和緊張的、緩和的和激動(dòng)的、細(xì)微的和強(qiáng)烈的等諸多形式，而現(xiàn)在的識(shí)別方法對(duì)比較夸張和明顯的表情能夠有較好的識(shí)別率，但是對(duì)變化不太明顯的表情識(shí)別率是較低的。(2)受不同年齡、種族、性別、頭發(fā)、飾物等的影響較大。(3)光照和人臉姿態(tài)對(duì)識(shí)別結(jié)果影響較大。(4)建立一個(gè)理想的人臉表情模型并不容易。因?yàn)槿四槻皇且粋€(gè)剛體，而是一個(gè)柔性體，很難用模型來(lái)準(zhǔn)確描述。

總之，人臉表情識(shí)別技術(shù)作為一種高端生物特征識(shí)別技術(shù)，有著極其廣闊的應(yīng)用前景，將會(huì)涉及到人們?nèi)粘Ｉ畹脑S多方面，對(duì)改善和提高人們的生活質(zhì)量以及生活方式都有極其重要的作用和意義。

[1]張翠平,蘇光大.人臉識(shí)別技術(shù)綜述.中國(guó)圖象圖形學(xué)報(bào).2000.

[2]高文,金輝.面部表情圖像的分析與識(shí)別.計(jì)算機(jī)學(xué)報(bào).2005.

[3]尹星云,王洵,董蘭芳,萬(wàn)壽紅.用隱馬爾可夫模型設(shè)計(jì)人臉表情識(shí)別系統(tǒng).電子科技大學(xué)學(xué)報(bào).2003.

[4]余棉水,黎紹發(fā).基于光流的動(dòng)態(tài)人臉表情識(shí)別[J].微電子學(xué)與計(jì)算機(jī).2005.

[5]鄧洪波,金連文.一種基于局部 Gabor濾波器組及 PCA+LDA的人臉表情識(shí)別方法[J].中國(guó)圖象圖形學(xué)報(bào).2007.

[6]趙浩,吳小俊.基于改進(jìn)聯(lián)合模型的人臉表情識(shí)別.計(jì)算機(jī)工程.2010.

[7]周書(shū)仁,梁昔明.融合獨(dú)立分量分析與支持向量聚類的人臉表情識(shí)別方法.計(jì)算機(jī)應(yīng)用.2011.