張 人，何 寧

1.北京聯(lián)合大學(xué) 北京市信息服務(wù)工程重點(diǎn)實(shí)驗(yàn)室，北京100101

2.北京聯(lián)合大學(xué) 智慧城市學(xué)院，北京100101

面部表情作為人表現(xiàn)情感的主要方式之一，在過(guò)去的幾十年里，關(guān)于各種表情識(shí)別的研究已經(jīng)取得重要的進(jìn)展[1-6]。這幾年，關(guān)于自發(fā)式的表情（spontaneous expression）的識(shí)別成為了新的研究熱點(diǎn)[7-8]，而微表情往往是在人想壓抑自己感情時(shí)產(chǎn)生的，這既無(wú)法偽造也無(wú)法抑制[9]。完整的面部表情通常持續(xù)0.5～4 s[10]，比較容易被人識(shí)別。然而，心理學(xué)認(rèn)為，當(dāng)一個(gè)人試圖隱藏自己真實(shí)情感時(shí)，偶爾會(huì)有情感泄露出來(lái)。微表情首次發(fā)現(xiàn)于1966年[11]。三年后，Ekman等人[12]在分析一段試圖自殺的病人的采訪視頻時(shí)使用了微表情這個(gè)詞。微表情通常在1/25～1/2 s[13]之間不受控制地變化，并且出現(xiàn)頻率較低，未經(jīng)過(guò)訓(xùn)練的個(gè)體對(duì)其識(shí)別能力并不高[14]。而不同的研究者報(bào)告的結(jié)果也存在著較大的差異[15-16]。在這之后，Ekman和Friesen于1979年提出了短暫表情識(shí)別測(cè)驗(yàn)（Brief Affect Recognition Test，BART）[17]。在后續(xù)的實(shí)驗(yàn)中他們發(fā)現(xiàn)了被試者的微表情識(shí)別能力與謊言識(shí)別能力成正相關(guān)[18]。之后，進(jìn)行了日本人與高加索人短暫表情識(shí)別測(cè)驗(yàn)（Japanese and Caucasian Brief Affect Recognition Test，JACBART）[19-20]，該實(shí)驗(yàn)也驗(yàn)證了被試者的微表情識(shí)別能力與謊言識(shí)別能力成正相關(guān)[21]，可以證明微表情能有效的幫助人們識(shí)別謊言。

人臉的微表情識(shí)別涉及圖像處理和分析、計(jì)算機(jī)視覺(jué)、人工智能、心理學(xué)、生物學(xué)等方向。Ekman等人[15]在2002 年開(kāi)發(fā)出微表情識(shí)別的工具——METT（Micro Expression Training Tool）。研究表明，METT工具平均可以提高個(gè)體對(duì)于微表情識(shí)別能力的30%～40%。此外，還設(shè)計(jì)了面部動(dòng)作編碼系統(tǒng)（Facial Action Coding System，F(xiàn)ACS）[22]，根據(jù)人臉的解剖學(xué)特點(diǎn)，將其劃分成若干既相互獨(dú)立又相互聯(lián)系的運(yùn)動(dòng)單元（Action Unit，AU），并分析了這些運(yùn)動(dòng)單元的運(yùn)動(dòng)特征及其所控制的主要區(qū)域以及與之相關(guān)的表情，并給出了大量的照片說(shuō)明。盡管人類(lèi)的情緒復(fù)雜多樣，但仍可分成6個(gè)基本情緒類(lèi)別[23-24]，因此研究人員將不同的運(yùn)動(dòng)單元組合編碼形成FACS碼來(lái)對(duì)應(yīng)不同的表情，主要分為開(kāi)心、憤怒、恐懼、悲傷、驚訝和其他。當(dāng)人們?cè)诒磉_(dá)內(nèi)心狀態(tài)和心理需求時(shí)，就會(huì)產(chǎn)生大量面部表情[25]，但由于微表情存在的時(shí)間過(guò)短，不容易被人眼所察覺(jué)，因此可使用計(jì)算機(jī)來(lái)解決這個(gè)問(wèn)題。

1 微表情識(shí)別相關(guān)技術(shù)

微表情是人面部微小的動(dòng)作變化，其中包括紋理變化。微表情的動(dòng)作太過(guò)微小且持續(xù)時(shí)間短，不容易被人眼所捕捉，因此可以借助機(jī)器視覺(jué)的方法對(duì)面部的微表情進(jìn)行研究。根據(jù)以上的特點(diǎn)，微表情識(shí)別的幾種主流的方法有，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）[26]、光流（Optical Flow）法、以及局部二值模式（Local Binary Pattern，LBP）[27]。

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）[26]自誕生以來(lái)在機(jī)器視覺(jué)、語(yǔ)音識(shí)別等各個(gè)領(lǐng)域廣泛應(yīng)用。通常CNN被用作對(duì)圖像類(lèi)輸入的特征提取和深度特征提取，在對(duì)提取的特征進(jìn)行分析后可以得到所需的輸出結(jié)果。微表情的特點(diǎn)是面部運(yùn)動(dòng)比較微小，若使用卷積神經(jīng)網(wǎng)絡(luò)通常需要使用其他輔助方法更改網(wǎng)絡(luò)的輸入，或更改優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，使網(wǎng)絡(luò)能提取到更有用的特征，從而提高對(duì)微表情識(shí)別的準(zhǔn)確率。

1.2 光流法

光流（Optical Flow）是空間運(yùn)動(dòng)物體在觀察成像平面上的像素運(yùn)動(dòng)的瞬時(shí)速度。光流法有幾個(gè)假設(shè)條件：首先要亮度恒定，一個(gè)像素點(diǎn)隨著時(shí)間的變化，其亮度值（像素灰度值）是恒定不變的。其次是小幅度運(yùn)動(dòng)，時(shí)間的變化不會(huì)引起位置的劇烈變化。這樣才能利用相鄰幀之間的位置變化引起的灰度值變化進(jìn)行光流特征提取。光流法是利用圖像序列中像素在時(shí)間域上的變化以及相鄰幀之間的相關(guān)性來(lái)找到上一幀跟當(dāng)前幀之間存在的對(duì)應(yīng)關(guān)系，從而計(jì)算出相鄰幀之間物體的運(yùn)動(dòng)信息的一種方法。微表情具有面部動(dòng)作較為微小，不易察覺(jué)的特點(diǎn)，因此光流法作為檢測(cè)微小運(yùn)動(dòng)的常用方法，對(duì)微表情的面部動(dòng)作識(shí)別有很大優(yōu)勢(shì)。在檢測(cè)到面部微表情的運(yùn)動(dòng)信息后，配合其他方法可對(duì)微表情進(jìn)行有效的識(shí)別。

1.3 局部二值模式及其改進(jìn)方法

局部二值模式（Local Binary Pattern，LBP）[27]可以有效地處理光照變化，在紋理分析、紋理識(shí)別等方面被廣泛應(yīng)用，具有灰度不變性和旋轉(zhuǎn)不變性等顯著優(yōu)點(diǎn)。中心像素的LBP值反映了該像素周?chē)鷧^(qū)域的紋理信息，如圖1所示。由于該特征具有簡(jiǎn)單易算性，因此得到了廣泛的使用。

圖1 LBP算法描述

對(duì)于視頻圖像來(lái)說(shuō)，傳統(tǒng)的LBP算法無(wú)法應(yīng)用于視頻信號(hào)，因此，需要對(duì)LBP 算法進(jìn)行一些改進(jìn)。其中Zhao 等[28]提出了一種魯棒的動(dòng)態(tài)紋理描述子，對(duì)3 個(gè)正交平面進(jìn)行局部二進(jìn)制模式（Local Binary Patterns from Three Orthogonal Planes，LBP-TOP），已廣泛應(yīng)用于面部表情。為了同時(shí)考慮視頻的空間和時(shí)間信息，LBP-TOP擴(kuò)展了LBP。相比LBP，此方法考慮了3種類(lèi)型的平面(XY、XT、YT)而不是一個(gè)平面（空間XY）。給定一個(gè)視頻序列，可以將其分別看作沿時(shí)間T軸、空間Y軸和空間X軸的XY、XT和YT平面的堆棧。分別從三種類(lèi)型的平面導(dǎo)出3個(gè)直方圖，并連接成一個(gè)直方圖作為動(dòng)態(tài)視頻紋理描述符，如圖2所示[28]。

圖2 LBP-TOP特征提取

LBP-TOP 將LBP 算法的應(yīng)用擴(kuò)展到更高維度，可識(shí)別時(shí)序上的面部紋理，通過(guò)此方法關(guān)聯(lián)前后幀之間的信息，使LBP 算法應(yīng)用的更加廣泛。LBP-TOP 包含LBP的性質(zhì)，如在像素值集體增大或減小相同數(shù)值時(shí)對(duì)LBP-TOP 沒(méi)有影響，對(duì)于自然平行光的環(huán)境對(duì)圖像產(chǎn)生的干擾可以忽略，因此這種方法應(yīng)用到現(xiàn)實(shí)生活中的時(shí)候魯棒性較高。但這種方法是基于像素的，因此會(huì)增加提取特征的維度。 LBP最初的應(yīng)用是中心點(diǎn)像素與半徑為R的鄰域的P個(gè)像素點(diǎn)進(jìn)行對(duì)比，所產(chǎn)生的維度是2P，因此R為1時(shí)中心像素點(diǎn)和鄰域8個(gè)像素點(diǎn)所產(chǎn)生的維度是28=256。而在隨后的發(fā)展中，鄰域半徑R的不再是1，維度也呈指數(shù)增長(zhǎng)，為了解決這一問(wèn)題，Ojala等[27]提出了采用一種“等價(jià)模式”（Uniform Pattern）來(lái)對(duì)LBP 算子的模式種類(lèi)進(jìn)行降維。Ojala 等認(rèn)為，在實(shí)際圖像中，絕大多數(shù)LBP模式最多只包含兩次從1到0或從0到1的跳變。因此，將“等價(jià)模式”定義為：當(dāng)某個(gè)LBP 所對(duì)應(yīng)的循環(huán)二進(jìn)制數(shù)從0 到1 或從1 到0 最多有兩次跳變時(shí)，該LBP所對(duì)應(yīng)的二進(jìn)制就稱(chēng)為一個(gè)等價(jià)模式類(lèi)。這種方法使原始的256種減少為58種，即它把值分為59 類(lèi)，58 個(gè)uniform pattern 為一類(lèi)，其他的所有值為第59類(lèi)。因此，這種方法將維度由原來(lái)的2P變?yōu)镻(P-1)+2，直方圖從原來(lái)的256維變成59維。這使得特征向量的維數(shù)更少，并且可以減少高頻噪聲帶來(lái)的影響。而LBP-TOP 是LBP 在時(shí)間維度的應(yīng)用，因此維度為3×59，而在計(jì)算時(shí)，通常會(huì)將一幅圖像分為4×4 的blocks，每個(gè)block都會(huì)生成一個(gè)59×3的數(shù)組，最后生成的特征的維數(shù)是4×4×59×3=2 832，由此可見(jiàn)，LBP-TOP是一種高維特征，這對(duì)計(jì)算速度有著嚴(yán)重的影響，并且影響準(zhǔn)確率。

2 微表情識(shí)別方法

2.1 基于CNN對(duì)微表情識(shí)別的方法

CNN 是在處理圖像信號(hào)時(shí)常用的方法，但由于微表情變化較為微小，僅使用CNN效果并不是很好，因此一些文獻(xiàn)選擇對(duì)輸入的圖像進(jìn)行處理。傳統(tǒng)的微表情特征提取既需要考慮空間上的圖像特征，也需要考慮時(shí)間上的時(shí)序序列，一般都會(huì)對(duì)微表情從開(kāi)始到結(jié)束的所有幀進(jìn)行特征提取，而Liong 等[29]提出了微表情階段分類(lèi)器。首先利用時(shí)間信息將微表情分為起始、高峰、偏移三個(gè)階段，之后利用空間信息檢測(cè)強(qiáng)度變化。對(duì)比傳統(tǒng)的微表情特征提取方法，此方法僅用一段微表情的峰值（Apex）幀與初始（Onset）幀提取特征，增加了有效幀的數(shù)量，減少了計(jì)算量，并且效果超過(guò)了其他傳統(tǒng)方法。除此之外，劉汝涵等[30]提出一種基于眼部干擾消除的視頻放大方法，并利用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)微表情識(shí)別任務(wù)。首先將數(shù)據(jù)放大，提取其中的眼部位置坐標(biāo)。之后將使用原始眼部視頻替換到放大視頻中進(jìn)行圖像融合，以實(shí)現(xiàn)對(duì)眼部干擾的消除。最后使用VGG16 的思想設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)模型網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)情緒的識(shí)別。文中所應(yīng)用的局部放大技術(shù)在減少噪聲干擾后可以將微表情動(dòng)作放大，使肉眼都可看出運(yùn)動(dòng)的趨勢(shì)，可增加CNN網(wǎng)絡(luò)對(duì)微表情識(shí)別的準(zhǔn)確率。這兩種方法從不同的角度對(duì)輸入的圖像進(jìn)行處理，使CNN 網(wǎng)絡(luò)能夠更好的提取特征，提高識(shí)別的準(zhǔn)確率。

而另一些文獻(xiàn)則選擇改變網(wǎng)絡(luò)結(jié)構(gòu)，從而提高網(wǎng)絡(luò)對(duì)微表情識(shí)別的準(zhǔn)確率。Peng 等[31]提出雙時(shí)間尺度卷積神經(jīng)網(wǎng)絡(luò)（Dual Temporal Scale Convolutional Neural Network，DTSCNN）。DTSCNN 是一個(gè)雙流網(wǎng)絡(luò)，采用不同的DTSCNN流來(lái)適應(yīng)不同幀速率的微表情視頻片段。他們將Slow Fusion 模型和C3D 工具結(jié)合在一起以進(jìn)行微表情識(shí)別。DTSCNN是由DTSCNN64和DTSCNN128組成的兩流卷積網(wǎng)絡(luò)。在這個(gè)網(wǎng)絡(luò)中每一個(gè)流都由獨(dú)立的淺層網(wǎng)絡(luò)組成，可以有效避免過(guò)擬合問(wèn)題。網(wǎng)絡(luò)的不同流的設(shè)計(jì)可以適應(yīng)不同的幀速率，這可以使整個(gè)網(wǎng)絡(luò)對(duì)輸入數(shù)據(jù)的幀速率具有魯棒性。而賴(lài)振意等[32]提出了結(jié)合空洞卷積對(duì)微表情進(jìn)行識(shí)別。結(jié)合空洞卷積核及人臉自動(dòng)校正算法，完善CNN 網(wǎng)絡(luò)特征提取過(guò)程，通過(guò)自動(dòng)人臉矯正適應(yīng)實(shí)際應(yīng)用中的實(shí)時(shí)識(shí)別分類(lèi)。文中空洞卷積的優(yōu)勢(shì)在于彌補(bǔ)了池化過(guò)程當(dāng)中丟失信息的缺陷，可以提升網(wǎng)絡(luò)精度。目前微表情識(shí)別的網(wǎng)絡(luò)結(jié)構(gòu)多為維卷積神經(jīng)網(wǎng)絡(luò)，而梁正友等[33]提出了一種用于微表情識(shí)別的三維卷積神經(jīng)網(wǎng)絡(luò)進(jìn)化（Three-Dimensional Convolutional Neural Network Evolution，C3DEvol）的方法。這種方法能有效提取微表情在時(shí)間域和空間域上的特征，其采用的全局搜索和優(yōu)化能力的遺傳算法對(duì)C3D的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化，獲取最好的C3D 網(wǎng)絡(luò)結(jié)構(gòu)和避免局部?jī)?yōu)化。以上方法在對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行更改優(yōu)化后，可提高網(wǎng)絡(luò)對(duì)微表情識(shí)別的準(zhǔn)確率。

目前基于CNN對(duì)微表情特征提取大多都與光流方法提取相結(jié)合，這也是CNN 框架的優(yōu)點(diǎn)之一。但若使用CNN 進(jìn)行深度學(xué)習(xí)，對(duì)于目前的數(shù)據(jù)集來(lái)說(shuō)仍然無(wú)法實(shí)現(xiàn)，在現(xiàn)存的幾個(gè)數(shù)據(jù)集中所擁有的數(shù)據(jù)量無(wú)法滿(mǎn)足深度學(xué)習(xí)網(wǎng)絡(luò)的需求，容易造成過(guò)擬合，這導(dǎo)致CNN的巨大優(yōu)勢(shì)無(wú)法發(fā)揮。

2.2 基于光流法對(duì)微表情識(shí)別的方法

光流可檢測(cè)微小的動(dòng)作變化，Li等[34]提出了一種基于深度多任務(wù)學(xué)習(xí)的微表情檢測(cè)方法，研究了一種深度多任務(wù)學(xué)習(xí)方法來(lái)進(jìn)行面部地標(biāo)定位，并將面部區(qū)域分割成感興趣區(qū)域（ROIS）。面部肌肉的運(yùn)動(dòng)會(huì)產(chǎn)生微表情，因此，將穩(wěn)健的光流方法與HOOF（Histograms of Oriented Optical Flow）[35]特征相結(jié)合來(lái)評(píng)估面部肌肉的運(yùn)動(dòng)方向。最后，采用支持向量機(jī)（SVM）作為微表情檢測(cè)的分類(lèi)器。FACS 作為識(shí)別微表情的重要工具，需要眉毛、嘴角等各個(gè)面部位置的運(yùn)動(dòng)記錄。這種方法將ROIS 與HOOF 特征共同使用，所得出的結(jié)果與AU所對(duì)應(yīng)，可對(duì)微表情較為精確的做出識(shí)別。

對(duì)于微表情檢測(cè)往往是獨(dú)立的，而Shreve等[36]提出了一種由宏、微表情組成的長(zhǎng)視頻人臉表情自動(dòng)識(shí)別（時(shí)間分割）方法。該方法利用表情過(guò)程中非剛性運(yùn)動(dòng)對(duì)面部皮膚產(chǎn)生的應(yīng)力，用中心差分法計(jì)算每個(gè)受試者面部幾個(gè)區(qū)域（下巴、嘴、臉頰、前額）觀測(cè)到的強(qiáng)而密的光流場(chǎng)的應(yīng)變量級(jí)。這種方法能夠成功地檢測(cè)和區(qū)分宏表情和快速局部的微表情，對(duì)運(yùn)用在復(fù)雜場(chǎng)景下的微表情檢測(cè)提供了巨大的幫助。

現(xiàn)有的識(shí)別方法在處理細(xì)微的面部位移方面往往是無(wú)效的，因?yàn)楸挥^察的個(gè)體會(huì)不斷移動(dòng)。為了解決這一問(wèn)題，Xu 等[37]提出了一種新的面部動(dòng)力學(xué)映射方法來(lái)描述微表情在不同粒度下的運(yùn)動(dòng)。這種算法解決了在識(shí)別目標(biāo)移動(dòng)的情況下如何對(duì)微表情進(jìn)行識(shí)別，這對(duì)之后微表情識(shí)別的應(yīng)用有著很大的作用。

隨著科技的發(fā)展和社會(huì)的需要，對(duì)于微表情識(shí)別應(yīng)用于社會(huì)生活中的需求也越發(fā)迫切。光流法提取的特征主要為幾何特征，因此特征維度并不算高，可以作為實(shí)時(shí)微表情檢測(cè)的重要方法。其本身對(duì)于亮度較為敏感，當(dāng)亮度變化較大時(shí)，此方法就會(huì)失效，但在復(fù)雜場(chǎng)景中這種現(xiàn)象無(wú)法避免，對(duì)于光流法來(lái)說(shuō)，除了提高微表情識(shí)別準(zhǔn)確度，還要增強(qiáng)其泛化能力，使其能更好的應(yīng)用于社會(huì)生活中。

2.3 基于局部二值模式改進(jìn)方法對(duì)微表情識(shí)別的方法

LBP-TOP算法對(duì)X、Y、T三平面進(jìn)行特征提取，之后引用LBP算法進(jìn)行紋理分析，因此可以對(duì)視頻進(jìn)行識(shí)別。但LBP-TOP 存在兩個(gè)關(guān)鍵問(wèn)題，會(huì)導(dǎo)致微表情分析的性能下降。首先，它通常從兩個(gè)像素之間基于符號(hào)的差異中提取外觀和運(yùn)動(dòng)特征，但沒(méi)有考慮其他有用的信息。此外，LBP-TOP通常使用經(jīng)典模式類(lèi)型，但在某些應(yīng)用中，這些模式類(lèi)型對(duì)于局部結(jié)構(gòu)可能不是最優(yōu)的。因此，Huang 等[38]提出了一種用于面部微表情分析的時(shí)空完整局部量化模式（STCLQP）。首先，STCLQP提取包含符號(hào)、幅度和方向分量的3 個(gè)興趣信息。其次，在外觀域和時(shí)間域?qū)γ總€(gè)分量進(jìn)行有效的矢量量化和碼本選擇，以學(xué)習(xí)用于推廣經(jīng)典模式類(lèi)型的緊湊和有區(qū)別的碼本。最后，基于區(qū)分碼本，提取并融合符號(hào)、幅度和方向分量的時(shí)空特征，基于特征子空間將3個(gè)分量的特征連接成一個(gè)特征。STCLQP 根據(jù)LBP-TOP 所存在的問(wèn)題，增加了幅度和方向分量等信息，提取了更多有用的信息，并且最終能將提取的信息融合成一個(gè)特征向量，提高了對(duì)于圖像特征的利用率。相對(duì)比LBPTOP，STCLQP 方法提取了更多的信息，因此會(huì)造成更高的維度。而文中使用了LQP[39]技術(shù)，對(duì)比隨著鄰域半徑R 增大，維度呈指數(shù)型增加的LBP，LQP 采用將提取后的特征映射到查找表，當(dāng)R增大時(shí)，維度不再呈現(xiàn)指數(shù)型增長(zhǎng)。因此這種方法對(duì)R數(shù)值需要增加時(shí)較為適用，也因?yàn)長(zhǎng)QP技術(shù)，緩和了一些之前提取更多維度信息所導(dǎo)致的高維特征。而Wang等[40]則提出了一種基于中心點(diǎn)上三條相交線的六交點(diǎn)局部二值模式（LBP-SIP）描述子，將高斯多分辨率金字塔合并到提出的方法中，并把所有金字塔層次上的模式串聯(lián)起來(lái)。LBP-SIP 減少了LBP-TOP 模式中的冗余，提供了更緊湊和輕量級(jí)的表示，并且提高了準(zhǔn)確性，降低了計(jì)算復(fù)雜度。與LBP-TOP不同，此方法僅采用了t時(shí)刻某一像素點(diǎn)的上下左右4 個(gè)像素點(diǎn)和t-1 與t+1 時(shí)刻同位置的6 個(gè)像素點(diǎn)，因其所提取的特征少，所以當(dāng)圖像較多、時(shí)間較長(zhǎng)時(shí)較為適用，且運(yùn)算較LBP-TOP 更快。其速度是LBPTOP 的2.8 倍[40]。此方法提取特征用時(shí)15.88 s，比LBPTOP方法約快2.4 s，識(shí)別時(shí)間為0.208 s，比LBP-TOP方法快0.3 s。相比LBP-TOP方法，LBP-SIP減少了可觀的時(shí)間，但對(duì)于之后實(shí)際的應(yīng)用，這個(gè)時(shí)間仍然太過(guò)漫長(zhǎng)，無(wú)法做到實(shí)時(shí)檢測(cè)。但提供了一種思路減少處理的時(shí)間。除此之外，盧官明等[41]提出了一種對(duì)LBP-TOP 提取的特征進(jìn)行降維，之后使用SVM 進(jìn)行分類(lèi)的方法。這種方法首先采用LBP-TOP 算子來(lái)提取微表情特征，然后提出一種基于ReliefF 與局部線性嵌入（Locally Linear Embedding，LLE）流形學(xué)習(xí)算法相結(jié)合的特征選擇算法，可有效地降低提取后的特征維度。最后使用徑向基函數(shù)（Radial Basis Function，RBF）核的SVM 分類(lèi)器進(jìn)行分類(lèi)，得到了較好的結(jié)果。這種方法是基于LBP-TOP 方法進(jìn)行特征向量提取，因此所適用的環(huán)境與LBP-TOP一致。分別用過(guò)濾式（Filter）的方法排除無(wú)關(guān)的特征，之后用封裝式（Wrapper）的方法篩選出影響較大的特征，避免了維度災(zāi)難，計(jì)算量也相應(yīng)減少，這種方法給予未來(lái)發(fā)展方向一種啟示，對(duì)于LBP-TOP 這種逐像素進(jìn)行特征提取的方法，可以對(duì)提取后的特征進(jìn)行篩選，提高分類(lèi)時(shí)識(shí)別的精確度。

對(duì)于LBP-TOP 冗余的特征，以上幾種方法分別采用了不同的思路進(jìn)行降維，但對(duì)于實(shí)際應(yīng)用到現(xiàn)實(shí)生活中還遠(yuǎn)遠(yuǎn)不夠，逐像素提取特征的方法容易造成維度災(zāi)難，因此在識(shí)別之前對(duì)于特征和特征提取方式的選取尤為重要。只有當(dāng)處理速度減少，才有機(jī)會(huì)將這類(lèi)方法應(yīng)用于社會(huì)生活當(dāng)中。

3 微表情識(shí)別方法性能分析與比較

3.1 基于CNN的微表情識(shí)別方法分析比較

使用CNN 進(jìn)行微表情識(shí)別時(shí)，需要關(guān)注的是表情變化的狀態(tài)，其中Kim等[42]提出了一種與微表情階段分類(lèi)器[29]的想法較為相似的方法，這種方法將微表情階段分類(lèi)器和LSTM相結(jié)合。首先利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）對(duì)微表情在不同表情狀態(tài)（起始、起始到頂點(diǎn)、頂點(diǎn)、頂點(diǎn)到偏移和偏移）下的空間特征進(jìn)行編碼。在目標(biāo)函數(shù)中考慮表達(dá)狀態(tài)，提高學(xué)習(xí)特征表示的表達(dá)類(lèi)可分性。然后，將學(xué)習(xí)到的具有表情狀態(tài)約束的空間特征轉(zhuǎn)化為學(xué)習(xí)微表情的時(shí)間特征。時(shí)間特征學(xué)習(xí)利用長(zhǎng)-短期記憶（LSTM）遞歸神經(jīng)網(wǎng)絡(luò)對(duì)微表情不同狀態(tài)的時(shí)間特征進(jìn)行編碼。

除此之外，Khor等[43]提出了一種豐富的長(zhǎng)期遞歸卷積網(wǎng)絡(luò)（Enriched Long-term Recurrent Convolutional Network，ELRCN），該網(wǎng)絡(luò)首先通過(guò)CNN模塊將每個(gè)微表情幀編碼成一個(gè)特征向量，然后通過(guò)將特征向量通過(guò)長(zhǎng)短期記憶模塊（LSTM）進(jìn)行預(yù)測(cè)。長(zhǎng)短期記憶模塊對(duì)于視頻檢測(cè)有較好的優(yōu)勢(shì)，利用門(mén)控制可以保留較長(zhǎng)時(shí)間前的信息，結(jié)合之前對(duì)于面部信息的檢測(cè)，可以更好地檢測(cè)出表情變化。

這兩種方法都想到利用LTSM 網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果證明，將LSTM網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)結(jié)合對(duì)視頻類(lèi)的微表情識(shí)別有較好的效果，如表1所示[44-45]。

表1 CNN方法性能比較

表2 局部二值模式改進(jìn)方法性能比較

3.2 基于光流法的微表情識(shí)別方法分析比較

光流法配合ROI方法可以對(duì)應(yīng)FACS系統(tǒng)檢測(cè)出表情的動(dòng)作變化，因此Li等[34]提出了一種與基于深度多任務(wù)學(xué)習(xí)的微表情檢測(cè)方法相似的算法，這種新的微表情自動(dòng)識(shí)別算法結(jié)合了用于檢測(cè)面部標(biāo)志點(diǎn)的多任務(wù)卷積網(wǎng)絡(luò)和用于估計(jì)微表情光流特征的融合深卷積網(wǎng)絡(luò)[46]。首先，利用深度多任務(wù)卷積網(wǎng)路來(lái)偵測(cè)具有多重相關(guān)作業(yè)的人臉地標(biāo)，并利用這些地標(biāo)來(lái)分割人臉區(qū)域。之后，利用融合卷積網(wǎng)絡(luò)從包含肌肉變化的面部區(qū)域提取微表情時(shí)的光流特征。最后利用增強(qiáng)光流對(duì)特征信息進(jìn)行細(xì)化，并利用支持向量機(jī)分類(lèi)器（SVM）對(duì)細(xì)化后的光流特征進(jìn)行分類(lèi)識(shí)別。基于深度多任務(wù)學(xué)習(xí)的微表情檢測(cè)方法[34]使用光流法和HOOF[35]特征結(jié)合來(lái)評(píng)估面部肌肉變化，HOOF 是一種基于光流的特征，該特征表示每個(gè)時(shí)刻的動(dòng)作輪廓，并且與運(yùn)動(dòng)的尺度和方向無(wú)關(guān)。HOOF 將視頻中每一幀的光流與橫軸夾角進(jìn)行分檔，并且根據(jù)其大小進(jìn)行加權(quán)，每一檔就是一個(gè)bin，bin的數(shù)量是可選參數(shù)，HOOF對(duì)光流方向進(jìn)行加權(quán)統(tǒng)計(jì)，得到光流方向信息直方圖。與基于深度多任務(wù)學(xué)習(xí)的微表情檢測(cè)方法[34]不同的是，檢測(cè)面部標(biāo)志點(diǎn)的多任務(wù)卷積網(wǎng)絡(luò)和用于估計(jì)微表情光流特征的融合深卷積網(wǎng)絡(luò)[46]在之前的檢測(cè)方法的基礎(chǔ)上進(jìn)行改進(jìn)，由于HOOF[35]中不同bin 內(nèi)的特征缺少主方向光流的比例信息，于是添加了比例P作為Bmax區(qū)域內(nèi)的特征，其中Bmax是bin內(nèi)最大數(shù)量的光流特征。這種方法中的光流矢量最大幅度和方向代表每個(gè)區(qū)域中肌肉變化的主要部分，并且比例P補(bǔ)償了變化強(qiáng)度的信息。

Liu 等[47]提出了一種簡(jiǎn)單有效的主方向平均光流（MDMO）特征用于微表情識(shí)別，將穩(wěn)健的光流方法應(yīng)用于微表情視頻片段，并基于部分動(dòng)作單元將面部區(qū)域劃分為感興趣區(qū)域（ROI）。MDMO 是一種基于ROI 的歸一化統(tǒng)計(jì)特征，它同時(shí)考慮了局部統(tǒng)計(jì)運(yùn)動(dòng)信息和空間位置。此外，為了減少由頭部運(yùn)動(dòng)引起的噪聲影響，還提出了一種光流驅(qū)動(dòng)的方法來(lái)對(duì)齊微表情視頻剪輯的所有幀。最后，采用具有MDMO 特征的支持向量機(jī)分類(lèi)器進(jìn)行微表情識(shí)別。MDMO的一個(gè)顯著特點(diǎn)是其特征維數(shù)小?？偟膩?lái)說(shuō)以上幾種方法采取的策略基本一致，需要從先將面部劃分感興趣區(qū)域（ROI），之后使用光流的方法分辨面部為小動(dòng)作，最后使用支持向量機(jī)對(duì)所得到的特征進(jìn)行分類(lèi)。將面部分成不同區(qū)域，更容易使用FACS 系統(tǒng)，讓機(jī)器使用FACS 進(jìn)行對(duì)微表情進(jìn)行判別，而光流則負(fù)責(zé)檢測(cè)每一個(gè)區(qū)域內(nèi)的微小動(dòng)作變化，對(duì)于每部分的變化對(duì)應(yīng)一個(gè)動(dòng)作單元，不同運(yùn)動(dòng)單元的變化即可判別出表情的變化。對(duì)HOOF 進(jìn)行修改可以使準(zhǔn)確率相應(yīng)提高，見(jiàn)表2（ROI+HOOF[34]方法使用留一法（Leave-One-Subject-Out，LOSO）對(duì)數(shù)據(jù)集進(jìn)行準(zhǔn)確率測(cè)試，因此準(zhǔn)確率會(huì)較高）。但光流法對(duì)于環(huán)境的要求較為苛刻，需要在此基礎(chǔ)上進(jìn)行修改才可以應(yīng)用到數(shù)據(jù)庫(kù)之外部分。

3.3 基于改進(jìn)局部二值模式的微表情識(shí)別方法分析比較

面部圖像積分圖（integral projection）可以對(duì)面部不同部位進(jìn)行識(shí)別，是圖像識(shí)別的常用技術(shù)，由Huang 等人[48]提出的一種新的基于時(shí)空表情的微表情分析框架。首先，采用基于差分圖像的積分投影方法獲得水平和垂直投影，既保留了人臉圖像的形狀屬性，又提高了對(duì)微表情的識(shí)別率，并證明原始的積分投影（STLBPOIP）不能保留微表情的判別信息。有必要對(duì)積分投影法進(jìn)行改進(jìn)，以獲得微表情的類(lèi)信息。因此提出了一種新的基于積分投影的時(shí)空局部二值模式，即帶積分投影的時(shí)空局部二值模式（STLBP-IP）[48]。此外，還利用局部二值模式算子來(lái)提取水平和垂直投影的外觀和運(yùn)動(dòng)特征。非常適合于提取微表情紋理。

而Huang 等[48]則指出常用的時(shí)空局部二值化模式考慮了動(dòng)態(tài)紋理信息來(lái)表示人臉圖像，而忽略了人臉圖像的形狀屬性。另一方面，從全局人臉區(qū)域提取時(shí)空特征，忽略了兩個(gè)微表情類(lèi)之間的區(qū)別信息。上述問(wèn)題嚴(yán)重限制了時(shí)空局部二值模式在微表情識(shí)別中的應(yīng)用，因此Huang等[49]在STLBP-IP的基礎(chǔ)上提出了一種基于改進(jìn)的積分投影的判別性時(shí)空局部二值模式（STLBPIIP）。首先，提出了一種改進(jìn)的積分投影法來(lái)保持微表情的形狀屬性，然后提高對(duì)微表情識(shí)別特征的識(shí)別能力。此外，改進(jìn)的積分投影與跨時(shí)空的局部二值模式算子相結(jié)合。具體來(lái)說(shuō)，將形狀屬性融入到時(shí)空紋理特征中，提取新的時(shí)空特征，其中還將STLBP-IIP 與LBPTOP 和STCLQP[38]進(jìn)行了比較。研究發(fā)現(xiàn)，STLBP-IIP在識(shí)別驚訝類(lèi)和緊張類(lèi)方面表現(xiàn)較好，而在識(shí)別厭惡類(lèi)和壓抑類(lèi)方面表現(xiàn)不如STCLQP。最后為了提高微表情的識(shí)別率，提出了一種基于拉普拉斯方法的特征選擇方法，在拉普拉斯方法的基礎(chǔ)上，研究了STLBP-IIP 的判別群特征，進(jìn)一步提高了STLBP-IIP 的判別能力，如表2所示。

3.4 CNN、光流法和局部二值模式改進(jìn)方法對(duì)微表情識(shí)別的分析比較

3.4.1 局部二值模式改進(jìn)方法與光流法對(duì)微表情識(shí)別的分析比較

局部二值模式可以根據(jù)某像素點(diǎn)的數(shù)值與周?chē)臄?shù)值進(jìn)行對(duì)比，從而進(jìn)行編碼。這類(lèi)方法是基于表觀特征（appearance based）的方法，也就是基于像素值的方法。優(yōu)點(diǎn)是損失的信息量較少，以此為代價(jià)的是它的特征維度通常較高。

光流法有較好的識(shí)別物體運(yùn)動(dòng)趨勢(shì)的能力，根據(jù)某些特征點(diǎn)或特征區(qū)域的位移作為結(jié)果。這類(lèi)方法是基于幾何特征（geometric based）的方法，不考慮像素點(diǎn)而轉(zhuǎn)為考慮特征區(qū)域的位移。因此，所得出的結(jié)果通常是維度較小的物體運(yùn)動(dòng)趨勢(shì)。

兩種方法各有優(yōu)劣，在對(duì)微表情的識(shí)別中都有著不錯(cuò)的效果。如之前提到的MDMO[46]方法進(jìn)行特征提取，使用LBP-TOP[28]方法對(duì)視頻進(jìn)行3個(gè)維度的局部二值模式從而提取特征的方法，使用留一法（LOSO）對(duì)微表情進(jìn)行識(shí)別都取得了不錯(cuò)的成果，見(jiàn)表1、表2。

3.4.2 CNN 與光流法、局部二值模式改進(jìn)方法對(duì)微表情識(shí)別的分析比較

CNN 是一種優(yōu)秀的對(duì)圖像問(wèn)題進(jìn)行處理的方法，但對(duì)于不同的問(wèn)題需要對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行調(diào)整。使用CNN 通常要先進(jìn)行特征提取，在提取特征后再進(jìn)行進(jìn)一步處理。而無(wú)論是光流法還是局部二值模式改進(jìn)方法，都是使用不同的方法對(duì)特征進(jìn)行提取。而對(duì)特征圖可以使用CNN繼續(xù)提取深層特征，因此CNN與光流法和局部二值模式改進(jìn)方法的使用本身并不沖突。

對(duì)于視頻類(lèi)型的文件，通常在使用CNN 時(shí)可以選擇與循環(huán)神經(jīng)網(wǎng)絡(luò)的一種流行形式，稱(chēng)為長(zhǎng)短期記憶（Long Short-Term Memory，LSTM）[50]模塊搭配使用，LSTM 對(duì)于視頻類(lèi)型的輸入有較好的效果。比起單獨(dú)使用CNN，將CNN 作為一種框架更為合適，CNN 可以和各種方法相結(jié)合，使改進(jìn)的網(wǎng)絡(luò)識(shí)別的效果更好。如Khor 等[43]在使用CNN+LSTM 方法的同時(shí)，在輸入端使用TV-L1[51]方法提取光流圖像與原始圖像疊加作為輸入，之后將提取后的特征送入LSTM 網(wǎng)絡(luò)，進(jìn)行微表情識(shí)別。而文獻(xiàn)[52]則使用ROI方法后，配合FlowNet 2.0光流法進(jìn)行特定區(qū)域的光流識(shí)別，最終使ROI+Revised HOOF[46]配合FACS識(shí)別出不同的表情。這兩種方法使用了不同的光流方法，但TVL1+LSTM方法[43]的主體是CNN，光流法只是作為與原始圖像共同的輸入，增加識(shí)別的準(zhǔn)確率，見(jiàn)表2、表3。由此可見(jiàn)CNN 作為一個(gè)框架，包容性很強(qiáng)，可以與多種方法共同結(jié)合使用，是解決圖像問(wèn)題的良好工具。

3.5 CNN、光流法和局部二值模式改進(jìn)方法的適用場(chǎng)景分析

目前已存在的微表情識(shí)別方法都是基于數(shù)據(jù)集的識(shí)別方法，對(duì)于現(xiàn)實(shí)中的微表情識(shí)別泛化能力并不高，無(wú)法應(yīng)用于現(xiàn)實(shí)環(huán)境，但可以根據(jù)已有方法的特點(diǎn)對(duì)所需環(huán)境和適用場(chǎng)景等進(jìn)行預(yù)估。

就目前的發(fā)展來(lái)看，CNN 無(wú)疑是在使用的網(wǎng)絡(luò)中發(fā)展門(mén)類(lèi)較多，且較為細(xì)化的一類(lèi)網(wǎng)絡(luò)，因此現(xiàn)有對(duì)于多目標(biāo)、多尺度、多任務(wù)等檢測(cè)的網(wǎng)絡(luò)已經(jīng)較為成熟。若將現(xiàn)有多種網(wǎng)絡(luò)融合入微表情識(shí)別的檢測(cè)當(dāng)中可以對(duì)復(fù)雜場(chǎng)景進(jìn)行檢測(cè)，如商場(chǎng)、地段較為重要的街道、監(jiān)獄等。現(xiàn)有的微表情識(shí)別方法在結(jié)合其他網(wǎng)絡(luò)后可以自動(dòng)地對(duì)人群中行人進(jìn)行多種特征檢測(cè)，保證精度提高。

表3 光流方法性能比較

基于光流法的灰度不變假設(shè)，光流法無(wú)法對(duì)亮度有變化的場(chǎng)景或物體進(jìn)行檢測(cè)，對(duì)環(huán)境有著較為嚴(yán)格的要求，且攝像頭旋轉(zhuǎn)不能過(guò)快。因此可在審訊室、談判室等亮度相對(duì)固定且目標(biāo)無(wú)需移動(dòng)的區(qū)域進(jìn)行微表情識(shí)別。微表情是目標(biāo)以壓抑自己表情為前提的，但在面對(duì)特定場(chǎng)景時(shí)，目標(biāo)可能會(huì)存在宏表情和微表情相結(jié)合的問(wèn)題。而Shreve 等[36]提出的工作用光流法為這類(lèi)問(wèn)題提出了一個(gè)解決方案，讓微表情識(shí)別更適合審訊室、光流室等更為嚴(yán)格的場(chǎng)所。光流法相對(duì)其他方法的提取的特征維度較小，是目前最有可能用于實(shí)時(shí)檢測(cè)的方法，對(duì)于審訊室、談判室這種對(duì)目標(biāo)表情分析速度需求較高的場(chǎng)景較為適合。

對(duì)于局部二值模式改進(jìn)方法，如LBP-TOP 等逐像素分析的方法，環(huán)境整體的亮度變化對(duì)其影響并不大，因此可以作為光流法的互補(bǔ)，但其明顯的缺點(diǎn)是提取的特征維數(shù)太高，計(jì)算負(fù)擔(dān)較大，無(wú)法進(jìn)行實(shí)時(shí)檢測(cè)，因此可以將其作為幕后的微表情校準(zhǔn)和識(shí)別的工具。隨著目前的研究，對(duì)此類(lèi)方法提取的特征維度減少到可實(shí)時(shí)后，可能需要對(duì)目標(biāo)的面部特定部位進(jìn)行提取，需要盡量減少目標(biāo)的重點(diǎn)需檢測(cè)部位的遮擋，因此，將此類(lèi)方法用于管理較為嚴(yán)格的看守所或者軍隊(duì)等對(duì)目標(biāo)的行為以及穿搭進(jìn)行嚴(yán)格管理的地區(qū)，可能較為適用。

4 結(jié)束語(yǔ)

4.1 評(píng)價(jià)

本文對(duì)微表情識(shí)別采用的主要方法：卷積神經(jīng)網(wǎng)絡(luò)及其改進(jìn)、光流法及其改進(jìn)、局部二值模式及其改進(jìn)進(jìn)行了分析和介紹。關(guān)于卷積神經(jīng)網(wǎng)絡(luò)本身的改進(jìn)也可優(yōu)化對(duì)于微表情信息的識(shí)別。在對(duì)圖像進(jìn)行特征提取后，對(duì)網(wǎng)絡(luò)結(jié)構(gòu)或輸入進(jìn)行優(yōu)化，卷積神經(jīng)網(wǎng)絡(luò)對(duì)于微表情識(shí)別也可以發(fā)揮很好效果。

目前對(duì)微表情識(shí)別的方法中，光流法是一種主流的方法，其特性是檢測(cè)微小運(yùn)動(dòng)的目標(biāo)，很適合用于微表情的檢測(cè)。但存在的問(wèn)題也很明顯，要求被檢測(cè)目標(biāo)的亮度恒定，而這點(diǎn)在實(shí)際應(yīng)用中往往很難做到，因此需要對(duì)算法進(jìn)行改進(jìn)和優(yōu)化。但不可否認(rèn)的是，光流仍是一種很好的對(duì)面部微表情進(jìn)行識(shí)別的方法。

LBP-TOP結(jié)合了3個(gè)平面，可以很好地對(duì)視頻進(jìn)行識(shí)別。其中關(guān)于LBP-TOP的修改，減少了冗余的參數(shù)，能有效識(shí)別面部紋理特征，并提高識(shí)別準(zhǔn)確度。LBP及其改進(jìn)對(duì)紋理識(shí)別有很好的作用，因此將LBP的改進(jìn)方法用于微表情識(shí)別是個(gè)好方法。

4.2 展望

微表情識(shí)別目前已經(jīng)有了一定的發(fā)展，但技術(shù)方面仍有很大的進(jìn)步空間，下面對(duì)微表情不同方法存在的問(wèn)題進(jìn)行分析和展望：

（1）卷積神經(jīng)網(wǎng)絡(luò)作為處理圖像的傳統(tǒng)方法被廣泛應(yīng)用，目前主流的思想還是配合光流法作為輸入，與LSTM相結(jié)合，可以達(dá)到較好的效果。但使用卷積神經(jīng)網(wǎng)路進(jìn)行深度學(xué)習(xí)存在著致命的問(wèn)題，目前使用的數(shù)據(jù)集的樣本數(shù)量不高，對(duì)于卷積神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，屬于小樣本問(wèn)題，因此在計(jì)算時(shí)需要數(shù)據(jù)增強(qiáng)，或進(jìn)行跨域?qū)嶒?yàn)，同時(shí)可以提高魯棒性。在之后的過(guò)程中可嘗試使用遷移學(xué)習(xí)，可以一定程度緩和過(guò)擬合問(wèn)題，除此之外還可以使用如對(duì)抗神經(jīng)網(wǎng)絡(luò)等方法生成一些樣本再去訓(xùn)練，可以一定緩和樣本數(shù)據(jù)量小的問(wèn)題。

（2）光流法很適合識(shí)別微表情這種微小動(dòng)作的行為，但光流對(duì)基于灰度不變假設(shè)，容易受外界光照的影響，并且在相機(jī)無(wú)法大尺度移動(dòng)，轉(zhuǎn)動(dòng)角度不能過(guò)快，這些都會(huì)導(dǎo)致提取的特征對(duì)識(shí)別造成影響，目前的微表情數(shù)據(jù)集內(nèi)的數(shù)據(jù)都是滿(mǎn)足以上的要求。但對(duì)于自然場(chǎng)景來(lái)說(shuō)，這點(diǎn)是不能保證的，因此在算法中需要對(duì)這點(diǎn)進(jìn)行優(yōu)化，保證在實(shí)際中的應(yīng)用。使用光配合ROI方法對(duì)感興趣的區(qū)域進(jìn)行識(shí)別是目前常用的方法，配合FACS 系統(tǒng)可以對(duì)表情進(jìn)行識(shí)別，但對(duì)于臉部對(duì)齊等問(wèn)題，在實(shí)踐中無(wú)法輕易達(dá)成，而注意力機(jī)制對(duì)于微表情識(shí)別來(lái)說(shuō)也是一種方式達(dá)到ROI的效果，因此可以嘗試將注意力機(jī)制和光流法進(jìn)行融合，使其魯棒性更高。

（3）局部二值模式作為經(jīng)典的紋理分析算法，以算法簡(jiǎn)單為特點(diǎn)被廣泛應(yīng)用，LBP-TOP 將LBP 算法擴(kuò)展到視頻。但目前逐像素提取特征所得到的特征太多，在浪費(fèi)計(jì)算量的同時(shí)降低準(zhǔn)確率。在圖像中面部區(qū)域的特征并不是全部都有用的，如在表情變化中與上一幀變化不明顯的圖像。針對(duì)這個(gè)問(wèn)題，可以采取提取關(guān)鍵幀后進(jìn)行特征提取的方法，提高識(shí)別率。而在STLBPIP[48]中采用圖像積分的方法可以對(duì)臉的五官進(jìn)行區(qū)分，若關(guān)注其中重要部分的紋理變化，配合FACS 系統(tǒng)，可以對(duì)微表情進(jìn)行有效的識(shí)別。根據(jù)FACS 系統(tǒng)，眼睛、嘴巴、鼻子等周?chē)鷷?huì)顯示出紋理的變化，因此其他位置的紋理變化檢測(cè)也可以適當(dāng)精簡(jiǎn)。除了以上幾種方法，在未來(lái)的改進(jìn)過(guò)程中還可以對(duì)提取后的特征進(jìn)行篩選。特征篩選的方法主要分3 種：過(guò)濾式（filter）、封裝式（wrapper）和嵌入式（embedded）。過(guò)濾式特征選擇方法對(duì)每個(gè)維度的特征賦予權(quán)重，然后依據(jù)權(quán)重將特征進(jìn)行排序；封裝式特征選擇方法將子集選擇看作為一個(gè)優(yōu)化問(wèn)題，生成不同的組合，對(duì)組合進(jìn)行評(píng)價(jià)，再與其他組合進(jìn)行比較；嵌入式特征選擇方法則在模型既定的情況下挑選出那些對(duì)模型的訓(xùn)練有重要意義的特征。這3種主流篩選方法分別針對(duì)不同的情況，過(guò)濾式特征選擇方法直接利用所有訓(xùn)練樣本的統(tǒng)計(jì)性能來(lái)評(píng)價(jià)各個(gè)特征的重要性，與后續(xù)分類(lèi)算法無(wú)關(guān)，并不保證選擇出的特征子集對(duì)分類(lèi)性能是最優(yōu)的，但其優(yōu)勢(shì)在于可排除大量無(wú)關(guān)性能，通用性好，可用于特征的預(yù)篩選。封裝式特征選擇方法需要與后續(xù)分類(lèi)算法結(jié)合，依據(jù)分類(lèi)器的準(zhǔn)確率評(píng)價(jià)每個(gè)特征的重要性，篩選出對(duì)于特定的分類(lèi)算法最優(yōu)的特征子集。嵌入式特征篩選方法類(lèi)似過(guò)濾法，但它是通過(guò)機(jī)器學(xué)習(xí)訓(xùn)練來(lái)確定特征的優(yōu)劣，而不是直接從特征的統(tǒng)計(jì)學(xué)指標(biāo)來(lái)確定特征的優(yōu)劣。和包裝法相比，嵌入法也是用機(jī)器學(xué)習(xí)的方法來(lái)選擇特征，區(qū)別是不通過(guò)不停地篩掉特征來(lái)進(jìn)行訓(xùn)練，每次迭代使用的都是特征全集。嵌入式特征選擇方法是將特征選擇過(guò)程與學(xué)習(xí)器訓(xùn)練過(guò)程融為一體，兩者在同一個(gè)優(yōu)化過(guò)程中完成，即在學(xué)習(xí)器訓(xùn)練過(guò)程中自動(dòng)完成了特征選擇。3 種方法各有優(yōu)劣，因此可以相互結(jié)合使用。利用好預(yù)處理方法并針對(duì)分類(lèi)器方法的各自的優(yōu)點(diǎn)，篩選出最優(yōu)的特征子集，從而提高對(duì)微表情識(shí)別的準(zhǔn)確率。

4.3 結(jié)論

對(duì)于微表情識(shí)別還有一些方法，這里就不一一列舉，總的來(lái)說(shuō)是根據(jù)面部的紋理以及微小的動(dòng)作變化對(duì)提取特征的方法進(jìn)行調(diào)整。微表情的應(yīng)用范圍很廣泛，如婚姻關(guān)系預(yù)測(cè)[53]、交流談判[54]、教學(xué)評(píng)估[55-56]等，尤其對(duì)于國(guó)家安保工作[57]，通過(guò)分析人的微表情可以發(fā)現(xiàn)他的真實(shí)意圖，及時(shí)制止危險(xiǎn)分子的不法行為，對(duì)于犯人是否說(shuō)謊、是否有暴力行為等都可以有很好的預(yù)測(cè)，從而保護(hù)國(guó)家長(zhǎng)治久安。