張愛民

（中共渦陽縣委黨校，安徽 渦陽 233600）

0 引言

面部表情是社會交往過程中，除了通過面部識別一個人的身份外，還可以通過面部表情實現(xiàn)信息交流，如微笑表示交流的開心，蹙眉表示存在不同的意見，眨眼表示交換意見等［1］。因此，通過人的面部部位變化，可以直接顯示一個人的心情。然而，人臉微表情不像人臉表情那樣明顯，所隱藏的情緒更加直觀，多為人物自發(fā)式產(chǎn)生的表情，不受他人主觀意識控制，多表現(xiàn)在瞳孔、肌肉組織的細(xì)微變化，具有持續(xù)時間短、幅度小、局部化呈現(xiàn)的特點［2］。所以，人物微表情對于刑偵破案、心理治療、危險規(guī)避等方面，具有非常大的應(yīng)用價值［3］。基于此，人臉微表情識別具有極高的社會價值。

國內(nèi)外面對人臉微表情在各個領(lǐng)域所能發(fā)揮的應(yīng)用價值，將人臉微表情識別任務(wù)劃分為檢測和分類兩個方向［4-5］，隨著計算機技術(shù)的發(fā)展，讓這兩個方向上的任務(wù)得以實現(xiàn)。文獻(xiàn)［6］依據(jù)微表情特點，將時空特征和微表情聯(lián)系在一起，提高微表情區(qū)分度，增強識別效果。文獻(xiàn)［7］將微表情特征融入長短期記憶網(wǎng)絡(luò)中，讓網(wǎng)絡(luò)學(xué)習(xí)記憶微表情特征，從而通過網(wǎng)絡(luò)的分類器，識別微表情。文獻(xiàn)［8］針對微表情識別存在的難題，采用平衡微表情數(shù)據(jù)樣本采集的方式，讓微表情識別模型具有較高的微表情識別精度。上述方法在識別人臉圖片微表情時，存在嚴(yán)重的微表情識別混淆問題，為此引入優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)，提出人臉圖片微表情識別方法，提高識別方法對微表情特征提取能力，最大程度地避免微表情識別混淆。

1 人臉圖片微表情識別方法研究

1.1 預(yù)處理人臉圖片

優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)需要通過數(shù)據(jù)集訓(xùn)練的方式，識別微表情。但是，在訓(xùn)練數(shù)據(jù)集過程中，可能存在表情序列幀數(shù)不統(tǒng)一、個體微表情差異大、微表情無關(guān)區(qū)域范圍廣等問題［9］。為此，采用齊剪裁、圖像序列插幀和幀數(shù)歸一化3種方式，預(yù)處理人臉圖片訓(xùn)練數(shù)據(jù)集。

1.1.1 數(shù)據(jù)集對齊剪裁 對人臉圖片微表情數(shù)據(jù)集進(jìn)行第一幀變換處理，則有：

公式（1）中，?表示變換矩陣；i表示第i個人臉圖片微表情數(shù)據(jù)；LWM()?表示局部加權(quán)平均函數(shù)；n表示人臉圖片微表情數(shù)據(jù)集中含有的人臉圖片數(shù)；χ()Ni表示第i個人臉圖片微表情數(shù)據(jù)，所含有的N個微表情特征；χ(mi,1)表示第i個人臉圖片微表情數(shù)據(jù)中，第一幀圖像提取出來的m個微表情特征［10］。

在公式（1）的變換基礎(chǔ)上，再針對?得到的圖像對其進(jìn)行處理，則有：

公式（2）中，k表示幀數(shù)；f′i,j表示第i個人臉圖片微表情數(shù)據(jù)中，第j幀人臉對齊后得到的圖像；fi,j表示經(jīng)過公式（1）變換后，得到的第i個人臉圖片微表情數(shù)據(jù)中，第j幀人臉圖像。

由于數(shù)據(jù)集中的人臉圖片微表情尺寸大小不一，根據(jù)微表情動態(tài)特征影響小、圖像比例尺寸與原比例尺寸相近、圖像大小為原來的2倍等原則，歸一化處理人臉圖片微表情尺寸。

1.1.2 圖片序列插幀 為了避免幀數(shù)歸一化，造成圖片特征損失，在人臉圖片的連續(xù)兩幀的中間，插入一幀圖像，以此來增加幀數(shù)歸一化處理后的圖像，與原來圖像的相似度。

采用優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)反卷積的運算過程，依據(jù)圖像兩幀特征，在兩幀中間生成中間幀?；诖?，選擇MSE損失函數(shù)S(I1,I2)：

公式（3）中，ij表示人臉圖片中像素點的位置；表示人臉圖片真實中間幀；表示優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)預(yù)測的人臉圖片中間幀［11］。

為保證圖片插入幀質(zhì)量，采用峰值信噪比P、結(jié)構(gòu)相似性J、平均結(jié)構(gòu)相似性Jˉ3個指標(biāo)，評價人臉圖片插幀質(zhì)量。

公式（4）中，Eˉ表示插幀圖片f′i,j與原始圖片fi,j的均方誤差；q表示像素比特數(shù)；L(f′i,j,fi,j)表示亮度相似度；D(f′i,j,fi,j)表示對比度相似度；G(f′i,j,fi,j)表示結(jié)構(gòu)相似度；n表示圖片結(jié)構(gòu)指標(biāo)數(shù)量；κ表示圖片中任意一個結(jié)構(gòu)指標(biāo)；f′i,j(κ) 表示圖片f′i,j的均值；fi,j(κ) 表示圖片fi,j的均值［12］。

滿足公式（4）對插幀質(zhì)量評價結(jié)果，停止網(wǎng)絡(luò)反卷積運算過程，得到最優(yōu)預(yù)測人臉圖片中間幀，插入人臉圖片中。

1.1.3 人臉圖片幀數(shù)歸一化 假設(shè)微表情序列幀數(shù)為M，歸一化處理后，得到離散化向量T：

根據(jù)公式（5），對人臉圖片中任意像素點(i,j)的像素值向量Ii,j建立時間內(nèi)插模型C：

公式（6）中，Curve()?表示曲線擬合函數(shù)。綜合公式（5）和公式（6），完成圖片幀數(shù)歸一化處理［13］。

綜合上述數(shù)據(jù)集進(jìn)行對齊剪裁、圖像序列插幀和幀數(shù)歸一化處理步驟，完成圖片預(yù)處理，此時，即可對人臉圖片微表情特征進(jìn)行提取。

1.2 提取人臉圖片微表情特征

依據(jù)上一小節(jié)得到的預(yù)處理圖片f′i,j，采用局部二值模式提取人臉圖片特征。將描述紋理方向信息的單演相位值量化在[0°,360°]之間，劃分為N個等角度的區(qū)間，即。當(dāng)同一個角度區(qū)間，同時存在圖片中心像素i和鄰域像素j的單演相位φ值時，則將其記為0，反之記為1。

基于此，假設(shè)i的灰度值為O1，第n個區(qū)間j的灰度值為On，則圖片中心像素i和鄰域像素j的單演相位編碼為：

公式（7）中，n∈N，表示第n個區(qū)間；Z表示二進(jìn)制數(shù)；Q表示圖片方向信息［14］。

圖片的單演方向信息與單演相位信息計算過程類似，當(dāng)兩類像素單演方向ε在同一角度區(qū)間，則圖片像素記錄的信息方向相同，記為0，反之記為1，則有：

公式（10）中，W表示人臉圖片尺度數(shù)；R表示劃分的區(qū)域個數(shù)；F1(s,r)表示人臉圖片微表情s尺度上的第r個區(qū)域的直方圖。

公式（10）得到的人臉圖片微表情局部直方圖F，記為微表情特征集，用于網(wǎng)絡(luò)卷積訓(xùn)練，識別人臉圖片微表情。

1.3 基于優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)識別人臉圖片微表情

優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)，訓(xùn)練人臉圖片微表情特征數(shù)據(jù)集，可以從圖片特征出發(fā)，不受其他因素干擾，為此采用其識別人臉圖片微表情。

在此次研究中，采用的優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)的基本單元包括輸入和輸出兩部分，其中，可以輸入n個人臉圖片微表情特征數(shù)據(jù)集，得到一個人臉圖片微表情識別結(jié)果，假設(shè)神經(jīng)元偏置為b；網(wǎng)絡(luò)激活函數(shù)為f()?，則其計算公式如下式所示：

公式（11）中，y表示網(wǎng)絡(luò)訓(xùn)練輸入值后，得到的輸出值；xi表示網(wǎng)絡(luò)第o個神經(jīng)元接收的第i個人臉圖片微表情特征數(shù)據(jù)；ωi表示xi與o之間的聯(lián)系權(quán)重［15］。

從公式（11）中可以看出，優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)具有線性特征，為了避免輸出結(jié)果，只有線性關(guān)系，選擇sigmoid和tanh兩個非線性函數(shù)激活網(wǎng)絡(luò)，則有：

根據(jù)公式（12）所示的激活函數(shù)，激活網(wǎng)絡(luò)每一層卷積神經(jīng)元，得到y(tǒng)值計算過程，作為網(wǎng)絡(luò)的前向傳播過程。同時，通過反向傳播訓(xùn)練數(shù)據(jù)集，調(diào)整ω和b值，將網(wǎng)絡(luò)的損失盡可能降至最小。

假設(shè)人臉圖片微表情特征數(shù)據(jù)樣本xi的標(biāo)簽為yi，屬于網(wǎng)絡(luò)正向傳播的輸出，則網(wǎng)絡(luò)反向訓(xùn)練的輸出為γω,b(xi)。此時，網(wǎng)絡(luò)反向訓(xùn)練數(shù)據(jù)樣本，產(chǎn)生的網(wǎng)絡(luò)損失函數(shù)ξ(ω,b;xi,yi)公式如下式所示：

在公式（13）所示的網(wǎng)絡(luò)損失函數(shù)下，為避免求取的ω和b屬于局部最優(yōu)解，設(shè)置ω和b迭代更新約束條件：

公式（14）中，l表示第l層神經(jīng)元；η表示學(xué)習(xí)速率；?表示求偏導(dǎo)；表示第i個數(shù)據(jù)樣本和第o個神經(jīng)元之間的聯(lián)系權(quán)重；

采用公式（12）激活網(wǎng)絡(luò)，得到的激活值，作為反向訓(xùn)練樣本，則其訓(xùn)練算法如下，步驟1：計算網(wǎng)絡(luò)中L層第o個神經(jīng)元的殘差；步驟2：逐層計算網(wǎng)絡(luò)中每一層殘差步驟3：在神經(jīng)元殘差計算結(jié)果基礎(chǔ)上，根據(jù)ω和b迭代更新設(shè)置約束條件，求取ω和b的偏導(dǎo)。

按照上述計算過程，針對人臉圖片微表情特征數(shù)據(jù)集，進(jìn)行正向訓(xùn)練和反向訓(xùn)練，從而根據(jù)圖片特征，得到人臉圖片微表情識別結(jié)果。

2 實驗與分析

選擇基于細(xì)粒度的微表情識別方法（文獻(xiàn)［6］方法）和基于長短期記憶網(wǎng)絡(luò)的微表情識別算法（文獻(xiàn)［7］方法）作為此次實驗的對比方法，采用JAFFE和Cohn-Kanade兩個國際標(biāo)準(zhǔn)微表情測試數(shù)據(jù)庫，作為此次研究設(shè)計的實驗數(shù)據(jù)庫，驗證此次研究的基于優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)的人臉圖片微表情識別方法。

2.1 數(shù)據(jù)集介紹

此次實驗選擇的JAFFE和Cohn-Kanade兩個國際標(biāo)準(zhǔn)微表情測試數(shù)據(jù)庫，共包括蔑視、厭惡、恐懼、開心、壓抑、悲傷、驚訝、緊張等8種微表情。其中，JAFFE微表情測試數(shù)據(jù)庫，主要為亞洲人種微表情，數(shù)據(jù)量相對較小，所存儲的人臉圖片具有面部區(qū)域變化弱；Cohn-Kanade微表情測試數(shù)據(jù)庫，采集的人臉圖片分布于全球，樣本數(shù)量較多，所存儲的圖片光照不均勻，類別信息劃分不明顯。

根據(jù)JAFFE和Cohn-Kanade存儲的圖像數(shù)量比例，選擇186張JAFFE微表情測試數(shù)據(jù)庫中圖片，作為此次實驗圖片，并將其劃分為3組，每組62張圖片，選擇其中2組作為實驗訓(xùn)練集，其中，1組作為實驗測試集。從Cohn-Kanade微表情測試數(shù)據(jù)庫中，選擇786張人臉微表情圖片，作為此次實驗圖片，并將其劃分為3組，每組262張圖片。

從2個數(shù)據(jù)庫中，分別選擇2組圖片作為訓(xùn)練集，一組圖片作為實驗測試集。針對此次實驗選擇的972張圖片進(jìn)行預(yù)處理，每張圖片的尺寸設(shè)置為30*36，圖像分辨率設(shè)置為254 dpi。

2.2 實驗步驟

采用3組微表情識別方法，分別訓(xùn)練2組微表情訓(xùn)練集圖片，當(dāng)3組方法對人臉圖片微表情識別率達(dá)到最高時，用3組方法分別識別2組微表情測試集圖片，通過交叉驗證的方式，對比3組方法識別2組微表情測試集圖片混淆問題嚴(yán)重程度。

2.3 結(jié)果分析

2.3.1 檢測JAFFE人臉圖片微表情識別混淆情況 交叉驗證3組方法，識別JAFFE微表情測試數(shù)據(jù)庫8種微表情，得到的混淆矩陣見圖1。

圖1 JAFFE人臉圖片微表情識別混淆情況Fig.1 The facial image micro expression recognition confusion based on JAFFE method

從圖1中可以看出，細(xì)粒度分層時空特征描述符的微表情識別方法，識別8種微表情，存在17種微表情識別混淆；基于長短期記憶網(wǎng)絡(luò)與特征融合的微表情識別算法，存在15種微表情識別混淆；而研究方法僅存在8種微表情識別混淆，相較此次實驗選擇的2組方法，混淆種類分別減少9種和7種?？梢?，此次研究方法，明顯減少了微表情識別混淆種類。

2.3.2 檢測Cohn-Kanade人臉圖片微表情識別混淆情況 交叉驗證3組方法，識別Cohn-Kanade微表情測試數(shù)據(jù)庫8種微表情，得到的混淆矩陣見圖2。

圖2 Cohn-Kanade人臉圖片微表情識別混淆情況Fig.2 The facial image micro expression recognition confusion based on Cohn-Kanade method

從圖2中可以看出，3組方法識別Cohn-Kanade數(shù)據(jù)庫中微表情，產(chǎn)生的混淆次數(shù)明顯少于JAFFE數(shù)據(jù)庫。研究方法僅存在3種微表情識別混淆，細(xì)粒度分層時空特征描述符的微表情識別方法存在11種微表情識別混淆，基于長短期記憶網(wǎng)絡(luò)與特征融合的微表情識別算法存在8種微表情識別混淆，由此可見研究方法混淆種類對比其他兩種方法分別減少8種和5種。可見，此次研究方法最大程度地避免了微表情識別混淆。

3 結(jié)束語

此次研究充分利用優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)，提高了圖片特征提取能力，減少人臉圖片微表情識別出現(xiàn)的混淆問題種類。但是此次研究的識別方法，識別人臉圖片微表情仍然存在微表情識別混淆現(xiàn)象。因此，在今后的研究中還需深入研究人臉圖片微表情識別方法，避免微表情識別混淆問題，從而提高人臉圖片微表情識別準(zhǔn)確率。