鐘明靜，盧涵宇，李丹楊*，蘭海翔，侯汝沖，胡正江

(1.貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院，貴州 貴陽 550025；2.貴州力創(chuàng)科技發(fā)展有限公司，貴州 貴陽 550018)

人臉表情是表達(dá)情感的重要方式之一，面部表情是人類表達(dá)情感和意圖的自然和直接的手段，表情識別也是社會(huì)交際中最強(qiáng)大、最具挑戰(zhàn)性的任務(wù)之一。隨著計(jì)算機(jī)和人臉檢測技術(shù)的快速發(fā)展，通過對機(jī)器的訓(xùn)練，讓具有非人類思維的機(jī)器對人臉面部表情的分類，以及分類結(jié)果精確著實(shí)是學(xué)者們目前面臨的一大挑戰(zhàn)[1-17]。因此研究表情識別的算法對一些領(lǐng)域有著至關(guān)重要的意義。

在圖像處理中，計(jì)算機(jī)視覺特征提取是一個(gè)重要的階段，它標(biāo)志著圖像處理從圖形化到隱式數(shù)據(jù)描述的轉(zhuǎn)變。ZHANG等[1]和HEGDE等[2]用Gabor小波基于紋理特征提取方法作了深入研究。2016年，COSSETIN等[3]通過中心像素和其位置像素之間的閾值化得到LBP特征和韋伯局部人臉紋理特征(WLD)。2014年,TAYLOR等[4]提出了一種獨(dú)立分量分析(ICA)利用多通道觀測提取局部特征的特征提取方法。POURSABERI等[5]在2012年提出KNN(K-最近鄰)算法是評價(jià)模型和其他模型之間關(guān)系的一種分類方法。HERNANDEZ等[6]提出SVM的四種類型核函數(shù)能發(fā)揮更好的性能。經(jīng)典的貝葉斯神經(jīng)網(wǎng)絡(luò)分類器是一種分類方法，它和反向傳播算法(BP)都對表情進(jìn)行分類，MAHERSIA等[7]用貝葉斯分類法獲得更好的分類精度。近年來，用得較多的分類器還有CNN, DNN等，但是上述提到的特征提取的方法都是基于單一特征對表情進(jìn)行識別，而單一的特征往往不能準(zhǔn)確描述圖像內(nèi)容，無法描述表情中細(xì)微的特性和變化，所以近幾年來不少學(xué)者就此作出了一些改進(jìn)，比如王敏等[8]生成自定義融合公式得到融合特征的公式，并提出了自適應(yīng)隨機(jī)權(quán)值多特征融合的圖像分類，羅微等[9]將局部二值模式和方向梯度直方圖融合木材缺陷的特征進(jìn)行分類。

在此基礎(chǔ)上，筆者提出了從粗略到細(xì)的一種策略對特征進(jìn)行融合，采用提取全局和低維特征的主成分分析(principal component analysis, PCA)進(jìn)行特征提取。通過對圖片的像素值，經(jīng)過一系列的預(yù)處理，得到原始數(shù)據(jù)，也就是原始特征,再利用原始特征進(jìn)行PCA降維，利用提出的策略方法進(jìn)行特征層融合，將此作為輸入數(shù)據(jù)用作BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練與測試數(shù)據(jù)，提高了表情識別率。

1 相關(guān)算法

1.1 主成分分析法

隨著表情圖像的采集條件越來越復(fù)雜以及手機(jī)像素的提高，提取后的特征具有高維向量，一般采用主成分分析、線性判別等降維算法對這些特征向量進(jìn)行降維。PCA是一種能夠線性降維方法，可消除數(shù)據(jù)之間相關(guān)性并減少數(shù)據(jù)選擇工作量。其中，奇異值分解(singular value decomposition, SVD)可以作為PCA算法中的特征分解，SVD能直接在原始矩陣上進(jìn)行矩陣分解。此外，PCA僅使用了SVD的右奇異矩陣，沒有使用左奇異矩陣。左奇異矩陣可以用于壓縮行數(shù)，而右奇異矩陣可以用于列數(shù)，并且還達(dá)到了PCA降維的目的。

在PCA中，根據(jù)協(xié)方差矩陣得到特征值，這是數(shù)據(jù)集中的重要特征，該方法可在保留有絕大部分原始數(shù)據(jù)信息的情況下僅利用少數(shù)幾個(gè)主成分值來代替，實(shí)現(xiàn)數(shù)據(jù)降維[10]。通過對樣本協(xié)方差矩陣進(jìn)行奇異值分解并構(gòu)造降維投影軸為：

(1)

[U,S,V]=svd(∑),

(2)

式中：m為樣本數(shù)量，n為樣本維數(shù)，x(i)表示第i個(gè)樣本，降維距離誤差為:

(3)

(4)

為確保降維輸出能夠很好地對原始數(shù)據(jù)進(jìn)行解釋，貢獻(xiàn)率取值為0.99。

通過SVD對數(shù)據(jù)的處理，就可以得到更低維的數(shù)據(jù)集來表示原始數(shù)據(jù)，進(jìn)而較好地去除了噪聲和冗余信息，以此達(dá)到了優(yōu)化數(shù)據(jù)、提高算法識別效果的目的。

1.2 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)(back propagation neural networks)是一種基于誤差反向傳播算法訓(xùn)練的多層感知器前饋網(wǎng)絡(luò)，它具有較強(qiáng)的非線性適應(yīng)性，較好的容錯(cuò)性以及較強(qiáng)的自組織、自學(xué)習(xí)與自適應(yīng)能力[11]。常見的BP網(wǎng)絡(luò)由一個(gè)輸入層、多個(gè)輸出層和若干個(gè)隱含層組成，輸出層采用線性傳遞函數(shù)，采用誤差反向傳播學(xué)習(xí)算法進(jìn)行權(quán)值調(diào)整。通過預(yù)測輸出和期望輸出得到誤差實(shí)現(xiàn)權(quán)值以及閾值的更新，以此循環(huán)使得訓(xùn)練的網(wǎng)絡(luò)達(dá)到最優(yōu)[12]。

設(shè)節(jié)點(diǎn)i和節(jié)點(diǎn)j之間的權(quán)值為wij，節(jié)點(diǎn)j的閾值為θj，每個(gè)節(jié)點(diǎn)的輸出值為xj，而每個(gè)節(jié)點(diǎn)的輸出值是根據(jù)上層所有節(jié)點(diǎn)的輸出值、當(dāng)前節(jié)點(diǎn)與上一層所有節(jié)點(diǎn)的權(quán)值和當(dāng)前節(jié)點(diǎn)的閾值以及激活函數(shù)來實(shí)現(xiàn)，具體表示如下：

(5)

其中f為激活函數(shù)，一般選取S型函數(shù)。

在BP神經(jīng)網(wǎng)絡(luò)中，誤差信號反向傳遞是基于Widrow-Hoff學(xué)習(xí)規(guī)則的，假設(shè)輸出層的所有結(jié)果為dj，誤差函數(shù)如下公式：

(6)

根據(jù)梯度下降法，權(quán)值矢量的修正量正比當(dāng)前位置上E(w,θ)的梯度，對于第j個(gè)輸出節(jié)點(diǎn)有：

(7)

根據(jù)梯度下降法，那么對于隱含層和輸出層之間的權(quán)值和閾值調(diào)整如下：

(8)

而對于輸入層和隱含層之間的權(quán)值和閾值調(diào)整同樣類似求得。

2 基于特征層融合和BP神經(jīng)網(wǎng)絡(luò)的人臉表情識別

在大多數(shù)研究者的研究中，更多的研究點(diǎn)是對特征提取算法的修改以及對分類器的改進(jìn)，一般分類方法先進(jìn)行數(shù)據(jù)預(yù)處理，再特征提取，最后表情分類，在本文中特征提取用主成分分析法，從圖片的像素值經(jīng)過裁剪、壓縮等預(yù)處理，將預(yù)處理后的數(shù)據(jù)進(jìn)行PCA特征提取，再用BP神經(jīng)網(wǎng)絡(luò)作為分類方法。

但是在圖像的表征上，如何更好的描述關(guān)鍵特征，研究的人卻少。例如2019年童靖然等[13]在針對單模態(tài)在目標(biāo)多尺度檢測效果較差的問題提出了一種基于可見和紅外雙模態(tài)特征金字塔融合的行人檢測算法，還有王世芳等[14]將關(guān)鍵尺度下的多種特征融合在一起成為特征金字塔特征對行人檢測，該方法也取得了在檢測精度和速度上的效果。根據(jù)其他研究者的研究點(diǎn)，筆者認(rèn)為對于原始特征，它的信息量比較豐富，但缺點(diǎn)是數(shù)據(jù)冗余，除了主要關(guān)鍵特征，其他背景、噪聲等因素也多，會(huì)導(dǎo)致重點(diǎn)不突出。而PCA特征提取降維后的特征，能夠突出核心重點(diǎn)的人臉特征，但是在變換過程中損失了一些細(xì)微的人臉信息量。于是，為了達(dá)到兩者的綜合，筆者提出了本文的人臉表情識別方法。

2.1 基于從粗到細(xì)策略的特征層融合方法

通常用PCA進(jìn)行表情識別是將圖像在特征向量形成的低維表情空間中的投影坐標(biāo)作為特征進(jìn)行分類識別的。但是在這一過程中，PCA將信息集中在少數(shù)的維度特征上，不可避免地帶來信息的損失，同時(shí)也帶來特征間關(guān)系的變化和特征重要性的改變。這種改變一方面提高了數(shù)據(jù)區(qū)分度，對模式識別帶來正面效應(yīng)，另一方面也變動(dòng)了數(shù)據(jù)間的關(guān)系，而基于變換后的數(shù)據(jù)進(jìn)行建模并不一定能反映數(shù)據(jù)的真實(shí)情況，因此具有一定的風(fēng)險(xiǎn)性。

使用圖像像素可以得到原始特征，該特征真實(shí)反映了數(shù)據(jù)間相互關(guān)系和本質(zhì)特征，且從整體出發(fā)描述數(shù)據(jù)概況。無論是人類認(rèn)知，還是格式塔理論，還是Navon理論都明確指出全局特征的認(rèn)知將優(yōu)于局部特征。因此，使用圖像原始特征識別圖像滿足人類認(rèn)識規(guī)律。但是原始圖像中充斥冗余特征，且相當(dāng)部分特征對識別幫助不大，反而會(huì)降低機(jī)器學(xué)習(xí)能力。因此，結(jié)合全局特征與局部特征將有利于提升模式識別效果。

基于以上，為了讓特征提取更好地用于表情識別中，筆者采用基于從粗到細(xì)策略的特征層融合方法，使得融合后的特征在盡可能保留數(shù)據(jù)間真實(shí)信息和整體認(rèn)知的同時(shí)引入對于部分重要特征的關(guān)注，并加強(qiáng)分類能力，在本文的JAFFE[15]、COPE表情[16]、GEMKI-4K[17]數(shù)據(jù)集上，結(jié)果超過了預(yù)期的效果，達(dá)到了真正的提高表情識別率的目的。

本文將提取一組的表情特征稱為特征描述，用于表征當(dāng)前表情和新的表情特征。筆者用以下的步驟來提取面部表情圖像的特征得到融合后的特征：

Step1：輸入表情圖像，將其轉(zhuǎn)換為灰度圖像，生成梯度陣列并進(jìn)行歸一化。

Step2：二維人臉圖像通過將每一行或每一列連接成一個(gè)長向量來表示一維向量X=[X1,X2,X3,…,XN]，其中X為訓(xùn)練圖像。

Step3：n個(gè)特征空間中利用映射向量提取權(quán)值向量P(k)=[P1,P2,P3,…,PN]，產(chǎn)生主成分Q(i)=Q1,Q2,Q3,…,Qn，給出Q(J)=XK(j)×PK(j)，計(jì)算協(xié)方差矩陣XTX得到特征向量和特征值。

Step4：根據(jù)特征向量對應(yīng)的特征值對特征向量進(jìn)行從高到低的排序,選擇組成特征向量的分量。選擇這些分量后，就可以得到新的數(shù)據(jù)集，接著對向量進(jìn)行轉(zhuǎn)置，將其增加到原始數(shù)據(jù)集的左邊。

Step5：提取特征向量用于檢測表情樣本。

經(jīng)過五個(gè)步驟后，就得到了處理好的表情特征，把原始特征和降維后的特征融合起來，這樣不僅得出了主成分向量，而且還讓信息較豐富的原圖也融合進(jìn)來，也沒有在特征降維后損失缺失的信息，這樣在訓(xùn)練網(wǎng)絡(luò)中能夠更加準(zhǔn)確地預(yù)測出正確的表情。

2.2 特征層融合結(jié)合BP神經(jīng)網(wǎng)絡(luò)

在本文中使用文獻(xiàn)[15-17]數(shù)據(jù)集，幾個(gè)數(shù)據(jù)集的樣本數(shù)量不是很大，最少圖片張數(shù)213張，最多4 000張。利用主成分分析法通過對原始數(shù)據(jù)進(jìn)行非監(jiān)督降維方法，得到最優(yōu)特征向量，再用特征向量作為BP神經(jīng)網(wǎng)絡(luò)的輸入?yún)?shù)，建立表情預(yù)測模型。

BP神經(jīng)網(wǎng)絡(luò)預(yù)測分網(wǎng)絡(luò)構(gòu)建、網(wǎng)絡(luò)訓(xùn)練和網(wǎng)絡(luò)預(yù)測三個(gè)步驟，本實(shí)驗(yàn)選擇包含一個(gè)隱含層的3層BP網(wǎng)絡(luò)結(jié)構(gòu)，這樣同時(shí)也能實(shí)現(xiàn)輸入到輸出的任何非線性映射。BP神經(jīng)網(wǎng)絡(luò)的步驟如下：

Step1：初始化。給每個(gè)連接權(quán)值wij、wjk、閾值θ1與θ2賦予區(qū)間(-1,1)內(nèi)的隨機(jī)量，隨機(jī)選取一組訓(xùn)練和驗(yàn)證集提供給網(wǎng)絡(luò)。

Step3：通過隱含層的輸出bj、連接權(quán)值wjk和閾值θ2計(jì)算輸出層各單元的輸出Lt，然后通過傳遞函數(shù)計(jì)算輸出層各單元的響應(yīng)Yt。

Step5：隨機(jī)選取下一個(gè)學(xué)習(xí)樣本向量提供給網(wǎng)絡(luò)，返回到step 3，直到訓(xùn)練和驗(yàn)證樣本訓(xùn)練完畢。

Step6：將測試樣本提供給網(wǎng)絡(luò)以驗(yàn)證網(wǎng)絡(luò)分類的正確性。

損失函數(shù)(loss function)是用來估量模型的預(yù)測值f(x)與真實(shí)值Y的不一致程度，以下是本文模型的損失函數(shù)：

(9)

連續(xù)迭代參數(shù)以最小化損失函數(shù)J(θ)，其中θ是可訓(xùn)練參數(shù)(包括權(quán)重和偏移)。λΦ(θ)是正則化項(xiàng)(regularizer)，損失函數(shù)越小，說明模型對于該樣本預(yù)測越準(zhǔn)確，機(jī)器學(xué)習(xí)中為了防止出現(xiàn)過擬合現(xiàn)象，通常會(huì)在殘差損失函數(shù)后面加上正則化項(xiàng)來限制模型復(fù)雜度。本文認(rèn)為參數(shù)wi接近于0的個(gè)數(shù)越多，系統(tǒng)的復(fù)雜度越低，過度擬合的可能性就越小。在訓(xùn)練的過程中就需要找到使目標(biāo)函數(shù)最小時(shí)的λΦ(θ)值。

算法分為特征的提取和融合、分類模型的訓(xùn)練。主成分分析作為本文的特征提取和降維，將PCA特征和原始特征結(jié)合作為我們特征融合的部分，這么做的目的是在特征上結(jié)合了兩種特征的優(yōu)點(diǎn)，并以實(shí)驗(yàn)證明，與其他分類算法相比較，本文的特征融合確實(shí)有助于提高分類精度。

3 實(shí)驗(yàn)及數(shù)據(jù)分析

3.1 數(shù)據(jù)庫簡介

本文共采用了三種表情數(shù)據(jù)庫，數(shù)據(jù)庫信息簡述如下：

① JAFFE數(shù)據(jù)集[15]：本數(shù)據(jù)集共有7種表情(憤怒、厭惡、害怕、高興、悲傷、驚訝、中性)，JAFFE持有10個(gè)日本女性的表情與7個(gè)面部表情共213張圖片，JAFFE數(shù)據(jù)庫中的每個(gè)圖像都包含256×256像素分辨率，見圖1。

圖1 JAFFE數(shù)據(jù)庫樣本

② COPE數(shù)據(jù)庫[16]：本數(shù)據(jù)集是首個(gè)公開的針對嬰兒疼痛表情分類的數(shù)據(jù)庫，包括26個(gè)年齡為出生18 h～3 d不等的健康白種新生兒的204張彩色照片。有兩種表情(疼痛和非疼痛)，即60張?zhí)弁幢砬檎掌?44張非疼痛照片。

③ GEMKI-4K數(shù)據(jù)庫[17]：2009年,Whitehill等建立的笑臉人臉圖片數(shù)據(jù)庫，圖片來自全世界形形色色的人，數(shù)據(jù)庫中的人臉圖片姿態(tài)范圍為：低頭，抬頭，左右旋轉(zhuǎn)，但都保持在20°正面范圍內(nèi)。除了姿態(tài)、光照的變化，還包含年齡、性別、種族、配飾、眼睛遮擋等各種干擾因素。GEMKI-4K數(shù)據(jù)庫中的每張圖片按照是否微笑被手動(dòng)標(biāo)記為兩類：笑臉和非笑臉，其中笑臉圖片2162張，非笑臉圖片1 828張。

3.2 數(shù)據(jù)預(yù)處理與實(shí)驗(yàn)方法

本文的重心在于研究融合后的數(shù)據(jù)對情感識別的提升效果，因此僅采用基本數(shù)據(jù)預(yù)處理方式，其步驟如下：

① 由于文獻(xiàn)[15-17]中數(shù)據(jù)庫的原始圖像中最大的分辨率是256×256，所以需要對其進(jìn)行壓縮和裁剪，經(jīng)裁剪后的表情圖像去除了背景等干擾區(qū)域，如圖2所示。為方便之后的計(jì)算，須將數(shù)據(jù)庫中圖像大小統(tǒng)一為24×24，同時(shí)為了凸顯人臉區(qū)域特征，需要裁剪背景區(qū)域，僅保留人臉區(qū)域，截取方法采用的是opencv的人臉識別工具，用Matlab作為語言接口，可以對人臉區(qū)進(jìn)行分割。

② 將所有圖片轉(zhuǎn)化為灰度圖。本文收集到的COPE和GEMKI-4K數(shù)據(jù)集采用的是RGB顏色模式，處理圖像要分別對RGB三種分量進(jìn)行處理，進(jìn)行加權(quán)平均能得到較合理的灰度圖像，既所需要的表情特征數(shù)據(jù)。利用在“1.1節(jié)”所提出的PCA特征降維對表情特征進(jìn)行處理，并構(gòu)造組合特征。再采用BP神經(jīng)網(wǎng)絡(luò)作為分類器對數(shù)據(jù)進(jìn)行迭代訓(xùn)練和識別，得到最終的表情識別率。最后，對數(shù)據(jù)進(jìn)行處理后，將數(shù)據(jù)按照7∶2∶1的數(shù)據(jù)比例分為訓(xùn)練集、驗(yàn)證集和測試集，并采用十倍交叉法得到最終實(shí)驗(yàn)結(jié)果。

(a)裁剪前

(b)裁剪后

(c)裁剪前

(d)裁剪后

圖2 裁剪前后的高興表情圖像

Fig.2 Happy facial expression images before and after cropping

3.3 特征提取實(shí)驗(yàn)對比

首先本文分別用三種表情數(shù)據(jù)直接進(jìn)行BP神經(jīng)網(wǎng)絡(luò)的分類與識別，未對特征數(shù)據(jù)進(jìn)行降維或融合處理，在這里本文設(shè)置第1組實(shí)驗(yàn)對照組：實(shí)驗(yàn)1是對原始特征進(jìn)行BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練；實(shí)驗(yàn)2是對裁剪后的特征進(jìn)行訓(xùn)練，看裁剪后的識別率是否有所提高，參數(shù)設(shè)置隱含層都為3層，訓(xùn)練迭代次數(shù)為1 000次，在“2.3節(jié)”中提到λΦ(θ)是正則化項(xiàng)，因?yàn)閾p失函數(shù)越小，說明模型對于該樣本預(yù)測越準(zhǔn)確，所以對于每組實(shí)驗(yàn)都有一個(gè)最優(yōu)的參數(shù)λ，這里也在實(shí)驗(yàn)結(jié)果中記錄出來。因?yàn)椴捎昧私徊骝?yàn)證法，所以將平均識別率最高的作為結(jié)果。實(shí)驗(yàn)結(jié)果如表1所示。

表1 三個(gè)數(shù)據(jù)集進(jìn)行BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練識別率對比

實(shí)驗(yàn)結(jié)果分析：①三個(gè)數(shù)據(jù)集對于裁剪后的特征進(jìn)行BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練，都表現(xiàn)出了比原始特征更好的分類性能，這原因就在于，原始圖像有很多未處理的對于分類下降的因素，裁剪后的圖像對原始圖像人臉的背景、頭發(fā)等干擾區(qū)域進(jìn)行了必要的去除，這種裁剪后的特征平均識別率分別提高了7.22 %、6.77 %和4 %。②對于參數(shù)λ，是本文的正則項(xiàng)，筆者發(fā)現(xiàn)原始特征的λ較裁剪后的λ更低，這說明該特征的簡單提取雖然在識別率上提高了，但是損失函數(shù)比原來增大，模型的性能并沒有多大的提升，因此本文需要更深層次的特征提取提高分類精度以及更強(qiáng)大的模型。

3.4 特征層融合性能對比實(shí)驗(yàn)

為了對比采用不同降維方法的實(shí)驗(yàn)性能，第2組實(shí)驗(yàn)加入了PCA特征降維處理。實(shí)驗(yàn)3采用基于裁剪后的特征對其進(jìn)行PCA降維特征，對其進(jìn)行訓(xùn)練；實(shí)驗(yàn)4采用本文提出的特征層融合結(jié)合BP神經(jīng)網(wǎng)絡(luò)方法，分別對3個(gè)數(shù)據(jù)集進(jìn)行訓(xùn)練，實(shí)驗(yàn)結(jié)果如表2所示。

表2 特征層融合結(jié)合BP必要性驗(yàn)證識別率對比

實(shí)驗(yàn)結(jié)果分析，從表2數(shù)據(jù)的結(jié)果可知：① 3個(gè)數(shù)據(jù)集對于本文提出的特征融合進(jìn)行BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練，都表現(xiàn)出了比單個(gè)PCA特征更好的分類性能，這種特征融合后的特平均識別率分別提高了5.1 %、4.6 %和1.4 %。②特征融合的參數(shù)λ比單個(gè)特征PCA降維特征更小，說明本文提出的模型不僅能在分類精度上提高，而且魯棒性也越好。

3.5 與其他分類器的對比

為了比較和其他分類方法的性能好壞，本文設(shè)置第3組實(shí)驗(yàn)?？紤]到研究者較多數(shù)用的分類器也是比較經(jīng)典的分類器，筆者采用支持向量機(jī)(SVM)與本文的方法進(jìn)行對比，還有隨機(jī)森林、KNN，BAYES分類器對三種表情數(shù)據(jù)進(jìn)行分類測試。實(shí)驗(yàn)5采用特征融合結(jié)合BP改進(jìn)的神經(jīng)網(wǎng)絡(luò)方法對三個(gè)數(shù)據(jù)集進(jìn)行識別率驗(yàn)證；實(shí)驗(yàn)6利用幾種經(jīng)典的分類算法對三種表情預(yù)處理的數(shù)據(jù)進(jìn)行分類和訓(xùn)練。并比較兩者的分類效果，得出實(shí)驗(yàn)結(jié)果并分析，實(shí)驗(yàn)結(jié)果如表3所示。

在SVM的參數(shù)設(shè)置中，本文設(shè)置核函數(shù)類型為RBF函數(shù)，隨機(jī)森林中決策樹個(gè)數(shù)為10，KNN中的k值設(shè)置為1。

表3 本文方法與其他分類方法性能結(jié)果對比

4 結(jié)論

本文提出一種基于從粗略到細(xì)作為特征層融合的方法，采用BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練分類的表情識別方法，并針對訓(xùn)練方法，利用比較經(jīng)典的分類方法SVM、KNN等對其進(jìn)行性能驗(yàn)證。通過幾組對比實(shí)驗(yàn)結(jié)果，表明本文方法相較預(yù)處理后的特征及PCA降維處理特征，訓(xùn)練得到的結(jié)果與本文提出的特征層融合的方法雖然在訓(xùn)練時(shí)間上沒有過多的提升，但在對識別率上有了一定提升，且僅帶來訓(xùn)練時(shí)間的小幅度增加，適用于情緒識別這類對精度要求高，對實(shí)時(shí)性要求較低的領(lǐng)域。另外，與其他一些分類器相比，針對SVM只能對小數(shù)據(jù)進(jìn)行分類的不足，BP神經(jīng)網(wǎng)絡(luò)在對數(shù)據(jù)訓(xùn)練的維度沒有太多的要求，且對表情的識別率也得到提高。下一步將研究的工作重點(diǎn)是如何用更佳的分類器以減少訓(xùn)練的時(shí)間并得到更好的識別結(jié)果，并對分類器的融合上有待更加深入的研究。