陳心怡,陶小梅

(1.廣西師范大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院,廣西 桂林 541000;2. 廣西多源信息挖掘與安全重點(diǎn)實(shí)驗(yàn)室,廣西 桂林 541000;3. 桂林理工大學(xué) 信息科學(xué)與工程學(xué)院,廣西 桂林 541000)

1 引言

隨著人工智能的快速發(fā)展,情感智能也逐漸受到研究者的重視。情感計(jì)算是賦予計(jì)算機(jī)識(shí)別,理解,表達(dá)和適應(yīng)人情感的能力[1],使其能夠感知用戶的情感狀態(tài),適時(shí)做出正確的響應(yīng)。情感識(shí)別是情感計(jì)算研究的關(guān)鍵問(wèn)題之一,對(duì)人機(jī)交互等各種不同場(chǎng)景下都具有重要意義。生理信號(hào)的變化由人體生理系統(tǒng)自發(fā)產(chǎn)生,不受個(gè)人主觀意愿控制[2],能為情感識(shí)別提供準(zhǔn)確可靠的依據(jù)。此外,隨著科學(xué)技術(shù)的發(fā)展,采集生理信號(hào)的設(shè)備日漸完善,具有便于攜帶,非侵入式,信號(hào)穩(wěn)定的特點(diǎn),因此基于生理信號(hào)的情感識(shí)別研究具有很大的實(shí)用價(jià)值。

當(dāng)前國(guó)內(nèi)外融合眼動(dòng)和PPG兩個(gè)模態(tài)的情感識(shí)別研究較少,多是使用眼動(dòng)單模態(tài)分類情感或者眼動(dòng)融合腦電等其它生理信號(hào)或者PPG融合其它生理信號(hào)來(lái)提升識(shí)別準(zhǔn)確率。如Bradley[3]的研究表明瞳孔的擴(kuò)張與情感狀態(tài)相關(guān)。Tarnowski[4]使用注視掃視和瞳孔直徑相關(guān)特征實(shí)現(xiàn)三種情感分類,支持向量機(jī)最高識(shí)別率80%。Zheng Wei-Long[5]使用深度神經(jīng)網(wǎng)絡(luò)融合EEG和眼動(dòng)信號(hào)識(shí)別4種情感,平均識(shí)別率為85.11%。上述研究表明眼動(dòng)數(shù)據(jù)中包含豐富的情感信息,融合其它生理信號(hào)能提高識(shí)別率,因此本文嘗試將眼動(dòng)與PPG信號(hào)融合進(jìn)行情感分類。

PPG是一種叫做光電容積脈搏波描記的容積測(cè)量方法,通過(guò)光學(xué)技術(shù)測(cè)量血流速率以及血液中容量的變化。心率(Heart Rate,HR)、心搏間期和心率變異性(Heart Rate Variability,HRV)等與情感變化相關(guān)的生理指標(biāo)均可以通過(guò)光電脈搏信號(hào)計(jì)算得出[6]。HRV是指連續(xù)心跳之間的時(shí)間間隔變化,是個(gè)體情緒和心理狀態(tài)的重要指標(biāo),能夠很好的表征情感狀態(tài)的變化[7]。此外,脈搏信號(hào)相比腦電,呼吸等生理信號(hào),采集方式更便捷,包含的情感特征更豐富[8]。研究中常用PPG的深度層次特征[9,10]、時(shí)頻域特征[11]以及心率相關(guān)的特征進(jìn)行情感分類。然而單個(gè)模態(tài)的生理信號(hào)進(jìn)行情感識(shí)別的研究具有一定的局限性,不同模態(tài)的生理信號(hào)具有互補(bǔ)性和相關(guān)性。以上文獻(xiàn)只是使用了單一模態(tài)生理信號(hào)的時(shí)頻域特征或者單一模態(tài)的時(shí)頻域特征融合深層特征或者多種模態(tài)生理信號(hào)的時(shí)域特征,未進(jìn)行多模態(tài)生理信號(hào)的時(shí)頻域特征融合深層特征,因此本文嘗試使用眼動(dòng)和PPG雙模態(tài)生理信號(hào)的時(shí)頻域特征融合深層特征進(jìn)行情感分類。

本文采用眼動(dòng)信號(hào)與PPG信號(hào)進(jìn)行分析,提取與情感狀態(tài)相關(guān)性顯著的眼動(dòng)時(shí)域特征和PPG信號(hào)的時(shí)域、頻域特征,進(jìn)行淺層特征融合,提出特征提取卷積神經(jīng)網(wǎng)絡(luò)(Feature Extraction Convolutional Neural Network,FECNN)進(jìn)行深度特征提取,使用LSTM進(jìn)行情感分類,最終驗(yàn)證了眼動(dòng)和PPG信號(hào)的特征之間存在互補(bǔ)性,以及本文的基于FECNN-LSTM的眼動(dòng)和PPG多模態(tài)融合模型的有效性。當(dāng)前基于PPG信號(hào)等生理信號(hào)的研究識(shí)別的情感種類較少,且識(shí)別率較低,與眼動(dòng)特征融合后,識(shí)別性能得到較大提高。

2 數(shù)據(jù)采集與特征提取

2.1 數(shù)據(jù)采集實(shí)驗(yàn)及預(yù)處理

本研究開(kāi)展了一個(gè)數(shù)據(jù)采集實(shí)驗(yàn),采集了62名在校大學(xué)生在使用計(jì)算機(jī)觀看學(xué)習(xí)視頻時(shí)的表情、眼動(dòng)和PPG等數(shù)據(jù)。選取四個(gè)不同主題總時(shí)長(zhǎng)約為35分鐘的視頻作為刺激素材來(lái)引發(fā)困惑,感興趣,高興,無(wú)聊四種情感。實(shí)驗(yàn)前被試簽署了知情同意書(shū),允許數(shù)據(jù)用作科研目的。由于PPG原始數(shù)據(jù)的采集過(guò)程中會(huì)受到電磁干擾,光照影響,運(yùn)動(dòng)偽差等干擾而產(chǎn)生噪音,而PPG信號(hào)的有效帶通在0.8-10Hz之間,因此設(shè)定高通過(guò)濾器閾值為1Hz過(guò)濾掉信號(hào)在低頻處產(chǎn)生的漂移,設(shè)定低通過(guò)濾閾值為10過(guò)濾高于10Hz的噪聲干擾。并使用5s的滑動(dòng)窗口劃分時(shí)間片段。

2.2 特征提取

2.2.1 淺層特征提取

淺層特征由同步時(shí)間窗口內(nèi)的PPG時(shí)頻域特征和眼動(dòng)時(shí)域統(tǒng)計(jì)特征構(gòu)成。

對(duì)每個(gè)時(shí)間窗口的脈搏序列信號(hào)等間距采樣選取N點(diǎn)構(gòu)成離散序列,進(jìn)行離散傅里葉變換得到頻域序列,其中k為離散頻率變量,WN為正變換核,j為虛數(shù)單位。計(jì)算公式如下式(1)～(6)

(1)

由歐拉公式

e±jn=cosn±jsinn

(2)

則

WN=exp(-j2πnk)=cos 2πnk-jsin 2πnk

(3)

此時(shí)X(k)為復(fù)數(shù),

X(k)=R(k)+jI(k)

(4)

R(k)為實(shí)部,I(k)為虛部。則頻域序列的每個(gè)點(diǎn)的相位值為

(5)

頻率譜為:

(6)

下圖1示的是某被試在觀看刺激素材時(shí)的HRV頻域數(shù)據(jù)根據(jù)高低頻率劃分若干頻段。圖中PSD代表HRV的總功率密度譜,VLF表示處在頻段0-0.04Hz的極低頻功率,LF表示處在0.04-0.15Hz的低頻功率,HF表示處在0.15-0.5Hz的高頻功率,LF/HF表示低頻和高頻功率的比值。

圖1 HRV頻域劃分

設(shè)HRV序列為R=[R1,R2,…RN],Ri表示i時(shí)刻HRV的值,N代表序列長(zhǎng)度。HRV時(shí)域特征計(jì)算公式如下式(7)～(10)。RR間期差值均方根RMSSD的計(jì)算公式如下式(7),其中RRi=R(i+1)-Ri。

(7)

標(biāo)準(zhǔn)差SDNN公式如下

(8)

其中

(9)

峰值間期大于50ms的百分比PNN50

(10)

根據(jù)每個(gè)模態(tài)得到的特征采用主成分分析(PCA)法篩選出與情感狀態(tài)顯著相關(guān)的眼動(dòng)和PPG特征。實(shí)驗(yàn)分析最終選取了32個(gè)眼動(dòng)特征以及40個(gè)PPG特征,具體列舉如下表1所示。

表1 通過(guò)PCA方法選取的淺層特征

將同步時(shí)間窗口內(nèi)的眼動(dòng)統(tǒng)計(jì)特征和PPG時(shí)頻域特征進(jìn)行特征層融合后構(gòu)成淺層特征,得到一個(gè)72維的組合特征向量。由于存在個(gè)體差異,不同人的生理信號(hào)基線值不同,因此需要去除個(gè)體的基線值,將眼動(dòng)和PPG的每種情感特征用平靜狀態(tài)下的相應(yīng)特征值作標(biāo)準(zhǔn)化,用min-max歸一化將特征值映射到 [0,1]區(qū)間內(nèi)。

2.2.2 深層特征提取

針對(duì)人工提取特征容易受到多方因素影響的問(wèn)題,情感識(shí)別領(lǐng)域中的研究常采用CNN,DBN等自適應(yīng)提取特征,以減少手工設(shè)計(jì)特征的不完整性,消除手工特征提取過(guò)程中產(chǎn)生的偽影[12-15],如Mohammad[16]等人使用無(wú)監(jiān)督深度信念網(wǎng)絡(luò)從EDA,PPG和EMG中提取深層特征,然后將三種模態(tài)的深層特征與統(tǒng)計(jì)特征進(jìn)行特征層融合,實(shí)現(xiàn)五種情感的分類。陳景霞等[17]基于EEG的時(shí)頻域以及組合特征,提出使用CNN進(jìn)行特征學(xué)習(xí)與分類。上述研究表明CNN能有效提取各種模態(tài)信號(hào)的深層特征。因此將CNN應(yīng)用到本研究中,將眼動(dòng)、HR和RPeaks的相關(guān)特征以及HRV時(shí)頻域特征作為深度模型的輸入,探究這些特征的深層特征是否與情感狀態(tài)顯著相關(guān)。

本文通過(guò)改進(jìn)MinSeop[18]提出的一維深層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建了一個(gè)FECNN網(wǎng)絡(luò)模型(Feature Extraction Convolutional Neural Network,FECNN)用來(lái)自適應(yīng)提取眼動(dòng)和PPG的深度特征,FECNN網(wǎng)絡(luò)結(jié)構(gòu)如下圖2所示。FECNN網(wǎng)絡(luò)中特征提取部分由連續(xù)的卷積層和池化層構(gòu)成,卷積層用來(lái)提取輸入數(shù)據(jù)的深層信息,池化層用于對(duì)獲得的特征圖進(jìn)行降采樣處理,以減輕網(wǎng)絡(luò)過(guò)擬合程度。FECNN的輸入是一個(gè)72×1的向量,共有4個(gè)卷積層,分別是Conv1,Conv2,Conv3,Conv4。每個(gè)卷積層都包含一個(gè)一維大小為3×1的卷積核,一個(gè)帶有2×1過(guò)濾器的最大池化層和一個(gè)正則化Dropout層。Dropout層以概率0.5使部分神經(jīng)元失活以防止模型出現(xiàn)過(guò)擬合。每個(gè)卷積層的步長(zhǎng)設(shè)為1,使用Relu作為激活函數(shù)。卷積層Conv4后疊加一個(gè)Flatten展平層,然后用一個(gè)Dense層把Flatten層輸出特征壓縮成64×1維的深層特征。用皮爾遜相關(guān)系數(shù)選取與情感狀態(tài)相關(guān)的深層特征,共57維,再與淺層特征進(jìn)行特征層融合,輸出一個(gè)129×1維的特征向量,用于下一步情感分類器的輸入。

圖2 FECNN網(wǎng)絡(luò)結(jié)構(gòu)圖

3 基于FECNN-LSTM的多模態(tài)融合情感識(shí)別模型

3.1 長(zhǎng)短時(shí)記憶單元

長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)是循環(huán)神經(jīng)網(wǎng)絡(luò)的一種變形,常用于分析時(shí)間序列數(shù)據(jù)。近年來(lái)研究中常用LSTM分析生理信號(hào),如朱兆坤等[19]使用LSTM學(xué)習(xí)經(jīng)過(guò)融合的ECG和呼吸信號(hào)的淺層特征,胡章芳等[20]使用LSTM實(shí)現(xiàn)腦電特征分類?？紤]到PPG信號(hào)和眼動(dòng)信號(hào)也具有時(shí)序特性,因此本文使用LSTM作為情感分類器。

圖3 LSTM結(jié)構(gòu)圖

假設(shè)xt為t時(shí)刻LSTM單元的輸入,W和U表示權(quán)重,ht-1為上一層隱藏單元的輸出。具體描述如下式(11)～(16)所示。

it=σ(λWi(Wixt)+λUi(Uiht-1))

(11)

ft=σ(λWf(Wfxt)+λUf(Ufht-1))

(12)

ot=σ(λWo(Woxo)+λUo(Uoht-1))

(13)

(14)

(15)

ht=ottanh(ct)

(16)

由式(14)～(16),時(shí)刻t隱藏單元的最終輸出ht由前一個(gè)時(shí)間點(diǎn)隱藏單元輸出ht-1和當(dāng)前時(shí)間點(diǎn)輸入xt共同決定,實(shí)現(xiàn)了記憶功能。通過(guò)3個(gè)門控單元的設(shè)計(jì),LSTM記憶單元能選擇性保存和更新長(zhǎng)距離的信息,這有利于學(xué)習(xí)PPG信號(hào)和眼動(dòng)的序列特征信息。

3.2 基于FECNN-LSTM的雙模態(tài)情感識(shí)別

本節(jié)主要介紹利用FECNN-LSTM模型進(jìn)行雙模態(tài)情感識(shí)別的過(guò)程。如下圖4所示為本文提出的基于CNN-LSTM的眼動(dòng)和PPG多模態(tài)融合情感識(shí)別模型結(jié)構(gòu)圖。使用圖2 所示的FECNN提取沒(méi)有偽影的深層特征,經(jīng)過(guò)FECNN網(wǎng)絡(luò)的全連接層輸出,然后與淺層特征進(jìn)行特征層融合得到淺層+深層特征向量,輸入到LSTM進(jìn)行訓(xùn)練,以捕捉特征信號(hào)在時(shí)間序列上的變化規(guī)律并學(xué)習(xí)多個(gè)特征在同步時(shí)間窗口內(nèi)的關(guān)系。

圖4 基于CNN-LSTM的眼動(dòng)和PPG多模態(tài)融合的情感識(shí)別方法模型結(jié)構(gòu)圖

本文設(shè)計(jì)的LSTM網(wǎng)絡(luò)具有3個(gè)隱藏層,隱藏單元數(shù)分別為32,64,72。將表1展示的淺層特征和FECNN提取的深層特征作為L(zhǎng)STM的輸入,訓(xùn)練階段通過(guò)反向梯度傳播更新網(wǎng)絡(luò)權(quán)重,為了優(yōu)化損失函數(shù)擺動(dòng)幅度過(guò)大的問(wèn)題,加快函數(shù)收斂速度,選擇自適應(yīng)學(xué)習(xí)率動(dòng)態(tài)調(diào)整算法作為優(yōu)化算法。使用多分類的交叉熵?fù)p失函數(shù)來(lái)評(píng)估當(dāng)前訓(xùn)練得到的概率分布與真實(shí)分布的差異情況。在每個(gè)LSTM層后使用dropout防止訓(xùn)練過(guò)擬合減少特征的相互作用。輸出層使用softmax激活函數(shù)進(jìn)行分類,輸出一個(gè)由4個(gè)概率組成的二維數(shù)組,代表樣本數(shù)據(jù)屬于某種情感的概率值。LSTM最后輸出感興趣、高興、困惑和無(wú)聊四種情感狀態(tài)中的一種。

4 實(shí)驗(yàn)結(jié)果分析

4.1 基于淺層特征的單模態(tài)情感識(shí)別實(shí)驗(yàn)

為驗(yàn)證眼動(dòng)和PPG融合能提升識(shí)別性能,本文選取了目前在PPG信號(hào)情感識(shí)別研究中分類性能較好的支持向量機(jī)(Support Vector Machine,SVM),隨機(jī)森林(Random Forest,RF),K近鄰(k-Nearest Neighbor,KNN),和多層感知機(jī)(Multilayer Perceptron,MLP)四種機(jī)器學(xué)習(xí)算法作對(duì)比實(shí)驗(yàn)。分別對(duì)1796個(gè)窗口下的眼動(dòng)和PPG特征按照8:2劃分訓(xùn)練集和驗(yàn)證集,并使用十折交叉進(jìn)行驗(yàn)證。表2展示了對(duì)5s的時(shí)間窗口內(nèi)的眼動(dòng)特征和PPG特征分別使用上述分類器進(jìn)行情感分類得到的平均識(shí)別率,平均召回率和F1分值。

表2 眼動(dòng)和PPG單模態(tài)淺層特征識(shí)別結(jié)果

上述實(shí)驗(yàn)結(jié)果表明5s時(shí)間窗口的眼動(dòng)單模態(tài)特征總體平均識(shí)別率為70.44%高于PPG單模態(tài)特征總體平均識(shí)別率67.91%。眼動(dòng)和PPG單模態(tài)特征在RF分類器的分類效果較好,眼動(dòng)模態(tài)在MLP的識(shí)別率最高為71.25%,PPG模態(tài)在RF的識(shí)別率最高為73.4%。PPG模態(tài)和眼動(dòng)模態(tài)都適合使用隨機(jī)森林算法進(jìn)行分類。如下圖5所示為PPG和眼動(dòng)單模態(tài)用隨機(jī)森林的分類結(jié)果用混淆矩陣表示,其中0代表感興趣,1代表困惑,2代表無(wú)聊,3代表高興。由圖5可以看出相比眼動(dòng)信號(hào),PPG與困惑和高興兩種情感相關(guān)性較高;相比PPG信號(hào),眼動(dòng)與感興趣和無(wú)聊兩種情感狀態(tài)相關(guān)性較高,同時(shí)兩種模態(tài)下困惑的識(shí)別率較低,有可能是因?yàn)椴杉臉颖緮?shù)量有限;選取的引發(fā)這兩種情感的刺激材料不夠準(zhǔn)確,導(dǎo)致引發(fā)的這兩種情感強(qiáng)度不夠高;也有可能是被試之間存在個(gè)體差異導(dǎo)致引發(fā)的情感不一樣等原因。

圖5 PPG單模態(tài)(a)和眼動(dòng)單模態(tài)(b)的混淆矩陣

4.2 基于眼動(dòng)和PPG特征融合情感識(shí)別實(shí)驗(yàn)

本章節(jié)使用KNN、RF、SVM、MLP四種機(jī)器學(xué)習(xí)算法和LSTM網(wǎng)絡(luò)分別對(duì)淺層特征、深層特征以及淺層+深層融合特征進(jìn)行分類,實(shí)驗(yàn)結(jié)果如下表3所示。

表3 深層特征、淺層特征識(shí)別結(jié)果

對(duì)表3進(jìn)行分析,眼動(dòng)和PPG的深層特征在四種機(jī)器學(xué)習(xí)算法中的平均識(shí)別率都高于其淺層特征在相應(yīng)機(jī)器學(xué)習(xí)算法的平均識(shí)別率。說(shuō)明深層特征比人工提取的淺層特征蘊(yùn)含更多的情感信息,FECNN提取的深層特征能有效表征情感狀態(tài)。同時(shí)深層特征使用LSTM網(wǎng)絡(luò)的平均識(shí)別率比其在四種機(jī)器學(xué)習(xí)算法的平均識(shí)別率高,說(shuō)明LSTM網(wǎng)絡(luò)設(shè)計(jì)具有一定的合理性且LSTM能學(xué)習(xí)眼動(dòng)和PPG數(shù)據(jù)的時(shí)序信息。

特征層融合方法可以利用不同模態(tài)之間的相互聯(lián)系。對(duì)表2和表3進(jìn)行分析,通過(guò)計(jì)算淺層特征、深層特征在五種分類器下的平均識(shí)別率的均值,得出眼動(dòng)和PPG淺層特征的平均識(shí)別率為75.02%,深層特征平均識(shí)別率為79.16%,淺層+深層特征融合平均識(shí)別率為81.36%,比只使用眼動(dòng)或者PPG單一模態(tài)特征平均識(shí)別率高。其中RF、KNN、MLP的多模態(tài)準(zhǔn)確率相比單模態(tài)都有所提升。實(shí)驗(yàn)結(jié)果表明眼動(dòng)和PPG各自都提供了一部分獨(dú)有的生理信息,通過(guò)這兩種模態(tài)的融合,識(shí)別率明顯提高,可見(jiàn)眼動(dòng)和PPG特征之間存在互補(bǔ)性和相關(guān)性。

使用LSTM網(wǎng)絡(luò)對(duì)構(gòu)成的淺層深層特征融合矩陣進(jìn)行分類識(shí)別,識(shí)別準(zhǔn)確率和損失值如下圖6所示。經(jīng)多次試驗(yàn),該模型在迭代到600次后的準(zhǔn)確率和損失值趨于穩(wěn)定。迭代600次后訓(xùn)練的該模型在驗(yàn)證集上的四種情感的平均識(shí)別率為84.68%,損失值為0.43。本文還將上述淺層融合深層特征進(jìn)行跨模態(tài)轉(zhuǎn)換為224×224×3的3維圖片,作為深度學(xué)習(xí)模型的輸入。微調(diào)了VGG16和ResNet50兩個(gè)深度學(xué)習(xí)模型作為對(duì)比,模型使用早停法避免過(guò)擬合。如圖7,8所示分別為使用VGG16和ResNet50對(duì)提取的淺層+深層特征作分類得到的準(zhǔn)確率和損失值。由圖7,8可以看出,VGG在迭代到700次時(shí),驗(yàn)證集準(zhǔn)確率穩(wěn)定在74%,而ResNet模型在迭代到500次時(shí),驗(yàn)證集準(zhǔn)確率穩(wěn)定在70%左右。上述實(shí)驗(yàn)結(jié)果表明淺層+深層特征融合方法的識(shí)別率比只進(jìn)行淺層特征融合或只進(jìn)行深層特征融合的識(shí)別率高,FECNN-LSTM網(wǎng)絡(luò)對(duì)于眼動(dòng)和PPG多模態(tài)融合進(jìn)行情感分類過(guò)程中分析長(zhǎng)周期數(shù)據(jù)具有優(yōu)勢(shì)。

圖6 基于淺層+深層特征多模態(tài)特征融合LSTM的準(zhǔn)確率和損失值

圖7 基于淺層+深層特征多模態(tài)特征融合的VGG16模型準(zhǔn)確率和損失值

圖8 基于淺層+深層特征多模態(tài)特征融合的ResNet50模型準(zhǔn)確率和損失值

4.3 討論與分析

為了檢驗(yàn)本研究方法中基于眼動(dòng)和PPG模態(tài)融合情感識(shí)別的有效性,以及使用FECNN提取的深層特征與情感狀態(tài)相關(guān),能提高識(shí)別性能,下表4展示了一些使用其它生理信號(hào)(如EMG,EEG,ECG)進(jìn)行情感識(shí)別的研究。從生理信號(hào)模態(tài)、情感類別、分類方法以及平均識(shí)別率四個(gè)角度進(jìn)行對(duì)比。其中文獻(xiàn)[21]使用的是公開(kāi)數(shù)據(jù)集SEED,其余研究使用的是實(shí)驗(yàn)室自建數(shù)據(jù)集。表4的前四項(xiàng)研究都是進(jìn)行四種情感分類,從文獻(xiàn)[22]、[23]以及本文的識(shí)別率說(shuō)明PPG單模態(tài)的識(shí)別率較低,融合了EMG或PPG,識(shí)別率提升了,說(shuō)明了單模態(tài)情感識(shí)別分類效果較弱。從表4列舉的七種方法中可以看出,眼動(dòng)和PPG融合情感識(shí)別能有效提高可識(shí)別的情感分類和分類性能,且相比其它生理信號(hào),眼動(dòng)和PPG的采集過(guò)程比較簡(jiǎn)單,隨情感變化較為靈敏,可在人機(jī)交互等多種場(chǎng)景下廣泛應(yīng)用。

表4 情感識(shí)別研究結(jié)果對(duì)比

5 結(jié)論

本文提出一種基于CNN-LSTM的眼動(dòng)和PPG多模態(tài)融合的情感識(shí)別方法。該方法利用CNN和LSTM提取眼動(dòng)和PPG信號(hào)的深層特征,將深層和淺層特征融合后用LSTM實(shí)現(xiàn)情感分類。該方法為多模態(tài)生理信號(hào)特征融合提供了一種新思路。實(shí)驗(yàn)分別采用淺層特征、通過(guò)FECNN提取的深層特征,以及深淺層融合后的特征結(jié)合SVM、KNN、RF、MLP和LSTM五種分類模型進(jìn)行情感分類,結(jié)果顯示采用深層特征的識(shí)別準(zhǔn)確率高于采用淺層特征,采用深淺層特征融合后識(shí)別準(zhǔn)確率較兩者有所提升,證實(shí)了眼動(dòng)和PPG兩種模態(tài)經(jīng)過(guò)融合后可以有效提升識(shí)別性能。此外在LSTM模型上對(duì)眼動(dòng)和PPG兩種信號(hào)的分類效果優(yōu)于VGG16、ResNet50等模型,其主要原因是眼動(dòng)和PPG中包含時(shí)序信息,而LSTM能充分利用時(shí)序信息。今后,將探索更多模態(tài)的融合方式以及構(gòu)建更好的模型來(lái)提升識(shí)別性能。