殷夢(mèng)馨,倪娜,尉懷懷,安飛,許欣悅,武圣君,劉旭峰,王秀超△

(1.陜西中醫(yī)藥大學(xué) 公共衛(wèi)生學(xué)院,咸陽(yáng) 712046;2.空軍軍醫(yī)大學(xué) 軍事醫(yī)學(xué)心理學(xué)系,西安 710032)

0 引言

情緒是人對(duì)客觀事物的態(tài)度體驗(yàn)以及相應(yīng)的行為反應(yīng),通常包含主觀體驗(yàn)、外在表現(xiàn)和生理喚醒三部分。情緒無(wú)論在個(gè)體還是人際交往中都具有重要意義。因此,近年來,對(duì)情緒識(shí)別的研究逐漸成為不同領(lǐng)域的研究焦點(diǎn)。

在現(xiàn)有研究中,根據(jù)采集信號(hào)的性質(zhì),情緒識(shí)別方法一般分為兩大類:一種是基于人體的行為學(xué)指標(biāo)進(jìn)行識(shí)別,如易于采集的面部表情、手勢(shì)、姿勢(shì)等表現(xiàn)信號(hào)。另一種是基于生理信號(hào)進(jìn)行識(shí)別,如腦電、肌電、皮膚電等,這類信號(hào)雖然采集條件極為嚴(yán)格,但由于其難以被掩飾,因而具有可靠的識(shí)別結(jié)果。近幾年,研究者在將情緒變化與各類信號(hào)建立穩(wěn)定的聯(lián)系時(shí)發(fā)現(xiàn),僅靠單一信號(hào)難以全面反應(yīng)情緒狀態(tài)。Poria等[1]分別探討了現(xiàn)有的單模態(tài)和多模態(tài)情緒識(shí)別方法,并進(jìn)行批判性分析后證實(shí),多模態(tài)情緒識(shí)別的性能優(yōu)于單模態(tài)。鑒于多模態(tài)情緒識(shí)別優(yōu)勢(shì),本文將重點(diǎn)對(duì)基于神經(jīng)生理、外在行為表現(xiàn)模態(tài)及基于多模態(tài)情緒識(shí)別的常用方法和研究現(xiàn)狀進(jìn)行梳理,并對(duì)未來的研究方向進(jìn)行展望。

1 基于神經(jīng)生理信號(hào)的情緒識(shí)別研究

情緒的發(fā)生發(fā)展與神經(jīng)系統(tǒng)的活動(dòng)相互影響。因此,可以在情緒變化和生理信號(hào)之間建立一個(gè)標(biāo)準(zhǔn)的固定關(guān)系,以此判斷情緒狀態(tài)。為更好地區(qū)分生理信號(hào),根據(jù)神經(jīng)系統(tǒng)產(chǎn)生的機(jī)理不同,人體的生理信號(hào)可分為兩類:一類與中樞神經(jīng)系相關(guān),包括腦電信號(hào)及大腦的磁場(chǎng)活動(dòng)等指標(biāo);另一類則與周圍神經(jīng)系統(tǒng)相聯(lián)系,包括皮膚電信號(hào)、心電信號(hào)、呼吸信號(hào)、體表溫度和肌電信號(hào)等[2]。

1.1 腦電信號(hào)

已有研究表明,情緒起源于大腦皮層和皮層下神經(jīng)的協(xié)同作用過程,也受下丘腦、邊緣系統(tǒng)、網(wǎng)狀結(jié)構(gòu)和神經(jīng)內(nèi)分泌系統(tǒng)的共同調(diào)節(jié)。當(dāng)神經(jīng)系統(tǒng)受到情緒刺激時(shí),很難控制和偽裝神經(jīng)系統(tǒng)的活動(dòng)。因此,來自人腦的腦電信號(hào)可真實(shí)、可靠地實(shí)現(xiàn)情緒識(shí)別[3]。

腦電信號(hào)可在二維模型(效價(jià)和喚醒)上獨(dú)立進(jìn)行情緒識(shí)別,因此是情緒識(shí)別最常用的生理信號(hào)之一[4]。近年來,隨著腦科學(xué)的不斷發(fā)展和信號(hào)處理技術(shù)的不斷進(jìn)步,該領(lǐng)域也取得了一定的研究成果。王斌等[5]面向多通道腦電信號(hào),提出一種基于條件格蘭杰因果檢驗(yàn)(CGC)的因果網(wǎng)絡(luò)情緒識(shí)別方法,將節(jié)點(diǎn)之間的因果連接關(guān)系作為特征,分別輸入支持向量機(jī)和K最近鄰分類器進(jìn)行分類訓(xùn)練,識(shí)別率分別為 75.3% 和 78.4%。此外,由于腦電信號(hào)的頻率、時(shí)間和空間特征對(duì)情緒識(shí)別至關(guān)重要,為更全面地獲取多通道腦電信號(hào)的頻率、空間和時(shí)間信息,有研究選擇多維特征結(jié)構(gòu)作為人工神經(jīng)網(wǎng)絡(luò)的輸入,提出一種基于深度可分離卷積的神經(jīng)網(wǎng)絡(luò)模型,提取輸入結(jié)構(gòu)的頻率和空間特征,最后使用有序神經(jīng)元長(zhǎng)短期記憶(ordered neuron long and short term memory,ON-LSTM) 網(wǎng)絡(luò)進(jìn)行建模。利用所提模型在DEAP 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),喚醒和效價(jià)的情緒識(shí)別平均準(zhǔn)確率分別為 95.02% 和 94.61%[6]。

1.2 心電信號(hào)

典型心電圖心動(dòng)周期中的波形是有規(guī)律可循的,通常含有P波、QRS波和T波,其中以QRS波群最為顯著。在QRS波段中,R峰最為明顯,可通過測(cè)量R峰出現(xiàn)的時(shí)間間隔確定心率變異性,不同的心率變異性對(duì)應(yīng)不同的情緒狀態(tài)。在一些關(guān)于焦慮和抑郁的研究中發(fā)現(xiàn),心率變異性也是診斷焦慮和抑郁等負(fù)性情緒的有效指標(biāo)[7]。因此,越來越多的心理學(xué)研究支持心率變異性與情緒反應(yīng)之間的聯(lián)系。

為探究主觀情緒與客觀生理信號(hào)間的聯(lián)系,進(jìn)一步豐富情緒識(shí)別相關(guān)研究。易慧等[8]提出基于心率變異性特征信息進(jìn)行多種情緒分類的識(shí)別方法。在實(shí)驗(yàn)條件下,采用小波變換技術(shù)進(jìn)行降噪處理,提取心率變異性的時(shí)域、頻域等特征參數(shù),最后利用改進(jìn)的支持向量機(jī)算法實(shí)現(xiàn)情緒分類,對(duì)于不同情緒的識(shí)別精度可達(dá)到 60%～75%。然而,現(xiàn)實(shí)應(yīng)用中,為滿足實(shí)時(shí)性要求,多選擇在線識(shí)別情緒,因此,減小個(gè)體差異,建立一個(gè)可泛化的情緒識(shí)別模型將成為必要。He等[9]為解決現(xiàn)實(shí)需求,采用一種基于心電信號(hào)的在線跨主體的情緒識(shí)別方法。在分類器訓(xùn)練階段,無(wú)監(jiān)督域自適應(yīng)(unsupervised domain adaptive,UDA)通過將源數(shù)據(jù)和目標(biāo)數(shù)據(jù)投影到可以訓(xùn)練分類器的共享子空間,以減少主體間差異;在線識(shí)別階段,引入在線數(shù)據(jù)自適應(yīng)(online data adaptation,ODA)方法減少主體內(nèi)差異,以自適應(yīng)時(shí)變心電信號(hào),然后通過訓(xùn)練的分類器可獲得在線情緒識(shí)別結(jié)果。該方法在Dreame上識(shí)別準(zhǔn)確率分別為72%和71%,并且對(duì)在線場(chǎng)景中的時(shí)變心電信號(hào)具有魯棒性。

1.3 皮膚電信號(hào)

相比腦電和心電信號(hào),皮膚電信號(hào)是易被忽視的一項(xiàng)生理指標(biāo)。在人體情緒發(fā)生變化時(shí),會(huì)影響皮膚的汗液分泌,導(dǎo)致皮膚電水平變化,對(duì)皮膚電信號(hào)進(jìn)行采集,根據(jù)其變化特征,可對(duì)情緒進(jìn)行分類研究。其中,皮膚電導(dǎo)水平和電導(dǎo)反應(yīng)是反應(yīng)情緒的良好指標(biāo)。國(guó)內(nèi)有研究發(fā)現(xiàn),皮膚電反應(yīng)基礎(chǔ)水平的個(gè)體差異明顯,且與個(gè)性特征相關(guān),基礎(chǔ)水平越高,表明越緊張、內(nèi)向、情緒不穩(wěn)定、反應(yīng)越敏感、越焦慮不安;基礎(chǔ)水平越低,表明越外向、開朗、自信、心態(tài)比較平衡、心理適應(yīng)好[10]。

皮膚電信號(hào)通常與情緒的喚醒程度密切相關(guān)[11]。鑒于皮膚電信號(hào)自身特性,單模態(tài)下進(jìn)行情緒識(shí)別的準(zhǔn)確率較低,且因個(gè)體差異性,識(shí)別模型泛化能力差。何國(guó)柱等[12]為提高皮膚電信號(hào)的情緒識(shí)別準(zhǔn)確率和泛化能力,通過皮膚電信號(hào)構(gòu)建情緒識(shí)別機(jī)器學(xué)習(xí)模型,對(duì)皮膚電信號(hào)進(jìn)行多維度特征提取、歸一化處理以及情感標(biāo)簽分析,并在此基礎(chǔ)上采用基于樹模型的決策樹和隨機(jī)森林算法實(shí)現(xiàn)情緒的有效分類,獲得了較好的分類準(zhǔn)確率和泛化能力,在喚醒和效價(jià)度維度上的分類準(zhǔn)確率分別達(dá)到92.00%和90.90%。

1.4 呼吸信號(hào)

在呼吸信號(hào)的各項(xiàng)參數(shù)中,由于呼吸頻率在不同情緒狀態(tài)下存在差異性,因此,可作為情緒識(shí)別的重要特征參數(shù)之一。呼吸頻率降低說明處于放松狀態(tài);深呼吸、急促呼吸可表示快樂或憤怒;呼吸暫時(shí)中斷,表示緊張;不規(guī)則呼吸節(jié)律是負(fù)效價(jià)和喚醒的信號(hào),其中,淺而急促的呼吸暗示集中注意或恐懼,淺呼吸和緩呼吸與消極情緒有關(guān)[13]。

在現(xiàn)有研究中,基于呼吸信號(hào)進(jìn)行情緒識(shí)別的研究文獻(xiàn)匱乏,呼吸信號(hào)的特征庫(kù)特征數(shù)量不夠豐富,因此,在已有的大部分研究中,通常將呼吸信號(hào)的各項(xiàng)參數(shù)結(jié)合其他信號(hào)特征以實(shí)現(xiàn)情緒識(shí)別。但近些年也有針對(duì)上述問題提出基于呼吸信號(hào)進(jìn)行情緒識(shí)別的新方法。相關(guān)研究引入EEMD信息熵算法,將構(gòu)成呼吸信號(hào)的EEMD信息熵特征集輸入支持向量機(jī)和隨機(jī)森林,采用十折交叉檢驗(yàn)與網(wǎng)格尋優(yōu),確定最優(yōu)算法參數(shù),構(gòu)建呼吸信號(hào)的情緒識(shí)別模型,一對(duì)一情緒識(shí)別率最高達(dá)到了83.33%[14]。

試驗(yàn)井鉆遇目的地層后油氣活躍，為平穩(wěn)地層壓力，將鉆井液密度從 1.22g·cm-3提高至 1.44g·cm-3，進(jìn)行短程起下鉆測(cè)油氣上竄速度時(shí)，下鉆至1580m時(shí)發(fā)生嚴(yán)重地層失穩(wěn)漏失。進(jìn)行常規(guī)堵漏后繼續(xù)鉆至完鉆井深2227m，短程起下鉆測(cè)得油氣上竄速度128m·h-1，最低密度為 1.31g·cm-3，最高全烴值 90%，井控風(fēng)險(xiǎn)極大，必須循環(huán)提鉆井液密度。當(dāng)密度提至1.52g·cm-3后，再次發(fā)生井漏，循環(huán)漏速 32m3·h-1。

1.5 皮膚溫度

皮膚溫度會(huì)隨情緒狀態(tài)不同而產(chǎn)生變化。當(dāng)人處于極度興奮的狀態(tài)時(shí),常常會(huì)變得面紅耳赤,這是由于血液循環(huán)加速會(huì)導(dǎo)致皮膚溫度上升;而受到驚嚇時(shí)產(chǎn)生恐懼情緒,會(huì)使人面無(wú)血色,體溫下降。通過測(cè)量指尖皮膚溫度發(fā)現(xiàn),在放松狀態(tài)下,擴(kuò)張的血管會(huì)使指尖變暖;在壓力或焦慮時(shí),血管收縮指尖變冷。

皮膚溫度在情緒效價(jià)識(shí)別中有一定偏向性,相對(duì)于消極狀態(tài),更容易識(shí)別積極狀態(tài),在情緒識(shí)別中只能用于探測(cè)喚醒維度。此外,皮膚溫度的變化需要一定時(shí)間,且整體變化幅度較小,因此,皮膚溫度常作為輔助手段用于提高情緒識(shí)別的準(zhǔn)確率。在最近的一項(xiàng)研究中,Tan等[15]采用脈沖神經(jīng)網(wǎng)絡(luò)(SNN)為多模態(tài)數(shù)據(jù)建立一個(gè)情感識(shí)別系統(tǒng),具體使用NeuCube框架對(duì)皮膚溫度、呼吸信號(hào)、心電信號(hào)等情緒特征進(jìn)行分類。結(jié)果表明,在應(yīng)用特征級(jí)融合時(shí),該方法對(duì)二元效價(jià)分類的準(zhǔn)確率為73.15%。

1.6 肌電信號(hào)

肌電信號(hào)主要用于研究認(rèn)知情緒和生理反應(yīng)之間的相關(guān)性。其采集電極的放置位置范圍較廣,包括咀嚼肌、皺眉肌、顴大肌和斜方肌等。有研究表明,皺眉肌的電信號(hào)活動(dòng)與憤怒和驚訝等情緒狀態(tài)間存在顯著相關(guān)性;面部的肌電信號(hào)與不同情緒狀態(tài)(快樂或不快樂)相關(guān);檢測(cè)咀嚼肌的肌電圖,可確定受試者是否處于憤怒狀態(tài)[16]。

在情緒識(shí)別研究中,肌電信號(hào)可對(duì)情緒一維效價(jià)進(jìn)行較為準(zhǔn)確的測(cè)量。因此,在實(shí)驗(yàn)條件允許下,肌電信號(hào)常作為輔助信號(hào)協(xié)同其他生理電信號(hào)進(jìn)行情緒識(shí)別。目前,由于采集眼電和肌電信號(hào)的設(shè)備成本低、無(wú)線便攜、可穿戴,已被廣泛應(yīng)用于情感識(shí)別。Kose等[17]使用人工神經(jīng)網(wǎng)絡(luò)和時(shí)域特征組合,實(shí)現(xiàn)了眼電信號(hào)和肌電信號(hào)的最大分類精度,整體識(shí)別準(zhǔn)確率達(dá)到98%。此外,由于人機(jī)界面和醫(yī)療保健等領(lǐng)域的發(fā)展,利用肌電信號(hào)單模態(tài)進(jìn)行情緒識(shí)別的潛能也逐漸被發(fā)掘。Shiva等[18]嘗試在效價(jià)情感維度中使用面部肌電圖信號(hào)的光譜特征,對(duì)情緒進(jìn)行分類,對(duì)采集的信號(hào)進(jìn)行短時(shí)傅立葉變換,并以1 s的間隔從信號(hào)中提取峰值頻率值,利用支持向量機(jī)分類器對(duì)提取的特征進(jìn)行分類,識(shí)別準(zhǔn)確率達(dá)到61.37%。

2 基于行為表現(xiàn)的情緒識(shí)別研究

情緒有多種表達(dá)方式,除在情緒產(chǎn)生時(shí)伴有生理指標(biāo)的變化,同時(shí)也伴有一定外在行為表現(xiàn)的變化。因此,可通過身體的某些變化來進(jìn)行情緒識(shí)別。在以往研究中,情緒的自動(dòng)識(shí)別研究主要集中于面部表情和語(yǔ)音語(yǔ)調(diào)上,但隨著動(dòng)作捕捉技術(shù)的發(fā)展,姿態(tài)情緒識(shí)別成為情緒識(shí)別中不可或缺的一環(huán)。據(jù)不同文獻(xiàn)研究發(fā)現(xiàn),在眾多行為表現(xiàn)模態(tài)中,面部表情、語(yǔ)音語(yǔ)調(diào)、身體姿態(tài)在情緒識(shí)別中可取得良好的識(shí)別效果。本節(jié)將簡(jiǎn)要綜述該類模態(tài)的識(shí)別準(zhǔn)確率。

2.1 身體姿態(tài)

目前關(guān)于非語(yǔ)言情緒識(shí)別的研究大多集中于面部表情,但事實(shí)上,一些情緒可能更易被肢體動(dòng)作所表征。目前的研究表明,特定的身體姿態(tài)可被視為特定情緒狀態(tài)的表達(dá)。相對(duì)于情緒識(shí)別的其他行為模態(tài),人體姿態(tài)更具有直觀性、不易被隱藏,且由于不受大腦皮層直接控制,能更真實(shí)地反應(yīng)原始情緒過程。

近年來,圖卷積網(wǎng)絡(luò)越來越受到研究人員的關(guān)注,而人體骨骼結(jié)構(gòu)是一種天然的圖數(shù)據(jù),為基于骨骼點(diǎn)的肢體情緒識(shí)別提供了一個(gè)新途徑。Zhuang等[19]在考慮關(guān)節(jié)的非局部相關(guān)性以及輸入的噪音時(shí),提出全局圖卷積收縮網(wǎng)絡(luò)(global graph convolution shrinkage network,G-GCSN)。其中,全局連接用于構(gòu)建適用于情感識(shí)別的骨架自然連接圖,將情感作為一個(gè)整體來感知圖卷積收縮塊,減少噪音影響,從而有效提取與情感相關(guān)的特征。G-GCSN在步態(tài)情緒數(shù)據(jù)集(E-Gait)上的識(shí)別準(zhǔn)確率達(dá)到81.50%。

2.2 面部表情

心理學(xué)家通過研究發(fā)現(xiàn),日常生活中人們通過語(yǔ)言進(jìn)行信息傳遞的信息量,僅占總信息量的7%,而通過表情傳遞的信息量則占55%。通常情況下,個(gè)體可表現(xiàn)出大量的面部表情,并且多數(shù)情況下,面部表情與情緒的對(duì)應(yīng)關(guān)系趨于穩(wěn)定[20],且面部表情對(duì)六種基本情緒的表現(xiàn)具有普遍性。因此,分析面部表情蘊(yùn)涵的信息可很好地了解人類的意識(shí)和心理活動(dòng)。

2.3 語(yǔ)音

語(yǔ)音在交流過程中承載著重要信息,不僅包含文字符號(hào)信息,也含有人們?cè)诓煌榫w狀態(tài)下的情緒信息。既往研究發(fā)現(xiàn),情緒變化和認(rèn)知功能損傷均會(huì)對(duì)語(yǔ)音產(chǎn)生的生理機(jī)制(如與發(fā)聲相關(guān)的肌肉系統(tǒng)、神經(jīng)系統(tǒng))和協(xié)調(diào)過程產(chǎn)生直接影響。此外,語(yǔ)音語(yǔ)調(diào)對(duì)基本情緒和非基本情緒的識(shí)別有著良好表現(xiàn),其中,悲傷和憤怒最容易識(shí)別,其次是恐懼和快樂,因此,情緒的語(yǔ)音聲學(xué)特征成為情緒識(shí)別的另一重要途徑。

由于說話者之間的情感差異,其性能非常依賴于從語(yǔ)音信號(hào)中提取的特征,如韻律特征、音質(zhì)特征以及譜特征三種聲學(xué)特征參數(shù),因此,建立有效的特征提取和分類模型仍是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。Zhang等[23]提出一種基于深度卷積神經(jīng)網(wǎng)絡(luò)和雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)的注意力模型用于語(yǔ)音情緒識(shí)別,通過提取三通道對(duì)數(shù)梅爾頻譜圖(靜態(tài)、增量和增量-增量)作為深度卷積神經(jīng)網(wǎng)絡(luò)的輸入特征,在EMO-DB和IEMOCAP數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)分別獲得了87.86%和68.50%的平均識(shí)別準(zhǔn)確率。近年,也有研究將語(yǔ)音情緒識(shí)別應(yīng)用于實(shí)際場(chǎng)景。李尚卿等[24]通過分析駕駛員語(yǔ)音的頻譜特征,利用螢火蟲算法優(yōu)化概率神經(jīng)網(wǎng)絡(luò)并構(gòu)建識(shí)別模型,實(shí)現(xiàn)駕駛員路怒情緒的識(shí)別,模型的識(shí)別準(zhǔn)確率為93.00%。

2.4 眼動(dòng)

眼動(dòng)信號(hào)可以提供豐富的情緒特征信號(hào),包括瞳孔直徑、注視信息和掃視信號(hào)三個(gè)常見的基本特征,以及相關(guān)的統(tǒng)計(jì)特征。其中,瞳孔直徑在情緒識(shí)別中被廣泛關(guān)注。

由于眼動(dòng)信號(hào)會(huì)根據(jù)不同的情緒狀態(tài)在時(shí)域和頻域上發(fā)生變化,僅采用時(shí)域或頻域分析對(duì)于性能的提升有很大局限性。因此,Wang等[25]綜合利用眼動(dòng)信號(hào)時(shí)域和頻域特征的變化來檢測(cè)青少年情緒狀態(tài),使用短時(shí)傅立葉變換對(duì)原始眼動(dòng)數(shù)據(jù)進(jìn)行處理和轉(zhuǎn)換,隨后提取掃視、注視和瞳孔直徑等時(shí)域和頻域特征,利用支持向量機(jī)在特征級(jí)融合策略上對(duì)積極、消極、中性三種情緒狀態(tài)識(shí)別的準(zhǔn)確率達(dá)到88.64%。為挖掘眼動(dòng)信號(hào)的深層特征,得到更好的情緒識(shí)別準(zhǔn)確率,有研究提出一種帶恒等映射的淺層卷積神經(jīng)網(wǎng)絡(luò)的情緒識(shí)別方法[26]。該方法與當(dāng)前最先進(jìn)的算法相比,在 MAHNOB-HCI數(shù)據(jù)集上,情緒識(shí)別準(zhǔn)確率在效價(jià)和喚醒度上分別提升了11.70%和10.50%。

3 基于多模態(tài)的情緒識(shí)別研究

迄今為止,大多數(shù)研究工作都集中在單模態(tài)數(shù)據(jù)的使用,盡管已在各模態(tài)信號(hào)處理方面取得了很大進(jìn)展,但使用單模態(tài)數(shù)據(jù)進(jìn)行情緒識(shí)別仍有局限性。為提升情緒識(shí)別的準(zhǔn)確性、魯棒性以及應(yīng)用性,利用多模態(tài)進(jìn)行情緒識(shí)別逐漸被廣泛采用。

在神經(jīng)生理模態(tài)中,腦電和個(gè)別與心肺相關(guān)的信號(hào),如心電或脈搏信號(hào),因其生理特點(diǎn),可獨(dú)立識(shí)別情緒的二維效價(jià)和喚醒程度。呼吸信號(hào)對(duì)于不同情緒狀態(tài)的檢測(cè)有限,僅限于對(duì)恐慌、恐懼、注意集中或抑郁的識(shí)別。皮膚電信號(hào)和皮膚溫度僅能檢測(cè)喚醒程度,而肌電信號(hào)只能檢測(cè)效價(jià)水平[27],因此,需結(jié)合其它生理信號(hào)進(jìn)行情緒識(shí)別,以提高識(shí)別率。在生理信號(hào)融合方面,通常將周圍生理信號(hào)進(jìn)行融合或者結(jié)合中樞生理信號(hào),以提高情緒識(shí)別的精確度和多樣化的情緒分類。在最新研究中,Zhang等[28]使用客觀的腦電信號(hào)和外周生理信號(hào)來識(shí)別情緒,對(duì)提取的關(guān)鍵特征創(chuàng)新性地采用平均閾值法獲得每個(gè)參與者的標(biāo)記閾值,解決個(gè)體差異,最后采用決策級(jí)融合算法開發(fā)用于情緒識(shí)別的集成學(xué)習(xí)模型。研究發(fā)現(xiàn),多模態(tài)融合優(yōu)于單模態(tài)分類,效價(jià)和喚醒分別可達(dá)76.16%和71.91%。雖然目前常用的情緒識(shí)別方案大多結(jié)合腦電信號(hào),且已獲得了良好的識(shí)別結(jié)果,但腦電信號(hào)相較于外周生理信號(hào)采集困難,因此,有研究把外周生理信號(hào)作為一種有效的補(bǔ)充方案來進(jìn)行情緒識(shí)別。Pan等[29]利用肌電、心電、呼吸和皮膚電導(dǎo)率等外周生理信號(hào)提出一種融合非線性特征和團(tuán)隊(duì)協(xié)作識(shí)別策略的新方法,該方法的有效性和普適性通過奧格斯堡數(shù)據(jù)庫(kù)和生理信號(hào)情感分析數(shù)據(jù)庫(kù)得到驗(yàn)證,同時(shí)也間接證明了融合多種外周生理信號(hào)進(jìn)行情緒識(shí)別有巨大的潛能。

雖然身體姿態(tài)、面部表情、語(yǔ)音及眼動(dòng)四種模態(tài)在情緒識(shí)別中取得了較好效果,但在模態(tài)選擇與融合上仍需注意一些問題。首先,面部表情可獨(dú)立識(shí)別二維模型中的情緒,但面部表情本身可能包含多種誤導(dǎo)信息,僅用單模態(tài)進(jìn)行情緒識(shí)別會(huì)造成一定誤差。而在語(yǔ)音方面的研究中,由于聲學(xué)特征提取具有很大的主觀性,因此,在識(shí)別準(zhǔn)確率上相較于面部表情存在很大差距。眼動(dòng)信號(hào)和身體姿態(tài)對(duì)情緒識(shí)別的研究較淺,大多數(shù)研究將眼動(dòng)信號(hào)和腦電信號(hào)相結(jié)合進(jìn)行情緒識(shí)別,因此,對(duì)于單獨(dú)使用眼動(dòng)追蹤信號(hào)進(jìn)行情緒識(shí)別是否可靠,尚無(wú)定論。利用身體姿態(tài)進(jìn)行情緒識(shí)別的相關(guān)研究發(fā)現(xiàn),在維度情感預(yù)測(cè)方面,姿態(tài)比面部表情能提供更多的預(yù)測(cè)信息,因此很多維度情感預(yù)測(cè)是基于身體姿態(tài)進(jìn)行[30]。Castellano等[31]的研究也表明,鑒于單峰情感識(shí)別系統(tǒng)的性能,基于手勢(shì)的情感識(shí)別效果最優(yōu),其次是基于語(yǔ)音的情感識(shí)別系統(tǒng)和面部表情的情感識(shí)別系統(tǒng)。因此,為克服單模態(tài)信息的偏差,當(dāng)前情緒識(shí)別的研究工作應(yīng)更關(guān)注于將面部表情、語(yǔ)音、肢體動(dòng)作等特征信息融合,以提高情緒識(shí)別的魯棒性和準(zhǔn)確性。受多模態(tài)信息集成性和互補(bǔ)性的優(yōu)勢(shì)啟發(fā),Du等[32]提出融合語(yǔ)音、肢體動(dòng)作和面部表情的兩階段多模式情緒識(shí)別神經(jīng)網(wǎng)絡(luò),通過神經(jīng)網(wǎng)絡(luò)與自組織映射層融合特征后,識(shí)別率可達(dá)87.60%,與單峰方法相比,識(shí)別精度最高可提高30%,在實(shí)際應(yīng)用中對(duì)模型進(jìn)行測(cè)試,結(jié)果表明其可快速穩(wěn)定地識(shí)別人類情緒。

此外,基本情緒理論表明,情緒被激發(fā)的同時(shí)會(huì)伴隨各種神經(jīng)生理和外部行為反應(yīng)系統(tǒng)的活動(dòng)[33]。因此,將內(nèi)部信號(hào)特征和外部信號(hào)特征結(jié)合可在一定程度上提升情緒的識(shí)別率。在諸多研究中,腦電信號(hào)與眼動(dòng)信號(hào)或面部表情信號(hào)相融合進(jìn)行情緒識(shí)別,均展現(xiàn)出良好的識(shí)別率。Wu等[34]基于涉及情緒的腦功能連接網(wǎng)絡(luò),利用深度典型相關(guān)分析,將腦電信號(hào)的功能連通性特征與眼動(dòng)或其他生理信號(hào)的特征相結(jié)合,構(gòu)建了多通道情緒識(shí)別模型,識(shí)別準(zhǔn)確率在SEED數(shù)據(jù)集上為(95.08±6.42)%,結(jié)果表明,腦電功能連接網(wǎng)絡(luò)特征與眼動(dòng)數(shù)據(jù)具有互補(bǔ)性。目前在行為與神經(jīng)生理模態(tài)的情緒識(shí)別方案大多僅采用兩種模態(tài)融合。但在最近一項(xiàng)研究中,研究者為語(yǔ)音、腦電以及面部表情三種模態(tài)分別設(shè)計(jì)了一個(gè)深度學(xué)習(xí)模型,通過最優(yōu)權(quán)重分布算法搜尋各模態(tài)的可信度,并進(jìn)行決策級(jí)融合,以獲得更全面、準(zhǔn)確的結(jié)果。該融合方法在MAHNOB-HCI數(shù)據(jù)庫(kù)的喚醒效價(jià)兩個(gè)維度上分別得到了90.25%與89.33%的準(zhǔn)確率[35]。

綜上所述,雖然單模態(tài)通過改進(jìn)計(jì)算建?？蛇_(dá)到較高的識(shí)別率,但缺乏實(shí)際應(yīng)用價(jià)值。具體來說,單模態(tài)在人機(jī)交互過程中存在一定局限且效率低,而多模態(tài)融合技術(shù)通過充分利用情緒信息之間的互補(bǔ)性,可提高交互效率,提高識(shí)別率。在模態(tài)融合方面,通過回顧國(guó)內(nèi)外研究發(fā)現(xiàn),在眾多生理信號(hào)中,腦電信號(hào)作為中樞神經(jīng)系統(tǒng)信號(hào),比其他信號(hào)能更準(zhǔn)確、更客觀地反映人的情緒狀態(tài)變化,因此可認(rèn)為基于腦電信號(hào)的多模態(tài)融合能顯著提高情緒識(shí)別的結(jié)果。在行為模態(tài)中,通常會(huì)選擇眼動(dòng)和面部表情信號(hào)與其他信號(hào)進(jìn)行融合。例如融合眼動(dòng)、面部表情和腦電信號(hào)進(jìn)行情緒識(shí)別,既可避免受試者偽裝情緒又可以反應(yīng)其潛意識(shí)行為,從多方面、多角度考察受試者的情緒狀態(tài)。

4 展望

本文基于多模態(tài)情緒識(shí)別研究的三個(gè)主要層面,對(duì)情緒識(shí)別的主要方法進(jìn)行了綜述,概述了不同方法自身的特性,及其在單一模態(tài)和多模態(tài)下的識(shí)別率。隨著深度學(xué)習(xí)算法的快速發(fā)展,情緒識(shí)別無(wú)論采用單模態(tài),還是多模態(tài)方案,識(shí)別率均得到提高。由于單模態(tài)始終缺乏多樣性,僅通過單一模態(tài)信號(hào)無(wú)法全面理解復(fù)雜的人類活動(dòng),相較之下,多模態(tài)的應(yīng)用更具優(yōu)勢(shì)。因此,跨模態(tài)學(xué)習(xí)作為一種讓人工智能可以更準(zhǔn)確模擬人類實(shí)際行為和心理活動(dòng)的技術(shù),有望在未來獲得全面發(fā)展。后續(xù)可基于模態(tài)自身特點(diǎn)并結(jié)合單模態(tài)的表現(xiàn),針對(duì)不同應(yīng)用場(chǎng)景選擇合適的模態(tài)進(jìn)行混合識(shí)別,提高現(xiàn)實(shí)應(yīng)用的可靠性和可行性。例如在精神疾病領(lǐng)域,因抑郁患者的腦電和眼動(dòng)指標(biāo)明顯異于常人,可將它們作為區(qū)分正常和異常的輔助性指標(biāo)。此外,未來也應(yīng)推動(dòng)情緒模型的量化研究。當(dāng)前進(jìn)行的情緒識(shí)別工作大多是對(duì)情緒的效價(jià)進(jìn)行區(qū)分,在情緒喚醒層面的研究不多。然而,對(duì)于情緒喚醒程度的準(zhǔn)確識(shí)別能更加明確情緒狀態(tài),期待未來能進(jìn)一步探索模型的量化問題,深化情緒識(shí)別領(lǐng)域研究的現(xiàn)實(shí)意義。