楊捷鴻，焦學(xué)軍，曹勇，李啟杰，楚洪祚，黃夢(mèng)盈，姜?jiǎng)拧?/p>

(1.航天工程大學(xué)研究生院，北京 101416；2.中國(guó)航天員科研訓(xùn)練中心人因工程國(guó)防科技重點(diǎn)實(shí)驗(yàn)室，北京100094)

1 引 言

情緒影響人的認(rèn)知、決策、行為等諸多方面。當(dāng)人情緒變化時(shí)，往往伴隨著一系列生理變化，通過(guò)監(jiān)測(cè)生理信號(hào)變化對(duì)情緒進(jìn)行分析有著重要的現(xiàn)實(shí)意義。在醫(yī)療健康領(lǐng)域，相比于身體疾病，人們往往容易忽視心理疾病。而長(zhǎng)期的不良情緒積累導(dǎo)致的心理疾病，將帶來(lái)更加危害的后果，所以對(duì)情緒進(jìn)行有效識(shí)別，并及時(shí)地干預(yù)和排解顯得尤為必要。在人機(jī)交互領(lǐng)域，機(jī)器只有更懂人的感受，才能實(shí)現(xiàn)更自然的交互。

Deak[1]認(rèn)為情緒是調(diào)節(jié)和引導(dǎo)行為的主觀狀態(tài)，是生物、社會(huì)和認(rèn)知成分的集合。情緒既是人的一種主觀感受，同時(shí)也是客觀存在的一種狀態(tài)。通?？赏ㄟ^(guò)一些身體表現(xiàn)來(lái)表達(dá)，如面部表情、動(dòng)作姿態(tài)、語(yǔ)言、語(yǔ)調(diào)等，從這些較為直觀的表達(dá)方式容易讀出情緒狀態(tài)，但因可以偽裝，結(jié)果并不一定可靠。情緒也引起生理信號(hào)的變化，如恐懼時(shí)心跳會(huì)加速。生理信號(hào)因具有不易掩飾的性質(zhì)，更能客觀地反映出真實(shí)的情緒狀態(tài)和心理感受，所以基于生理信號(hào)的情緒識(shí)別逐漸成為當(dāng)前情緒識(shí)別研究領(lǐng)域的熱點(diǎn)。

相比單一生理信號(hào)，多種生理信號(hào)可以提供更為豐富的信息，有望提高情緒識(shí)別系統(tǒng)的準(zhǔn)確性和魯棒性。目前，基于多生理信號(hào)信息融合技術(shù)的情緒識(shí)別研究仍處于起步階段。本文從情緒的模型和誘發(fā)、多生理信號(hào)的采集、信息融合、分類等方面出發(fā)，梳理了近年來(lái)多生理信號(hào)信息融合技術(shù)在情緒識(shí)別領(lǐng)域的發(fā)展進(jìn)程和研究現(xiàn)狀，并歸納總結(jié)了目前存在的主要問(wèn)題。

2 情緒模型與誘發(fā)方式

2.1 情緒模型

情緒反映人的某種心理或生理狀態(tài)，情緒研究和情感科學(xué)中一個(gè)有爭(zhēng)議的問(wèn)題是如何區(qū)分一種情緒和另一種情緒。研究表明，情緒是可劃分的。但情緒的劃分面臨很多困難，我們的情緒是非常復(fù)雜的，涉及到諸多不同的因素，包括情緒的開始結(jié)束，情緒的程度、性質(zhì)和強(qiáng)度，并且人類往往同時(shí)經(jīng)歷多種情緒[2]。盡管如此，研究人員和心理學(xué)家們提出各種模型來(lái)分類情緒。針對(duì)情緒的分類模型，目前有基本情緒模型和空間維度模型兩種基本觀點(diǎn)。

基本情緒模型認(rèn)為情緒可以被劃分為離散的幾種基本情緒，人類眾多的復(fù)雜情緒由基本情緒派生而來(lái)。心理學(xué)家們?cè)诨厩榫w的種類和數(shù)量上至今沒(méi)有明確和統(tǒng)一的結(jié)論，目前的主流是著名心理學(xué)家Ekman提出的6種基本情緒，分別是憤怒、厭惡、恐懼、快樂(lè)、悲傷和驚訝。有學(xué)者在研究先天預(yù)置的基本情緒時(shí)發(fā)現(xiàn)，人的情緒激活不僅與外界的輸入刺激有關(guān)，還同個(gè)體本身的情緒狀態(tài)有關(guān)，這與有限狀態(tài)機(jī)的功能是相符合的，指出可以結(jié)合有限狀態(tài)機(jī)矩陣方法構(gòu)建基本情緒模型[3]。

空間維度模型認(rèn)為情緒可以從多個(gè)維度進(jìn)行度量，從而把情緒映射到一個(gè)多維空間。心理學(xué)家 Johnston 用簡(jiǎn)單的一維實(shí)數(shù)軸來(lái)劃分情感極性，實(shí)數(shù)的正負(fù)對(duì)應(yīng)于情緒的正負(fù)性，該模型只能進(jìn)行粗略的劃分。目前使用最多的是將情感映射到二維空間，即V-A 二維情感模型，用橫坐標(biāo)表示效價(jià)/愉悅程度，用縱坐標(biāo)表示情緒的喚醒程度，見(jiàn)圖1。該模型能區(qū)分更多的情緒種類，但對(duì)于在二維坐標(biāo)中較為接近的情緒種類，如恐懼和憤怒，要進(jìn)行有效區(qū)分依然是一個(gè)挑戰(zhàn)。Wilhelm提出在此基礎(chǔ)上增加一個(gè)維度，認(rèn)為情感可以用三個(gè)維度來(lái)描述：“愉悅或不愉悅”、“喚醒或抑制”和“控制或放松”。1954 年Harold將情緒的三個(gè)維度命名為“愉悅度”、“喚醒度”和“優(yōu)勢(shì)度”，即PAD 模型，見(jiàn)圖2。優(yōu)勢(shì)度描述情緒對(duì)外界環(huán)境處于支配或被支配的地位，可以區(qū)分如憤怒和恐懼這些在二維情感模型中較難區(qū)分的情緒種類。然而增加的第三維度不夠直觀，一定程度上限制了該模型的推廣和使用。

圖1 VA二維情感模型

2.2 情緒誘發(fā)方式

實(shí)驗(yàn)室條件下誘發(fā)出個(gè)體真實(shí)的情緒并維持一段時(shí)間是進(jìn)行情緒研究的前提，目前情緒誘發(fā)方式主要有：

(1)Velten 情緒誘發(fā)法。閱讀帶有強(qiáng)烈情緒色彩的語(yǔ)句來(lái)誘發(fā)相應(yīng)情緒，操作簡(jiǎn)便但易受語(yǔ)言理解能力和不同文化背景影響，且閱讀時(shí)對(duì)腦電信號(hào)的采集會(huì)有影響，因此該方法有一定的局限性；

圖2 PAD情感模型圖Fig.2 PAD emotion model

(2)自傳式回憶情緒誘發(fā)法。通過(guò)回憶過(guò)往經(jīng)歷誘發(fā)相應(yīng)情緒，對(duì)被試配合程度要求較高，不同的過(guò)往經(jīng)歷帶來(lái)的個(gè)體差異較大，難以誘發(fā)出標(biāo)準(zhǔn)的情緒。

(3)想象情緒誘發(fā)法。根據(jù)指導(dǎo)語(yǔ)的提示，努力想象一些具有不同情緒色彩的情景。該方法的優(yōu)點(diǎn)是能夠誘發(fā)高級(jí)自我意識(shí)情緒，缺點(diǎn)是需要被試有意識(shí)的合作。

(4)圖片/視頻情緒誘發(fā)法。通過(guò)向被試呈現(xiàn)一系列帶有強(qiáng)烈情緒色彩的圖片，以誘發(fā)被試產(chǎn)生目標(biāo)情緒。研究人員通常利用國(guó)際情緒圖片系統(tǒng)(IAPS)或中國(guó)情緒圖片系統(tǒng)(CAPS)，此方法在事件相關(guān)電位(event-related potentials，ERP)研究中應(yīng)用越來(lái)越廣泛，缺點(diǎn)是誘發(fā)情緒持續(xù)時(shí)間短暫。也有研究者利用視頻情緒誘發(fā)方法，較之于圖片，視頻能誘發(fā)更明顯的情緒，且不容易引起疲勞，但目前標(biāo)準(zhǔn)的本地化情緒影視庫(kù)還未完全建立。

(5)聲音/音樂(lè)情緒誘發(fā)法。通過(guò)向被試呈現(xiàn)一些具有強(qiáng)烈情緒色彩的聲音(哭聲、打雷聲等)或音樂(lè)來(lái)誘發(fā)目標(biāo)情緒，該方法不太穩(wěn)定，受個(gè)體差異影響大，目前仍存在不少質(zhì)疑，運(yùn)用的比較少。

(6)任務(wù)完成方式。任務(wù)完成方式是一種比較復(fù)合的情緒誘發(fā)方式。這種誘發(fā)方式最大的優(yōu)點(diǎn)是由于被試的參與度較高，更容易誘發(fā)出持續(xù)且明顯的情緒，缺點(diǎn)是難以建立標(biāo)準(zhǔn)的誘發(fā)場(chǎng)景[4]。

總結(jié)以上幾種方法來(lái)看，傳統(tǒng)情緒誘導(dǎo)方法停留在低維空間，存在情緒誘導(dǎo)效率低、對(duì)外界干擾敏感度高的局限性。其次，現(xiàn)階段情緒誘導(dǎo)方法的標(biāo)注主要采用主觀自評(píng)量表，具有較大主觀誤差，且無(wú)法實(shí)現(xiàn)時(shí)間維度的持續(xù)性標(biāo)注。同時(shí)，在情緒識(shí)別領(lǐng)域，尚無(wú)適用于虛擬現(xiàn)實(shí)場(chǎng)景的機(jī)器學(xué)習(xí)分類模型[5]。

近年來(lái)，隨著虛擬現(xiàn)實(shí)(virtual reality ,VR)技術(shù)的發(fā)展，各種VR設(shè)備以其強(qiáng)烈的沉浸感迅速獲得了市場(chǎng)的青睞，不少研究者通過(guò)VR技術(shù)模擬構(gòu)建逼真的場(chǎng)景來(lái)誘發(fā)更為明顯的情緒。華南理工大學(xué)團(tuán)隊(duì)[6]利用VR 視頻來(lái)誘發(fā)被試產(chǎn)生平靜-興奮的情緒狀態(tài)，并基于主成分分析(principal components analysis，PCA)和典型成分分析(canonical components analysis，CCA)，實(shí)現(xiàn)了基于腦電信號(hào)時(shí)頻特征融合的情緒識(shí)別算法，對(duì)兩種情緒狀態(tài)的平均正確識(shí)別率達(dá)到 84.43%。盡管誘發(fā)材料經(jīng)過(guò)人群篩選，但由于個(gè)體差異的存在，不同的被試對(duì)同一個(gè)視頻片段依然有不同程度的感受，所以在建模時(shí)仍需要將主觀量表考慮在內(nèi)。

3 基于生理信號(hào)情緒識(shí)別

神經(jīng)系統(tǒng)分為兩部分：中樞神經(jīng)系統(tǒng)(central nervous system, CNS)和外周神經(jīng)系統(tǒng)(peripheral nervous system，PNS)。其中，外周神經(jīng)系統(tǒng)按所聯(lián)系的器官不同，又分為自主神經(jīng)系統(tǒng)(autonomic nervous system, ANS)和軀體神經(jīng)系統(tǒng)(somatic nervous system, SNS)兩大類[7]。雖然人類的情緒起源于我們的大腦，涉及其調(diào)節(jié)和感覺(jué)的多個(gè)區(qū)域，但涉及到一些生理反應(yīng)，如心率和呼吸頻率的變化，這些生理反應(yīng)則起源于自主神經(jīng)系統(tǒng)，而自主神經(jīng)系統(tǒng)又受中樞神經(jīng)系統(tǒng)的調(diào)節(jié)。因此，結(jié)合中樞神經(jīng)系統(tǒng)和自主神經(jīng)系統(tǒng)活動(dòng)的測(cè)量來(lái)研究情緒是合理的。目前用于情緒分類的生理信號(hào)主要有腦電(electroencephalogram, EEG)、功能性近紅外光譜(functional near-infrared spectroscopy, fNIRS)、心電(ECG)、肌電(EMG)、呼吸(RSP)、皮膚電反應(yīng)(GSR)、脈搏波(PPG)、皮溫(SKT)等。

3.1 基于自主神經(jīng)系統(tǒng)生理信號(hào)的情緒識(shí)別

早在19世紀(jì)，研究人員就發(fā)現(xiàn)人類特定生理變化與特定情緒狀態(tài)之間存在一定的聯(lián)系。例如，人在說(shuō)謊時(shí)會(huì)產(chǎn)生緊張情緒，自主神經(jīng)系統(tǒng)控制的生理參數(shù)如血壓、心率、呼吸和皮膚電阻會(huì)發(fā)生變化，而且這種變化不易受主觀意識(shí)影響，能較好地反映人的情緒狀態(tài)?；诖?，1885年，龍勃羅梭通過(guò)測(cè)量脈搏、血壓變化的方法來(lái)辨別謊言。1921年賴森成功研制世界上第一臺(tái)專用測(cè)謊儀，并應(yīng)用于案件的偵破中，由此拉開了利用生理信號(hào)進(jìn)行心理狀態(tài)識(shí)別研究的序幕。進(jìn)入20世紀(jì)，隨著科學(xué)的發(fā)展和實(shí)驗(yàn)手段的進(jìn)步，更多的自主神經(jīng)系統(tǒng)生理信號(hào)如皮溫、心電圖、肌電圖、皮膚電反應(yīng)、血容量搏動(dòng)等加入到情緒識(shí)別的研究中。

1995年，Picard教授提出“情感計(jì)算”的概念，其研究成果證明從生理信號(hào)中提取特征進(jìn)行情緒識(shí)別研究的方法是可行的。21世紀(jì)，人工智能的發(fā)展促進(jìn)了情緒識(shí)別、情感計(jì)算等領(lǐng)域的研究，情緒識(shí)別朝著更多的情緒種類分類、更高的分類準(zhǔn)確率以及更少更便捷的生理信號(hào)采集發(fā)展。Gouveia[8]通過(guò)使用雷達(dá)波，基于多普勒效應(yīng)檢測(cè)呼吸信號(hào)進(jìn)行情緒識(shí)別，提取雷達(dá)波信號(hào)的均值、方差、峰峰值、波形寬度、六個(gè)頻帶功率譜等12種特征，并用SVM、KNN和隨機(jī)森林三種分類器進(jìn)行分類，研究結(jié)果顯示對(duì)于恐懼、快樂(lè)和中性三種情緒的分類準(zhǔn)確率達(dá)到60%～70%。這種非接觸測(cè)量的方式可以避免干擾被試，但要求受試者身體不能移動(dòng)，在實(shí)際應(yīng)用中有很大的局限性。Bulagang等[9]回顧了使用心電圖和皮膚電圖進(jìn)行情緒分類的研究，并討論了未來(lái)ECG和EDG在情緒分類中的應(yīng)用前景。易慧[10]利用心率變異性的特征信息，研究了八種情緒的心電信號(hào)，針對(duì)平靜和恐懼二分類識(shí)別精度達(dá)到75%。喻一梵[11]利用心電和脈搏信號(hào)，采用貝葉斯分類器，設(shè)計(jì)實(shí)現(xiàn)了基于心電和脈搏信號(hào)線性特征的正負(fù)性情緒分類，分別取得了79.1%和75.9%的分類正確率。

皮膚電導(dǎo)水平也能反映情緒的變化，Ganapathy等[12]利用皮膚電活動(dòng)信號(hào)對(duì)相位分量進(jìn)行短時(shí)傅里葉變換，從相位信號(hào)中提取出38個(gè)時(shí)間、頻率和時(shí)頻域特征，經(jīng)過(guò)模型訓(xùn)練在喚醒度和效價(jià)度分別達(dá)到79.3%和71.4%的準(zhǔn)確度。皮膚電在情緒識(shí)別領(lǐng)域顯示出一定的應(yīng)用價(jià)值，但也有不少局限性。皮膚電的檢測(cè)受到局部汗液量、檢測(cè)部位、被試者狀態(tài)及許多其他生理因素的影響，可能對(duì)情緒識(shí)別的準(zhǔn)確率有一定的影響。表1顯示了在所有公開的情緒數(shù)據(jù)集中，所采集的自主神經(jīng)系統(tǒng)生理信號(hào)出現(xiàn)頻次最高的5種。

表1 自主神經(jīng)系統(tǒng)生理信號(hào)出現(xiàn)頻次(由高到低)

單一的自主神經(jīng)系統(tǒng)生理信號(hào)反映的信息量有限，且自主神經(jīng)系統(tǒng)生理信號(hào)變化速率相對(duì)較慢，難以達(dá)到實(shí)時(shí)性的要求，可有效區(qū)分的情緒種類較少。多種生理信號(hào)聯(lián)合檢測(cè)能結(jié)合各自的優(yōu)勢(shì)，反映更多的信息，正成為情緒識(shí)別領(lǐng)域的研究熱點(diǎn)。

3.2 基于腦電信號(hào)的情緒識(shí)別

腦電信號(hào)來(lái)源于與情緒高度相關(guān)的中樞神經(jīng)系統(tǒng)，具有較高的時(shí)間分辨率?；谀X電信號(hào)的情緒識(shí)別基本步驟是利用預(yù)先經(jīng)過(guò)人群篩選驗(yàn)證過(guò)的情緒刺激素材(圖片或音視頻等)誘發(fā)受試者產(chǎn)生目標(biāo)情緒，同時(shí)記錄腦電信號(hào)，接著對(duì)信號(hào)預(yù)處理、特征提取與降維、模型構(gòu)建、分類器分類等步驟實(shí)現(xiàn)對(duì)情緒的分類。相比于其他生理信號(hào)，腦電信號(hào)可以提取的特征較多，包括時(shí)域、頻域、時(shí)頻域、空間域等，在情緒識(shí)別領(lǐng)域占據(jù)重要的地位。研究早期，主要提取時(shí)域和頻域特征用于分類。近年來(lái)，隨著熵、相關(guān)維數(shù)、分形維數(shù)等非線性特征以及非對(duì)稱性等空間域特征引入情緒識(shí)別領(lǐng)域，識(shí)別準(zhǔn)確率有了進(jìn)一步提升。

Nawaz等[13]通過(guò)讓受試者觀看視頻，從采集的腦電信號(hào)中提取功率譜密度、熵、分形維數(shù)、統(tǒng)計(jì)特征和小波特征等綜合特征，使用三種不同的分類器(SVM、KNN和DT)對(duì)特征提取方法進(jìn)行定量分析，并采用特征選擇(FS)技術(shù)縮小了特征空間。實(shí)驗(yàn)結(jié)果表明，腦電信號(hào)的時(shí)域統(tǒng)計(jì)特性可以有效地區(qū)分不同的情緒狀態(tài)。Garg[14]提出了一種基于小波的深度學(xué)習(xí)框架，該框架同時(shí)考慮了多通道腦電圖信號(hào)的頻率和空間特征。圍繞面向情緒識(shí)別的腦電特征，張冠華等[15]從時(shí)域、頻域、時(shí)頻域和空間域4個(gè)方面介紹了特征的定義、計(jì)算方法和與情緒的聯(lián)系，在對(duì)比了各種特征之后，認(rèn)為時(shí)域特征對(duì)情緒效價(jià)分類的貢獻(xiàn)度最高，且在所有時(shí)域特征中，統(tǒng)計(jì)特征顯示了其重要性。

從高通道腦電信號(hào)提取的原始特征往往會(huì)面臨“維數(shù)災(zāi)難”，高維數(shù)的特征不僅會(huì)增加計(jì)算量、降低運(yùn)算效率，而且不可避免包含很多無(wú)效特征，故在分類前需進(jìn)行降維。降維通常有兩類方法，一類是特征選擇，從特征集合中挑選與任務(wù)相關(guān)的特征子集減少特征個(gè)數(shù)，在保證對(duì)分類準(zhǔn)確率較小影響的同時(shí)，降低模型計(jì)算量和運(yùn)行時(shí)間。針對(duì)EEG信號(hào)數(shù)據(jù)冗余導(dǎo)致分類準(zhǔn)確度低等不足，王永宗[16]利用基于ReliefF算法的通道選擇算法，并對(duì)前額三、五和七通道的三種通道組合展開了研究，結(jié)果顯示對(duì)特征和通道進(jìn)行優(yōu)選，基本能維持原有分類正確率，同時(shí)提高便攜性，降低通道和特征冗余。劉曉鳳[17]提出了基于Relief-FGSBS的情緒識(shí)別通道選擇方法，提高了分類器性能。Asghar等[18]利用深度特征聚類(DFC)結(jié)合多神經(jīng)網(wǎng)絡(luò)進(jìn)行特征選擇，在較短的處理時(shí)間內(nèi)提高了情緒識(shí)別的性能。另一類是利用主成分分析( PCA) 、共空間模式( CSP) 等方法對(duì)原有特征進(jìn)行線性或非線性變換，實(shí)現(xiàn)特征降維，從而降低強(qiáng)相關(guān)變量和冗余信息對(duì)計(jì)算效率的影響。

綜上，已有的基于腦電信號(hào)的情緒識(shí)別研究主要圍繞著以下幾個(gè)問(wèn)題展開：腦電信號(hào)特征提取與優(yōu)選；通道選擇、特征降維算法研究；利用機(jī)器學(xué)習(xí)或深度學(xué)習(xí)改進(jìn)分類算法；研究情緒識(shí)別系統(tǒng)的泛化能力以提高跨個(gè)體、跨時(shí)間分類準(zhǔn)確率；腦電信號(hào)和其他生理信號(hào)聯(lián)合檢測(cè)。盡管腦電信號(hào)的相關(guān)研究已經(jīng)非常廣泛，但投入使用仍受到以下問(wèn)題制約：腦電信號(hào)非常微弱，采集的過(guò)程中容易受噪聲干擾；空間分辨率不高；腦電圖的個(gè)體差異使得很難獲得普遍適用的一般模型，難以保持穩(wěn)定的泛化能力。

3.3 基于功能性近紅外光譜技術(shù)的情緒識(shí)別

功能性近紅外光譜技術(shù)(fNIRS)是上世紀(jì)90年代開始研究的新型腦功能檢測(cè)技術(shù)，該技術(shù)利用波長(zhǎng) 600～900nm的近紅外光在人體組織中的散射和吸收特點(diǎn)，可以檢測(cè)氧合血紅蛋白和脫氧血紅蛋白的濃度變化。在大腦處于活躍狀態(tài)時(shí)，腦神經(jīng)活動(dòng)會(huì)帶來(lái)腦血流量和氧代謝率的變化，該技術(shù)通過(guò)檢測(cè)血流變化參數(shù)反應(yīng)大腦活動(dòng)，是一種間接的腦功能檢測(cè)技術(shù)。

Watanuki等[19]在情緒面部評(píng)估和面部識(shí)別任務(wù)中，利用fNIRS來(lái)測(cè)量精神分裂癥患者大腦功能，以分析哪些大腦區(qū)域在識(shí)別情緒化的面孔時(shí)受損。Heger等[20]記錄了8名受試者分別對(duì)3種不同級(jí)別的情感視聽(tīng)刺激和中性級(jí)別的情感誘導(dǎo)做出反應(yīng)時(shí)，前額葉8個(gè)位置的fNIRS信號(hào)，并對(duì)5s長(zhǎng)的短窗口進(jìn)行評(píng)估，以持續(xù)識(shí)別情緒狀態(tài)。Hu等[21]基于功能性近紅外光譜技術(shù)，利用30段視頻片段，誘發(fā)了10種典型的積極情緒，通過(guò)多維度分析，分成了三個(gè)不同的聚類，聚類之間的二分類準(zhǔn)確率達(dá)到了70%以上。Wang等[22]研究了導(dǎo)致fNIRS情緒識(shí)別系統(tǒng)跨時(shí)間分類不穩(wěn)定的影響因素，并提出了一種平衡特征穩(wěn)定性和可分離性的方法，實(shí)驗(yàn)結(jié)果表明，該方法可以提高約5%的跨時(shí)間準(zhǔn)確度。姜?jiǎng)诺萚23]基于fNIRS技術(shù)通過(guò)對(duì)6種情緒(中性、愉快、有趣、悲傷、傷感以及恐懼)在喚醒度、愉悅度和情緒種類三個(gè)分類目標(biāo)上分別實(shí)現(xiàn)了81%、78.78%和68%的平均分類正確率。

fNIRS技術(shù)便攜性好，空間分辨率高，且不易受運(yùn)動(dòng)、噪聲干擾。但時(shí)間分辨率不高，有滯后性，通常和其他生理信號(hào)聯(lián)合以獲得更好的分類效果。綜上，基于fNIRS情緒識(shí)別相關(guān)研究還處于起步階段，該技術(shù)擁有廣闊的應(yīng)用前景。

4 多生理信號(hào)信息融合

相比于單一生理信號(hào)，多種生理信號(hào)的組合反映的信息更為豐富，因此，利用多生理信號(hào)信息融合的方式進(jìn)行情緒識(shí)別已成為該領(lǐng)域當(dāng)前研究的主要方向。多生理信號(hào)信息融合根據(jù)所處的階段可以分為早期融合、中期融合以及晚期融合[24]，也可以根據(jù)不同層面劃分為信號(hào)級(jí)融合、特征級(jí)融合以及決策級(jí)融合。信號(hào)級(jí)融合多用于同類信號(hào)間，是指對(duì)設(shè)備采集到的原始信號(hào)直接進(jìn)行融合處理，該融合方式保留最原始的信號(hào)，但由于原始信號(hào)的采樣率通常較高，數(shù)據(jù)量大，處理時(shí)間長(zhǎng)，導(dǎo)致其抗干擾能力差[7]。將信號(hào)提取的特征進(jìn)行融合，即為特征級(jí)融合。特征級(jí)融合能夠?qū)崿F(xiàn)可觀的信息壓縮，提高分類識(shí)別的實(shí)時(shí)性。決策級(jí)融合是分別用單一生理信號(hào)進(jìn)行分類，再將分類結(jié)果采用投票或加權(quán)投票的方式進(jìn)行融合。該融合方式相對(duì)簡(jiǎn)單，不同生理信號(hào)之間的耦合度較低，對(duì)數(shù)據(jù)的分析處理有利。表2為不同層面融合方法的比較。

表2 不同融合方法的比較

2008年，Kim等對(duì)音樂(lè)誘發(fā)的4種情緒進(jìn)行分類識(shí)別，通過(guò)采集肌電、心電、皮膚電導(dǎo)和呼吸等多種生理信號(hào)并對(duì)提取的時(shí)頻特征進(jìn)行信息融合，實(shí)現(xiàn)了90%以上的分類正確率。Gouizi等同時(shí)采集4位志愿者的肌電、呼吸容積、皮膚電傳導(dǎo)、皮膚溫度、血容量脈沖和心率六種生理信號(hào)，采用支持向量機(jī)( SVM) 進(jìn)行情緒分類，結(jié)果表明多個(gè)生理信號(hào)組合可以明顯提高情緒的識(shí)別率[25]。Oh[26]在研究六種基本情緒分類時(shí)，使用胸帶呼吸傳感器和血量脈沖傳感器采集了53名志愿者觀看相應(yīng)視頻剪輯時(shí)的呼吸和心率變異性(heart rate variablity, HRV)信號(hào)，并從HRV提取HR、HRV Amplitude、LF、HF、LF/HF Ratio特征，從RSP提取RSP Value、RSP Rate特征，利用基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)的深度學(xué)習(xí)模型來(lái)檢驗(yàn)分類準(zhǔn)確性。結(jié)果表明多信號(hào)分類優(yōu)于單一生理信號(hào)，且RSP和HRV所有域特征的結(jié)合顯示很明顯的優(yōu)勢(shì)。Hassouneh等[27]采集20位志愿者的腦電，心動(dòng)和面部肌肉活動(dòng)，并利用深度神經(jīng)網(wǎng)絡(luò)(deep neural networks, DNN)來(lái)處理多種生理信號(hào)，有效地識(shí)別了9種情緒。并進(jìn)一步將DNN與SVM，樸素貝葉斯和K-Means算法進(jìn)行比較，結(jié)果顯示DNN產(chǎn)生更高的分類準(zhǔn)確率。陳沙利等[28]提出一種融合脈搏波、皮膚電反應(yīng)、呼吸、皮膚溫度等多種信號(hào)的特征，結(jié)合SVM-RFE-CBR特征排序算法進(jìn)行特征選擇，利用支持向量機(jī)進(jìn)行分類，并通過(guò)DEAP數(shù)據(jù)集驗(yàn)證該模型在愉悅度、喚醒度、優(yōu)勢(shì)度上的二分類效果，分別獲得了73.5%、81.3%、76.1%的準(zhǔn)確率。

EEG和fNIRS的組合在情緒識(shí)別研究領(lǐng)域被認(rèn)為很有潛力，一方面可以用于研究不同情緒狀態(tài)下大腦的響應(yīng)規(guī)律，另一方面有望提高情緒識(shí)別的準(zhǔn)確性和魯棒性。但如何融合這兩種生理信號(hào)是關(guān)鍵，Hong等[29]提出一種新的方法——矢量相位分析，用于識(shí)別大腦區(qū)域和血液動(dòng)力學(xué)反應(yīng)分類。多種生理信號(hào)可以提供更多特征，常用特征見(jiàn)表3。情緒變化產(chǎn)生的不同生理信號(hào)響應(yīng)速度之間不盡相同，如情緒引發(fā)的腦電圖響應(yīng)快于fNIRS采集到的血氧信號(hào)變化，在融合二者信息時(shí)需要考慮合適的融合策略。

分類方面，研究人員更多的關(guān)注如何改進(jìn)分類算法以提高單個(gè)體的情緒識(shí)別準(zhǔn)確率，如支持向量機(jī)、長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)[30-31]、深度森林[32]、遺傳算法[33]等，同時(shí)希望模型有更好的泛化能力。針對(duì)跨個(gè)體模型通用性不強(qiáng)的問(wèn)題，有學(xué)者提出將遷移學(xué)習(xí)運(yùn)用到跨個(gè)體的情緒識(shí)別中[34]。Li等[35]提出基于多源遷移學(xué)習(xí)方法提高了情緒識(shí)別的跨個(gè)體泛化能力，三分類準(zhǔn)確度提高了12.72%。也有學(xué)者針對(duì)只依靠生理信號(hào)建立通用模型的做法表示懷疑，提出結(jié)合人格和生理信號(hào)建立個(gè)性化的情緒模型[36]，目前這方面的研究較少。

雖然融合多種生理信號(hào)有望進(jìn)一步提高情緒識(shí)別的準(zhǔn)確率，但同時(shí)也帶來(lái)不少挑戰(zhàn)。除了要解決單一生理信號(hào)情緒識(shí)別所面臨的問(wèn)題，如情緒誘發(fā)素材是否對(duì)不同的受試者均有效，能否滿足實(shí)時(shí)在線的要求，分類模型的通用性等，還需要考慮解決以下問(wèn)題：

表3 生理信號(hào)常用特征

(1)不同情緒狀態(tài)腦區(qū)激活響應(yīng)有待進(jìn)一步明確，未來(lái)該問(wèn)題的解決有助于優(yōu)化通道布置；

(2)從多生理信號(hào)中找出和情緒最相關(guān)的特征；采集多種生理信號(hào)可以提取更多的特征，其中包含對(duì)分類結(jié)果無(wú)效的特征，找出和情緒分類最相關(guān)的特征有利于解決實(shí)時(shí)性的問(wèn)題；

(3)多生理信號(hào)的優(yōu)化組合。多種生理信號(hào)可以提供更多的用于情緒分類的信息，但測(cè)量信號(hào)種類的增多會(huì)降低便攜性，平衡二者之間的關(guān)系需找到最佳的生理信號(hào)組合；

(4)多生理信號(hào)信息融合模型的建立。發(fā)展完善的信息融合理論體系和融合模型建立方法，提高融合技術(shù)的針對(duì)性。

5 總結(jié)與展望

基于多生理信號(hào)的情緒識(shí)別有著非常廣泛的應(yīng)用前景，但目前仍主要停留在實(shí)驗(yàn)室研究階段，距離實(shí)際應(yīng)用還有很長(zhǎng)的距離。這既需要突破情緒產(chǎn)生的生理機(jī)制，也需要數(shù)據(jù)處理、信息融合技術(shù)的進(jìn)一步發(fā)展。同時(shí)，連續(xù)、實(shí)時(shí)在線的情緒識(shí)別技術(shù)是未來(lái)的發(fā)展趨勢(shì)，也是投入實(shí)際應(yīng)用的基礎(chǔ)。值得注意的是，研究連續(xù)情緒識(shí)別的一大挑戰(zhàn)是連續(xù)的情感標(biāo)注，Romeo等[37]提出利用多示例學(xué)習(xí)(multiple instance learning，MIL)框架來(lái)應(yīng)對(duì)這一挑戰(zhàn)，更多的方法還有待探索。

本文從情緒模型與誘發(fā)方式、生理信號(hào)的采集、多生理信號(hào)情緒識(shí)別的研究現(xiàn)狀等方面，梳理了近年來(lái)生理信號(hào)應(yīng)用于情緒識(shí)別領(lǐng)域的發(fā)展現(xiàn)狀，同時(shí)歸納出多生理信號(hào)情緒識(shí)別目前面對(duì)的主要挑戰(zhàn)，為后續(xù)的相關(guān)研究提供了借鑒和思考。