李路寶，陳田，任福繼，羅蓓蓓

（1.合肥工業(yè)大學(xué) 計算機與信息學(xué)院，合肥 230601；2.情感計算與先進智能機器安徽省重點實驗室（合肥工業(yè)大學(xué)），合肥 230601；3.德島大學(xué) 理工學(xué)部，德島 770-8506，日本）

0 引言

近年來，隨著人機交互技術(shù)的發(fā)展和人工智能的興起，情感計算逐漸成為人工智能領(lǐng)域的研究熱點。在高級別人機交互過程中，人們希望賦予機器更多的情感，而情感識別是實現(xiàn)高級人機交互的關(guān)鍵技術(shù)。另外，如抑郁癥、自閉癥等精神疾?。?-2］都與情感有一定程度的關(guān)聯(lián)。所以，對于情感識別的研究有很多重要的現(xiàn)實意義。

生理信號和非生理信號在情感識別中應(yīng)用廣泛。因為人類無法主觀控制生理信號的變化，無法隱藏自己的外在行為和舉止，從而表現(xiàn)出更高的可靠性，所以生理信號更適用于情感識別。而大腦是中樞神經(jīng)系統(tǒng)的主要組成部分，與情感的產(chǎn)生密切相關(guān)，大腦皮層的不同區(qū)域?qū)η楦械呢暙I程度不同［3］。因此如何有效地利用腦電（ElectroEncephaloGram，EEG）信號包含的情感信息，是本文需要解決的問題。

雖然EEG 信號可以更真實、準確地反映人的情感信息，但是腦電信號是非穩(wěn)態(tài)隨機信號，不同人的EEG 信號存在較大的差異，同一個人的EEG 信號在不同時間也存在較大的差異，因此利用單一模態(tài)信號的模型仍然很難應(yīng)用于實際生活。不同的生理信號可以反映情感的不同方面，為了獲得更好的情感識別率和更穩(wěn)定的模型，科研人員探索了將EEG信號與其他生理信號融合的方法［4］，如心電（ElectroCardioGram，ECG）、眼電（ElectroOculoGram，EOG）、皮膚電（Galvanic Skin Response，GSR）等。而ECG 作為常用生理信號之一，包含了豐富的情感信息，也是情感計算領(lǐng)域研究的熱點。EEG 和ECG 都包含了豐富的情感信息，從不同維度反映了人的情感狀態(tài)，綜合利用這些信息可以準確地檢測人的當前狀態(tài)。Koelstra等［5］利用音樂視頻片段激發(fā)參與者的情感，收集了32 名參與者的EEG、外周生理信號和面部表情等信息，然后對EEG 和外周生理信號分別構(gòu)建分類器，融合每個分類器的結(jié)果獲得最終的輸出。實驗結(jié)果表明，基于多模態(tài)的情感識別準確率比單模態(tài)的情感識別更高。但是模型的識別率仍然難以滿足實際應(yīng)用需要，提高情感模型識別的準確率仍然充滿挑戰(zhàn)。

針對以上問題，本文提出一種基于圖神經(jīng)網(wǎng)絡(luò)（Graph Neural Network，GNN）和注意力的多模態(tài)情感識別方法。本文的主要工作包括：1）受神經(jīng)科學(xué)啟發(fā)，利用EEG 通道的空間拓撲關(guān)系構(gòu)建GNN，充分挖掘EEG 信息與情感之間的關(guān)聯(lián)，提升腦電情感的識別率；2）設(shè)計了一種多模態(tài)融合方法，利用EEG 和ECG 信號的互補性，同時在模型中融入注意力機制，在一定程度上提升了情感識別的準確率。

1 相關(guān)工作

自情感計算理論提出以來，相關(guān)的理論都得到了快速發(fā)展。神經(jīng)科學(xué)研究表明，大腦結(jié)構(gòu)功能與情感密切相關(guān)［6-7］，情感類別與大腦皮層和皮層下的神經(jīng)系統(tǒng)活動有特殊的關(guān)系［8］，因此可以將EEG 信號應(yīng)用于情感識別。而EEG 信號是放置在頭皮上的多個電極記錄的大腦皮層的電勢變化，原始信號無法直接進行情感識別，因此需要對采集的原始EEG信號進行相應(yīng)處理，然后根據(jù)相關(guān)領(lǐng)域的知識設(shè)計并提取特征，并根據(jù)不同的算法構(gòu)建模型對這些特征進行分類。

目前，使用生理信號中不同的特征和分類方法進行情感識別已經(jīng)取得了很多成果。Pereira等［9］從EEG 信號中提取高階交叉熵（Higher Order Crossing，HOC），利用支持向量機（Support Vector Machine，SVM）作為分類器，研究不同情緒刺激時間對情感識別率的影響。Krisnandhika等［10］使用相對小波能量作為特征值，利用改進后的神經(jīng)網(wǎng)絡(luò)作為分類器，取得了較好的識別效果。Chen等［11］使用Lempel-Ziv 復(fù)雜度、小波細節(jié)系數(shù)、協(xié)整關(guān)系度以及經(jīng)過經(jīng)驗?zāi)B(tài)分解之后的近似熵作為特征值，然后使用LibSVM 分類器進行分類，最后使用模糊積分融合每個通道的分類結(jié)果，對于arousal 和valence的平均識別率分別為74.88%、82.63%。

大腦中多個功能器官或區(qū)域共同發(fā)揮作用，而GNN 可以很好地表示這種拓撲結(jié)構(gòu)之間的關(guān)系，更好地模擬大腦的機制，為探索EGG 情感識別提供一種潛在的途徑。Song等［12］將圖卷積神經(jīng)網(wǎng)絡(luò)用于EGG 情感識別，提出了動態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)（Dynamical Graph Convolutional Neural Network，DGCNN），通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)來動態(tài)學(xué)習(xí)不同EGG通道之間的內(nèi)在關(guān)系，模型在SEED 數(shù)據(jù)集（SJTU Emotion EEG Dataset）上取得了較好的識別效果。Zhong等［13］提出用于EGG 情感識別的正則圖神經(jīng)網(wǎng)絡(luò)（Regularized Graph Neural Network，RGNN），RGNN 考慮了不同大腦區(qū)域之間的生物拓撲結(jié)構(gòu)，以捕獲不同EEG 通道之間的局部和全局關(guān)系；同時提出了兩種正則化方法節(jié)點域?qū)褂?xùn)練和情感感知分布學(xué)習(xí)，提高了模型的魯棒性。

人類通過快速掃描全局圖像，獲得需要重點關(guān)注的目標區(qū)域，然后對這一區(qū)域投入更多注意力以獲得關(guān)注目標更多的細節(jié)信息。深度學(xué)習(xí)中的注意力機制與人類的視覺注意力機制類似，可以從眾多信息中選擇與當前目標更相關(guān)的信息。本文將注意力機制應(yīng)用于模型中，使模型關(guān)注對分類結(jié)果影響更大的特征，以提高情感識別的準確率。

情感與生理信號變化有密切的聯(lián)系，不同生理信號反映不同的情感信息，所以多模態(tài)融合的方法能充分利用各種信息的互補性，提高模型的準確率和魯棒性。Katsigiannis等［14］利用視頻刺激受試者，獲取EEG 和ECG 信號，再從EEG 信號中提取功率譜密度（Power Spectral Density，PSD）特征，然后融合ECG 信號的心率變異度（Heart Rate Variability，HRV）和心率（Heart Rate，HR）特征。實驗結(jié)果表明，該方法在arousal 維度上的識別準確率優(yōu)于單模態(tài)EEG 和ECG 方法。

2 本文方法

2.1 整體結(jié)構(gòu)

本文方法的總體流程如圖1 所示。首先對EEG 信號進行預(yù)處理，提取信號的特征；然后利用EEG 通道的空間拓撲關(guān)系構(gòu)建鄰接矩陣；最后將數(shù)據(jù)送入GNN，對模型進行訓(xùn)練。由于ECG 數(shù)據(jù)通常是單通道或者雙通道，無法構(gòu)建有效的圖模型，所以本文根據(jù)ECG 信號的特點，使用基于注意力的雙向長短期記憶（Bi-directional Long Short-Term Memory，Bi-LSTM）網(wǎng)絡(luò)進行分類，提取了時域特征HR 和頻域特征HRV；然后利用基于注意力的Bi-LSTM 對數(shù)據(jù)進行分類；最后利用Dempster-Shafer 證據(jù)理論對EEG 和ECG 信號分類的結(jié)果進行融合，獲得情感識別的結(jié)果。

圖1 本文方法的總體流程Fig.1 Overall flow of proposed method

2.2 腦電情感識別

本文提取了腦電信號在5 個頻段Delta（1～3 Hz）、Theta（4～7 Hz）、Alpha（8～13 Hz）、Beta（14～30 Hz）、Gamma（31～43 Hz）上的微分熵（Differential Entropy，DE）特征。DE 是香農(nóng)熵的擴展，通常用于測量連續(xù)隨機變量的復(fù)雜性，文獻［15］的研究表明DE 能夠準確和穩(wěn)定地反映腦電信號的情感信息。DE 的計算如式（1）所示：

其中：p(x)為連續(xù)信息的概率密度函數(shù)；[a，b]為信息取值區(qū)間。

對于一段特定長度近似服從高斯分布x～N(μ，σ2)的單通道EEG 信號，它的DE 如下：

圖2 為廣泛采用的國際10-20 系統(tǒng)電極位置分布圖［16］：圖2（a）、（b）是以顱骨為參照的電極空間位置分布圖；圖2（c）為電極的平面分布圖。之前的研究大部分都是建立在圖2（c）上，但是這樣會忽略腦電信號的空間信息。

圖2 國際10-20系統(tǒng)電極位置分布Fig.2 Electrode placement of international 10-20 system

本文利用圖的鄰接矩陣A∈Rn×n表示EEG 通道的空間拓撲關(guān)系，n為EEG 信號中的通道，圖中的一個節(jié)點表示EEG 信號的一個通道，圖的邊Aij表示兩個EEG 通道i和j之間的關(guān)系。根據(jù)國際10-20 系統(tǒng)電極位置分布初始化鄰接矩陣，存在連接的電極之間邊的權(quán)重為1，然后根據(jù)式（3）給鄰接矩陣重新賦值權(quán)重。文獻［17］中的研究表明，大腦不同區(qū)域之間的強度連接通常和兩個區(qū)域之間的距離成平方反比關(guān)系。

其中：dij表示兩個通道之間的空間距離；α是正則化常數(shù)。

圖卷積部分采用切比雪夫卷積核［18］。切比雪夫多項式代替譜域卷積核后，由于不需要對拉普拉斯矩陣作特征分解，大幅降低了參數(shù)的復(fù)雜度。卷積核具有嚴格的空間局部性，取當前節(jié)點鄰近K個距離的鄰居節(jié)點作為鄰域。給定一個圖G=(V，E，A)，其中：V為圖的所有節(jié)點；E為圖的所有邊。GNN 學(xué)習(xí)輸入數(shù)據(jù)X的特征，并輸出Z∈Rn×d，d為輸出特征的維度。在GNN 的相鄰層之間的特征變換表示為：

其中：i=0，1，…，L-1；L為圖卷積的層數(shù)；f為學(xué)習(xí)的函數(shù)。Kipf等［19］進一步優(yōu)化得到了標準的圖卷積網(wǎng)絡(luò)。

其中：D是A的對角矩陣；W是每一層可訓(xùn)練的參數(shù)矩陣；σ是激活函數(shù)。

模型每一層中參數(shù)設(shè)置如下：EEG 通道數(shù)為32；卷積核數(shù)量為32，卷積核為二階切比雪夫多項式。二階切比雪夫多項式可以使模型保持較好的準確率和局部性，同時加快模型訓(xùn)練的速度。特征使用腦電所有5 個頻道的微分熵。在訓(xùn)練過程中，使用Adam 優(yōu)化器，BReLU（Bipolar Rectified Linear Unit）作為激活函數(shù)。BReLU 將輸入空間劃分為更多的線性區(qū)域以充分捕捉輸入信息，很好地逼近了非線性函數(shù)［20］。學(xué)習(xí)率設(shè)置為0.001，Dropout rate 設(shè)置為0.3，GNN layers 設(shè)置為2，整個模型在Pytorch 上實現(xiàn)。

2.3 心電情感識別

為進一步提高情感識別的準確率，本文同時使用ECG信號作為情感識別的另一個維度。ECG 信號是典型的時間序列信號，一個完整周期的ECG 信號通常由P 波、Q 波、R 波、S 波、T 波組成。首先，對采集到的ECG 信號使用15 s 的滑動窗口進行切片，獲取4 200 個樣本；然后，根據(jù)湯普金斯QRS檢測算法［21］從預(yù)處理的樣本中提取ECG 信號的5 個波形；最后，提取ECG 信號的HR 和HRV 特征。

由于ECG 信號前后之間存在一定的聯(lián)系，而GNN 不善于處理信號的前后聯(lián)系，因此在處理ECG 信號時并不高效。而長短期記憶（Long Short-Term Memory，LSTM）可以有效地解決這個問題。LSTM 是一種特殊類型的循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN），通過門控機制集合短期記憶與長期記憶，能夠有效地處理時間序列并提取隨時間變化的特征。圖3 為LSTM 單元結(jié)構(gòu)圖，h(t)代表短期記憶，c(t)代表長期記憶。LSTM 單元根據(jù)前一個時刻的短期記憶h(t-1)、長期記憶c(t-1)和當前時刻的信息x(t)來計算本單元輸出的短期記憶h(t)、長期記憶c(t)和輸出結(jié)果y(t)。每個單位時間步長后，由輸入門i(t)、輸出門o(t)和遺忘門g(t)控制信息的流向。采用σ(·)作為激活函數(shù)，輸出范圍為［0，1］。

圖3 LSTM單元結(jié)構(gòu)Fig.3 LSTM cell structure

遺忘門由f(t)控制，前一時刻的短期記憶和當前時刻的輸入信息通過遺忘門決定長期記憶有多少信息被遺忘：

其中：W代表每個輸入的權(quán)重向量；b是偏置向量；σ是激活函數(shù)。

輸入門由i(t)控制，它由兩部分組成，第一部分通過σ(·)確定要更新的值，第二部分通過g(t)確定哪些可以被添加到長期記憶。

輸出門由o(t)控制，前一時刻的短期記憶、長期記憶和輸入狀態(tài)共同決定輸出的短期記憶和本單元的輸出。

LSTM 可以根據(jù)前一個時間段的信息預(yù)測下一個時間段的信息。有時信號當前的輸出不僅與之前的狀態(tài)有關(guān)，還與之后的狀態(tài)有關(guān)。而Bi-LSTM 結(jié)合前向和后向LSTM，前向LSTM 以正序輸入序列，后向LSTM 以逆序輸入序列，從而提取了歷史特征和未來特征，具有提取全局特征的能力。本文將基于注意力機制的Bi-LSTM［22］應(yīng)用到情感分類，并且利用注意力關(guān)注對分類影響更重要的特征。

基于注意力的Bi-LSTM 網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示。輸入數(shù)據(jù)是從ECG 信號提取的特征HR 和HRV，網(wǎng)絡(luò)中LSTM 層包含10 個隱藏神經(jīng)元，使用Softmax 作為激活函數(shù)，Adam 作為優(yōu)化器，學(xué)習(xí)率為0.01，注意力層位于Bi-LSTM 層之后，可以產(chǎn)生一個權(quán)重向量，與輸入特征結(jié)合產(chǎn)生新的特征向量。

圖4 基于注意力的Bi-LSTM網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Network structure of attention-based Bi-LSTM

其中：β表示注意力層后的加權(quán)向量；H∈Rd×T為LSTM 的隱藏神經(jīng)元。

2.4 決策融合

為進一步提高情感識別率，并充分利用不同生理信號包含的情感信息，本文利用Dempster-Shafer 證據(jù)理論對EEG 和ECG 信號分類的結(jié)果進行決策融合。Dempster-Shafer 證據(jù)理論是一種對不確定信息作智能處理和數(shù)據(jù)融合的方法，在可信度分配的理論框架下，將證據(jù)之間的沖突性問題納入考慮和計算范圍，對多源和不確定性信息的處理效果較好。

本文分別在arousal 和valance 維度進行分類，每個維度有兩類：低/高效價（m1(A)/m1(B)）和 低/高喚醒 度（m2(A)/m2(B)）。根據(jù)Dempster-Shafer 證據(jù)理論，一個分類器所有可能識別的結(jié)果用集合表示P={p1，p2，…，pn}，n個分類組合共有2n個子集。Dempster-Shafer證據(jù)理論對識別框架中的每一個假設(shè)類別都分配了一個基本概率分配值（Basic Probability Assignment，BPA）。m(·)是子集上對應(yīng)的概率分配函數(shù)。

本文對腦電信號和心電信號分別使用類不同的模型進行識別，m1(·)和m2(·)分別代表每個分類器的置信水平，每個類別的BPA 值是分類器的分類結(jié)果。根據(jù)Dempster-Shafer 計算法則，每個類別的最終BPA 函數(shù)計算過程如式（14）～（15）所示，分別代表所有分類器累加產(chǎn)生相同結(jié)果的BPA 函數(shù)。

當兩個分類器融合的值存在沖突時，根據(jù)圖神經(jīng)網(wǎng)絡(luò)分類的情況作為最終分類的結(jié)果，因為基于EEG 的情感識別模型在證據(jù)方面優(yōu)于基于ECG 的情感識別模型。

3 實驗與結(jié)果分析

3.1 實驗材料和設(shè)置

為了獲取本文所需的可靠數(shù)據(jù)，邀請了20 名受試者參與本次生理信號采集實驗，其中，男性13 名、女性7 名。參與者均為在校大學(xué)生，無任何神經(jīng)損傷和精神疾病，且實驗前未飲用刺激性酒水，睡眠質(zhì)量較好。實驗設(shè)備主要為Emotiv Epoc Flex 腦波儀和心電信號采集器。Emotiv Epoc Flex 腦波儀采樣頻率為128 Hz，可以同時采集多通道腦電信號；心電信號采集器通過兩個貼在左右手腕脈搏上的電極貼片采集人的心電信號。實驗人員精心選擇了25 個視頻片段來激發(fā)5 種情感：輕松、快樂、憤怒、厭惡和悲傷，每種情感共5 個視頻。

圖5 為參與者需要進行的情感激發(fā)實驗整體流程。在進行所有實驗前，每位參與者都要填寫問卷調(diào)查表，并佩戴實驗器材。正式播放每個視頻前，每位參與者有5 s 保持專注，5 s 后播放視頻。播放視頻時，參與者需要盡量減少身體移動。播放完每個視頻后，每位參與者有60 s 根據(jù)自己的感受對該視頻激發(fā)的效果打分。參與者被要求在valence 和arousal 兩個維度上打分，其中：valence 的范圍為1～9，代表參與者感到幸福程度，即從悲傷到高興；arousal 的范圍為1～9，代表情感的強弱程度，即從消極到積極［23］。

圖5 情感激發(fā)實驗流程Fig.5 Emotion elicitation experimental procedure

對于數(shù)據(jù)的標簽，本文根據(jù)參與者在valence 和arousal維度上的分數(shù)，以5 分作為中點，將每個維度分為兩類，即低/高效價（沮喪/快樂）和低/高喚醒（平靜/喚醒）。本文采用準確率和方差作為模型性能的評價指標。在對情緒識別模型的評估中，將實驗數(shù)據(jù)劃分為K折交叉驗證，其中每個折中包含的每個類別數(shù)據(jù)的百分比與整個數(shù)據(jù)集的百分比大致相同。本文數(shù)據(jù)量不大，K折較小時，可能導(dǎo)致建模的數(shù)據(jù)量太小。本文實驗了多種情況，當K=10 時，模型的方差和準確率達到相對穩(wěn)定；當K繼續(xù)增大時，方差增大，模型的泛化能力下降。因此最后K的取值為10。

3.2 性能分析

圖6 為使用GNN 模型在基于EEG 的情感識別中arousal維度和valence 維度訓(xùn)練準確率和損失率的變化。關(guān)于GNN模型設(shè)置，Batch size 為100，最大迭代次數(shù)為100。從圖6 可以看出，arousal 在迭代30 次后趨于穩(wěn)定，valence 在50 次迭代后準確率和損失率趨于穩(wěn)定。最終在arousal、valence 維度的準確率為87.89%、89.45%。

圖6 在arousal和valence維度的準確率和損失率Fig.6 Accuracy and loss in arousal and valence dimensions

表1 為單模態(tài)EGG、ECG 方法與本文多模態(tài)融合方法的情感識別準確率結(jié)果。相較于單模態(tài)情感識別方法，本文方法的平均準確率更高。本文根據(jù)不同生理信號的特點使用了不同的分類器，最后融合GNN 和基于注意力的Bi-LSTM 的分類結(jié)果，在valence 和arousal 維度上的準確率分別達到了91.82% 和88.24%，相較于單模態(tài)EEG 方法分別提高了2.65% 和0.40%，相較于單模態(tài)ECG 方法分別提高了19.79%和24.90%，從而驗證基于融合策略的多模態(tài)情感識別可以提高單模態(tài)情感識別的準確率。

表1 不同方法的準確率對比 單位：%Tab.1 Comparison of accuracy of different models unit：%

為了進一步驗證本文方法的有效性，在兩個公開數(shù)據(jù)集SEED［24］、SEED-IV［25］上進行對比實驗。表2 為本文方法與DGCNN［12］、深度信念網(wǎng)絡(luò)（Deep Belief Network，DBN）［24］分類的準確率和標準差?？梢钥闯?，本文方法均優(yōu)于對比方法。原因是基于空間拓撲關(guān)系的鄰接矩陣可以更好地建模大腦皮層與情感之間的關(guān)系，提高情感分類的準確率。

表2 不同數(shù)據(jù)集上分類的平均準確率和標準差 單位：%Tab.2 Average accuracy and standard deviation of classification on different datasets unit：%

由于注意力機制主要應(yīng)用在ECG 分類中，為了驗證注意力機制對方法的提升效果，本文進行了消融實驗。將Bi-LSTM 和基于注意力的Bi-LSTM 在相同的數(shù)據(jù)集上對比，方法其他參數(shù)設(shè)置同上文。實驗結(jié)果如表3 所示?？梢钥闯?，添加注意力機制后，方法在valence 和arousal 維度上分類的準確率都有一定提高。原因是注意力機制可以調(diào)整不同特征的權(quán)重，使方法更加關(guān)注對結(jié)果影響更大的特征。

表3 消融實驗準確率對比 單位：%Tab.3 Comparison of accuracy in ablation experiment unit：%

3.3 與其他方法的比較

表4 為本文方法與其他多模態(tài)融合分類方法的比較。因為本文使用的是自建數(shù)據(jù)集，所以與對比方法中使用的數(shù)據(jù)集并不相同。當使用一種類型的信號時，即EEG、ECG 或者單個分類器時獲取的信息有限。文獻［26］中提出了一種堆疊情感分類方法，其中集成了XGBoost、LightGBM 和隨機森林等不同的分類模型來學(xué)習(xí)特征。文獻［27］方法融合EEG 信號和GSR 信號以提高情感分類的性能。文獻［28］中提出了一種基于ECG 的自動情感識別算法，將從時域和頻域中提取的生理ECG 特征以及ECG 信號的非線性分析用于尋找與情緒相關(guān)的特征并將它們與情緒狀態(tài)相關(guān)聯(lián)。文獻［29］中使用了多種EGG 相關(guān)的特征，使用LIBSVM 和Bi-LSTM 作為分類器。相較于對比方法，本文方法在valence和arousal 維度上的準確率取得了最優(yōu)，至少提高了7.54%和13.83%。

表4 不同多模態(tài)方法的準確率對比 單位：%Tab.4 Comparison of accuracy of different multimodal methods unit：%

本文方法優(yōu)于其他方法的原因在于：1）GNN 可以更好地模擬大腦的機制，提高腦電情感識別的準確率，同時融入了注意力機制，可以在分類過程中更好地關(guān)注對于結(jié)果影響更重要的特征；2）不同生理信號之間具有互補性，可以提高情感識別的準確率。

4 結(jié)語

本文提出一種基于GNN 和注意力的方法，首先，利用EEG 電極之間的空間拓撲結(jié)構(gòu)構(gòu)建鄰接矩陣，在GNN 中融入注意力機制，關(guān)注對于結(jié)果影響更大的區(qū)域；然后，對于ECG 信號使用基于注意力的Bi-LSTM 方法進行情感識別；最后，通過Dempster-Shafer 證據(jù)理論融合不同生理信號分類的結(jié)果，并獲得最終的情感識別結(jié)果，提高了情感識別的性能。實驗結(jié)果表明，多模態(tài)生理信號的融合可以提高情感識別的準確率，優(yōu)于單模態(tài)識別的準確率，體現(xiàn)了多模態(tài)融合的優(yōu)越性。在未來的研究中，可以考慮如何利用異構(gòu)GNN 對多模態(tài)生理信號進行統(tǒng)一建模，研究不同生理信號之間對模型識別率的影響。