蘇靖然　李秋生

摘要：情感作為人腦的高級功能，對人的心理健康狀態(tài)有很大的影響。為了充分考慮腦電信號的空間信息以及時頻信息，更好地實現(xiàn)人機交互，論文提出了1種基于三維特征圖的改進DenseNet情緒識別模型。通過提取腦電信號θ、α、β和γ 4個頻段的微分熵特征，結(jié)合腦電通道電極的位置映射關(guān)系，構(gòu)造三維特征圖，最后使用改進DenseNet網(wǎng)絡(luò)進行二次特征提取與分類。為了驗證該方法的有效性，在SEED數(shù)據(jù)集上進行了包含積極、中性、消極3種情緒的分類實驗，單被試者實驗和所有被試者實驗獲得的分類準確率分別達98.51%和98.68%。實驗結(jié)果表明，三維特征圖結(jié)合特征重用方法能夠得到高精度的分類結(jié)果，為情緒識別提供了可以嘗試的新方向。

關(guān)鍵詞：腦電信號；電極映射；三維特征圖；特征重用；多尺度卷積核

中圖分類號：R318;TN911.7文獻標志碼：A文獻標識碼

An EEG emotion recognition method based on 3D feature and improved DenseNet

SU Jingran1，2，LI? Qiusheng1，2*

（1 School of Physics and Electronic Information， Gannan Normal University，Ganzhou， Jiangxi 341000， China; 2 Center for Intelligent

Control Engineering Research， Gannan Normal University，Ganzhou， Jiangxi 341000，China）

Abstract：? Emotion， as a high-level function of the human brain， greatly influences human mental health. To fully consider EEG signals′ spatial information and time-frequency information and realize human-computer interaction better. An improved DenseNet emotion recognition model was proposed based on a three-dimensional feature map. By extracting the differential entropy features of theta， alpha， beta， and gamma frequency bands of EEG signal and combining with the position mapping of EEG channel electrodes， a 3D feature map was constructed. Finally， the improved DenseNet network was used for secondary feature extraction and classification. In order to verify the effectiveness of this method， positive， neutral， and negative classification experiments were carried out on the SEED data set. The classification accuracy of the single-subject experiment and all subjects experiment was 98.51% and 98.68%， respectively. Experimental results showed that 3D feature maps combined with the feature reuse method could obtain high-precision classification results. It provides a compelling new direction for emotion recognition.

Key words： EEG;electrode mapping;3D feature map;feature reuse;the multi-scale convolution kernel

情緒，體現(xiàn)了人對客觀事物的態(tài)度及反應(yīng)，一般認為，它是1種以個體愿望和需要為中介的心理活動［1］。近年來，疲勞駕駛以及精神心理健康等問題日益出現(xiàn)在大眾面前，積極的情緒能夠提高工作效率，對人類生活和工作起到積極推動的作用，而消極情緒則會導(dǎo)致工作效率下降，長期積累的負面情緒也是抑郁癥爆發(fā)的主要源泉，因此，情緒識別在人類的生命安全以及心理健康中扮演著重要角色。

情緒識別是融合心理學、神經(jīng)科學、醫(yī)學和計算機的交叉學科，目前，各國研究者對于情緒識別的研究已經(jīng)取得了一定進展。從數(shù)據(jù)來源分析，情緒識別的研究主要基于非生理因素與生理因素兩方面，由于人會刻意隱瞞自己的情緒，所以基于非生理因素的外在特征無法有效地識別出人的真實情緒狀態(tài)，而生理信號則不具偽裝性，不易受人的主觀情緒影響，常見的生理信號有心電、腦電、肌電等，腦電信號由于其易測量、設(shè)備便攜的特點，被廣泛應(yīng)用于情緒識別中；從分類器的使用分析來看，國內(nèi)外研究者主要圍繞機器學習與深度學習2種方法進行情緒識別的分類研究。機器學習采用人工提取特征與支持向量機（Support Vector Machine，SVM）［2］、K近鄰（K-Nearest Negihbour，KNN）、隨機森林等傳統(tǒng)機器學習方法相結(jié)合以實現(xiàn)情緒狀態(tài)的分類識別。其中，用于情緒識別的腦電特征主要包括時域、頻域以及時頻域內(nèi)的Hjorth參數(shù)、分形維數(shù)特征［3］、微分熵（Differential Entropy，DE）、功率譜密度等，Alazrai等［4］提出1種新的基于時頻（Time-frequency， TF）的特征提取方法，將提取到的特征結(jié)合SVM進行分類研究，采用國際公開DEAP數(shù)據(jù)集進行驗證，達到了86.20%的正確率；Zhang等［5］采用經(jīng)驗?zāi)B(tài)分解的方法提取樣本熵特征，形成特征向量，作為SVM的輸入，在DEAP數(shù)據(jù)集上進行實驗驗證，平均準確率達到93.20%。由于腦電信號的非平穩(wěn)性、非線性以及不同通道之間、不同頻帶之間的關(guān)聯(lián)性，傳統(tǒng)的機器學習方法無法有效利用腦電信號的空間信息、時頻信息，以進一步提高腦電情緒分類的準確性，而深度學習方法則可以彌補這一缺陷。深度學習主要采用端到端的訓練方法，不需要借助人工經(jīng)驗完成特征提取，能夠自動提取特征并完成分類測試。隨著深度學習的深入發(fā)展，國內(nèi)外研究者便將目光放在了深度學習方法上，如深度信念網(wǎng)絡(luò)（Deep Belief Network， DBN）、卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network， CNN）［6］、長短時記憶網(wǎng)絡(luò)（Long Short-Term Memory， LSTM）［7］等多種深度神經(jīng)網(wǎng)絡(luò)在腦電情緒識別領(lǐng)域已取得較好的成果。如Song等［8］提出動態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)（Dynamical Graph Convolutional Neural Network， DGCNN）的概念，對SEED［9］數(shù)據(jù)集中的5種特征（DE、PSD、DASM、RASM、DCAU）進行二次特征提取與分類，單被試識別準確率達到90.40%，跨被試者實驗分類準確率為79.00%；Asghar等［10］采用深度特征聚類（DFC）結(jié)合多種神經(jīng)網(wǎng)絡(luò)來選擇高質(zhì)量的特征，減少冗余特征的存在，大大縮短了網(wǎng)絡(luò)的訓練時間。Liu等［11］則提出了1種基于多層長短期記憶循環(huán)神經(jīng)網(wǎng)絡(luò)（Long Short-Term Memory Recurrent Neural Network，LSTM-RNN）的注意力模型，實現(xiàn)了基于時間注意力（Temporal Attention，TA）和頻段注意力（Band Attention，BA）的腦電情緒識別算法，有效提升了分類的效果。

基于以上分析，無論是使用機器學習還是深度學習，大多數(shù)研究都是基于腦電信號的全頻段，心理學和神經(jīng)科學的研究表明， 腦電的5個經(jīng)典節(jié)律（δ （1～3 Hz）、θ （4～7 Hz）、α （8～13 Hz）、β （14～30 Hz）和γ （31～50 Hz））與人的各項生理及心理活動有著密切的關(guān)系，然而只有少數(shù)研究者在研究過程中考慮到了這一特點，其中，Koelstra等［12］提取了腦電5個節(jié)律的功率譜密度，用于情緒分類識別，而李昕等［13］先對情緒腦電信號分解和重構(gòu)獲取4個節(jié)律波，隨后對4個節(jié)律波提取小波能量、小波熵、近似熵和Hurst指數(shù)，最后利用PCA算法對其降維處理并將處理后的結(jié)果送入支持向量機分類器中獲得情緒識別結(jié)果。為了進一步研究腦電信號不同節(jié)律對分類識別精度的影響，本文提取4個節(jié)律（θ、α、β和γ）的微分熵特征并結(jié)合腦電通道的空間信息以提高情緒分類準確率。δ波屬于無意識的波，主要在成人睡眠中產(chǎn)生，對情緒識別研究的影響不大，而其他4個節(jié)律的波，則是屬于有意識的波，會在人處于刺激、憤怒、興奮、悲傷等狀態(tài)時出現(xiàn)，與人類的情緒狀態(tài)息息相關(guān)，可以有效表征情緒狀態(tài)。首先將腦電通道電極之間的位置信息映射為二維，使其盡可能地保留各電極之間的相對位置信息，然后結(jié)合4個節(jié)律的微分熵特征，組成一個三維特征圖，最后采用改進的密連卷積網(wǎng)絡(luò)（Densely Connected Convolutional Networks， DenseNet）［14］進行二次特征提取并完成積極、中性、消極3種情緒的分類實驗，選用準確率（Accuracy）、F1分數(shù)（F1-score）等評價指標對算法的情緒狀態(tài)識別性能進行評價。

1 資料與方法

1.1 情緒識別模型

一個完整的情緒識別模型通常由數(shù)據(jù)采集階段、數(shù)據(jù)預(yù)處理階段、特征提取階段以及分類器組成，本文所采用的模型的總體框架如圖1所示。

比較采用不同數(shù)據(jù)集得到的準確率是毫無意義的，為了促進腦電信號情緒識別的可持續(xù)發(fā)展，本文采用由上海交通大學BCMI實驗室提供的SEED數(shù)據(jù)集［9］進行三分類（積極、中性、消極）實驗研究，經(jīng)平滑處理后的微分熵特征構(gòu)成三維特征圖，最后使用加入多尺度卷積核的DenseNet網(wǎng)絡(luò)進行空間信息、時頻信息的二次特征提取并完成分類。

1.2 腦電信號的獲取與特征提取

1.2.1 SEED情感數(shù)據(jù)集及其預(yù)處理

SEED中記錄了62個通道上的腦電信號，選擇15個電影片段（5個積極、5個中性和5個消極）作為情感誘發(fā)素材，15個電影片段詳細信息來源于表1中的電影，每個電影片段都最大化地體現(xiàn)了被試者的情緒狀態(tài)，為了避免片段過長而導(dǎo)致被試者產(chǎn)生疲勞感，每個電影片段時長大約4min。每個被試者每次實驗需要觀看15個電影片段，有7名男性，8名女性，共15名被試者參與其中，且進行3次實驗，間隔約1周，共有45次（15×3）腦電數(shù)據(jù)的采集實驗。由于每進行一次實驗都需要觀看15個電影片段，因此每次實驗中包含了15個小實驗，每一個小實驗都是由5 s的提示階段、4 min的電影觀看時間、45 s的自我測評以及15 s的休息階段組成。

首先對采集到的腦電信號進行降采樣處理，原始1 000 Hz的腦電數(shù)據(jù)被降采樣到200 Hz，然后應(yīng)用0～75 Hz的帶通濾波器進行噪聲與去偽影處理，得到預(yù)處理數(shù)據(jù)集。為了有足夠的數(shù)據(jù)樣本進行深度學習訓練，對每個樣本使用1 s的滑動窗口進行無重疊切分，針對1次實驗，每個被試者將得到3394個數(shù)據(jù)樣本。

為了探究腦電信號的時頻信息，本文在4個節(jié)律中分別進行微分熵特征提取，同時用線性動態(tài)系統(tǒng)進行特征平滑，從微分熵特征中濾除一些與情緒無關(guān)的信息，減少噪聲與偽影的存在。

1.2.3 腦電通道電極映射

圖2、圖3分別描述了腦電通道電極映射過程和二維特征到三維特征的轉(zhuǎn)化過程，可以得到大小為9×9×4的三維微分熵特征圖，具體轉(zhuǎn)化過程詳見文獻［15-16］。

將三維空間中的復(fù)雜電極位置關(guān)系映射為大小9×9的二維圖，以模擬電極之間的相對位置，為卷積神經(jīng)網(wǎng)絡(luò)探索各通道之間的空間位置關(guān)系，即提取空間信息提供了便利，在9×9的二維圖中，使用的腦電通道中即黃色部分填充微分熵特征，未使用的腦電通道即藍色部分填充0。

將腦電信號先映射到4個節(jié)律（θ （4～7 Hz）、α （8～13 Hz）、β （14～30 Hz）和γ （31～50 Hz）），再分別提取出各個頻段對應(yīng)的微分熵特征，圖3中的第一步就是分別提取每個頻段的微分熵特征；第二步，每一頻段的微分熵特征按照圖2的映射原則組成1個二維特征圖；最后通過堆疊4個頻段的二維特征圖形成三維特征圖。此三維特征圖充分融合了腦電信號的空間信息以及時頻信息，為后面使用CNN進行二次特征提取以及更好的進行情緒分類奠定了堅實的基礎(chǔ)。

1.3 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)［17］是目前深度學習的重要代表性算法之一，在圖片識別與分類中得到了廣泛應(yīng)用，由于其在圖片識別與分類中的成熟表現(xiàn)，眾多研究者將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到情緒識別的研究領(lǐng)域，且取得了不錯的效果。在其他研究者的研究基礎(chǔ)上，本文將DenseNet引入到情緒識別研究之中，DenseNet淺層特征重用的特點為情緒識別的研究開辟了一條可以嘗試的新道路。

1.3.1 DenseNet網(wǎng)絡(luò)

密連卷積網(wǎng)絡(luò)（Densely Connected Convolutional Networks， DenseNet）［14］，區(qū)別于其他深度神經(jīng)網(wǎng)絡(luò)，沒有從網(wǎng)絡(luò)的深度或?qū)挾葘ふ姨卣?，而是通過特征重用來最大化地發(fā)揮網(wǎng)絡(luò)的能力，對于其中的每一層，前面所有層的特征都被用作輸入，其自身特征也被用作后面所有層的輸入，允許任意2個非相鄰層之間進行跨層連接，可以連接不同層學習到的特征，增強特征表示的能力。DenseNet主要由密連模塊（dense block）、過渡層（transition layer）以及瓶頸層（bottleneck layer）構(gòu)成，其中密連模塊實現(xiàn)特征重用功能。

其中，［x0，x1，…，xl-1］表示對第0層到第l－1層產(chǎn)生的特征圖進行張量拼接，Hl（·）是1個由3種相繼操作組成的復(fù)合函數(shù)：塊歸一化（Batch Normalization， BN）、校正線性單元（Rectified Linear Unit， ReLU）和3×3卷積（Convolution， Conv）。

1.3.2 MSC-DenseNet網(wǎng)絡(luò)

受GoogleNet的Inception結(jié)構(gòu)啟發(fā)，將多尺度卷積核并行合并模塊（Multi-scale convolution kernel parallel merging module， MSC）引入DenseNet網(wǎng)絡(luò)，MSC模塊如圖4所示。

MSC采用3種尺寸大小的卷積核（1×1、3×3、5×5），小尺寸的卷積核可獲得更細致的特征，大尺寸的卷積核，感受野更大，可以充分考慮腦電各個通道之間的相對位置關(guān)系，提取腦電信號的空間信息。

其中5×5卷積核采用2個3×3卷積替代，一方面堆疊的3×3提供了更多數(shù)量的激活函數(shù)，增加了網(wǎng)絡(luò)的非線性特性；另一方面，在具有相同感受野的條件下，一定程度上可以提升神經(jīng)網(wǎng)絡(luò)的效果，減少網(wǎng)絡(luò)參數(shù)的計算量。在3×3卷積前面都有1個1×1的卷積操作，可以對不同通道間的信息做線性組合，實現(xiàn)跨通道的信息交互和信息整合，最終，MSC-DenseNet的整體網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

整個網(wǎng)絡(luò)主要由3個密連模塊，2個過渡層以及多尺寸卷積核并行合并模塊組成。其中，首先使用16個3×3大小的卷積核進行卷積運算，進行特征的初次提??；然后，使用16個3×3，步長為2的最大池化進行下采樣處理。在經(jīng)過卷積和池化之后，進入到第一個dense block，也就是網(wǎng)絡(luò)的核心部分，不僅可以實現(xiàn)淺層特征重用，還能夠借助MSC模塊中的多尺度卷積實現(xiàn)特征的多層提取；在dense block之后有1個過渡層，由1×1卷積和2×2最大池化組成，經(jīng)過多次實驗驗證，使用3個dense block模塊、2個過渡層得到的實驗效果最佳，在第三個dense block后使用全局平均池化代替全連接層，最后經(jīng)過softmax分類器進行積極、消極、中性3種情緒狀態(tài)的分類。

1.3.3 實驗環(huán)境

本文的MSC-DenseNet模型是在Tensorflow框架下通過Python編程實現(xiàn)的。實驗環(huán)境為英特爾Core i5-8500 CPU@3.00 GHz 16 GB內(nèi)存，英特爾UHD Graphics 630顯卡，64位Windows10系統(tǒng)。

表2記錄了MSC-DenseNet結(jié)構(gòu)詳細的參數(shù)設(shè)置信息，其中，學習率決定了整個優(yōu)化過程中的步長更新，在訓練初期使用較大的學習率，前進的步長就會較長，能夠以較快的速度進行梯度下降，在訓練后期，逐步減小學習率，有利于算法的收斂，使其接近最優(yōu)值。本文采用了分段常數(shù)衰減，在訓練的前3 600個Batch size使用的學習率為0.00001，初始階段使用較大的學習率，不僅加快梯度下降的速度，也可以節(jié)省一定的訓練時間，提高訓練速率，此后逐漸減小學習率，3 600～5 000個Batch size學習率設(shè)置為0.000005，5 000～7 000個Batch size學習率設(shè)置為0.0000025，最后使用0.000001的學習率實現(xiàn)算法的收斂。在網(wǎng)絡(luò)的最后使用全局平均池化代替全連接層，其余部分采用最大池化進行特征提取與降維。

2 結(jié)果與分析

本節(jié)在4個節(jié)律中分別進行實驗，找出最能表征情緒狀態(tài)的節(jié)律并與4個節(jié)律全部組合使用得到的效果進行比較，所有實驗都是基于被試者第一次實驗測得的腦電數(shù)據(jù)。

2.1 評估指標

本文采用準確率（Accuracy）、F1分數(shù)（F1-score）以及混淆矩陣進行模型性能的評估。

混淆矩陣（confusion matrix），又稱為可能性表格或是錯誤矩陣。它不僅僅局限于準確率，可以帶來更多的分析，呈現(xiàn)算法性能的可視化效果，直觀地看出分類判別錯誤之處。

2.2 單被試者實驗

在實驗開始前將每一位被試者的數(shù)據(jù)樣本隨機打亂分為訓練集、驗證集與測試集3部分，其中訓練集占70%，驗證集占20%，測試集占10%。

表3記錄了單被試者4個節(jié)律以及所有節(jié)律共同使用的F1分數(shù)以及準確率，其中，被試者2無論處于哪個節(jié)律，其準確率都可達100%，說明本文模型在被試者2中可以得到理想的分類精度，從15個被試者的平均F1分數(shù)以及平均準確率分析，4個節(jié)律的F1分數(shù)都在0.97以上，γ節(jié)律達到了0.9821，其準確率也達到了98.24%，驗證了淺層特征重用以及多尺度卷積核共同使用的優(yōu)越性，α節(jié)律與其他3種節(jié)律相比，得到的分類準確率相對較低。

4個節(jié)律共同使用分別與θ、α、β、γ得到的結(jié)果進行比較，γ節(jié)律得到的F1分數(shù)以及準確率與所有節(jié)律共同使用得到的結(jié)果相近，說明在只使用γ節(jié)律的情況下，也可以得到較好的分類效果，其實驗結(jié)果與腦電信號的基本知識相吻合。γ波頻率范圍約為31～50 Hz，是腦電信號中頻率最高的成分，出現(xiàn)該頻段時人通常處于十分激動、亢奮的狀態(tài)，或是受到了強烈的刺激，而α波較多出現(xiàn)在成人安靜閉目狀態(tài)下，θ波在成年人受挫或者抑郁以及精神病患者中極為顯著，所以人在正常情況下，γ波中包含更多的情緒狀態(tài)信息。

2.3 所有被試者實驗

訓練數(shù)據(jù)采用全部被試者的實驗數(shù)據(jù)，每位被試者3 394個數(shù)據(jù)樣本，共15個被試者，將數(shù)據(jù)樣本隨機打亂分為訓練集、驗證集與測試集3部分，其中訓練集占70%，驗證集占20%，測試集占10%。

表4記錄了所有被試者的實驗結(jié)果，在θ、α、β、γ 4個節(jié)律中，β節(jié)律得到的準確率最高，為98.47%，與γ節(jié)律的98.45%相近，β節(jié)律在處于精神緊張或情緒激動時會出現(xiàn)，在使用所有節(jié)律的情況下，得到的準確率為98.68%，略高于β節(jié)律。表5展示了每個節(jié)律的混淆矩陣，每一列代表預(yù)測類別，每一行代表的是實際類別。其中，在θ節(jié)律中，對于中性狀態(tài)的預(yù)測結(jié)果最差，錯誤率最高；在α節(jié)律中，對于積極與消極狀態(tài)的預(yù)測與其他節(jié)律相比，其誤差率也較高，積極與消極情緒大多被錯誤的預(yù)測成了中性狀態(tài)；在β、γ以及所有節(jié)律中，其預(yù)測結(jié)果相近，同時也表明在使用更少的參數(shù)量以及工作量的情況下，可以使用β或γ節(jié)律代替使用所有節(jié)律。

從2個實驗的實驗結(jié)果可知，本文提出的MSC-DenseNet模型呈現(xiàn)出明顯的優(yōu)勢，單被試者實驗平均準確率達到了98.51%，所有被試者實驗準確率達到了98.68%，說明三維特征圖結(jié)合特征重用在關(guān)于腦電信號的情感識別研究上具有很好的分類性能。

2.4 不同算法對比

為了驗證本文提出方法的有效性，選用常用的機器學習算法支持向量機（SVM）以及深度學習算法CNN與本文方法在所有被試者實驗中進行對比分析。其中，SVM核函數(shù)選用高斯核函數(shù)，懲罰因子設(shè)置為1；CNN選用1×1、3×3、5×5三個不同尺寸大小的卷積核，3×3最大池化層，全局平均池化代替全連接層，最后Softmax輸出分類結(jié)果。圖6直觀地展示了SVM、CNN以及本文方法在所有被試者實驗中得到的準確率對比結(jié)果。

從圖6可以看出，使用本文方法得到的分類準確率最高，達到了98.68%；其次，使用CNN的方法準確率是97.84%；使用SVM的方法只有93.69%。說明相較于機器學習，深度學習在腦電情緒識別領(lǐng)域具有一定的優(yōu)勢，使用多尺度卷積核的CNN模型得到的準確率最高達到97.84%，但是本文方法在每個節(jié)律上得到的準確率都具有一定的優(yōu)勢，且最高準確率可以達到98.68%，表明了多尺度卷積核結(jié)合特征重用的有效性。

另外，單從識別準確率這一指標來看，本文方法具有一定優(yōu)勢性，但與SVM、CNN模型相比，本文模型相對復(fù)雜，計算量較大，導(dǎo)致準確率提高的同時帶來了效率的降低，這將是未來研究中重點優(yōu)化內(nèi)容。

2.5 同類研究對比

目前，已有大量研究提出了關(guān)于腦電信號情緒識別的方法，在本節(jié)中，我們將本文方法與其他同樣采用SEED數(shù)據(jù)集的現(xiàn)有方法進行比較。文獻［9］對腦電信號的前期處理同本文一樣，提取腦電信號5個頻段的微分熵特征，然后選取最能表現(xiàn)情緒狀態(tài)的腦電通道，使用深度信念網(wǎng)絡(luò)實現(xiàn)分類。文獻［18］根據(jù)腦電通道電極位置，將一維腦電時域信息轉(zhuǎn)換成二維的微分熵頻域特征，使用分層卷積神經(jīng)網(wǎng)絡(luò)（Hierarchical Convolutional Neural Network，HCNN）進行二次特征提取與分類。文獻［19］先采用小波包變換對信號進行分解，構(gòu)建二維結(jié)構(gòu)樣本，然后對設(shè)計的6種深度不同的CNN模型進行投票與加權(quán)建立集成模型，在單被試者實驗中得到了93.12%的分類準確度。文獻［20］提出1種新的深度學習分類模型—三維卷積注意神經(jīng)網(wǎng)絡(luò)（Three-dimension Convolution Attention Neural Network， 3DCANN），該模型由時空特征提取模塊和腦電圖通道注意權(quán)重學習模塊組成，最終獲得了97.35%的分類準確度。文獻［21］提出1種新的自適應(yīng)優(yōu)化空頻微分熵（Adaptive Optimized Spatial-frequency Differential Entropy，? AOSFDE）特征，首先根據(jù)導(dǎo)聯(lián)重要性進行通道選擇，然后通過稀疏回歸算法對微分熵特征進行優(yōu)化選擇，針對15名被試者的積極/消極、積極/中性、中性/消極這3個情緒二分類場景平均準確率分別達到91.80%、93.30%和85.10%。

由表6可知，本文的MSC-DenseNet方法在SEED數(shù)據(jù)集上獲得的分類準確率比其他文獻方法都高，說明本文方法在SEED數(shù)據(jù)集上取得的效果更好，在情緒識別方面具有一定價值。

3 結(jié)論

隨著深度學習算法在眾多領(lǐng)域的成功應(yīng)用，越來越多的研究者嘗試將深度學習應(yīng)用到腦電信號情緒識別領(lǐng)域并取得了一定成就。本文結(jié)合腦電信號的空間特性與時頻特性構(gòu)造三維微分熵特征圖，并使用改進的DenseNet網(wǎng)絡(luò)進行特征提取與分類，最終在單被試者實驗中得到了98.51%的平均分類準確率，在所有被試者實驗中得到了98.68%的分類準確率，引入DenseNet特征重用的特點為腦電信號情緒識別的進一步研究開辟了新道路，有較好的研究潛力。通過與支持向量機、卷積神經(jīng)網(wǎng)絡(luò)的對比實驗驗證了本文方法的科學性與可行性，同時也證實了深度學習在情緒識別中的表現(xiàn)比機器學習效果好。

參考文獻（References）

［1］WILAIPRASITPORN T， DITTHAPRON A， MATCHAPARN K， et al. Affective EEG-based person identification using the deep learning approach［J］. IEEE Transactions on Cognitive and Developmental Systems， 2020， 12（3）： 486-496.

［2］王春晨，文治洪，王航，等. 基于腦電信號的情緒狀態(tài)識別算法研究［J］. 醫(yī)療衛(wèi)生裝備， 2020， 41（2）： 20-25.

WANG C C，WEN Z H，WANG H，et al. Research on emotional state recognition algorithm based on EEG signals［J］.Chinese Medical Equipment Journal， 2020，41 （2）： 20-25.

［3］TUNCER T， DODAN S， SUBASI A. A new fractal pattern feature generation function based emotion recognition method using EEG［J］. Chaos， Solitons & Fractals， 2021， 144： 110671.

［4］ALAZRAI R，HOMOUD R，ALWANNI H， et al. EEG-based emotion recognition using quadratic time-frequency distribution［J］. Sensors， 2018， 18（8）： 2739.

［5］ZHANG Y， JI X M， ZHANG S H. An approach to EEG-based emotion recognition using combined feature extraction method［J］. Neuroscience Letters， 2016， 633： 152-157.

［6］LIU C L， HSAIO W H， TU Y C. Time series classification with multivariate convolutional neural network［J］. IEEE Transactions on Industrial Electronics， 2018， 66（6）： 4788-4797.

［7］RAMZAN M， DAWN S. Fused CNN-LSTM deep learning emotion recognition model using electroencephalography signals［J］. International Journal of Neuroscience， 2023， 133（6）： 587-597.

［8］SONG T F， ZHENG W M， SONG P， et al. EEG emotion recognition using dynamical graph convolutional neural networks［J］. IEEE Transactions on Affective Computing， 2020， 11（3）： 532-541.

［9］ZHENG W L， LU B L. Investigating critical frequency bands and channels for EEG-based emotion recognition with deep neural networks［J］. IEEE Transactions on Autonomous Mental Development， 2015， 7（3）： 162-175.

［10］ASGHAR M A， KHAN M J， RIZWAN M， et al. An innovative multi-model neural network approach for feature selection in emotion recognition using deep feature clustering［J］. Sensors， 2020， 20（13）： 3765.

［11］LIU J M， SU Y Q， LIU Y H. Multi-modal emotion recognition with temporal-band attention based on LSTM-RNN［M］. Berlin：Springer， 2017.

［12］KOELSTRA S. Deap： a database for emotion analysis using physiological signals［J］. IEEE Transactions on Affective Computing， 2012， 3（1）： 18-31.

［13］李昕， 蔡二娟， 田彥秀， 等. 一種改進腦電特征提取算法及其在情感識別中的應(yīng)用［J］. 生物醫(yī)學工程學雜志， 2017， 34（4）： 510-517，528.

LI X， CAI E J， TIAN Y X， et al. An improved EEG feature extraction algorithm and its application in emotion recognition［J］. Journal of Biomedical Engineering， 2017， 34 （4）： 510-517，528.

［14］HUANG G， LIU Z， MAATEN L V D， et al. Densely connected convolutional networks［J］. IEEE Computer Society， 2016： 4700-4708.

［15］尹永強. 基于卷積神經(jīng)網(wǎng)絡(luò)的腦電情緒識別方法研究［D］. 濟南：山東師范大學， 2021.

YIN Y Q. Research on EEG emotion recognition methods based on convolutional neural networks［D］. Jinan： Shandong Normal University， 2021.

［16］李穎潔， 李玉玲， 楊幫華. 基于腦電信號深度學習的情緒識別研究現(xiàn)狀［J］. 北京生物醫(yī)學工程， 2020， 39（6）： 634-642.

LI Y J， LI Y L， YANG B H. A review of EEG emotion recognition based on deep learning［J］. Beijing Biomedical Engineering， 2020， 39（6）： 634-642.

［17］PHAN T， KIM S， YANG H， et al. EEG-based emotion recognition by convolutional neural network with multi-scale kernels［J］. Sensors， 2021， 21（15）： 5092.

［18］LI J P， ZHANG Z X， HE H G. Implementation of EEG emotion recognition system based on hierarchical convolutional neural networks［C］∥International Conference on Brain Inspired Cognitive Systems， Cham：Springer， 2016： 22-33.

［19］魏琛， 陳蘭嵐， 張傲. 基于集成卷積神經(jīng)網(wǎng)絡(luò)的腦電情感識別［J］. 華東理工大學學報（自然科學版）， 2019， 45（4）： 614-622.

WEI C， CHEN L L， ZHANG A. Emotion Recognition of EEG based on ensemble convolutional neural networks［J］. Journal of East China University of Science and Technology， 2019，45 （4）： 614-622.

［20］LIU S Q， WANG X， ZHAO L， et al. 3DCANN： a spatio-temporal convolution attention neural network for EEG emotion recognition［J］. IEEE Journal of Biomedical and Health Informatics， 2022， 26（11）： 5321-5331.

［21］苗敏敏， 徐寶國， 胡文軍， 等. 基于自適應(yīng)優(yōu)化空頻微分熵的情感腦電識別［J］. 儀器儀表學報， 2021， 42（3）： 221-230.

MIAO M M， XU B G， HU W J， et al. Emotion EEG recognition based on the adaptive optimized spatial-frequency differential entropy［J］. Chinese Journal of Scientific Instrument， 2021，42 （3）： 221-230.（責任編輯：編輯郭蕓婕）

收稿日期：中文收稿日期2022-03-03

基金項目：國家自然科學基金項目（61561004），江西省教育廳科學技術(shù)研究項目（GJJ201408）

作者簡介：蘇靖然（1997—），女，碩士研究生，專業(yè)方向為智能信息處理、深度學習。

*通信作者：李秋生（1976—），男，教授，從事智能信息處理方向的研究，e-mail： liqiusheng@gnnu.edu.cn。