羅超元

（陸軍步兵學(xué)院 江西省南昌市 330103）

1 引言

殘酷激烈的作戰(zhàn)情景容易激發(fā)一線指戰(zhàn)員的高度憂慮和緊張等負面情緒，導(dǎo)致其思維上的遲鈍甚至混亂，嚴重影響作戰(zhàn)指揮效能。戰(zhàn)場適應(yīng)性模擬訓(xùn)練系統(tǒng)提供高度逼真的戰(zhàn)場環(huán)境，能夠較好地培養(yǎng)一線指戰(zhàn)員在殘酷戰(zhàn)場環(huán)境中的心理穩(wěn)定能力和承受能力[1]。在適應(yīng)性訓(xùn)練過程中，了解參訓(xùn)者的情緒狀態(tài)是驗證訓(xùn)練有效性必不可少的環(huán)節(jié)，施訓(xùn)人員以往通過參訓(xùn)者的自我描述了解人員心理變化，以評估訓(xùn)練的效果，然而，該方法受主觀性影響較大，存在較大的弊端。近年來許多學(xué)者提出一種基于腦電信號的情緒識別方法，為分析參訓(xùn)者的情緒狀態(tài)提供了一種新手段。

目前，基于腦電信號的情緒識別主要建立在公開的數(shù)據(jù)集上，比如上海交大情感腦電數(shù)據(jù)集（SEED）[2]、生理信號情緒分析數(shù)據(jù)集（DEAP）[3]，MAHNOB-HCI數(shù)據(jù)集[4]。主要研究路線有兩條：

（1）將腦電信號數(shù)據(jù)直接輸入神經(jīng)網(wǎng)絡(luò)進行分類器的訓(xùn)練，通過調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練策略來提升情緒識別的準確性[5-8]。比如周雙如等[5]提出一種結(jié)合卷積殘差網(wǎng)絡(luò)、雙向門循環(huán)網(wǎng)絡(luò)與注意力機制網(wǎng)絡(luò)的情緒識別模型，在DEAP數(shù)據(jù)集上進行情緒的二分類測試，喚醒度和效價的分類準確率分別達到96.95%、97.22%。賈巧妹[8]等在ScaleNet網(wǎng)絡(luò)的基礎(chǔ)上提出一種結(jié)合提升算法與梯度下降法的雙策略訓(xùn)練方法，在DEAP數(shù)據(jù)集上進行情緒二分類測試，有效提升了模型的泛化性能。戴紫玉[9]等提出基于多尺度卷積核的卷積神經(jīng)網(wǎng)絡(luò)分類模型，在SEED數(shù)據(jù)集上進行情緒三分類測試，將分類準確率提升至98.19%。

（2）事先根據(jù)經(jīng)驗手動提取數(shù)據(jù)特征，再利用特征對模型進行訓(xùn)練，通過改變特征的類別、對特征進行組合、模型參數(shù)的調(diào)整等方式提升準確率[10-14]。提取的特征包括頻域和時域特征[14]，以及近似熵、模糊熵、微分熵等各種信息熵特征和融合特征[16]。比如，柳長源[13]等將不對稱熵特征輸入支持向量機進行訓(xùn)練，在DEAP數(shù)據(jù)集上進行壓力與平靜情緒狀態(tài)的二分類測試，準確率最高達到93.75%。廖健熙[10]等提取微分熵及常用的統(tǒng)計特征輸入隨機森林進行訓(xùn)練，在自建數(shù)據(jù)集上進行情緒三分類測試，平均準確率達到97.87%。

從上述研究中可以發(fā)現(xiàn)，情緒識別研究集中于提升模型的識別準確率，卻忽視了識別的分辨率，例如，建立在SEED數(shù)據(jù)集上的研究多以三分類（消極、積極、中性）研究為主[17-18]，建立在DEAP數(shù)據(jù)集上的研究多以二分類研究為主[6,19-22]。利用這些成果無法精細化了解人的情緒狀態(tài)，難以在現(xiàn)實應(yīng)用層面中發(fā)揮效用?；谏鲜鲅芯楷F(xiàn)狀以及戰(zhàn)場適應(yīng)性模擬訓(xùn)練的現(xiàn)實需求，本文提出一種基于排列熵和功率譜特征的卷積神經(jīng)網(wǎng)絡(luò)情緒分類模型，從EEG信號中提取特征對模型進行訓(xùn)練，在情緒二維模型的兩個維度上分別進行情緒八分類，通過實驗結(jié)果的對比與分析，以期證明模型在情緒分類準確率和分辨率上的優(yōu)越性，從而為戰(zhàn)場適應(yīng)性模擬訓(xùn)練提供一種更加有效的情緒分析方法。

2 分析方法描述

腦電是隨時間連續(xù)變化的序列信號，對腦電信號進行分析，可以了解人員內(nèi)在的情緒狀態(tài)。本文基于腦電對情緒進行的分析，建立在情緒的二維模型基礎(chǔ)上，第一個維度是喚醒度，用于度量情緒從平靜到興奮的激活程度；第二個維度是效價，用于區(qū)分正性和負性情緒。用二者刻畫情緒可在二維空間形成一個平面，每一個坐標(biāo)都有一個值來指代一種狀態(tài)的情緒，據(jù)此可以初步了解人的情緒狀態(tài)，如圖1所示。

圖1：情緒二維模型

3 模型構(gòu)建

如圖2所示，在構(gòu)建模型時，首先對用于模型訓(xùn)練的數(shù)據(jù)進行預(yù)處理和擴展，然后提取排列熵與功率譜作為特征，再將特征輸入到兩個8分類網(wǎng)絡(luò)結(jié)構(gòu)，分別以不同的情緒標(biāo)簽（喚醒度、效價）進行網(wǎng)絡(luò)的訓(xùn)練，從而得到情緒分類器。

圖2：模型主要結(jié)構(gòu)

3.1 數(shù)據(jù)預(yù)處理

本文采用DEAP數(shù)據(jù)集對模型進行訓(xùn)練和測試，該數(shù)據(jù)集包含對32名被試在情緒誘發(fā)實驗中腦電信號的記錄[3]。在情緒誘發(fā)實驗中，每個被試觀看40個時長為1分鐘的視頻，記錄了被試觀看視頻時32個電極的腦電信號。相關(guān)研究表明僅使用少量電極通道的信號即可以較高的準確率完成識別[21]，為減少信號冗余的并加速模型的訓(xùn)練速度，本文僅使用其中的14個電極信號，包括AF3、F3、F7、FC5、C3、P7、O1、AF4、F4、F8、FC6、T8、P8、O2，因此一共使用32×40×14個腦電信號序列。使用數(shù)據(jù)為經(jīng)過預(yù)處理之后的腦電信號序列，預(yù)處理采用降采樣至128Hz、去偽跡、4-45Hz濾波、平均重參考四個過程對原始信號進行處理，最終每個信號序列長度為7680。

此外，對較為龐大的網(wǎng)絡(luò)模型而言，用于模型訓(xùn)練數(shù)據(jù)量有限，為減少訓(xùn)練過程中的過擬合的可能性，特征提取之前在原數(shù)據(jù)的基礎(chǔ)上進行分割擴展，在每段分割后的信號數(shù)據(jù)上抽取特征。數(shù)據(jù)分割擴展采取以下方法：以16為步長，使用大小為256的重疊式滑動窗口對每個信號序列進行分割，如圖3所示，進而將每個信號序列轉(zhuǎn)換為465個子序列。此后的特征提取過程中，在每個子序列上提取N個特征值，14個電極信號特征拼接以后形成長度為14×N的一維特征序列，最終得到595200條特征樣本序列。

圖3：基于重疊滑動窗口的數(shù)據(jù)分割

DEAP數(shù)據(jù)中除腦電信號數(shù)據(jù)外，數(shù)據(jù)還包括被試對自身情緒狀態(tài)的自我評價值，包括喚醒度（arousal）、效價（value），取值區(qū)間為[1,9]。為實現(xiàn)8分類的目的，將區(qū)間進行8等分，落在每個區(qū)間內(nèi)的值歸為不同類別。

3.2 排列熵

熵特征中，排列熵具有算法簡單、速度快、能夠抵抗環(huán)境干擾影響等優(yōu)點，在機械設(shè)備狀態(tài)監(jiān)測、故障診斷以及心率、血壓信號檢測中都比較有用，廣泛應(yīng)用于特征提取的領(lǐng)域當(dāng)中，本文從多個尺度提取腦電信號的排列熵值，以確保特征的多樣性，具體實施步驟如下：

其中k=n-m+1，矩陣有k個重構(gòu)分量，每個分量中嵌入m個元素。

（2）將重構(gòu)矩陣中的第j個分量x(j)，x(j+τ)，...，x(j+(m-1)τ)進行大小排序，得到：

（3）每個重構(gòu)分量都重復(fù)步驟（2），得到k個重構(gòu)符號序列S(l)=(j1,j2,...,jm)，l=1,2,...,k。

（4）計算每一種m維符號序列出現(xiàn)的概率P1,P2,…, Pk，再得出序列的排列熵值：

本文中的嵌入維數(shù)m與延時τ的取值定為（3，10）、（4，9）、（5，8），分別從上述3個尺度提取時間序列的排列熵特征，并作歸一化。

3.3 功率譜

頻域特征中，部分頻段與人的情緒活動有著緊密的聯(lián)系[22]，且有相關(guān)文獻介紹到特定頻段內(nèi)的腦電信號對與情緒識別的準確率較高，比如β(14-30Hz)、γ(31-50Hz)[23]。本文模型中提取多個頻段內(nèi)的功率譜均值作為頻域特征，頻段區(qū)間設(shè)定為[4，8]，[8，12]，[12，16]，[16，25]，[25，45]。第i個頻段區(qū)間的功率譜特征可用如下公式計算：

其中，{xi}是原始信號序列，{Xk}是其傅里葉變換系數(shù)，N為區(qū)間長度。

3.4 網(wǎng)絡(luò)結(jié)構(gòu)

為能夠在喚醒度與效價兩個維度上實現(xiàn)預(yù)期的分類效果，以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，設(shè)計12層的一維卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，主要參數(shù)如表1所示。

表1：網(wǎng)絡(luò)主要參數(shù)

（1）卷積層：網(wǎng)絡(luò)輸入形狀為N×1（特征數(shù)量×1），第一層卷積使用1024個大小為9×1卷積核對輸入特征進行卷積操作，第3、5、7層卷積核尺寸設(shè)置為6×1，每層卷積核數(shù)量按比例2遞減，所有卷積層的激活函數(shù)設(shè)置為relu。

（2）池化層：每個卷積層后進行一次最大池化操作，池化尺寸設(shè)置為2。

（3）全連接層：最后經(jīng)過4個全連接層，每層神經(jīng)元數(shù)量分別為1024、256、64、8。其中，最后一個全連接層的輸出函數(shù)使用softmax，得到輸出形狀為8×1的分類結(jié)果。

3.5 訓(xùn)練策略

為使得輸出結(jié)果符合預(yù)期，在訓(xùn)練網(wǎng)絡(luò)過程中采取以下幾項策略：

（1）輸入網(wǎng)絡(luò)前，將每個特征進行z-score標(biāo)準化。用全部訓(xùn)練樣本對網(wǎng)絡(luò)進行120次訓(xùn)練，取最優(yōu)的結(jié)果。

（2）將特征樣本按照初始順序，以取7留1的方式分隔為訓(xùn)練樣本與測試樣本，訓(xùn)練過程軟件基于keras2.9.0，硬件基于NVIDIA RTX3060 GPU，網(wǎng)絡(luò)初始權(quán)重默認值，采用adam算法進行權(quán)重調(diào)整，訓(xùn)練批次大小設(shè)置為256。

（3）第8層的最大池化操作后，進行一次平展操作，將第8層的輸出平展為一維向量，以便與全連接層銜接。

表3：基于不同特征的效價分類指標(biāo)

（4）為防止網(wǎng)絡(luò)深度增加而導(dǎo)致的層間特征值分布逐漸向激活函數(shù)的輸出區(qū)間的兩端聚集，進而引起導(dǎo)致梯度消失。在1、3、5、7層的每次卷積操作后，進行批次歸一化處理（BN），將每層的輸出值分布重新調(diào)整回標(biāo)準正態(tài)分布，輸出值將落在激活函數(shù)自變量的敏感區(qū)間，使損失函數(shù)產(chǎn)生較大的變化，避免梯度消失，加快模型的收斂。

（5）由于網(wǎng)絡(luò)規(guī)模較大，為加速訓(xùn)練過程及避免網(wǎng)絡(luò)過擬合問題，在訓(xùn)練該網(wǎng)絡(luò)時，使用隨即丟棄策略凍結(jié)9至11層中的部分神經(jīng)元（Droupout），概率取20%。

3.6 模型評價指標(biāo)

從準確率、查準率（P）、查全率（R）與F1分數(shù)（F1-score）幾個指標(biāo)對模型進行評價，由于該模型屬于多分類模型，因此在評價中以Macro-average方法對P、R與F1-score進行了處理，Macro-average適用于多分類問題，不受數(shù)據(jù)不平衡影響，核心計算過程如下：

其中n=8，Pi、Ri為第i個類別的查準率與查全率。

4 模型測試

將訓(xùn)練好的模型用于測試數(shù)據(jù)，對其進行8分類測試，從分類結(jié)果中計算各項評價指標(biāo)對模型進行對比分析。

4.1 基于不同特征的模型對比

分別用排列熵、功率譜以及二者拼接后的特征訓(xùn)練出的模型對測試數(shù)據(jù)進行分類，從表2、3所記錄的結(jié)果中可以看出：

表2：基于不同特征的喚醒度分類指標(biāo)

（1）單一特征與組合特征訓(xùn)練出的模型，二者的查準率皆高于查全率，說明模型在分類時表現(xiàn)的比較謹慎。

（2）排列熵與功率譜二者組合后訓(xùn)練出的分類器，在喚醒度和效價上的分類準確率達到96.30%、96.23%，效果明顯優(yōu)于用單一特征訓(xùn)練出的分類器。此外，查準率、查全率、F1-score均有明顯的提升。結(jié)果表明將兩種特征進行組合可有效提高情緒分類器的準確率。

表6：不同分類器效價分類指標(biāo)（單位：%）

4.2 多模型對比

為驗證本文模型的優(yōu)越性，將排列熵與功率譜特征組合后輸入4種常用的分類器進行訓(xùn)練，包括K鄰近（KNN）、隨機森林（RF）、邏輯回歸（LR）、樸素貝葉斯（NB），并對分類結(jié)果進行對比。訓(xùn)練過程依托Scikit-learn1.0.2進行，4種常用的模型的主要參數(shù)設(shè)置如表4所示。

表4：模型參數(shù)設(shè)置

對分類結(jié)果測試指標(biāo)進行計算，得到表5、6中的一系列結(jié)果，從結(jié)果可以看出：

表5：不同分類器喚醒度分類指標(biāo)（單位:%）

（1）本文中構(gòu)建的模型在各項指標(biāo)上的表現(xiàn)最佳，RF綜合表現(xiàn)較好，僅次于本文中提出的分類模型，主要原因在于，研究中訓(xùn)練數(shù)據(jù)包括520800條樣本，特征維度為112，屬于比較大的數(shù)據(jù)量，因此RF比較適用于數(shù)據(jù)量較大時的情況，且能夠處理高維度的特征數(shù)據(jù)，因此其準確率等各方面表現(xiàn)較好，KNN表現(xiàn)僅居其后。

（2）LR與NB的表現(xiàn)較差并不理想，一方面是為特征空間較大；另一方面是文中使用的特征之間不能保證相關(guān)性大小，部分特征可能具備一定較強的相關(guān)性，比如從多個尺度提取的排列熵特征，因此LR與NB不適用于本文的分類任務(wù)。

綜上所述，本文提出的基于排列熵與功率譜特征的卷積神經(jīng)網(wǎng)絡(luò)分類模型用于情緒分類的效果最好，在喚醒度和效價上的分類準確率達到96.30%、96.23%，比表現(xiàn)最好的RF分別提升了2.64%、2.43%。

5 結(jié)論

本文構(gòu)建了一種基于排列熵與功率譜特征的卷積神經(jīng)網(wǎng)絡(luò)情緒分類模型，并用DEAP數(shù)據(jù)集對模型進行了測試，研究結(jié)果表明：

（1）本文模型能同時保持以較高的分辨率和準確率，從喚醒度、效價兩個情緒維度上的對腦電信號進行分類。

（2）本文構(gòu)建的12層網(wǎng)絡(luò)模型比傳統(tǒng)的分類模型更具優(yōu)越性：與傳統(tǒng)分類模型中表現(xiàn)最好的模型相比，本文模型在喚醒度和效價分類上的準確率分別提升了2.64%、2.43%。

（3）將排列熵與功率譜特征進行組合后，有助于提升模型的性能，利用組合特征訓(xùn)練出的模型在各項測試指標(biāo)上都有明顯的提升，綜合表現(xiàn)比利用單一特征訓(xùn)練出的模型表現(xiàn)更好。

研究成果為戰(zhàn)場適應(yīng)性模擬訓(xùn)練情緒分析提供了一種可行的手段，同時，為后續(xù)情緒識別研究提供了研究思路，下一步情緒分析研究可以向更高分辨率的方向發(fā)展，從而更精準的識別人在各種活動與作業(yè)過程中的情緒狀態(tài)。