楊利英，孟天昊，張清楊，晁 思

(西安電子科技大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，陜西 西安 710071)

情感是指一個人對客觀事物是否滿足自己的需要而產(chǎn)生的態(tài)度體驗(yàn)，是由人的大腦和生活經(jīng)驗(yàn)兩個方面共同決定的。積極的情感對個人的日常生活和身體健康都有益；反之，如果長期處于低落的精神狀態(tài)，則很容易誘發(fā)抑郁癥等心理疾病，嚴(yán)重者甚至?xí)a(chǎn)生自殘、傷害他人、輕生等損害身體健康的行為[1]。1997 年，由麻省理工學(xué)院 PICARD 教授定義了情感計算的概念[2]，從此情感計算正式成為現(xiàn)代計算機(jī)學(xué)科的一個分支。 情感計算可以通過人的表情、動作等外部生理信號進(jìn)行分析，但由于情感具有可偽裝和非瞬時性的特點(diǎn)，使得它們無法進(jìn)行高精度的情感識別。腦電信號(Electro Encephalo Gram，EEG)是與情感相關(guān)的神經(jīng)中樞產(chǎn)生的，能夠體現(xiàn)出不同時刻的差異。生理和心理學(xué)家經(jīng)過大量的研究，給出了合理、有效的情感評價標(biāo)準(zhǔn)[3]，也指出腦電與情感的關(guān)聯(lián)性遠(yuǎn)遠(yuǎn)超過其他生理信號。

對于腦電信號特征提取，KHALILI等[4]首先提出提取腦電信號的平均值、方差、偏度和峰值等時域特征進(jìn)行情感識別。郭柳君等[5]對采集的腦電信號采用兩級腦控字符拼寫范式及 DeepLDA 指令解碼算法進(jìn)行有效的目標(biāo)字符解碼，并提出一種結(jié)合深度線性判別分析的腦電信號分類識別算法。柳素紅等[6]先分別提取腦了電信號的時域特征(Hjorth 參數(shù) 和 Energy)、STFT變換后的頻域特征(Power、RASM 和 DASM)和經(jīng)過小波變換后提取的時頻域特征(Entropy 和 Energy)，然后分別對每個特征采用支持向量機(jī)評估其性能。ZHENG等[7]提取不同維度的腦電信號的判別特征進(jìn)行情感分類，實(shí)驗(yàn)表明表現(xiàn)最優(yōu)的是一階差分、多尺度排列熵、gamma頻帶的能量和小波熵。馬江河等[8]利用相空間重構(gòu)技術(shù)提取了腦電信號和語音信號的非線性幾何特征和非線性屬性特征，并結(jié)合進(jìn)行了計算。

在腦電信號特征選擇方面，ZHANG等[9]使用C-RFE先根據(jù)權(quán)重對特征進(jìn)行排序，選擇出貢獻(xiàn)度較高的腦電特征，運(yùn)用最小二乘支持向量機(jī)分類，解決了腦電維數(shù)高的問題。XU等[10]提出了一種新的腦電特征選擇算法——FSOR，該算法將過濾特征選擇方法與封裝特征選擇方法相結(jié)合，使用了正交回歸來尋找空間中的特征子集。ASGHAR等[11]利用最佳函數(shù)還原的反函數(shù) BoVC 來提高腦電特征的質(zhì)量。

針對腦電信號分類的研究，曹衛(wèi)東等[12]直接將情感特征通過Softmax分類器將情感特征進(jìn)行分類，輸出情感極性。NAWAZ等[13]對比了分類方法SVM、KNN和DT，證明SVM在分類每種特征的效價和優(yōu)勢度方面明顯優(yōu)于KNN和DT，而在覺醒分類中，KNN在使用功率特征時略優(yōu)于SVM，表明SVM在腦電信號情感識別上具有優(yōu)越性。

對于特征提取和特征選擇的綜合應(yīng)用方面，也有許多學(xué)者進(jìn)行了探討。LIU等[14]從時域、頻域、時頻域和多電極的角度提取了12種特征，總計組合特征維度達(dá)到1 952維。他們通過mRMR算法進(jìn)行特征選擇，分別使用KNN和隨機(jī)森林(RF)作為分類器。從實(shí)驗(yàn)結(jié)果來看，mRMR算法明顯地提升了準(zhǔn)確率。在其實(shí)驗(yàn)中，RF分類器獲得了比KNN好的效果。CANDRA等[15]將小波熵和平均小波系數(shù)(WEAVE)結(jié)合起來作為腦電信號情緒特征，使用歸一化互信息(NMI)方法降維，并對Valence(非愉悅-愉悅)和Arousal(非激活-激活)情緒進(jìn)行分類。SOROUSH等[16]提出了一種基于相空間動力學(xué)的方法對情緒進(jìn)行分類，這種變換量化了相空間，并在新的狀態(tài)空間中表示特征，稱為龐加萊交叉點(diǎn)(Poincare intersections)特征。ISMAEL等[17]提出一種兩步多數(shù)投票的方式來解決情感識別問題，第1步基于小波熵特征確定每一頻段的最佳通道，第2步利用選出的所有頻段的通道預(yù)測情感狀態(tài)。

上述各方面研究都取得了進(jìn)展，但是腦電信號分析在實(shí)際應(yīng)用中還存在很多問題。一方面，由于腦電信號具有非平穩(wěn)、信號微弱、頻段差異大的特性，很難以相對簡單的流程提取合理有效的特征來表征情感狀態(tài)；另一方面，腦電信號需要多通道采集設(shè)備以保證與情感相關(guān)的信號都能被涵蓋，而多通道采集設(shè)備在采集和數(shù)據(jù)處理過程中，存在大量對情感識別無意義或者貢獻(xiàn)度很低的信息，這不僅使腦電信號處理的復(fù)雜度大幅提升，同時也會影響情感識別的精度。

針對腦電信號的固有特性，筆者在功率譜強(qiáng)度特征的基礎(chǔ)上求得平衡功率譜強(qiáng)度特征，能有效地平衡腦電信號各頻段的信息，有利于情感識別與分類。針對腦電特征冗余的問題，提出將Relief算法和mRMR算法進(jìn)行融合，并設(shè)計新的性能評價機(jī)制對融合特征進(jìn)行選擇，最終獲得能夠更充分地表達(dá)腦電信號情感狀態(tài)的特征向量，為后續(xù)進(jìn)行情感分析識別提供了依據(jù)。

1 應(yīng)用融合特征進(jìn)行腦電情感識別

1.1 DEAP數(shù)據(jù)

DEAP(Dataset for Emotion Analysis using EEG，Physiological and video signals) 數(shù)據(jù)集由KOELSTRA等學(xué)者創(chuàng)建[18]。KOELSTRA團(tuán)隊(duì)從世界各地招募了32名受試者，其中男性和女性的數(shù)量各占總?cè)藬?shù)的一半，他們的年齡分布在19歲到37歲之間。在進(jìn)行數(shù)據(jù)采集的過程中，首先讓32名受試者佩戴好數(shù)據(jù)采集設(shè)備，然后觀看了提前準(zhǔn)備好的40個音樂視頻，并在觀看過程中采集受試者的生理信號。每一個受試者都要重復(fù)相同的實(shí)驗(yàn)過程40次，同時采集每次實(shí)驗(yàn)中受試者在不同的音樂視頻刺激下的生理信號。這些生理信號是從受試者頭皮上的40個通道上采集而來的，其中前32個通道采集的是腦電信號，后8個通道是心電、肌電和眼電等其他生理信號。

表1 DEAP數(shù)據(jù)集

在每次實(shí)驗(yàn)執(zhí)行過程中，首先會顯示目前所做實(shí)驗(yàn)的編號，即所對應(yīng)的音樂視頻的編號，然后會有3 s的空白，以使受試者的情緒恢復(fù)平穩(wěn)。接著，是誘發(fā)情感的1 min 時長的音樂視頻，誘發(fā)出的40個通道的生理信號被同期采集。依據(jù)效果評價和喚醒度所構(gòu)成的二維情感模型[19]，在實(shí)驗(yàn)結(jié)束后讓受試者對每一個視頻的感覺在Valence(非愉悅-愉悅)、Arousal(非激活-激活)、Dominance(被支配-支配)和Like/Dislike(喜歡/不喜歡)這4個維度進(jìn)行打分，分值的選擇范圍在1～9之間。為了適應(yīng)情感識別問題的輸入，DEAP將腦電數(shù)據(jù)降采樣為128 Hz，情感刺激的時長為60 s，因此每一個通道有7 680個采樣點(diǎn)。DEAP數(shù)據(jù)集的描述如表1表示。

1.2 平衡功率譜強(qiáng)度

由于腦電信號低頻段與高頻段的能量值存在很大差異，使用能量譜、功率譜等特征時，頻譜的平方值會導(dǎo)致高低頻段差異性被過度放大，不利于特征的分類與識別。針對這一問題，以能量譜密度為基礎(chǔ)的差分熵特征[20]采取能量的對數(shù)值，對高低頻段進(jìn)行平衡，縮小了特征的差異性。功率譜強(qiáng)度[21]是對頻域各樣本點(diǎn)的幅值求和，相比于取平方的能量譜而言，它在平衡高低頻段信號方面的效果更為顯著。

為了綜合利用高低頻段的信號并避免二者差異過大，筆者在進(jìn)行特征提取時采用基于功率譜強(qiáng)度(Power Spectrum Intensity，PSI)的平衡功率譜強(qiáng)度(Balanced Power Spectrum Intensity，BPSI)。首先將原始腦電信號劃分成N個時間窗口；然后對每個時間窗口分別進(jìn)行快速傅里葉變換；接著對頻域采樣點(diǎn)取幅值求和，得到功率譜強(qiáng)度；最后對功率譜強(qiáng)度取對數(shù)獲得平衡功率譜強(qiáng)度。平衡功率譜強(qiáng)度的計算如下：

(1)

1.3 融合特征選擇

對多通路腦電原始信號進(jìn)行特征提取后，特征向量仍然存在較多冗余，特征選擇旨在獲得易區(qū)分真實(shí)情感的特征。特征選擇主要有兩種方法：一種是在特征集合內(nèi)依據(jù)特征對相近樣本的區(qū)分能力來選擇特征，其代表為Relief算法[22]；另一種則在特征集合內(nèi)選擇彼此相關(guān)性較小而與輸出結(jié)果相關(guān)性較大的特征，其代表為mRMR算法[23]。在應(yīng)用方面，特征選擇表現(xiàn)為以較少的特征提升或維持識別準(zhǔn)確率。上述兩種特征選擇方法存在很好的互補(bǔ)性：Relief算法可以在保證準(zhǔn)確率降低較小的情況下，較大幅度地減少特征維度；mRMR算法雖然能保持識別準(zhǔn)確率，但降維效果有待提升。鑒于此，筆者綜合兩種算法，提出融合特征選擇算法(Fusion Feature Select，F(xiàn)FS)。

首先，根據(jù)特征對相近樣本的區(qū)分能力，將原始信號特征向量中的特征進(jìn)行重排，得到新的特征向量VR。特征區(qū)分能力權(quán)值更新如下：

(2)

(3)

式(2)中，i為迭代次數(shù)；Ri是第i次迭代中從訓(xùn)練集中隨機(jī)選擇的樣本；Wi(fl) 是第i次迭代中第l個特征的權(quán)重值；P(C) 指類別C在樣本集中的占比；m為采樣次數(shù)；r為最近鄰樣本個數(shù)；Hj是R同類樣本中的最近鄰樣本，Mj是R不同類樣本中的最近鄰樣本；ddiff(f，X1，X2)是樣本X1與樣本X2中的特征f的差異性，通過式 (3) 計算。式(3)中，v(f，X) 指的是樣本X的特征f的特征值，max(f) 和min(f)分別代表所選樣本的特征f的最大值與最小值。

其次，以特征集合彼此相關(guān)性較小而與分類標(biāo)簽相關(guān)性較大為標(biāo)準(zhǔn)，對原始特征重排，得到特征向量VM，評判標(biāo)準(zhǔn)如下：

maxΦ(D，R)，Φ=D-R。

(4)

式(4)中，D表示最大相關(guān)性，按式 (5) 計算；R表示最小冗余，按式 (6) 計算：

(5)

(6)

其中，I為互信息函數(shù)。

接著，通過特征向量融合式(7)，調(diào)整特征權(quán)重WR和WM，得到融合特征向量組G。G是二維特征向量，包含了多組融合特征向量。

G[i]=VRWR+VMWM，

(7)

其中，G[i] 表示第i個特征融合向量。第二維容量取決于WR和WM改變的次數(shù)，每改變一次，容量加1。改變的幅度由步長決定，步長的取值范圍為 [0.01，1]。

最后，通過驗(yàn)證集在融合特征向量組G中選擇最佳融合特征向量VBest和其對應(yīng)的特征維度的數(shù)目NBest，應(yīng)用融合算法完成情感識別。

1.4 度量機(jī)制

應(yīng)用特征選擇算法對特征向量進(jìn)行降維的同時，要盡可能地提升或保持識別精度，這是特征選擇的基本要求。為綜合評價特征選擇算法的性能，筆者提出一種度量機(jī)制——Score，其計算如下所示：

(8)

其中，S是特征所得分值；A表示識別準(zhǔn)確率；N表示特征選擇算法降維后的特征數(shù)目；C為度量代價的參數(shù)，用以表征特征維度對情感識別系統(tǒng)的負(fù)擔(dān)。經(jīng)過對DEAP數(shù)據(jù)集的多次實(shí)驗(yàn)，并調(diào)研使用DEAP數(shù)據(jù)集的其他研究者[20]的實(shí)驗(yàn)結(jié)果，設(shè)置 Cost 為25，作為代價取值。

1.5 算法驗(yàn)證

YAN等[24]指出，較小時間刻度的腦電信號能顯示出更好的情感識別性能，同時指出時間窗大小設(shè)置為1～2 s時最優(yōu)，因此筆者將60 s的腦電數(shù)據(jù)按每段一秒劃分成60個片段，其中采樣頻率為128 Hz。隨機(jī)選擇1/6的片段作為測試集(400個片段)，1/6的片段作為驗(yàn)證集(400個片段)，剩余的4/6的片段作為訓(xùn)練集(1 600個片段)。為了驗(yàn)證平衡功率譜強(qiáng)度的性能，將平衡功率譜強(qiáng)度與包括功率譜強(qiáng)度、差分熵等在內(nèi)的多種頻域特征進(jìn)行了對比實(shí)驗(yàn)。為驗(yàn)證特征融合算法的性能，采用支持向量機(jī)分類算法和高斯核函數(shù)，對腦電信號特征進(jìn)行情緒狀態(tài)的兩類分類，比較了特征融合算法與包含Relief、mRMR在內(nèi)的其他特征選擇算法。

2 實(shí)驗(yàn)結(jié)果

2.1 平衡功率譜強(qiáng)度

表2列出了BPSI和PSI及其他常用頻域特征的對比結(jié)果，包括能量譜密度(Energy Spectral Density，ESD)、功率譜密度(Power Spectral Density，PSD)、相對強(qiáng)度比(Relative Intensity Ratio，RIR)、差分熵(Differential Entropy，DE)。由表2可見，無論是在Valence維度上，還是Arousal維度上，BPSI都有明顯優(yōu)勢。

表2 平衡功率譜強(qiáng)度與其他特征分類準(zhǔn)確率對比 %

2.2 融合特征選擇

以不進(jìn)行選擇的BPSI特征作為基線(Base)，比較了特征融合算法(FFS)、Relief和mRMR特征選擇算法，其中Score數(shù)值由式 (8) 計算得到，結(jié)果如圖1所示。

(a) 準(zhǔn)確率

由圖1可見，F(xiàn)FS在Valence維度上有86.26的Score分值，Arousal維度有85.02的Score分值，明顯優(yōu)于其他算法。兩個維度上的Score結(jié)果都比傳統(tǒng)特征選擇算法中綜合分值居首的Relief算法高出約2分，高出基線約3.9分。從準(zhǔn)確率來看，F(xiàn)FS的準(zhǔn)確率在Valence維度為88.89%，Arousal維度為87.73%，其平均值較基線有提升，且在降維方面有較大優(yōu)勢。同時，在兩個維度上，F(xiàn)FS都明顯優(yōu)于Relief算法。從特征數(shù)目來看，F(xiàn)FS在Valence維度的特征數(shù)目為67，Arousal維度的為68，這比傳統(tǒng)特征選擇算法中最佳分值的Relief算法要低14維，相對于基線達(dá)到58%的降維，降維效果顯著。由此可見，無論在識別精度還是降維效果方面，F(xiàn)FS算法都有好的表現(xiàn)。

2.3 情感識別方法比較

當(dāng)前，許多學(xué)者在DEAP數(shù)據(jù)集上進(jìn)行了特征提取和特征選擇方面的研究。

筆者將引言中提及的應(yīng)用于DEAP數(shù)據(jù)集的算法和筆者提出的融合算法進(jìn)行對比，結(jié)果如表3所示。從表3可見，筆者提出的算法在準(zhǔn)確率方面優(yōu)于其他算法。

表3 DEAP數(shù)據(jù)集上情感識別方法準(zhǔn)確率對比 %

3 分析及討論

針對腦電信號情感分析識別率低、特征冗余的問題，筆者從特征提取和特征選擇兩個方面進(jìn)行了探討。

在特征提取方面，取頻段幅值和的對數(shù)值，得到平衡功率譜強(qiáng)度(BPSI)，使各頻段特征之間的差異遠(yuǎn)小于其他頻域特征各頻段的差異，以此提高后續(xù)分類能力。相比于PSI和BPSI，優(yōu)勢在于使一部分受試者的準(zhǔn)確率有了較大幅度的提升，并且絕大多數(shù)受試者的BPSI特征的表現(xiàn)要優(yōu)于PSI。這充分說明BPSI在腦電信號處理上有較強(qiáng)的普適性，有利于腦電情感的識別。與其他腦電信號頻域特征相比，BPSI也有更好的識別效果，在一定程度上解決了腦電信號識別率低的問題。

在特征選擇方面，提出了融合特征選擇算法(FFS)。該算法從特征間能否區(qū)分近距離樣本、特征集合能否彼此區(qū)分且與標(biāo)簽相關(guān)性較大這兩個角度去選擇特征集合。與基線、Relief和mRMR算法的實(shí)驗(yàn)對比表明，F(xiàn)FS算法選擇的特征集合在特征數(shù)目上有較大優(yōu)勢，Valence維度的特征數(shù)目為67，Arousal維度的為68，相較于基線達(dá)到了58%的降維。FFS在識別準(zhǔn)確率上也比基線高，兼顧了識別精度和降維效果；綜合分?jǐn)?shù)Score也顯示出該方法的優(yōu)越性。這說明對于存在互補(bǔ)性的多種特征選擇方法，使用FFS算法能在擴(kuò)大搜索空間的同時產(chǎn)生新的最優(yōu)解，充分挖掘了各種算法的優(yōu)勢，在解決特征冗余問題的同時，提升了識別精度。

在情感識別方法的綜合分析方面，將BPSI與FFS的組合方法和近年來在DEAP數(shù)據(jù)集上進(jìn)行特征提取和選擇的方法進(jìn)行了對比。從結(jié)果來看，無論是識別精度還是降維效果，筆者所提出的方法都處于領(lǐng)先地位。但是，由于個體的特征集合不同，在應(yīng)用特征融合方法進(jìn)行情感分析時，仍需要采集全通道的腦電信號。

4 總 結(jié)

筆者從腦電信號的兩個核心研究方向，即從特征提取和特征選擇出發(fā)，改進(jìn)PSI得到BPSI，并提出了特征融合選擇算法。經(jīng)實(shí)驗(yàn)驗(yàn)證，基于BPSI的特征融合選擇算法在提高識別準(zhǔn)確率的同時大幅度地降低了特征維度，有助于解決腦電信號情感分析時識別率低、特征冗余的問題。

下一步將對各受試者的最優(yōu)特征集合進(jìn)行研究，以獲得針對腦電情感分析的公共通道信息，提高腦電信號的采集效率，并緩解計算和傳輸壓力。