王 斌，王忠民，2，張 榮，2

（1.西安郵電大學(xué)計(jì)算機(jī)學(xué)院，西安 710121；2.陜西省網(wǎng)絡(luò)數(shù)據(jù)分析與智能處理重點(diǎn)實(shí)驗(yàn)室，西安 710121）

0 概述

情感的產(chǎn)生是一個(gè)生理和心理相互作用的過程，與感受、想法和行為有關(guān)［1-2］。腦電（EEG）是一種典型的中樞神經(jīng)生理信號(hào)［3］，可以用來檢測(cè)大腦對(duì)不同情緒狀態(tài)的反應(yīng)，為情緒識(shí)別提供更加客觀和全面的信息，并且EEG 數(shù)據(jù)具有時(shí)間分辨率高、成本低、易于獲得和使用等特點(diǎn)［4-5］。因此，EEG 被廣泛應(yīng)用于大腦研究領(lǐng)域。

EEG 主要通過構(gòu)建腦網(wǎng)絡(luò)來反映大腦的相互作用，目前已構(gòu)建的腦網(wǎng)絡(luò)主要分為功能性腦網(wǎng)絡(luò)和因果腦網(wǎng)絡(luò)2 種。功能性腦網(wǎng)絡(luò)［6］主要反映網(wǎng)絡(luò)中節(jié)點(diǎn)之間的連接關(guān)系，是研究大腦工作機(jī)制的重要渠道。文獻(xiàn)［7］使用相位滯后指數(shù)（Phase Lag Index，PLI）在DEAP 公共情緒數(shù)據(jù)集上構(gòu)建了不同波段下的人腦EEG 功能性腦網(wǎng)絡(luò)進(jìn)行情緒識(shí)別。因果腦網(wǎng)絡(luò)［8-9］研究主要針對(duì)腦功能網(wǎng)絡(luò)中的有向信息流和因果屬性，其反映節(jié)點(diǎn)之間的因果關(guān)系，可以更好地觀察到情緒信息在不同腦區(qū)的流動(dòng)方向，并從流動(dòng)的方向來判斷出因果關(guān)系。對(duì)于這2 種腦網(wǎng)絡(luò)而言，因果網(wǎng)絡(luò)的研究更能反映出腦網(wǎng)絡(luò)的變化，揭示情緒產(chǎn)生的機(jī)理。

格蘭杰（Granger）因果檢驗(yàn)因其簡單性和易于實(shí)現(xiàn)性而成為計(jì)算時(shí)間序列之間因果關(guān)系的一種主流方法［10］。文獻(xiàn)［11］采用格蘭杰因果關(guān)系構(gòu)建因果連接腦網(wǎng)絡(luò)，并提取了腦網(wǎng)絡(luò)的連接密度和因果流來對(duì)5 種情緒進(jìn)行分類，文獻(xiàn)［12］則采用格蘭杰因果關(guān)系分析調(diào)查了Gamma 波段的腦連接。但是格蘭杰因果檢驗(yàn)在計(jì)算時(shí)僅考慮2 個(gè)時(shí)間序列之間的關(guān)系，沒有考慮其他時(shí)間序列的影響。本文引入條件格蘭杰因果檢驗(yàn)（Conditional Granger Causality text，CGC）算法［10］研究在其他通道信息影響下各通道之間的因果關(guān)系，找出在情緒產(chǎn)生過程中起到主要作用的腦區(qū)和通道，進(jìn)而簡化因果網(wǎng)絡(luò)。在此基礎(chǔ)上，將簡化網(wǎng)絡(luò)中節(jié)點(diǎn)之間的因果關(guān)系作為特征送入SVM 和KNN 分類器進(jìn)行訓(xùn)練分類，驗(yàn)證本文方法的有效性。

1 因果腦網(wǎng)絡(luò)計(jì)算方法

1.1 CGC 算法

格蘭杰因果檢驗(yàn)原理為：在多元自回歸（MVAR）模型中，如果時(shí)間序列Y的歷史信息顯著提高了時(shí)間序列X的預(yù)測(cè)準(zhǔn)確性，則可以確定時(shí)間序列Y到X的格蘭杰因果關(guān)系［13］。但是此方法只適合分析2 個(gè)時(shí)間序列之間的因果關(guān)系，一旦時(shí)間序列超過2 個(gè)就不得不考慮其他時(shí)間序列的影響。本文利用CGC 算法分析在其他時(shí)間序列影響下任意序列之間的因果關(guān)系的計(jì)算問題。

假設(shè)有3 個(gè)時(shí)間序列X1(t)、X2(t)和X3(t)，在X3(t)存在的條件下，X1(t)和X2(t)的自回歸模型為：

X1(t)、X2(t)的聯(lián)合回歸模型為：

其中：t=0，1，…，n；m為回歸模型的階數(shù)；εi和ηj為回歸估計(jì)殘差，它們的均值為0，且互不相關(guān)，方差分別表示為和。由此，X2(t)對(duì)X1(t)的因果影響定義為：

如果式（3）所示等式的值大于0，則ε1>η1，證明在X3(t)存在的條件下，X1(t)和X2(t)聯(lián)合預(yù)測(cè)的誤差小于X1(t)自身預(yù)測(cè)的誤差，必然是因?yàn)閄2(t)對(duì)X1(t)的預(yù)測(cè)，因此，在X3(t)存在的條件下，稱X2(t)對(duì)X1(t)有因果作用；如果式（3）所示等式的值不大于0，則證明X2(t)對(duì)X1(t)無因果作用。

同理，在X3(t)存在的條件下，X1(t)對(duì)X2(t)的因果影響定義為：

1.2 介數(shù)計(jì)算公式

腦網(wǎng)絡(luò)中節(jié)點(diǎn)的介數(shù)公式定義為：

其中：V表示網(wǎng)絡(luò)中節(jié)點(diǎn)的總數(shù)目；σst(v)表示經(jīng)過v的腦網(wǎng)絡(luò)節(jié)點(diǎn)s到t的最短路徑數(shù)；σst表示s到t的最短路徑數(shù)。從式（5）可以看出，CB(v)反映了節(jié)點(diǎn)v在因效網(wǎng)絡(luò)中的重要程度，CB(v)的值越大，代表節(jié)點(diǎn)v越重要。

1.3 因果網(wǎng)絡(luò)構(gòu)建

腦電預(yù)處理先對(duì)腦電信號(hào)的均值和平穩(wěn)性進(jìn)行處理，再利用計(jì)算得到的因果矩陣可視化構(gòu)建因果網(wǎng)絡(luò)，在不同情緒下對(duì)因果網(wǎng)絡(luò)進(jìn)行屬性分析，主要包括通道之間信息的流向和介數(shù)屬性。因果網(wǎng)絡(luò)的情感狀態(tài)分析方法流程如圖1 所示。

圖1 因果網(wǎng)絡(luò)情感狀態(tài)分析流程Fig.1 Emotion state analysis procedure of causal network

2 實(shí)驗(yàn)設(shè)計(jì)

2.1 實(shí)驗(yàn)數(shù)據(jù)集

DEAP［14］是人類情緒狀態(tài)的公共數(shù)據(jù)集，其中記錄了32 位參與者（16 位男性和16 位女性）在觀看40 個(gè)帶有不同情感標(biāo)記的視頻片段時(shí)的各種生理信號(hào)，參與者看完視頻片段以后，對(duì)每一個(gè)視頻在效價(jià)和喚醒的維度上劃分1～9 的等級(jí)。對(duì)收集到的腦電信號(hào)應(yīng)用512 Hz 采樣和4.0～45 Hz 的帶通濾波器進(jìn)行濾波。實(shí)驗(yàn)記錄的EEG 信號(hào)為63 s 的數(shù)據(jù)，其中前3 s 是記錄的基線數(shù)據(jù)。由于本文的主要研究內(nèi)容是用CGC 計(jì)算腦電信號(hào)，因此選擇大腦內(nèi)部不同腦區(qū)中32 個(gè)EEG 的信號(hào)通道，另外8 個(gè)通道是外圍的生理信號(hào)，本文不做參考。

根據(jù)國際10-20腦電系統(tǒng)，可以將大腦劃分為額葉、頂葉、枕葉、左顳葉、右顳葉、中央大腦區(qū)域6 個(gè)區(qū)域。每個(gè)腦區(qū)對(duì)應(yīng)不同的通道，表1 列出了實(shí)驗(yàn)所選擇的6 個(gè)腦區(qū)的32 個(gè)通道，每個(gè)大腦區(qū)域位置的電極名稱與DEAP 情感數(shù)據(jù)集中對(duì)應(yīng)的電極名稱相同。

表1 每個(gè)腦區(qū)所對(duì)應(yīng)的電極名稱Table 1 Name of electrode corresponding to each brain region

在實(shí)驗(yàn)預(yù)處理的過程中，刪除前3 s 的基線數(shù)據(jù)，僅保留剩余60 s的數(shù)據(jù)，同時(shí)將EOG偽影和尾跡從EEG信號(hào)中刪除，然后根據(jù)參與者劃分的標(biāo)簽選擇數(shù)據(jù)。為避免中性數(shù)據(jù)的干擾并確保提供足夠的數(shù)據(jù)，對(duì)個(gè)體和實(shí)驗(yàn)都進(jìn)行篩選，在效價(jià)的維度上，將大于7 的視為積極情緒，將小于3 的視為消極情緒，根據(jù)劃分的范圍選擇積極和消極的實(shí)驗(yàn)次數(shù)都大于9的個(gè)體［15］。圖2顯示了篩選的個(gè)體以及該個(gè)體對(duì)應(yīng)的積極實(shí)驗(yàn)和消極實(shí)驗(yàn)的數(shù)量。

圖2 篩選得到的實(shí)驗(yàn)個(gè)體Fig.2 Selected experimental individual

2.2 CGC 矩陣

根據(jù)CGC 計(jì)算的標(biāo)準(zhǔn)化流程［16-17］，計(jì)算出每個(gè)個(gè)體在不同情緒下每次實(shí)驗(yàn)不同通道之間的因果關(guān)系。圖3 和圖4 分別顯示個(gè)體的2 次實(shí)驗(yàn)得到的因果關(guān)系所對(duì)應(yīng)的因果關(guān)系矩陣，包括1 次積極情緒狀態(tài)下的實(shí)驗(yàn)和1 次消極情緒狀態(tài)下的實(shí)驗(yàn)，其中坐標(biāo)軸代表所選的大腦內(nèi)部的32 個(gè)通道，最右側(cè)數(shù)值代表通道之間的因果作用大小，數(shù)值越大，代表通道之間的因果作用越強(qiáng)烈。通過2 幅圖之間的對(duì)比可以看出：消極情緒狀態(tài)下通道之間的因果作用強(qiáng)度要明顯大于積極情緒狀態(tài)下的因果作用強(qiáng)度，且消極情緒狀態(tài)下通道之間的反應(yīng)要明顯大于積極狀態(tài)下通道之間的反應(yīng)，這說明消極情緒狀態(tài)下通道之間的連接更復(fù)雜多樣。

圖3 積極情緒狀態(tài)下的因果關(guān)系矩陣Fig.3 Causality matrix under positive emotion state

圖4 消極情緒狀態(tài)下的因果關(guān)系矩陣Fig.4 Causality matrix under negative emotion state

2.3 因果網(wǎng)絡(luò)屬性分析

利用上述計(jì)算得到的因果關(guān)系可視化構(gòu)建因果網(wǎng)絡(luò)，因?yàn)镃GC 計(jì)算得出的因果關(guān)系是一個(gè)確定的數(shù)值，所以在進(jìn)行可視化之前先對(duì)因果數(shù)值進(jìn)行二值化處理，將通道之間因果值大于0 的設(shè)置為1，小于等于0 的設(shè)置為0。在因果網(wǎng)絡(luò)中，節(jié)點(diǎn)代表腦區(qū)的通道，邊代表通道之間的因果作用。入/出度［8，18］和介數(shù)拓?fù)鋵傩裕?9-20］是衡量因果網(wǎng)絡(luò)的2 個(gè)重要指標(biāo)。分析這2 個(gè)重要指標(biāo)的目的是找出網(wǎng)絡(luò)中的關(guān)鍵通道。入/出度是從信息流向的角度對(duì)網(wǎng)絡(luò)中通道的因果連接關(guān)系進(jìn)行分析，通道的出度越多，表明該通道對(duì)其他通道的影響越大；通道的入度越多，表明該通道受其他通道的影響越多；入度和出度越多，則表明此通道更活躍，在網(wǎng)絡(luò)中的地位越高。介數(shù)拓?fù)鋵傩悦枥L了通道或者通道之間的連接邊在整個(gè)網(wǎng)絡(luò)中的作用和影響力，介數(shù)高的通道往往位于網(wǎng)絡(luò)中的重要位置。

積極情緒和消極情緒下因果網(wǎng)絡(luò)中節(jié)點(diǎn)的入度和出度分別如圖5 和圖6 所示。由計(jì)算可以得出消極情緒下通道入度和出度的數(shù)目大于積極情緒下入度和出度的數(shù)目，這表明消極情緒下大腦區(qū)域形成的網(wǎng)絡(luò)更復(fù)雜，信息交互更活躍，這一點(diǎn)與上文分析一致。此外，2種情緒下通道AF3、AF4、FP1、FP2、T7、P8、F8、P7、PO3、PO4、F4、F3 的入度和出度數(shù)目都較多，說明這些通道對(duì)其他通道或者是受到其他通道的影響較多，在情緒的產(chǎn)生過程中起到主要作用。因此，可以初步認(rèn)為這些通道是因果網(wǎng)絡(luò)中的關(guān)鍵通道。

圖5 積極情緒狀態(tài)下節(jié)點(diǎn)的入度和出度Fig.5 In-degree and out-degree of nodes under positive emotion state

圖6 消極情緒狀態(tài)下節(jié)點(diǎn)的入度和出度Fig.6 In-degree and out-degree of nodes under negative emotion state

為得到不同情緒下因果網(wǎng)絡(luò)中的關(guān)鍵通道，分別計(jì)算網(wǎng)絡(luò)中通道的介數(shù)拓?fù)鋵傩?。圖7 描繪了被試者在積極和消極2 種情緒狀態(tài)下因果網(wǎng)絡(luò)的介數(shù)拓?fù)鋵傩?，介?shù)的值越大，通道在因果網(wǎng)絡(luò)的地位越高?？梢钥闯觯悍e極情緒狀態(tài)下因果網(wǎng)絡(luò)中介數(shù)較高的通道為AF3、AF4、FP1、FP2、P8、P7、PO4、F3，消極情緒狀態(tài)下介數(shù)較高的通道為AF3、AF4、FP1、FP2、T7、F8、PO3、PO4。通過分析比較可以看出，即使在不同情緒下，因果網(wǎng)絡(luò)的關(guān)鍵通道也基本一致，因此，不同情緒狀態(tài)下所構(gòu)建的因果網(wǎng)絡(luò)的相似度很高。由此可見，通道AF3、AF4、FP1、FP2、T7、P8、F8、P7、Pz、PO3、PO4、F3、F4 在因果網(wǎng)絡(luò)中的地位較高，可將這些通道歸為網(wǎng)絡(luò)中的關(guān)鍵通道。

圖7 網(wǎng)絡(luò)介數(shù)拓?fù)鋵傩訤ig.7 Network betweenness topological properties

通過入度和出度的分析，可以得出因果網(wǎng)絡(luò)中的關(guān)鍵通道為AF3、AF4、FP1、FP2、T7、P8、F8、P7、PO3、PO4、F4、F3；通過對(duì)介數(shù)拓?fù)鋵傩缘姆治?，可以得出因果網(wǎng)絡(luò)中的關(guān)鍵通道為AF3、AF4、FP1、FP2、T7、P8、F8、P7、Pz、PO3、PO4、F3、F4。由此可以看出，對(duì)網(wǎng)絡(luò)的2種屬性分析得到的關(guān)鍵通道基本一致，取2 次屬性分析關(guān)鍵通道的并集作為最終選取的關(guān)鍵通道，因此，最終選取的關(guān)鍵通道為AF3、AF4、FP1、FP2、T7、P8、F8、P7、Pz、PO3、PO4、F3、F4。可以看出，關(guān)鍵通道主要位于腦區(qū)中的額葉、顳葉和枕葉，由此判斷這些腦區(qū)在情緒產(chǎn)生的過程中起到主要作用，這個(gè)結(jié)果與多數(shù)已有研究結(jié)果相同［21-22］。在簡化因果網(wǎng)絡(luò)的過程中，本文只保留與關(guān)鍵通道相連接的邊和通道，因?yàn)檫@些通道為關(guān)鍵通道，在因果網(wǎng)絡(luò)中起到重要作用，保留與這些通道相連接的邊可反映出網(wǎng)絡(luò)的主要特征。圖8 是個(gè)體簡化網(wǎng)絡(luò)之后的因果連接網(wǎng)絡(luò)，個(gè)體包括1 次積極實(shí)驗(yàn)和1 次消極實(shí)驗(yàn)。

圖8 不同情緒狀態(tài)下的因果連接網(wǎng)絡(luò)Fig.8 Causal connection networks under different emotion states

3 有效性驗(yàn)證

為驗(yàn)證簡化得到的因果網(wǎng)絡(luò)，將節(jié)點(diǎn)之間的因果連接關(guān)系作為一種特征進(jìn)行情緒識(shí)別，使用SVM和KNN 對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練和分類。實(shí)驗(yàn)的個(gè)體共有8 個(gè)，為了將全部的數(shù)據(jù)都應(yīng)用于訓(xùn)練和分類，對(duì)實(shí)驗(yàn)數(shù)據(jù)采用8 倍交叉驗(yàn)證，以平均識(shí)別率作為最終的識(shí)別精度。實(shí)驗(yàn)結(jié)果表明，本文方法構(gòu)建的基于多通道腦電信號(hào)的因果網(wǎng)絡(luò)平均識(shí)別精度分別為75.3%和78.4%，整體識(shí)別率較高，表明CGC 算法是一種有效的計(jì)算時(shí)間序列間因果關(guān)系的方法，由此證明本文方法的有效性。

4 結(jié)束語

本文提出一種面向多通道腦電信號(hào)的因果網(wǎng)絡(luò)情緒識(shí)別方法。利用條件格蘭杰因果檢驗(yàn)算法得到不同情緒下大腦內(nèi)部各通道之間的因果關(guān)系，以此構(gòu)建因果網(wǎng)絡(luò)，并使用簡化的因果網(wǎng)絡(luò)進(jìn)行情緒分類。實(shí)驗(yàn)結(jié)果表明，本文方法能夠?qū)Σ煌那榫w進(jìn)行有效分類。后續(xù)將去除多余的EEG 通道，而只選取關(guān)鍵通道計(jì)算其間的因果關(guān)系，進(jìn)一步提高分類精度。