許學(xué)添，蔡躍新

1.廣東司法警官職業(yè)學(xué)院 信息管理系，廣州510520

2.中山大學(xué)孫逸仙紀念醫(yī)院 耳鼻喉科 聽力學(xué)與言語研究所，廣州510120

腦-機接口（brain-computer interface，BCI）作為大腦神經(jīng)活動與外部物理世界的連接橋梁，將大腦活動信息轉(zhuǎn)為計算機指令，從而控制外部設(shè)備，可以有效地幫助殘疾人、老年人等活動能力受限的人。腦電圖（electroencephalogram，EEG）由于其低成本和非入侵等優(yōu)點，在BCI系統(tǒng)中得到最多的應(yīng)用與研究[1]。基于EEG的運動想象分類與識別是腦機接口的一個重要研究方向，特別是近年來，結(jié)合深度學(xué)習(xí)算法，BCI 系統(tǒng)的發(fā)展取得了巨大的進展[2]。

運動想象EEG識別經(jīng)歷了從早期的特征統(tǒng)計到結(jié)合機器學(xué)習(xí)算法進行分類識別[3-5]，再到當前的深度學(xué)習(xí)階段，識別效果在不斷提高，特別是結(jié)合深度學(xué)習(xí)算法，可以自主學(xué)習(xí)信號不同層次的特征，避免人工參與的特征工程，因此在識別準確率上取得較大的突破。利用深度學(xué)習(xí)自主提取樣本抽象特征的能力，許多研究將卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）、長短期記憶網(wǎng)絡(luò)（long short-term memory，LSTM）、深度玻爾茲曼機（deep Boltzmann machine，DBM）等方法應(yīng)用到運動想象腦電分析中，并取得較好的識別效果。Schirrmeister 等[6]研究了一系列不同結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)，設(shè)計用于解碼原始腦電圖中想象或執(zhí)行運動的不同模型；Lu等[7]提出了一種基于受限玻爾茲曼機（restricted Boltzmann machine，RBM）的深度學(xué)習(xí)算法，通過快速傅里葉變換和小波包分解得到腦電圖信號的頻域表示，輸入三層RBM 與一個額外的輸出層疊加，完成分類任務(wù)；Wang 等[8]將運動想象EEG 時間序列分割為等長的片段，并計算均值，再通過一組空間濾波器以確定不同節(jié)點通道的權(quán)重，最后輸入LSTM網(wǎng)絡(luò)進行分類；胡章芳等[9]設(shè)計了一個多層卷積雙向LSTM 型遞歸網(wǎng)絡(luò)，利用多層的卷積神經(jīng)網(wǎng)絡(luò)提取EEG 信號的頻域特征，再用LSTM網(wǎng)絡(luò)提取時域特征，最后完成分類；唐智川等[10]將腦電信號事件相關(guān)去同步和事件相關(guān)同步模式下的EEG 功率值作為分類特征建立矩陣，再用CNN 網(wǎng)絡(luò)進行學(xué)習(xí)分類。

目前基于深度學(xué)習(xí)的腦電信號分析，主要是將EEG信號當作二維矩陣，或者將EEG 信號的特征轉(zhuǎn)為圖像（時頻圖、FRMI 圖等），再通過CNN、LSTM 等經(jīng)典的深度學(xué)習(xí)算法進行特征提取，這些樣本對象均為歐式空間的規(guī)則數(shù)據(jù)，對節(jié)點已經(jīng)進行了默認的排序，在提取抽象、高層的EEG 信號特征時沒有考慮大腦不同區(qū)域神經(jīng)元之間的關(guān)聯(lián)信息，也即節(jié)點的空間結(jié)構(gòu)信息在研究是中被忽略的。圖卷積網(wǎng)絡(luò)（graph convolution network，GCN）[11-12]是在非歐式空間結(jié)構(gòu)數(shù)據(jù)上的深度學(xué)習(xí)，將傳統(tǒng)的離散卷積思想應(yīng)用在圖結(jié)構(gòu)上以獲取節(jié)點特征信息在圖結(jié)構(gòu)上不同層次的譜域表示，能夠充分考慮節(jié)點自身的特征信息及節(jié)點之間的關(guān)聯(lián)信息，更詳細深入地描述圖信息數(shù)據(jù)。圖卷積網(wǎng)絡(luò)目前已經(jīng)在交通預(yù)測、信息傳播、社交關(guān)系、生物結(jié)構(gòu)、動作建模等領(lǐng)域得到廣泛應(yīng)用[13-17]。多路導(dǎo)聯(lián)電極采集的EEG數(shù)據(jù)，每個電極節(jié)點上的EEG 信號代表了所在大腦區(qū)域的神經(jīng)活動信息，可以抽象為一個由點集和邊集組成的圖，因此圖卷積網(wǎng)絡(luò)也適合分析多節(jié)點的EEG信號。將圖卷積網(wǎng)絡(luò)應(yīng)用到運動想象腦電信號分析中，結(jié)合不同節(jié)點EEG信號的時頻特征和節(jié)點間的圖譜特征，可以從全腦域空間的關(guān)聯(lián)中去學(xué)習(xí)、提取有價值的高層特征信息，以提高運動想象的識別準確率。本文的基本思路是通過不同通道的EEG 信號的相關(guān)性建立大腦圖結(jié)構(gòu)，再將每個電極上的EEG信號時頻特征作為每個節(jié)點的輸入特征，通過GCN網(wǎng)絡(luò)進行訓(xùn)練，完成不同運動想象動作的識別。

1 基于圖卷積網(wǎng)絡(luò)的運動想象分類模型

1.1 圖卷積網(wǎng)絡(luò)

圖卷積網(wǎng)絡(luò)分為譜域圖卷積網(wǎng)絡(luò)和空域圖卷積網(wǎng)絡(luò)[11-12]，其中譜域圖卷積網(wǎng)絡(luò)是在圖論的基礎(chǔ)上發(fā)展而來，根據(jù)圖譜理論和卷積定理將數(shù)據(jù)從空域轉(zhuǎn)到譜域進行卷積處理，具有嚴格的理論基礎(chǔ)。本文采用圖譜卷積模型ChebNet[18]來進行EEG圖信息識別。

為了對局部輸入維度可變，輸入排列無序的圖結(jié)構(gòu)數(shù)據(jù)進行卷積操作。Bruna等[19]首次提出了利用拉普拉斯矩陣來完成譜域圖卷積。對于N個頂點的無向圖G={E,V,W}，其中V是頂點的集合，E是邊的集合，W∈?N×N是該圖的鄰接矩陣。該圖的度矩陣為D∈?N×N,，該圖的拉普拉斯矩陣L=D-W，規(guī)一化的拉普拉斯矩陣L=In-D-1/2AD-1/2，In為單位矩陣。對L特征分解得到L=UΛUT，其中U=(u1,u2,…,un)∈?N×N為L的特征向量矩陣，Λ=diag(λ0,λ1,…,λn)∈?N×N為特征值對角矩陣，ui∈?N,i=1,2,…,n,為L的特征向量，λi為對應(yīng)的特征值。在譜域，x1、x2兩個信號的圖卷積定義為：

因此對于輸入信號x，經(jīng)過卷積核濾波器g∈?n的圖卷積運算定義為：

如果將g表示為gθ=diag(UTg)，則x的圖卷積運算可以簡化為：

譜域卷積都是基于式（3）或者改進而來的。ChebNet圖卷積網(wǎng)絡(luò)用切比雪夫（Chebyshev）多項式代替譜域的卷積核，gθ定義為切比雪夫多項式為Ti(x)=2xTi-1(x)-Ti-2(x),T0(x)=1,T1(x)=x，因此ChebNet圖卷積運算為：

ChebNet 圖卷積不需要對拉普拉斯矩陣做特征分解，而且卷積核只有K+1 個可學(xué)習(xí)的參數(shù)，參數(shù)的復(fù)雜度被大大降低，可以大大提高運算速度。

1.2 系統(tǒng)模型框架

圖1 為本文基于圖卷積網(wǎng)絡(luò)的運動想象分類模型。首先根據(jù)多路導(dǎo)聯(lián)節(jié)點所采集的EEG 信號建立EEG圖信息，包括EEG圖結(jié)構(gòu)和EEG信號特征；之后將EEG 信號特征作為圖卷積層的輸入特征。圖卷積層首先經(jīng)過ChebNet卷積計算，之后經(jīng)過激活層利用Rule函數(shù)進行非線性變化，再經(jīng)過批標準化（batch normalization，BN）層對可學(xué)習(xí)參數(shù)進行歸一化處理，加快訓(xùn)練的收斂速度，最后再經(jīng)過池化層進行降采樣操作，減少運算量，防止過擬合。本項目設(shè)置兩層圖卷積層，提取EEG圖信息的高層特征信息，最后再經(jīng)過一個全連接層和Softmax層輸出運動想象分類（左右手、腳、舌頭等）。

圖1 基于圖卷積網(wǎng)絡(luò)的運動想象分類模型Fig.1 Motion imagery classification model based on graph convolution network

2 運動想象腦電數(shù)據(jù)及特征提取

2.1 EEG大腦網(wǎng)絡(luò)

將每個導(dǎo)聯(lián)電極定義為圖中的一個節(jié)點，多路EEG信號就能抽象為一個由點集和邊集組成的圖G=(V,E)，其中V為節(jié)點的集合，對應(yīng)導(dǎo)聯(lián)節(jié)點，E為邊的集合，該圖的鄰接矩陣為W，節(jié)點i和節(jié)點j的權(quán)重ωi,j通過其所采集的EEG 信號的皮爾遜相關(guān)系數(shù)來表示，計算如下：

其中，EEGi和EEGj分別為第i個節(jié)點和第j個節(jié)點的EEG信號時間序列，D為方差，COV為協(xié)方差。

2.2 EEG腦電特征提取

本文分段獲取EEG信號的時頻特征作為圖卷積網(wǎng)絡(luò)的節(jié)點輸入特征，主要分為時域特征和頻域特征。時域特征包括EEG信號的標準差、均方根、信息熵三個指標。頻域特征主要計算EEG信號在δ、θ、α、β四個頻段的能量譜值。時頻特征的計算如表1。因此每個節(jié)點的輸入特征為x=(xrms,xstd,xent,xEδ,xEθ,xEα,xEβ)，所有特征在經(jīng)標準差標準化之后再輸入圖卷積網(wǎng)絡(luò)。

表1 EEG信號時頻特征Table 1 Time frequency features of EEG signal

2.3 實驗數(shù)據(jù)介紹

本文的實驗數(shù)據(jù)集采用的是BCI Competition IV Dataset 2a（http：//www.bbci.de/competition/iv/），運動想象的類型有4種，分別為左手、右手、腳和舌頭。數(shù)據(jù)采集電極分布如圖2 所示，單極記錄所有信號，共有22 個EEG 通道和3 個EOG 通道，以左乳突為參照，右乳突為地信號。信號采樣頻率為250 Hz，帶通濾波范圍為0.5～100 Hz，放大器的靈敏度被設(shè)置為100 μV，另外一個50 Hz陷波濾波器被用來抑制線噪聲。

圖2 電極示意圖Fig.2 Electrode diagram

數(shù)據(jù)采集范式如圖3所示。在每一次實驗開始（0 s），會發(fā)有蜂鳴聲，之后屏幕出現(xiàn)一個固定的“十”字光標，持續(xù)2 s，之后出現(xiàn)運動想象標識，持續(xù)1.25 s，在第3 s到6 s為運動想象階段，之后休息，開始下一次實驗。數(shù)據(jù)集總共有9個人，每個人進行6輪的運動想象采集，每一輪4種運動想象類型實驗各12次，因此每個人總共有288次的運動想象實驗樣本作為訓(xùn)練數(shù)據(jù)集。另外還有相同數(shù)量的測試數(shù)據(jù)集。

圖3 實驗EEG數(shù)據(jù)采集范式Fig.3 Experimental paradigm of EEG data

3 實驗及結(jié)果分析

3.1 模型參數(shù)設(shè)置及訓(xùn)練

采用早停法（early stopping）來進行模型訓(xùn)練，以獲取最優(yōu)的泛化性能，防止過擬合。將訓(xùn)練數(shù)據(jù)集的30%作為驗證數(shù)據(jù)集，訓(xùn)練時只訓(xùn)練剩下的70%數(shù)據(jù)，訓(xùn)練停止的條件為：（1）以10個epoch為一個訓(xùn)練周期，在一個訓(xùn)練周期后，在驗證集上驗證測試結(jié)果，如果連續(xù)5個訓(xùn)練周期驗證數(shù)據(jù)集的最低誤差值都沒有變化，則停止訓(xùn)練；（2）超過最大訓(xùn)練次數(shù)500，則停止訓(xùn)練。模型訓(xùn)練batch 大小設(shè)置為60，反向傳播訓(xùn)練，使用自適應(yīng)動量估計優(yōu)化器（adaptive moment estimation，Adam）進行參數(shù)學(xué)習(xí)，學(xué)習(xí)速率為0.000 1，采用交叉熵（cross entropy）指標作為損失函數(shù)。

停止訓(xùn)練后對測試數(shù)據(jù)集進行檢驗，由準確率Accuracy和kappa系數(shù)來衡量分類結(jié)果。準確率為運動想象正確識別的比例，kappa系數(shù)為：

其中，kappa 系數(shù)的計算基于混淆矩陣，p0即為分類準確率，pe為預(yù)期與實際一致性的概率。kappa系數(shù)用來表示分類識別的一致性級別，如表2所示。

表2 kappa系數(shù)一致性Table 2 kappa coefficient consistency

3.2 模型參數(shù)分析

圖卷積層是本文運動想象分類模型的核心，其參數(shù)設(shè)置決定了分類的準確率。ChebNet 的卷積核具有嚴格的空間局部性，其中切比雪夫多項式的階數(shù)K就是卷積核的“感受半徑”，K值越大，節(jié)點就能獲取更多其他節(jié)點的特征信息進行聚合，但是也會加入更多的無關(guān)信息。另外，圖卷積層的數(shù)量，也會影響模型分類的準確率。不同的切比雪夫多項式的階數(shù)K和圖卷積層數(shù)對模型的分類性能影響如圖4 所示，當K取值為2，圖卷積層的層數(shù)取2時，可以得到最佳的分類準確率。

圖4 階數(shù)K 和圖卷積層數(shù)Fig.4 Order K and GCN layers

3.3 實驗結(jié)果

對于BCI Competition IV Dataset 2a數(shù)據(jù)集，本文所介紹的圖卷積網(wǎng)絡(luò)模型取得的準確率和kappa系數(shù)如表3所示。9名受試者4種運動想象類型的識別準確率達到80.9%，平均kappa系數(shù)為0.74，能夠取得較好的分類效果。

表3 9名受試者實驗結(jié)果Table 3 Experimental results of 9 subjects

9名受試者在測試數(shù)據(jù)集上的分類結(jié)果混淆矩陣如圖5 所示。每個子圖為每名受試者的混淆矩陣，橫、縱坐標代表預(yù)測和實際的運動想象分類類型（LH、LR 為左、右手，F(xiàn) 為腳，T 為舌頭），中間數(shù)值為對應(yīng)分類概率。根據(jù)kappa 系數(shù)，有4 名受試者取得了幾乎完全一致的識別效果，有3 名受試者取得高度一致的識別效果，Subject2和6受試者的識別效果相對較差（中等識別效果），主要是由于腦電信號采集時干擾較大、不穩(wěn)定和樣本數(shù)量不足。另外，由于圖卷積網(wǎng)絡(luò)屬于非結(jié)構(gòu)化數(shù)據(jù)的深度學(xué)習(xí)算法，其本質(zhì)是收集網(wǎng)絡(luò)中不同節(jié)點的特征進行聚合和傳遞，進而選擇節(jié)點最優(yōu)的高層抽象特層，因此如果樣本數(shù)量不足會導(dǎo)致無法訓(xùn)練學(xué)習(xí)到最佳的譜域和時頻域特征，影響算法的泛化性能。

圖5 受試者分類結(jié)果混淆矩陣Fig.5 Confusion matrix of subject classification results

3.4 方法比較

為了評價驗證本文所提出圖卷積模型的有效性，與其他文獻的方法進行比較，分類的準確率如表4所示。

表4 不同方法比較結(jié)果Table 4 Comparison results of different methods

FBCSP[3]屬于經(jīng)典CSP 算法的改進，主要是利用腦電信號矩陣找到一組最優(yōu)空間濾波器進行投影，再結(jié)合機器學(xué)習(xí)分類算法進行識別；FDBN[7]通過快速傅立葉變換和小波包分解獲取EEG 信號的頻域數(shù)據(jù)，再利用三個波爾茲曼機來訓(xùn)練；Shallow ConvNet 和Hybrid ConvNet[6]采用兩種類型的CNN網(wǎng)絡(luò)來處理EEG數(shù)據(jù)，Shallow ConvNet卷積核長度較長，網(wǎng)絡(luò)層數(shù)較少，Hybrid ConvNet 卷積核長度較短，網(wǎng)絡(luò)層數(shù)多；AX-LSTM[8]采用時間序列的符號化表示EEG 數(shù)據(jù)，再通過信道加權(quán)引入一組空間濾波器作為隱藏層，將其輸出反饋給LSTM 網(wǎng)絡(luò)以完成分類識別。本文則是將EEG 腦電圖轉(zhuǎn)化為圖結(jié)構(gòu)信息，再利用圖卷積神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)圖譜域和時頻域信息，完成運動想象分類，在四分類問題上可以取得較好的分類效果。

4 結(jié)束語

本文提出了一種基于圖卷積網(wǎng)絡(luò)的EEG信號運動想象識別方法，根據(jù)多路導(dǎo)聯(lián)節(jié)點采集的EEG 信號建立節(jié)點的關(guān)聯(lián)圖結(jié)構(gòu)，并提取每個節(jié)點上EEG 信號的時頻特征作為輸入特征進行譜域圖卷積運算，獲取大腦圖信息的高層、抽象特征，最后通過全連接層輸出想象分類結(jié)果。在BCI Competition IV Dataset 2a 數(shù)據(jù)集上取得80.9%的準確率和0.74的kappa系數(shù)。本文方法在提取EEG 信號特征時既考慮信號的時頻特征，又結(jié)合節(jié)點網(wǎng)絡(luò)的譜域空間信息，因此能取得較好的分類效果，為多路EEG 信號的運動想象分類識別提供一種新的思路。