杜光景,謝俊,張玉彬,曹國智,薛濤,徐光華

(西安交通大學(xué)機(jī)械工程學(xué)院,710049,西安)

腦-機(jī)接口(BCI)是一種不依賴于大腦正常輸出通路(外周神經(jīng)和肌肉組織)而直接實(shí)現(xiàn)大腦與計(jì)算機(jī)等外部設(shè)備進(jìn)行通信的技術(shù)[1]。該技術(shù)為重度癱瘓病人提供了通過大腦意念操控輪椅[2]、進(jìn)行假肢控制[3]等全新的與外界環(huán)境進(jìn)行交流和控制的手段,腦-機(jī)接口技術(shù)還被應(yīng)用于虛擬現(xiàn)實(shí)[4]、軍事[5]、航天[6]等領(lǐng)域。穩(wěn)態(tài)視覺誘發(fā)電位(SSVEP)是大腦視覺系統(tǒng)對外部周期性視覺刺激的響應(yīng),由于其具有穩(wěn)定性強(qiáng)、操作簡單等優(yōu)勢,成為一種被廣泛應(yīng)用的腦-機(jī)接口信號(hào)類型[7-8]。但是,由于SSVEP屬于微弱信號(hào),容易受到肌電、自發(fā)腦電等背景噪聲的影響,導(dǎo)致其識(shí)別困難。

傳統(tǒng)的SSVEP信號(hào)分類一般通過手工提取腦電信號(hào)的頻域或時(shí)頻域特征信息,然后對特征向量進(jìn)行有監(jiān)督分類的方式來實(shí)現(xiàn)的。吳平東等運(yùn)用疊加平均與快速傅里葉變換結(jié)合的方法,在頻域上對SSVEP進(jìn)行分類,該方法需要對多次視覺刺激下的腦電信號(hào)進(jìn)行平均,限制了其實(shí)用性[9]。徐光華等設(shè)計(jì)了一種高頻組合編碼SSVEP范式,并針對組合編碼刺激產(chǎn)生的變頻腦電信號(hào),提出基于改進(jìn)希爾伯特-黃變換的變頻腦電信號(hào)特征提取與局部頻譜極值目標(biāo)識(shí)別方法[2]。該方法雖然可以利用高頻組合編碼呈現(xiàn)更多的刺激目標(biāo),但其刺激時(shí)間及識(shí)別正確率仍有待優(yōu)化。高小榕等利用典型相關(guān)分析(CCA)方法,對多通道時(shí)域腦電信號(hào)與正、余弦波形組成的模板信號(hào)進(jìn)行相關(guān)分析,有效地提高了識(shí)別正確率[10],但是其模板信號(hào)相對固定,未考慮到使用者的個(gè)體差異性。

相比于傳統(tǒng)方法,深度學(xué)習(xí)不需要手工提取特征,能夠直接從原始數(shù)據(jù)中自動(dòng)學(xué)習(xí)特征,可有效避免人工特征提取過程中導(dǎo)致的信息丟失。深度學(xué)習(xí)已經(jīng)在語音識(shí)別[11]、圖像識(shí)別[12]等領(lǐng)域展現(xiàn)出了巨大優(yōu)勢。安秀等使用深度置信網(wǎng)絡(luò)(DBN)對左右手運(yùn)動(dòng)想象進(jìn)行了分類,其分類精度要明顯高于支持向量機(jī)(SVM)等傳統(tǒng)方法[13];Tabra等利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)對運(yùn)動(dòng)想象腦電信號(hào)的時(shí)頻圖進(jìn)行識(shí)別,并使用BCI競賽公開數(shù)據(jù)集進(jìn)行了分類研究,結(jié)果表明相比于競賽獲勝算法,該方法具有更好的分類表現(xiàn)[14]?；赟SVEP的腦-機(jī)接口具有刺激目標(biāo)多、信號(hào)時(shí)空域特征不明顯等特點(diǎn),因此分類過程也有較大差別,目前應(yīng)用于SSVEP目標(biāo)識(shí)別的深度學(xué)習(xí)方法較為有限。

為了解決因SSVEP信號(hào)信噪比低、非平穩(wěn)、個(gè)體差異性強(qiáng)等因素引起的腦-機(jī)接口系統(tǒng)應(yīng)用中目標(biāo)識(shí)別困難等問題,本文引入深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò),提出了基于卷積神經(jīng)網(wǎng)絡(luò)的SSVEP信號(hào)識(shí)別分類方法。該方法以多通道原始腦電信號(hào)為輸入,根據(jù)SSVEP信號(hào)兼具時(shí)、頻、空域特征的特點(diǎn),提出先時(shí)域后空域卷積的時(shí)空分離卷積操作,首先應(yīng)用一維卷積核對各通道進(jìn)行時(shí)域卷積,然后將卷積后的各通道信息融合,進(jìn)行空域卷積,隨后采用多尺度卷積Inception模塊[15]來提取融合后不同尺度的特征信息。分類結(jié)果表明,本文所提方法對SSVEP信號(hào)分類的準(zhǔn)確率和速度均有明顯提升。

1 構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)

1.1 卷積神經(jīng)網(wǎng)絡(luò)

CNN是深度學(xué)習(xí)應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)之一,在人臉識(shí)別、車牌號(hào)識(shí)別、文檔分析等領(lǐng)域得到了成功的應(yīng)用。CNN最早由Fukushima提出,由Lecun等對其進(jìn)一步完善,典型的CNN網(wǎng)絡(luò)結(jié)構(gòu)一般包括卷積層、降采樣層、全連接層等[16]。

卷積操作使用濾波器(卷積核)對上一層輸入進(jìn)行卷積變換,采用局部感受野和權(quán)值共享思想,大大降低了網(wǎng)絡(luò)參數(shù)的數(shù)量。l層卷積層上的第j個(gè)節(jié)點(diǎn)Xl,j可以通過如下卷積操作得到

(1)

式中:l為卷積所在層數(shù);Mj為輸入的第j特征圖;K為卷積核;B為l層的偏置;f為激活函數(shù);*表示卷積操作。

降采樣可降低輸入維度,從而降低網(wǎng)絡(luò)復(fù)雜度,同時(shí)可降低過擬合的風(fēng)險(xiǎn)。降采樣層上節(jié)點(diǎn)X的計(jì)算公式為

Xl,j=f(βl,jdown(Xl-1,j)+Bl)

(2)

式中:β為下采樣系數(shù);down為下采樣函數(shù)。

輸出層對前面各層提取的特征進(jìn)行分類,利用softmax函數(shù)計(jì)算最后輸出被分到每個(gè)類的概率,計(jì)算方法為

(3)

式中:ZY為輸出層前級輸出單元的輸出;Y為類別索引;c為總的類別數(shù);P(Y|X)表示輸入X屬于類別Y的概率。

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖

1.2 深度學(xué)習(xí)網(wǎng)絡(luò)的構(gòu)建

針對SSVEP原始信號(hào)兼具時(shí)、頻、空域特征的特點(diǎn),本文設(shè)計(jì)了一種先時(shí)域后空域卷積的時(shí)空分離卷積的CNN結(jié)構(gòu)來對SSVEP信號(hào)進(jìn)行識(shí)別。本文采用的CNN網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示,整個(gè)網(wǎng)絡(luò)由7層網(wǎng)絡(luò)組成:第1層為輸入層,第2層、3層為卷積層,第4層為降采樣層,第5層為Inception層,第6層為降采樣層,第7層為輸出層。各網(wǎng)絡(luò)層具體如下。

(1)輸入層l1。該層為網(wǎng)絡(luò)的輸入層,輸入原始的多通道SSVEP信號(hào),具體輸入樣本矩陣大小為通道數(shù)×數(shù)據(jù)采樣長度,在圖1中,輸入樣本為6×1 200,表示輸入數(shù)據(jù)為6個(gè)通道,1 200個(gè)采樣點(diǎn),即采樣率為1 200 Hz下的1 s數(shù)據(jù)。

(2)卷積層l2。該層有6個(gè)一維卷積核,主要用來對輸入的SSVEP信號(hào)進(jìn)行時(shí)域?yàn)V波。卷積核大小為1×300,6個(gè)卷積核對輸入矩陣進(jìn)行時(shí)域卷積,可以得到6個(gè)特征圖。卷積操作時(shí),步長為1,進(jìn)行邊界補(bǔ)零操作,因此每個(gè)特征圖的大小為6×1 200。

(3)卷積層l3。該層有12個(gè)一維卷積核,主要用來對上一層的輸出進(jìn)行空域卷積。卷積核大小為6×1,輸出為12個(gè)特征圖。卷積操作時(shí),步長為1,無邊界補(bǔ)零操作,輸出的特征圖大小為1×1200。使用線性整流函數(shù)(ReLU)作為激活函數(shù),不使用偏置。

(4)降采樣層l4。該層采用12個(gè)大小為1×4的卷積核對卷積層l3的輸出進(jìn)行降采樣處理。降采樣采用平均池化方法,步長與卷積核大小一致,因此輸出12個(gè)特征圖,大小為1×300。

(5)Inception層l5。該層同時(shí)使用1×16、1×8等不同大小的卷積核進(jìn)行多尺度卷積,以提取不同尺度的特征,在1×16、1×8的卷積核前以及1×8的最大池化卷積核后分別使用一個(gè)1×1的卷積核,用來降低維度,減少參數(shù)和計(jì)算量。每種卷積核的數(shù)量都為4個(gè),因此最后特征連接后的大小為12個(gè)1×300的特征圖。

(6)降采樣層l6。該層采用12個(gè)大小為1×6的卷積核對Inception層的輸出進(jìn)行降采樣處理。降采樣采用平均池化方法,步長與卷積核大小一致,因此輸出12個(gè)1×50的特征圖。同時(shí)使用dropout方法防止過擬合。最后將降采樣后的數(shù)據(jù)進(jìn)行扁平化處理,使多維數(shù)據(jù)變?yōu)橐痪S向量。

(7)輸出層l7。該層有4個(gè)節(jié)點(diǎn),代表四分類問題(對應(yīng)4個(gè)不同的SSVEP刺激頻率)。將池化層輸出的一維向量與輸出層節(jié)點(diǎn)全連接,使用softmax函數(shù)計(jì)算輸入對應(yīng)分類標(biāo)簽的概率分布。

同時(shí),為了加快訓(xùn)練收斂速度,對網(wǎng)絡(luò)中每個(gè)卷積操作后的數(shù)據(jù)均進(jìn)行批標(biāo)準(zhǔn)化處理。

1.3 網(wǎng)絡(luò)的學(xué)習(xí)過程

CNN的訓(xùn)練過程主要采用誤差反向傳播算法,即先計(jì)算訓(xùn)練數(shù)據(jù)在網(wǎng)絡(luò)中前向輸出的值與期望輸出值之間的誤差,然后將誤差反向傳播,對誤差求各個(gè)權(quán)值和偏置的梯度,由此來調(diào)整各權(quán)值和偏置,進(jìn)行網(wǎng)絡(luò)學(xué)習(xí)。

本文網(wǎng)絡(luò)的訓(xùn)練過程采用小批量訓(xùn)練,每次訓(xùn)練輸入批量數(shù)據(jù)大小為32個(gè)樣本。權(quán)值的優(yōu)化調(diào)整采用Adam隨機(jī)梯度下降法[17],學(xué)習(xí)率設(shè)置為0.001,一階矩估計(jì)的指數(shù)衰減率設(shè)置為0.9,二階矩估計(jì)的指數(shù)衰減率設(shè)置為0.999。網(wǎng)絡(luò)的初始化權(quán)值服從均值為0,標(biāo)準(zhǔn)差為1的高斯分布。為防止網(wǎng)絡(luò)過擬合,訓(xùn)練過程中加入dropout方法,即每次更新權(quán)值時(shí)隨機(jī)使一些節(jié)點(diǎn)失效,不進(jìn)行權(quán)值更新。本文設(shè)置dropout比率為0.5。最大迭代次數(shù)設(shè)置為400,通過訓(xùn)練過程的驗(yàn)證集損失曲線來判斷模型是否訓(xùn)練終止。

1.4 基于CNN的SSVEP目標(biāo)識(shí)別

基于CNN的SSVEP目標(biāo)識(shí)別分為如下4個(gè)步驟:

(1)采集被試者在不同目標(biāo)刺激下的SSVEP多通道信號(hào),作為網(wǎng)絡(luò)輸入;

(2)為采集到的數(shù)據(jù)制作標(biāo)簽,并將數(shù)據(jù)集隨機(jī)劃分,其中數(shù)據(jù)集的60%為訓(xùn)練集,20%為驗(yàn)證集,20%為測試集;

(3)進(jìn)行模型訓(xùn)練,將訓(xùn)練集、驗(yàn)證集數(shù)據(jù)輸入網(wǎng)絡(luò),訓(xùn)練集進(jìn)行網(wǎng)絡(luò)訓(xùn)練,驗(yàn)證數(shù)據(jù)集用來進(jìn)行模型最優(yōu)參數(shù)選擇;

(4)將訓(xùn)練好的模型用來對測試集的數(shù)據(jù)進(jìn)行分類,得到SSVEP目標(biāo)識(shí)別的準(zhǔn)確率。

SSVEP分類流程圖如圖2所示。

圖2 基于CNN的SSVEP分類流程圖

2 實(shí)驗(yàn)與分析

2.1 腦-機(jī)接口范式設(shè)計(jì)

為了驗(yàn)證本文提出的方法對SSVEP腦-機(jī)接口目標(biāo)識(shí)別的實(shí)際效果,設(shè)計(jì)了周期運(yùn)動(dòng)的棋盤格刺激范式[18],如圖3所示,圖中共4個(gè)刺激目標(biāo),分別以頻率為6、7、8、9 Hz進(jìn)行收縮與擴(kuò)展運(yùn)動(dòng)以誘發(fā)SSVEP信號(hào)。實(shí)驗(yàn)中刺激目標(biāo)呈現(xiàn)在顯示器上,顯示器分辨率為1 920×1 080像素,刷新率為144 Hz。該刺激的制作與呈現(xiàn)控制均由基于Matlab環(huán)境的Psychophysics Toolbox工具箱實(shí)現(xiàn)。

圖3 基于運(yùn)動(dòng)翻轉(zhuǎn)棋盤格的刺激范式

2.2 實(shí)驗(yàn)過程

實(shí)驗(yàn)招募了7名身體健康、正常視力或矯正視力正常的被試者(S1～S7)進(jìn)行實(shí)驗(yàn),被試者中有5名男性,2名女性。實(shí)驗(yàn)在安靜的房間中進(jìn)行,被試者端坐在離顯示器約80 cm處,在每輪實(shí)驗(yàn)中,被試者被要求注視顯示器上的特定目標(biāo),避免身體的移動(dòng)。每名被試者依次注視以6、7、8、9 Hz運(yùn)動(dòng)的刺激目標(biāo),每個(gè)刺激目標(biāo)呈現(xiàn)80次,每連續(xù)20次為一輪,每輪實(shí)驗(yàn)后給予被試者一定的休息時(shí)間。每輪實(shí)驗(yàn)的時(shí)序安排如圖4所示,每輪刺激中,單次刺激目標(biāo)呈現(xiàn)的時(shí)間為5 s,隨后顯示器灰屏1 s,然后進(jìn)行下一次刺激呈現(xiàn)。

圖4 刺激時(shí)序圖

2.3 信號(hào)采集

腦電信號(hào)的采集使用奧地利的g.USBamp腦電信號(hào)采集系統(tǒng),采樣率為1 200 Hz。根據(jù)國際標(biāo)準(zhǔn)10/20系統(tǒng)法采集視覺區(qū)的PO3、POz、PO4、O1、Oz、O2共6個(gè)通道的腦電信號(hào)。接地電極在前額的Fpz處,參考電極在右耳乳突A1處。單次采集的腦電數(shù)據(jù)如圖5所示,數(shù)據(jù)大小為6×6 000,6為采集的6個(gè)通道,6 000為1 200 Hz采樣率下5 s數(shù)據(jù),即1 200×5=6 000。

圖5 6通道腦電數(shù)據(jù)波形圖

2.4 分類方法

為了驗(yàn)證該方法的有效性,本文還采用了下列方法對相同的數(shù)據(jù)集進(jìn)行分類作為對比。

(1)CCA方法[8]。將原始信號(hào)直接使用CCA方法進(jìn)行分類,由于原始信號(hào)SSVEP的頻譜只在基頻處有明顯波峰,因此設(shè)置CCA方法中的諧波個(gè)數(shù)為1。

(2)CCA結(jié)合SVM方法[19]。將用CCA方法對訓(xùn)練集得到的相關(guān)系數(shù)輸入到SVM中訓(xùn)練,然后用測試集進(jìn)行測試。分類器選用徑向基核函數(shù),參數(shù)尋優(yōu)采用LIBSVM工具箱[20]的網(wǎng)格搜索算法。

此外,除了使用識(shí)別準(zhǔn)確率來評價(jià)腦-機(jī)接口的性能,本文還引進(jìn)信息傳輸率(ITR)評價(jià)方法。每分鐘平均傳輸?shù)男畔⒘慷x為

(4)

式中:K為可選目標(biāo)數(shù);T為識(shí)別一次刺激所需時(shí)間;A為識(shí)別準(zhǔn)確率。

2.5 結(jié)果分析

在CNN訓(xùn)練階段,對每個(gè)被試單獨(dú)訓(xùn)練。為了得到被試者在較短時(shí)間刺激下的識(shí)別準(zhǔn)確率,取單次刺激的前3 s數(shù)據(jù),并將數(shù)據(jù)截取為前0.5 s、前1 s、前1.5 s、前2 s、前2.5 s以及前3 s的數(shù)據(jù)長度進(jìn)行分析,即輸入樣本矩陣大小分別為6×600、6×1 200、6×1 800、6×2 400、6×3 000、6×3 600。網(wǎng)絡(luò)訓(xùn)練使用Keras深度學(xué)習(xí)框架,所用計(jì)算機(jī)CPU為Intel(R) Xeon(R) E5-2630 v4 @ 2.20 GHz,內(nèi)存為64 GB,GPU為 NVIDIA GTX 1080Ti。6種不同輸入數(shù)據(jù)長度的訓(xùn)練時(shí)間分別約為130、152、183、229、275、293 s。

(a)S1 (b)S2

(c)S3 (d)S4

(e)S5 (f)S6

(g)S7 (h)平均識(shí)別準(zhǔn)確率圖6 采用3種方法對7位被試者的識(shí)別準(zhǔn)確率比較

被試者S1～S7在不同時(shí)間窗長度時(shí),分別采用CNN方法、CCA方法以及CCA結(jié)合SVM方法的單被試識(shí)別準(zhǔn)確率以及多被試平均識(shí)別準(zhǔn)確率如圖6所示。對比本文所提方法與另外兩種方法在不同時(shí)間窗長度的平均識(shí)別率實(shí)驗(yàn)結(jié)果,可知在各個(gè)不同的時(shí)間窗長度時(shí),本文方法表現(xiàn)優(yōu)異,尤其在0.5～2 s這種時(shí)間窗較短且頻率特征不明顯的情況下,本文方法要明顯優(yōu)于另外兩種方法。在時(shí)間窗長大于2 s時(shí),此時(shí)頻率特征已比較明顯,對被試者S1、S2、S3,3種方法識(shí)別準(zhǔn)確率均能達(dá)到96%以上,并無較大差異。在時(shí)間窗為1 s時(shí),相較于另外兩種方法,本文方法對多被試平均識(shí)別準(zhǔn)確率的提升分別為48.73%和41.21%,且此時(shí)采用本文方法的多被試平均識(shí)別準(zhǔn)確率為93.3%～5.16%,已達(dá)到較高的識(shí)別準(zhǔn)確度,可較好滿足實(shí)際工程應(yīng)用要求。結(jié)果表明,本文方法對于較短刺激時(shí)間的目標(biāo)識(shí)別具有明顯的提升效果,可提高腦-機(jī)接口系統(tǒng)的識(shí)別效率。

對于不同被試者,本文方法均能在短時(shí)間窗時(shí)提高其識(shí)別準(zhǔn)確率,并無明顯的個(gè)體差異性。對于被試者S1、S2、S3、S5、S6、S7,本方法對其在0.5、1 s時(shí)的準(zhǔn)確率提升均達(dá)到了30%以上。對于本身SSVEP響應(yīng)特征較為明顯的被試者S4,本文方法對其識(shí)別率提升有限,但是在1 s長度的時(shí)間窗時(shí),本文方法的識(shí)別準(zhǔn)確率已達(dá)到100%。圖7為被試者S1在1 s時(shí)間窗長度時(shí)用本文方法分類的混淆矩陣?？芍獙Ω黝l率的識(shí)別率均較好,尤其對6、9 Hz的刺激目標(biāo)識(shí)別率均達(dá)到了100%。

不同被試者采用本方法在1 s時(shí)間窗長度時(shí)的識(shí)別準(zhǔn)確率及信息傳輸率如表1所示。本文方法在1 s時(shí)間窗長度時(shí)平均正確識(shí)別率為93.3%,平均信息傳輸率為94.17 b/min。實(shí)驗(yàn)結(jié)果表明,本文方法對基于SSVEP腦-機(jī)接口系統(tǒng)的目標(biāo)識(shí)別有較高準(zhǔn)確率與信息傳輸率,增強(qiáng)了腦-機(jī)接口的應(yīng)用性能。

圖7 被試者S1識(shí)別準(zhǔn)確率混淆矩陣

表1 采用3種識(shí)別方法對被試者在1 s時(shí)間窗長度時(shí)識(shí)別準(zhǔn)確率及信息傳輸率

3 結(jié) 論

針對SSVEP信號(hào)存在信噪比低、非平穩(wěn)、個(gè)體差異性強(qiáng)等特點(diǎn)導(dǎo)致腦-機(jī)接口目標(biāo)識(shí)別準(zhǔn)確率低等問題,本文提出了一種基于CNN的單次SSVEP信號(hào)識(shí)別方法。該方法具有自適應(yīng)提取信號(hào)特征的特點(diǎn),不需要人工預(yù)處理,同時(shí)可以通過對數(shù)據(jù)的學(xué)習(xí),更好地適應(yīng)個(gè)體差異性。實(shí)驗(yàn)結(jié)果表明,該方法對于運(yùn)動(dòng)翻轉(zhuǎn)棋盤格刺激的目標(biāo)識(shí)別準(zhǔn)確率及信息傳輸率均要明顯高于無訓(xùn)練CCA方法和有訓(xùn)練CCA結(jié)合SVM方法。對于不同被試者,本方法在1 s時(shí)間窗長度時(shí)識(shí)別準(zhǔn)確率均在80%以上,信息傳輸率在65 b/min以上,表明本方法對于較短時(shí)間刺激,具有明顯的識(shí)別優(yōu)勢,同時(shí)具有較高的魯棒性。該方法可實(shí)現(xiàn)SSVEP信號(hào)的精確識(shí)別,同時(shí)具有較高的信息傳輸率,提高了腦-機(jī)接口系統(tǒng)的應(yīng)用性能。

后續(xù)的研究將在現(xiàn)有工作基礎(chǔ)上,嘗試使用遷移學(xué)習(xí)對未訓(xùn)練被試者進(jìn)行目標(biāo)識(shí)別,提高網(wǎng)絡(luò)模型在不同被試者之間的泛化能力;同時(shí)增加分類的數(shù)目,對更復(fù)雜的多分類SSVEP進(jìn)行研究,將該方法應(yīng)用于在線目標(biāo)識(shí)別,提高其工程實(shí)用價(jià)值。