于鴻偉,謝俊,何柳詩,楊育喆,張煥卿,徐光華

(西安交通大學機械工程學院,710049,西安)

腦機接口(BCI)是一種不借助外周神經(jīng)通路而使大腦與外界直接交互的技術(shù)[1]?；谀X電信號的腦機接口應用可以采用多種腦電形式,包括穩(wěn)態(tài)視覺誘發(fā)電位(SSVEP)和事件相關(guān)電位(ERP)等[2]。ERP是由一系列的特定刺激誘發(fā)的瞬態(tài)大腦響應,反應了大腦對物理刺激的加工機制。ERP主要由易受刺激物理特性影響的外源性成分如P1、N1、P2等,和不易受刺激物理特性影響的內(nèi)源性成分如N2、P3(或稱P300)等組成。目前研究最多、最廣泛的是P300電位[3],對于ERP的檢測也大多是檢測其是否包含P300成分。但是,ERP信號具有個體差異性強、信噪比低等特點,導致其檢測困難[4]。

預處理、特征提取和識別分類是ERP腦電信號處理的重要內(nèi)容,并得到了廣泛深入的研究[5]。傳統(tǒng)的ERP信號處理一般通過手動提取腦電信號中的頻域或時頻域特征信息,然后對提取到的特征進行有監(jiān)督分類的方式來實現(xiàn)[6]。為了準確判斷腦電信號中是否含有P300成分,研究者們已經(jīng)提出多種方法,如獨立分量分析(ICA)、支持向量機(SVM)、逐步線性判別分析(SWLDA)、貝葉斯線性判別分析(BLDA)、xDAWN等算法。文獻[7]利用ICA對疊加后的腦電信號進行去平均和白化處理,從而達到快速提取P300成分的目的,但是該方法需要對多次視覺刺激下的腦電信號進行平均處理,因而限制了其實用性。文獻[8]利用SVM算法對第二屆國際BCI競賽公開數(shù)據(jù)集中的Data Set IIb數(shù)據(jù)集進行分類,該方法雖然可以用低通道數(shù)和高傳輸速率完成分類,但是分類準確率有待提升。文獻[9]顯示SWLDA算法在基于P300特征的BCI中得到了成功的應用。文獻[10]利用BLDA算法對第三屆國際BCI競賽公開數(shù)據(jù)集中的Data Set IIb數(shù)據(jù)集進行分類并獲得了較高的準確率。SWLDA和BLDA算法相比非線性分類方法具有較低的計算復雜度和不易過擬合的優(yōu)點,但兩個算法都需要手動對數(shù)據(jù)進行預處理和特征提取,并且預處理和特征提取的好壞直接影響最終的分類效果。xDAWN是針對時間鎖定、相位鎖定的ERP信號的特征提取算法,多與其他的分類算法配合使用[11],文獻[12]顯示xDAWN算法能夠提升線性判別分析(LDA)等分類算法對于ERP信號的分類性能,然而該算法只考慮了ERP信號的空域信息,沒有考慮時域內(nèi)的信息。

相對于傳統(tǒng)的特征提取方法,深度學習可以自動挖掘信號更深層次的特征,能夠避免信息丟失,目前已廣泛應用于腦機接口的分類辨識中[13]。文獻[14]首次把卷積神經(jīng)網(wǎng)絡(CNN)應用到P300信號的檢測中,并且取得了較高準確率?；谠撗芯?文獻[15]在訓練中引入批量標準化方法,進一步提高了網(wǎng)絡對P300信號的識別正確率。上述研究表明,CNN算法可以在ERP腦電信號識別分類中取得較好的效果,但是由于ERP腦電信號具有個體差異性強、信噪比低,以及腦電數(shù)據(jù)量往往過少等特點,CNN算法往往會出現(xiàn)過擬合現(xiàn)象,目前應用于腦電信號識別的CNN算法均面臨這個問題。

為了解決因ERP信號單次信噪比低,個體差異性大,一般需要多次疊加以增強信噪比才能實現(xiàn)瞬態(tài)電位有效辨識以及使用CNN對小樣本腦電分類易產(chǎn)生過擬合等問題。本文使用深度學習中的經(jīng)典算法,即CNN算法,并將SVM融入算法模型中,通過引入深度學習的模型優(yōu)化技術(shù),提出適于腦電信號的CNN-SVM深度卷積神經(jīng)網(wǎng)絡模型。模型直接作用于濾波后的原始腦電信號[16],自適應地從原始數(shù)據(jù)中逐層學習信號特征,并結(jié)合具有結(jié)構(gòu)風險最小化的SVM算法實現(xiàn)不同信號的精細化識別。最終分類結(jié)果表明本文所提出的組合分類器方法對ERP信號分類的準確率有明顯的提升。

1 CNN與SVM相結(jié)合的混合模型

考慮到腦電信號是一種非平穩(wěn)信號,其個體差異性較大,再者對于ERP信號在單次實驗中與背景腦電信號存在較小差異的特點,這些因素的存在都給ERP信號的有效分類帶來了困難。現(xiàn)已知CNN中的卷積和池化等操作相當于對信號進行了特征工程,之后將提取到的特征送到全連接層進行分類。全連接層類似于多層感知機,而多層感知機對于線性可分的數(shù)據(jù)集來說,存在無窮多個超平面,其優(yōu)化目標是經(jīng)驗風險最小化,這勢必會導致分類的泛化能力較差。SVM的超平面是距離各個類別樣本點最遠的平面[17],SVM與多層感知機最大的不同在于其不僅關(guān)注訓練的誤差,還關(guān)注期望的損失,是一種使結(jié)構(gòu)風險最小化的分類算法,其泛化能力勢必會比以經(jīng)驗風險最小化的多層感知器強。因此,針對ERP信號的特點,以及CNN和SVM各自的分類優(yōu)勢,本文提出一種CNN結(jié)合SVM的腦電信號辨識算法,具體為首先通過先時域后空域卷積的時空分離卷積的CNN結(jié)構(gòu)來對ERP信號進行識別,然后將自動識別到的特征送入到SVM進行分類,以實現(xiàn)對ERP微弱腦電信號更加準確的辨識效果。ERP信號辨識流程如圖1所示。

圖1 包含對照算法和混合模型算法的ERP信號辨識流程

1.1 傳統(tǒng)CNN模型

CNN由輸入層、卷積層、池化層、全連接層和輸出層組成[18]。通過增加卷積層和池化層,還可以得到更深層次的網(wǎng)絡,其后的全連接層也可以采用多層結(jié)構(gòu)。通常CNN可以看成由兩部分組成,一部分是由輸入層、卷積層、池化層組成的特征提取器;另一部分是由全連接層和輸出層組成的分類器。在本文中,這種傳統(tǒng)CNN模型作為對照算法來對相同數(shù)據(jù)集進行分類。

CNN中的卷積操作可以看作是輸入樣本和卷積核的內(nèi)積運算

(1)

池化層一般在卷積層之后使用,它通過池化操作對輸入的特征向量進行降采樣,在實現(xiàn)數(shù)據(jù)降維的同時進一步突出提取的特征。池化操作通常分為兩種:最大池化和平均池化,池化操作的表達式如下

(2)

式中,down(·)代表池化函數(shù)。

全連接層中的每個神經(jīng)元都與池化層的所有神經(jīng)元相連接,負責降低池化層的矩陣數(shù)據(jù)維數(shù),處理有鑒別能力的特征,故其作用是對特征樣本進行分類。全連接層的表達式如下

xl=f(αlxl-1+kl)

(3)

式中:xl、αl、kl表示全連接層第l層的輸出向量、權(quán)重矩陣和偏移向量。

1.2 CNN與SVM混合模型結(jié)構(gòu)

針對ERP原始信號兼具時、頻、空域特征的特點,本文設計了一種先時域后空域卷積的時空分離卷積CNN結(jié)構(gòu),將其與SVM結(jié)合來對ERP信號進行識別。本文采用的CNN網(wǎng)絡結(jié)構(gòu)如圖1所示,整個網(wǎng)絡由5層網(wǎng)絡組成:第1層為輸入層,輸入濾波后的原始多通道ERP信號,具體輸入樣本矩陣大小為6×240,表示輸入數(shù)據(jù)為6個通道,240個采樣點,即采樣率為240 Hz下的1 s數(shù)據(jù);第2層、第3層為卷積層,卷積層l2有6個一維卷積核,主要用來對輸入的ERP信號進行時域濾波,卷積層l3有12個一維卷積核,主要用來對上一層的輸出進行空域卷積;第4層為降采樣層,降采樣層l4采用12個大小為1×6的卷積核對l3層的輸出進行降采樣處理,降采樣采用平均池化方法,步長與卷積核大小一致,同時使用Dropout方法防止過擬合;第5層為輸出層,此處采用SVM分類器來解決對應于P300信號和非P300信號的二分類問題,分類算法采用一對一分類算法中的投票法,其核函數(shù)采用徑向基核函數(shù),C和Γ采用網(wǎng)格化搜索的方法來獲取其最優(yōu)值。

1.3 識別流程

在采用傳統(tǒng)CNN模型作為對照算法對相同數(shù)據(jù)集進行分類對比的過程中,首先對ERP信號進行濾波處理。由于腦電信號的頻率范圍主要集中在0.5～30.0 Hz之間,因此可以采用0.1～20.0 Hz的帶通濾波器對腦電信號進行濾波,僅保留有效的頻率成分。ERP信號經(jīng)過濾波后,送入CNN模型進行訓練,在卷積層利用卷積核對數(shù)據(jù)的特征進行提取,之后通過降采樣層壓縮數(shù)據(jù)和參數(shù)量來減小過擬合。數(shù)據(jù)經(jīng)過處理后,獲得了信息含量更高的特征。最后,利用Softmax函數(shù)計算最后輸出被分到每個類的概率,實現(xiàn)對ERP信號的辨識。

基于CNN對照算法的ERP信號辨識流程分為以下2個步驟:

(1)先用0.1～20.0 Hz的帶通濾波器對腦電數(shù)據(jù)進行濾波,之后為P300數(shù)據(jù)和非P300數(shù)據(jù)組成的多通道數(shù)據(jù)集制作標簽,并使用留出法將數(shù)據(jù)集隨機劃分,其中數(shù)據(jù)集的70%為訓練集,15%為驗證集,15%為測試集;

(2)進行模型訓練,將訓練數(shù)據(jù)和驗證數(shù)據(jù)輸入模型,得到訓練好的CNN模型,然后實現(xiàn)對測試集數(shù)據(jù)的分類,得到P300信號識別結(jié)果。

本文提出的CNN-SVM組合分類器是在訓練好的傳統(tǒng)CNN模型的基礎上,再次將濾波后的ERP信號送入到CNN中,并返回降采樣層相應的特征值,將特征值送入到SVM中實現(xiàn)SVM分類器的訓練,由此得到的CNN-SVM混合模型分類準確率相比傳統(tǒng)CNN模型有著較大的提升?；贑NN-SVM組合分類器的ERP信號辨識流程分為以下5個步驟:

(1)先用0.1～20.0 Hz的帶通濾波器對腦電數(shù)據(jù)進行濾波,之后為P300數(shù)據(jù)和非P300數(shù)據(jù)組成的多通道數(shù)據(jù)集制作標簽,并使用留出法將數(shù)據(jù)集隨機劃分,其中數(shù)據(jù)集的70%為訓練集,15%為驗證集,15%為測試集;

(2)進行模型訓練,將訓練數(shù)據(jù)和驗證數(shù)據(jù)輸入模型,得到訓練好的CNN模型;

(3)將全部數(shù)據(jù)集送入CNN模型中,導出降采樣層的特征,將步驟1中70%的訓練集和15%的驗證集導出的特征作為訓練特征,步驟1中15%的測試集導出的特征作為測試特征;

(4)SVM的核函數(shù)采用徑向基核函數(shù),C和Γ采用網(wǎng)格化搜索獲取其最優(yōu)值,用以訓練SVM模型;

(5)將訓練好的CNN-SVM模型用來對測試特征進行分類,得到P300信號識別結(jié)果。

由于腦電信號的樣本數(shù)量較小,使用留出法訓練模型會損失一定的樣本信息。故本文對數(shù)據(jù)集進行了10次隨機劃分,重復進行實驗后取平均值作為最終評估結(jié)果。

CNN-SVM組合分類器算法具體識別流程如圖2所示。

圖2 混合模型識別流程

2 P300標準數(shù)據(jù)集

P300信號首先由Sutton提出[19]。P300信號指在一個小概率刺激后大約300 ms的潛伏期內(nèi)出現(xiàn)的腦電幅值正偏移,如圖3所示。P300檢測屬于二元分類問題:一類對應于一定時間范圍內(nèi)的P300信號;另一類對應于非P300時間段內(nèi)的信號。

圖3 P300和非P300信號

圖4為P300字符拼寫矩陣[20],它是由Farwell和Donchin在1988年提出并設計的P300拼寫器,由26個英文字母和9個數(shù)字以及下劃線排列組合成的字符矩陣。隨機高亮字符矩陣的某一行或某一列代表一次刺激,一次實驗中6行及6列均被高亮一次,總共12次刺激。當包括此字符的行或者列被高亮時,要求受試者對此刺激做出反應,此時會產(chǎn)生P300波形;當不包含此字符的行或者列被高亮時,受試者不做出反應,相應不產(chǎn)生P300波形。

圖4 P300字符拼寫矩陣[20]

本文使用了3個公開數(shù)據(jù)集,即第二屆國際BCI競賽公開數(shù)據(jù)集中的data set IIb[21]和第三屆國際BCI競賽公開數(shù)據(jù)集中的data set II的受試者A和B的數(shù)據(jù)集[26]。這3個數(shù)據(jù)集是由美國的Wadsworth中心提供,記錄于BCI2000通用平臺,數(shù)據(jù)采集于圖4中的P300拼寫器進行的實驗,腦電信號采集于64個腦電電極,采樣率為240 Hz。實驗過程中字符矩陣的每一行和每一列高亮狀態(tài)的持續(xù)時間為100 ms,隨后有75 ms的間歇期,每個字符都會閃爍15次,在15次閃爍之后,會有2.5 s的休息時間,以通知受試者這個字符已經(jīng)拼寫完成,并將注意力集中于下一個字符,具體的實驗流程如圖5所示。

圖5 實驗流程圖

表1顯示了3個數(shù)據(jù)集包含的P300/非P300信號的數(shù)量。Ⅱ代表第二屆國際BCI競賽公開數(shù)據(jù)集中的data set II,III-A代表第三屆國際BCI競賽公開數(shù)據(jù)集中data set II的受試者A的數(shù)據(jù)集,III-B代表受試者B的數(shù)據(jù)集。Ⅱ數(shù)據(jù)集中有42個字符。每個字符由12組信號樣本組成,其中2組默認含有P300信號,10組默認不含有P300信號。因此,Ⅱ數(shù)據(jù)集有42×15×2=1 260組標簽為“P300信號”的樣本,有42×15×10=6 300組標簽為“非P300信號”的樣本。Ⅲ-A和Ⅲ-B數(shù)據(jù)集都包含85個字符,所以它們都包含有85×15×2=2 550組標簽為“P300信號”的樣本,有85×15×10=12 750組標簽為“非P300信號”的樣本。

表1 每個數(shù)據(jù)集的P300/非P300信號的數(shù)量

根據(jù)國際標準10/20系統(tǒng)法,本研究采用的是視覺區(qū)和頂區(qū)的FCz、C1、Cz、C2、Pz和POz共6個通道的腦電信號。數(shù)據(jù)大小為6×240,代表6個通道持續(xù)采集1 s的數(shù)據(jù)量。

3 辨識結(jié)果

3.1 P300/非P300識別準確性

在CNN-SVM組合分類器的訓練階段,對每個數(shù)據(jù)集進行單獨訓練,輸入樣本矩陣大小為6×240。網(wǎng)絡的搭建、訓練與測試使用Keras深度學習框架,實驗硬件平臺具體為:CPU型號為Intel(R)Core(TM)i5-7500 CPU@3.40 GHz,內(nèi)存容量為16 GB,GPU型號為AMD Radeon R5430。

圖6為利用本文提出的混合模型計算出的Ⅲ-A的P300信號識別準確率的混淆矩陣,其中圖中的行表示預測標簽,列表示實際判別結(jié)果標簽。由圖6可以看出,本文提出的CNN-SVM組合分類器算法對P300信號的分類準確率為93.5%,對非P300信號的分類準確率為94.3%,兩類信號的識別率均超過了90%,說明CNN-SVM組合分類器能夠較好地完成兩類信號的分類。

圖6 P300信號識別準確率混淆矩陣

此外,為了驗證CNN-SVM組合分類器的有效性,本節(jié)將CNN-SVM組合分類器與SWLDA和BLDA算法在數(shù)據(jù)集Ⅱ、III-A和III-B上獲得的分類精度進行了比較,結(jié)果見表2。表中的第1行列出了用于比較的分類算法,第2～4行分別列出了在數(shù)據(jù)集Ⅱ、III-A、III-B上不同分類算法的P300分類精度。

表2 不同分類算法的P300分類精度

由表2可以看出,本文提出的CNN-SVM組合分類器在數(shù)據(jù)集Ⅱ、III-A和III-B上的所有分類算法中的分類精度最高。由于組合分類器使用CNN作為特征提取器,相比手動提取腦電信號中的頻域或時頻域特征信息,其能夠自動挖掘信號更深層次的特征,避免信息丟失,組合分類器的分類結(jié)果也顯著優(yōu)于本文列舉其他的分類算法。以上結(jié)果說明CNN-SVM組合分類器的分類精度相比于經(jīng)典的ERP信號識別算法有了較大的提升。

3.2 不同重復次數(shù)下的P300檢測精度

對CNN-SVM組合分類器和傳統(tǒng)CNN算法在數(shù)據(jù)集II、III-A和III-B上的P300檢測精度進行了比較,如圖7～圖9所示。由于在使用較少的重復次數(shù)的基礎上實現(xiàn)檢測精度的提升將有利于提高信息傳輸率[22],從而能夠提高人腦和計算機之間的通信速度,因此本研究分析了不同重復次數(shù)k∈[1,15]下的P300檢測精度?？傮w來說,CNN-SVM組合分類器比傳統(tǒng)CNN算法能夠獲得更好的識別精度,CNN-SVM組合分類器的識別準確率相比單一CNN算法提高了4.36%。這是因為多層感知機是一種經(jīng)驗風險最小化的算法,在小樣本上分類容易帶來過擬合現(xiàn)象,而SVM是一種結(jié)構(gòu)風險最小化的分類算法,其泛化性能相比于多層感知機勢必會有所提高。對于數(shù)據(jù)集II、III-A和III-B,該組合分類器只需要重復4次字符閃爍就可以穩(wěn)定達到90%以上的檢測精度,具有較高的實用價值。

圖7 2種方法在數(shù)據(jù)集II上的P300檢測精度

圖8 2種方法在數(shù)據(jù)集III-A上的P300檢測精度

圖9 2種方法在數(shù)據(jù)集III-B上的P300檢測精度

4 結(jié) 論

針對ERP腦電信號存在個體差異性強、信噪比低等特點而導致其識別困難,以及傳統(tǒng)的CNN算法對小樣本腦電信號分類易產(chǎn)生過擬合等問題,本文在CNN和SVM融合模型的基礎上提出了一種用于ERP信號分類識別的CNN-SVM組合分類器。該組合分類器不需要人工提取腦電信號的特征就能從濾波后的原始ERP信號中學習特征,最后采用結(jié)構(gòu)風險最小化的SVM進行分類識別,有效減小了過擬合。實驗結(jié)果表明,CNN-SVM組合分類器對于P300信號的識別準確率要明顯高于SWLDA、BLDA和傳統(tǒng)的CNN方法。在重復4次以上刺激后,該組合分類器的平均識別準確率在90%以上,表明該組合分類器能夠?qū)崿F(xiàn)ERP信號的精確識別,提高了腦機接口系統(tǒng)的實用價值。后續(xù)將通過改進神經(jīng)網(wǎng)絡結(jié)構(gòu),采用主動學習和最優(yōu)停止等方法,對該組合分類器的泛化性能做進一步深入研究,以期提高該組合分類器在不同受試者之間的泛化能力。