徐光華,張鋒,謝俊,李葉平,韓丞丞,李黎黎

(1.西安交通大學(xué)機械工程學(xué)院,710049,西安;2.西安交通大學(xué)機械制造系統(tǒng)工程國家重點實驗室,710054,西安)

?

穩(wěn)態(tài)視覺誘發(fā)電位的腦機接口范式及其信號處理方法研究

徐光華1,2,張鋒1,謝俊1,李葉平1,韓丞丞1,李黎黎1

(1.西安交通大學(xué)機械工程學(xué)院,710049,西安;2.西安交通大學(xué)機械制造系統(tǒng)工程國家重點實驗室,710054,西安)

在概述國內(nèi)外穩(wěn)態(tài)視覺誘發(fā)電位腦機接口技術(shù)研究的基礎(chǔ)上,針對傳統(tǒng)穩(wěn)態(tài)視覺誘發(fā)電位(SSVEP)在腦-機接口(BCI)系統(tǒng)應(yīng)用中存在的問題,在范式設(shè)計方面,分別提出了基于牛頓環(huán)、高頻組合編碼和幅值調(diào)制的SSVEP的3種BCI范式。針對腦電信號微弱、辨識困難的問題,提出了基于隨機共振機制的穩(wěn)態(tài)運動視覺誘發(fā)電位增強方法;針對高頻組合編碼穩(wěn)態(tài)視覺誘發(fā)電位(CCH-SSVEP)新范式響應(yīng)信號的非平穩(wěn)、弱信號特征,提出基于改進的希爾伯特黃變換的CCH-SSVEP響應(yīng)信號處理方法,提高了識別率。在系統(tǒng)應(yīng)用方面,將牛頓環(huán)運動刺激范式與運動場景相結(jié)合,設(shè)計了場景結(jié)合導(dǎo)航技術(shù),相對于傳統(tǒng)方法,將刺激目標關(guān)聯(lián)具體的物理位置,導(dǎo)航效率顯著提升,將運動場景與刺激目標結(jié)合的所見即所得的方式提升了用戶預(yù)選目標效率以及路線規(guī)劃能力,同時也有利于用戶集中注意力,提高腦電信噪比。最終,將該技術(shù)成功地應(yīng)用于殘疾輪椅的腦電導(dǎo)航控制中,取得了令人滿意的效果。

穩(wěn)態(tài)視覺誘發(fā)電位;腦-機接口;牛頓環(huán);調(diào)制

穩(wěn)態(tài)視覺誘發(fā)電位(SSVEP)[1]本質(zhì)上是外界周期性的視覺刺激誘發(fā)大腦視覺中樞系統(tǒng)的周期性響應(yīng),相比腦-機接口(BCI)系統(tǒng)中的運動想象(MI)、P300等其他的幾種常見范式,SSVEP由于在使用中具有易用、少電極、無需訓(xùn)練以及穩(wěn)定性高等優(yōu)勢[2],近年來被廣泛應(yīng)用于BCI系統(tǒng)研究中。使用SSVEP來控制腦-機接口系統(tǒng)的基本思想可以追溯到30年前,作為SSVEP-BCI的第一篇公開出版物[3]首次提出將基于SSVEP振幅的刺激應(yīng)用于BCI的閉環(huán)反饋控制系統(tǒng)。隨后,國內(nèi)外相關(guān)學(xué)者開始對基于SSVEP的BCI技術(shù)展開研究,經(jīng)過近幾十年來的研究發(fā)展,文獻[4]開發(fā)了第一個基于SSVEP的無損BCI系統(tǒng),設(shè)計者在此系統(tǒng)中設(shè)置了兩個閃爍的按鈕顯示在電腦屏幕上,用戶可以通過簡單的注視要選擇的按鈕即可。清華大學(xué)[5]最早在國內(nèi)開始SSVEP-BCI技術(shù)的研究,隨后西安交通大學(xué)[6-17]、上海交通大學(xué)[6]、電子科技大學(xué)[7]、天津大學(xué)[18]等也陸續(xù)開展SSVEP-BCI技術(shù)及應(yīng)用研究。盡管基于SSVP-BCI系統(tǒng)的研究已經(jīng)取得了不小的進步,但仍存在一些問題。例如:SSVEP傳統(tǒng)刺激范式由于有效頻帶受限,不適合呈現(xiàn)更多目標;傳統(tǒng)SSVEP依賴高強度光閃爍視覺刺激進行誘發(fā),易造成被試者視覺疲勞、環(huán)境干擾大等不足,導(dǎo)致系統(tǒng)性能不穩(wěn)定、信息傳輸率低等問題。

本文概述了國內(nèi)外穩(wěn)態(tài)視覺誘發(fā)電位腦機接口技術(shù),重點研究基于不同視覺誘發(fā)電位范式的輪椅腦電導(dǎo)航接口技術(shù)及其信號處理算法,并進行新的輪椅腦電導(dǎo)航接口技術(shù)的探索。

1 范式設(shè)計

1.1 基于牛頓環(huán)的穩(wěn)態(tài)視覺誘發(fā)電位腦-機接口范式

傳統(tǒng)SSVEP依賴光閃爍產(chǎn)生的視覺刺激進行誘發(fā),需要較強的光強度,容易造成使用者不適,引發(fā)大腦適應(yīng)性效應(yīng),即大腦對刺激信號的響應(yīng)隨著刺激的持續(xù)不斷降低,不適宜自然光條件下及長期使用的腦-機交互場合。本研究基于大腦視覺系統(tǒng)的運動感知能力,采用低閃爍、用戶操作不易疲勞的穩(wěn)態(tài)運動翻轉(zhuǎn)視覺刺激范式誘發(fā)周期性的穩(wěn)態(tài)電位(SSMVEP),并應(yīng)用于腦-機接口,實現(xiàn)了穩(wěn)態(tài)誘發(fā)電位與運動感知腦-機接口的有機結(jié)合。

采用光學(xué)中常見的牛頓環(huán)作為刺激范式,牛頓環(huán)運動刺激目標為明暗相間同心圓環(huán),明亮區(qū)域和暗區(qū)域面積相等,在刺激呈現(xiàn)過程中,牛頓環(huán)相位按正弦方式進行調(diào)制,在收縮和擴張兩個方向上形成周期往復(fù)振蕩運動,收縮和擴張運動的翻轉(zhuǎn)頻率定義為刺激頻率?？紤]到在屏幕刷新率為100 Hz的條件下,刺激頻率為14 Hz的牛頓環(huán)運動刺激如圖1所示。

圖1 運動翻轉(zhuǎn)刺激范式

采用8.10、9.80、12.25和14.00 Hz這4個翻轉(zhuǎn)頻率分別賦予4個刺激目標,通過典型相關(guān)算法(CCA)判別受試者注視的目標。6名受試者在單輪實驗時長4 s情況下的平均識別正確率為86%。系統(tǒng)測試結(jié)果表明,最優(yōu)信息傳輸率條件下的目標平均識別時間約為3.5 s,平均信息傳輸率約為16 bit/min。

圖2 大腦響應(yīng)的時間演化及其指數(shù)衰減擬合圖

每名受試者的大腦穩(wěn)態(tài)電位信號的時間演化及其指數(shù)衰減擬合參照圖2,20輪實驗的總時長為100 s。從圖2可以看出,大部分情況下受試者的大腦響應(yīng)在20輪實驗過程中沒有明顯的下降趨勢,指數(shù)衰減曲線多為直線形式,表明該研究能夠較好地避免神經(jīng)適應(yīng)性及大腦響應(yīng)信號的降低,更加適宜于長期使用的腦-機交互場合。

1.2 基于高頻組合編碼的穩(wěn)態(tài)誘發(fā)電位腦-機接口范式

針對目前基于低頻SSVEP-BCI系統(tǒng)存在目標數(shù)目少、刺激時間長、易誘發(fā)疲勞和癲癇等不足導(dǎo)致的系統(tǒng)穩(wěn)定性不高、信息傳輸率低等問題,提出了基于高頻組合編碼穩(wěn)態(tài)視覺誘發(fā)電位(CCH-SSVEP)的腦-機接口技術(shù),基于高頻組合編碼穩(wěn)態(tài)視覺誘發(fā)電位的本質(zhì)是組合編碼的思想,在高頻段,采用信噪比高的幾個刺激單元通過排列組合出多個刺激序列,理論上可實現(xiàn)m個刺激表達,呈現(xiàn)mm個刺激。這不僅解決了單頻率呈現(xiàn)模式下目標數(shù)目受限的問題,而且利用了高頻SSVEP刺激閃爍的融合效應(yīng),減少了受試者的疲勞度,也降低了使用者誘發(fā)癲癇的可能性。CCH-SSVEP新范式如圖3所示,在該范式中,采用頻率高于25 Hz的頻段作為基本單元,為了說明新范式的可行性,且不失一般性,這里選3個基本刺激單元(即m=3)。每個頻率單元通過20個周期的屏幕幀圖像的亮和滅呈現(xiàn),單次識別任務(wù)選取10個刺激序列長度,以上僅對范式設(shè)計做概述,詳細過程參考文獻[12],實驗結(jié)果見下面信號處理部分。

圖3 基于高頻率組合編碼的SSVEP范式

1.3 基于幅值調(diào)制視覺穩(wěn)態(tài)誘發(fā)電位腦-機接口范式

傳統(tǒng)穩(wěn)態(tài)視覺誘發(fā)刺激在顯示器上呈現(xiàn),是通過圖像特定頻率(刺激頻率)閃爍方式實現(xiàn)的,但由于采用一個頻率表示一個目標任務(wù)的刺激范式簡單,同時由于顯示器物理參數(shù)以及目標識別率的限制,僅可以使用有限的頻率呈現(xiàn)任務(wù)目標,使得可呈現(xiàn)的任務(wù)目標數(shù)受限。此外,傳統(tǒng)SSVEP辨識效率低,需要多次刺激信號累加,嚴重影響了實時辨識能力。因此,針對傳統(tǒng)SSVEP范式頻帶窄、目標數(shù)目受限、信噪比低、不適合在顯示屏上呈現(xiàn)更多目標等不足,圍繞如何在有限頻帶內(nèi)增加可呈現(xiàn)的目標數(shù)目,提升SSVEP技術(shù)的信息傳輸率的核心問題,本文提出了基于幅值調(diào)制視覺誘發(fā)電位的范式(AMVEP)。圖4是CRT顯示器呈現(xiàn)AMVEP刺激的時序原理圖,每個柱狀代表一個載波,幅值大小代表載波灰度。利用顯示器交替閃爍的圖像亮度按照灰度值(0～255)變化,實現(xiàn)特定載波頻率f0上的低頻幅值調(diào)制刺激,f0是SSVEP響應(yīng)最優(yōu)頻段特征頻率,如圖4所示。載波本質(zhì)是方波,由n幀圖像組成,其中ng為亮幀數(shù)圖像,n0為滅幀數(shù)圖像。

圖4 基于幅值調(diào)制SSVEP范式

本文提出基于幅值調(diào)制的SSVEP腦-機接口新范式,借鑒調(diào)制思想,采用誘發(fā)響應(yīng)強度最優(yōu)頻帶特征頻率12.5 Hz為載波和低頻調(diào)制信號形成幅值調(diào)制刺激范式,并對幅值調(diào)制的數(shù)目、分辨率及帶寬進行理論計算及驗證,為實驗設(shè)計提供了理論依據(jù)。同時,對幅值調(diào)制實驗中測點的導(dǎo)聯(lián)、數(shù)據(jù)長度等參數(shù)進行優(yōu)化,并提出優(yōu)化策略。所提出的基于幅值調(diào)制SSVEP刺激范式,不僅提高了響應(yīng)信號的信噪比,同時通過載波與調(diào)制波的組合大大提升了目標數(shù)目,解決了傳統(tǒng)單一頻率呈現(xiàn)目標數(shù)量受限的問題。在此基礎(chǔ)上,提出與之相適應(yīng)的特征提取與識別方法,5個受試者離線與仿真在線識別率均在80%以上,在線仿真平均信息傳輸率為35 bit/min,相比其他范式有所提高。本文所提出的基于幅值調(diào)制的SSVEP腦-機接口范式為SSVEP范式設(shè)計提供了一種新的思路,并通過實驗得到驗證,詳細過程請參考文獻[15]。

2 信號處理

2.1 基于隨機共振機制的穩(wěn)態(tài)運動視覺誘發(fā)電位增強方法

頭皮腦電信號容易受到各種電生理信號及噪聲干擾,造成頭皮誘發(fā)電位信號微弱,多依賴算法改進實現(xiàn)系統(tǒng)性能提升,性能拓展空間小,針對此問題,本文提出了基于隨機共振機制的穩(wěn)態(tài)運動視覺誘發(fā)電位增強方法。該方法是隨機共振技術(shù)在穩(wěn)態(tài)視覺誘發(fā)電位中的創(chuàng)新應(yīng)用,通過在周期視覺輸入中引入噪聲的方式,實現(xiàn)在一定程度上對大腦動力學(xué)特性的擾動,實現(xiàn)穩(wěn)態(tài)電位的有效增強,為實現(xiàn)高性能腦-機接口技術(shù)開辟了新的思路。

采用8.57、12.00和15.00 Hz這3個翻轉(zhuǎn)頻率分別賦予3個刺激目標,刺激目標采用單環(huán)形,以服從高斯分布的二維噪聲點掩蔽刺激目標,噪聲點更新頻率同步于屏幕刷新率,噪聲點的灰度級在0～255之間,噪聲點的二維灰度均值為128,噪聲強度以高斯分布標準差(NSD)表征,如圖5所示。

(a)噪聲強度為0 (b)噪聲強度為8 (c)噪聲強度為24

(d)噪聲強度為40(e)噪聲強度為48(f)噪聲強度為56圖5 不同強度視覺噪聲掩蔽示意圖

本研究對4名受試者(S1～S4)進行了實驗,單輪實驗時長在2～10 s范圍內(nèi)可變,根據(jù)在線實驗得到的正確率與正確檢測時間關(guān)系曲線見圖6。圖6表征了4名受試者在無視覺噪聲及最優(yōu)視覺噪聲強度下操作腦-機接口時的性能,由于腦-機接口精度和效率的提高分別能夠通過較高的正確率及較短的正確檢測時間得到體現(xiàn),因而誤差棒越接近正確率與正確檢測時間關(guān)系圖左上角時,表明腦-機接口系統(tǒng)具有越高的性能。從圖中可以看出,大部分受試者在最優(yōu)視覺噪聲強度下性能提升較為明顯,表明該技術(shù)能夠顯著提升現(xiàn)有腦-機接口的精度和效率,創(chuàng)新提高腦-機接口技術(shù)的實用化水平。

(a)受試者S1

(b)受試者S2

(c)受試者S3

(d)受試者S4圖6 腦機接口在線性能

2.2 基于改進希爾伯特黃變換(IHHT)的CCH-SSVEP響應(yīng)信號處理方法

穩(wěn)態(tài)視覺誘發(fā)電位的本質(zhì)告訴我們,CCH-SSVEP新刺激范式響應(yīng)信號本質(zhì)上應(yīng)該包含不同頻率組合編碼的時序信息,加上腦電信號本身微弱的屬性,從信號處理的角度,該響應(yīng)應(yīng)該屬于非線性、非平穩(wěn)的弱信號。因此,要從這樣的信號中提取出我們需要的信息,傳統(tǒng)的譜方法無法滿足需求。本文提出的基于IHHT變頻腦電信號CCH-SSVEP響應(yīng)信號處理方法(如圖7所示),通過刺激頻率的差異組合優(yōu)化,實現(xiàn)變頻腦電信號的特征提取及局部頻譜極值目標辨識。

圖7 基于IHHT變頻的腦電信號特征提取與辨識方法

HHT的核心是經(jīng)驗?zāi)B(tài)分解(EMD)方法。EMD的本質(zhì)是基于信號的局部特征時間尺度,能把復(fù)雜信號分解為簡單信號(即本征模式函數(shù)IMF)的疊加,因此EMD方法是自適應(yīng)的信號處理方法。更重要的是,對信號進行EMD分解后,使得瞬時頻率(IF)具有了物理意義。這樣就可以對每一個IMF進行Hilbert變換,從而可以求出每一個IMF隨時間變化且具有物理意義的瞬時頻率和瞬時幅值,這些瞬時頻率和瞬時幅值可以揭示信號的內(nèi)在特征,最后得出隨時間和頻率變化的幅值H(w,t),稱為Hilbert譜。HHT主要的創(chuàng)新點在于提出了EMD,使得信號的瞬時頻率具有了物理意義,從而能得到非平穩(wěn)信號的完整的時頻分布,因此非常適合處理CCH-SSVEP誘發(fā)的非線性、非平穩(wěn)的弱響應(yīng)信號?；贗HHT變頻腦電信號CCH-SSVEP響應(yīng)信號處理方法的步驟如圖7所示,包含7個步驟,具體IHHT算法過程請參考文獻[13]。此處由于篇幅限制簡述如下:針對變頻腦電的EMD端點問題,采用邊界預(yù)測法和傳統(tǒng)方法進行對比;針對EMD停止準則的應(yīng)用選擇問題,采用固定篩選次數(shù);針對變頻腦電信號,選擇GZC(Generalized Zero-Crossing)算法計算瞬時頻率;最后通過刺激頻率的差異組合優(yōu)化[13],實現(xiàn)CCH-SSVEP響應(yīng)信號的高效識別。3個基本頻率單元基25、33.33、40 Hz,相應(yīng)編號為1、2、3,從27種的組合方式中選出差異化頻率的組合刺激序列依次為123、132、213、231、312、321,其單次響應(yīng)時域信號如圖8所示。經(jīng)過基于IHHT變頻腦電信號特征提取方法(見圖7)處理后的CCH-SSVEP新范式刺激下單次響應(yīng)信號的Hilbert譜圖見圖9,識別率為100%。

3 系統(tǒng)應(yīng)用

3.1 場景結(jié)合導(dǎo)航技術(shù)

(a)組合序列123 (b)組合序列132

(c)組合序列213 (d)組合序列231

(e)組合序列312 (f)組合序列321圖8 經(jīng)過差異組合優(yōu)化后的CCH-SSVEP響應(yīng)信號

(a)Hilbert譜123 (b)Hilbert譜132

(c)Hilbert譜213 (d)Hilbert譜231

(e)Hilbert譜312 (f)Hilbert譜321圖9 經(jīng)過差異組合優(yōu)化的CCH-SSVEP的Hilbert時頻譜

本文將牛頓環(huán)運動刺激范式與運動場景相結(jié)合,設(shè)計了一種高層次的導(dǎo)航技術(shù),稱之為場景結(jié)合導(dǎo)航技術(shù)。相對于傳統(tǒng)方法,該方法具有兩個顯著特點:①將刺激目標關(guān)聯(lián)具體的物理位置,用戶選定期望場景目標后,輪椅即能精確地運動到相應(yīng)的目標位置,使用傳統(tǒng)導(dǎo)航方法運動到相同位置則需要若干次轉(zhuǎn)彎和若干次平移調(diào)整,耗費大量的時間;②將運動場景與刺激目標結(jié)合,這種所見即所得的方式使用戶不需要估測就能預(yù)選出期望的刺激目標,節(jié)約用戶預(yù)選目標的時間。

圖10示意了場景結(jié)合導(dǎo)航技術(shù)的原理。一個廣角攝像頭安裝在輪椅的前部,實時采集輪椅前方的場景圖像,呈現(xiàn)在筆記本電腦屏幕上。同時,若干刺激目標呈現(xiàn)在場景圖像之上,這些刺激目標在圖像中的位置與輪椅前方地面相對應(yīng)的物理位置一一關(guān)聯(lián)。

圖10 場景結(jié)合導(dǎo)航方法示意圖

3.2 腦控輪椅系統(tǒng)集成

本文將普通電動輪椅加以改造,集成了一個具備一定實用性的腦控輪椅系統(tǒng)。其基本組成為電動輪椅、輪椅控制器、筆記本電腦、腦電采集設(shè)備、編碼器、廣角攝像頭等部件,見圖11。

圖11 腦控輪椅的硬件組成

3.3 實驗驗證

為了驗證本研究中腦控輪椅的實用性和高效性,本文選擇現(xiàn)實生活中的場所進行測試,規(guī)劃了復(fù)雜程度不同的3條路徑。5名年齡在23～32歲之間的男性研究生參與了該驗證實驗,對于每條路徑,要求他們各自測試5次。實驗結(jié)果表明,每位被試者都能順利完成各條路徑,說明該腦控輪椅已經(jīng)具備一定的實用性。本文還對場景結(jié)合導(dǎo)航方法和傳統(tǒng)導(dǎo)航方法進行了對比實驗驗證,場景結(jié)合導(dǎo)航方法比傳統(tǒng)方法節(jié)約(44.1±2.8)%的指令數(shù)和(42.1±1.0)%的路線完成時間。

4 結(jié) 論

本文概述了國內(nèi)外穩(wěn)態(tài)視覺誘發(fā)電位腦機接口技術(shù),重點研究基于不同視覺誘發(fā)電位范式的輪椅腦電導(dǎo)航接口技術(shù)及其信號處理算法,并進行了新的輪椅腦電導(dǎo)航接口技術(shù)的探索。

針對傳統(tǒng)SSVEP在BCI系統(tǒng)中應(yīng)用存在的問題,在范式設(shè)計方面提出以下方式。

(1)針對傳統(tǒng)SSVEP易造成被試者視覺疲勞、環(huán)境干擾大等不足,提出了基于運動翻轉(zhuǎn)視覺刺激的穩(wěn)態(tài)運動誘發(fā)電位(SSMVEP)刺激范式。其優(yōu)點是保證低頻閃爍刺激條件下的抗疲勞,并采用等光強的運動刺激提高了環(huán)境適應(yīng)性,從而保證腦電導(dǎo)航的可靠性,后續(xù)研究中在響應(yīng)信號增強方面有提升空間,可應(yīng)用于需要長時間在室外強光干擾等復(fù)雜環(huán)境下工作同時要求高可靠性的腦-機接口導(dǎo)航場景中。

(2)針對目前基于低頻SSVEP-BCI系統(tǒng)存在目標數(shù)目少、易誘發(fā)疲勞和癲癇等可能的不足,提出了基于高頻組合編碼穩(wěn)態(tài)視覺誘發(fā)電位(CCH-SSVEP)刺激范式。其優(yōu)點是解決單頻率呈現(xiàn)目標數(shù)量受限的問題,增加了傳統(tǒng)SSVEP的目標數(shù)和可選范圍,并利用高頻SSVEP的刺激閃爍融合效應(yīng),提高了使用者的舒適度,有效降低視覺疲勞影響及誘發(fā)癲癇的可能。在更高頻率段,后續(xù)研究中還有提升的空間,可應(yīng)用于同時兼具高效和無損性能要求的腦-機接口導(dǎo)航場景中。

(3)針對基于傳統(tǒng)SSVEP腦-機接口系統(tǒng)范式單一、可用頻帶窄、信噪比低等不足導(dǎo)致的系統(tǒng)穩(wěn)定性不高、信息傳輸率低的問題,提出基于幅值調(diào)制編碼穩(wěn)態(tài)視覺誘發(fā)電位(AMVEP)刺激范式。其優(yōu)點是:解決了傳統(tǒng)SSVEP有效頻帶受限、信噪比低的問題,優(yōu)選SSVEP響應(yīng)頻率為載波與低頻信號形成組合調(diào)制刺激,除原有的頻率信息外,增加了幅值變化的調(diào)制信息;響應(yīng)信號信噪比高,在保證辨識準確率的基礎(chǔ)上,大大提升刺激目標數(shù),從而獲取了較高的信息通訊傳輸率。在后續(xù)研究中關(guān)于同一載波上可調(diào)制多個調(diào)制頻率仍有提升空間,可應(yīng)用于需要大量刺激目標且穩(wěn)定性和信息傳輸率有較高要求的腦-機接口導(dǎo)航應(yīng)用場景中。

針對不同SSVEP范式的EEG信號特征,在信號處理方面進行如下處理。

(1)頭皮腦電信號容易受到各種電生理信號以及其他噪聲的干擾,造成頭皮誘發(fā)電位信號微弱、辨識困難,多依賴算法改進實現(xiàn)系統(tǒng)性能提升,性能拓展空間小,限制腦-機接口實用化水平。針對此問題,提出了基于隨機共振機制的穩(wěn)態(tài)運動視覺誘發(fā)電位增強方法,以視覺運動誘發(fā)電位作為視覺系統(tǒng)的典型輸出形式,通過在穩(wěn)態(tài)周期視覺輸入中引入噪聲的方式,實現(xiàn)一定程度上對大腦動力學(xué)特性的擾動,實現(xiàn)穩(wěn)態(tài)運動視覺誘發(fā)電位的有效增強,為優(yōu)化視覺響應(yīng)并實現(xiàn)高性能腦-機接口技術(shù)開辟了新的思路。

(2)針對CCH-SSVEP新范式響應(yīng)的非線性、非平穩(wěn)弱信號特征,提出了基于IHHT的CCH-SSVEP響應(yīng)信號處理方法,提高了識別率,最后通過刺激頻率的差異組合優(yōu)化,實現(xiàn)了CCH-SSVEP響應(yīng)信號的高效識別。

在系統(tǒng)應(yīng)用方面:針對傳統(tǒng)SSVEP-BCI系統(tǒng)導(dǎo)航效率低下的問題,提出將牛頓環(huán)運動刺激范式與運動場景相結(jié)合,設(shè)計了一種高層次的導(dǎo)航技術(shù),稱之為場景結(jié)合導(dǎo)航技術(shù)。相對于傳統(tǒng)方法,將刺激目標關(guān)聯(lián)具體的物理位置,導(dǎo)航效率顯著提升;將運動場景與刺激目標結(jié)合的所見即所得的方式提升了用戶預(yù)選目標效率以及路線規(guī)劃能力,同時也有利于用戶集中注意力,提高腦電信噪比。

[1]VIALATTE F, MAURICE M, DAUWELS J.Steady-state visually evoked potentials: focus on essential paradigms and future perspectives [J].Progress in Neurobiology, 2010, 90(4): 418-438.

[2]WANG Yijun, GAO Xiaorong, HONG Bo, et al.Brain-computer interfaces based on visual evoked potentials [J].IEEE Engineering in Medicine and Biology Magazine, 2008, 27(5): 64-71.

[3]REGAN D.Electrical responses evoked from the human brain [J].Scientific American, 1979, 241(6): 134-146.

[4]MIDDENDORF M, MCMILLAN G, CALHOUN G, et al.Brain-computer interfaces based on the steady-state visual-evoked response [J].IEEE Transactions on Rehabilitation Engineering, 2000, 8(2): 211-214.

[5]CHENG Ming, GAO Shangkai.An EEG-based cursor control system [C]∥Annual International Conference of the IEEE Engineering in Medicine and Biology.Piscataway, NJ, USA: IEEE, 1999: 669-699.

[6]黃淦.生物表面電信號建模、分析及其在人機交互中的應(yīng)用 [D].上海: 上海交通大學(xué), 2013.

[7]張楊松.基于穩(wěn)態(tài)視覺誘發(fā)電位的腦機制及腦-機接口研究 [D].成都: 電子科技大學(xué), 2013.

[8]XIE Jun, XU Guanghua, WANG Jing, et al.Addition of visual noise boosts evoked potential-based brain-computer interface [J/OL].Scientific Reports: 4, 2014(4953) [2014-11-10].http:∥www.nature.com/srep/2014/140514/srep04953/full/srep0953.html[9]LI Yeping, XU Guanghua, WANG Jing, et al.A scene-combined navigation method based on Newton’s rings paradigm for brain-actuated intelligent wheelchairs [C]∥Proceedings of the Fifth International Brain-Computer Interface Meeting 2013.Pacific Grove, California, USA: GUTPH, 2013: 050.

[10]XIE Jun, XU Guanghua, WANG Jing, et al.Steady-state motion visual evoked potentials produced by oscillating Newton’s rings: implications for brain-computer interfaces [J].PLoS ONE, 2012, 7(6): e39707.

[11]XIE Jun, XU Guanghua, ZHANG Feng, et al.A local tangent space based approach for single-trial representation of event-related potentials [C]∥2010 5th Cairo International Biomedical Engineering Conference.Piscataway, NJ, USA: IEEE, 2010: 184-187.

[12]WANG Jing, XU Guanghua, XIE Jun, et al.EEG processing and its application in brain-computer interface [J].Engineering Sciences, 2013, 11(1): 54-61.

[13]徐光華, 張鋒, 王晶, 等.面向智能輪椅腦機導(dǎo)航的高頻組合編碼穩(wěn)態(tài)視覺誘發(fā)電位技術(shù)研究 [J].機械工程學(xué)報, 2013, 49(6): 21-29.

XU Guanghua, ZHANG Feng, WANG Jing.Research on key technology on time series combination coding-based high-frequency SSVEP in intelligent wheelchair BCI navigation [J].Journal of Mechanical Engineering, 2013, 49(6): 21-29.

[14]張鋒, 徐光華, 謝俊, 等.穩(wěn)態(tài)視覺誘發(fā)電位的研究與展望 [C]∥2010中國儀器儀表學(xué)術(shù)、產(chǎn)業(yè)大會: 論文集2.北京: 中國儀器儀表學(xué)會, 2010: 156-165.

[15]徐光華, 張鋒, 謝俊, 等.基于幅值調(diào)制視覺誘發(fā)電位腦-機接口方法: 中國, ZL201110259018X [P].2013 -12-04.

[16]徐光華, 張鋒, 謝俊, 等.基于HHT高頻組合編碼穩(wěn)態(tài)視覺誘發(fā)電位腦機接口方法: 中國ZL2010105282 66.5 [P].2012-07-04.

[17]徐光華, 謝俊, 張鋒, 等.一種多頻率時序組合的穩(wěn)態(tài)視覺誘發(fā)電位腦-機接口方法: 中國ZL2010101915 98.9 [P].2011-12-07.

[18]趙麗, 孫永, 郭旭宏.基于穩(wěn)態(tài)視覺誘發(fā)電位的手機撥號系統(tǒng)研究 [J].中國生物醫(yī)學(xué)工程學(xué)報, 2013, 32(2): 253-256.

ZHAO Li, SUN Yong, GUO Xuhong.Research on mobile phone dialing system based on steady-state visual evoked potential [J].Chinese Journal of Biomedical Engineering, 2013, 32(2): 253-256.

(編輯 杜秀杰)

Brain-Computer Interface Paradigms and Signal Processing Strategy for Steady State Visual Evoked Potential

XU Guanghua1,2, ZHANG Feng1, XIE Jun1, LI Yeping1, HAN Chengcheng1, LI Lili1

(1.School of Mechanical Engineering, Xi’an Jiaotong University, Xi’an 710049, China; 2.State Key Laboratory for Manufacturing Systems Engineering, Xi’an Jiaotong University, Xi’an 710054, China)

Following an overview of the recent progress in steady state visual evoked potential (SSVEP) based brain-computer interfaces (BCIs), three new SSVEP paradigms for the brain-computer interface system are proposed to solve the problems in the traditional SSVEP-BCI, namely steady-state motion visual evoked potentials (SSMVEP) based BCI produced by oscillating Newton’s rings, time series combination coding-based high-frequency SSVEP (CCH-SSVEP), and amplitude modulated visual evoked potential.For identifying weak EEG signals, the enhancement method of steady-state motion visual evoked potential based on stochastic resonance mechanism is adopted.For extracting the time-frequency characteristics of high-frequency time series combination coding-based SSVEPs, the improved Hilbert-Huang transform -based variable frequency EEG feature extraction method is suggested, which facilitates increasing the recognition efficiency of SSVEP.In BCI application, the scene-combined navigational technology via the combination of SSMVEP and motion scene is introduced, where the target stimulus is associated with specific physical location, to improve navigation efficiency and user pre-select target efficiency and to plan the path from the view of “what you see is what you get” in which the movement scene combines with target stimulus to focus and improve EEG SNR for users.The strategy has been applied to intelligent wheelchair’s BCI navigation with satisfactory evaluation.

steady state visual evoked potential; brain-computer interface; Newton’s ring; modulation

2014-11-24。 作者簡介:徐光華(1964—),男,教授,博士生導(dǎo)師。 基金項目:國家自然科學(xué)基金資助項目(51175412)。

時間:2015-03-18

http:∥www.cnki.net/kcms/detail/61.1069.T.20150318.0940.001.html

10.7652/xjtuxb201506001

TP23

A

0253-987X(2015)06-0001-07