李為龍,張睿芝,高國雅,劉培俊,桂志國,尚禹

(中北大學(xué) 省部共建動態(tài)測試技術(shù)國家重點實驗室, 太原 030051)

0 引言

在現(xiàn)有的腦機接口(brain-computer interface, BCI)范式中,穩(wěn)定性最高、信息傳輸速率(information transfer rate, ITR)最快的是基于穩(wěn)態(tài)視覺誘發(fā)電位(steady-state visual evoked potentials, SSVEP)的腦機接口[1-2]。人的大腦中產(chǎn)生SSVEP信號的最重要區(qū)域是枕葉區(qū)[3],其作為視覺皮層(visual cortex, V1)中樞主要負責(zé)處理視覺信息。人體視野內(nèi)的每一個點都可以在V1的特定區(qū)域中表示[4]。若施加大于6 Hz的周期性持續(xù)刺激[5],且刺激間隔短于單個刺激誘發(fā)的響應(yīng)長度,大腦視覺皮層便會對該刺激產(chǎn)生相應(yīng)的電位活動響應(yīng),從而形成SSVEP。

盡管目前SSVEP發(fā)展有了長足進步,但針對SSVEP數(shù)據(jù)預(yù)處理方法的研究仍不夠系統(tǒng)、完善。由于腦電采集設(shè)備的復(fù)雜性與環(huán)境空間噪聲的干擾[6],最初采集的腦電數(shù)據(jù)非常雜亂,特別是濕電極在SSVEP范式中的廣泛應(yīng)用[7],導(dǎo)致外部噪聲進一步加大。因此,尋求一種處理流程規(guī)范、效果出色的全過程預(yù)處理方法非常重要。為此,本研究根據(jù)SSVEP原始信號中普遍存在的噪聲類型,設(shè)計了一種全過程預(yù)處理方法。環(huán)節(jié)包括:去基線漂移、去工頻干擾、頻段選取、頻譜分析,對其中每一環(huán)節(jié)的具體參數(shù)進行詳細說明。

1 材料與方法

1.1 SSVEP信號誘發(fā)原理

SSVEP依靠大腦對周期性視覺刺激,產(chǎn)生具有與視覺刺激頻率相同的基頻和倍頻成分[8],能夠與刺激信號保持良好的鎖時、鎖相特性,且信噪比高、頻譜相對穩(wěn)定。鎖時、鎖相指SSVEP能夠?qū)χ芷谛砸曈X刺激產(chǎn)生頻率跟隨的特性[9],即視覺皮層中樞對外加周期性刺激的頻率可形成對應(yīng)、相同的頻率信號,此現(xiàn)象也被稱為視覺皮層的光驅(qū)動響應(yīng)[10]。

現(xiàn)有研究表明,在6～80 Hz頻帶刺激范圍內(nèi)均能誘發(fā)SSVEP[11]。據(jù)此,可將SSVEP劃分為三個響應(yīng)波段:低頻(<12 Hz)、中頻(12～30 Hz)和高頻(>30 Hz)。一般情況下,中低頻段SSVEP信號的振幅高于高頻頻段[12],檢測更容易,信息傳輸速率也更快。本研究采用中低頻刺激誘導(dǎo)的SSVEP作為通訊介質(zhì)。

1.2 預(yù)處理濾波設(shè)計流程

本研究主要基于SSVEP中低頻段數(shù)據(jù),提出了一種預(yù)處理濾波方法。此方法的具體處理順序為:低頻濾波去基線漂移、陷波濾波去工頻干擾、帶通濾波進行頻帶選取、快速傅里葉變換(Fast Fourier Transform, FFT)頻譜分析。

基線漂移主要是由環(huán)境、運動及肌電、心電偽跡引入的噪聲[13],去除這類干擾的辦法是減去通過低通濾波器的原始信號。低通濾波器的參數(shù)設(shè)置包括:濾波器階數(shù)和歸一化后的截止角頻率(截止頻率與采樣的奈奎斯特頻率值之比)。

工頻干擾是由電力系統(tǒng)引起的一種干擾。其頻率根據(jù)不同國家或地區(qū)交流電的工頻頻率而定[14](干擾頻率:國內(nèi)為50 Hz,國外多為60 Hz)。在SSVEP信號采集時表現(xiàn)為正弦波或其他信號與正弦波的疊加[15],從而形成對原始腦電信號的干擾,需將信號通過陷波濾波器進行去除。濾波器的參數(shù)設(shè)置包括:采樣頻率、陷波的中心頻率、帶寬、濾波器階數(shù)(二階及以上)。

在SSVEP信號處理中,頻帶的選取需要使用帶通濾波進行,以濾除SSVEP基頻和諧波響應(yīng)外的低頻和高頻信號[16]。帶通濾波器的一般參數(shù)設(shè)置包括:下限截止頻率、上限截止頻率、采樣率、濾波器階數(shù)。其中,濾波器階數(shù)選擇依據(jù)為在滿足性能指標(biāo)要求前提下的最小階數(shù)。

頻譜分析通過FFT進行,可大幅降低計算量,將SSVEP信號由時域迅速轉(zhuǎn)換到頻域[17]。假設(shè)數(shù)據(jù)采樣率為fs、點數(shù)為N,做信號序列長度為2n>N的FFT補零運算;原始信號的峰值為A,經(jīng)FFT后,結(jié)果中每個點(除第一個直流分量之外)的模值為A的N/2倍,第一個點為直流分量(即0 Hz),其模值是直流分量的N倍。此外,基準(zhǔn)頻率fn是信號經(jīng)過FFT后在頻域中所能分辨的最小頻率,可表示為:

fn=(n-1)×fs/N

(1)

在信號經(jīng)FFT變換后得到的頻譜圖中,橫坐標(biāo)是以fn為最小間隔的不同頻率,縱坐標(biāo)為FFT后的模值A(chǔ)1。因此,fn越小,在頻譜圖中所能分辨的頻率分量越準(zhǔn)確。

1.3 網(wǎng)格搜索優(yōu)化濾波器參數(shù)

預(yù)處理濾波環(huán)節(jié)可去除原始SSVEP信號中的噪聲與偽跡。為進一步優(yōu)化在1.2節(jié)中所提到的全過程濾波器參數(shù),本研究使用網(wǎng)格搜索方法來確定各類濾波器的關(guān)鍵參數(shù)[18]。其中,網(wǎng)格搜索的參數(shù)設(shè)計為:低通濾波的上限頻率為0～0.3 Hz,步長為0.003 Hz;濾波器階數(shù)為1～10,步長為1。陷波濾波的單邊帶寬為0.01～0.1 Hz,步長為0.001 Hz;濾波器階數(shù)為2～11,步長為1。帶通濾波的上限頻率為81～90 Hz,步長為0.1 Hz;濾波器階數(shù)為1～10,步長為1。

1.4 SSVEP信號頻率識別算法

(2)

其中,ρ為相關(guān)系數(shù)。使用CCA進行SSVEP的頻率識別,需要設(shè)計M個矩陣對應(yīng)于M個刺激頻率fm(m=1,2,…,M)的SSVEP系統(tǒng),且每個矩陣(記為Ym)中都包含一系列正弦余弦波,作為第m個刺激頻率及其H次諧波的參考信號(其中I2=2H)。

為更好地整合來自SSVEP信號的基頻和諧波分量信息,本研究使用濾波器組典型相關(guān)分析(filter bank canonical correlation analysis,FBCCA)作為SSVEP信號的分類識別算法[20]。濾波器組分析可將SSVEP分解成子帶分量,比標(biāo)準(zhǔn)CCA更有效地提取隱藏在諧波分量中的獨立信息。使用高通零相位巴特沃斯濾波器產(chǎn)生n個子帶,第n個子帶的起始頻率為8×nHz,終止頻率為預(yù)處理中帶通濾波的上限截止頻率。在實現(xiàn)帶通濾波時,每個子帶的兩側(cè)增加2 Hz的額外帶寬。然后對每一組的n個子波段應(yīng)用CCA算法,將得到的相關(guān)性進行加權(quán)合并,見式(3)、(4):

(3)

w(n)=n-a+b,n∈[1,N]

(4)

2 實驗方案

2.1 離線分析驗證

本研究的離線分析驗證采用2021 BCI競賽中包含噪聲與偽跡的原始數(shù)據(jù)。圖1中,單次刺激塊閃爍實驗的數(shù)據(jù)長度為2.84 s。包括刺激開始前0.5 s,視覺反應(yīng)延遲0.14 s,刺激2 s以及刺激后0.2 s。數(shù)據(jù)的初始采樣率為1 000 Hz,下采樣到250 Hz。

圖1 2021 BCI競賽數(shù)據(jù)采集流程示意圖

2.2 在線實驗評測

20名視力正常或矯正至正常的健康受試者(7名女性,年齡18～25歲,平均年齡22歲)參與了本研究。在所有受試者中,有10人已經(jīng)在之前的實驗中參與過SSVEP的離線測試,另外10人無此項研究的任何經(jīng)歷。本研究獲得中北大學(xué)生物醫(yī)學(xué)倫理委員會批準(zhǔn)。在實驗開始前,每位受試者都被要求閱讀并簽署一份知情同意書。

2.2.1腦電設(shè)備與刺激器 本研究使用的腦電圖系統(tǒng)以1 000 Hz的采樣率記錄腦電圖數(shù)據(jù),并降采樣到250 Hz?？烧{(diào)采樣速率在250～1 000 Hz。記錄時電極阻抗保持在10 kΩ以下。24位ADC,精度可至0.01 μv。采用擴展的10-20導(dǎo)聯(lián)系統(tǒng),由后腦枕葉區(qū)附近的8個電極(P3,P4,Pz,PO3,POz,PO4,O1,O2)記錄腦電圖。參考電極Cz放置在頂點[22],以達到最好的視覺采集效果。

2.2.2刺激拼寫器設(shè)計 SSVEP的頻率刺激被顯示在一個21.5英寸的LCD屏幕上,分辨率為1 920×1 080像素,刷新率為120 Hz。刺激程序產(chǎn)生事件觸發(fā),并由計算機的并行端口發(fā)送到放大器,記錄在與腦電圖數(shù)據(jù)同步的事件通道上,被呈現(xiàn)為一個包含10個數(shù)字、標(biāo)準(zhǔn)26字母鍵盤并帶有‘Space’和‘Back’的38字符拼寫器,圖3(a)為此38字符的刺激器。刺激和字符的大小分別為170×170、120×120像素正方形。

圖2 腦電帽與放大器設(shè)備外觀圖

38個字符采用頻率相位聯(lián)合調(diào)制方法進行編碼[23],各字符的頻率和相位值計算如下:

f(kx,ky)=f0+Δf×[(ky-1)×5+(kx-1)]

φ(kx,ky)=φ0+Δφ×[(ky-1)×5+(kx+1)]

(5)

其中,kx,ky分別代表行索引與列索引;f0、Δf分別為8、0.2 Hz; 38個字符的起始頻率為f0,頻率間隔為Δf,產(chǎn)生的頻率范圍為[8,15.4 Hz]。φ0,Δφ是字符的起始相位與相位間隔,分別為0與0.5π,圖3(b)為刺激器字符頻率與相位的設(shè)定。

圖3 38字符刺激拼寫器設(shè)計圖

2.2.3實驗流程設(shè)計 在線SSVEP實驗依靠自行設(shè)計的38字符刺激器,并以受試者自我引導(dǎo)目標(biāo)選擇任務(wù)的方式進行[24]。對于每名受試者,分別將進行不同時間窗(2、3 s)的6次相同實驗,且有效刺激時間為時間窗的兩倍,見圖4。實驗開始前,提前告知受試者本次實驗中刺激塊的觀看順序。受試者按順序進行實驗,在完成當(dāng)前刺激塊的實驗時,要求受試者盡快將他們的目光轉(zhuǎn)移到下一次目標(biāo)上,所有刺激在屏幕上同時閃爍4.14或6.14 s(包含4或6 s的有效刺激時間)時開始。

單次實驗包含6個目標(biāo)字符的識別,對應(yīng)所有38個字符的隨機順序。此外,在下一次字符目標(biāo)開始前,將有0.5 s的注意轉(zhuǎn)移時間。提醒受試者在整個刺激期間避免眨眼,在兩個連續(xù)的實驗之間休息10 min。整個在線過程的刺激時間控制在4.64或6.64 s。此外,由于視覺在不同刺激頻率下存在視覺延遲,在BCI在線實驗設(shè)計中,單閃爍塊將增加140 ms的時間延遲[25]。在后續(xù)的數(shù)據(jù)處理中需將此段去除,只保留有效刺激部分。圖5為8通道腦電數(shù)據(jù)的實時傳輸,利用本研究預(yù)處理濾波方法對在線數(shù)據(jù)進行處理,并使用FBCCA算法識別SSVEP信號頻率。

圖4 不同時間窗下的實驗設(shè)計流程圖

圖5 OpenBCI信號實時采集界面圖

2.2.4實驗表現(xiàn)評價指標(biāo) 基于SSVEP范式腦機接口的表現(xiàn)通常采用準(zhǔn)確率與信息傳遞速率(information transfer rate,ITR)來進行評價[26]。在本研究的在線BCI實驗中,定義分類頻率界限如下:

(6)

其中,fr1、fr2、fr3為當(dāng)前刺激字符的信號處理后所識別出的基頻、二次諧波、三次諧波。ft1、ft2、ft3為當(dāng)前刺激字符所對應(yīng)的真實基頻、二次諧波、三次諧波。當(dāng)單字符刺激滿足上式中的頻率界限時,認為分類正確,即準(zhǔn)確率P定義為識別成功字符數(shù)與實驗的字符總數(shù)之比[27]。

ITR是描述數(shù)據(jù)傳輸系統(tǒng)的重要技術(shù)指標(biāo)[28],計算如下:

(7)

其中,N代表刺激器中字符個數(shù);P代表平均分類準(zhǔn)確率;T代表完成一次字符識別所需要的平均時間。

3 結(jié)果

3.1 離線分析結(jié)果

3.1.1預(yù)處理前后時、頻域數(shù)據(jù)對比 圖6為原始信號與預(yù)處理濾波后信號的時域?qū)Ρ?可見未進行基線漂移去除的腦電信號表現(xiàn)為無規(guī)律、幅值高(μV)、基線漂移嚴重,去除后的信號相對穩(wěn)定,呈現(xiàn)規(guī)律性變化。

圖7為原始信號與濾波后信號的頻譜對比。信號經(jīng)低通濾波后,去除了低頻中的“大漂移”現(xiàn)象,去基效果明顯。陷波濾波器可消除50 Hz左右的工頻干擾。帶通濾波器可有效過濾出SSVEP研究中所需的6～80 Hz頻段。

另外,在當(dāng)前受試者POz通道中,平均3次單字符(對應(yīng)10.25 Hz頻率)刺激,頻域中10.25 Hz基頻及諧波頻率(20.50、30.76、41.01 Hz)處出現(xiàn)了明顯的峰值。此外,隨著響應(yīng)頻率的增大,基頻和諧波分量的峰值急劇下降[29],符合SSVEP信號的基礎(chǔ)理論。

3.1.2預(yù)處理濾波器的參數(shù)確定 在2021 BCI數(shù)據(jù)集的2 s刺激時間下,固定分類識別算法與其它參數(shù)不變,以35位受試者平均分類準(zhǔn)確率作為優(yōu)化濾波器參數(shù)的準(zhǔn)則。由圖8可知,低通濾波的最優(yōu)上限截止頻率為0.21 Hz,濾波器階數(shù)為5;陷波濾波的最優(yōu)頻帶寬度為0.04,這意味著在50 Hz工頻干擾存在的情況下,49.6～50.4 Hz范圍內(nèi)的陷波效果可以取得最佳的分類準(zhǔn)確率,陷波濾波器階數(shù)為6;帶通濾波的最優(yōu)上限截止頻率為88 Hz,濾波器階數(shù)為7。如1.3小節(jié)所提,通常在預(yù)處理的帶通濾波后進行2 Hz的頻帶擴展,因此本研究在實際的預(yù)處理帶通濾波中,確定6～90 Hz為最佳頻段。在后續(xù)的在線實驗中也將使用本節(jié)所確定的最佳濾波器參數(shù),來進行預(yù)處理操作。

圖6 原始信號(含噪)與預(yù)處理濾波后時域信號對比圖

圖7 原始信號(含噪)與濾波后信號的的頻譜對比圖

3.2 在線實驗結(jié)果

3.2.1不同時間窗下預(yù)處理前后分類結(jié)果差異 根據(jù)上述在線實驗的設(shè)計流程,圖9(a)—圖9(d)展示了在不同長度的時間窗下,20名受試者預(yù)處理前后的平均準(zhǔn)確率與ITR?？梢?在使用FBCCA分類識別算法的前提下,經(jīng)本研究預(yù)處理濾波后的信號具有更高的識別準(zhǔn)確率與信息傳輸速率。2 s時間窗下預(yù)處理前后的平均分類準(zhǔn)確率為85.70%±2.72% vs 76.82%±3.28%,ITR為(118.00±4.74)vs(98.41±4.05)bits/min;3 s時間窗下預(yù)處理前后的平均分類準(zhǔn)確率為89.39%±2.91% vs 82.73%±3.18%,ITR為(84.48±4.24)vs(73.98±3.98)bits/min。驗證了本研究所設(shè)計的預(yù)處理濾波方法對原始SSVEP信號去噪方面的有效性,預(yù)處理后的數(shù)據(jù)可實現(xiàn)更好的分類識別效果。

另外,通過對結(jié)果進行時間窗上的分析顯示,2 s時間窗可以獲得較高的平均ITR,而3 s時間窗獲得較高的平均精度。在實際應(yīng)用中,平均100 bits/min的ITR可滿足高速BCI的通信和控制需求[5],因此,本研究中2 s時間窗下在線系統(tǒng)的信息傳輸性能良好。

注:黑色圓圈為準(zhǔn)確率最大的位置。

圖9 不同時間窗下預(yù)處理前后的分類準(zhǔn)確率與ITR

3.2.2初試/經(jīng)驗組結(jié)果差異 在實驗結(jié)果分析中可見不同受試者的表現(xiàn)有較大差異,因此,本研究將10名初試/經(jīng)驗組進行劃分,并使用預(yù)處理濾波后的數(shù)據(jù)結(jié)果進行對比分析。由圖10(a)可知,初試組在2 s時間窗下的平均準(zhǔn)確率為82.51%±3.08%,經(jīng)驗組為88.89%±2.36%。圖10(b)為在3 s時間窗下,初試組平均準(zhǔn)確率為87.10%±3.34%,經(jīng)驗組為91.67%±3.10%。配對2 s與3 s的單因素方差檢驗(one-way analysis of variance, NOVA),二者在準(zhǔn)確率表現(xiàn)上有明顯差異(P2s_acc=0.02,P3s_acc=0.02<0.05)。

3.2.3初試/經(jīng)驗組預(yù)處理前后結(jié)果差異 為進一步探究預(yù)處理方法對初試/經(jīng)驗組在分類表現(xiàn)上的影響,本研究探索了在2 s時間窗下(滿足高速BCI需求),兩組受試者預(yù)處理前后分類準(zhǔn)確率的差異。圖11(a)中,相較于經(jīng)驗組,初試組在預(yù)處理濾波前后的分類表現(xiàn)上差異性更大,平均準(zhǔn)確率差異為11.41% vs 6.36%。另外,將初試/經(jīng)驗組預(yù)處理前后的分類準(zhǔn)確率分別作差,差值大小見圖11(b),配對ANOVA顯示P=0.009 9<0.01,表明未曾有過SSVEP經(jīng)驗的受試者,在分類表現(xiàn)中受預(yù)處理濾波環(huán)節(jié)的影響更大。

圖10 初試組/經(jīng)驗組在不同時間窗下的準(zhǔn)確率

圖11 2 s時間窗下初試/經(jīng)驗組預(yù)處理前后的分類表現(xiàn)對比

4 討論

在連續(xù)的腦電圖記錄中,根據(jù)事件通道中所發(fā)生的刺激采集腦電數(shù)據(jù)是BCI實驗的基礎(chǔ),隨后進行數(shù)據(jù)的預(yù)處理。盡管不同BCI范式的腦機接口已經(jīng)被廣泛提到[30],但并未對其中的數(shù)據(jù)預(yù)處理工作進行深入探討,而信號采集的預(yù)處理工作是決定腦機接口范式最終呈現(xiàn)效果的最初一步,也是極為重要的一步。

盡管本研究的實驗設(shè)計已經(jīng)對刺激時間以及單次實驗間安排了盡可能長的休息時間,在線BCI實驗的初試組與經(jīng)驗組的表現(xiàn)中仍存在較大差異。因此,未接觸過SSVEP的個體在使用本研究設(shè)計的SSVEP系統(tǒng)前,需要進行適應(yīng)性訓(xùn)練,在后續(xù)工作中,將盡可能縮短該時間,增強SSVEP-BCI系統(tǒng)的實際應(yīng)用能力。

除本研究中提出的離線分析與在線驗證外,還應(yīng)該以不同的方式進一步構(gòu)造更加豐富的數(shù)據(jù)集。首先,數(shù)據(jù)集可以用于針對不同的應(yīng)用程序設(shè)計系統(tǒng)。參數(shù)的優(yōu)化對于實際BCI系統(tǒng)的設(shè)計和實現(xiàn)具有重要意義[25]。其次,盡管受試者在兩種時間窗上都能獲得較高的準(zhǔn)確度,但3 s時間窗的ITR明顯低于2 s,如何根據(jù)更多的數(shù)據(jù)集來進行最佳時間窗的選擇,將進一步提升在線BCI系統(tǒng)的性能。

除本研究所進行的相關(guān)分析外,其他范式的腦機接口可參照本研究所提出的的預(yù)處理濾波方法進行探索,有效的噪聲去除和通道選擇方法有助于可穿戴BCI研究。因此,本研究可作為一種在線BCI實驗的基本參考。

5 結(jié)論

本研究提出了一種基于SSVEP中低頻段的數(shù)據(jù)預(yù)處理方法。依據(jù)2021 BCI競賽中的含噪數(shù)據(jù)進行了離線分析,預(yù)處理濾波前后的時、頻域SSVEP特征對比,證明了該方法的有效性。使用網(wǎng)格搜索方法根據(jù)離線分類準(zhǔn)確率的大小,進一步優(yōu)化了預(yù)處理濾波各環(huán)節(jié)的參數(shù)設(shè)定。在線實驗中,本研究設(shè)計了一個完整的SSVEP-BCI系統(tǒng),通過比較不同刺激時間窗(2 s/3 s)下受試者預(yù)處理前后分類準(zhǔn)確率與ITR,證明了該預(yù)處理濾波方法在分類識別中的有效性。此外,研究了初次進行SSVEP實驗與有經(jīng)驗的受試者在分類表現(xiàn)上的差異,并證實了未曾有過SSVEP經(jīng)驗的受試者,在分類表現(xiàn)中受預(yù)處理濾波環(huán)節(jié)的影響更大。