劉福偉 童基均 李琳
摘 要:提出一個多頻率刺激源誘發(fā)的穩(wěn)態(tài)視覺誘發(fā)電位(SSVEP)腦—機接口系統(tǒng),針對時域腦電信號特征維數(shù)過多等問題,采用一種局部線性嵌入算法(LLE)對經(jīng)過預處理的腦電數(shù)據(jù)進行降維。實驗結果表明,隨著分析時間窗的增大,經(jīng)典功率譜密度分析(PSDA)與典型相關分析(CCA)等方法相比,基于LLE的非線性數(shù)據(jù)降維方法具有一定優(yōu)勢。當時間窗為1.65s時,其分類準確率達92.92%,信息傳輸率達59.62 bits/min,遠遠優(yōu)于其它方法。
關鍵詞:腦—機接口;穩(wěn)態(tài)視覺誘發(fā)電位;局部線性嵌入算法
DOI:10. 11907/rjdk. 191831 開放科學(資源服務)標識碼(OSID):
中圖分類號:TP303文獻標識碼:A 文章編號:1672-7800(2020)005-0014-05
0 引言
腦機接口被稱為大腦端口或者腦機融合感知,是動物大腦與外部設備建立的直接連接通路[1]。腦機接口技術(Brain-Computer Interfaces,BCI)是一種涉及神經(jīng)科學?、信號檢測、信號處理?、模式識別等多學科的交叉技術,是一種新型的人機交互技術,它通過不間斷地監(jiān)控大腦活動中與人意圖相關的腦部信息實現(xiàn)與外部交流[2-3],實現(xiàn)了人類思維對外部設備的直接控制。目前,可用于BCI的人腦信號主要有:腦磁圖(Magnetoencephalogram,MEG)、腦電圖(Electroencephalography,EEG)和功能性核磁共振圖像(Functional Magnetic Resonance Imaging,F(xiàn)MRI)[4]。EEG技術由于安全、成本較低等優(yōu)點,其在BCI的研究中應用最為廣泛[5]。
誘發(fā)電位也稱誘發(fā)反應,是指給神經(jīng)系統(tǒng)某一部位特定刺激,相應部位產(chǎn)生的生物電反應[6]。目前,誘發(fā)電位方式主要分為視覺誘發(fā)電位、聽覺誘發(fā)電位和機體覺誘發(fā)電位[7-8]。而穩(wěn)態(tài)視覺誘發(fā)電位(Steady State Visual Evoked Potential,SSVEP)是指以大于6HZ頻率的閃光刺激眼睛視網(wǎng)膜時,大腦信號調制同時產(chǎn)生的節(jié)律性周期,其表現(xiàn)在EEG上是在對應刺激頻率或其諧波上出現(xiàn)譜峰[9-10]。換言之,穩(wěn)態(tài)視覺誘發(fā)電位(Steady State Visual Evoked Potential,SSVEP)是視覺部分對于高頻率刺激的物理反應,其具有明顯的特征信號、節(jié)律同化和周期性現(xiàn)象,而且信號噪聲比其它方式大[11-12]。由于SSVEP具有更高的信息傳輸率、系統(tǒng)和實驗設計更加簡便以及需要訓練的次數(shù)少等優(yōu)點[13],因此許多腦電研究者將SSVEP應用于腦機接口系統(tǒng)中。
功率譜密度分析(Power Spectral-Density Analysis, PSDA)和典型相關分析法(Canonical Correlation Analysis,CCA)是目前SSVEP腦機接口系統(tǒng)中傳統(tǒng)頻率識別方法[14-15]。為了分析功率譜信息,PSDA通過傅里葉變換將原始信號從時域變換到頻域[16]。CCA是研究兩組變量相關關系的一種統(tǒng)計方法,這種方法相較于快速傅里葉變換的譜估方法無論時間長短,其都具有更強的抗噪性[17]。但是CCA不能完全構建出真實的電信號成分,導致提取效果不太理想,針對此問題,研究者大都熱衷于研究改進的CCA算法[18]。1996年,Tibshirani等[19]提出一種嘗試尋找稀疏解的最小絕對收縮和選擇算子(Least Absolute Shrinkage and Selection Operator,LASSO),其被首次運用于解決SSVEP的識別問題。這種算法比原始CCA具有更高的信息傳輸率,縮短了識別所需時間,從而提高了基于SSVEP的腦機接口系統(tǒng)實時性。
1 研究方法
1.1 實驗設計及數(shù)據(jù)采集
實驗中使用4個LED燈作為刺激源誘發(fā)SSVEP系統(tǒng)。實驗數(shù)據(jù)采集過程中的硬件擺放位置如圖1所示,左上、右上、左下、右下分別放置一個淺綠色燈光的LED燈作為刺激源,4個LED燈對應的中頻段分別是13Hz、15Hz、17Hz、19Hz。
實驗開始時,顯示器屏幕左下方深藍色小方塊上的白色箭頭提示將要移動的方向,之后屏幕上對應方向的綠色小方塊變紫色,并發(fā)出蜂鳴聲,顯示器外側的LED燈在兩秒后開始閃爍,持續(xù)時長為4s。
本實驗共有9名受試者,其中女性2位,男性7位。受試者視力均正常,年齡在22.4+3.1,受試者沒有精神方面的疾病且沒有家族遺傳史。在實驗過程中受試者不能有眨眼睛、移動、點頭等動作,要專心致志地注視LED燈,若在此過程中受試者有任何不適則立即停止實驗。
本實驗信號的采集設備為GES400,實驗環(huán)境:安靜、舒適;實驗地點:腦電信號研究實驗室。32個電極按照國際10-20標準放置,如圖2所示。頭皮與導聯(lián)電極之間的偏置電壓設置為50V以下,采樣頻率為2 048Hz。
1.2 數(shù)據(jù)預處理
因實驗環(huán)境問題在實驗過程中不可避免產(chǎn)生一些誤差噪聲而影響實驗結果。為解決此問題,需對原始腦電信號進行預處理。
高頻腦電信號在傳播過程中會受到顱骨抑制,造成SSVEP的能量只處于前期,因此本實驗的SSVEP能量只能從前3次的諧波中獲取,如圖3(a)所示。為了去除后期無用的頻率段,本實驗首先使用一個4階帶通為12~60 Hz的巴特沃斯濾波器濾除噪聲和直流漂移等頻段,然后使用公共平均參考法做電極參考,進而除去腦部公共活動成分。公共參考法如式(1)。
1.3 空間濾波
數(shù)據(jù)預處理可有效解決系統(tǒng)誤差對實驗結果造成的影響,但是獲取的腦電信號較為微弱、能量不集中[20],其對噪音比的增強受到限制。因此,對預處理后的數(shù)據(jù)還需通過空間濾波增強噪音。關于空間濾波的研究較多,但這些方法應用在多頻率的SSVEP濾波上存在很多不足。例如PCA是建立在完全無關基礎上選擇最大值作為空間濾波器,但SSVEP信號與其它腦電信號具有一定關聯(lián);共空間模式的原理是利用矩陣對角化,找到最優(yōu)的空間濾波器進行投影,使兩類信號差異最大化,從而增強信噪比,但是共空間模式需事先構造刺激和非刺激腦電片段,過程較為繁瑣;ICA方法需事先知道頻率才能選擇濾波器。結合各種因素和情況,使用電極選擇和簡單加權融合方法雖沒有達到預期最佳效果,但適用性非常廣,沒有必要根據(jù)個體差異分別選擇空間濾波器。最常用的空間融合方法是拉普拉斯融合,其原理是使用式(3)的加權系數(shù)計算中間電極信號與周圍同距電極信號的差,去除局部共同噪聲達到增強SSVEP信噪比的目的。
1.4 局部線性嵌入算法
2000年,Roweis&Sa[21]提出了一種局部線性嵌入算法(Locally Linear Embedding,LLE),該算法主要針對非線性信號的優(yōu)化問題,通過線性逼近全局,將高維空間映射到低維空間,通過觀察小區(qū)域里點與點之間的關系,提取嵌入在高維空間里的低維子空間。
LLE算法是將數(shù)據(jù)集[X={x1,x2,x3,x4,?,xn},xi∈Rd]映射到數(shù)據(jù)集[Y={y1,y2,y3,y4,?,yn},yi∈Rm(m Step1:局部近鄰點選取。對于上文提到的數(shù)據(jù)集[X={x1,x2,x3,x4,?,xn},xi∈Rd]在高維空間尋找每個樣本點[xi]的[k][(k 將問題轉換為求[M]的[m]個最小非零特征值[Y]對應的特征向量問題,從小到大對[M]的特征值進行排序,一般情況下[M]的最小特征值都接近于零,因此取第2到[m+1]之間的特征值所對應的特征向量組成列向量,作為[N?m](假設有[N]個數(shù)據(jù)點)的數(shù)據(jù)表達矩陣[Y]。 2 結果與分析 2.1 預處理效果 數(shù)據(jù)預處理效果如圖4所示,t表示時間(單位是s),U表示電壓(單位uv),圖4(a)是處理前的效果,圖4(b)是處理后的效果。圖4(a)的腦電信號由于噪聲的存在其波動幅度較大,頻率較高且分布散亂,沒有規(guī)律。經(jīng)過處理后的圖4(b)噪聲被消除,其信號波動幅度和頻率比較有規(guī)律,為后續(xù)實驗提供了一個標準輸入。 2.2 時間窗長度對分類準確率的影響 系統(tǒng)正確輸入指令占所有輸入指令的比例稱為分類準確率,是腦機接口系統(tǒng)常用的評價指標。圖5和表1是不同時間窗下PSDA、CCA和LLE三種方法的平均分類準確率。初始時間窗長度是0.25s,步長0.1,最大時間窗長度為1.6。結合圖6和表1可以看出,隨著時間窗長度的增加,3種方法的分類準確率都相應提升。當時間窗長度小于0.6s時,基于流形學習的非線性數(shù)據(jù)降維方法(LLE)的分類準確率最高,3種方法的平均分類準確率差異較大。當時間窗長度大于0.6s時,3種方法的平均分類準確率相差無幾。在最大時間窗下平均分類準確率最高的是基于流形學習的非線性數(shù)據(jù)降維方法(LLE)。 2.3 時間窗長度對信息傳輸率的影響 每分鐘系統(tǒng)傳輸?shù)男畔⒘慷x為信息傳輸速率(Information Transfer Rate,ITR),是腦—機接口中的一個重要評價指標。ITR的定義如式(10)和式(11)所示。 其中,[N]是腦機接口可執(zhí)行的指令總數(shù),[P]為分類準確率,[V]為單位時間內執(zhí)行的指令個數(shù),每個命令被執(zhí)行的概率相同。如圖6所示,ITR表示信息傳輸率,t表示時間窗長度,圖6是3種算法在不同時間窗長度下平均信息傳輸率變化情況。如表2所示,t表示時間窗長度,對應值為時間窗長度在增加0.2s情況下的平均信息傳輸率。 由圖5可以看出,隨著時間窗長度的增加,3種算法的分類準確率呈升高趨勢,圖6中隨著時間窗長度的增加平均信息傳輸率呈下降趨勢。信息傳輸率由時間窗長度和分類準確率共同決定,但綜合圖5和圖6可以看出,時間窗長度對平均信息傳輸率的影響更大。 綜合分析圖6和表2可知,3種算法平均信息傳輸率隨著時間窗長度的增加都呈現(xiàn)下降趨勢。在時間窗長度小于0.6s時,LLE的平均信息傳輸率最大,CCA的平均信息傳輸率大于PSDA。在最短時間窗下3種算法的平均信息傳輸率差距最大。當時間窗長大于0.6s時,3種算法的平均信息傳輸率基本相同,且下降都比較緩慢。 2.4 不同個體間差異 因環(huán)境、情緒不同會導致同一個體的腦電信號變化,這種變化在不同的個體間更加突出。如表3所示,t表示時間窗長度,對應值是不同個體在時間窗長度增加0.2s情況下的分類準確率,在0.25s窗口長度下,S1和S4的分類準確率都在80%以上,S6、S7、S8、和S9都在70%以下。在時間窗長度為1.05s情況下,所有個體的分類準確率都達到了80%以上。在時間窗長度為1.65s時,除S9外,其它個體的分類準確率甚至達到了90%以上。 綜合分析可知,隨著時間窗長度的增加,大部分個體分類準確率都呈上升趨勢,只有少數(shù)個體在某一時間窗長度下會出現(xiàn)下降趨勢。例如,在時間窗長度為1.25s時,S1、S5、S7和S8的分類準確率比時間窗長度為1.05s情況下的分類準確率低。標準差隨著時間窗長度的增加不斷縮小。 不同個體同一時間窗長度下的分類準確率不同,主要是因為:一是不同個體間的心理活動和生理結構不相同;二是每個受試者的參與專注度不同。 3 結語 隨著IT技術的快速發(fā)展,腦機接口技術相關研究也越來越多。以往研究中所運用的腦機接口技術都有很大缺陷,如一些技術需要經(jīng)過大量訓練,可能因數(shù)據(jù)不足導致訓練結果不理想等。為解決此問題,出現(xiàn)了一些不需要訓練的技術,如本實驗所用的SSVEP。SSVEP具有響應強度高、誘發(fā)速度快、不需要訓練等優(yōu)點,但也存在腦電信號微弱、隨機性強等缺點,若直接使用SSVEP信號波形作為腦—機接口輸入,則無法有效識別視覺刺激頻率。針對此問題,本文使用拉普拉斯融合方法,先對多通道腦電信號運用空間濾波增強信噪比,再用局部線性嵌入算法對空間濾波處理后的信號進行降維,將原始空間不可分的腦電數(shù)據(jù)投影到高維空間,使其變得線性可分,經(jīng)過降維后,腦電數(shù)據(jù)特征減小,數(shù)據(jù)復雜度降低,分類準確率提升。實驗結果表明,運用此方法在多頻率識別的SSVEP腦—機接口系統(tǒng)中是可行的。在短時間窗長度下,LLE的分類準確率比CCA和PSDA的分類準確率高。綜合分析可知,隨著時間窗長度的增加,分類準確率呈上升趨勢,但在時間窗長度達到某一特定值時,3種方法的分類準確率基本相同。在短時間窗下LLE的平均信息傳輸率最高,隨著時間窗長度的增加,3種方法的平均信息傳輸率均呈下降趨勢。對于離線的腦機接口系統(tǒng),一般只考慮分類準確率對系統(tǒng)性能的影響,對于平均信息傳輸率一般都會忽略不計。因此,大部分研究者都會通過提高分類準確率優(yōu)化和改善系統(tǒng)性能。真正做好一個腦機接口系統(tǒng)需要考慮的因素極其復雜,如系統(tǒng)高效性、便捷性等,應選擇最佳時間窗長度,均衡其對分類準確率和平均信息傳輸率的影響,提高腦機接口系統(tǒng)性能。 參考文獻: [1] 邱詩元. 基于腦機接口的機械臂遙操作控制[D]. 廣州:華南理工大學,2017. [2] KOSMYNA N,TaARPIN-BERNARD F,RIVET B. Adding human learning in brain——computer interfaces (BCIs)[J]. ACM Transactions on Computer-Human Interaction, 2015, 22(3):1-37. [3] 優(yōu)化思維任務模式的MI-BCI技術研究[D]. 天津:天津理工大學,2016. [4] 基于視覺誘發(fā)電位的腦—機接口分析算法優(yōu)化及實時控制系統(tǒng)構建[D]. 上海:華東理工大學, 2013. [5] 楊幫華,李博. 基于腦機接口的康復訓練系統(tǒng)[J]. 系統(tǒng)仿真學報, 2019,31(2):12-18. [6] 楊健,王昕. 誘發(fā)電位在兒科臨床的應用[J]. 國際兒科學雜志,2009,36(6):658-660. [7] 師娟. 腦干聽覺誘發(fā)電位在眩暈中的應用價值[J]. 中外醫(yī)療,2017,36(36):96-97. [8] 丁佳,張娟,王索剛. 基于視覺雙特征的并行聯(lián)合腦-機接口范式的研究[J]. 科學技術與工程, 2015, 15(10):37-41. [9] 郭湛超,覃玉榮,趙隆. 視覺通路下閃光刺激對SSVEP影響的仿真研究[J]. 電子測量與儀器學報,2016, 30(4):653-659. [10] 張振昊,張智君. 視覺穩(wěn)態(tài)電位的基頻和諧波對注意的響應機制[C]. 第二十屆全國心理學學術會議——心理學與國民心理健康摘要集,2017. [11] 李東閣. 不同灰度值刺激產(chǎn)生的穩(wěn)態(tài)視覺誘發(fā)電位比較[J]. 中國醫(yī)學物理學雜志, 2019(3):340-343. [12] FERNANDEZ-FRAGA S M,ACEVES-FERNANDEZ M A,RODRíGUEZ-RESENDíZ J, et al. Steady-state visual evoked potential (SSEVP) from EEG signal modeling based upon recurrence plots[J]. ?Evolving Systems, 2017,10(2):97-109. [13] 楊俊宇. 基于SSVEP的腦機接口系統(tǒng)研究與設計[D]. 南京:南京郵電大學,2015. [14] WANG R,WEN W,IRAMINA K,et al. The combination of CCA and PSDA detection methods in a SSVEP-BCI system[C]. Shenyang:Intelligent Control & Automation,2015. [15] 楊紅粉. 頻域技術應用于點云配準研究[D]. 地理信息世界,2015,22(3):78-82. [16] YU Z,ZHOU G,ZHAO Q,et al. Multiway canonical correlation analysis for frequency components recognition in SSVEP-based BCIs[C]. International Conference on Neural Information Processing,2011:287-295. [17] 笪鋮璐,陳志陽,黃麗亞. 基于CCA的SSVEP性能研究[J]. 計算機技術與發(fā)展, 2015(5):52-55. [18] 李明愛,梅意城,孫炎珺,等. 眼電偽跡自動去除方法的研究與分析[J]. 儀器儀表學報, 2014(11):2515-2523. [19] 王瑞敏. 基于穩(wěn)態(tài)視覺誘發(fā)電位的腦機接口的研究[D]. 南京:南京理工大學,2015. [20] 康莎莎. 多類運動想象腦電信號的識別及其在BCI中的應用[D]. 合肥:安徽大學,2016. [21] ROWEIS S. T.Nonlinear Dimensionality reduction by locally linear embedding[J]. Science, 2000, 290(5500):2323-2326. (責任編輯:孫 娟)