翟文文,楊玉娜,魯守銀,高諾
(山東建筑大學(xué)信息與電氣工程學(xué)院,濟南 250101)
腦機接口(BCI)技術(shù)可以在人腦與外界環(huán)境之間建立起聯(lián)系的通道[1]。其主要是通過對用戶的腦電信號進(jìn)行特征提取和分類轉(zhuǎn)換為控制外界設(shè)備的特定命令。所以,嚴(yán)重運動殘疾的患者可以通過腦機接口技術(shù)實現(xiàn)對康復(fù)機器人的控制,更積極主動地參與康復(fù)治療[2]。
2003年,格拉茨技術(shù)大學(xué)的Gert Pfurtscheller研究小組第一次通過分析腦電信號控制功能性電刺激設(shè)備,使得患者可以使用癱瘓的手抓住圓筒[3]。2010年,格拉茨工業(yè)大學(xué)的腦-計算機接口實驗室又研制了一種基于典型相關(guān)分析的穩(wěn)態(tài)視覺誘發(fā)電位(SSVEP)腦機接口,適用于控制2自由度的手和肘神經(jīng)假體。在線實驗中,陽性預(yù)測值(positive predictive value, PPV)在69%~83%,假陰性率(false negative rate, FNR)在1%~17%[4]。2015年,意大利PERCRO實驗室提出了由MI-BCI觸發(fā)的完整的上肢機器人外骨骼,用于中風(fēng)患者的抓握和釋放的康復(fù)[5],實驗得到運動想象分類的正確率為(82.51±2.04)%。2017年,印度理工學(xué)院的Chowdhury等研究出一種結(jié)合EEG和肌電圖(electromyography,EMG)信號的新方法,使用光譜功率相關(guān)(spectral power correlation,SPC)來創(chuàng)建用于控制手外骨骼的混合BCI設(shè)備[6],對用戶的抓握嘗試和靜止?fàn)顟B(tài)進(jìn)行分類,在成功檢測到抓握嘗試后,混合BCI觸發(fā)手外骨骼以執(zhí)行手指屈伸運動。近年來,國內(nèi)也逐漸開展了基于腦機接口的康復(fù)系統(tǒng)的研究。2017年,北京工業(yè)大學(xué)電子信息與控制工程學(xué)院的李明愛團隊研制了采用運動想象控制的腦機上肢運動康復(fù)系統(tǒng)[7],完成手臂伸/屈動作,該系統(tǒng)的平均識別率為76.75%,固定時間窗為3~5 s。
雖然目前基于腦機接口的康復(fù)機器人已取得不少成果,但仍然面臨著諸多挑戰(zhàn)。目前,基于腦機接口的康復(fù)機器人應(yīng)用還存在分析時間長,患者很難自主地控制康復(fù)訓(xùn)練的節(jié)奏,并且多類識別率不高等一系列問題。針對上述問題,我們研究了基于Alpha波與SSVEP的混合腦機接口上肢康復(fù)訓(xùn)練機器人系統(tǒng),該系統(tǒng)可以通過腦電信號自主高效地控制具有雙臂的上肢康復(fù)訓(xùn)練機器人進(jìn)行肩內(nèi)外旋,肩屈伸,肘內(nèi)外旋,肘屈伸與腕屈伸五個自由度的運動。實驗結(jié)果表明,該系統(tǒng)用時較短,準(zhǔn)確率較高,受試者可自主地控制康復(fù)訓(xùn)練方式,驗證了該系統(tǒng)的可行性與有效性。
基于Alpha波與SSVEP腦電信號的異步腦機接口的整體結(jié)構(gòu)框圖見圖1,該系統(tǒng)由四部分構(gòu)成:視覺刺激模塊、信號采集模塊、信號處理模塊和輸出控制模塊。本系統(tǒng)的信號采集模塊采集用戶閉眼或者注視頻閃產(chǎn)生的腦電信號至信號處理模塊進(jìn)行分類識別,然后把分類結(jié)果發(fā)給上位機,進(jìn)而控制上肢康復(fù)訓(xùn)練機器人。
圖1基于Alpha波與SSVEP腦電信號的異步腦機接口結(jié)構(gòu)框圖
Fig.1Block diagram of asynchronous brain-computer interface based on Alpha wave and SSVEP EEG signal
腦電信號采集設(shè)備采用博??悼萍加邢薰?Neuracle)的32導(dǎo)無線腦電采集系統(tǒng)[8],包括32通道的電極帽、放大器以及無線路由器。實驗中,該設(shè)備的采樣頻率設(shè)為250 Hz,記錄電極為P3、P4、PO3、PO4、O1、O2、PZ、OZ、T5、T6,見圖2,導(dǎo)聯(lián)位置符合國際10-20標(biāo)準(zhǔn),保持電極阻抗在5 kΩ以下。
本研究的視覺刺激模塊利用 MATLAB 的 Psychtoolbox (PTB) 工具箱實現(xiàn)[9]。視覺刺激模塊采用刷新率 60 幀/s的液晶顯示器, 分辨率設(shè)置為1 366×768 (像素)。刺激目標(biāo)由大小為150×150 (像素)的6個白色方塊組成。六個頻閃刺激塊刺激頻率分別為8、15、12、10、9、13 Hz對應(yīng)的功能分別為肩內(nèi)外旋,肩屈伸,肘內(nèi)外旋,肘屈伸,腕屈伸與停止。
圖2 導(dǎo)聯(lián)位置圖Fig.2 Lead position
圖3 頻閃刺激設(shè)計Fig.3 Stroboscopic stimulus design
2.3.1異步性的實現(xiàn)范式 本系統(tǒng)通過檢測使用者枕部腦電信號Alpha 波的阻斷現(xiàn)象來切換空閑與工作狀態(tài)[10],BCI系統(tǒng)不會對空閑狀態(tài)下的腦電信號進(jìn)行分析處理。受試者通過閉眼產(chǎn)生Alpha波,系統(tǒng)檢測到Alpha波發(fā)出聲音提示并把Alpha波信號傳給上位機,從而進(jìn)入工作狀態(tài),受試者聽到聲音提示后看頻閃,BCI系統(tǒng)對聲音提示后接收到的SSVEP信號進(jìn)行分析,得到分析結(jié)果傳給上位機,上位機對輪椅進(jìn)行相應(yīng)的控制,腦電信號分析流程圖見圖4。
2.3.2Alpha波信號分析 人在睜眼與閉眼狀態(tài)下,O1導(dǎo)處的Alpha波(8~12 Hz)幅值會有很大的區(qū)別[11]。閉眼狀態(tài)下Alpha波幅值要遠(yuǎn)大于睜眼狀態(tài)。本研究用這個特征切換受試者的工作和空閑狀態(tài)。受試者閉眼一段時間(1~3 s)來進(jìn)行狀態(tài)轉(zhuǎn)換,使其O1電極位置的腦電信號Alpha波幅值增加,BCI系統(tǒng)收到此信息后切換到工作狀態(tài)。在本研究中,Alpha波的檢測是按照以下步驟實現(xiàn)的:
圖4 腦電信號分析流程圖Fig.4 Flow chart of EEG signal analysis
(1)對于一個受試者收集20個試驗EEG信號,其中包括10個閉眼狀態(tài)試驗和10個睜眼狀態(tài)試驗,每次試驗持續(xù)3 s。
(2)將每個試驗傳送到頻域,并在每個試驗中取8~12 Hz之間的信號幅度M。
(3)根據(jù)式(1)計算Alpha波的閾值。
(1)
(4)對于一段新獲取的腦電數(shù)據(jù),如果其8~12 Hz幅度為M,則可以根據(jù)式(2)計算當(dāng)前狀態(tài)state。
(2)
如果state等于1,表示系統(tǒng)已檢測到Alpha波并且可以切換到工作狀態(tài)。 如果state等于-1,則表示沒有Alpha波,系統(tǒng)保持空閑狀態(tài)。
2.3.3SSVEP波信號分析
(1)預(yù)處理
本研究使用50 Hz陷波濾波器來消除高頻或工頻干擾。
(2)CCA理論
典型相關(guān)分析(canonical correlation analysis,CCA)是通過計算多通道腦電(EEG)信號與構(gòu)造的參考正余弦信號之間的相關(guān)系數(shù),求兩個信號的最大相關(guān)性[12]。
用CCA算法對EEG信號分析時,假設(shè)有k個頻率刺激時,X為測得的EEG信號,Y為模擬刺激頻率的參考信號,見式(3):
(3)
其中,Nh是諧波數(shù)量,fk是刺激頻率,F(xiàn)s是采樣率,M是信號樣本數(shù)。對兩個多維信號X、Y來說,CCA方法是找一組矢量WX,WY,使這組矢量可以讓向量x,y之間的相關(guān)系數(shù)達(dá)到最大,其中x=XTWX,y=YTWY。
(4)
在式(4)中,對WX,WY求得相關(guān)系數(shù)ρ的最大值,分別計算不同fk時的ρ,即最大的ρ對應(yīng)的頻率為SSVEP的響應(yīng)頻率。
上肢康復(fù)訓(xùn)練機器人采用雙臂五自由度的機器人,該機器人的結(jié)構(gòu)主要有上肢左、右雙臂主動訓(xùn)練裝置、底座三部分組成,系統(tǒng)結(jié)構(gòu)見圖5。上肢左、右雙臂主動訓(xùn)練裝置能夠?qū)崿F(xiàn)肩內(nèi)外旋,肩屈伸,肘內(nèi)外旋,肘屈伸,腕屈伸五個自由度的運動。腕部輔助康復(fù)結(jié)構(gòu)采用電機帶動把手直接旋轉(zhuǎn)進(jìn)行運動。為減輕前端重量,采用步進(jìn)電機,要求體積小的同時滿足力矩需求。交流伺服電機具有動態(tài)性能好、控制精度高等優(yōu)點,能夠?qū)崿F(xiàn)對機器人的精確控制。所以手腕、肘部屈伸采用步進(jìn)電機,其余三個關(guān)節(jié)采用伺服電機。
采用基于TRIOMC464的運功控制系統(tǒng),在運動過程中,各關(guān)節(jié)上的角度傳感器反饋當(dāng)前位置到運動控制器形成閉環(huán),確保關(guān)節(jié)運動的精度。上位機實時觀測機器人主從臂各關(guān)節(jié)運動角度,結(jié)合限位開關(guān),實現(xiàn)多種安全保護功能,并且本系統(tǒng)設(shè)計為雙臂式,增強雙臂協(xié)調(diào)能力,提高患者的運動能力。上肢康復(fù)機器人在得到腦電信號分析結(jié)果后進(jìn)行相應(yīng)的動作,并重復(fù)動作,直至接收到閉眼命令后回歸原位。
圖5 上肢康復(fù)機器人控制系統(tǒng)結(jié)構(gòu)圖Fig.5 Structural chart of control system for upper limb rehabilitation robot
本實驗共選取5名年齡18~30周歲的健康受試者(3男2女),在安靜、舒適的環(huán)境中進(jìn)行。受試者被要求在注視刺激閃爍的時間內(nèi)盡量避免過度眨眼,眼睛距離視覺刺激模塊約0.5 m。本實驗應(yīng)用圖3的視覺刺激界面。實驗前,5名受試者均先進(jìn)行離線實驗,采集Alpha信號,計算閾值。圖6是受試者讓機器人動作一次并停止的實驗過程示例。首先受試者佩戴腦電帽坐在屏幕前,屏幕上的頻閃塊閃爍。受試者閉眼1 s,機器人收到閉眼信號后暫停并發(fā)出提示音,然后注視讓機器人動作的相應(yīng)頻閃塊1 s,機器人收到動作命令后進(jìn)行相應(yīng)的動作,受試者自己決定運動時間(示例為8 s)。當(dāng)受試者想停止當(dāng)前運動時閉眼1 s,機器人接收到閉眼信號暫停運動并發(fā)出提示音,接著受試者注視停止的頻閃塊關(guān)閉機器人。在一次實驗中受試者可以控制機器人進(jìn)行多種運動然后關(guān)閉機器人,每位受試者每輪實驗要求發(fā)出20次命令(包括停止),每人進(jìn)行5輪實驗,實驗中記錄下發(fā)出的正確命令數(shù)以及發(fā)出命令所用的時間。真實實驗場景見圖7。
圖6實驗過程示例
Fig.6Experimental process
圖7 實驗場景圖Fig.7 Experimental scene
(a)
(b)
(c)
(d)
(e)
圖8實驗結(jié)果,其中(a-e)分別描繪了5名受試者在5次實驗中發(fā)出的正確命令數(shù)以及發(fā)出命令所用的平均時間窗
Fig.8Experimental results,(a-e) depicted the correct number of commands and the average time window used by five subjects in five experiments
圖8中的(a)-(e)分別描繪了5名受試者在5次實驗中發(fā)出的命令數(shù)以及發(fā)出命令所用的平均時間窗,每位受試者在5輪實驗中共發(fā)出100個命令。從圖中可以看出,每位受試者發(fā)出一個命令所用的時間窗均在2.5 s左右,并且受試者A與受試者B均有一輪實驗發(fā)出的20個命令全部正確且未出現(xiàn)識別錯誤。每位受試者可按自己的想法控制上肢康復(fù)機器人的動作方式以及動作時間。表1記錄了受試者發(fā)出的總命令數(shù),正確命令數(shù)以及正確率,五位受試者的分類準(zhǔn)確率最高可達(dá)94%。系統(tǒng)實時采集EEG信號幾乎無延時。此結(jié)果說明,本研究基于SSVEP與alpha波的腦機接口系統(tǒng)分析程序準(zhǔn)確率較高,分析速度快,并且能讓患者實現(xiàn)對上肢康復(fù)訓(xùn)練機器人的自主控制。
表1 受試者的實驗正確率Table 1 Experimentation correctness of subjects
本研究闡述并驗證了基于SSVEP與Alpha腦機接口的上肢康復(fù)訓(xùn)練機器人是一個行之有效的方案。另外,上肢康復(fù)機器人的各關(guān)節(jié)安裝有限位傳感器,以確保能夠及時保護患者手臂,防止對手臂造成傷害。實驗結(jié)果證明,本系統(tǒng)在分析用戶的腦電信號方面有較高的準(zhǔn)確性,并且用時較短。受試者可以按照自己的節(jié)奏控制基于混合腦機接口的上肢康復(fù)訓(xùn)練機器人系統(tǒng),根據(jù)自己的意愿控制訓(xùn)練動作與訓(xùn)練時間,實現(xiàn)了系統(tǒng)的異步性。
雖然本研究提出的基于SSVEP與Alpha腦機接口的上肢康復(fù)訓(xùn)練機器人方案實現(xiàn)了異步性,有效解決了信號分析時間長與準(zhǔn)確度不高等問題,但是在以下幾方面仍有待進(jìn)一步提高:提高腦電信號分析的魯棒性; 增加受試者對上肢康復(fù)訓(xùn)練機器人運動角度的控制,提高受試者對機器人的控制能力。隨著腦機接口技術(shù)的不斷完善,本系統(tǒng)會在嚴(yán)重運動障礙的患者的訓(xùn)練康復(fù)方面具有良好的應(yīng)用前景。