黃硯冰,夏 斌
(上海海事大學(xué) 上海 201306)
腦-機(jī)接口(Brain Computer Interface, BCI)作為一種幫助腦組織損傷的患者實(shí)現(xiàn)大腦與外界環(huán)境直接交流的一種人工輔助技術(shù),近年來成為神經(jīng)科學(xué),信號(hào)處理等領(lǐng)域的研究熱點(diǎn)而基于腦-機(jī)接口的二維控制一直是研究重點(diǎn),國內(nèi)外的研究團(tuán)隊(duì)開展了諸如腦-機(jī)接口鼠標(biāo)[1],輪椅控制,機(jī)械手控制等的研究。
腦-機(jī)接口可以根據(jù)采集數(shù)據(jù)方式不同可以分為侵入式和非侵入式。其中侵入式的BCI的研究由于涉及到大量的技術(shù)難題和臨床風(fēng)險(xiǎn),所以多集中在動(dòng)物身上或者某一部分人身上,其推廣性受到限制。而非侵入式的BCI系統(tǒng),通過安放置在大腦皮層外的采集電極就可以實(shí)現(xiàn)對(duì)腦電信號(hào)的采集,這種接觸式的采集電極安全,易操作、靈活。另外Wolpaw JR等人[3]利用基于感覺運(yùn)動(dòng)節(jié)律的非侵入式的腦-機(jī)接口實(shí)現(xiàn)了多維控制,控制效果與侵入式控制效果接近,這些研究成果在一定程度上推動(dòng)了非侵入式腦-機(jī)接口在二維控制研究中的發(fā)展。目前非侵入式BCI二維光標(biāo)控制的研究進(jìn)展比較有代表性的工作有Trejo L J等人的工作[4];有Xia B研究團(tuán)隊(duì)實(shí)現(xiàn)的基于三類MI的二維控制[5];Li Y團(tuán)隊(duì)采用混合MI與P300兩種模態(tài)的腦電信號(hào)作為輸出命令信號(hào)實(shí)現(xiàn)了二維控制[6];Allison B Z等人采用ERD/SSVEP的混合腦電信號(hào)實(shí)現(xiàn)了二維控制[7]等。
現(xiàn)有的二維控制系統(tǒng)中仍然存在一些問題,例如使用難度大,光標(biāo)移動(dòng)軌跡不平滑,光標(biāo)可移動(dòng)位置有限等問題。為了解決以上這些問題,我們擬采用運(yùn)動(dòng)想象來實(shí)現(xiàn)二維控制。設(shè)計(jì)了基于兩類MI的二維控制策略,特點(diǎn)是基于最少種類的MI實(shí)現(xiàn)光標(biāo)的二維控制。
為實(shí)現(xiàn)光標(biāo)在二維平面內(nèi)的任意移動(dòng),通常需要有左右上下4個(gè)控制命令,所以基于運(yùn)動(dòng)想象的腦機(jī)接口在線分類出的種類越多,二維控制就越簡單。但是運(yùn)動(dòng)想象任務(wù)數(shù)量的增加會(huì)使得用戶難以準(zhǔn)確控制。受汽車駕駛過程中左右轉(zhuǎn)動(dòng)方向盤的啟發(fā),我們?cè)O(shè)計(jì)了一個(gè)基于兩類MI旋轉(zhuǎn)坐標(biāo)系的二維控制,該旋轉(zhuǎn)坐標(biāo)系由兩個(gè)固定成120°角的映射方向組成。具體的實(shí)現(xiàn)如下:
首先實(shí)時(shí)采集的腦電信號(hào)會(huì)先經(jīng)過公共空間模式(Common Spatial Patterns,CSP)提取腦電信號(hào)的特征,經(jīng)過線性SVM分類器得到兩類運(yùn)動(dòng)想象分類的輸出概率P1,P2(P1+P2=1,分別代表左右手運(yùn)動(dòng)想象),其中SVM每100 ms輸出一組概率值。然后把輸出概率映射到旋轉(zhuǎn)坐標(biāo)系(Rotating Coordinate System,RCS)上矢量合成光標(biāo)的移動(dòng)速度,完成光標(biāo)移動(dòng)控制。光標(biāo)移動(dòng)過程中旋轉(zhuǎn)坐標(biāo)系的移動(dòng)情況如圖1所示。光標(biāo)的速度是矢量合成,上一個(gè)100 ms的速度Vk與在RCS中新合成的速度Vks進(jìn)行矢量合成,如公式(1),其中 ε 是衰減因子(ε∈[0.1,1])用來防止速度增量太大。
圖1 光標(biāo)移動(dòng)與速度合成細(xì)節(jié)Fig.1 Shows the detail of cursor movement and the generating velocity vector by combing probabilities in the RCS
光標(biāo)的移動(dòng)是在合成速度乘上一個(gè)位移映射因子b=8pixel的作用下完成的。光標(biāo)在直角坐標(biāo)系中的計(jì)算方式如圖3所示,圖中角度α是RCS中心方向順時(shí)針旋轉(zhuǎn)時(shí)與水平正向的夾角,變化范圍是α∈[0,2π]。假設(shè)光標(biāo)在上一時(shí)刻Sk位置的坐標(biāo)是:
那么在下一個(gè)100 ms,光標(biāo)移動(dòng)到新的位置Sk+1,她的坐標(biāo)計(jì)算方法如下:
為了驗(yàn)證控制策略的有效性,我們邀請(qǐng)了四名健康的受試參加二維光標(biāo)控制實(shí)驗(yàn),年齡在20~26歲之間(平均年齡是23歲),均是右手寫字習(xí)慣。實(shí)驗(yàn)開始之前,他們會(huì)被告知實(shí)驗(yàn)的基本原理以及實(shí)驗(yàn)?zāi)康?,然后由他們自愿簽署知情同意書,在每次?shí)驗(yàn)結(jié)束后會(huì)收到一定的報(bào)酬。其中受試S1和受試S2有過一些運(yùn)動(dòng)想象的控制經(jīng)驗(yàn)。其他兩名受試沒有腦-機(jī)接口實(shí)驗(yàn)經(jīng)驗(yàn)。實(shí)驗(yàn)過程中,受試被要求坐在電腦前面約80 cm位置,盡量保持頭部和肢體不動(dòng),精神狀態(tài)飽滿。
圖2 直角坐標(biāo)系統(tǒng)中光標(biāo)位置的計(jì)算方法Fig.2 Shows the detail of calculating the cursor movement in the rectangular coordinate system
實(shí)驗(yàn)界面如圖3所示,控制界面是一個(gè)矩形大小1440*838 pixels,start球是光標(biāo)的起始點(diǎn),稱為光標(biāo)球,目標(biāo)球是兩倍光標(biāo)球大小,分布在5個(gè)角度不固定的位置,按照數(shù)字標(biāo)識(shí)依次顯示。一個(gè)目標(biāo)球是一個(gè)trial,5個(gè)目標(biāo)全部完成是一個(gè)run。界面的右下角的速度表盤位置(240*300 pixels)用來實(shí)時(shí)的顯示光標(biāo)的移動(dòng)速度。光標(biāo)球的工作界面大小是(1440*838-240*300)pixels。 實(shí)驗(yàn)設(shè)置光標(biāo)球大小,目標(biāo)球大小和實(shí)驗(yàn)界面大小的比值是0.00048:0.0022:1。
受試根據(jù)系統(tǒng)的提示進(jìn)行固定時(shí)間長度的運(yùn)動(dòng)想象,在每個(gè)trial開始之前,會(huì)有一個(gè)3 s倒計(jì)時(shí),倒計(jì)時(shí)結(jié)束后,目標(biāo)球變色,如果受試可以在60 s時(shí)間內(nèi),控制移動(dòng)光標(biāo)撞擊到目標(biāo)球,則此次trial會(huì)提前終止,否則會(huì)在60 s后終止,緊接著進(jìn)入下一個(gè)trial的實(shí)驗(yàn)。依次類推。5個(gè)按照?qǐng)D中目標(biāo)位置順序出現(xiàn)。系統(tǒng)中的移動(dòng)光標(biāo)球的坐標(biāo)每0.1 s更新一次。實(shí)驗(yàn)要求每個(gè)受試進(jìn)行15個(gè)run的控制實(shí)驗(yàn)。
圖3 固定5目標(biāo)實(shí)驗(yàn)仿真圖Fig.3 The five 5-fixed target experimental simulation map
4位受試分別進(jìn)行了15個(gè)run的控制實(shí)驗(yàn),目標(biāo)完成率平均在100%,但是每個(gè)run的平均完成時(shí)間因人而異,其中受試S1的控制效果最好。在表1中展示了試驗(yàn)次數(shù),目標(biāo)成功完成率,一個(gè)run的平均完成時(shí)間和光標(biāo)移動(dòng)軌跡與最優(yōu)路徑的比值(越接近1,說明光標(biāo)的移動(dòng)軌跡越趨近于最優(yōu)路徑)。另外在圖4中,我們展示了4名受試在實(shí)驗(yàn)過程中的光標(biāo)移動(dòng)軌跡疊加圖??梢郧逦吹焦鈽?biāo)的移動(dòng)是一種近似直線的移動(dòng)過程,且軌跡平滑。其中受試S1由于之前有著豐富的控制經(jīng)驗(yàn),在此次的驗(yàn)證實(shí)驗(yàn)中,光標(biāo)的移動(dòng)軌跡最接近最優(yōu)路徑(圖4,左一)。另外受試S2也有著豐富的控制經(jīng)驗(yàn),但是控制效果相對(duì)于受試S1差一點(diǎn),通過溝通得知,他在控制的過程中喜歡交替的想象左右手,而受試S1大部分時(shí)候是同時(shí)適當(dāng)?shù)恼{(diào)整左右手控制情況。另外在我們的控制策略中,由于沒有直接后退的功能,當(dāng)受試錯(cuò)過目標(biāo)后,需要持續(xù)想象左右手中的一個(gè),完成光標(biāo)調(diào)換方向的功能。容易引起如圖4中軌跡繞圈的現(xiàn)象。這一點(diǎn)也是我們后期需要完善解決的工作。
圖4 4名受試的光標(biāo)軌跡疊加圖Fig.4 The cursor trajectories in the five-fixed target experiment
表1 固定五目標(biāo)實(shí)驗(yàn)結(jié)果:Ratio=實(shí)際路徑平均長度/最優(yōu)路徑比值Tab.1 Results of the Five-Fixed target experiments:Ratio=the mean cursor movement trajectory/the shortest trajectory
文中提出了一種新的基于兩類MI的二維控制策略,從驗(yàn)證實(shí)驗(yàn)結(jié)果上,可以得出如下結(jié)論,由于該控制策略只用兩類MI,受試的控制難度降低,另外解決了光標(biāo)移動(dòng)軌跡的平滑和移動(dòng)位置的任意性的問題。本文工作對(duì)于未來二維控制的研究會(huì)有重要的參考意義。
[1]McFarland D J,Krusienski D J,Sarnacki W A,et al.Emulation of computer mouse control with a noninvasive brain-computer interface[J].Journal of neural engineering,2008,5(2):101.
[2]Citi L,Poli R,Cinel C,et al.P300-based BCI mouse with genetically-optimized analogue control[J].Neural Systems and Rehabilitation Engineering, IEEE Transactions on,2008,16(1):51-61.
[3]Wolpaw J R,McFarland D J.Control of a two-dimensional movement signal by a noninvasive brain-computer interface in humans[J].Proceedings of the National Academy of Sciences of the United States of America,2004,101 (51):17849-17854.
[4]Trejo L J,Rosipal R,Matthews B.Brain-computer interfaces for 1-D and 2-D cursor control:designs using volitional control of the EEG spectrum or steady-state visual evoked potentials [J]. Neural Systems and Rehabilitation Engineering, IEEE Transactions on,2006,14(2):25-229.
[5]Xia B,Yang H,Zhang Q,et al.Control 2-dimensional movement using a three-class motor imagery based Brain-Computer Interface[C]//Engineering in Medicine and Biology Society (EMBC), 2012 Annual International Conference of the IEEE.IEEE,2012:1823-1826.
[6]Li Y,Long J,Yu T,et al.An EEG-based BCI system for 2-D cursor control by combining Mu/Beta rhythm and P300 potential[J].Biomedical Engineering, IEEE Transactions on,2010,57(10):2495-2505.
[7]Allison B Z,Brunner C,Altst?tter C, et al.A hybrid ERD/SSVEP BCI for continuous simultaneous two dimensional cursor control[J].Journal of Neuroscience Methods,2012,209(2):299-307.