胡景釗,劉 陽,賈巧妹,馬 媛,王 晨,鄭佳賓,馮 筠, 2

(1.西北大學(xué) 信息科學(xué)與技術(shù)學(xué)院, 陜西 西安 710127;2.新型網(wǎng)絡(luò)智能信息服務(wù)國家地方聯(lián)合工程研究中心, 陜西 西安 710127)

肢體運(yùn)動功能障礙是腦卒中、孤獨(dú)癥、腦癱、腦外傷后的常見癥狀,嚴(yán)重影響患者的生活質(zhì)量和日常生活能力[1]。傳統(tǒng)的康復(fù)治療方法對部分患者治療作用有限[2],醫(yī)師勞動強(qiáng)度大,患者參與積極性差,從而導(dǎo)致康復(fù)效果不佳[3]。近年來,在臨床上利用鏡像神經(jīng)元理論的運(yùn)動康復(fù)療法有著越來越廣泛的應(yīng)用,取得了有意義的治療效果。相關(guān)研究表明,患者主動進(jìn)行運(yùn)動想象和借助視頻或鏡像的運(yùn)動觀察均可以有效激活鏡像神經(jīng)元來促進(jìn)運(yùn)動功能恢復(fù)[4]。因此，基于鏡像神經(jīng)元康復(fù)療法的康復(fù)訓(xùn)練系統(tǒng)受到了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。與目前已有的康復(fù)運(yùn)動系統(tǒng)相比,該文提出的運(yùn)動康復(fù)系統(tǒng)輕量便攜、造價(jià)低廉、感知患者運(yùn)動想象精確、反饋動畫沉浸度高,能提高患者日常生活活動能力及生活質(zhì)量。

鏡像神經(jīng)元是一類在個(gè)體執(zhí)行特定動作或觀察到其他同類執(zhí)行類似動作時(shí)均會興奮的特殊神經(jīng)元[5]。鏡像神經(jīng)元系統(tǒng)由遍布于各腦區(qū)的所有鏡像神經(jīng)元構(gòu)成,形成了一種“觀察-執(zhí)行匹配機(jī)制”,能高效統(tǒng)一動作的感知與執(zhí)行[6]。相關(guān)研究表明,該機(jī)制在動作的理解與模仿、運(yùn)動的想象與學(xué)習(xí)等重要的神經(jīng)生理學(xué)過程中扮演著重要角色[7]。而以上神經(jīng)生理學(xué)過程是腦機(jī)接口技術(shù)和神經(jīng)康復(fù)療法中的運(yùn)動想象、動作觀察、鏡像神經(jīng)、虛擬現(xiàn)實(shí)等背后的神經(jīng)生物學(xué)原理[8],其對于運(yùn)動功能康復(fù),尤其是孤獨(dú)癥、腦卒中后上肢運(yùn)動功能康復(fù)、幻肢痛、復(fù)雜性區(qū)域疼痛綜合征、Bell麻痹、腦癱具有重要的指導(dǎo)意義[9]。

運(yùn)動想象(motor imagery, MI)是指想象肢體運(yùn)動但無實(shí)際明顯動作。研究表明,人體在真實(shí)肢體運(yùn)動與想象肢體運(yùn)動時(shí)均會使大腦的運(yùn)動皮層區(qū)域處于活躍狀態(tài)[10],通過運(yùn)動想象可以激活大腦相關(guān)細(xì)胞的可塑性,有助于修復(fù)肢體與大腦之間的神經(jīng)功能連接?；谶\(yùn)動想象的腦機(jī)接口技術(shù)可以允許在無真實(shí)肢體交互的情況下通過計(jì)算機(jī)分析判讀運(yùn)動鏡像神經(jīng)元的狀態(tài)來預(yù)測期望執(zhí)行的動作,其不僅可以作為交互設(shè)備部分替代患者運(yùn)動障礙肢體的功能,也提供了一種新型運(yùn)動康復(fù)策略[11]。虛擬現(xiàn)實(shí)技術(shù)(visual reality,VR)可以讓運(yùn)動障礙患者身臨其境的觀察患肢運(yùn)動,更大程度激活鏡像神經(jīng)元,VR動畫還形成了一種閉環(huán)、直觀、綜合視覺、聽覺、感覺的反饋機(jī)制,使患者能夠主觀性地調(diào)節(jié)運(yùn)動想象[12]。因此,將運(yùn)動想象療法、VR技術(shù)、腦機(jī)接口技術(shù)結(jié)合用于康復(fù)治療具有重要的研究價(jià)值。

然而,目前基于運(yùn)動想象腦機(jī)接口的虛擬現(xiàn)實(shí)運(yùn)動康復(fù)系統(tǒng),如高小榕等人設(shè)計(jì)的基于腦-機(jī)接口技術(shù)的虛擬現(xiàn)實(shí)康復(fù)訓(xùn)練平臺[13]、Olivares等人的基于生物驅(qū)動的假肢虛擬現(xiàn)實(shí)系統(tǒng)[14]、張麗清等人的三維虛擬現(xiàn)實(shí)環(huán)境中基于EEG的異步BCI小車導(dǎo)航系統(tǒng)[15]等依然存在一定的提升潛質(zhì)：①系統(tǒng)相關(guān)設(shè)備復(fù)雜不便攜,難以在家庭場景搭建并進(jìn)行康復(fù)訓(xùn)練;②造價(jià)昂貴;③不易精確感知患者運(yùn)動想象程度;④康復(fù)訓(xùn)練的反饋機(jī)制多為視頻反饋,患者沉浸感不高,難以高效進(jìn)行運(yùn)動想象狀態(tài)反饋,難以做出有針對性的主觀調(diào)節(jié)。

為了解決以上幾個(gè)問題,本文通過選擇輕巧、便攜、無線的非侵入腦電設(shè)備及VR眼鏡構(gòu)建運(yùn)動康復(fù)系統(tǒng),其造價(jià)低廉、輕量便攜、感知患者運(yùn)動想象精確、反饋動畫沉浸度高。在康復(fù)過程中,通過定制精細(xì)逼真的虛擬人物形象,將場景中人物的運(yùn)動過程通過VR眼鏡實(shí)時(shí)反饋給患者,對患者運(yùn)動想象進(jìn)行有效監(jiān)測,使患者可通過神經(jīng)反饋信息做出有針對性的主觀調(diào)節(jié),從而有效調(diào)動患者康復(fù)訓(xùn)練的積極性和提升患者康復(fù)訓(xùn)練的效果。在該康復(fù)系統(tǒng)中,首先，對患者的腦電實(shí)時(shí)分析,進(jìn)行特征提取、分類；然后，進(jìn)行后處理得到更為可靠的輸出結(jié)果,以對用戶意圖進(jìn)行理解；最后，通過虛擬現(xiàn)實(shí)眼鏡實(shí)時(shí)反饋,使得患者沉浸式觀察,調(diào)動患者做出有針對性的主觀調(diào)節(jié),提高患者康復(fù)訓(xùn)練效果。

經(jīng)實(shí)驗(yàn)驗(yàn)證,系統(tǒng)離線運(yùn)動想象檢測分類器平均準(zhǔn)確率為56.84%,在線測試過程中使用后處理技術(shù),當(dāng)?shù)玫阶銐虼_信的檢測結(jié)果后才獲取到被試的運(yùn)動意圖理解,其在線測試的平均準(zhǔn)確率更高,可以達(dá)到86%。

1 相關(guān)工作

基于鏡像神經(jīng)元理論的康復(fù)療法近年來在臨床上有著越來越廣泛的應(yīng)用,取得了有意義的治療效果[16]。越來越多的研究將運(yùn)動想象腦機(jī)接口與虛擬現(xiàn)實(shí)技術(shù)應(yīng)用到醫(yī)學(xué)康復(fù)領(lǐng)域[17],二者的結(jié)合也逐漸成為一種很有潛力的康復(fù)訓(xùn)練方法。虛擬現(xiàn)實(shí)為康復(fù)提供豐富、逼真的虛擬康復(fù)場景,可以讓患者身臨其境地觀察患肢運(yùn)動,更好地激活鏡像神經(jīng)元,并提升患者參與的積極性[18]。同時(shí)將運(yùn)動想象與虛擬現(xiàn)實(shí)結(jié)合起來,并采用腦機(jī)接口技術(shù)檢測患者運(yùn)動想象程度,精細(xì)逼真的虛擬環(huán)境帶來的高沉浸感的運(yùn)動觀察和運(yùn)動想象可以有效激活鏡像神經(jīng)元，促進(jìn)患者運(yùn)動功能的改善。

近年來,運(yùn)動想象在醫(yī)療康復(fù)中的有效性也已經(jīng)得到了證明[19]。例如Okawada等證明了運(yùn)動想象能通過激活鏡像神經(jīng)元促進(jìn)大腦運(yùn)動神經(jīng)的激活程度,加速重塑運(yùn)動障礙患者的運(yùn)動神經(jīng)[20]；Achanccaray等人將運(yùn)動想象應(yīng)用到輕度癱瘓病人的康復(fù)訓(xùn)練中,其結(jié)果表明運(yùn)動想象能夠?qū)p度癱瘓病人的功能性康復(fù)起到一定效果[21]。

虛擬現(xiàn)實(shí)具有交互、沉浸和想象3大特征[22],其帶來的高沉浸感的運(yùn)動觀察可以有效地激活患者的鏡像神經(jīng)元進(jìn)而提高康復(fù)系統(tǒng)的有效性[23]。李文肖等人設(shè)計(jì)的基于虛擬現(xiàn)實(shí)的下肢主動康復(fù)訓(xùn)練系統(tǒng)把患者下肢運(yùn)動與運(yùn)動功能康復(fù)訓(xùn)練游戲結(jié)合在一起,有效改善了傳統(tǒng)下肢康復(fù)訓(xùn)練中病人參與度低、主動運(yùn)動意圖逐漸喪失的問題[24]。郭新志等人針對中風(fēng)或者上肢功能受限的患者,開發(fā)了基于虛擬實(shí)現(xiàn)技術(shù)的上肢康復(fù)訓(xùn)練系統(tǒng)[25]。通過虛擬環(huán)境帶來的高沉浸感能有效提高患者康復(fù)訓(xùn)練的質(zhì)量和效果。

VR場景的高度沉浸感可以將場景中人物的運(yùn)動過程實(shí)時(shí)反饋到用戶,科學(xué)的反饋機(jī)制可以引導(dǎo)患者進(jìn)行運(yùn)動想象任務(wù),提高患者康復(fù)訓(xùn)練的主動性與參與性[26]。Monderer等人研究表明,在康復(fù)系統(tǒng)中引入視覺、聽覺等反饋有助于患者評估運(yùn)動想象程度,幫助患者調(diào)節(jié)自身心理來提升運(yùn)動想象能力[27]。Birbaumer等研究進(jìn)一步證實(shí)，通過環(huán)境和反饋來調(diào)節(jié)心理在運(yùn)動想象腦機(jī)接口中具有重要的作用[28]。VR技術(shù)中精心設(shè)計(jì)的場景反饋可以產(chǎn)生更好的神經(jīng)激活效果,并通過實(shí)時(shí)虛擬場景反饋調(diào)動患者運(yùn)動想象的積極性[29]。因此，越來越多的研究將運(yùn)動想象與虛擬現(xiàn)實(shí)系統(tǒng)結(jié)合起來用于醫(yī)療康復(fù)領(lǐng)域。

2 系統(tǒng)設(shè)計(jì)

本文基于鏡像神經(jīng)元康復(fù)療法設(shè)計(jì)的MI-VR BCI康復(fù)訓(xùn)練系統(tǒng)采用了輕巧、便攜、無線的非侵入腦電設(shè)備及VR眼鏡。該系統(tǒng)以腦機(jī)接口(BCI)技術(shù)和虛擬現(xiàn)實(shí)(VR)技術(shù)為基礎(chǔ),主要包括康復(fù)訓(xùn)練實(shí)驗(yàn)范式設(shè)計(jì)、VR渲染與反饋設(shè)計(jì)、運(yùn)動想象檢測模型離線訓(xùn)練和患者運(yùn)動想象檢測。系統(tǒng)框架如圖1所示,患者首先進(jìn)行自主地運(yùn)動想象,通過便攜式腦電放大器采集患者在運(yùn)動想象時(shí)的腦電信號,將采集得到的腦電數(shù)據(jù)經(jīng)過實(shí)時(shí)傳輸和解析,然后進(jìn)行分析解碼,獲取到患者當(dāng)下的運(yùn)動意圖，再通過有線/無線交換機(jī)與虛擬環(huán)境進(jìn)行對接,患者可以根據(jù)實(shí)時(shí)觀察到VR中虛擬人物的行為調(diào)整后續(xù)狀態(tài)。

圖1 系統(tǒng)框架圖Fig.1 System framework

2.1 康復(fù)訓(xùn)練實(shí)驗(yàn)范式設(shè)計(jì)

該MI-VR BCI康復(fù)訓(xùn)練系統(tǒng)采用3種想象動作(左腿屈曲、右腿屈曲、空閑態(tài))的運(yùn)動想象實(shí)驗(yàn)范式,實(shí)驗(yàn)前,患者應(yīng)盡量保持良好的精神狀態(tài)，并按照要求完成相關(guān)康復(fù)訓(xùn)練流程。

所有電極安置完畢后,患者被要求自然舒適地坐在屏幕前,如圖2所示。實(shí)驗(yàn)設(shè)計(jì)共計(jì)180試次,分兩次完成,每兩次實(shí)驗(yàn)過程中休息3 min。每個(gè)試次中想象左腿屈曲、右腿屈曲和空閑狀態(tài)3種運(yùn)動想象動作提示隨機(jī)出現(xiàn)。

圖2 實(shí)驗(yàn)場景Fig.2 Experimental scenes

單個(gè)試次時(shí)序圖如圖3所示,每個(gè)試次持續(xù)時(shí)間為8 s,前2 s屏幕顯示空白,第2 s時(shí)計(jì)算機(jī)屏幕中央出現(xiàn)一個(gè)“十”字,提醒患者該試次即將開始;第4 s時(shí)屏幕上的“十”字變?yōu)殡S機(jī)產(chǎn)生的左邊色塊(左腿屈曲)、右邊色塊(右腿屈曲)和黑屏(空閑),患者根據(jù)屏幕顯示進(jìn)行相應(yīng)的運(yùn)動想象,一直持續(xù)到第8 s。

圖3 單個(gè)試次時(shí)序圖Fig.3 Single trial sequence diagram

2.2 VR渲染與反饋

VR渲染與反饋是根據(jù)患者腦電中想象的運(yùn)動意圖,對VR場景進(jìn)行修改并重新渲染,之后通過虛擬現(xiàn)實(shí)眼鏡將結(jié)果反饋給患者,患者可以觀察VR動畫來調(diào)節(jié)后續(xù)狀態(tài),完成整體康復(fù)訓(xùn)練系統(tǒng)回路閉環(huán)的過程,它能夠更有效地激活患者的鏡像神經(jīng)元系統(tǒng)。具體地,VR渲染模塊負(fù)責(zé)根據(jù)解析腦電獲取到的患者運(yùn)動意圖實(shí)時(shí)渲染虛擬現(xiàn)實(shí)場景。VR反饋模塊為虛擬現(xiàn)實(shí)眼鏡,它能將系統(tǒng)所理解的患者的運(yùn)動意圖通過VR動畫效果的展示實(shí)時(shí)反饋給患者。

1) VR場景與虛擬對象設(shè)計(jì)

圖4為VR反饋動畫場景,整個(gè)VR場景為大草原和藍(lán)天白云,虛擬對象設(shè)置為在草原上行走或奔跑的虛擬人物,其人體建模精細(xì)、逼真,虛擬人物在接收到系統(tǒng)所理解的患者運(yùn)動意圖后，能夠在草原上進(jìn)行相應(yīng)的運(yùn)動。在該場景中,患者可以處在舒適的環(huán)境中進(jìn)行運(yùn)動想象,對場景進(jìn)行自由探索。

2) VR動畫設(shè)計(jì)

患者在進(jìn)行運(yùn)動想象之后,系統(tǒng)通過BCI技術(shù)檢測到患者的腦電信號，并分析解碼獲取到患者的運(yùn)動意圖。然后在VR場景中通過動畫的形式將獲取到的患者的運(yùn)動意圖反饋給患者。VR動畫反饋場景的設(shè)計(jì)更加符合患者在自然場景下的實(shí)際運(yùn)動情景，更容易激活起患者的鏡像神經(jīng)元系統(tǒng),促進(jìn)患者運(yùn)動功能的康復(fù)。在VR反饋動畫場景中,當(dāng)系統(tǒng)檢測到患者的運(yùn)動意圖后,虛擬場景中虛擬人物將按照患者的運(yùn)動意圖向左拐跑步、向右拐跑步或保持當(dāng)前行進(jìn)方向不變,患者可以觀察到自己運(yùn)動想象的結(jié)果,然后調(diào)節(jié)自己的運(yùn)動想象狀態(tài)。

圖4 VR反饋動畫場景Fig.4 VR feedback animation scene

3) VR反饋模塊設(shè)計(jì)

VR反饋模塊為一虛擬現(xiàn)實(shí)眼鏡,如圖2所示,患者佩戴腦電帽和虛擬現(xiàn)實(shí)眼鏡。主要功能是將VR渲染結(jié)果實(shí)時(shí)呈現(xiàn)給患者,使患者可以隨時(shí)觀察到VR場景中虛擬人物的運(yùn)動模式,閉環(huán)整個(gè)運(yùn)動康復(fù)訓(xùn)練系統(tǒng)回路。

2.3 運(yùn)動想象檢測模型離線訓(xùn)練

2.3.1 腦電數(shù)據(jù)預(yù)處理 由于采集患者的腦電設(shè)備和VR設(shè)備均布置在頭皮周圍,容易產(chǎn)生設(shè)備間串?dāng)_,使得患者原始腦電信號中存在大量的噪聲和偽跡的干擾,導(dǎo)致有效的腦電信號成分被削弱。本系統(tǒng)通過多種濾波策略來保證患者在康復(fù)訓(xùn)練過程中腦電信號的質(zhì)量,該策略具體包括時(shí)域?qū)哟螢V波和頻域?qū)哟螢V波。時(shí)域?qū)哟螢V波用于減少信號中的異常值,由z-score歸一化和中值濾波法組成;頻域?qū)哟螢V波用于去除非腦電頻率,由梳狀濾波法和帶通濾波法組成。

1)修正腦電信號基線漂移

對腦電信號進(jìn)行逐通道歸一化,通過“去均值、標(biāo)準(zhǔn)化”的方式,將原始信號變換到零均值附近,如式(1)所示,能夠有效減少系統(tǒng)使用環(huán)境所導(dǎo)致的基線漂移和通道差異現(xiàn)象。

(1)

其中：X=[X(1),X(2),…,X(n)]代表n個(gè)腦電采樣點(diǎn)；mean(·)表示計(jì)算平均值；std(·)表示計(jì)算標(biāo)準(zhǔn)差。

2)剔除腦電信號異常采樣點(diǎn)

由于腦電采集設(shè)備敏感,患者的移動、觸碰、調(diào)整VR眼鏡或傳輸壞幀等問題都將導(dǎo)致采集的腦電信號中存在明顯的異常值。如圖5所示,中值濾波法能夠準(zhǔn)確地檢測出這些信號毛刺,并將他們填充為鄰近采樣點(diǎn),使得信號整體平穩(wěn)。

圖5 中值濾波去除腦電信號中的壞幀或異常值Fig.5 Median filtering to remove bad frames or abnormal values from the EEG signal

3)消除工頻干擾

在采集患者的腦電信號過程中,無論是在康復(fù)中心醫(yī)院或者是在家庭場景中,都會夾雜著不可避免的工頻干擾信號，且在虛擬現(xiàn)實(shí)環(huán)境下,同樣會引入鄰近的VR設(shè)備產(chǎn)生的工頻干擾。針對患者腦電信號中夾雜工頻干擾的問題,本系統(tǒng)采用梳狀濾波器來過濾特定頻率的干擾，其頻譜如圖6所示。該方法能夠剔除腦電信號中50 Hz及其倍頻的干擾[30],得到純凈的腦電信號。

圖6 梳狀濾波器過濾特定頻率干擾Fig.6 Comb filter for specific frequency interference

4)濾出運(yùn)動想象相關(guān)腦電信號

設(shè)計(jì)低階的巴特沃斯帶通濾波器[31],過濾出腦電的特有頻帶0.1～49 Hz,用于進(jìn)一步的腦電分析和患者運(yùn)動意圖的理解,其幅度相位相應(yīng)曲線如圖7所示。

圖7 帶通濾波器幅度和相位響應(yīng)曲線Fig.7 Bandpass filter amplitude and phase response curves

2.3.2 理解運(yùn)動意圖 患者在進(jìn)行運(yùn)動想象時(shí),系統(tǒng)通過BCI技術(shù)來檢測患者運(yùn)動想象時(shí)的腦電信號,其本質(zhì)是對腦電信號進(jìn)行特征提取、分類和后處理,獲取到分類信息即得到患者的運(yùn)動意圖，繼而患者通過仔細(xì)觀察VR動畫場景效果來調(diào)節(jié)自己后續(xù)的運(yùn)動想象狀態(tài)。其中，對患者腦電信號的特征提取和分類方法如下:

1)提取腦電CSP特征

由于采集的腦電數(shù)據(jù)中含有偽跡和噪聲,因此，需要最大程度保留有用信息來濾除干擾信號。針對此類問題,選擇對于運(yùn)動想象腦電數(shù)據(jù)非常流行且有效的共同空間模式(common spatial pattern, CSP)特征提取算法[32]。

CSP算法主要思想是利用線性變換方法將多通道腦電數(shù)據(jù)投影到低維空間中。通常,CSP算法通過極大化函數(shù)

(2)

求得空間濾波器w，Hi表示第i類預(yù)處理后腦電數(shù)據(jù)的矩陣(行數(shù)為采樣點(diǎn)數(shù)，列數(shù)為通道數(shù))，Ci表示第i類預(yù)處理后腦電數(shù)據(jù)的空間協(xié)方差矩陣。通過求得的空間濾波器w將EEG數(shù)據(jù)投影至低維空間進(jìn)行濾波，使用濾波后的數(shù)據(jù)進(jìn)行分類，得到對應(yīng)的類別后即可映射為患者的運(yùn)動意圖。

2)運(yùn)動想象意圖分類器

本文采用支持向量機(jī)(support vector machine, SVM)對患者運(yùn)動想象的腦電信號進(jìn)行分類。SVM的核心思想是尋找一個(gè)超平面(間隔)，使不同類樣本在特征空間上的間隔最大,然后，將新數(shù)據(jù)映射到同一空間,設(shè)線性可分的腦電樣本集為

(si,li),i=1, 2,…,n。

(3)

其中：si為第i個(gè)樣本；li為該樣本所對應(yīng)的類別，且li∈{-1,1}，n為樣本總數(shù)。

其決策平面為超平面為

g(s)=ks+b=0。

(4)

其中，k為權(quán)重，b為分類閾值。根據(jù)樣本數(shù)據(jù)落在間隔的哪一側(cè)從而判定其所屬的類別。

2.4 患者運(yùn)動想象檢測

在線測試階段,患者同樣根據(jù)自己的運(yùn)動意圖進(jìn)行運(yùn)動想象,通過在線系統(tǒng)理解患者的運(yùn)動意圖后,在VR虛擬場景中以動畫的效果通過虛擬人物運(yùn)動狀態(tài)來反饋患者當(dāng)前想象的運(yùn)動意圖結(jié)果,患者可以實(shí)時(shí)觀察VR場景中虛擬人物的運(yùn)動來調(diào)整后續(xù)狀態(tài)。

在線測試過程中對患者腦電信號的預(yù)處理和離線訓(xùn)練過程中腦電數(shù)據(jù)預(yù)處理相同,分別從時(shí)域和頻域多層次進(jìn)行濾波,去除患者腦電信號基線漂移和工頻干擾等。然后以窗長200 ms,步長200 ms的滑動窗口對患者原始的腦電信號進(jìn)行分片處理,接著提取患者腦電的共空間模式CSP特征,將提取到的特征再送入離線訓(xùn)練好的SVM分類器，識別患者的運(yùn)動意圖。

在滑動窗口分片處理、特征提取和SVM分類后,本系統(tǒng)還設(shè)計(jì)了一種獨(dú)特的后處理方法。將患者最后的若干次意圖理解結(jié)果加入由循環(huán)隊(duì)列構(gòu)成的運(yùn)動想象意圖理解決策池,統(tǒng)計(jì)出患者最大預(yù)測概率對應(yīng)的運(yùn)動意圖。如果該最大概率大于系統(tǒng)設(shè)定的閾值,在線運(yùn)動想象運(yùn)動意圖的理解將輸出該運(yùn)動意圖,患者可以實(shí)時(shí)觀察到VR場景中虛擬人物的運(yùn)動,調(diào)整后續(xù)狀態(tài);反之,則繼續(xù)累計(jì)最新的決策結(jié)果,直至得到足夠確信的運(yùn)動意圖理解才輸出檢測結(jié)果。本系統(tǒng)分別設(shè)置運(yùn)動想象意圖理解決策池大小為2,判定閾值為2。具體在線運(yùn)動意圖理解算法如算法1所示。

如算法1所示,患者在進(jìn)行運(yùn)動想象后,系統(tǒng)實(shí)時(shí)接收腦電信號數(shù)據(jù),獲得一定長度患者的腦電信號后,利用已訓(xùn)練的特征提取和分類模型計(jì)算患者的運(yùn)動意圖,并將該運(yùn)動意圖加入決策池,然后統(tǒng)計(jì)決策池中出現(xiàn)概率最大的決策結(jié)果。如果該結(jié)果對應(yīng)概率大于決策閾值,則系統(tǒng)理解為相應(yīng)的運(yùn)動意圖,更新虛擬現(xiàn)實(shí)場景動畫,患者通過觀察虛擬人物的運(yùn)動結(jié)果來訓(xùn)練自己運(yùn)動功能,隨后進(jìn)入下一片段腦電信號處理流程;反之,不輸出運(yùn)動意圖理解結(jié)果,直接進(jìn)入下一段處理流程。因此,在加入運(yùn)動想象意圖理解決策池后,只有系統(tǒng)足夠確信時(shí)才會輸出決策結(jié)果,而不是定時(shí)輸出。

算法1在線運(yùn)動意圖理解算法

輸入:運(yùn)動想象意圖理解決策池大小,決策閾值

step1 初始化運(yùn)動想象意圖理解決策池的大?。?/p>

循環(huán)step2～7：

step2 接收腦電波數(shù)據(jù)片段；

step3 計(jì)算CSP特征；

step4 SVM分類；

step5 加入決策池；

step6 計(jì)算最大概率運(yùn)動意圖對應(yīng)概率；

step7 if運(yùn)動意圖最大概率>決策閾值，輸出運(yùn)動意圖。

3 實(shí)驗(yàn)結(jié)果

為了測試本文所設(shè)計(jì)的基于鏡像神經(jīng)元理論的便攜式MI-VR BCI康復(fù)系統(tǒng)的輕量便攜性、感知患者運(yùn)動想象能力、反饋動畫沉浸度,以及在線實(shí)時(shí)反饋等方面的實(shí)現(xiàn)情況,并驗(yàn)證該康復(fù)系統(tǒng)的可行性，本文招募了10名平均年齡為23歲的在校大學(xué)生作為被試(模擬患者)進(jìn)行實(shí)驗(yàn),其中，包括6名男性和4名女性。實(shí)驗(yàn)前告知被試實(shí)驗(yàn)?zāi)康摹⒎椒ㄒ约皩?shí)驗(yàn)流程等細(xì)節(jié),并簽署被試知情同意書。實(shí)驗(yàn)時(shí)需要調(diào)節(jié)電極阻抗至10 kΩ以下,腦電帽電極為濕電極,采樣率為1 000 Hz。所有實(shí)驗(yàn)均采用8導(dǎo)的便攜式腦電帽進(jìn)行,采集與運(yùn)動神經(jīng)相關(guān)的8個(gè)腦電通道,包括F3、F4、FZ、C3、C4、P3、P4和PZ,選用便攜式腦電放大器放大腦電信號,VR眼鏡采用輕量化的EPSON(愛普生)BT-30C型號眼鏡,計(jì)算平臺為ARM Android平臺。

3.1 運(yùn)動想象模型離線性能測試

在離線過程中,共設(shè)置180試次實(shí)驗(yàn),并為防止被試在長時(shí)間實(shí)驗(yàn)過程中產(chǎn)生疲勞,每90試次后被試將休息3 min,單個(gè)試次實(shí)驗(yàn)流程如圖3所示。實(shí)驗(yàn)采集到被試想象左腿屈曲、右腿屈曲和空閑狀態(tài)的EEG數(shù)據(jù)各60試次。180試次后,屏幕示意結(jié)束。180試次中每個(gè)試次時(shí)長是固定的,先對采集到的信號按事件標(biāo)記進(jìn)行切片,然后按照8∶2劃分訓(xùn)練集與測試集,進(jìn)行離線的測試,分類器按事件標(biāo)記后200 ms固定時(shí)長輸出結(jié)果,其離線性能如表1所示,10名被試離線的平均準(zhǔn)確率為56.84%。不同被試受自身在離線過程中注意力集中度和運(yùn)動想象程度等因素的影響。

表1 10名被試離線的準(zhǔn)確率Tab.1 The accuracy of offline for 10 subjects

3.2 系統(tǒng)在線性能測試

與離線不同,在線階段對接收到的EEG信號增加了后處理操作,且增加了VR動畫功能。在線時(shí),系統(tǒng)會不間斷地實(shí)時(shí)獲取接收解析被試的EEG信號,然后經(jīng)過后處理操作進(jìn)行判斷，得到被試足夠確信的運(yùn)動意圖理解,當(dāng)系統(tǒng)檢測出被試此刻正在想象左腿屈曲時(shí),VR場景中正在跑步的虛擬人物則會向左拐跑步;當(dāng)系統(tǒng)檢測出被試在想象右腿屈曲時(shí),虛擬人物則會向右拐跑步;當(dāng)檢測出空閑狀態(tài),VR中的虛擬人物保持當(dāng)前行進(jìn)方向不變。被試在測試時(shí)隨機(jī)想象3種狀態(tài)共30次,然后記錄被試所想象的狀態(tài)是否和VR場景中虛擬人物的運(yùn)動狀態(tài)一致,最后，計(jì)算10名被試在線的平均準(zhǔn)確率為86%,其結(jié)果如表2所示。在線跟離線相比增加了后處理操作和VR動畫,帶有后處理的在線性能高于離線單純分類器性能。

在實(shí)驗(yàn)過程中,給患者(被試)所佩戴的設(shè)備輕量且便攜,極大減少了對患者的干擾,使患者處在一個(gè)舒適的環(huán)境中。由表1和表2可知,離線的平均準(zhǔn)確率為56.84%,在線的平均準(zhǔn)確率為86%,在線測試時(shí)增加了后處理過程,只有在置信度足夠高時(shí)才輸出,使得檢測的結(jié)果更為可信,且增加了實(shí)時(shí)的VR場景給予患者觀察,從而提升系統(tǒng)的性能。系統(tǒng)形成“患者想象、系統(tǒng)檢測、VR動畫、患者觀察”實(shí)時(shí)閉環(huán),患者可以根據(jù)實(shí)時(shí)觀察到VR中虛擬人物的行為，有針對性地調(diào)整后續(xù)狀態(tài)。該康復(fù)系統(tǒng)中高沉浸的VR環(huán)境促進(jìn)了患者鏡像神經(jīng)元的激活。實(shí)驗(yàn)表明,本文所設(shè)計(jì)的輕量便攜康復(fù)系統(tǒng)能夠較好地實(shí)現(xiàn)系統(tǒng)的各種功能,且順利達(dá)成所設(shè)計(jì)的實(shí)驗(yàn)，驗(yàn)證了系統(tǒng)是可行的。

表2 10名被試在線的準(zhǔn)確率Tab.2 The accuracy of the online for 10 subjects

4 結(jié)語

針對基于鏡像神經(jīng)元理論的運(yùn)動康復(fù),本文選用廉價(jià)和便攜的設(shè)備以BCI和VR技術(shù)為基礎(chǔ),設(shè)計(jì)了一套可以精確感知患者運(yùn)動想象程度和即時(shí)高沉浸地展示患肢運(yùn)動的康復(fù)系統(tǒng)。通過在實(shí)驗(yàn)室模擬場景對正常人進(jìn)行實(shí)驗(yàn),本文驗(yàn)證了系統(tǒng)能在患者正確想象患肢運(yùn)動后在VR場景中展示對應(yīng)側(cè)患肢運(yùn)動供患者觀察,多次激活鏡像神經(jīng)元系統(tǒng),最終達(dá)到康復(fù)效果。本系統(tǒng)輕量便攜、造價(jià)低廉、感知患者運(yùn)動想象精確、反饋動畫沉浸度高,對患者便捷使用及康復(fù)有很大意義。