趙 欣 陳志堂 王 坤 王仲朋 周 鵬 綦宏志
(天津大學(xué)精密儀器與光電子工程學(xué)院生物醫(yī)學(xué)工程系,天津 300072)
腦-機(jī)接口(brain-computer interface, BCI)是一個(gè)通過(guò)檢測(cè)中樞神經(jīng)系統(tǒng)活動(dòng)、并將其轉(zhuǎn)化為人工輸出的系統(tǒng),它能夠替代、修復(fù)、增強(qiáng)、補(bǔ)充或者改善中樞神經(jīng)系統(tǒng)的正常輸出,從而改變中樞神經(jīng)系統(tǒng)與內(nèi)外環(huán)境之間的交互作用[1]。得益于BCI技術(shù)的優(yōu)勢(shì),對(duì)于思維正常但患有神經(jīng)肌肉疾病或嚴(yán)重殘疾的患者,可以重新獲得運(yùn)動(dòng)或與環(huán)境交流的能力,提高生活質(zhì)量;對(duì)于健康人群來(lái)說(shuō),BCI技術(shù)可以帶來(lái)前所未有的感官體驗(yàn),有助于其提高注意力或提供更多的控制手段。因此,BCI技術(shù)在醫(yī)療康復(fù)、娛樂(lè)學(xué)習(xí)、軍事應(yīng)用等領(lǐng)域具有重要的應(yīng)用前景。目前,主流的BCI范式包括基于P300電位、穩(wěn)態(tài)視覺(jué)誘發(fā)電位(steady-state visual evoked potentials, SSVEP)和運(yùn)動(dòng)想象(motor imagery, MI)的BCI系統(tǒng)。前兩種范式屬于反應(yīng)式BCI,其解碼的誘發(fā)腦電信號(hào),是大腦對(duì)外部刺激條件產(chǎn)生特定的響應(yīng);而MI-BCI是主動(dòng)式BCI,輸出的控制信號(hào)反映大腦的隨意性活動(dòng),不依賴(lài)于外部事件,與人的運(yùn)動(dòng)意圖密切相關(guān)。反應(yīng)式BCI最大的優(yōu)勢(shì)在于信號(hào)穩(wěn)定,無(wú)需使用者進(jìn)行專(zhuān)門(mén)的訓(xùn)練,可操作性強(qiáng),大大拓展了BCI系統(tǒng)的適用范圍。然而,反應(yīng)式BCI不受使用者本身直接調(diào)制,不僅需要依賴(lài)于外部刺激,而且需要使用者集中注意力,無(wú)法實(shí)現(xiàn)真正意義上的“所思即所動(dòng)”。MI-BCI作為主動(dòng)式BCI最為常用的范式,由于其不需要外部刺激,更能反映使用者自主的意圖,因而得到研究者們的廣泛關(guān)注。
人的運(yùn)動(dòng)具有復(fù)雜性,包括簡(jiǎn)單的移位和高級(jí)活動(dòng)(如語(yǔ)言、繪畫(huà)等),都是在以神經(jīng)系統(tǒng)支配下肌肉收縮而實(shí)現(xiàn)的。MI是一種主觀運(yùn)動(dòng)意圖,無(wú)需外界條件刺激和明顯的動(dòng)作輸出就能誘發(fā)大腦感覺(jué)運(yùn)動(dòng)皮層的特定響應(yīng)。目前,腦電(electroencephalography, EEG)常用于記錄大腦活動(dòng)。對(duì)于EEG而言,MI能誘發(fā)大腦初級(jí)運(yùn)動(dòng)區(qū)mu節(jié)律和beta節(jié)律的事件相關(guān)去同步/同步現(xiàn)象(event-related desynchronization/synchronization, ERD/ERS),即某些特定頻率成分的能量衰減或增強(qiáng);通過(guò)解析不同特征變化所對(duì)應(yīng)的MI任務(wù),了解用戶(hù)真正運(yùn)動(dòng)意圖,因此MI可作為一種BCI系統(tǒng)的控制策略。
MI-BCI系統(tǒng)發(fā)展至今,其應(yīng)用場(chǎng)景非常廣泛,不僅可以實(shí)現(xiàn)日常的交流與自主控制,如字符拼寫(xiě)[2]、計(jì)算機(jī)光標(biāo)控制[3]、假肢、機(jī)械臂和輪椅[4-5]等,而且更重要的是其在中風(fēng)康復(fù)領(lǐng)域的臨床應(yīng)用。中風(fēng)康復(fù)治療的神經(jīng)生理學(xué)機(jī)制是中樞神經(jīng)系統(tǒng)的可塑性,學(xué)習(xí)訓(xùn)練過(guò)程中的重復(fù)性反饋刺激可以使神經(jīng)元突觸之間的聯(lián)系加強(qiáng),進(jìn)而在大腦皮層上逐步實(shí)現(xiàn)修復(fù)、代償和重建等康復(fù)效應(yīng)。MI能夠通過(guò)募集和強(qiáng)化未受損神經(jīng)元的活性來(lái)促進(jìn)受損腦區(qū)和神經(jīng)通路的重組,由于其要求使用者主動(dòng)參與,相對(duì)于被動(dòng)式的刺激,主動(dòng)參與帶來(lái)的中樞神經(jīng)系統(tǒng)可塑性的誘導(dǎo)效應(yīng)更強(qiáng)[6]。2011年,Caria等首次從臨床和神經(jīng)影像學(xué)兩方面驗(yàn)證了MI-BCI的康復(fù)效果,其結(jié)果呈現(xiàn)了大腦可塑性功能恢復(fù)的證據(jù)[7]。在2016年的一篇綜述中,Remsik等回顧了17個(gè)獨(dú)立的MI-BCI中風(fēng)康復(fù)治療研究,其中有16個(gè)研究都產(chǎn)生了明顯的治療效果[8];同樣地,國(guó)內(nèi)也有多個(gè)研究組陸續(xù)開(kāi)展這方面的研究,如李明芬等報(bào)道了MI-BCI系統(tǒng)對(duì)腦卒中患者上肢運(yùn)動(dòng)功能的影響,以及劉小燮等研究了該系統(tǒng)對(duì)腦卒中大腦可塑性的影響等[9-10];筆者所在團(tuán)隊(duì)研發(fā)的MI-BCI-FES“神工”系統(tǒng),在多例中風(fēng)患者中取得了良好的康復(fù)效果。眾多的研究表明,MI在神經(jīng)康復(fù)治療方面的巨大潛力和優(yōu)勢(shì)。
然而,盡管MI-BCI已經(jīng)發(fā)展多年,但其仍面臨著許多問(wèn)題和挑戰(zhàn)。主要包括以下幾個(gè)方面:一是誘發(fā)生理信號(hào)空間分辨率低。由于腦電信噪比低、容易受到干擾等特性導(dǎo)致了基于EEG信號(hào)的MI任務(wù)辨識(shí)精度不足,這不僅無(wú)法實(shí)現(xiàn)精確控制,而且還導(dǎo)致輸出指令集有限、與實(shí)際動(dòng)作不一致的困境,限制了MI-BCI的應(yīng)用范圍。二是用戶(hù)訓(xùn)練時(shí)間長(zhǎng)。由于MI誘發(fā)腦電信號(hào)個(gè)體差異性大,難以建立有效的通用模型,目前的MI-BCI系統(tǒng)需要用戶(hù)經(jīng)過(guò)不同程度的訓(xùn)練才能熟練使用。三是異步MI-BCI系統(tǒng)難以有效實(shí)現(xiàn)。BCI系統(tǒng)根據(jù)操作方式的不同可分為同步和異步。同步系統(tǒng)則要求被試根據(jù)外部提示執(zhí)行任務(wù),相反的異步系統(tǒng)則不需要被試按照提示執(zhí)行任務(wù),可根據(jù)使用者自身意愿執(zhí)行任意任務(wù),真正做到心隨意動(dòng)。
筆者簡(jiǎn)要闡述了MI相關(guān)腦機(jī)制的研究,然后就目前MI-BCI系統(tǒng)研究存在的問(wèn)題討論其解決方案及研究現(xiàn)狀,最后介紹其相關(guān)應(yīng)用并展望其未來(lái)發(fā)展趨勢(shì),共同促進(jìn)MI-BCI的深入研究與開(kāi)發(fā)應(yīng)用。
MI在臨床和神經(jīng)科學(xué)研究中發(fā)揮著重要作用。多年來(lái),腦成像技術(shù)已被廣泛用于深入研究MI和運(yùn)動(dòng)執(zhí)行(motor execution, ME)的神經(jīng)元表征,眾多的研究表明,MI和ME激活了類(lèi)似的腦區(qū),例如輔助運(yùn)動(dòng)區(qū)(supplementary motor area, SMA)和下頂葉的主運(yùn)動(dòng)皮層(primary motor cortex, M1)等[11-12]。最近,人們?cè)絹?lái)越關(guān)注激活的大腦區(qū)域之間的有效連接。Kasess等通過(guò)動(dòng)態(tài)因果模型測(cè)量SMA和M1之間有效連接性,結(jié)果顯示在MI條件下SMA對(duì)M1具有強(qiáng)烈的抑制作用[13]。2011年,Gao等通過(guò)條件格蘭杰因果檢驗(yàn)和圖論的方法探索MI和ME激活的重疊核心腦區(qū)之間的有效連接網(wǎng)絡(luò),研究結(jié)果可能表明ME和MI之間的因果網(wǎng)絡(luò)轉(zhuǎn)換。同時(shí)ME期間比MI具有更多的因果關(guān)系說(shuō)明ME網(wǎng)絡(luò)可能具有一些額外的連接以執(zhí)行明顯的物理運(yùn)動(dòng)[14]。
心理測(cè)量、神經(jīng)解剖學(xué)和神經(jīng)生理學(xué)特征被相繼提出用于研究與基于感覺(jué)運(yùn)動(dòng)節(jié)律(sensorimotor rhythm, SMR)的BCI系統(tǒng)性能變化相關(guān)的神經(jīng)機(jī)制。Hammer等計(jì)算了SMR-BCI的在線(xiàn)分類(lèi)正確率與各種心理測(cè)試的相關(guān)性,包括視覺(jué)-運(yùn)動(dòng)協(xié)調(diào)、注意力跨度和智力等,研究結(jié)果表明,視覺(jué)-運(yùn)動(dòng)協(xié)調(diào)能力和專(zhuān)注力都與系統(tǒng)的分類(lèi)正確率呈顯著正相關(guān)[15]。隨后,Halder等研究了白質(zhì)結(jié)構(gòu)與SMR-BCI性能之間關(guān)系,結(jié)果表明,深部白質(zhì)結(jié)構(gòu)的完整性和髓鞘質(zhì)量均與性能呈正相關(guān)[16]。眾多的研究表明,SMR-BCI的性能與靜息狀態(tài)時(shí)SMR的幅值有關(guān)[17-18],盡管SMR-BCI個(gè)體間性能差異的神經(jīng)機(jī)制還不清楚,但是尋找可靠的生物標(biāo)記物來(lái)預(yù)測(cè)SMR-BCI的性能具有重要價(jià)值。2015年,Zhang等研究發(fā)現(xiàn),從C3導(dǎo)聯(lián)獲得的閉眼靜息狀態(tài)的EEG頻譜熵與SMR-BCI性能具有高度相關(guān)性,因此可作為生物標(biāo)志物預(yù)測(cè)被試的表現(xiàn)[19];同年,該團(tuán)隊(duì)進(jìn)一步通過(guò)靜息狀態(tài)EEG研究離線(xiàn)MI-BCI的性能變化,結(jié)果表明,平均功能連通性、節(jié)度點(diǎn)、邊緣強(qiáng)度、聚類(lèi)系數(shù)、局部效率和全局效率與MI分類(lèi)精度正相關(guān),而特征路徑長(zhǎng)度與MI分類(lèi)精度負(fù)相關(guān),說(shuō)明了有效的EEG網(wǎng)絡(luò)背景可以促進(jìn)MI-BCI性能,同時(shí)揭示了MI-BCI的網(wǎng)絡(luò)機(jī)制,可能有助于找到改善MI-BCI表現(xiàn)的新策略[20]。
最近的一項(xiàng)研究中,Gong等首次采用彌散核磁共振成像技術(shù)(magnetic resonance imaging, MRI)對(duì)MI誘發(fā)的ERD結(jié)構(gòu)特征進(jìn)行研究,研究結(jié)果表明,白質(zhì)回路的特征,包括主軀體感覺(jué)皮層上的白質(zhì)連接強(qiáng)度和位置對(duì)ERD均有顯著影響,同時(shí),基底核與主軀體感覺(jué)皮層之間白質(zhì)連接的回溝比與ERD呈正相關(guān)。該研究提供了人腦結(jié)構(gòu)和動(dòng)態(tài)生理特征之間的耦合機(jī)制,有助于理解MI-BCI中個(gè)體性能的差異性[21]。
總的來(lái)說(shuō),MI相關(guān)腦機(jī)制的研究有助于進(jìn)一步了解大腦在執(zhí)行MI任務(wù)時(shí)的工作原理,為改善MI-BCI的系統(tǒng)性能提供生理學(xué)依據(jù)。未來(lái)更深入研究的腦機(jī)制有望推動(dòng)腦科學(xué)的發(fā)展。
MI-BCI系統(tǒng)通過(guò)檢測(cè)并量化用戶(hù)運(yùn)動(dòng)意圖的大腦信號(hào),并將其轉(zhuǎn)化為輸出控制指令,實(shí)現(xiàn)用戶(hù)的控制目的[22]。其系統(tǒng)通常包括信號(hào)采集、信號(hào)處理和輸出設(shè)備三部分。為了提高M(jìn)I-BCI系統(tǒng)的整體性能,包括輸出指令集、識(shí)別正確率、普適性等,研究人員從信號(hào)采集和處理等方面開(kāi)展了大量研究工作。本節(jié)分別從高密度與植入性電極陣列信號(hào)采集、信號(hào)處理算法優(yōu)化和MI-BCI范式的創(chuàng)新等方面進(jìn)行闡述。
為了解決腦電信號(hào)空間分辨率低的問(wèn)題,研究者們?cè)谠袑?dǎo)聯(lián)的基礎(chǔ)上,探究了高密度電極采集信號(hào)的可行性,旨在獲取足夠的腦電信息用于解碼用戶(hù)的真正意圖。高密度電極包括無(wú)創(chuàng)和有創(chuàng)兩種,其采集的分別是大腦頭皮的EEG信號(hào)和大腦皮層的電信號(hào)(electrocorticographic, ECoG)。目前,實(shí)驗(yàn)室研究腦電活動(dòng)通常使用國(guó)際標(biāo)準(zhǔn)的64導(dǎo)聯(lián)系統(tǒng)[23],由于其記錄的腦電信號(hào)有限,近年來(lái)多通道EEG硬件系統(tǒng)的進(jìn)步使得高密度導(dǎo)聯(lián)的研究得到廣泛關(guān)注,高密度的EEG信號(hào)采集有利于識(shí)別腦電信號(hào)的顱內(nèi)信號(hào)源,實(shí)現(xiàn)更準(zhǔn)確的信息解碼。
Joseph等通過(guò)采集264導(dǎo)EEG信號(hào),并結(jié)合獨(dú)立成分分析(independent component analysis, ICA)對(duì)5名被試的同側(cè)膝蓋和腳踝動(dòng)作進(jìn)行區(qū)分,研究表明,結(jié)合高密度腦電信號(hào)的ICA混合模型能有效識(shí)別同側(cè)腦半球內(nèi)控制不同肢體的運(yùn)動(dòng)任務(wù),說(shuō)明相比于傳統(tǒng)導(dǎo)聯(lián)采集,高密度采集包含更多有用的信息幫助研究者更好地了解用戶(hù)意圖[24]。類(lèi)似地,128、256導(dǎo)聯(lián)腦電采集分別被用于評(píng)估不同神經(jīng)反饋訓(xùn)練的效果和不同任務(wù)下的大腦激活情況,研究結(jié)果均表明了高密度腦電信號(hào)的潛在優(yōu)勢(shì)[25-26]。
除了無(wú)創(chuàng)的高密度電極采集之外,在過(guò)去的10年中,越來(lái)越多的研究探索了植入性高密度電極陣列的使用,其采集的ECoG信號(hào)是通過(guò)將電極陣列放置于顱骨或硬膜下方,而不是在大腦軟細(xì)胞組織中獲得的。相比于從頭皮(EEG)和細(xì)胞組織單個(gè)神經(jīng)元記錄獲得的信號(hào),ECoG具有高空間分辨率、高信號(hào)保真度、抗噪聲強(qiáng)等特性。從表現(xiàn)和臨床角度來(lái)看,ECoG最大限度地減少了傳統(tǒng)無(wú)創(chuàng)和侵入式信號(hào)采集技術(shù)的局限性?;贓EG的BCI系統(tǒng)雖然得到廣泛應(yīng)用,但通常需要用戶(hù)大量的訓(xùn)練,并且其性能往往不可靠;基于局部場(chǎng)電位的BCI系統(tǒng)雖然可以實(shí)現(xiàn)高水平的多維控制,但是仍然存在著皮層內(nèi)電極長(zhǎng)期功能穩(wěn)定性的問(wèn)題。盡管ECoG具有較強(qiáng)的優(yōu)勢(shì),但是安置電極陣列仍需進(jìn)行顱內(nèi)手術(shù),因此基于ECoG在人類(lèi)身上研究的經(jīng)驗(yàn)非常有限,到目前為止,大多數(shù)的人類(lèi)研究主要集中在難治性的癲癇患者身上。2004年,Leuthardt等首次報(bào)道了基于ECoG的BCI在線(xiàn)研究。4名被試使用不同的實(shí)際或MI任務(wù)來(lái)控制一維光標(biāo)移動(dòng)到目標(biāo)地點(diǎn)。研究結(jié)果表明,ECoG在用戶(hù)訓(xùn)練很少的情況下可以支持準(zhǔn)確的BCI操作。此外,該項(xiàng)研究還提供了初步的證據(jù)首次證明了ECoG信號(hào)中包含有關(guān)手部運(yùn)動(dòng)方向的信息,為準(zhǔn)確推斷出運(yùn)動(dòng)功能的具體細(xì)節(jié)提供依據(jù)[27]。隨后,Demirer等在前人研究的基礎(chǔ)上,提出了一種基于多維度Hilbert-SVM的混合方法,除了分類(lèi)策略上有所變化外,該研究還提出了動(dòng)態(tài)導(dǎo)聯(lián)選擇的方法,使得導(dǎo)聯(lián)的信息能被有效利用。結(jié)果顯示同樣的左手小指和舌頭MI任務(wù),其識(shí)別正確率最高可達(dá)到95%[28]。以上研究表明,植入性高密度電極陣列采集的ECoG信號(hào)包含更精細(xì)的反映用戶(hù)意圖的信息。
植入性電極陣列有效提高信號(hào)質(zhì)量的同時(shí),Blakely等發(fā)現(xiàn)用戶(hù)在具有固定參數(shù)的ECoG-BCI系統(tǒng)中5天內(nèi)均表現(xiàn)良好,由此證實(shí)了ECoG特征的穩(wěn)定性[29]。越來(lái)越多的ECoG-BCI在實(shí)際控制中得到應(yīng)用,Schalk等首次報(bào)道了ECoG-BCI的二維控制研究,而EEG-BCI達(dá)到同等的效果通常需要更多的訓(xùn)練[30]。除了運(yùn)動(dòng)控制外,包括字符選擇[31]、矩陣拼寫(xiě)器[32]等目標(biāo)選擇任務(wù),相比于EEG-BCI[33],ECoG-BCI均表現(xiàn)出優(yōu)異的性能。最近的幾項(xiàng)研究中,Chestek等表明ECoG含有足夠的信息來(lái)解碼手部復(fù)雜運(yùn)動(dòng),包括手勢(shì)和不同手指運(yùn)動(dòng)[34]。隨后Kapeller等通過(guò)MI任務(wù)控制機(jī)器人成功拿起罐子,達(dá)到了95.4%的正確率[35]。這些結(jié)果將有利于中風(fēng)患者抓握功能的精確恢復(fù)。ECoG-BCI在肢體障礙患者與計(jì)算機(jī)、機(jī)械臂等交互方面顯示了巨大的成功,因此在受到了廣泛關(guān)注的同時(shí)還有許多機(jī)構(gòu)將其作為增強(qiáng)人類(lèi)大腦功能的技術(shù)手段進(jìn)行研究。然而,由于電極植入大腦后的最佳性能和不可預(yù)見(jiàn)的副作用尚未得到充分驗(yàn)證,因此在應(yīng)用過(guò)程中仍需保持謹(jǐn)慎的態(tài)度。
歸納以上研究結(jié)果可知,不論是無(wú)創(chuàng)的高密度導(dǎo)聯(lián)采集系統(tǒng)還是植入性電極陣列,均能有效提高M(jìn)I-BCI的空間分辨率,對(duì)促進(jìn)MI-BCI的發(fā)展具有潛在的優(yōu)勢(shì)。同時(shí)由于不便攜和有創(chuàng)等局限,未來(lái)仍需大量的實(shí)驗(yàn)對(duì)系統(tǒng)的完善和評(píng)估等工作進(jìn)行研究。
除了從信號(hào)采集方式上提高信號(hào)的信噪比外,科學(xué)家們對(duì)信號(hào)處理算法的優(yōu)化也做出了大量的研究工作。信號(hào)處理是MI-BCI系統(tǒng)中重要的環(huán)節(jié),主要包括特征提取和分類(lèi)算法的設(shè)計(jì)。對(duì)于MI任務(wù)下頻域和空間信息特征的提取,常用的方法包括譜分析、自回歸[36]和共空間模式(common spatial pattern, CSP)[37]以及源重建等。CSP算法在提高M(jìn)I分類(lèi)性能中得到廣泛應(yīng)用,盡管該算法能使不同MI任務(wù)的信號(hào)差異最大化,從而提取可分的特征,但其很大程度上取決于濾波頻帶的選擇,而被試的個(gè)體差異性導(dǎo)致了最優(yōu)頻帶的選擇面臨很大的困難。最近的一項(xiàng)研究中,Zhang等介紹了一種新的方法,該方法在CSP基礎(chǔ)上引入了稀疏貝葉斯學(xué)習(xí)算法用于有效特征的選擇,實(shí)驗(yàn)結(jié)果表明了該方法的有效性,有望開(kāi)發(fā)出有效的分類(lèi)器改善MI分類(lèi)性能[38]。運(yùn)用最新發(fā)展的EEG源成像技術(shù),許多關(guān)于提高運(yùn)動(dòng)相關(guān)節(jié)律空間分辨率的研究被相繼報(bào)道。Han等采用頻域中最小范數(shù)估計(jì)的方法對(duì)運(yùn)動(dòng)相關(guān)的皮質(zhì)節(jié)律調(diào)制進(jìn)行源分析,實(shí)現(xiàn)了對(duì)光標(biāo)可靠的一維控制[39]。最近一項(xiàng)研究中,Bradley等應(yīng)用擴(kuò)展的EEG源成像技術(shù)對(duì)右手四個(gè)復(fù)雜的MI任務(wù)進(jìn)行識(shí)別。研究結(jié)果表明,相比于傳統(tǒng)的方法,總體識(shí)別率提高了12.7%。進(jìn)一步說(shuō)明了EEG源成像技術(shù)能夠提高BCI解碼復(fù)雜右手運(yùn)動(dòng)想象的性能,促進(jìn)無(wú)創(chuàng)BCI的廣泛使用[40]。
MI-BCI系統(tǒng)中常見(jiàn)的分類(lèi)算法包括線(xiàn)性判別分析(linear discriminant analysis, LDA)、支持向量機(jī)(support vector machine, SVM)、人工神經(jīng)網(wǎng)絡(luò)(artificial neural networks, ANNs)和模糊系統(tǒng)[41]等,其中LDA和ANNs是應(yīng)用最廣泛的[42]。2009年,Lei等提出了一種經(jīng)驗(yàn)貝葉斯線(xiàn)性判別方法,能夠同時(shí)融合神經(jīng)生理和實(shí)驗(yàn)中有用的先驗(yàn)信息,結(jié)果表明,該方法比傳統(tǒng)的LDA和SVM均具有較優(yōu)的正確率和魯棒性[43]。過(guò)去十幾年,研究人員分析了不同類(lèi)型的ANNs,在不同ANNs的架構(gòu)中,最常用的架構(gòu)是多層感知器(multilayer perceptron, MLP)。這種MLP具有近似任何函數(shù)的能力,然而當(dāng)設(shè)計(jì)高噪聲水平的EEG信號(hào)時(shí),可能會(huì)導(dǎo)致過(guò)度擬合的問(wèn)題[44]。最近的一項(xiàng)研究中,Hettiarachchi等研究了功能鏈神經(jīng)網(wǎng)絡(luò)作為MI-BCI應(yīng)用多類(lèi)分類(lèi)器的適用情況,結(jié)果表明,該方法不僅能有效彌補(bǔ)MLP的缺陷,而且與各分類(lèi)器相比表現(xiàn)出最佳性能,可用于實(shí)時(shí)MI-BCI控制[45]。近年來(lái),深度學(xué)習(xí)分類(lèi)器越來(lái)越受歡迎。深度學(xué)習(xí)是指多層組成的人工神經(jīng)網(wǎng)絡(luò)(deep artificial neural network, DNN)。DNN通過(guò)增加計(jì)算能力和學(xué)習(xí)算法,可以執(zhí)行非常復(fù)雜的非線(xiàn)性變換分類(lèi),達(dá)到了前所未有的復(fù)雜分類(lèi)結(jié)果[46]。2018年,Chiarelli等將EEG-fNIRS混合范式與最新的深度學(xué)習(xí)算法相結(jié)合,評(píng)估了多模態(tài)記錄中DNN分類(lèi)算法的準(zhǔn)確率。結(jié)果表明,結(jié)合先進(jìn)的非線(xiàn)性DNN分類(lèi)程序,可以顯著改善BCI的性能[47]。
由于傳統(tǒng)的信號(hào)處理算法需要大量的數(shù)據(jù)用于訓(xùn)練分類(lèi)器,因此MI-BCI需要較長(zhǎng)的時(shí)間來(lái)記錄足夠的數(shù)據(jù),導(dǎo)致其效率低下,容易引起疲勞。為了解決這個(gè)問(wèn)題,研究人員嘗試從其他用戶(hù)的數(shù)據(jù)中提取有用的特征,以縮短當(dāng)前用戶(hù)的數(shù)據(jù)采集時(shí)間。2018年,Jiao等提出了一種新穎的稀疏群表征模型,通過(guò)跨被試信息來(lái)提高M(jìn)I-BCI的效率,結(jié)果表明能有效減少目標(biāo)用戶(hù)所需的訓(xùn)練樣本[48]。同年,Hossain等設(shè)計(jì)了一種信息和直接遷移學(xué)習(xí)方法的最佳組合,顯著地減少了新用戶(hù)訓(xùn)練數(shù)據(jù)的需求[49]。同樣地,Dai等通過(guò)直接匹配新用戶(hù)和其他用戶(hù)的特征分布來(lái)學(xué)習(xí)一個(gè)域不變內(nèi)核,提出一種遷移內(nèi)核CSP算法。結(jié)果表明,相比于其他算法,該方法能顯著提高BCI系統(tǒng)的工作效率,特別是在訓(xùn)練數(shù)據(jù)較少的情況下[50]。
從以上研究發(fā)現(xiàn),信號(hào)處理算法的優(yōu)化不僅能有效地提高頭皮腦電的空間分辨率,而且能縮短用戶(hù)訓(xùn)練時(shí)間,為MI-BCI系統(tǒng)中更高效、更復(fù)雜的運(yùn)動(dòng)意圖識(shí)別提供可行的解決方案。未來(lái)隨著計(jì)算機(jī)硬件技術(shù)的發(fā)展、計(jì)算機(jī)運(yùn)算能力的提升,更多算法研究將得到廣泛應(yīng)用。
除了在信號(hào)采集和信號(hào)處理方面的探索,研究者們開(kāi)始對(duì)范式的設(shè)計(jì)進(jìn)行不斷創(chuàng)新。直到2010年,混合范式的出現(xiàn)引起了人們極大的關(guān)注,混合BCI范式通過(guò)結(jié)合兩種(兩種以上)的信號(hào)或同一信號(hào)的兩種特征實(shí)現(xiàn)比單一BCI范式更優(yōu)異的性能[51]。EEG由于便攜和時(shí)間分辨率高而被廣泛地與其他模式信號(hào)結(jié)合使用,例如功能性近紅外光譜(functional near infrared spectroscopy, fNIRS)、肌電(electromyography, EMG)、眼電(electrooculography, EOG)等。Fazli等首次證明,EEG-NIRS的混合范式能有效提高M(jìn)I任務(wù)的識(shí)別正確率[52]。Blokland等在隨后的研究中也證明,該混合范式能精確解碼運(yùn)動(dòng)意圖[53]。類(lèi)似的研究還包括EEG-EMG[54]以及EEG-EOG[55]組合的混合范式,研究結(jié)果均證明了混合范式能有效提高傳統(tǒng)BCI的性能,有望促進(jìn)BCI系統(tǒng)的發(fā)展。
混合范式的主要目的包含兩個(gè):增加控制指令的數(shù)量和提高BCI的分類(lèi)精度。除了不同信號(hào)的融合外,同一信號(hào)的不同特征融合也被廣泛研究,本節(jié)以MI為基礎(chǔ),闡述了MI特征與其他EEG特征融合的研究現(xiàn)狀。目前主要的研究集中在MI與視覺(jué)誘發(fā)的大腦響應(yīng)之間的融合,即MI-SSVEP和MI-P300。相關(guān)研究指出,MI-SSVEP不僅能有效降低控制機(jī)械臂抓握的假陽(yáng)率[56],準(zhǔn)確控制輪椅的運(yùn)動(dòng)與速度[57],而且能幫助脊柱損傷患者通過(guò)BCI系統(tǒng)精準(zhǔn)控制脊柱假肢完成相應(yīng)動(dòng)作[58]。盡管只有少數(shù)關(guān)于MI-SSVEP的研究出現(xiàn),但他們已經(jīng)成功地證明了該混合范式在控制應(yīng)用和康復(fù)訓(xùn)練領(lǐng)域的巨大優(yōu)勢(shì)。相比于MI-SSVEP,MI-P300的混合范式已經(jīng)被廣泛設(shè)計(jì)用于現(xiàn)實(shí)生活中。Li等將MI-P300應(yīng)用于屏幕上光標(biāo)二維移動(dòng)的控制,平均正確率達(dá)到了90.75%[59];Long等在此基礎(chǔ)上添加了目標(biāo)選擇或拒絕的功能,實(shí)現(xiàn)了多功能的準(zhǔn)確控制[60]。Bhattacharyya等則采用這種混合范式幫助患者控制機(jī)器人手臂運(yùn)動(dòng),實(shí)現(xiàn)更優(yōu)異的康復(fù)效果[61]。
從上述研究不難看出,MI-SSVEP或MI-P300在提高識(shí)別正確率和拓展指令集等方面具有顯著的效果,然而混合范式引入的視覺(jué)刺激,不僅容易引起視覺(jué)疲勞和注意資源的競(jìng)爭(zhēng),而且不適用于眼動(dòng)障礙患者。因此,研究者們致力于探索更優(yōu)的解決方案。過(guò)去十幾年,運(yùn)動(dòng)起始視覺(jué)誘發(fā)電位(motion-onset visual evoked potential, mVEP)在人體運(yùn)動(dòng)處理的基礎(chǔ)研究中得到廣泛研究[62],然而并未在BCI研究中得到應(yīng)用,相比其他視覺(jué)刺激誘發(fā)電位,mVEP具有較低的個(gè)體差異性和較大的幅值,對(duì)視覺(jué)刺激的對(duì)比度和亮度不敏感,在2%的對(duì)比度和0.003 cd·m-2的低亮度下足以引起顯著的mVEP,因此Brunner等認(rèn)為該電位似乎是BCI應(yīng)用中最有希望的信號(hào)[63]。2008年,Guo等首次研究了mVEP在BCI中的應(yīng)用,實(shí)驗(yàn)結(jié)果表明,基于mVEP的BCI系統(tǒng)能夠在在線(xiàn)控制中實(shí)現(xiàn)高信息傳輸率[64]。最近的一項(xiàng)研究中,Ma等通過(guò)融合MI和mVEP的混合BCI系統(tǒng),以更舒適的模式實(shí)現(xiàn)了對(duì)光標(biāo)更自然和更有效的控制[65]。盡管mVEP能夠緩解其他視覺(jué)刺激引起的視覺(jué)疲勞,然而MI作為一種主動(dòng)式BCI范式,額外引入的視覺(jué)刺激要求用戶(hù)同時(shí)執(zhí)行兩種任務(wù),導(dǎo)致用戶(hù)操作困難。
近些年來(lái),穩(wěn)態(tài)體感誘發(fā)電位(steady-state somatosensory evoked potential,SSSEP)被提出來(lái),該電位通過(guò)施加在身體皮膚表面的體感刺激誘發(fā),注意力的轉(zhuǎn)移會(huì)對(duì)這種電位產(chǎn)生調(diào)制作用,從而建立起基于SSSEP的BCI系統(tǒng)[66]。研究表明,有體感刺激的SSSEP-BCI或無(wú)體感刺激的SSSEP-BCI均與MI-BCI具有相當(dāng)?shù)男阅躘67],因此新型的MI-SSSEP混合范式被提出來(lái)[68]。Ahn等的研究表明,相比于傳統(tǒng)的MI-BCI,混合范式對(duì)左右手MI任務(wù)的識(shí)別正確率提高了約10%[69]。同年,Yao等也證明了此觀點(diǎn),該種混合范式具有顯著的優(yōu)異性能[70]。Yi等采用電刺激代替振蕩刺激組成MI-SSSEP混合范式,同樣證明了基于融合特征的識(shí)別正確率顯著高于僅使用一種特征的識(shí)別正確率[71]。在MI-SSSEP混合范式下,被試進(jìn)行MI任務(wù)時(shí)注意力集中在不同肢體部位,自然引起SSSEP的調(diào)制,因此無(wú)需消耗額外的注意力來(lái)關(guān)注體感刺激,對(duì)于被試來(lái)說(shuō)不增加操作的復(fù)雜度和注意資源的競(jìng)爭(zhēng)。因此,這種新型混合范式對(duì)于完善發(fā)展先進(jìn)的MI-BCI系統(tǒng)具有潛在的優(yōu)勢(shì)。
總的來(lái)說(shuō),混合范式的創(chuàng)新設(shè)計(jì)對(duì)于提升當(dāng)前MI-BCI的整體性能均具有重要的意義。未來(lái)仍需進(jìn)一步研究?jī)?yōu)化混合范式系統(tǒng),以提高系統(tǒng)的穩(wěn)定性和實(shí)用性。
目前,BCI可以分為同步和異步兩種工作模式。在同步BCI中,腦電位的分析和分類(lèi)僅限于預(yù)定義的固定或可變時(shí)間窗口。這種模式迫使用戶(hù)需要集中注意力在外界提示刺激上,導(dǎo)致用戶(hù)感到不自然,并且喪失了自主權(quán)和與環(huán)境豐富交互的能力。而在異步BCI系統(tǒng)中,用戶(hù)不需要外界提示刺激,可隨意進(jìn)行特定的心理活動(dòng)。由于BCI系統(tǒng)的最終目標(biāo)是讓用戶(hù)通過(guò)自主驅(qū)動(dòng)而非系統(tǒng)驅(qū)動(dòng)的策略中完全控制自己的外部世界,因此對(duì)于異步的研究是非常必要的。盡管異步BCI能提供更大的自主性,但是仍然面臨很大的挑戰(zhàn)[72]。由于系統(tǒng)缺乏對(duì)用戶(hù)命令精確時(shí)間位置的了解,異步BCI需要持續(xù)分析正在進(jìn)行的大腦活動(dòng),以便在任務(wù)控制狀態(tài)和非控制狀態(tài)之間進(jìn)行分類(lèi),其中非控制狀態(tài)可以是任務(wù)狀態(tài)外的任何狀態(tài),例如空閑、做夢(mèng)、其他心理活動(dòng)和不相關(guān)的誘發(fā)反應(yīng)等[73]。
MI-BCI的異步研究作為真正意義上的“隨心所意”,受到了研究者們的廣泛關(guān)注。早在2004年,Townsend等就通過(guò)分析左右手MI任務(wù)所記錄的EEG數(shù)據(jù),模擬連續(xù)分類(lèi)的異步BCI,雖然實(shí)驗(yàn)結(jié)果不理想,但首次發(fā)現(xiàn)了受試者工作特征(receiver operating characteristics, ROC)曲線(xiàn)用于評(píng)估系統(tǒng)性能的局限性[74]。隨后,Sadeghian等首次研究了基于4種不同MI任務(wù)的異步BCI系統(tǒng),結(jié)果驗(yàn)證了異步研究的可行性[75]。為了探究MI任務(wù)后的β-ERS能否作為簡(jiǎn)單的“大腦開(kāi)關(guān)”,Pfurtscheller等發(fā)現(xiàn),腳部MI任務(wù)后的β-ERS是單次試驗(yàn)中可以檢測(cè)到的相對(duì)穩(wěn)定和可重復(fù)的現(xiàn)象,這為實(shí)現(xiàn)MI-BCI系統(tǒng)的異步控制提供可能的依據(jù)[76]。在近期的一項(xiàng)研究中,異步MI-BCI系統(tǒng)應(yīng)用于控制汽車(chē)行駛,結(jié)果表明受試者能按照規(guī)劃的路線(xiàn)成功駕駛車(chē)輛[77]。該方法可能為患有運(yùn)動(dòng)障礙的人提供補(bǔ)充或替代方式,并為健康人提供輔助駕駛。
從上述研究發(fā)現(xiàn),由于EEG信號(hào)的特性,使得許多大腦活動(dòng)的分析復(fù)雜化,從而限制了異步BCI的實(shí)際應(yīng)用。盡管目前只有少量MI-BCI的異步研究,但其結(jié)果均證明了異步的可行性及有效性。一種允許用戶(hù)自我控制的異步BCI系統(tǒng)能為真實(shí)世界的人機(jī)交互提供更自然的方式,因此未來(lái)異步MI-BCI的研究將具有更大的應(yīng)用前景。
MI-BCI發(fā)展至今,因其在運(yùn)動(dòng)控制、神經(jīng)康復(fù)及特種環(huán)境下的智能作業(yè)領(lǐng)域存在著很大的潛在應(yīng)用前景而受到廣泛研究。同時(shí),MI-BCI工作涉及到的神經(jīng)機(jī)制與運(yùn)動(dòng)功能密切相關(guān),因此有望在提升用戶(hù)腦區(qū)信息處理效率中發(fā)揮重要作用[78]。目前,MI-BCI根據(jù)應(yīng)用場(chǎng)景的不同,可分為控制型和訓(xùn)練型,下面簡(jiǎn)要闡述其應(yīng)用及未來(lái)發(fā)展趨勢(shì)。
盡管MI-BCI已經(jīng)發(fā)展多年,但是由于辨識(shí)率低,無(wú)法對(duì)MI發(fā)生部位的精準(zhǔn)定位。大多數(shù)現(xiàn)有的MI控制還僅限于較大肢體部位的識(shí)別,如Doud等利用左右手MI任務(wù)控制直升機(jī)的左右運(yùn)動(dòng),舌頭和腳部MI任務(wù)控制上升和下降,從而在虛擬環(huán)境中完成直升機(jī)的三維控制[79];Long等使用左右手MI任務(wù),控制模擬或真實(shí)控制輪椅的方向[80]。大肢體部位的MI控制已經(jīng)發(fā)展成熟,然而對(duì)于精細(xì)控制的場(chǎng)合,大肢體部位的識(shí)別已經(jīng)不再適用,因此精細(xì)運(yùn)動(dòng)意圖的識(shí)別尤為重要。
許多研究嘗試解碼同一肢體上的精細(xì)運(yùn)動(dòng)意圖,建立MI任務(wù)與實(shí)際輸出動(dòng)作的一致性。為了實(shí)現(xiàn)更高自由度的MI-BCI系統(tǒng),識(shí)別運(yùn)動(dòng)學(xué)相關(guān)的神經(jīng)活動(dòng)至關(guān)重要。Waldert等報(bào)道了基于EEG信號(hào)識(shí)別手部運(yùn)動(dòng)方向的最重要研究[81]。隨后,Zhang等采用溯源分析的方法確定了運(yùn)動(dòng)方向的皮層源,為運(yùn)動(dòng)參數(shù)的識(shí)別提供理論基礎(chǔ)[82]。在速度和力量的MI任務(wù)中,Yuan等發(fā)現(xiàn)ERD特征與手部抓握的速度存在線(xiàn)性相關(guān)[83],同時(shí),Jochumsen等實(shí)現(xiàn)了右腳踝不同速度和力量運(yùn)動(dòng)意圖的檢測(cè)[84]。除了動(dòng)力學(xué)參數(shù)外,局部肢體部位運(yùn)動(dòng)意圖也被廣泛研究,Nakayashiki等表明手勢(shì)變化的時(shí)間差異與ERD強(qiáng)度有關(guān)[85],另外關(guān)于肘部、手腕、手指以及下肢等的MI研究也被相繼報(bào)道[86-87]。這些研究充分說(shuō)明了識(shí)別同一肢體運(yùn)動(dòng)學(xué)或局部精細(xì)動(dòng)作運(yùn)動(dòng)意圖的可行性。
提供一種高精度、連續(xù)和異步的運(yùn)動(dòng)控制交互設(shè)備是未來(lái)MI-BCI的研究目標(biāo)。由于基于精細(xì)運(yùn)動(dòng)控制的BCI康復(fù)系統(tǒng)也會(huì)對(duì)用戶(hù)的運(yùn)動(dòng)恢復(fù)產(chǎn)生重大影響,因此還需要進(jìn)行大量的研究??傊?,現(xiàn)有研究表明,使用非侵入式記錄的腦信號(hào)可以實(shí)現(xiàn)對(duì)外界設(shè)備更精細(xì)和精確的運(yùn)動(dòng)控制。通過(guò)解決這一領(lǐng)域的各種挑戰(zhàn)和問(wèn)題,有望擴(kuò)大BCI的實(shí)際應(yīng)用,引起B(yǎng)CI技術(shù)的革新。
BCI的發(fā)展初衷是服務(wù)于那些外周運(yùn)動(dòng)系統(tǒng)損傷而大腦完好的病人,比如高位截癱患者或者肌肉萎縮性側(cè)面硬化病(amyotrophic lateral sclerosis, ALS)晚期患者。而MI-BCI作為一種主動(dòng)式BCI,可以直接通過(guò)采集中樞神經(jīng)系統(tǒng)功能活動(dòng)信息構(gòu)成腦-機(jī)-腦反饋環(huán)路,是目前中風(fēng)康復(fù)技術(shù)中患者主動(dòng)度喚醒能力最好的技術(shù)之一。
運(yùn)動(dòng)是一種復(fù)雜的活動(dòng),因此與運(yùn)動(dòng)相關(guān)的神經(jīng)活動(dòng)不僅存在于對(duì)側(cè)腦區(qū),而且也存在于同側(cè)腦區(qū)。雖然未受損的大腦半球在腦卒中恢復(fù)過(guò)程中的作用尚不清楚,但是患側(cè)初級(jí)運(yùn)動(dòng)皮層被認(rèn)為在運(yùn)動(dòng)恢復(fù)中起重要的作用[88]。傳統(tǒng)的基于BCI的運(yùn)動(dòng)康復(fù)策略主要針對(duì)損傷大腦半球的皮層重組,具體而言,大多數(shù)基于BCI的運(yùn)動(dòng)康復(fù)訓(xùn)練系統(tǒng)習(xí)慣上包含患側(cè)感覺(jué)運(yùn)動(dòng)皮層的神經(jīng)活動(dòng)解碼。然而,最近的一項(xiàng)研究表明,在中度至重度的腦卒中患者中健側(cè)半球神經(jīng)活動(dòng)的感覺(jué)運(yùn)動(dòng)節(jié)律更穩(wěn)定[89]。不同研究方案會(huì)導(dǎo)致BCI康復(fù)訓(xùn)練系統(tǒng)對(duì)大腦半球健側(cè)或患側(cè)不同的促進(jìn)作用[90]。訓(xùn)練型MI-BCI主要應(yīng)用于中風(fēng)患者的康復(fù)治療。Mohapp等首次報(bào)道了MI-BCI在中風(fēng)病人上的研究[91]。Chung等報(bào)道了BCI和神經(jīng)肌肉電刺激耦合的實(shí)驗(yàn)組與僅有神經(jīng)肌肉電刺激的對(duì)照組之間,患者在測(cè)試中的節(jié)律和步長(zhǎng)具有顯著差異[92];同年,Lee等報(bào)道了神經(jīng)反饋訓(xùn)練治療與假性神經(jīng)反饋訓(xùn)練治療相比,患者的速度和步態(tài)節(jié)奏有顯著改善[93]。Woosang等采用結(jié)合FES的MI-BCI系統(tǒng)對(duì)一名中風(fēng)患者進(jìn)行康復(fù)訓(xùn)練后發(fā)現(xiàn),BCI的準(zhǔn)確性提高到80%以上[94]。最近的一項(xiàng)報(bào)道中,Cervera等對(duì)用于中風(fēng)康復(fù)訓(xùn)練的BCI系統(tǒng)進(jìn)行了meta分析。分析表明,基于BCI的神經(jīng)康復(fù)訓(xùn)練系統(tǒng)對(duì)上肢運(yùn)動(dòng)功能的恢復(fù)具有較大的影響,并且可以比其他常規(guī)療法更多地改善Fugl-Meyer評(píng)分。除運(yùn)動(dòng)結(jié)果外,許多研究還報(bào)告了亞臨床水平的BCI誘導(dǎo)的功能和結(jié)構(gòu)神經(jīng)可塑性,其中一些還與改善的運(yùn)動(dòng)結(jié)果相關(guān)[95]。以上研究說(shuō)明了訓(xùn)練型MI-BCI對(duì)于中風(fēng)患者的康復(fù)訓(xùn)練是有效且重要的,能夠促進(jìn)受損神經(jīng)元的激活,幫助患者恢復(fù)損傷的運(yùn)動(dòng)功能。然而仍需更多樣本量更大的研究來(lái)提高這些結(jié)果的可靠性。
MI-BCI技術(shù)對(duì)于受損運(yùn)動(dòng)功能的代償和恢復(fù)具有極其重要的意義,除了結(jié)合FES外,虛擬現(xiàn)實(shí)(virtual reality, VR)、機(jī)械外骨骼、經(jīng)顱電磁刺激(transcranial electric/magnetic stimulation, TE/DS)以及增強(qiáng)現(xiàn)實(shí)(augmented reality, AR)等技術(shù)的發(fā)展也為MI-BCI的訓(xùn)練系統(tǒng)設(shè)計(jì)提供更多的組合方案,未來(lái)新型組合方式可能在提高M(jìn)I-BCI康復(fù)訓(xùn)練效果上發(fā)揮重要作用。
MI-BCI不僅能為健康或截肢患者提供與外界環(huán)境直接溝通的交互范式,而且在臨床康復(fù)上表現(xiàn)出巨大的潛力?,F(xiàn)階段的MI-BCI技術(shù)還處于萌芽階段,無(wú)論是信號(hào)的獲取與處理還是異步控制的研究,尚存在著諸多問(wèn)題與挑戰(zhàn)亟待解決。本綜述針對(duì)目前MI-BCI存在的主要問(wèn)題,簡(jiǎn)單闡述了相應(yīng)解決方案的研究現(xiàn)狀以及發(fā)展趨勢(shì)。隨著研究的深入和發(fā)展,相信未來(lái)MI-BCI領(lǐng)域的問(wèn)題會(huì)被逐步突破,其系統(tǒng)性能將不斷得到提升和優(yōu)化,從而具有更人性化、實(shí)用化、安全化的應(yīng)用前景。