谷湘瓊,陳志丹
(1.工業(yè)和信息化部電子第五研究所,廣東 廣州 510610;2.京信通信系統(tǒng)(中國)有限公司,廣東 廣州 510663)
?
意念控制的智能殘疾輪椅設計
谷湘瓊1,陳志丹2
(1.工業(yè)和信息化部電子第五研究所,廣東廣州510610;2.京信通信系統(tǒng)(中國)有限公司,廣東廣州510663)
摘要:該設計為有運動功能障礙的殘疾人和老年人提供了一款基于腦機接口技術的智能殘疾輪椅。該裝置由便攜式腦電采集裝置、信號處理系統(tǒng)、接口電路和電動輪椅組成,可以通過手動、語音、動作和意念4種控制方式對其進行控制。致力于意念控制方式的實現(xiàn),通過藍牙將便攜式意念頭盔采集的用戶腦電信號傳輸至平板電腦進行在線分析,將識別出的腦電特征信號與指令相關聯(lián),并將指令以串行總線數(shù)據(jù)包的形式發(fā)送到微處理器C8051F320中轉換為控制信號,輪椅的左右前輪電機在控制信號的作用下運轉,從而實現(xiàn)輪椅的前進、后退、左轉、右轉和停止5個動作。該裝置還配有良好的用戶界面,多次試驗表明:該裝置具有較高的的穩(wěn)定性和可靠性。
關鍵詞:腦機接口技術;腦電采集;意念控制;微處理器
Key words:brain computer interface technologt;EEG;idiodtnamics;microprocessor
智能輪椅作為醫(yī)療護理領域的服務性輔助運動工具,可以幫助殘疾人和老年人獲得生活自理能力和工作能力,從而更好地融入社會。
智能輪椅以電動輪椅為基礎,和傳統(tǒng)電動輪椅相比,多了計算機控制系統(tǒng),融合了傳感器技術和無線通信技術。傳統(tǒng)電動輪椅包含有左輪電機和右輪電機,由中央處理單元將手柄控制電壓信號轉化為輪椅左右電機的前進或后退驅動信號,實現(xiàn)輪椅運動方向的控制。但是,對于那些手指不靈活的高位截癱病人來說,操作手柄是相當困難的。因而,本文在充分地考慮不同的使用者的身體特點的基礎上,針對不同的殘疾人群,設計了一款包含手動、動作、語言和意念4種控制方式的智能殘疾輪椅,使用者可以根據(jù)自身的身體狀況,靈活地選用適合自身的控制方式,例如:對于那些殘疾程度較輕、肢體能動性較高且意識較好的人群,其可以采用手動方式來控制輪椅運動;而對于那些殘疾程度較高、肢體能動性較低的人群,其可以采用動作(如擺頭)、語言和意念等方式來控制輪椅的運動。因此,該智能輪椅能夠有效地彌補傳統(tǒng)智能輪椅的不足,具有一定的實用價值。
智能殘疾輪椅的控制方式分手動、動作、語音和意念4種,用戶可以通過平板上運行的界面軟件來選擇適合的控制模式。在手動模式下,用戶可以通過輪椅自帶的操作手柄或者用戶操作界面來控制輪椅的運動;在動作模式下,用戶可以戴著裝有動作檢測模塊的頭盔,通過擺頭動作來控制輪椅的前進、后退、左轉、右轉和停止等操作;在語音模式下,用戶可以通過話筒語音來控制輪椅的運動;在意念模式下,用戶可以通過主觀意念來控制輪椅的運動。
本設計的意念控制方式是基于腦機接口(CBCI:Brain-Computer Interface)技術來實現(xiàn)的。腦機接口是一種不依賴于大腦外圍神經(jīng)和肌肉正常輸出通道的通信控制系統(tǒng),通過采集和分析人腦生物電信號,在人腦與計算機或其他電子設備之間建立起直接交流和控制的通道,這樣人就可以通過大腦來直接表達意愿或操縱設備,而不需要借助語言或肢體的動作[1-2]。
本設計的意念控制方案是采用Emotiv Epoc意念頭盔作為腦電采集裝置,其采集到腦電信號后,會將腦電信號經(jīng)無線傳輸至平板電腦,然后由平板電腦在線分析解讀并提取出特征信號,當信號達到一定的強度時便會觸發(fā)Windows下的API,然后經(jīng)USB傳輸至輪椅控制主板,主板接收到平板發(fā)過來的命令后便會發(fā)出輪椅左、右電機的控制命令。
手動、動作和語音3種控制方式技術相對成熟,因而方案驗證主要是針對意念控制方式,對腦機接口提取的腦電信號的準確性進行驗證。在設計前期,首先,用Emotiv Epoc意念控制器采集原始的腦電信號;其次,將原始信號導入能夠提供強大的數(shù)據(jù)離線分析的腦電信號處理軟件—BCI 2000中,進行特征信號提?。蝗缓螅眯〔ㄋ惴ǚ蛛x出特征信號;最后,將得出的特征信號與Emotiv Epoc意念控制器自帶軟件處理后的特征信號進行比對,驗證方案的準確性。經(jīng)過對比驗證發(fā)現(xiàn),兩種方法所得到的特征信號非常吻合。
本設計由便攜式腦電采集裝置、信號處理系統(tǒng)、接口電路和電動輪椅組成,并配有人機交互界面。
2.1原理分析
本設計的系統(tǒng)構成如圖1所示,對圖中各部分的說明如下所述。
圖1 系統(tǒng)結構圖
a)信號采集
便攜式腦電采集裝置由美國加州舊金山的神經(jīng)科技公司生產(chǎn)的可充電Emotiv Epoc神經(jīng)頭盔和USB藍牙收發(fā)器組成,神經(jīng)頭盔上裝有可以用于腦電信息采集的16個水化傳感器,主要運用一種被稱為非侵入性的腦電波儀(EEG)技術,感測并學習每個使用者的大腦神經(jīng)元電訊號模式,讀取使用者的大腦對特定動作產(chǎn)生的響應,并通過藍牙將其傳輸?shù)叫盘柼幚矶?。該裝置具有體積小、設置簡單和功耗低等特點。
b)信號處理
信號處理系統(tǒng)是運行于平板電腦上的軟件開發(fā)工具包(包括:Emotiv Control Panel、Emoket和TestBench),通過提取意念控制相關的腦電特征,識別出用戶的主觀意圖;然后將其與已設定的指令相關聯(lián),并將指令以USB數(shù)據(jù)包的形式發(fā)送到接口電路。此外,該系統(tǒng)還能為下位機供電。
c)接口電路
以C8051F320為核心,由多個功能模塊構成,動作控制模塊單獨地封裝在一個操作盒中,信號通過藍牙傳輸,其具體的功能框圖如圖2所示。
d)電動輪椅
電機是直流減速電機,并且通過齒輪箱變速,電機帶動離合器,可以實現(xiàn)手動和電動兩種模式的轉換。電動車使用的是鋰電池,電池包括一個充電器和一個電源輸出接口,為24 V電源,可在220 V的條件下進行充電。
圖2 接口電路功能框圖
2.2硬件電路
2.2.1信號處理
圖3 接口電路原理圖
接口電路以C8051F320為控制核心,提供一個USB2.0標準接口,實現(xiàn)與上位機的通信。ATMEGA128單片機提供2個可編程連續(xù)串口,一路與C8051F320通信實現(xiàn)主從模式,一路連接藍牙作為動作控制模式接收端,I/O口高電平電壓為3.3V,能夠滿足語音模塊所需,其原理圖如圖3所示。
2.2.2語音控制模塊
采用LD 3320語音識別,工作電壓為3.3 V,麥克風音頻輸入。WTV020-SD語音模塊可重復擦寫語音內(nèi)容,外掛256 M的SD卡存儲器,存儲有AD4格式語音文件。THD 02185音頻功率放大,輸出語音文件。
2.2.3藍牙傳輸模塊
采用帶有CSR BlueCore芯片的BMX-03藍牙模塊,配置6~8 Mbit的軟件存儲空間,支持AT指令,傳輸距離為10 M,其中,U4組用于傳輸輪椅控制命令,U5組為動作控制模式接收端。
2.2.4顯示模塊
選用0.96寸的OLCD模塊,分辨率為128× 64,超低功耗,能夠顯示輪椅的狀態(tài),例如:電池的電量、電機的速度和控制方式等。
2.2.5動作控制模塊
以ATMEG A8為信號處理器,BMX-03藍牙模塊為信號傳輸端,J4處連接ADI公司生產(chǎn)的ADXL 345加速度傳感器模塊,采用SPI數(shù)字接口通信,用于偵測物體的運動狀態(tài)動作。模塊的電路圖如圖4所示。
軟件設計部分主要包括腦電信號處理軟件、人機交互界面和下位機控制程序的設計。
3.1腦電信號處理軟件設計
腦電信號處理主要采用Emotiv Ststems公司提供的軟件開發(fā)工具包(包括:Emotiv Control Panel、Emoket和TestBench),在接收到意念頭盔采集到的原始腦電信號后進行腦電特征信號的提取。Emotiv TestBench界面如圖5所示。Emotiv Test-Bench可以得到腦電信號的原始波形圖,圖5中所示為14個電極所采集到的腦電波形;Emotiv Control Panel可以進行意念、感覺和情緒3種腦電信號的特征訓練,能夠在線仿真并在屏幕上復制出同樣的動作,并且能夠保存不同用戶的腦電特征;Emoket能夠用來定義與輪椅主控板通信的接口函數(shù),將試驗獲得的5種比較明顯的腦電特征信號與Windows下VC做的API連接起來。
圖4 動作控制模塊電路圖
圖5 Emotiv TestBench軟件界面
3.2人機交互界面設計
平板上運行有VC++6.0編寫的人機交互界面程序,界面內(nèi)容如圖6所示,包括手動操作區(qū)、腦電結果顯示、電量顯示、檔位顯示、模式選擇和檔位加減,通過USB和下位機實現(xiàn)通信。
圖6 智能殘疾輪椅上位機控制軟件運行界面
3.3下位機軟件設計
下位機控制程序主要實現(xiàn)手動、動作、語音和意念4種控制方式。在手動模式下,輪椅可在其自帶操作控制下實現(xiàn)運動。意念控制的特征識別在pc機上完成,下位機讀取到關聯(lián)指令后發(fā)出相應的動作操作指令。主控程序流程圖如圖7所示,動作模式流程如圖8所示,語音識別程序流程如圖9所示。
圖7 主控程序流程圖
經(jīng)過多次測試發(fā)現(xiàn),本設計的手動、動作和語音3種控制方式運行可靠,意念控制方式運行得較為可靠。原因是,腦電信號是一種隨機性很強的非平穩(wěn)信號,影響它的因素太多,其規(guī)律和特征又未被識別出,只能從大量的統(tǒng)計結果中呈現(xiàn)出來,因而必須借助統(tǒng)計處理技術來檢測、辨識。腦電信號具有非平穩(wěn)性是因為構成腦電信號的生理因素始終在變化,而生理因素對外界的影響有自適應能力。實驗表明,在安靜開闊的場合用戶的注意力較為集中,受外界的干擾較小,意念控制方式的效果更好。表情信號測試面板如圖10所示,其可以在線測試用戶的表情信號的強弱,以便將信號特征明顯的數(shù)據(jù)經(jīng)過優(yōu)化處理后作為系統(tǒng)比對信號,右上角綠色點表示意念頭盔傳感器與頭皮接觸良好,若為黑色表示沒有接觸,黃色和橘紅色表示接觸不良、信號較差。腦電信號比對結果面板圖11所示,面板中存儲有5個比對信號,分別對應輪椅的5個動作,若頭盔提取的用戶腦電信號和比對信號匹配成功,則面板中的指示燈會由當前顏色變?yōu)榫G色,同時系統(tǒng)會匹配字符指令作為下位機動作觸發(fā)指令。
圖8 動作模式流程圖
圖9 語音識別程序流程圖
圖10 表情信號測試面板
圖11 腦電信號比對結果面板
a)難點
1)由于一般的EEG信號只有50 μV左右,最大也只有100 μV,因而如何快速、準確地提取用戶大腦的EEG信號便成了本設計中的一大難點。
2)如何有效地從EEG信號中提取出用戶的主觀意圖的特征信號,并精確地將其轉譯成所需要的控制信號也是一大難點。因此,腦電信號的提取與處理對檢測系統(tǒng)、分析系統(tǒng)有很高的要求,包括要求有高輸入阻抗、高共模抑制比和低噪聲放大技術,并且要求有能從強噪聲中提取弱信號的高質量濾波措施等。
b)創(chuàng)新
1)本設計融合了多種控制方式,從而可以滿足不同殘疾程度的用戶的需求。
2)本設計首次將意念控制方式應用到了輪椅的控制中,為腦機接口技術的應用做了有益的探索。
基于意念的輪椅控制方式,是一種比較直接的人與輪椅的交互方式,可以將用戶的意圖直接從大腦傳遞到輪椅的運動狀態(tài)控制裝置中,具有較強的實用性。本設計較好地實現(xiàn)了預計功能,為有運動功能障礙的殘疾人和老年人提供了智能型輔助交通工具。基于意念的控制方式不僅適用于電動輪椅,還適用于其他人機交互應用中,例如:機械臂假肢、家電設備控制和游戲開發(fā)等。但是,本設計也存在一些不足,例如:意念控制信號易受外界的干擾等,因而需要進一步地改進和完善。
參考文獻:
[1]王新光,鄒凌,段鎖林,等.腦機接口技術的研究與進展[J] .中國組織工程研究與臨床康復,2008,12 (39):7722-7724.
[2]郝衛(wèi)東,鄧陽光,梁衛(wèi)鴿,等.基于腦機接口的控制器的研究[J] .計算機系統(tǒng)應用,2014,23(3):9-15.
[3]北京師范大學.一種新型的基于運動想象腦電控制的智能輪椅系統(tǒng):201010249134.9 [P] . 2012-01-11 [2014-06-20] .
[4]徐寶過,宋愛國,楊仁桓.基于運動想象腦電的在線腦機接口實驗[J] .華中科技大學學報,2011,39(4):60-64.
[4] BIRBAUMER N. Breaking the silence:brain-computer interfaces(BCI)for communication and motor control [J] . Pstchophtsiologt,2006,43(6):517-532.
[5] KU.BLER A,MUSHAHWAR V K,HOCHBERG L R,et al. BCI meeting 2005-workshop on clinical issues and applications [J] . IEEE Transactions On Neural Ststems Rehabilitation Engineering,2006,14(2):131-134.
[6]周鵬.基于運動想象的腦機接口的研究[D] .天津:天津大學,2007.
[7]尹晶海,蔣德榮,穆振東,等.基于運動想象的腦機接口殘疾人游戲輔助平臺的設計與應用[J] .中國組織工程研究與臨床康復,2008,12(35):6839-6843.
[8]曾翔.基于腦機接口技術的電視遙控系統(tǒng)研究與設計[D] .成都:電子科技大學,2011.
The Design of an Idiodynamic Intelligent Disability Wheelchair
GU Xiang-qiong,CHEN Zhi-dan
(1. CEPREI,Guangzhou 510610,China;2. Comba Telecom Ststems(China)Co.,Ltd.,Guangzhou 510663,China)
Abstract:The design provides brain-computer interface technologt based intelligent wheelchair for the disabled and elderlt with dtskinesia. The device consists of portable EEG acquisition device,signal processing ststem,interface circuit and electric wheelchairs,and it can be controlled through manual,speech,action and mind. The design is dedicated to the realization of human thought control. It will transmit the user’s EEG which are collected bt an portable neuroheadset through bluetooth into the tablet PC to do the online analtsis. The tablet PC will associate the recognised brain electrical signals with instructions and send them in the form of serial bus(USB)to the microprocessor C8051F320 where the instructions will be transformed into control signals. The front motor of the wheel chair will operate under the function of control signals so as to complete the 5 actions of moving forward,moving backward,turning left,turning right and stopping. The device is also equipped with a good user interface. Several tests indicate that this device has high stabilitt and reliabiltt.
通信作者:陳志丹(1991-),男,湖南岳陽人,京信通信系統(tǒng)(中國)有限公司助理工程師,從事嵌入式軟件研發(fā)工作。
作者簡介:谷湘瓊(1990-),女,白族,湖南張家界人,工業(yè)和信息化部電子第五研究所標準與信息研究中心助理工程師,從事科技期刊編輯與翻譯工作。
收稿日期:2015-10-30修回日期:2016-02-20
doi:10.3969/j.issn.1672-5468.2016.01.012
中圖分類號:TH 789;TP 311.1
文獻標志碼:A
文章編號:1672-5468(2016)01-0058-07