楊錚， 方慧娟，2， 羅繼亮，2， 孫海信

(1. 華僑大學(xué) 信息科學(xué)與工程學(xué)院， 福建 廈門 361021；2. 華僑大學(xué) 福建省電機(jī)控制與系統(tǒng)優(yōu)化調(diào)度工程技術(shù)研究中心， 福建 廈門 361021；3. 廈門大學(xué) 信息學(xué)院， 福建 廈門 361005)

腦機(jī)接口(BCI)是一項(xiàng)在人腦與外界設(shè)備之間建立聯(lián)系的技術(shù)[1-2]，能夠輔助殘疾人或正常人控制移動(dòng)設(shè)備[3].BCI技術(shù)的優(yōu)勢是能夠準(zhǔn)確、直接地控制外部設(shè)備，但是由于其系統(tǒng)模態(tài)單一，單模態(tài)腦機(jī)接口系統(tǒng)存在控制指令不足的問題.為了解決這一問題，Pfurtscheller等[4]于2010年提出混合BCI的概念，將單模態(tài)BCI與其他生理或技術(shù)信號(hào)相結(jié)合，構(gòu)建多模態(tài)BCI系統(tǒng).目前，很多學(xué)者對(duì)混合BCI進(jìn)行了大量研究，張浩等[5]開發(fā)了一種基于P300和運(yùn)動(dòng)想象的混合BCI系統(tǒng)控制輪椅；竇立祥[6]結(jié)合穩(wěn)態(tài)視覺誘發(fā)(SSVEP)和運(yùn)動(dòng)想象設(shè)計(jì)一種混合BCI系統(tǒng)，實(shí)現(xiàn)Dobot機(jī)械臂在線寫字.上述混合BCI系統(tǒng)的設(shè)計(jì)均有各自的優(yōu)勢和不足.基于穩(wěn)態(tài)視覺誘發(fā)的BCI系統(tǒng)性能穩(wěn)定且不受頭部運(yùn)動(dòng)影響，但是輸入速度慢；P300具有準(zhǔn)確性高的特點(diǎn)，但長時(shí)間的實(shí)驗(yàn)會(huì)引起人眼不適.

隨著科技的發(fā)展，基于計(jì)算機(jī)視覺[7-9]的控制技術(shù)也愈發(fā)成熟(如體感技術(shù)[10]等).基于計(jì)算機(jī)視覺的眨眼檢測技術(shù)是通過對(duì)攝像頭獲取的用戶面部圖像進(jìn)行模式識(shí)別實(shí)現(xiàn)的，最常見的是基于眼部縱橫比(EAR)的方法[11]，其核心是眼睛面部地標(biāo)之間距離比例的簡單計(jì)算，通過圖像分析捕獲實(shí)時(shí)的眨眼動(dòng)作.該技術(shù)不需要接觸其他設(shè)備，直接與計(jì)算機(jī)進(jìn)行高效、快速的人-機(jī)交互.

單模態(tài)的運(yùn)動(dòng)想象腦機(jī)接口的實(shí)驗(yàn)范式設(shè)定由空閑狀態(tài)控制移動(dòng)機(jī)器人向前運(yùn)動(dòng)，左想象控制移動(dòng)機(jī)器人向左運(yùn)動(dòng)、右想象控制移動(dòng)機(jī)器人向右運(yùn)動(dòng).然而，移動(dòng)機(jī)器人在執(zhí)行任務(wù)過程中可能會(huì)遇到極端的情況，如移動(dòng)機(jī)器人無法通過自身的避障系統(tǒng)避開下樓梯這類環(huán)境，出于對(duì)移動(dòng)機(jī)器人行動(dòng)時(shí)安全性能的考慮，給該系統(tǒng)添加一個(gè)啟停機(jī)制是必要的.借鑒以上技術(shù)的特點(diǎn)，本文提出一種用計(jì)算機(jī)視覺代替視覺依賴型反應(yīng)式BCI系統(tǒng)的方法，避免實(shí)驗(yàn)過程中受試者眼部產(chǎn)生不適反應(yīng).

1 應(yīng)用于混合腦機(jī)接口的眨眼控制方法

人臉檢測方法包括基于統(tǒng)計(jì)型和基于知識(shí)型兩種.基于統(tǒng)計(jì)型方法是從大量的人臉圖像樣本中提取人臉特征，構(gòu)造人臉模板，將模板與目標(biāo)圖像進(jìn)行相似度量計(jì)算，根據(jù)結(jié)果判斷目標(biāo)圖像中是否有人臉存在；而基于知識(shí)型方法則是利用先驗(yàn)知識(shí)(如五官特征及相互之間的幾何位置)檢測人臉.通過兩種人臉識(shí)別算法采集人臉圖像，實(shí)現(xiàn)人臉和人臉輪廓的捕捉和特征點(diǎn)提取，通過算法得到對(duì)應(yīng)實(shí)驗(yàn)結(jié)果，再將檢測結(jié)果實(shí)時(shí)轉(zhuǎn)換成控制指令，從而實(shí)現(xiàn)眨眼干預(yù)移動(dòng)機(jī)器人.眨眼檢測算法流程圖，如圖1所示.

圖1 眨眼檢測算法流程圖Fig.1 Flow chart of blink detection algorithm

1.1 基于眨眼次數(shù)的眨眼控制方法

采用主動(dòng)形狀模型(ASM)算法[12]進(jìn)行人臉識(shí)別.該算法是一種基于點(diǎn)分布模型的算法，應(yīng)用面部68個(gè)特征點(diǎn)定位臉部的重要區(qū)域(包括眼睛、眉毛、鼻子和嘴巴)，這意味著可以通過特定臉部的索引，提取特定的臉部結(jié)構(gòu)，在完成人臉檢測的同時(shí)也完成了人眼定位.該算法的主要流程如下.

1) 搜集n個(gè)人臉訓(xùn)練樣本，記錄人臉關(guān)鍵特征點(diǎn)的位置坐標(biāo)信息.

2) 構(gòu)建訓(xùn)練集的形狀向量，將人臉圖中標(biāo)定關(guān)鍵特征點(diǎn)組成一個(gè)形狀向量，即

(1)

對(duì)標(biāo)定的人臉特征點(diǎn)進(jìn)行對(duì)齊，減少非形狀因素的干擾，消除不同圖像大小和方向變化等影響.定義訓(xùn)練集G={Xi}，采用普氏(Procrustes)分析法對(duì)該訓(xùn)練集進(jìn)行對(duì)齊，主要有以下4個(gè)步驟.

步驟1將訓(xùn)練集中所有人臉模型對(duì)齊到第1個(gè)人臉模型，將模型與新點(diǎn)集進(jìn)行匹配，對(duì)剛得到的模型進(jìn)行平移、旋轉(zhuǎn)和放縮，即

(2)

式(2)中：T為旋轉(zhuǎn)放縮平移矩陣；θ為旋轉(zhuǎn)角度；s為放縮尺寸；X為水平方向平移向量；Y為垂直方向平移向量；(x，y)表示任意特征點(diǎn)的二維坐標(biāo).

圖2 樣本對(duì)齊結(jié)果Fig.2 Sample alignment result

(3)

步驟4重復(fù)步驟2，3，直至收斂，樣本對(duì)齊結(jié)果，如圖2所示.

3) 將對(duì)齊后的形狀向量進(jìn)行主成分分析(PCA)[13]降維處理，計(jì)算向量協(xié)方差矩陣S，即

(4)

4) 計(jì)算矩陣S特征值并從大到小排序，得到λ1，λ2，…，λq，選取包含了前t個(gè)特征值構(gòu)成的特征向量矩陣P=[P1，P2，……，Pt]，使其滿足

(5)

式(5)中：fv是特征向量個(gè)數(shù)確定的比例系數(shù)，一般為95.0%或97.5%.

通過任意樣本模型與標(biāo)準(zhǔn)模型，計(jì)算得到特征點(diǎn)P為

(6)

圖3 模型匹配效果圖Fig.3 Model matching effect diagram

式(6)中：b是一個(gè)t維向量(約束條件)，用來控制特征點(diǎn)P的變化.該向量不宜過大，否則會(huì)導(dǎo)致整個(gè)形狀超過人臉變化范圍.

b的求取過程如下：1) 初始化b向量為單位向量，得到標(biāo)準(zhǔn)模型Z1(X，Y)；2) 將標(biāo)準(zhǔn)模型Z1(X，Y)與樣本模型Z2(X，Y)比較，標(biāo)準(zhǔn)模型Z1(X，Y)通過變換矩陣T得到樣本模型Z2(X，Y)，采用模型Z1(X，Y)，Z2(X，Y)的結(jié)果反求b，不同的樣本模型得到不同的b，不斷更新b，直至收斂.

將得到的模型P模型與樣本圖像進(jìn)行匹配，取樣本圖像上對(duì)應(yīng)模型特征點(diǎn)附近梯度值最大的點(diǎn)，得到新特征點(diǎn)P樣本，將其標(biāo)定在圖像上，并配合跟蹤算法[14-15]實(shí)現(xiàn)對(duì)人臉的實(shí)時(shí)跟蹤.模型匹配效果圖，如圖3所示.

圖4 眼部坐標(biāo)點(diǎn)Fig.4 Eye coordinates

對(duì)于眨眼檢測，從眼睛的結(jié)構(gòu)入手，每只眼睛用6個(gè)點(diǎn)p1～p6表示，如圖4所示.運(yùn)用這些坐標(biāo)得出眼部寬度和高度之間的眼部縱橫比(EAR)關(guān)系為

(7)

式(7)中:分子部分表示眼睛垂直方向標(biāo)識(shí)之間的距離；分母部分則表示眼睛水平方向標(biāo)識(shí)之間的距離.

圖5 實(shí)時(shí)EAR值結(jié)果波形圖Fig.5 Result waveform of real-time EAR value

眼睛的縱橫比在眼睛張開/閉合的時(shí)候大致是恒定的，但是在眨眼時(shí)會(huì)迅速降低.依據(jù)這一眨眼特點(diǎn)，計(jì)算眼部縱橫比，通過實(shí)時(shí)的眼部縱橫比值與設(shè)定的眨眼閾值相比較，判斷是否眨眼，如果EAR值低于設(shè)定的閾值，則記錄眨眼1次.然而，出于對(duì)眼球的保護(hù)，人體會(huì)不自覺地產(chǎn)生眨眼的動(dòng)作.眨眼檢測過程中，根據(jù)實(shí)時(shí)的EAR數(shù)據(jù)繪制的眨眼波形圖，如圖5所示.圖5中:β為眼部縱橫比個(gè)數(shù).由圖5可知：無意識(shí)眨眼時(shí)的EAR值波動(dòng)小，而刻意眨眼時(shí)的EAR值波動(dòng)較大.無意識(shí)眨眼對(duì)整個(gè)實(shí)驗(yàn)而言是一種擾動(dòng)因素，會(huì)影響刻意眨眼次數(shù)的統(tǒng)計(jì).為了避免將無意識(shí)的眨眼次數(shù)統(tǒng)計(jì)到實(shí)驗(yàn)結(jié)果中，對(duì)眨眼閾值大小的選取顯得尤為重要.

除了EAR值，刻意眨眼與無意識(shí)眨眼在眨眼時(shí)間上有較大的區(qū)別.刻意眨眼一次會(huì)在眼睛閉合時(shí)持續(xù)一小段時(shí)間，所需時(shí)間為0.7～1.0 s左右，而無意識(shí)眨眼消耗的時(shí)間低于0.4 s.因此，可以將眼部縱橫比閾值和眨眼時(shí)間作為切入點(diǎn)，去除無意識(shí)眨眼對(duì)眨眼檢測的影響.

1.2 基于眼部狀態(tài)識(shí)別的眨眼控制方法

采用基于Adaboost[11，16-18]算法對(duì)眼部狀態(tài)進(jìn)行識(shí)別.Adaboost算法是一種精度極高的分類器，通過分層分類器對(duì)訓(xùn)練樣本進(jìn)行訓(xùn)練，根據(jù)每一層的訓(xùn)練結(jié)果修改對(duì)應(yīng)的樣本權(quán)值，并基于新樣本權(quán)值重新訓(xùn)練.這樣不斷循環(huán)訓(xùn)練會(huì)提高錯(cuò)誤樣本的分布概率，分類器更新樣本權(quán)值后會(huì)對(duì)這些錯(cuò)誤樣本重點(diǎn)照顧.最后，將每次訓(xùn)練得到的分類器融合起來，即變成最終的決策分類器.利用Adaboost算法把弱的分類器組合成強(qiáng)的分類器后，進(jìn)行級(jí)聯(lián)并用于人臉檢測，對(duì)模型眼部進(jìn)行瞳孔邊緣的橢圓擬合和Canny邊緣檢測，從而確定眼睛的狀態(tài).

將瞳孔與橢圓擬合后，通過Canny邊緣檢測確定眼睛的狀態(tài).Canny算子是一個(gè)多級(jí)的邊緣檢測算法，通過查找圖像中梯度的局部最大值提取圖像的邊緣信息，若某一點(diǎn)的邊緣強(qiáng)度滿足邊緣定位條件，則將該點(diǎn)定位為邊緣點(diǎn).采用邊緣局部特征處理得到人眼的邊緣閉合曲線，根據(jù)人眼區(qū)域的黑像素點(diǎn)變化情況識(shí)別當(dāng)前的睜閉眼狀態(tài).對(duì)眼部黑色像素的數(shù)目設(shè)定一個(gè)閾值，該閾值的判定函數(shù)為

(8)

當(dāng)f值大于該閾值時(shí)，判定此時(shí)人眼處于睜開狀態(tài)；當(dāng)f值小于該閾值時(shí)，則判定人眼處于閉合狀態(tài).人的眼部狀態(tài)可以分為4類：雙眼睜開；左眼閉合、右眼睜開；左眼睜開、右眼閉合；雙眼閉合.實(shí)時(shí)眼部狀態(tài)識(shí)別結(jié)果，如圖6所示.

圖6 實(shí)時(shí)眼部狀態(tài)識(shí)別結(jié)果Fig.6 Real-time eye status recognition results

1.3 眼部檢測實(shí)驗(yàn)

1.3.1 眨眼檢測實(shí)驗(yàn) 室內(nèi)正常光照條件下，要求5名受試者在攝像頭前眨眼50次，系統(tǒng)根據(jù)眨眼檢測算法統(tǒng)計(jì)受試者的眨眼次數(shù).采用的眨眼檢測算法是將眼部縱橫比與眨眼閾值進(jìn)行比較，判斷是否眨眼，因此，眨眼閾值是眨眼檢測算法中的重要參數(shù).為了選取合適的眨眼閾值(θ)，對(duì)不同眨眼閾值下的眨眼次數(shù)進(jìn)行分析，如表1所示.表1中：δ為眨眼檢測誤差.

表1 不同眨眼閾值的眨眼次數(shù)Tab.1 Blink times with different blink thresholds

由表1可知：當(dāng)閾值為0.15～0.18時(shí)，眨眼次數(shù)統(tǒng)計(jì)結(jié)果相對(duì)精確；當(dāng)閾值設(shè)定為0.17時(shí)，實(shí)驗(yàn)得到的眨眼檢測誤差最低，因此，將眨眼閾值設(shè)定為0.17.

閾值參數(shù)設(shè)定后，要求受試者在室內(nèi)正常光照條件下完成不同的眨眼次數(shù)實(shí)驗(yàn)，各20組.為保證發(fā)出控制指令的快速性，要求受試者在1 s內(nèi)完成1次眨眼.不同眨眼控制指令下的識(shí)別成功次數(shù)，如表2所示.表2中：n為眨眼次數(shù)；N為識(shí)別成功的總次數(shù)；η為識(shí)別準(zhǔn)確率；t為眨眼識(shí)別用時(shí).

表2 不同眨眼控制指令下的識(shí)別成功次數(shù)Tab.2 Successful identified times under different blink control commands

1.3.2 眼部狀態(tài)識(shí)別實(shí)驗(yàn) 在室內(nèi)正常光照條件下，要求9名會(huì)睜、閉單眼的受試者完成4類眼部睜閉狀態(tài)實(shí)驗(yàn)，各20組.4種眼部狀態(tài)的識(shí)別成功次數(shù)，如表3所示.

表3 4種眼部狀態(tài)的識(shí)別成功次數(shù)Tab.3 Successful identified times of four kinds of eye states

實(shí)驗(yàn)結(jié)果表明：基于眨眼次數(shù)統(tǒng)計(jì)的眨眼控制方法適用人群廣、準(zhǔn)確率較高，且對(duì)硬件設(shè)備的要求不高，但是滑動(dòng)時(shí)間窗導(dǎo)致移動(dòng)機(jī)器人接收到對(duì)應(yīng)的控制指令有幾秒的延時(shí)，實(shí)時(shí)性略差；而基于眼部狀態(tài)識(shí)別的眨眼控制方法實(shí)時(shí)性好、準(zhǔn)確性高，但是對(duì)硬件設(shè)備的要求較高，且不適用于不會(huì)睜、閉單只眼睛的人群.

1.4 眨眼控制指令的轉(zhuǎn)換

基于眨眼次數(shù)的控制方法可以獲取實(shí)時(shí)的眼部縱橫比數(shù)據(jù)，與眨眼閾值比較后可判斷是否刻意眨眼.在此基礎(chǔ)上，設(shè)計(jì)一種通過自適應(yīng)滑動(dòng)時(shí)間窗轉(zhuǎn)換眼部縱橫比數(shù)據(jù)的方法，統(tǒng)計(jì)滑動(dòng)時(shí)間窗范圍內(nèi)的眨眼次數(shù)并將其轉(zhuǎn)換成控制指令，干預(yù)移動(dòng)機(jī)器人的運(yùn)動(dòng)狀態(tài).為了在實(shí)驗(yàn)過程中減少計(jì)算機(jī)對(duì)眨眼次數(shù)的誤判，將兩次及兩次以上的連續(xù)眨眼轉(zhuǎn)換為控制指令.其算法如下.

算法1眨眼次數(shù)轉(zhuǎn)換為控制指令算法.

輸入：實(shí)時(shí)的眼部縱橫比數(shù)據(jù)、滑動(dòng)時(shí)間窗和眨眼閾值參數(shù)

輸出：眨眼次數(shù)，眨眼次數(shù)對(duì)應(yīng)的控制指令

1 系統(tǒng)獲取實(shí)時(shí)的眼部縱橫比數(shù)據(jù)；

2 時(shí)間窗框定眼部縱橫比數(shù)據(jù)，范圍KL～(K+1)L-1，K=0；

3 將眼部縱橫比數(shù)據(jù)與眨眼閾值比較，得到低于眨眼閾值的EAR值個(gè)數(shù)n(即眨眼次數(shù))；

IF n<2，K=K+1

THEN 記錄時(shí)間窗最后一個(gè)數(shù)據(jù)的位置Pi，根據(jù)策略將眨眼次數(shù)轉(zhuǎn)換為控制指令，下一個(gè) 滑動(dòng)時(shí)間窗的方位為Pi+1～Pi+L；

IF n≥2

THEN 下一個(gè)滑動(dòng)時(shí)間窗框定范圍KL～(K+1)L-1.

基于眼部狀態(tài)識(shí)別的控制方法可以識(shí)別實(shí)時(shí)的眼部狀態(tài).而在實(shí)驗(yàn)過程中，發(fā)現(xiàn)大多數(shù)情況下人的兩只眼睛都是處于睜開狀態(tài)，這使得眼部識(shí)別結(jié)果為“雙眼睜開”的頻率過高，所以不適合將“雙眼睜開”狀態(tài)轉(zhuǎn)換為控制指令.若將其轉(zhuǎn)換為直行指令，則無法隨時(shí)控制移動(dòng)機(jī)器人切換至轉(zhuǎn)向狀態(tài)連續(xù)轉(zhuǎn)向；若將其轉(zhuǎn)換為停止指令，則無法控制移動(dòng)機(jī)器人連續(xù)直行或連續(xù)轉(zhuǎn)向.因此，提出將其他眼部狀態(tài)轉(zhuǎn)換為控制指令的算法.

算法2眼部狀態(tài)轉(zhuǎn)換為控制指令算法.

輸入：實(shí)時(shí)眼部圖像，黑色像素閾值f

輸出：對(duì)應(yīng)的控制指令

1 系統(tǒng)獲取實(shí)時(shí)的眼部圖像；

2 對(duì)于瞳孔區(qū)域進(jìn)行橢圓擬合，橢圓外部圖像全設(shè)置為白色；

3 得到橢圓內(nèi)部左、右眼各自的黑色像素?cái)?shù)目GL和GR；

4 將實(shí)時(shí)的黑色像素?cái)?shù)目G與閾值f比較

IF GL>f && GR>f

THEN 識(shí)別結(jié)果“雙眼睜開”

ELSE IF GLf

THEN 識(shí)別結(jié)果“左眼閉合、右眼睜開”，轉(zhuǎn)換為控制指令1；

ELSE IF GL>f && GR

THEN 識(shí)別結(jié)果“左眼睜開、右眼閉合”，轉(zhuǎn)換為控制指令2；

ELSE IF GL

THEN 識(shí)別結(jié)果“雙眼閉合”，轉(zhuǎn)換為控制指令3.

1.5 混合腦機(jī)接口系統(tǒng)

結(jié)合眨眼控制系統(tǒng)模塊、運(yùn)動(dòng)想象腦機(jī)接口系統(tǒng)模塊、AmigoBot移動(dòng)機(jī)器人系統(tǒng)模塊和Petri網(wǎng)模塊設(shè)計(jì)混合腦機(jī)接口系統(tǒng)，如圖7所示.

圖7 混合腦機(jī)接口系統(tǒng)Fig.7 Hybrid brain computer interface system

為了方便受試者更輕松地控制移動(dòng)機(jī)器人，提出如下策略：通過眨眼的方式控制整個(gè)移動(dòng)機(jī)器人的直行、轉(zhuǎn)向和停止3種狀態(tài)，當(dāng)眨眼控制系統(tǒng)發(fā)出轉(zhuǎn)向指令時(shí)，移動(dòng)機(jī)器人接收運(yùn)動(dòng)想象腦電信號(hào)，進(jìn)一步執(zhí)行左轉(zhuǎn)或右轉(zhuǎn)指令；當(dāng)眨眼控制系統(tǒng)發(fā)出直行或停止指令時(shí)，移動(dòng)機(jī)器人不接收運(yùn)動(dòng)想象控制指令.此外，當(dāng)移動(dòng)機(jī)器人沒有接收到新的控制信號(hào)時(shí)，會(huì)繼續(xù)執(zhí)行前一個(gè)控制指令對(duì)應(yīng)的任務(wù)；當(dāng)移動(dòng)機(jī)器人接收到新的、不同的控制指令時(shí)，停止上一個(gè)任務(wù)，執(zhí)行新的任務(wù).

2 實(shí)驗(yàn)仿真分析

為了驗(yàn)證混合系統(tǒng)的效果，設(shè)計(jì)一個(gè)控制移動(dòng)機(jī)器人移動(dòng)過程中避開樓梯口的實(shí)驗(yàn)，受試者需要控制移動(dòng)機(jī)器人從起點(diǎn)運(yùn)行到樓梯口，再運(yùn)行至終點(diǎn).實(shí)驗(yàn)使用的計(jì)算機(jī)配置為Inert(R) Core(TM) i5-8250 CPU，8.00 GB安裝內(nèi)存和1.80 GHz主頻，Windows 10操作系統(tǒng)；實(shí)驗(yàn)數(shù)據(jù)來自電腦自帶攝像頭，圖像的分辨率設(shè)置為1 920 px×1 080 px，視頻幀率為30 幀·s-1；將微軟Microsoft Visual Studio 2013開發(fā)平臺(tái)與移動(dòng)機(jī)器人仿真界面平臺(tái)MoibleSim相結(jié)合，進(jìn)行在線仿真實(shí)驗(yàn).仿真實(shí)驗(yàn)界面，如圖8所示.

圖8 仿真實(shí)驗(yàn)界面Fig.8 Simulation experimental interface

圖8為混合腦機(jī)接口系統(tǒng)在線實(shí)驗(yàn)的工作環(huán)境，眨眼檢測界面、運(yùn)動(dòng)想象腦機(jī)接口界面和移動(dòng)機(jī)器人的仿真圖都在同一界面上.受試者僅需看著電腦界面就可控制仿真界面中的移動(dòng)機(jī)器人.針對(duì)控制問題，對(duì)混合BCI實(shí)驗(yàn)范式進(jìn)行改進(jìn).

1) 調(diào)節(jié)移動(dòng)機(jī)器人的移動(dòng)速度和轉(zhuǎn)動(dòng)角度.移動(dòng)機(jī)器人在實(shí)驗(yàn)過程中以0.1 m·s-1的速度移動(dòng)，每次轉(zhuǎn)向時(shí)的轉(zhuǎn)動(dòng)角度為15°，即在超低速環(huán)境下實(shí)現(xiàn)混合腦機(jī)接口控制移動(dòng)機(jī)器人.

2) 為了方便受試者控制移動(dòng)機(jī)器人，實(shí)驗(yàn)過程中受試者不需要持續(xù)發(fā)出控制信號(hào).受試者發(fā)出控制指令后由系統(tǒng)決策，只要混合BCI系統(tǒng)沒有決策得到新的控制指令，移動(dòng)機(jī)器人就一直執(zhí)行原有決策結(jié)果對(duì)應(yīng)的任務(wù)；若混合BCI系統(tǒng)決策得到新的控制指令，移動(dòng)機(jī)器人會(huì)停止執(zhí)行原任務(wù)，開始新任務(wù)的執(zhí)行.

單一運(yùn)動(dòng)想象BCI系統(tǒng)和混合BCI系統(tǒng)控制移動(dòng)機(jī)器人經(jīng)過樓梯(下梯)口的移動(dòng)路線，如圖9所示.圖9中：綠線代表移動(dòng)機(jī)器人停止運(yùn)動(dòng)的位置.

(a) 單一運(yùn)動(dòng)想象BCI系統(tǒng)控制 (b) 混合BCI控制 圖9 不同BCI系統(tǒng)控制移動(dòng)機(jī)器人的移動(dòng)路線Fig.9 Movement paths of mobile robot controlled by different BCI system

單一運(yùn)動(dòng)想象BCI系統(tǒng)控制移動(dòng)機(jī)器人抵達(dá)樓梯口時(shí)，由于受試者不能及時(shí)控制移動(dòng)機(jī)器人調(diào)轉(zhuǎn)方向，使移動(dòng)機(jī)器人觸碰到樓梯口的障礙物后停止運(yùn)行，無法按預(yù)期完成抵達(dá)終點(diǎn)的任務(wù).實(shí)驗(yàn)結(jié)果表明：單一運(yùn)動(dòng)想象BCI系統(tǒng)控制移動(dòng)機(jī)器人經(jīng)過下梯口時(shí)，操作不當(dāng)會(huì)產(chǎn)生移動(dòng)機(jī)器人掉下樓梯的風(fēng)險(xiǎn)，而基于眨眼和運(yùn)動(dòng)想象控制的BCI混合系統(tǒng)可以實(shí)時(shí)控制移動(dòng)機(jī)器人停止，不僅避免了該風(fēng)險(xiǎn)的發(fā)生，還解決了單一運(yùn)動(dòng)想象BCI控制指令不足的問題，提高了腦機(jī)接口系統(tǒng)的實(shí)際應(yīng)用效果.

不同受試者通過腦電設(shè)備控制移動(dòng)機(jī)器人的效果不一，但大多都能通過適合自身的眨眼方式控制移動(dòng)機(jī)器人停止.當(dāng)受試者感覺控制狀態(tài)不佳或在實(shí)驗(yàn)過程中感到疲勞時(shí)，可以隨時(shí)停止移動(dòng)機(jī)器人，進(jìn)行短暫休息或者調(diào)整自身的狀態(tài)，以便在接下來的實(shí)驗(yàn)中以更好的精神狀態(tài)繼續(xù)工作.

3 結(jié)束語

設(shè)計(jì)基于眨眼和運(yùn)動(dòng)想象控制移動(dòng)機(jī)器人運(yùn)動(dòng)的混合BCI系統(tǒng)，實(shí)現(xiàn)由運(yùn)動(dòng)想象移動(dòng)機(jī)器人左轉(zhuǎn)、右轉(zhuǎn)，眨眼控制移動(dòng)機(jī)器人停止、直行和轉(zhuǎn)向的功能，有效解決單一運(yùn)動(dòng)想象控制移動(dòng)機(jī)器人過程中控制指令不足這一問題.仿真實(shí)驗(yàn)證明了系統(tǒng)方案的合理性、準(zhǔn)確性和實(shí)時(shí)性.實(shí)驗(yàn)將系統(tǒng)的安全性放在首位，受試者可以通過眨眼隨時(shí)停止移動(dòng)機(jī)器人，減輕受試者視覺和大腦方面的負(fù)擔(dān)、降低實(shí)驗(yàn)的復(fù)雜程度，同時(shí)有望提高腦機(jī)接口系統(tǒng)的實(shí)用性.