謝松云, 張曉偉, 周柳智, 劉祥惠, 謝辛舟

(1.西北工業(yè)大學(xué) 電子信息學(xué)院, 陜西 西安 710072; 2.西北工業(yè)大學(xué) 醫(yī)學(xué)研究院, 陜西 西安 710072)

目前基于SLAM的自主導(dǎo)航技術(shù)在機(jī)器人、自主導(dǎo)航車、無人機(jī)等智能裝置中得到廣泛應(yīng)用[1-2]，但該技術(shù)仍面臨著許多問題，如智能算法無法應(yīng)對(duì)復(fù)雜環(huán)境變化、突發(fā)情況難以正確處理等，許多研究人員嘗試將人腦引入智能裝置中來解決這些問題。腦-機(jī)接口(brain computer interface,BCI)技術(shù)旨在建立一條不依賴于大腦外圍神經(jīng)與肌肉組織的輸出通道，實(shí)現(xiàn)人腦直接與外部設(shè)備通訊的功能[3]。BCI技術(shù)在智能輪椅、機(jī)器人等[4-6]領(lǐng)域有著廣泛的應(yīng)用。針對(duì)基于SLAM的自主導(dǎo)航技術(shù)所存在的問題，國(guó)內(nèi)外曾有研究者嘗試過將SLAM技術(shù)與BCI技術(shù)相結(jié)合。Liu等[7]提出了一種基于腦-機(jī)器人接口結(jié)合SLAM的控制策略，通過人工勢(shì)場(chǎng)的方法與腦電信號(hào)(electroencephalogram,EEG)相結(jié)合，建立起EEG強(qiáng)度與勢(shì)場(chǎng)強(qiáng)度之間的關(guān)系。其中腦電信號(hào)識(shí)別精度可以達(dá)到91%，所提出的腦電-人工勢(shì)場(chǎng)方法，可以獲得在非結(jié)構(gòu)化環(huán)境中規(guī)劃無障礙軌跡的運(yùn)動(dòng)命令。Li等[8]采用基于左右手的運(yùn)動(dòng)想象作為腦遙操作系統(tǒng)的輸入，設(shè)計(jì)了基于深度學(xué)習(xí)的SLAM?；谶\(yùn)動(dòng)想象的平均腦電識(shí)別正確率可以達(dá)到71.72%，在走廊環(huán)境下的一系列實(shí)驗(yàn)證明了該系統(tǒng)的可行性。Li等[9]提出了一種人機(jī)共享的輪椅導(dǎo)航控制策略，采用腦機(jī)共享控制模式和自主控制模式。自主控制模式下，使用基于角度的勢(shì)場(chǎng)和基于視覺SLAM的綜合方法來指導(dǎo)機(jī)器人在障礙物中的導(dǎo)航；共享控制模式下，腦電識(shí)別正確率可達(dá)85%，保證被試完成控制任務(wù)。

以上研究者們將SLAM技術(shù)與BCI技術(shù)進(jìn)行結(jié)合，解決了部分問題的同時(shí)又引入新的問題。上述研究都是通過BCI直接控制移動(dòng)機(jī)器人執(zhí)行復(fù)雜運(yùn)動(dòng)，所以腦-機(jī)器人系統(tǒng)的控制需要大量腦電信息，進(jìn)而對(duì)于導(dǎo)聯(lián)的數(shù)量要求較高，常見的導(dǎo)聯(lián)數(shù)目有32導(dǎo)及64導(dǎo)，這不便于日常攜帶和使用。目前許多基于BCI的技術(shù)都是將人腦作為完成任務(wù)的主要部分，這就導(dǎo)致人腦在整個(gè)任務(wù)過程中負(fù)荷大，易造成人腦疲勞，降低腦機(jī)系統(tǒng)有效性。腦機(jī)協(xié)同(brain-computer collaboration,BCC)可以有效地解決上述問題。BCC是腦科學(xué)與機(jī)器相互結(jié)合共同處理問題的方式，指的是人腦與計(jì)算機(jī)相互協(xié)同，密切協(xié)作，共同處理各種復(fù)雜問題[10]，BCC是一種全新的人機(jī)協(xié)作方式。其中，計(jì)算機(jī)主要負(fù)責(zé)數(shù)據(jù)處理等任務(wù)量較大的工作，人腦主要負(fù)責(zé)計(jì)算機(jī)難以完成的工作，如選擇、決策、評(píng)價(jià)、認(rèn)知等。BCC技術(shù)具有廣泛的應(yīng)用前景，通過BCI技術(shù)與不同的計(jì)算機(jī)技術(shù)進(jìn)行結(jié)合，可以改進(jìn)現(xiàn)有的許多計(jì)算機(jī)應(yīng)用技術(shù)。

1 腦機(jī)協(xié)同導(dǎo)航思路與研究?jī)?nèi)容

在真實(shí)環(huán)境中，SLAM指無人車等智能裝置在移動(dòng)過程中通過自身搭載的傳感器精確估計(jì)自身位姿的同時(shí)，估計(jì)真實(shí)環(huán)境并創(chuàng)建環(huán)境地圖的過程。目前SLAM技術(shù)與BCI技術(shù)的結(jié)合方式多是從主動(dòng)的腦控出發(fā)，即通過大腦控制機(jī)器人在非結(jié)構(gòu)環(huán)境下進(jìn)行同步定位與地圖構(gòu)建或者執(zhí)行其他復(fù)雜任務(wù)。在整個(gè)任務(wù)過程中，人腦需要承擔(dān)大部分工作量，導(dǎo)致操作人員負(fù)擔(dān)較大，極易產(chǎn)生疲勞、注意力分散，任務(wù)完成率較低。同時(shí)由于所執(zhí)行的任務(wù)比較復(fù)雜，需要的腦電信息量更多，對(duì)于EEG采集要求更高，不便于日常的使用與推廣。針對(duì)以上問題，本文提出了一種結(jié)合SLAM的腦機(jī)協(xié)同導(dǎo)航方法，充分發(fā)揮人工智能與人腦智能各自的優(yōu)勢(shì)。通過視頻反饋疊加刺激技術(shù)，獲取非結(jié)構(gòu)環(huán)境信息，人腦自主選擇感興趣的目標(biāo)區(qū)域圖像，使用合適的機(jī)器學(xué)習(xí)算法解碼EEG，提取目標(biāo)區(qū)域圖像的ORB(oriented FAST and rotated BRIEF)特征點(diǎn)與ORB-SLAM地圖中的特征點(diǎn)匹配，將特征點(diǎn)的質(zhì)心作為目標(biāo)點(diǎn)。目標(biāo)點(diǎn)坐標(biāo)傳入人工勢(shì)場(chǎng)，對(duì)機(jī)器人產(chǎn)生引力，控制機(jī)器人在非結(jié)構(gòu)化環(huán)境下執(zhí)行導(dǎo)航任務(wù)。機(jī)器人主要負(fù)責(zé)目標(biāo)區(qū)域圖像處理、周圍環(huán)境信息感知、非結(jié)構(gòu)環(huán)境下動(dòng)態(tài)避障等計(jì)算量較大的任務(wù)。因?yàn)槿四X在整個(gè)過程中任務(wù)量比較小，所需要的腦電信息量較少、操作時(shí)間短，所以通過腦機(jī)協(xié)同的方法，不僅降低操作人員的操作難度，還有效地緩解操作人員的疲勞程度，降低EEG采集的要求。

1.1 結(jié)合SLAM的腦機(jī)協(xié)同導(dǎo)航方法

結(jié)合SLAM的腦機(jī)協(xié)同導(dǎo)航主要包括4個(gè)部分：環(huán)境感知與反饋、人腦目標(biāo)區(qū)域選擇、腦電信息處理、機(jī)器人自主導(dǎo)航。如圖1所示，具體實(shí)現(xiàn)方法是將機(jī)器人置于非結(jié)構(gòu)環(huán)境中，遙操作控制機(jī)器人對(duì)于非結(jié)構(gòu)環(huán)境進(jìn)行三維地圖構(gòu)建。地圖構(gòu)建完成后，機(jī)器人平臺(tái)的攝像頭采集周圍環(huán)境信息，將采集到的環(huán)境圖像信息經(jīng)由無線路由器發(fā)送到遠(yuǎn)程計(jì)算機(jī)，通過在實(shí)時(shí)圖像上疊加刺激塊并反饋給操作人員。將采集到的EEG數(shù)據(jù)經(jīng)無線網(wǎng)絡(luò)發(fā)送至計(jì)算機(jī)，由計(jì)算機(jī)進(jìn)行預(yù)處理、特征提取和目標(biāo)分類，選擇出相應(yīng)的目標(biāo)區(qū)域圖像經(jīng)由無線網(wǎng)絡(luò)發(fā)送到機(jī)器人平臺(tái)上。圖像特征點(diǎn)與SLAM地圖的特征點(diǎn)進(jìn)行匹配，獲取導(dǎo)航目標(biāo)點(diǎn)坐標(biāo)后在人工勢(shì)場(chǎng)中形成引力作用，障礙物對(duì)機(jī)器人產(chǎn)生斥力的作用，在合力的作用下共同控制機(jī)器人運(yùn)動(dòng)。

圖1 結(jié)合SLAM的腦機(jī)協(xié)同導(dǎo)航示意圖

1.2 腦機(jī)協(xié)同導(dǎo)航構(gòu)成

完成腦機(jī)協(xié)同導(dǎo)航任務(wù)需要1名系統(tǒng)操作員、1臺(tái)高性能計(jì)算機(jī)、1個(gè)載有Kinect深度相機(jī)傳感器和攝像頭傳感器的小強(qiáng)機(jī)器人、1套EEG采集儀器、無線路由器和中繼路由器。它們通過無線網(wǎng)絡(luò)連接到一起，組成局域網(wǎng)進(jìn)行數(shù)據(jù)交換。整個(gè)系統(tǒng)結(jié)構(gòu)如圖2所示，該系統(tǒng)主要包括腦-機(jī)接口模塊、無線傳輸模塊、自主導(dǎo)航模塊與刺激顯示模塊。腦-機(jī)接口模塊主要由1套博瑞康64導(dǎo)無線腦電采集裝置、中繼路由器以及計(jì)算機(jī)組成，負(fù)責(zé)EEG的采集與信號(hào)處理。無線傳輸模塊主要由無線路由器組成，負(fù)責(zé)數(shù)據(jù)的接收與發(fā)送。自主導(dǎo)航模塊主要是由小強(qiáng)機(jī)器人平臺(tái)構(gòu)成，負(fù)責(zé)目標(biāo)點(diǎn)確定、自主定位、地圖構(gòu)建、自主導(dǎo)航等任務(wù)。顯示刺激模塊由1臺(tái)遠(yuǎn)程上位機(jī)組成，負(fù)責(zé)誘發(fā)EEG和環(huán)境信息展示。腦機(jī)協(xié)同導(dǎo)航的各個(gè)模塊之間的連接通過無線傳輸模塊來實(shí)現(xiàn)。自主導(dǎo)航模塊與無線傳輸模塊之間的信息交換為雙向通道，傳輸?shù)臄?shù)據(jù)是實(shí)時(shí)環(huán)境信息、動(dòng)態(tài)障礙物信息及腦電解碼信息；腦-機(jī)接口模塊與無線傳輸模塊之間采用單向通道，EEG從腦電采集模塊的中繼路由器發(fā)送到遠(yuǎn)程上位機(jī)處理；遠(yuǎn)程上位機(jī)通過SSH協(xié)議訪問機(jī)器人的IP地址，用于開啟機(jī)器人USB攝像頭和深度相機(jī)等設(shè)備。

圖2 腦機(jī)協(xié)同導(dǎo)航的整體架構(gòu)

2 腦機(jī)協(xié)同導(dǎo)航方法實(shí)現(xiàn)

2.1 基于穩(wěn)態(tài)視覺誘發(fā)電位的腦機(jī)接口

穩(wěn)態(tài)視覺誘發(fā)電位(steady-state visual evoked potentials,SSVEP)是一種由穩(wěn)定頻率閃爍視覺刺激所誘發(fā)的具有與刺激頻率相同和更高次諧波頻率成分的EEG穩(wěn)態(tài)響應(yīng)，主要出現(xiàn)于大腦皮層枕區(qū)?；赟SVEP的BCI(SSVEP-BCI)系統(tǒng)具有更高的信息傳輸速率，相應(yīng)的系統(tǒng)和實(shí)驗(yàn)設(shè)計(jì)也更加簡(jiǎn)便。同時(shí)SSVEP-BCI具有較強(qiáng)的魯棒性，在游戲、文字拼寫、機(jī)器人運(yùn)動(dòng)控制等方面具有廣泛的應(yīng)用。雖然SSVEP-BCI可以輕松誘發(fā)腦電信號(hào)，但是需要操作人員長(zhǎng)時(shí)間注視屏幕，容易引發(fā)視覺疲勞。本文擬采用腦機(jī)協(xié)同的方式來緩解SSVEP-BCI所帶來的人腦疲勞問題。

2.2 基于SSVEP的目標(biāo)區(qū)域圖像選取方法

傳統(tǒng)的腦-機(jī)器人直接控制技術(shù)，需要大量的導(dǎo)聯(lián)才能夠獲取足夠多的EEG，以滿足控制的需求。但是大量的導(dǎo)聯(lián)限制了日常使用，不利于BCI的應(yīng)用推廣。腦機(jī)協(xié)同的方法相較于傳統(tǒng)腦控技術(shù)，人腦的任務(wù)量較小且對(duì)于腦電信息需求量較少，為減少導(dǎo)聯(lián)的數(shù)目提供了可行性。

如圖3所示，本研究采用3個(gè)導(dǎo)聯(lián)的SSVEP目標(biāo)區(qū)域圖像選取的方法。機(jī)器人攝像頭獲取環(huán)境信息通過無線模塊傳輸?shù)斤@示界面，在視頻界面添加相應(yīng)的LCD閃爍塊，閃爍頻率分別設(shè)置為12.4,16,17.8,20 Hz，由這些閃爍塊以及環(huán)境信息構(gòu)成LCD視覺刺激界面。使用腦電放大采集裝置采集操作人員O1,O2,OZ導(dǎo)聯(lián)的EEG，這里之所以選擇三導(dǎo)聯(lián)通道為O1,O2,OZ，是因?yàn)殚W爍塊所誘發(fā)的SSVEP信號(hào)出現(xiàn)于大腦皮層枕區(qū)，當(dāng)操作人員注視著特定頻率閃爍的模塊時(shí)，提取其枕區(qū)的EEG，即對(duì)O1,O2,OZ導(dǎo)聯(lián)進(jìn)行頻譜分析，就會(huì)發(fā)現(xiàn)EEG在特定頻率及倍頻處會(huì)有明顯的波峰。對(duì)于所采集的腦電信號(hào)，通過無線模塊傳輸?shù)綌?shù)據(jù)處理單元，進(jìn)行腦電信號(hào)分析與處理。使用相應(yīng)的機(jī)器學(xué)習(xí)算法進(jìn)行特征提取和分類，最終根據(jù)分類結(jié)果判斷操作人員所選擇的目標(biāo)區(qū)域圖像。

圖3 基于SSVEP的目標(biāo)區(qū)域圖像選取示意圖

2.3 腦電信號(hào)處理

EEG具有較好的時(shí)間分辨率，但微弱的信號(hào)強(qiáng)度極容易受各種噪聲信號(hào)的干擾，因此必須對(duì)采集的EEG進(jìn)行預(yù)處理，提高EEG的可用性。同時(shí)為正確解碼操作人員的意圖，需要對(duì)所采集的EEG進(jìn)行特征提取和分類，最終輸出相應(yīng)的指令結(jié)果，處理過程如圖4所示。

圖4 基于典型相關(guān)分析的SSVEP信號(hào)處理框圖

2.3.1 腦電信號(hào)預(yù)處理

SSVEP信號(hào)具有比較明顯的頻域特征，在進(jìn)行穩(wěn)態(tài)視覺誘發(fā)時(shí)選擇的刺激頻域大多為低頻，所以需要對(duì)高頻噪聲進(jìn)行濾除。本文通過濾波處理工頻噪聲，為此設(shè)計(jì)了50 Hz陷波器來濾除工頻噪聲干擾。經(jīng)過陷波器處理的EEG，需要根據(jù)SSVEP所設(shè)置的頻率，設(shè)計(jì)相應(yīng)的帶通濾波器。本文所選的4個(gè)閃爍頻率為12.4,16,17.8,20 Hz，所以對(duì)原始EEG信號(hào)進(jìn)行5～30 Hz的帶通濾波。

2.3.2 腦電信號(hào)特征提取與分類

經(jīng)過預(yù)處理之后的EEG利用典型相關(guān)分析(canonical correlation analysis,CCA)算法進(jìn)行特征提取和分類。CCA是一種多元統(tǒng)計(jì)分析方法，通過計(jì)算2個(gè)數(shù)據(jù)組中各變量的線性組合，求出相關(guān)度最具有代表性的線性變量組合，并利用2個(gè)線性組合間的相關(guān)度來反映2組信號(hào)的相關(guān)性。將CCA算法應(yīng)用在SSVEP特征提取中，就是將原始的EEG和特定頻率的正余弦信號(hào)及倍頻信號(hào)求典型相關(guān)度，得到的相關(guān)度即為特征信息。例如提取頻率為fi的特征,可將相關(guān)的參考序列Si設(shè)置為

(1)

式中:N是原始EEG的長(zhǎng)度;Fs為EEG的采樣率;K為CCA算法的待分類模式數(shù),待求模式可表示為

(2)

式中,ρ(fi)為EEG信號(hào)與參考信號(hào)Si的典型相關(guān)系數(shù)。由此得到4類EEG的相關(guān)性系數(shù),如圖5所示。

圖5 SSVEP信號(hào)特征分布圖

2.4 目標(biāo)區(qū)域圖像處理

目標(biāo)區(qū)域圖像選擇后如何進(jìn)行目標(biāo)區(qū)域?qū)Ш街陵P(guān)重要。圖像的特征點(diǎn)由關(guān)鍵點(diǎn)和描述子表達(dá),單詞(word)是由某一類特征的特征點(diǎn)構(gòu)成;由所有的單詞構(gòu)成字典(vocabulary),構(gòu)建字典后對(duì)于給定任意特征,只要在字典中使用漢明距離逐層查找,就可以找到與之對(duì)應(yīng)的單詞。在機(jī)器人使用ORB-SLAM建立稀疏地圖的過程中,對(duì)所有特征點(diǎn)使用k-means聚類方法,將其分成若干類,每一類即表示為1個(gè)單詞。由k-means聚類所構(gòu)成的類別數(shù)量不能太少,否則會(huì)產(chǎn)生誤匹配問題,但是數(shù)量過大會(huì)帶來查找效率問題。由于單詞數(shù)量過多需要提高查找效率,視覺詞袋模型一般使用樹結(jié)構(gòu)進(jìn)行存儲(chǔ)。本文所采用的方法是K叉樹,設(shè)置樹的深度為d,則可以構(gòu)成Kd個(gè)單詞,建立的樹形結(jié)構(gòu)如圖6所示。

圖6 樹形結(jié)構(gòu)存儲(chǔ)詞袋

在離線生成K叉樹字典后,通過3個(gè)導(dǎo)聯(lián)的SSVEP選取目標(biāo)區(qū)域圖像,將圖像中的每個(gè)特征點(diǎn)都從根節(jié)點(diǎn)往下遍歷,根據(jù)漢明距離一直遍歷到葉子節(jié)點(diǎn),就可以找到位于葉子節(jié)點(diǎn)的圖像單詞。將目標(biāo)區(qū)域圖像中的每個(gè)特征點(diǎn)與SLAM地圖中的特征點(diǎn)匹配后換算成SLAM地圖中的三維坐標(biāo),取這些特征點(diǎn)的質(zhì)心為目標(biāo)點(diǎn)坐標(biāo)。最后將目標(biāo)點(diǎn)坐標(biāo)傳入導(dǎo)航系統(tǒng)進(jìn)行路徑規(guī)劃并驅(qū)動(dòng)機(jī)器人前進(jìn)。

2.5 真實(shí)環(huán)境構(gòu)建

為測(cè)試結(jié)合SLAM的腦機(jī)協(xié)同導(dǎo)航方法,首先需要對(duì)真實(shí)的非結(jié)構(gòu)化環(huán)境進(jìn)行建模,以獲取環(huán)境相應(yīng)的信息。利用ORB-SLAM算法對(duì)實(shí)驗(yàn)場(chǎng)景進(jìn)行三維地圖建模,獲取三維地圖模型特征點(diǎn)稀疏地圖的俯視圖,如圖7所示。

圖7 稀疏特征點(diǎn)圖

圖中分布全局的點(diǎn)為所建地圖中的ORB特征點(diǎn),離散的藍(lán)線為機(jī)器人進(jìn)行非結(jié)構(gòu)環(huán)境下建模時(shí)所走過的真實(shí)路徑,連續(xù)的紅線為人工規(guī)劃的可行走路徑。

3 方法驗(yàn)證和結(jié)果分析

3.1 目標(biāo)區(qū)域圖像選取方法驗(yàn)證

為驗(yàn)證基于3個(gè)導(dǎo)聯(lián)的SSVEP目標(biāo)區(qū)域圖像選取方法的可行性,本文對(duì)含圖像反饋的SSVEP范式進(jìn)行測(cè)試,本實(shí)驗(yàn)分為訓(xùn)練階段和測(cè)試階段,訓(xùn)練階段主要完成分類器參數(shù)優(yōu)化,測(cè)試階段主要用來檢驗(yàn)分類器和目標(biāo)區(qū)域圖像選取方法的性能。

3.1.1 實(shí)驗(yàn)材料

本實(shí)驗(yàn)需要用到如下器材:計(jì)算機(jī)1臺(tái)、腦電采集儀器1套、無線路由器1個(gè)、小強(qiáng)機(jī)器人平臺(tái)。

3.1.2 實(shí)驗(yàn)步驟

1) 本實(shí)驗(yàn)中4名被試需分別進(jìn)行3組實(shí)驗(yàn),共計(jì)12組實(shí)驗(yàn)。每組實(shí)驗(yàn)中需要被試依次注視4個(gè)頻率的閃爍塊,每個(gè)閃爍塊的刺激時(shí)間長(zhǎng)為2 min,共計(jì)時(shí)長(zhǎng)8 min。

2) 設(shè)置腦電采集放大器采樣頻率為1 000 Hz,每名被試采集到的是維度為4×3×120 000的腦電數(shù)據(jù),其中“4”代表4個(gè)頻率閃爍塊,“3”表示進(jìn)行3組實(shí)驗(yàn),“120 000”由采樣時(shí)長(zhǎng)乘以采樣頻率獲得。對(duì)腦電數(shù)據(jù)進(jìn)行清洗后,每0.8 s截取一個(gè)樣本數(shù)據(jù)片段,則每個(gè)被試有3組樣本,每組4個(gè)頻率各150個(gè)樣本數(shù)據(jù)片段,共計(jì)600個(gè)樣本數(shù)據(jù)片段。

3) 在訓(xùn)練階段,對(duì)采集的腦電數(shù)據(jù)進(jìn)行預(yù)處理、CCA算法特征提取及分類,通過樣本數(shù)據(jù)訓(xùn)練得到腦電信號(hào)分類器的參數(shù),訓(xùn)練出性能較高的分類器。

4) 在測(cè)試階段,要求每位被試按照實(shí)驗(yàn)操作人員提示,選擇4個(gè)LCD閃爍模塊中的1個(gè)進(jìn)行注視,并記錄相應(yīng)的順序。使用之前訓(xùn)練好的分類器,完成30個(gè)分類結(jié)果后結(jié)束實(shí)驗(yàn)。

3.1.3 實(shí)驗(yàn)結(jié)果分析

嚴(yán)格執(zhí)行上述實(shí)驗(yàn)步驟,統(tǒng)計(jì)4名被試獲得如下實(shí)驗(yàn)結(jié)果,并予以分析。

由表1可得4名被試選擇的導(dǎo)聯(lián)為O1,O2,OZ,各自進(jìn)行了30次實(shí)驗(yàn)。被試1在4名被試中表現(xiàn)較差，準(zhǔn)確率最低。在30次分類實(shí)驗(yàn)中,正確分類的次數(shù)為27次,準(zhǔn)確率為90.00%；被試2、被試3表現(xiàn)最好，準(zhǔn)確率最高。在30次分類實(shí)驗(yàn)中,正確的分類次數(shù)達(dá)到29次,準(zhǔn)確率高達(dá)96.70%?？傮w來說4名被試平均正確率為94.17%,目標(biāo)區(qū)域圖像分類正確率高。實(shí)驗(yàn)證明對(duì)3個(gè)導(dǎo)聯(lián)的SSVEP進(jìn)行特征提取與分類是可用的,這為接下來進(jìn)行測(cè)試結(jié)合SLAM進(jìn)行腦機(jī)協(xié)同導(dǎo)航奠定基礎(chǔ)。

表1 三導(dǎo)聯(lián)SSVEP目標(biāo)選擇實(shí)驗(yàn)結(jié)果

3.2 結(jié)合SLAM的腦機(jī)協(xié)同導(dǎo)航方法測(cè)試

本研究根據(jù)腦機(jī)協(xié)同導(dǎo)航方法,設(shè)計(jì)了機(jī)器人導(dǎo)航任務(wù)。操作人員操作結(jié)合SLAM腦機(jī)協(xié)同導(dǎo)航的機(jī)器人,驅(qū)動(dòng)機(jī)器人在地圖中進(jìn)行指定區(qū)域測(cè)試。測(cè)試人員隨機(jī)選擇目標(biāo)區(qū)域,機(jī)器人到達(dá)指定區(qū)域即視為任務(wù)完成。

3.2.1 測(cè)試步驟

1) 在測(cè)試任務(wù)開始前,需將具體任務(wù)以及詳細(xì)的操作提前告知操作人員,操作人員熟悉系統(tǒng)后正式開始測(cè)試。

2) 等待所有設(shè)備準(zhǔn)備完畢后,操作人員觀看移動(dòng)機(jī)器人回傳的車載實(shí)時(shí)圖像以及圖像中閃爍的LCD模塊,誘發(fā)其產(chǎn)生SSVEP信號(hào)。

3) 測(cè)試過程中操作人員不能直接看到移動(dòng)機(jī)器人行走狀態(tài),只能看到刺激顯示模塊顯示的實(shí)時(shí)視頻。

4) 將圖像與ORB-SLAM所構(gòu)建的地圖進(jìn)行匹配確定目標(biāo)點(diǎn)的坐標(biāo),并利用人工勢(shì)場(chǎng)法對(duì)非結(jié)構(gòu)環(huán)境進(jìn)行路徑規(guī)劃,實(shí)現(xiàn)腦-機(jī)器人的協(xié)同導(dǎo)航。

3.2.2 評(píng)價(jià)指標(biāo)

通過任務(wù)完成率、任務(wù)平均完成時(shí)間、目標(biāo)選擇時(shí)間3條技術(shù)指標(biāo),對(duì)結(jié)合SLAM的腦機(jī)協(xié)同導(dǎo)航方法性能進(jìn)行評(píng)估。

1) 任務(wù)完成率

在結(jié)合SLAM的腦機(jī)協(xié)同導(dǎo)航任務(wù)中,若機(jī)器人導(dǎo)航到達(dá)預(yù)定目標(biāo)區(qū)域,則稱為執(zhí)行正確;若移動(dòng)機(jī)器人未導(dǎo)航到達(dá)預(yù)定目標(biāo)區(qū)域,為執(zhí)行錯(cuò)誤。定義結(jié)合SLAM的腦機(jī)協(xié)同導(dǎo)航任務(wù)完成率為任務(wù)完成的次數(shù)/總?cè)蝿?wù)次數(shù)。

2) 任務(wù)平均完成時(shí)間

每次執(zhí)行任務(wù)時(shí)都記錄下從任務(wù)開始到任務(wù)結(jié)束的時(shí)間,計(jì)算全部任務(wù)的執(zhí)行時(shí)間/總?cè)蝿?wù)次數(shù)即為1次任務(wù)的平均完成時(shí)間。

3) 目標(biāo)選擇時(shí)間

每次任務(wù)都記錄下通過SSVEP閃爍模塊選擇目標(biāo)區(qū)域圖像時(shí)間,實(shí)驗(yàn)結(jié)束后計(jì)算全部任務(wù)的目標(biāo)選擇時(shí)間/總?cè)蝿?wù)次數(shù)即為1次任務(wù)進(jìn)行目標(biāo)選擇所需的平均時(shí)間。

3.2.3 實(shí)驗(yàn)結(jié)果分析

如表2所示，根據(jù)實(shí)驗(yàn)統(tǒng)計(jì),在總共40次的測(cè)試中,輔助人員隨機(jī)指定地圖中的目標(biāo)區(qū)域作為測(cè)試任務(wù),操作人員通過注視SSVEP誘發(fā)模塊選擇導(dǎo)航目標(biāo)區(qū)域圖像,將目標(biāo)區(qū)域圖像傳遞給機(jī)器人進(jìn)行協(xié)同導(dǎo)航。操作人員成功完成任務(wù)37次,平均每次任務(wù)完成時(shí)間為1.8 min,任務(wù)完成率為92.5%,總控制時(shí)間為72 min。所用導(dǎo)聯(lián)數(shù)目從64全導(dǎo)聯(lián)減少到3個(gè)導(dǎo)聯(lián),降低了系統(tǒng)的硬件要求。目前腦-機(jī)器人系統(tǒng)需要不斷地進(jìn)行實(shí)時(shí)控制,長(zhǎng)時(shí)間的控制任務(wù)容易引起疲勞。本文所提出的基于SLAM的腦機(jī)協(xié)同導(dǎo)航方法只需要人腦進(jìn)行目標(biāo)區(qū)域圖像選擇,可以有效地降低操作人員的操作負(fù)擔(dān)。在機(jī)器人導(dǎo)航的過程中操作人員不需要集中精力進(jìn)行控制,在一定程度上證明了結(jié)合SLAM的腦機(jī)協(xié)同導(dǎo)航方法對(duì)于操作人員具有較高的舒適性。

表2 實(shí)驗(yàn)測(cè)試結(jié)果

4 結(jié) 論

本文提出的結(jié)合SLAM的腦機(jī)協(xié)同導(dǎo)航方法，通過3個(gè)導(dǎo)聯(lián)的SSVEP對(duì)目標(biāo)區(qū)域圖像選取，對(duì)選取后的目標(biāo)圖像進(jìn)行處理并轉(zhuǎn)換為導(dǎo)航的目標(biāo)區(qū)域，從而控制基于SLAM的機(jī)器人完成導(dǎo)航任務(wù)。該方法以人腦選取的目標(biāo)區(qū)域引導(dǎo)機(jī)器人自主運(yùn)動(dòng)，實(shí)現(xiàn)腦機(jī)協(xié)同導(dǎo)航，最終評(píng)估的測(cè)試準(zhǔn)確率為92.5%，腦控時(shí)間長(zhǎng)度為0.8 s。這不僅緩解了人腦疲勞而且降低了腦電采集的硬件要求，后續(xù)研究中可以適當(dāng)增加人腦任務(wù)，比如人腦檢測(cè)機(jī)器人運(yùn)動(dòng)狀況等，以提高腦機(jī)協(xié)同的自由度。

致謝感謝陜西省腦機(jī)一體化及其無人系統(tǒng)應(yīng)用國(guó)際聯(lián)合研究中心以及西北工業(yè)大學(xué)腦科學(xué)與類腦研究中心提供的實(shí)驗(yàn)和技術(shù)支持與幫助。