汪小龍， 魏書恒， 高理富， 王 森， 丁仁船

(1.安徽建筑大學(xué) 電子與信息工程學(xué)院，安徽 合肥 230022；2.中國科學(xué)院合肥物質(zhì)科學(xué)研究院，安徽 合肥 230031)

?

水下機(jī)器人手爪標(biāo)定與輔助控制系統(tǒng)方案研究

汪小龍1， 魏書恒1， 高理富2， 王 森1， 丁仁船1

(1.安徽建筑大學(xué) 電子與信息工程學(xué)院，安徽 合肥 230022；2.中國科學(xué)院合肥物質(zhì)科學(xué)研究院，安徽 合肥 230031)

目前水下機(jī)器人手爪標(biāo)定與輔助控制系統(tǒng)主要存在手爪控制適應(yīng)性不足和控制系統(tǒng)操作效率低下2個(gè)問題，而腦機(jī)接口技術(shù)由于具有精確靈敏、適應(yīng)環(huán)境力強(qiáng)和控制手段多樣等優(yōu)點(diǎn)，能夠?yàn)檫@些問題提供可行的解決途徑。因此，提出一種基于腦機(jī)接口的水下機(jī)器人手爪標(biāo)定與輔助控制系統(tǒng)方案，并以珊瑚抓取過程為實(shí)例，解釋系統(tǒng)解決實(shí)際問題的過程。

水下機(jī)器人；腦機(jī)接口；標(biāo)定

0 引 言

水下機(jī)器人是一種能夠代替人在水下實(shí)施各類作業(yè)的現(xiàn)代設(shè)備，具有靈活、適應(yīng)性強(qiáng)、安全穩(wěn)定等優(yōu)點(diǎn)，廣泛應(yīng)用在海洋科學(xué)研究、海洋災(zāi)害預(yù)報(bào)、海洋資源開發(fā)、國防軍事等領(lǐng)域[1]。近年來，國內(nèi)外對(duì)機(jī)器手爪的研究成果很多，日本konda等設(shè)計(jì)開發(fā)了番茄采摘機(jī)器人系統(tǒng)，可以采摘一整串番茄果實(shí)[2]；中國科學(xué)院將機(jī)器手爪應(yīng)用于遠(yuǎn)程自動(dòng)空氣微生物采樣機(jī)器人中，能夠連續(xù)采樣空氣中微生物[3]；廣東工業(yè)大學(xué)自主研發(fā)一種雙爪式爬桿機(jī)器人Climbot[4]。目前水下機(jī)器人手爪的標(biāo)定普遍采用指力傳感器數(shù)值標(biāo)定方法，而水下環(huán)境具有很強(qiáng)的隨機(jī)性，往往會(huì)出現(xiàn)超出運(yùn)動(dòng)學(xué)模型范疇的情況，并且由于抓取目標(biāo)類型多樣，其質(zhì)感區(qū)別很大，例如礦石、軟體生物等，機(jī)器手爪無法像人手一樣根據(jù)手感[5]改變抓取力度，這些因素導(dǎo)致目前標(biāo)定系統(tǒng)無法準(zhǔn)確、迅速地完成抓取任務(wù)。與此同時(shí)，水下機(jī)器人控制系統(tǒng)也存在一定缺陷，目前的控制方式大都采用人員手動(dòng)操作上位機(jī)軟件[6]，操作人員需要在面對(duì)各類情況時(shí)快速準(zhǔn)確地進(jìn)行一系列復(fù)雜的操作，但水下機(jī)器人在使用過程中需要用到的功能項(xiàng)很多[7]，導(dǎo)致操作界面中項(xiàng)目數(shù)目繁多[6]，并且操縱機(jī)器人自身行動(dòng)已需要占用雙手的工作時(shí)間，不可避免地出現(xiàn)操作人員因?yàn)殡p手限制工作時(shí)手忙腳亂、應(yīng)對(duì)不及時(shí)的現(xiàn)象，同時(shí)人體從大腦反應(yīng)再到肢體的操作也需要一定時(shí)間，這些問題使操作人員往往錯(cuò)過最佳操作時(shí)機(jī)，造成不必要的損失，所以如何解決上述2個(gè)問題成為水下機(jī)器人控制系統(tǒng)的關(guān)鍵。

1 方案及其關(guān)鍵技術(shù)

本文提出水下機(jī)器人手爪標(biāo)定和水下機(jī)器人輔助控制系統(tǒng)方案，2套方案均利用腦機(jī)接口技術(shù)(Brain-Computer Interface，簡稱BCI)作為實(shí)現(xiàn)手段。方案中主要涉及以下4種關(guān)鍵技術(shù)：

(1) 運(yùn)動(dòng)想象與事件相關(guān)同步/去同步(event-related synchronization，ERS/ event-related desynchronization，簡稱ERD)。人類進(jìn)行某種意識(shí)活動(dòng)時(shí)，大腦中對(duì)應(yīng)該意識(shí)活動(dòng)的區(qū)域，其代謝、供血等生理功能會(huì)得到增加，同時(shí)腦電信號(hào)中會(huì)出現(xiàn)某些低頻段的信號(hào)幅度降低或阻滯的現(xiàn)象，此現(xiàn)象稱之為事件相關(guān)去同步(ERD)；而大腦處于未激活該意識(shí)狀態(tài)時(shí)，它的相應(yīng)頻段的腦電信號(hào)會(huì)出現(xiàn)幅值增加的現(xiàn)象，稱為事件相關(guān)同步(ERS)。而人類在進(jìn)行想象肢體運(yùn)動(dòng)時(shí)會(huì)引起大腦的ERS/ERD現(xiàn)象[8]，腦電信號(hào)中的μ節(jié)律(8～12 Hz)和β節(jié)律(18～26 Hz)會(huì)發(fā)生顯著變化。

2006年，文獻(xiàn)[9]通過植入1組微電極陣到1位癱瘓者的大腦中，使癱瘓病能夠通過想象手的運(yùn)動(dòng)控制鼠標(biāo)移動(dòng)、神經(jīng)假肢等；天津大學(xué)從運(yùn)動(dòng)相關(guān)腦電中提取信息判別手的運(yùn)動(dòng)方向，可用于上肢主動(dòng)康復(fù)訓(xùn)練的控制命令[10]；文獻(xiàn)[11]提出基于運(yùn)動(dòng)想象的漢語音位發(fā)音系統(tǒng)框架，受試者被要求想象4個(gè)漢語元音和4個(gè)輔音音位的發(fā)音部位及語音發(fā)音。

(2) 視覺誘發(fā)電位(Visual evoked potentials，簡稱VEP)。VEP是大腦在受到外界的圖形或閃光刺激等視覺刺激時(shí)，自發(fā)地對(duì)刺激反應(yīng)產(chǎn)生特定的腦電活動(dòng)變化[12-13]。根據(jù)刺激頻率不同引發(fā)的電位也有不同，視覺刺激頻率比較低時(shí)(小于4 Hz)稱為瞬態(tài)視覺誘發(fā)電位(transient visual evoked potential，簡稱TVEP)；視覺刺激頻率比較高時(shí)(大于4 Hz)稱為穩(wěn)態(tài)視覺誘發(fā)電位(steady-statevisual evoked potential，簡稱SSVEP)。目前視覺誘發(fā)電位在國內(nèi)外應(yīng)用很多，美國空軍研究室設(shè)計(jì)出的BCI系統(tǒng)讓使用者通過調(diào)節(jié)SSVEP的幅度操縱模擬飛行器；文獻(xiàn)[14]使用一種基于SSVEP的異步BCI機(jī)器人控制系統(tǒng)實(shí)現(xiàn)機(jī)器人控制命令的遠(yuǎn)程傳送，使該仿人機(jī)器人系統(tǒng)具有腦電控制、語音交互、游戲手柄交互、機(jī)器視覺與避障等功能。

(3) 力觸覺再現(xiàn)技術(shù)。力覺再現(xiàn)技術(shù)是通過力覺再現(xiàn)設(shè)備將傳感器獲取的力覺信息轉(zhuǎn)換為相應(yīng)的刺激，并且施加于手指，以復(fù)現(xiàn)真實(shí)的感覺[15]。目前廣泛使用的如外骨骼式力反饋數(shù)據(jù)手套Cyber Grasp和內(nèi)骨骼式力反饋數(shù)據(jù)手套R(shí)utgers Master IIND等。

觸覺再現(xiàn)技術(shù)是指安裝在手上的觸覺再現(xiàn)設(shè)備，接受機(jī)械手上的觸覺傳感器輸出的機(jī)械手與組織接觸的信息，刺激人體的相應(yīng)部位，從而再現(xiàn)機(jī)械手與組織接觸的情況，該再現(xiàn)技術(shù)應(yīng)用了微型電機(jī)技術(shù)、記憶合金技術(shù)及氣壓驅(qū)動(dòng)技術(shù)[16]。

(4) 腦電信號(hào)預(yù)處理與特征提取算法。腦電信號(hào)極其微弱，幅度一般在5～100 μV之間，容易受周圍環(huán)境中噪聲(工頻信號(hào)、電磁信號(hào)等)的影響，并會(huì)受到眨眼、心跳、肌肉抖動(dòng)等身體反應(yīng)的干擾，所以需要對(duì)其進(jìn)行信號(hào)處理，提高它的信噪比，準(zhǔn)確地在強(qiáng)噪聲背景下提取出微弱的信號(hào)。目前常用的預(yù)處理與特征提取算法有獨(dú)立分量分析、快速傅里葉變換、小波變換、共空間模式及共空間模式等，這些方法已經(jīng)被國內(nèi)外學(xué)者長期應(yīng)用于腦機(jī)接口的研究當(dāng)中[17-18]，其有效性已得到證明，能夠幫助本文的標(biāo)定系統(tǒng)和輔助控制系統(tǒng)得到腦電信號(hào)特征。

2 方案設(shè)計(jì)

2.1 水下機(jī)器人手爪標(biāo)定系統(tǒng)實(shí)現(xiàn)步驟

系統(tǒng)需要在機(jī)械手爪上安裝力觸覺反饋系統(tǒng)[19]，再利用機(jī)器手爪上反饋回的信息，通過力覺再現(xiàn)與觸覺再現(xiàn)系統(tǒng)將機(jī)器手爪與抓取目標(biāo)的真實(shí)觸感傳遞給操作人員，其感覺就像是在用自己的手與抓取物接觸一般。之后根據(jù)操作人員接觸抓取物后的大腦信號(hào)，重新標(biāo)定機(jī)器手爪的抓取動(dòng)作，在不破壞抓取物結(jié)構(gòu)情況下，快速、準(zhǔn)確地完成抓取任務(wù)。

(1) 在搭建的虛擬水下機(jī)器人手爪操作系統(tǒng)中，讓工作人員想象自己的手加大力度抓緊物體和減少力度放開物體，同時(shí)記錄下他們進(jìn)行這2種意識(shí)任務(wù)時(shí)的腦電信號(hào)，這些腦電信號(hào)經(jīng)預(yù)處理和特征提取后，得到2類動(dòng)作對(duì)應(yīng)特征，存入腦電分析系統(tǒng)。同時(shí)，將不同抓取動(dòng)作機(jī)器人對(duì)應(yīng)操作直接編入總控制系統(tǒng)。

(2) 機(jī)器人工作人員在工作時(shí)佩戴實(shí)時(shí)腦電采集器，時(shí)刻記錄下工作人員目前的腦電信號(hào)，并提交于腦電分析系統(tǒng)，腦電分析系統(tǒng)對(duì)信號(hào)進(jìn)行預(yù)處理和特征提取，提取的特征與在模擬環(huán)境中得到的特征匹配，判斷應(yīng)進(jìn)行哪種操作。

(3) 工作時(shí)，機(jī)器手爪按預(yù)設(shè)力度抓取物體，同時(shí)力觸覺反饋系統(tǒng)將信息反饋給工作人員，工作人員根據(jù)得到的觸覺與力覺產(chǎn)生大腦反應(yīng)進(jìn)行抓緊或放松的意識(shí)任務(wù)，腦電分析系統(tǒng)偵測出對(duì)應(yīng)動(dòng)作，向總控制系統(tǒng)發(fā)出指令。

(4) 總控系統(tǒng)根據(jù)收到的指令，修正抓取力度，之后按照標(biāo)定后的抓取動(dòng)作重新完成抓取任務(wù)。

2.2 輔助控制系統(tǒng)實(shí)現(xiàn)步驟

將水下機(jī)器人工作過程中所需要的所有輔助功能，例如檢測裝置、攝像機(jī)等，在操作界面中制作出對(duì)應(yīng)的視覺刺激塊，不同功能對(duì)應(yīng)的視覺刺激塊會(huì)以不同的頻率(大于4 Hz)閃爍，通過比較誘發(fā)電位信號(hào)頻譜峰值與刺激塊的閃爍頻率是否匹配，判別注視的目標(biāo)。當(dāng)操作人員需要使用某個(gè)功能時(shí)，只需將目光集中在該功能對(duì)應(yīng)的視覺刺激塊上，輔助操作系統(tǒng)即可根據(jù)實(shí)時(shí)采集到的操作人腦電信號(hào)及時(shí)作出反應(yīng)，而無須其他多余操作。

(1) 機(jī)器人工作人員在工作時(shí)佩戴實(shí)時(shí)腦電采集器，時(shí)刻記錄下工作人員目前的腦電信號(hào)，并提交于腦電分析系統(tǒng)，腦電分析系統(tǒng)對(duì)信號(hào)進(jìn)行預(yù)處理和特征提取，之后判斷特征值是否達(dá)到閾值。

(2) 機(jī)器人工作人員接收到某個(gè)操作命令，或自行需要進(jìn)行某輔助功能的打開、關(guān)閉。

(3) 工作人員將視線集中于操作界面中所對(duì)應(yīng)的輔助功能視覺刺激塊上。

(4) 腦電分析系統(tǒng)識(shí)別出對(duì)應(yīng)刺激塊的穩(wěn)態(tài)視覺誘發(fā)電位，判斷已達(dá)到設(shè)定的閾值，然后發(fā)出控制指令。

(5) 總控制系統(tǒng)得到控制指令，打開或關(guān)閉對(duì)應(yīng)輔助功能。

3 應(yīng)用實(shí)例

以珊瑚抓取過程為實(shí)例，解釋系統(tǒng)解決實(shí)際問題的過程，圖1所示為抓取珊瑚的實(shí)現(xiàn)流程。實(shí)際抓取過程中，手爪標(biāo)定系統(tǒng)和輔助控制系統(tǒng)能夠同時(shí)工作，使用左手作為力觸覺再現(xiàn)系統(tǒng)的刺激體，不影響控制右手控制機(jī)器人行動(dòng)和其他操作，視覺作為對(duì)一些輔助功能的控制手段，同樣不影響左右手的使用，2套系統(tǒng)相輔相成，配合工作，最大限度地提高水下機(jī)器人的工作效率。

圖1 珊瑚抓取過程實(shí)例

4 結(jié)束語

本文在與德國Technische Universitaet Muench的合作項(xiàng)目支持下，對(duì)水下機(jī)器人的手爪控制適應(yīng)性不足和控制系統(tǒng)操作效率低下2個(gè)問題提出自己的解決方案。采用新興的腦機(jī)接口技術(shù)，結(jié)合力觸反饋與再現(xiàn)技術(shù)，利用人體大腦信號(hào)對(duì)機(jī)器手爪抓取動(dòng)作進(jìn)行標(biāo)定。該方案無需多余步驟，直接由人體大腦發(fā)出指令，能夠針對(duì)不同的物體，快速準(zhǔn)確地標(biāo)定抓取動(dòng)作。而輔助控制方案采用腦機(jī)接口技術(shù)中的視覺刺激方法，避免與標(biāo)定系統(tǒng)的沖突，能幫助工作人員在應(yīng)對(duì)控制需求時(shí)擺脫傳統(tǒng)手動(dòng)操作的眾多缺陷，大大簡化操作步驟和減少操作所需時(shí)間，同時(shí)完全解放雙手，方便其他工作。

[1] 張洪欣,馬 龍,張麗婷,等.水下機(jī)器人在海洋觀測領(lǐng)域的應(yīng)用進(jìn)展[J].遙測遙控，2015,36(5):23～27.

[2] Kondo N,Yata K,Iida M,et al. Development of an end-effector for a tomato cluster harvesting robot [J].Engineering in Agriculture, Environment and Food,2010,3(1):20～24.

[3] 占禮葵,生 甡,王 華,等.遠(yuǎn)程自動(dòng)空氣微生物采樣機(jī)器人[J].中國粉體技術(shù),2013,19(3):71～73.

[4] 江 勵(lì),管貽生,周雪峰,等.雙爪式爬桿機(jī)器人的夾持性能分析[J].機(jī)械工程學(xué)報(bào),2016,52(3):34～40.

[5] 郭 松,楊明杰,譚 軍.手術(shù)機(jī)器人面臨的一大挑戰(zhàn)——力觸覺反饋[J].中國生物醫(yī)學(xué)工程學(xué)報(bào)，2013，32(4):499～503.

[6] 劉振川.海底管道檢測機(jī)器人自主巡線控制系統(tǒng)研究[D].青島：中國海洋大學(xué)，2015.

[7] 楊勝梅,趙秋云.水下機(jī)器人的應(yīng)用現(xiàn)狀[J].水利水電快報(bào),2015,36(11):29～31.

[8] 喬曉艷，王春暉.異步BCI系統(tǒng)中運(yùn)動(dòng)想象誘發(fā)腦電特征識(shí)別[J].計(jì)算機(jī)工程與應(yīng)用, 2015,51(7):215～219.

[9] Hochberg L R,Serruya M D，F(xiàn)riehs G M,et al.Neuronal ensemble control of prosthetic devices by a human with tetraplegia[J]. Nature, 2006(442):164～171.

[10] 曹玉珍，張慶學(xué).基于運(yùn)動(dòng)相關(guān)腦電特征的手運(yùn)動(dòng)方向識(shí)別[J].天津大學(xué)學(xué)報(bào)(自然科學(xué)與工程技術(shù)版),2014,47(9):836～841.

[11] 楊曉芳,江銘虎.基于漢語音位發(fā)音想象的腦機(jī)接口研究[J].中文信息學(xué)報(bào),2014,28(5):13～23.

[12] Shyu K, Chiu Y J, Lee P L, et al. Total Design of an FPGA-Based Brain Computer Interface Control Hospital Bed Nursing System[J]. 2013,24(3):17～23.

[13] Yan Z, Gao X R, Gao S K. Right-and-left visual field stimulation: A frequency and space mixed coding method for SSVEP based brain-computer interface[J].Science China Information Sciences, 2011, 54(12): 2492～2498.

[14] 鄧志東,李修全,鄭寬浩,等.一種基于SSVEP 的仿人機(jī)器人異步腦-機(jī)接口控制系統(tǒng)[J].機(jī)器人,2011,33(1):129～135.

[15] Wagner C R，Stylopoulos N，Jackson PG ,et al.The benefit of force feedback in surgery：Examination of blunt dissection[J]．Presence：Teleoperators and Virtual Environments 2007,16(3)：252～262．

[16] Ottermo M V，Stavdahl O，Johansen T A.Design and performance of a prototype tactile shape display for minimally invasive surgery [J].Haptics-E Journal,2008,4(4):1～13．

[17] Baltrunas L, Makcinskas T, Ricci F.Group recommendations with rank aggregation and collaborative filtering[C]//Proceedings of the fourth ACM conference on Recommender systems. ACM,2010:119～126.

[18] 沈 躍,劉 慧，謝洪波，等.基于貝葉斯相關(guān)向量機(jī)的腦電睡眠分期[J].江蘇大學(xué)學(xué)報(bào)(自然科學(xué)版),2011,32(3):325～329.

[19] King C H，Culjat M O，F(xiàn)ranco M L，et al．Tactile feedback induces reduced grasping force in robot-assisted surgery[J].IEEE Transactions on Haptics,2009,2(2):103～110．

2016-05-20；修改日期：2016-05-25

安徽省2015年第一批科技計(jì)劃項(xiàng)目(對(duì)外科技合作項(xiàng)目)(1503062026)

汪小龍(1972-)，安徽無為人，博士，安徽建筑大學(xué)教授．

TP242

A

1673-5781(2016)03-0294-03