邵斌澄， 宋愛國*， 譚麗芬， 李會軍

(1.東南大學(xué)儀器科學(xué)與工程學(xué)院， 南京 210096；2.中國航天員科研訓(xùn)練中心人因工程國防科技重點實驗室， 北京 100094)

1 引言

外星球惡劣環(huán)境，無人駕駛的星球車已成為深空探測領(lǐng)域的研究熱點[1]。 輪腿復(fù)合式移動機(jī)器人兼具輪式機(jī)器人運行平穩(wěn)和腿式機(jī)器人越障能力強(qiáng)的優(yōu)點，適用于外星球崎嶇的地表情況[2]。

魏宏明等研制的一款星球探測機(jī)器人[3]，采用五星型輪腿式的結(jié)構(gòu)，運動速度快，越障能力出色，且具有較強(qiáng)攀爬坡道的能力。 為完成星球探測取樣任務(wù)，機(jī)體搭載有一個4 自由度的機(jī)械臂和機(jī)械手爪。 該機(jī)器人由單人使用一個緊湊型控制箱進(jìn)行遙操作控制，機(jī)器人本體與機(jī)械臂的控制具有17 個控制操作，還有10 余個功能性操作按鈕，控制流程復(fù)雜，為提高任務(wù)成功率，操作員需要經(jīng)過大量訓(xùn)練。 同時，操作員在遙操作時需要靠攝像頭實時回傳的圖像來判斷機(jī)器人所處的環(huán)境和位姿狀態(tài)等，如在攀爬坡道時需防止機(jī)器人傾角過大發(fā)生傾覆，在復(fù)雜環(huán)境中躲避障礙物等。 此外，機(jī)械臂的誤操作也會導(dǎo)致抓取任務(wù)的失敗，例如未控制好機(jī)械爪與目標(biāo)物體的距離，導(dǎo)致碰撞。

利用真實的機(jī)器人和環(huán)境進(jìn)行研究和技能訓(xùn)練有諸多限制，如成本高、環(huán)境不可復(fù)制和過長時間的實驗，因此基于虛擬現(xiàn)實技術(shù)的仿真訓(xùn)練方案受到國內(nèi)外學(xué)者歡迎。 Chen[4]面向自主研發(fā)的OCTOPUS 機(jī)器人開發(fā)出一套虛擬現(xiàn)實模擬器，可以再現(xiàn)機(jī)器人和環(huán)境，用于模擬操作；Covaciu 等[5]虛擬構(gòu)建了用于空間探索的移動機(jī)器人，具有真實的模型和較準(zhǔn)確的物理性能，使用帶有4 軸的羅技手柄進(jìn)行操作，但都為動畫效果，沒有力反饋；Piovano 等[6]根據(jù)NASA 對火星的照片使用了三維重建技術(shù)構(gòu)建了虛擬環(huán)境，同時導(dǎo)入了移動車進(jìn)行簡單的探索；Kamezaki 等[7]開發(fā)了包括VR 環(huán)境、操作輸入和視頻輸出組件的模擬器，可操控虛擬的拆卸機(jī)和具有偏航、俯仰和變焦功能的環(huán)境攝像機(jī)，通過虛擬訓(xùn)練有效提高操作任務(wù)的效率；Manawadu 等[8]實現(xiàn)了虛擬駕駛系統(tǒng)以研究人為駕駛與智能駕駛的特性及駕駛員的駕駛傾向。 國內(nèi)學(xué)者通過搭建移動機(jī)器人虛擬仿真平臺[9-11]，利用其低成本、高可重復(fù)性并且沒有物理限制的優(yōu)勢，在人機(jī)交互、物理仿真等領(lǐng)域取得一定進(jìn)展。

作為視覺、聽覺等感知技術(shù)的延伸，近年來力反饋技術(shù)得到了廣泛的關(guān)注和研究。 在遙操作環(huán)節(jié)中力反饋可以提高虛擬環(huán)境中的觸覺感受，增加對機(jī)器人操作的可靠性[12-13]。 將虛擬場景中的觸碰信息轉(zhuǎn)換成直接作用于人手的力或力矩，使操作者產(chǎn)生被操作對象的受力感覺，從而能夠及時調(diào)整控制策略，以便更好地完成操作任務(wù)[14]。 但目前將力反饋技術(shù)與虛擬訓(xùn)練結(jié)合時存在反饋力較小、虛擬環(huán)境力建模不真實、力反饋設(shè)備操作空間有限等問題[15]。

本文為解決上述問題，提出一種帶力覺反饋的星球探測機(jī)器人遙操作虛擬系統(tǒng)，通過較大的力覺反饋和帶有碰撞力解算模型的虛擬現(xiàn)實場景進(jìn)行遙操作的仿真訓(xùn)練，增強(qiáng)訓(xùn)練的沉浸感。

2 星球探測機(jī)器人系統(tǒng)

星球探測機(jī)器人系統(tǒng)由機(jī)器人本體及遙操作控制箱構(gòu)成，控制指令及視頻由數(shù)傳與圖傳電臺傳輸。

2.1 機(jī)器人本體結(jié)構(gòu)

機(jī)器人本體為2 組對稱的輪腿結(jié)構(gòu)，本體平臺分為前后兩部分，前機(jī)體主要包括電機(jī)驅(qū)動模塊、主控模塊；后機(jī)體主要為電源模塊；前后機(jī)體間采用柔性關(guān)節(jié)相連接。 機(jī)器人平臺上搭載小型4 自由度機(jī)械臂，裝配有4 路攝像頭，可以實時地將周圍的環(huán)境反饋給操作者，便于對機(jī)器人所處的環(huán)境進(jìn)行判斷。 實物圖如圖1 所示。

圖1 星球探測機(jī)器人實物圖Fig.1 Photo of the planet detection robot

2.2 遙操作控制箱

操作者借助遠(yuǎn)程控制箱實現(xiàn)對機(jī)器人的遠(yuǎn)程操控，并且需要依靠控制箱感知機(jī)器人周邊的環(huán)境狀況。 實物如圖2 所示，使用碳纖維面板安裝固定顯示屏幕和操控機(jī)械面板，完整覆蓋了機(jī)器人速度擋位控制，前進(jìn)、后退、旋轉(zhuǎn)控制和機(jī)械臂各個關(guān)節(jié)的運動控制。 能夠切換攝像頭圖像，并在顯示屏呈現(xiàn)。

圖2 遙操作控制箱實物圖Fig.2 Photo of the remote control box

3 系統(tǒng)設(shè)計

系統(tǒng)設(shè)計目標(biāo)如下:

1)研制一款具備多個自由度的力反饋手控器裝置，能滿足虛擬遙操作任務(wù)所需的工作空間并能提供準(zhǔn)確的力反饋。

2)構(gòu)建逼真的地面虛擬系統(tǒng)，操作員通過手控器控制虛擬代理，虛擬代理與虛擬控制箱的面板、按鈕及搖桿產(chǎn)生交互，有碰撞事件發(fā)生時，程序能自動解算出碰撞力的大小及方向，通過手控器電機(jī)輸出扭矩，讓操作員手部感覺到反饋力，增強(qiáng)訓(xùn)練真實性。

3)產(chǎn)生操作面板交互動作時，能模擬真實控制箱發(fā)出控制指令，虛擬機(jī)器人根據(jù)指令做出動作并完成指定任務(wù)，虛擬攝像頭回傳圖像，在虛擬控制箱的屏幕上顯示。

據(jù)此設(shè)計系統(tǒng)架構(gòu)如圖3 所示。 力反饋手控器作為人機(jī)輸入端，編碼器采集各關(guān)節(jié)運動角度，經(jīng)MCU 解算后傳輸?shù)竭b操作虛擬場景，同時在虛擬環(huán)境中的交互力被實時計算，通過電機(jī)產(chǎn)生扭矩，為操作員提供力覺信息的反饋。 遙操作場景中虛擬代理由操作員直接控制，虛擬控制箱和虛擬機(jī)器人的狀態(tài)通過UI 界面，以視覺及聽覺的形式反饋給操作員。

圖3 力反饋虛擬訓(xùn)練系統(tǒng)框圖Fig.3 Block diagram of the force feedback virtual tr aining system

4 力反饋手控器設(shè)計

4.1 力反饋機(jī)械

力反饋手控器裝置設(shè)計為并聯(lián)連桿結(jié)構(gòu)、菱形拉伸結(jié)構(gòu)與手部轉(zhuǎn)動機(jī)構(gòu)串聯(lián)，實物圖如圖4所示。 此結(jié)構(gòu)能提供沿xyz3 個軸的平動自由度和繞xyz三軸的旋轉(zhuǎn)自由度，末端手指有一個彎曲自由度。 手控器每個自由度安裝有MAXON 電機(jī)及光電編碼器，用以提供力矩和反饋關(guān)節(jié)角度。此結(jié)構(gòu)的優(yōu)勢體現(xiàn)在整個結(jié)構(gòu)末端工作范圍大，且可實現(xiàn)平動和轉(zhuǎn)動的機(jī)械解耦，實現(xiàn)力與力矩的輸出解耦。

圖4 力反饋手控器實物圖Fig.4 Photo of the force feedback hand controller

4.2 正運動學(xué)解算

2 種機(jī)構(gòu)串聯(lián)之后的力反饋設(shè)備平動結(jié)構(gòu)原理如圖5 所示。 由圖可知，并聯(lián)連桿結(jié)構(gòu)和菱形拉伸結(jié)構(gòu)主要運動關(guān)節(jié)有3 個，分別繞軸1、軸2與軸3 轉(zhuǎn)動，由于并聯(lián)連桿機(jī)構(gòu)和菱形結(jié)構(gòu)可以保證圖中3 個平面永遠(yuǎn)保持平行，并且不會耦合多余的轉(zhuǎn)動自由度，所以力反饋設(shè)備末端位置的求解過程就是在已知繞3 個軸轉(zhuǎn)動角度的情況下，求解點Q在空間中位置的過程。

圖5 力反饋平動結(jié)構(gòu)原理圖Fig.5 Schematic diagram of the force feedback translational structure

以固定面的點O為基準(zhǔn)點，則有公式(1):

由于并聯(lián)連桿結(jié)構(gòu)末端點P的運動軌跡是在以原點O為圓心、連桿長度L1為半徑的球形弧面上，所以向量OP與結(jié)構(gòu)繞軸1 和軸2 轉(zhuǎn)動的角度α和β的關(guān)系可以利用球面坐標(biāo)系與直角坐標(biāo)系之間的轉(zhuǎn)換解出，計算如式(2):

平動機(jī)構(gòu)末端點Q相對于點P的位置向量僅與連桿長度L2和機(jī)構(gòu)繞軸3 旋轉(zhuǎn)的角度γ有關(guān)，公式如式(3)所示:

將式(2)及式(3)相加即可得到最終求解結(jié)果，如式(4)所示:

力反饋設(shè)備三維轉(zhuǎn)動及手指彎曲結(jié)構(gòu)的原理如圖6 所示。 根據(jù)該設(shè)計可知，3 個自由度的轉(zhuǎn)軸相互垂直且相交于一點，電機(jī)輸出的反饋力矩也相互垂直，不會發(fā)生耦合，因此力反饋設(shè)備末端的3 自由度轉(zhuǎn)動力矩可以和3 個力反饋執(zhí)行器的輸出一一對應(yīng)。 手指彎曲自由度單獨存在，設(shè)置在抓握手柄的前側(cè)。

圖6 力反饋轉(zhuǎn)動及手指彎曲結(jié)構(gòu)原理圖Fig.6 Schematic diagram of the force feedback rotation and finger bending structure

5 虛擬訓(xùn)練系統(tǒng)設(shè)計

虛擬訓(xùn)練系統(tǒng)必須能夠準(zhǔn)確構(gòu)建機(jī)器人及虛擬環(huán)境，方便地進(jìn)行各種實驗，并對實驗結(jié)果進(jìn)行定量分析，有效地提高操作員技能水平。

5.1 虛擬系統(tǒng)構(gòu)建

采用Unity3D 軟件進(jìn)行開發(fā)，地面虛擬系統(tǒng)整體環(huán)境如圖7 所示，包含虛擬的輪腿移動機(jī)器人、攝像機(jī)系統(tǒng)、虛擬機(jī)器人控制箱及4 個任務(wù)場地。

圖7 虛擬系統(tǒng)整體環(huán)境圖Fig.7 Overall environment of the virtual system

為進(jìn)行充分的實驗、分析和訓(xùn)練，虛擬現(xiàn)實環(huán)境中的機(jī)器人應(yīng)該具備真實機(jī)器人的相關(guān)屬性。本文基于已有的機(jī)器人三維圖，使用3Dmax 軟件進(jìn)行了機(jī)器人的簡化及美化工作并導(dǎo)出成FBX格式的模型。 將機(jī)器人每個部件導(dǎo)入Unity3D后，使用關(guān)節(jié)創(chuàng)建功能，重新對機(jī)器人進(jìn)行裝配，形成完整的輪腿機(jī)器人，保證其外觀、尺寸、重量、關(guān)節(jié)角度和扭矩限制等與實際相同，如圖8 所示。機(jī)器人運動及機(jī)械臂轉(zhuǎn)動時，將同步播放音效，增強(qiáng)臨場感。

圖8 虛擬星球探測機(jī)器人構(gòu)建圖Fig.8 Construction diagram of the virtual planet detection robot

軟件設(shè)置了4 個車載攝像頭和1 個第一視角攝像頭。 4 路車載攝像頭提供了機(jī)器人前面和后方的環(huán)境信息及機(jī)械手爪轉(zhuǎn)動及抓取圖像。 4 個車載攝像頭對應(yīng)的畫面顯示在虛擬控制箱的四分屏屏幕上。 為了模擬真實遙操作場景，在虛擬機(jī)器人控制箱前設(shè)置了第一視角攝像頭，操作員進(jìn)行虛擬訓(xùn)練時依據(jù)控制箱屏幕上的視覺信息來進(jìn)行控制及調(diào)整，有利于擺脫對機(jī)器人本體運行狀態(tài)的依賴。

機(jī)器人控制箱是遙操作的人機(jī)輸入設(shè)備，本文構(gòu)建出一臺虛擬控制箱，如圖9 所示。 操作面板上布置有1 個二自由度的運動搖桿、5 個單自由度機(jī)械臂操作桿、1 個速度擋位旋鈕及其他按鍵開關(guān)。 場景中使用一個小球作為人手的虛擬代理，操作員使用力反饋手控器直接對虛擬代理進(jìn)行控制，虛擬代理可與控制箱上的按鍵開關(guān)產(chǎn)生與實際相對應(yīng)的交互動作，并實時計算碰撞力，產(chǎn)生相應(yīng)的力覺反饋。

圖9 虛擬遙操作控制箱構(gòu)建圖Fig.9 Construction diagram of the virtual teleoperation control box

使用Unity3D 自建模型，設(shè)計了30°和45°坡道各1 個、30°和45°樓梯各1 個、帶有障礙物的路面及倉庫、1 個啞鈴形抓取物。 它們位于虛擬場景中的不同位置，并組成4 個任務(wù)場景。

5.2 交互控制方法設(shè)計

操作員使用力反饋手控器對虛擬代理進(jìn)行控制并與虛擬控制箱產(chǎn)生交互，如圖10 所示。

圖10 遙操作虛擬訓(xùn)練系統(tǒng)實物圖Fig.10 Photo of the teleoperation virtual training system

虛擬代理的位姿控制方式及力反饋的解算在本系統(tǒng)中最為重要，直接影響遙操作的真實性及臨場感效果。 前文公式(4)中已解算出手控器末端的三維坐標(biāo)，若直接將此坐標(biāo)賦給虛擬代理則容易出現(xiàn)穿模的問題。 本文在虛擬代理小球上添加了剛體屬性，利用其動力學(xué)屬性改變物體實時速度來移動到目標(biāo)位置，速度向量如式(5)所示:

其中Ptarget為手控器末端的實時坐標(biāo)，Pact為虛擬代理的實際坐標(biāo)，系數(shù)k2用于調(diào)節(jié)真實坐標(biāo)映射到Unity3D 坐標(biāo)的比例，系數(shù)k1調(diào)節(jié)虛擬代理跟蹤目標(biāo)位置的速度。

為進(jìn)行虛擬環(huán)境中碰撞力的解算，調(diào)用碰撞事件函數(shù)，當(dāng)碰撞事件發(fā)生時，獲取碰撞點所處物體表面的法向量，作為手控器輸出力的方向向量，輸出力的大小計算使用God-object 算法[16]，即力的大小與虛擬代理坐標(biāo)和目標(biāo)位置差值向量的長度成正比，因此最終力向量如式(6)所示:

其中系數(shù)kf調(diào)整輸出力大小的基數(shù)，N為碰撞點所處物體表面的法向量。 為模擬人手與操作面板的交互，虛擬控制箱上的開關(guān)按鈕都添加了物理屬性，并使用邊緣高亮來提示操作狀態(tài)。 默認(rèn)無交互時，所有按鈕紅色高亮，當(dāng)虛擬代理與某個按鍵產(chǎn)生接觸時變?yōu)辄S色高亮，此時使用手指彎曲來控制可交互狀態(tài)，當(dāng)手指內(nèi)屈，按鈕顯示綠色高亮?xí)r，可進(jìn)行實際遙操作效交互，控制虛擬機(jī)器人完成任務(wù)，手指外伸可結(jié)束交互狀態(tài)，按鈕恢復(fù)紅色高亮。 圖11 顯示了操作機(jī)器人運動搖桿的不同狀態(tài)。

圖11 虛擬代理與操控面板交互示意圖Fig.11 Schematic diagram of interaction between virtual agent and control panel

6 試驗及分析

為驗證力反饋手控器的有效性，進(jìn)行對虛擬代理的位姿控制實驗及反饋力輸出試驗。 為驗證設(shè)計的遙操作虛擬系統(tǒng)對輪腿移動機(jī)器人的有用性，進(jìn)行了4 個機(jī)器人遙操作任務(wù)的試驗。

6.1 基本操控及反饋力試驗

為提升遙操作的真實性，進(jìn)行虛擬代理與虛擬環(huán)境的碰撞并測試虛擬環(huán)境實時解算的力。 力反饋解算曲線與位置誤差如圖12 所示。由圖可知，碰撞時同時產(chǎn)生了x與y軸2 個方向的力，其中x軸反饋力最大達(dá)15 N。 在輸出力不為0 時，輸出力與嵌入深度成正比，滿足前文公式(6)。 使用推拉力計測量實際輸出力，計算出實際輸出力與理論值的誤差，曲線如圖13 所示。 兩軸反饋力的誤差均小于±0.4 N，滿足設(shè)計要求。

圖12 力反饋解算與位置誤差曲線Fig.12 Curve of force feedback calculation and position error

圖13 反饋力輸出誤差曲線Fig.13 Output error of feedback force

6.2 遙操作任務(wù)試驗

6.2.1 試驗設(shè)置

設(shè)計了4 個不考慮時延影響的地面遙操作任務(wù)，包括翻越坡道(任務(wù)1)、攀爬樓梯(任務(wù)2)、避障進(jìn)庫(任務(wù)3)和機(jī)械臂抓取(任務(wù)4)。 其中任務(wù)1～3 為機(jī)器人運動控制，分別以低、中、高3個速度擋位進(jìn)行試驗，輪腿的轉(zhuǎn)速分別為36°/s、72°/s、144°/s，與實際機(jī)器人控制保持一致。 任務(wù)4 為機(jī)械臂關(guān)節(jié)控制及抓取，以驗證機(jī)器人的工作性能。

任務(wù)1:機(jī)器人在水泥路面上移動，先后攀爬30°坡道及45°坡道，直到越過終點。

任務(wù)2:機(jī)器人在水泥路面上移動，先后攀爬30°樓梯及45°樓梯，直到越過終點。

任務(wù)3:機(jī)器人避過路面設(shè)置的障礙物，經(jīng)曲線運動，直到進(jìn)入倉庫。

任務(wù)4:操控機(jī)器人機(jī)械臂多個關(guān)節(jié)，使機(jī)械臂接近物體，直到成功抓取物體并從地面抬起。

選取4 位試驗者，進(jìn)行15 分鐘的基本訓(xùn)練，包括對輪腿機(jī)器人構(gòu)造的認(rèn)知，力反饋手控器的控制方式及虛擬訓(xùn)練場景的任務(wù)要求等。 訓(xùn)練之后試驗者依次連續(xù)完成4 項任務(wù)，記錄任務(wù)完成情況、所用時間及機(jī)器人相關(guān)數(shù)據(jù)，每人重復(fù)5 次試驗。

6.2.2 結(jié)果分析

4 個任務(wù)的完成過程如圖14 所示。 試驗者可以通過研制的力反饋手控器完成虛擬遙操作任務(wù)，驗證了設(shè)計的系統(tǒng)可靠有效。

圖14 遙操作任務(wù)完成過程圖Fig.14 Diagram of teleoperation task completion process

所有任務(wù)成功完成的耗時情況如圖15 所示，成功率如圖16 所示。

圖15 遙操作任務(wù)完成時間圖Fig.15 Completion time of teleoperation tasks

圖16 遙操作任務(wù)成功率圖Fig.16 Success rate of teleoperation tasks

由圖可知，對于任務(wù)1 至任務(wù)3，隨著機(jī)器人運動速度的提升，完成任務(wù)的時間隨之降低，同時任務(wù)成功率也有所下降，如任務(wù)2 中，低、中、高速度下平均完成時間分別為118.24 s、97.53 s、59.85 s，任務(wù)成功率分別為0.9、0.7、0.55。 由于速度過快，試驗者會出現(xiàn)操作不當(dāng)和反應(yīng)不及時的情況，機(jī)器人易發(fā)生側(cè)翻傾覆，導(dǎo)致任務(wù)失敗。 因此，為了提高任務(wù)效率兼顧成功率，在攀爬坡道樓梯時，盡量應(yīng)選擇中速擋位進(jìn)行遙操作。 由圖中完成時間及成功率綜合來看，任務(wù)4 最為困難，完成時間為103.46±24.86 s，波動較大，任務(wù)成功率也僅有0.6。 該任務(wù)需要操作員高度集中并小心操控，如果未把握好機(jī)械爪與物體之間的距離，容易發(fā)生碰撞，而若機(jī)械爪抓取太緊也會導(dǎo)致物體變形脫落，使任務(wù)失敗。 任務(wù)4 中成功完成的機(jī)械臂關(guān)節(jié)角度控制跟蹤曲線及誤差曲線見圖17。

圖17 機(jī)械臂關(guān)節(jié)角度控制及誤差圖Fig.17 Diagram of manipulator joint angle control and error

由圖可知，機(jī)械臂各關(guān)節(jié)都可以較好地跟隨目標(biāo)角度。 整體控制過程為:先調(diào)節(jié)關(guān)節(jié)1 和2，使機(jī)械手靠近目標(biāo)物體，之后調(diào)節(jié)關(guān)節(jié)3，使機(jī)械爪與物體保持垂直，便于抓取，再進(jìn)行微調(diào)使機(jī)械爪能夠抓到物體，最后收緊手爪，控制好速度并將物體抬起，完成任務(wù)。 整體上關(guān)節(jié)跟隨誤差均小于±1.5°，誤差呈一定震蕩趨勢，主要由于機(jī)械臂各關(guān)節(jié)有一定慣性，控制過程中有輕微顫動。

以上試驗結(jié)果表明:本文開發(fā)的虛擬訓(xùn)練系統(tǒng)可以有效完成這4 個地面遙操作任務(wù)，起到訓(xùn)練效果，并且試驗結(jié)果可以揭示如何改進(jìn)輪腿機(jī)器人控制策略以應(yīng)對探測工作。

7 結(jié)論

1) 本文開發(fā)了具有力覺反饋的星球探測機(jī)器人遙操作虛擬訓(xùn)練系統(tǒng)，包括力反饋裝置及虛擬系統(tǒng)。 研制的力反饋手控器可作為訓(xùn)練的人機(jī)輸入并有反饋力輸出，使訓(xùn)練具有真實性及臨場感。 虛擬系統(tǒng)重構(gòu)了星球探測機(jī)器人、遙操作控制箱、攝像機(jī)和任務(wù)場景，引入了碰撞、反饋力計算和聲音等技術(shù)，提高了虛擬訓(xùn)練的效果。

2) 設(shè)計了虛擬代理的動力學(xué)位姿控制方法及虛擬力反饋的實時解算方法。 設(shè)計了虛擬代理與控制箱的交互方式，并模擬真實的遙操作過程，對虛擬機(jī)器人進(jìn)行操控。

3) 試驗表明，設(shè)計的力反饋手控器輸出力準(zhǔn)確，力反饋誤差小于±0.4 N。 通過虛擬訓(xùn)練系統(tǒng)遙操作機(jī)器人，具備完成地面翻越坡道、攀爬樓梯、避障進(jìn)庫和機(jī)械臂抓取4 個任務(wù)的能力。