1.阿迪思 2.姚皓 3.王金金

四川大學(xué)制造科學(xué)與工程學(xué)院

一種沉浸式體控機(jī)器人的設(shè)計(jì)方案與應(yīng)用分析

1.阿迪思 2.姚皓 3.王金金

四川大學(xué)制造科學(xué)與工程學(xué)院

本項(xiàng)目運(yùn)用VR技術(shù)和體感控制技術(shù)的基礎(chǔ)和原理，將虛擬現(xiàn)實(shí)應(yīng)用于機(jī)器人控制領(lǐng)域。提出立體沉浸式體感控制機(jī)器人的概念和技術(shù)路線：利用雙目攝像頭和VR顯示設(shè)備構(gòu)建立體沉浸式環(huán)境，利用光學(xué)姿態(tài)采集器和搭載在頭部的姿態(tài)傳感器構(gòu)建體感控制系統(tǒng)。使操作者可以自由地選擇觀察視角，并使機(jī)械臂隨操作者意圖同步運(yùn)動(dòng)。特點(diǎn)在于交互性、動(dòng)作性和自主性強(qiáng)。沉浸式體控機(jī)器人可以應(yīng)用于多種領(lǐng)域，云服務(wù)器的接入，可以打破距離的限制，使機(jī)器人可以真正意義上代替用戶進(jìn)行遠(yuǎn)端的操作。

沉浸式技術(shù) 雙目攝像頭 體感控制 光學(xué)姿態(tài)捕捉 圖像回傳

引言

遠(yuǎn)程智能控制系統(tǒng)的研究始于DOS時(shí)代，但由于硬件水平限制，其發(fā)展始終不盡如人意，只停留在概念層次，而到了90年代，互聯(lián)網(wǎng)的興起才讓這項(xiàng)技術(shù)開始逐漸走入大眾生活。而在那個(gè)時(shí)期一起發(fā)展起來的，還有沉浸式虛擬現(xiàn)實(shí)技術(shù)，它能提供參與者完全沉浸的體驗(yàn)，使用戶有一種置身于虛擬世界之中的感覺。由于兩項(xiàng)技術(shù)都有極大優(yōu)越性，各國(guó)科學(xué)家都在努力嘗試將二者很好的結(jié)合起來，即在發(fā)展基于VR的遠(yuǎn)程體感控制系統(tǒng)上下了很多功夫。現(xiàn)在的智能機(jī)器人大多是依靠自身存儲(chǔ)的復(fù)雜程序代碼或者操作手柄，根據(jù)外部事件觸發(fā)產(chǎn)生相應(yīng)的執(zhí)行動(dòng)作來實(shí)現(xiàn)控制。但是大量的程序代碼存儲(chǔ)需要大的存儲(chǔ)空間同時(shí)伴隨而來的體積大、功耗大、速度慢、存在延時(shí)等問題都會(huì)降低機(jī)器人得控制精度，不易實(shí)現(xiàn)同步控制功能。另外在監(jiān)測(cè)機(jī)器人領(lǐng)域，由于傳輸?shù)亩S視頻畫面對(duì)三維世界描述的巨大局限性，因此對(duì)復(fù)雜環(huán)境無法進(jìn)行最真實(shí)的還原與反饋，操作者無法更加自由、方便和直接地控制機(jī)器人進(jìn)行工作。設(shè)計(jì)一款具有人機(jī)交互、沉浸式體驗(yàn)與體感控制于一體機(jī)器人，使機(jī)器人具有代替人工操作和傳統(tǒng)的機(jī)器人進(jìn)行遠(yuǎn)程技術(shù)操作成為可能。

一、沉浸式體控機(jī)器人的設(shè)計(jì)方案

（一）立體沉浸式環(huán)境構(gòu)建

1.圖像采集--雙目視覺系統(tǒng)設(shè)計(jì)。常用的雙目立體視覺成像模型有平行雙目成像模型和匯聚雙目成像模型兩種。兩種模型都采用兩個(gè)單目攝像頭進(jìn)行取景。所得的兩幅有視差的圖片在人大腦中疊加融合處理，就構(gòu)成了有深度立體效果的畫面。綜合人眼獲取圖像的運(yùn)作方式，匯聚雙目成像模型更符合人眼的視覺習(xí)慣。為獲得較好的立體成像效果，本系統(tǒng)選取了匯聚雙目成像模型。

在頭部和兩眼都處于放松狀態(tài)情況下，眼睛觀察的視線在水平視線下約25度-35度，結(jié)合人在自然觀察狀態(tài)下視線的特點(diǎn)，為使用者在觀察時(shí)具有最佳的舒適度，對(duì)攝像頭的俯仰角進(jìn)行調(diào)試，兩攝像頭在水平面下夾角為25度時(shí)最佳。

電子雙目系統(tǒng)采用兩個(gè)同品牌、內(nèi)部參數(shù)基本一致的攝像頭構(gòu)成，兩攝像頭位于同一水平面，且夾角為25°，如圖1所示。滿足對(duì)沉浸式視頻最優(yōu)化的顯示，最大程度的保證3D顯示效果。

圖1 雙目攝像頭

2.圖像顯示——VR設(shè)備。場(chǎng)景顯示方式及設(shè)備是虛擬現(xiàn)實(shí)系統(tǒng)中人機(jī)交互的基本組成部分，按照顯示方式分為頭盔式顯示、投影式、手持式和自由立體顯示方式等，其中桌面式顯示沉浸感不強(qiáng)，投影顯示受到高價(jià)格、大場(chǎng)地等因素的限制，所以本系統(tǒng)將采用頭戴式設(shè)備進(jìn)行研究與改造。

本系統(tǒng)所用頭盔式顯示設(shè)備是款非常簡(jiǎn)單的3D眼鏡，將手機(jī)安裝于設(shè)備前方作為顯示器,在該設(shè)備上安裝上相應(yīng)的陀螺儀姿態(tài)傳感器并連接至單片機(jī)，配合相應(yīng)的軟件控制即可實(shí)現(xiàn)沉浸式體感控制陀螺儀傳感器芯片可以實(shí)時(shí)檢測(cè)使用者頭部的位置和方向，并傳輸至單片機(jī)，單片機(jī)根據(jù)使用者頭部位置和方向信息計(jì)算出人體當(dāng)前姿態(tài)，從而控制攝像頭移動(dòng)到相應(yīng)位置，顯示當(dāng)前視點(diǎn)下的場(chǎng)景，人體視點(diǎn)與電子雙目的同步性和交互性讓使用者產(chǎn)生強(qiáng)烈的沉浸感。

（二）電子雙目控制

本控制系統(tǒng)主要由執(zhí)行機(jī)構(gòu)與傳感環(huán)節(jié)兩部分構(gòu)成，其中傳感環(huán)節(jié)由姿態(tài)傳感器感知和獲取人體頭部運(yùn)動(dòng)信息并將該信息傳輸至單片機(jī)進(jìn)行處理，單片機(jī)根據(jù)不同的姿態(tài)信號(hào)發(fā)送相關(guān)指令至執(zhí)行機(jī)構(gòu)，控制電子雙目做出相應(yīng)的運(yùn)動(dòng)，實(shí)現(xiàn)具有人機(jī)交互性的體感控制。

1.雙目攝像頭執(zhí)行機(jī)構(gòu)設(shè)計(jì)。對(duì)雙目攝像頭的控制通常是利用攝像頭云臺(tái)作為執(zhí)行機(jī)構(gòu)對(duì)攝像頭進(jìn)行水平和垂直的移動(dòng)和控制。為了電子雙目能夠進(jìn)行二維的水平和垂直運(yùn)動(dòng)，使操作者具有更好的體驗(yàn)本產(chǎn)品的人機(jī)交互功能。通過分析人體頭部姿態(tài)的特征，由于人體頭部的運(yùn)動(dòng)類似于一個(gè)二自由度的結(jié)構(gòu)。因此選擇二自由度云臺(tái)對(duì)舵機(jī)進(jìn)行控制，從而可以實(shí)現(xiàn)雙目攝像頭可以模仿操作者頭部動(dòng)作。

2.頭部姿態(tài)采集——MPU6050加速度傳感器。系統(tǒng)選擇 MPU6050 模塊來檢測(cè)人體頭部和手臂的姿態(tài)角度變化。姿態(tài)數(shù)據(jù)采集與傳輸系統(tǒng)的程序主要實(shí)現(xiàn)的功能包括采集人體姿態(tài)數(shù)據(jù)、姿態(tài)數(shù)據(jù)融合、數(shù)據(jù)傳輸。其系統(tǒng)軟件功能框圖如圖2 所示。

圖 2 系統(tǒng)軟件功能框圖

（1）采集人體姿態(tài)數(shù)據(jù)：采集人體頭部運(yùn)動(dòng)過程中三軸加速度和角速度數(shù)據(jù)；（2）姿態(tài)數(shù)據(jù)融合：選擇合適的融合方法處理采集到的人體姿態(tài)數(shù)據(jù)，以得到所需的姿態(tài)角；（3）數(shù)據(jù)傳輸：將融合后的姿態(tài)數(shù)據(jù)通過WIFI傳輸給控制電子雙目系統(tǒng)的MCU處理器。

（三）機(jī)械臂控制系統(tǒng)的硬件設(shè)計(jì)

目前的體感控制越來越趨向于光學(xué)的姿態(tài)捕捉。雖然特質(zhì)手套是目前最常用的體感控制方式，但是佩戴手套操作受限，并且傳感器（如柔性傳感器）存在一定的磨損與消耗，因此使用光學(xué)姿態(tài)采集器代替特質(zhì)傳感手套，光學(xué)傳感器穩(wěn)定，使機(jī)械臂控制更加自由、靈活。此外光學(xué)圖像數(shù)據(jù)的處理，需要一個(gè)高性能的單片機(jī)給予支持，下面將針對(duì)硬件的結(jié)合做相應(yīng)分析。

Leap Motion的主要原理是使用紅外LED+灰階Camera的方式采集數(shù)據(jù)，并生成3D數(shù)據(jù)。利用了物體對(duì)紅外照射反射特性不同而形成光場(chǎng)，并利用相應(yīng)的算法在其中檢測(cè)特定的幾何特征，可以比較準(zhǔn)確地檢測(cè)反射光場(chǎng)中的極點(diǎn)（如手指和物體尖端）和特定形狀的大范圍反射面（手掌）。它的功能主要就是集中在深度距離探測(cè)、指尖以及它的方向獲取、目標(biāo)跟蹤。Leap Motion系統(tǒng)的硬件是雙目立體視覺，可以在高跟蹤幀率下工作。Leap Motion 軟件分析在器件可視范圍內(nèi)的物體。它識(shí)別手、手指和工具，可以實(shí)時(shí)獲取它們的位置、手勢(shì)和動(dòng)作。

Leap Motion由于使用了紅外LED+灰階Camera，成本較低；只處理手部的3D，相比較于現(xiàn)在Kinect需要生成全身的skeleton, 復(fù)雜的depth信息，Leap的運(yùn)行效率自然也會(huì)高很多，對(duì)處理圖形的DSP要求也不會(huì)特別高。

樹莓派是一款基于ARM架構(gòu)的微型電腦主板，以SD/MicroSD卡為內(nèi)存硬盤，卡片主板周圍有多個(gè)USB接口和一個(gè)10/100Mbps以太網(wǎng)接口，并具有藍(lán)牙和WIFI功能，可連接鍵盤、鼠標(biāo)和網(wǎng)線，同時(shí)擁有視頻模擬信號(hào)的電視輸出接口和HDMI高清視頻輸出接口，以上部件全部整合在一張僅比信用卡稍大的主板上，具備所有PC的基本功能。

通過使用Leap Motion的SDK，捕捉手勢(shì)動(dòng)作，通過編寫的JAVA程序，將手部姿態(tài)數(shù)據(jù)解析為舵機(jī)控制信號(hào)。將此信息（角度值）無線傳輸至樹莓派中，將舵機(jī)控制信號(hào)進(jìn)行處理并發(fā)送至機(jī)械臂，實(shí)現(xiàn)控制。

圖3 光學(xué)傳感器控制原理圖

（四）機(jī)械臂控制系統(tǒng)的硬件設(shè)計(jì)

體感控制的真正意義在于其通訊距離的遠(yuǎn)程化，在保證實(shí)時(shí)的圖像信息穩(wěn)定、有效的前提下，盡可能大地?cái)U(kuò)展傳輸距離可以提高機(jī)器人的可用性和拓展其應(yīng)用前景?，F(xiàn)階段，環(huán)境基礎(chǔ)設(shè)施完善的情況下，可以借助任何一個(gè)局域網(wǎng)，訪問互聯(lián)網(wǎng)，實(shí)現(xiàn)兩局域網(wǎng)子機(jī)之間的信息交換，方便快捷，任何網(wǎng)絡(luò)的地方就可以實(shí)現(xiàn)控制。沉浸式機(jī)器人的雙向數(shù)據(jù)傳輸將以此為基礎(chǔ),總體傳輸示意圖如圖4所示。

圖4 雙向數(shù)據(jù)傳輸示意圖

關(guān)于視頻無線傳輸方案：

使用云端服務(wù)器，登錄遠(yuǎn)程控制管理臺(tái)控制服務(wù)器，實(shí)現(xiàn)所需功能。在帶寬保證的條件下，由雙目攝像頭采集的視頻信息可以通過服務(wù)器來進(jìn)行訪問顯示。選擇ffmepg+ffserver這種方式來實(shí)現(xiàn)視頻傳輸功能，原因有兩點(diǎn)。首先這種方式實(shí)現(xiàn)的視頻傳輸有較好的流暢度，項(xiàng)目的目的便是攝像頭監(jiān)控并且對(duì)攝像頭進(jìn)行調(diào)整，所以對(duì)視頻的延遲要求很嚴(yán)格。其次，mjpeg-streamer在通過網(wǎng)頁(yè)訪問攝像頭的時(shí)候需要知道此時(shí)樹莓派的IP，通過ffmepg+ffserver這種方式在實(shí)現(xiàn)過程中，將樹莓派和客戶端進(jìn)行隔離，不再直接聯(lián)系，樹莓派通過服務(wù)器端就可以實(shí)時(shí)獲取視頻信息。

二、沉浸式體控機(jī)器人的應(yīng)用前景分析

（一）機(jī)器人原理樣機(jī)分析

沉浸式體控機(jī)器人運(yùn)用VR技術(shù)和體感控制技術(shù)，具備人機(jī)交互性良好，動(dòng)作性能優(yōu)越，能耗低等特點(diǎn)。一方面，頭部及手臂共七個(gè)自由度的運(yùn)動(dòng)實(shí)現(xiàn)幾乎無延遲控制，另一方面，雙目攝像頭采集到的動(dòng)態(tài)圖像可以經(jīng)無線方式實(shí)時(shí)傳輸至操作者眼前。在機(jī)器人端和操作者端網(wǎng)絡(luò)條件良好時(shí)，圖像清晰，延遲約0.5秒。

圖5 成品概念圖

（二）沉浸式體控機(jī)器人在危險(xiǎn)環(huán)境下的應(yīng)用

隨著經(jīng)濟(jì)社會(huì)的發(fā)展，大量新工種不斷涌現(xiàn)，其中不乏高危險(xiǎn)性、傷害人體健康、人力無法實(shí)現(xiàn)的職業(yè)。比如核電站輻射量監(jiān)測(cè)、電力鐵塔檢測(cè)、塔吊高空作業(yè)以及在有毒有害氣體、低溫或高溫環(huán)境中的操作、巡檢、采樣、維修等等。因此發(fā)展能用于有毒有害環(huán)境下的遠(yuǎn)程體控機(jī)器人意義重大。

（1）遠(yuǎn)程體控機(jī)器人采用虛擬現(xiàn)實(shí)設(shè)備，使機(jī)器人圖像采集部位緊隨著人體頭部運(yùn)動(dòng)而運(yùn)動(dòng)，大大提高了遠(yuǎn)程監(jiān)控的清晰度和監(jiān)控范圍，實(shí)景傳輸效率非常高，使操作人員有身臨其境的感覺，也提高了遠(yuǎn)程控制效率；（2）遠(yuǎn)程體控機(jī)器人能工作在條件苛刻的地方，如核輻射、高空、狹小空間、極端溫度條件、有毒有害氣體內(nèi)等，使人員免受身體健康或生命安全的威脅；

（3）遠(yuǎn)程體控機(jī)器人能進(jìn)行遠(yuǎn)距離的仿人同步操作，如巡檢、偵查、采樣、生產(chǎn)、維修等等，必要時(shí)還可以將人體在某一時(shí)間段內(nèi)的動(dòng)作數(shù)據(jù)記錄下來，從而進(jìn)行自發(fā)的重復(fù)運(yùn)動(dòng)，提高生產(chǎn)效率；

（4）目前現(xiàn)有的機(jī)器人工作行為大都比較單一，通常只能固定在某處完成預(yù)先設(shè)定的操作，應(yīng)用范圍較窄。而遠(yuǎn)程體控機(jī)器人可以實(shí)時(shí)地仿照人體手臂運(yùn)動(dòng)，從而免去了復(fù)雜的手臂運(yùn)動(dòng)設(shè)計(jì)分析和程序編寫過程，使控制更加靈活可變。

三、結(jié)語(yǔ)

隨著視覺技術(shù)和計(jì)算機(jī)科學(xué)的高速發(fā)展，具有交互性、自由化的沉浸式視覺系統(tǒng)成為未來多媒體視頻技術(shù)的重要組成部分，具有極其廣闊的應(yīng)用前景。本項(xiàng)目利用立體沉浸技術(shù)和體感控制技術(shù)，創(chuàng)新性地將虛擬現(xiàn)實(shí)技術(shù)發(fā)展并應(yīng)用于監(jiān)測(cè)控制領(lǐng)域，提出遠(yuǎn)程三維立體沉浸式智能體感控制的概念與技術(shù)路線。使觀察者可以自由地選擇觀察方向與視角，同時(shí)使機(jī)械臂隨操作者動(dòng)作同步運(yùn)動(dòng)。其特點(diǎn)在于交互性、動(dòng)作性和自主性較強(qiáng)。沉浸式體控機(jī)器人能夠?qū)崿F(xiàn)遠(yuǎn)程沉浸式操作，并結(jié)合輪式、履帶式等移動(dòng)機(jī)器人或航拍機(jī)器人，以更直觀、自由地體感控制方式，完成各類特定任務(wù)，使未來機(jī)器人工作更加安全、可靠和高效。

[1] Don Wilcher著∶ 翁愷 譯.學(xué)ARDUINO玩轉(zhuǎn)電子制作[M].北京∶人民郵電出版社.2013.

[2]程晨.Arduino開發(fā)實(shí)戰(zhàn)指南[M].北京：機(jī)械工業(yè)出版社,2012.

[3]陳玉敏,謝瑋,孟憲民.基于體感控制的智能車設(shè)計(jì)[J]. 現(xiàn)代電子技術(shù),2016,(03)∶155-158.

[4]龔霖迪. 體感控制攝像機(jī)初識(shí)[J].中國(guó)公共安全,2014,(18)∶92-95.

[5]戴歡. 基于慣性動(dòng)作捕捉的人體運(yùn)動(dòng)姿態(tài)研究[D].石家莊鐵道大學(xué),2012.

[6]郭偉,蘭景婷. 三維動(dòng)畫及其運(yùn)動(dòng)捕捉技術(shù)[J].四川文理學(xué)院學(xué)報(bào),2011,(05)∶97-99.

[7]周冬鑫.慣性運(yùn)動(dòng)捕捉前端設(shè)備研究與設(shè)計(jì)[D].浙江大學(xué),2011.

[8]劉然. 基于計(jì)算機(jī)立體視覺的雙目立體成像研究[D].重慶大學(xué),2007.

[9]陳孟臻.基于MPU-6050陀螺——加速度儀三軸云臺(tái)的研究[J].百色學(xué)院學(xué)報(bào),2015,(03)∶126-131.