王金金 阿迪思 白雪 王欽 熊沁茹

摘 要：項(xiàng)目利用立體沉浸技術(shù)和體感控制技術(shù)，創(chuàng)新性地將虛擬現(xiàn)實(shí)技術(shù)應(yīng)用于監(jiān)測(cè)控制領(lǐng)域，提出遠(yuǎn)程三維立體沉浸式智能體感控制概念與技術(shù)路線(xiàn)。利用電子雙目攝像頭和虛擬現(xiàn)實(shí)技術(shù)的顯示設(shè)備構(gòu)建三維立體沉浸式監(jiān)控環(huán)境;利用搭載在頭部和手臂的姿態(tài)傳感器、單片機(jī)和無(wú)線(xiàn)收發(fā)模塊構(gòu)建體感控制部分，方便觀(guān)察者自由選擇觀(guān)察方向與視角，交互性、動(dòng)作性和自主性較強(qiáng)。立體沉浸式體控機(jī)器人能夠?qū)崿F(xiàn)遠(yuǎn)程沉浸式操作，并結(jié)合輪式、履帶式等移動(dòng)機(jī)器人或航拍機(jī)器人，以更直觀(guān)、自由的體感控制方式完成各類(lèi)特定任務(wù)，使機(jī)器人工作更加安全、可靠和高效。文中提出了立體沉浸式遠(yuǎn)程體感智能控制器的設(shè)計(jì)方案，將其應(yīng)用到輪式移動(dòng)機(jī)械臂的遠(yuǎn)程立體沉浸式體感控制中，完成了原理樣機(jī)的測(cè)試與分析。

關(guān)鍵詞：沉浸式系統(tǒng);體感控制;虛擬現(xiàn)實(shí);人機(jī)交互

1 概 述

1.1 項(xiàng)目背景及意義

2011年日本核電站發(fā)生了特大核泄漏事故后，核電站內(nèi)的核燃料暴露在外并持續(xù)高溫亟待冷卻，而高危環(huán)境下的救援搶險(xiǎn)工作以及高污染環(huán)境的質(zhì)量監(jiān)測(cè)工作會(huì)對(duì)人體產(chǎn)生潛在危害，甚至威脅到人身安全。為避免此種情況造成的傷害，可采用智能機(jī)器人代替人工進(jìn)行操作，既可以保證救援人員的生命安全，還可以通過(guò)控制精度保證機(jī)器人工作的可靠性、高效性和適用性。遠(yuǎn)程體感控制機(jī)器人集人機(jī)交互、沉浸式監(jiān)測(cè)與體感控制于一體，可實(shí)現(xiàn)遠(yuǎn)程沉浸式操控，更加直觀(guān)、自由、安全、可靠、高效。

1.2 國(guó)內(nèi)外研究現(xiàn)狀

沉浸式虛擬現(xiàn)實(shí)（immersiveVR）技術(shù)能為參與者提供完全沉浸的體驗(yàn)，使用戶(hù)有置身于虛擬世界的感覺(jué)。其中，遠(yuǎn)程自主式智能控制系統(tǒng)具有遠(yuǎn)程控制、無(wú)需人工現(xiàn)場(chǎng)監(jiān)控、代替人進(jìn)行一些智能操作的特點(diǎn);虛擬現(xiàn)實(shí)技術(shù)則利用頭盔顯示器將用戶(hù)的視覺(jué)、聽(tīng)覺(jué)封閉起來(lái)，產(chǎn)生虛擬視覺(jué);與此同時(shí)，讓參與者對(duì)系統(tǒng)主機(jī)下達(dá)操作命令，頭、手、眼均有相應(yīng)的頭部跟蹤器、手部跟蹤器、眼睛視向跟蹤器的追蹤，使系統(tǒng)具有實(shí)時(shí)性。

日本原子能研究學(xué)會(huì)在1999年?yáng)|海燃料處理設(shè)施發(fā)生核事故后研制了坦克式機(jī)器人，它高1.5 m，重500 kg。這款機(jī)器人每分鐘大約移動(dòng)40 m，可以在距控制器1.1 km的距離范圍內(nèi)操作，如圖1（a）所示。

2013年，千葉工業(yè)大學(xué)公開(kāi)了水陸兩用核電站機(jī)器人“櫻花2號(hào)”，如圖1（b）所示。該新型機(jī)器人可以在廢墟上自由行走，且可通過(guò)遠(yuǎn)程控制，使手臂進(jìn)行和人相同的復(fù)雜動(dòng)作。具有極強(qiáng)的抗輻射和防水功能，主要用于廢料清理。

2001年，美國(guó)iRobot公司研制出了Packbots，2008年推出最新軍用機(jī)器人產(chǎn)品Warrior， 如圖2所示。這兩款機(jī)器人都配有攝像機(jī)，把實(shí)時(shí)視頻流傳送給操作人員，操作人員使用游戲桿式的控制器操作機(jī)器人。其無(wú)線(xiàn)范圍超600 m，能夠繞過(guò)瓦礫，爬上臺(tái)階，下落1.8 m到混凝土上，即使完全浸入水中仍能工作。Warrior 710甚至能夠背著Packbots通過(guò)窗戶(hù)進(jìn)入建筑物內(nèi)部。

2017年2月22日，在國(guó)家旅業(yè)頭腦風(fēng)暴大會(huì)上，國(guó)家旅游局信息中心、任我游（廈門(mén)）科技發(fā)展有限公司以及HTCVive攜手發(fā)布了“中國(guó)VR旅游云數(shù)據(jù)服務(wù)平臺(tái)”，如圖3所示。

1.3 設(shè)計(jì)要求及思路

遠(yuǎn)程體控機(jī)器系統(tǒng)最大的困難在于準(zhǔn)確捕捉使用者的姿態(tài)信息，根據(jù)使用者的姿態(tài)計(jì)算出控制器執(zhí)行的動(dòng)作。同時(shí)，如何通過(guò)無(wú)線(xiàn)方式將雙目攝像頭捕捉的大量圖像信息回傳到頭盔內(nèi)的顯示屏至關(guān)重要。

立體沉浸式遠(yuǎn)程體控機(jī)器人系統(tǒng)應(yīng)滿(mǎn)足3D視覺(jué)效果好、立體感形成及畫(huà)面實(shí)時(shí)傳輸性好、遠(yuǎn)距離無(wú)線(xiàn)數(shù)據(jù)鏈路通信、機(jī)械控制動(dòng)作性強(qiáng)、能耗低等要求。

2 體感控制系統(tǒng)

2.1 機(jī)械臂的控制

2.1.1 姿態(tài)數(shù)據(jù)采集

為使立體沉浸式體感控制機(jī)器系統(tǒng)具備更好的人機(jī)交互性、自由性，在立體環(huán)境的基礎(chǔ)上設(shè)計(jì)了姿態(tài)數(shù)據(jù)采集與傳輸系統(tǒng)來(lái)完成和實(shí)現(xiàn)人機(jī)交互的相關(guān)功能，進(jìn)一步增強(qiáng)沉浸式效果與體驗(yàn)。系統(tǒng)主要由姿態(tài)傳感器、微處理器（MCU）、電源模塊和數(shù)據(jù)傳輸模塊等組成，可實(shí)現(xiàn)對(duì)人體頭部和手臂姿態(tài)的數(shù)據(jù)采集和數(shù)據(jù)傳輸。

（1）姿態(tài)傳感器

本系統(tǒng)選擇MPU6050模塊檢測(cè)人體頭部和手臂的姿態(tài)角度變化。MPU6050芯片內(nèi)部集成有姿態(tài)傳感器、數(shù)字濾波、溫度傳感器、16位ADC及可擴(kuò)展數(shù)字運(yùn)動(dòng)處理器（DMP）等。其中姿態(tài)傳感器選用慣性式姿態(tài)傳感器，包含三軸陀螺儀和三軸加速度計(jì)，可分別測(cè)量出運(yùn)動(dòng)的角速度和線(xiàn)加速度，經(jīng)A/D轉(zhuǎn)換，濾波和數(shù)據(jù)融合處理便可得到反映真實(shí)機(jī)體狀態(tài)的姿態(tài)角。陀螺儀和加速度傳感器測(cè)量范圍可控，陀螺儀測(cè)量范圍為±2 000°/s，±1 000°/s，±500°/s，±250°/s;加速度計(jì)測(cè)量范圍為±16g，±8g，±4g，±2g。本項(xiàng)目中陀螺儀通過(guò)軟件將其測(cè)量范圍控制在相應(yīng)范圍內(nèi)。

MPU6050模塊通過(guò)波特率為9 600 b/s的串口完成所有設(shè)備寄存器與MCU的通信，并完成采集三軸加速度、三軸角速度的任務(wù)。

（2）微處理器（MCU）

微處理器采用具有低功耗、高性能以及更好兼容性等優(yōu)點(diǎn)的樹(shù)莓派（RaspberryPi核心處理器為ARM），主要負(fù)責(zé)數(shù)據(jù)調(diào)試、控制機(jī)械臂和電子雙目轉(zhuǎn)動(dòng)及姿態(tài)解算相關(guān)運(yùn)算。

（3）驅(qū)動(dòng)舵機(jī)

本項(xiàng)目使用TBSN-K15舵機(jī)，該舵機(jī)具有耐燒、穩(wěn)定、虛位小、控制角度大等特點(diǎn)。

2.1.2 系統(tǒng)軟件設(shè)計(jì)

姿態(tài)數(shù)據(jù)采集與傳輸系統(tǒng)程序主要實(shí)現(xiàn)采集人體姿態(tài)數(shù)據(jù)、原始數(shù)據(jù)調(diào)試、姿態(tài)數(shù)據(jù)融合傳輸?shù)裙δ?，其控制流程如圖4所示。

采集人體姿態(tài)數(shù)據(jù)即采集人體運(yùn)動(dòng)過(guò)程中三軸加速度和角速度數(shù)據(jù);姿態(tài)數(shù)據(jù)融合即選擇合適的融合方法處理采集到的人體姿態(tài)數(shù)據(jù)，以得到所需的姿態(tài)角;數(shù)據(jù)傳輸即將融合后的姿態(tài)數(shù)據(jù)通過(guò)數(shù)據(jù)線(xiàn)傳輸給控制電子雙目系統(tǒng)的MCU處理器。

2.1.3 數(shù)據(jù)采集與調(diào)試

利用MPU6050模塊采集的只是三軸加速度和三軸角速度的原始數(shù)據(jù)，姿態(tài)傳感器所要獲取的人體頭部和手臂姿態(tài)角的變化需經(jīng)過(guò)數(shù)據(jù)融合處理才能得到。為保證姿態(tài)角的精確度和可靠性，需要對(duì)采集到的原始數(shù)據(jù)進(jìn)行進(jìn)一步調(diào)試與分析。MPU6050角度測(cè)試如圖5所示。

加速度計(jì)或陀螺儀輸出的原始數(shù)據(jù)都存在固有缺陷：當(dāng)模塊處于變速運(yùn)動(dòng)狀態(tài)時(shí)，加速度計(jì)的輸出并非重力加速度，而是重力加速度和其自身加速度的矢量和。陀螺儀通過(guò)對(duì)角速度積分得到姿態(tài)角，隨著時(shí)間的推移，姿態(tài)角的誤差越來(lái)越大，所以單一的加速度計(jì)或陀螺儀都無(wú)法獲得正確的姿態(tài)角，需進(jìn)行數(shù)據(jù)融合。

2.1.4 數(shù)據(jù)處理與集成

MPU6050模塊作為系統(tǒng)的數(shù)據(jù)獲取和感知部分，能夠準(zhǔn)確、實(shí)時(shí)地獲得使用者的姿態(tài)角度。目前MEMS陀螺儀的精度不高，難以得到相對(duì)真實(shí)的姿態(tài)角度。為獲得準(zhǔn)確性較高且可靠的姿態(tài)角度，必須對(duì)MEMS陀螺儀的隨機(jī)誤差進(jìn)行補(bǔ)償，解決噪聲干擾與姿態(tài)最優(yōu)估計(jì)問(wèn)題，從而獲取最優(yōu)姿態(tài)角度。

考慮到互補(bǔ)濾波算法雖然階次越高融合效果越好，但遲滯性顯著，從實(shí)時(shí)性和融合效果角度來(lái)看，Kalman濾波收斂速度和濾波效果平衡得較好，因此本系統(tǒng)采用卡爾曼濾波對(duì)來(lái)自加速度計(jì)和陀螺儀的信號(hào)進(jìn)行融合。

集成芯片具有體積小、響應(yīng)快、數(shù)據(jù)輸出穩(wěn)定準(zhǔn)確等優(yōu)點(diǎn)，能夠及時(shí)、迅速地輸出當(dāng)前姿態(tài)信息，精度高，濾波效果如圖6所示，MPU6050集成芯片如圖7所示。

集成芯片與單片機(jī)經(jīng)串口通信，MPU6050輸出的原始數(shù)據(jù)經(jīng)內(nèi)部集成的姿態(tài)解算器和卡爾曼濾波算法后可直接輸出穩(wěn)定、實(shí)時(shí)的姿態(tài)信息至MCU，MCU經(jīng)數(shù)據(jù)線(xiàn)傳輸數(shù)據(jù)至控制電子雙目系統(tǒng)的MCU，該MCU可根據(jù)角度值輸出不同的指令，對(duì)電子雙目的轉(zhuǎn)動(dòng)進(jìn)行控制，最終帶給用戶(hù)沉浸式體感控制體驗(yàn)。

集成后的芯片可安裝于頭盔式虛擬現(xiàn)實(shí)顯示設(shè)備和傳感器手套上，用于檢測(cè)和采集使用者的姿態(tài)角度信息。

2.1.5 體控機(jī)械臂其他方案

現(xiàn)有的沉浸式機(jī)器人多采用低延遲、高效率控制方式。由于近年來(lái)光學(xué)姿態(tài)采集器的發(fā)展，人們可以徒手遠(yuǎn)程操控機(jī)械臂的運(yùn)動(dòng)。LeapMotion控制流程如圖8所示。

Leap的優(yōu)勢(shì)在于軟件，由于使用了紅外LED+灰階camera，成本較低;僅處理手部3D信息，相較于Kinect需要生成全身的skeleton、復(fù)雜的depth信息，Leap的運(yùn)行效率較高，對(duì)處理圖形的DSP要求較低。

此外，LeapMotion不受光線(xiàn)影響，即使在夜晚，同樣可以靈敏捕捉操作者的手部姿態(tài)。同時(shí)，用戶(hù)無(wú)需培訓(xùn)即可方便地操縱機(jī)械臂。系統(tǒng)光學(xué)體控系統(tǒng)構(gòu)件如圖9所示。

2.2 電子雙目控制

遠(yuǎn)程體控機(jī)器人系統(tǒng)的最大特點(diǎn)是人與電子媒介終端的交互性好、操作性強(qiáng)，用戶(hù)可通過(guò)肢體動(dòng)作控制電子雙目調(diào)節(jié)視野范圍。本控制系統(tǒng)主要由傳感環(huán)節(jié)與執(zhí)行機(jī)構(gòu)構(gòu)成，其中傳感環(huán)節(jié)由姿態(tài)傳感器感知、獲取人體頭部運(yùn)動(dòng)信息并將該信息傳輸至單片機(jī)進(jìn)行處理，單片機(jī)根據(jù)不同的姿態(tài)信號(hào)發(fā)送相關(guān)指令至執(zhí)行機(jī)構(gòu)，控制電子雙目做出相應(yīng)的運(yùn)動(dòng)，實(shí)現(xiàn)具有人機(jī)交互性的體感控制。

2.2.1 控制系統(tǒng)設(shè)計(jì)

利用攝像機(jī)云臺(tái)作為執(zhí)行機(jī)構(gòu)對(duì)攝像機(jī)進(jìn)行水平和垂直的移動(dòng)和控制。攝像機(jī)云臺(tái)是一種安裝在攝像機(jī)支撐物上的工作平臺(tái)，用于攝像機(jī)與支撐物之間的連接，在云臺(tái)水平、垂直運(yùn)動(dòng)的同時(shí)，攜同攝像機(jī)做相同的運(yùn)動(dòng)。目前國(guó)內(nèi)的云臺(tái)控制技術(shù)系統(tǒng)成熟，在云臺(tái)上安裝攝像頭后可調(diào)整攝像機(jī)水平和俯仰角度，同理，可通過(guò)控制機(jī)械臂轉(zhuǎn)動(dòng)的舵機(jī)實(shí)現(xiàn)對(duì)機(jī)械臂的控制。

本系統(tǒng)樣機(jī)階段，攝像頭和機(jī)械臂將安裝在舵機(jī)之上。舵機(jī)是一種伺服馬達(dá)，其本身具有體積小、靈敏度高、可控性強(qiáng)等特點(diǎn)，可在微機(jī)電系統(tǒng)中作為基本的輸出執(zhí)行機(jī)構(gòu)，其簡(jiǎn)單的控制和輸出使得單片機(jī)系統(tǒng)容易與之接口。舵機(jī)接收單片機(jī)發(fā)送的脈沖信號(hào)，轉(zhuǎn)過(guò)相應(yīng)角度，實(shí)現(xiàn)對(duì)攝像頭位置的調(diào)整。舵機(jī)云臺(tái)將固定于智能小車(chē)上，智能小車(chē)作為電子雙目控制系統(tǒng)的載體，可程控各方向的啟停，調(diào)整設(shè)備的運(yùn)動(dòng)方向，完成探測(cè)任務(wù)。

2.2.2 舵機(jī)控制方式

舵機(jī)適用于角度需要不斷變化并保持的控制系統(tǒng)，如圖10所示。工作原理：控制信號(hào)由接收機(jī)通道進(jìn)入信號(hào)調(diào)制芯片，獲得直流偏置電壓，其內(nèi)部有一基準(zhǔn)電路，產(chǎn)生周期為20 ms、寬度為1.5 ms的基準(zhǔn)信號(hào)，將獲得的直流偏置電壓與電位器電壓比較，獲得電壓差輸出。最后，電壓差的正負(fù)輸出至電機(jī)驅(qū)動(dòng)芯片決定電機(jī)的正反轉(zhuǎn)。當(dāng)電機(jī)轉(zhuǎn)速一定時(shí)，通過(guò)級(jí)聯(lián)減速齒輪帶動(dòng)電位器旋轉(zhuǎn)，使得電壓差為0 V，電機(jī)停止轉(zhuǎn)動(dòng)。

舵機(jī)的控制信號(hào)是利用占空比變化改變舵機(jī)位置的PWM信號(hào)。可采用單片機(jī)作為舵機(jī)的控制單元，使PWM信號(hào)的脈沖寬度實(shí)現(xiàn)微秒級(jí)變化，從而提高舵機(jī)的轉(zhuǎn)角精度。單片機(jī)完成控制算法后將計(jì)算結(jié)果轉(zhuǎn)化為PWM信號(hào)輸出至舵機(jī)。單片機(jī)系統(tǒng)是一個(gè)數(shù)字系統(tǒng)，其控制信號(hào)的變化依靠硬件計(jì)數(shù)，受外界干擾較小，工作可靠。

2.2.3 體感控制終端系統(tǒng)

為使電子雙目能夠進(jìn)行水平和垂直運(yùn)動(dòng)，讓使用者擁有更好的體驗(yàn)，本產(chǎn)品的人機(jī)交互功能選擇二自由度云臺(tái)對(duì)舵機(jī)進(jìn)行控制。RB-150MG輕量型云臺(tái)是最新一代全金屬齒、大扭矩、大轉(zhuǎn)角范圍的機(jī)器人專(zhuān)用伺服舵機(jī)，性?xún)r(jià)比高，定位精準(zhǔn)，可以在水平和垂直方向做二自由度運(yùn)動(dòng)，安裝攝像頭后可實(shí)現(xiàn)圖像反饋監(jiān)控、識(shí)別定位追蹤。

RB-150MG云臺(tái)通過(guò)在正立的舵機(jī)上放置一個(gè)多功能舵機(jī)支架，實(shí)現(xiàn)電子雙目的水平運(yùn)動(dòng);在該支架上安裝一個(gè)橫向放置的舵機(jī)，并將U型支架一側(cè)與該舵機(jī)相連，一側(cè)通過(guò)杯士軸承與多功能舵機(jī)支架結(jié)合，實(shí)現(xiàn)電子雙目的垂直運(yùn)動(dòng)，RB-150MG云臺(tái)如圖11所示。

采用9軸慣性姿態(tài)傳感器采集傳感器安放位置處的三個(gè)軸，即三個(gè)方向的角度數(shù)據(jù)，取其中代表水平方向、豎直俯仰方向范圍為-90°～+90°的兩個(gè)軸的數(shù)據(jù)模擬頭部運(yùn)動(dòng)，此數(shù)據(jù)經(jīng)匹配后用無(wú)線(xiàn)方式來(lái)控制范圍為0°～180°的舵機(jī)實(shí)現(xiàn)相應(yīng)轉(zhuǎn)動(dòng)，由此實(shí)現(xiàn)頭部的體感控制。

2.3 遠(yuǎn)程控制數(shù)據(jù)傳輸

2.3.1 傳感器數(shù)據(jù)的無(wú)線(xiàn)傳輸

體感控制系統(tǒng)通過(guò)采集人體頭部姿態(tài)信息及手臂姿態(tài)信息來(lái)控制機(jī)器人的攝像頭云臺(tái)及機(jī)械手的運(yùn)動(dòng)。通過(guò)nRF24L01單片無(wú)線(xiàn)收發(fā)器芯片實(shí)現(xiàn)100 m以?xún)?nèi)的無(wú)線(xiàn)傳輸。在機(jī)器人控制端及用戶(hù)體驗(yàn)端分別接入無(wú)線(xiàn)模塊配合Arduino完成數(shù)據(jù)的交換傳輸，延時(shí)0.5 s，實(shí)時(shí)性好。

系統(tǒng)工作在2.4～2.5 GHz的ISM頻段，由頻率發(fā)生器、增強(qiáng)型“SchockBurst”模式控制器、功率放大器、晶體振蕩器等組成。輸出功率頻道選擇和協(xié)議設(shè)置可通過(guò)SPI接口進(jìn)行。

nRF241擁有極低的電流消耗，當(dāng)工作在發(fā)射模式下發(fā)射功率為0 dBm時(shí)電流消耗為11.3 mA ，接收模式時(shí)為12.3 mA，掉電模式和待機(jī)模式下電流消耗更低;數(shù)據(jù)包每次可傳輸1～32 B的數(shù)據(jù);數(shù)據(jù)傳輸速率為2 Mb/s;寬電壓工作范圍為1.9～3.6 V，輸入引腳可承受5 V輸入電壓，適應(yīng)各種芯片的輸出電壓，簡(jiǎn)單易接。

2.3.2 無(wú)線(xiàn)通信距離的拓展

體感控制的真正意義在于其通信距離的遠(yuǎn)程化，在保障控制精度的前提下，盡可能擴(kuò)展傳輸距離以提高機(jī)器人的可用性。現(xiàn)階段，環(huán)境基礎(chǔ)設(shè)施完善，可借助局域網(wǎng)訪(fǎng)問(wèn)互聯(lián)網(wǎng)，實(shí)現(xiàn)兩局域網(wǎng)子機(jī)間的信息交換，方便快捷。

使用云端服務(wù)器登錄遠(yuǎn)程控制管理臺(tái)即可控制服務(wù)器，實(shí)現(xiàn)功能。如果可以保證帶寬，由視覺(jué)傳感器采集的視頻信息也可以通過(guò)服務(wù)器訪(fǎng)問(wèn)顯示。

3 立體沉浸式系統(tǒng)

沉浸式視頻即交互式立體視頻，是最接近人類(lèi)視覺(jué)方式的三維視覺(jué)感知技術(shù)。其基本原理是使用兩個(gè)或多個(gè)攝像機(jī)從不同角度同一時(shí)間拍攝的視頻，來(lái)產(chǎn)生一個(gè)全面的3D數(shù)字視頻，運(yùn)用計(jì)算機(jī)視覺(jué)和計(jì)算機(jī)圖形學(xué)為交互式視頻和電視觀(guān)察者提供一個(gè)“虛擬攝像機(jī)”，使觀(guān)察者可以自由選擇觀(guān)察方向和視角。立體沉浸式視頻增加了場(chǎng)景的深度信息，增強(qiáng)了現(xiàn)實(shí)感。

構(gòu)建立體沉浸式的圖像環(huán)境需要電子雙目圖像采集系統(tǒng)、頭戴式虛擬現(xiàn)實(shí)顯示設(shè)備、姿態(tài)傳感器、控制系統(tǒng)等，如圖12所示。其中電子雙目圖像采集系統(tǒng)與虛擬現(xiàn)實(shí)設(shè)備共同構(gòu)建立體環(huán)境，姿態(tài)傳感器配合控制系統(tǒng)實(shí)現(xiàn)體感控制。

圖像采集系統(tǒng)由電子雙目完成對(duì)場(chǎng)景的捕捉與圖像獲取，用兩臺(tái)攝像機(jī)模擬人的雙眼對(duì)景物進(jìn)行拍攝，捕捉場(chǎng)景畫(huà)面并實(shí)時(shí)傳輸現(xiàn)場(chǎng)圖像，兩臺(tái)攝像機(jī)并列放置得到左、右兩幅具有視差的圖像，最后對(duì)該圖像進(jìn)行融合處理或通過(guò)3D設(shè)備觀(guān)測(cè)圖像。

沉浸式顯示借助頭盔式虛擬現(xiàn)實(shí)顯示設(shè)備，使兩幅具有視差的圖像分別映入人的左右眼，人的大腦感知圖像視察信息，產(chǎn)生立體感。虛擬現(xiàn)實(shí)頭盔透鏡具有放大作用，使圖像充滿(mǎn)使用者的整個(gè)視界，從而使用戶(hù)產(chǎn)生強(qiáng)烈的沉浸感。在頭戴設(shè)備上加入姿態(tài)傳感器感知使用者的姿態(tài)信息來(lái)控制電子雙目的移動(dòng)，由此構(gòu)成強(qiáng)交互性、高自由度視點(diǎn)的沉浸式視頻體驗(yàn)和智能體感控制系統(tǒng)。

3.1 圖像采集模塊

捕獲場(chǎng)景的空間信息并形成立體圖像是立體沉浸式環(huán)境構(gòu)建的前提，要產(chǎn)生立體影像，單臺(tái)攝像機(jī)無(wú)法完成，所以本系統(tǒng)采用兩個(gè)同時(shí)工作的攝像頭，實(shí)時(shí)傳輸兩幅具有視差的圖像，反映空間場(chǎng)景、位置等信息。再通過(guò)頭戴觀(guān)測(cè)設(shè)備，使左右眼分別觀(guān)測(cè)到兩幅圖像，人的大腦對(duì)這兩幅圖像進(jìn)行處理后，根據(jù)兩幅圖像的差異判斷物體與雙眼的距離等信息，在人的大腦中產(chǎn)生立體效果。電子雙目圖像采集如圖13所示。

常用的雙目立體視覺(jué)成像模型有平行雙目成像模型和匯聚雙目成像模型兩種，均應(yīng)用兩個(gè)單目攝像頭取景。所得兩幅有視差的圖片在大腦中疊加融合處理，構(gòu)成有深度立體效果的畫(huà)面。綜合人眼獲取圖像的運(yùn)作方式，匯聚雙目成像模型更符合人眼的視覺(jué)習(xí)慣。在不考慮畸變和其他外界因素等情況下，雙目攝像系統(tǒng)可達(dá)到與人眼相似的立體成像效果。

兩個(gè)目標(biāo)攝像機(jī)與三維模型的位置關(guān)系、兩個(gè)目標(biāo)攝像機(jī)之間的距離、會(huì)聚角變化值等是影響立體效果的重要因素。為使電子雙目與人眼取景模型更貼合，僅研究主要影響因素，對(duì)研究模型作出假設(shè)：兩個(gè)攝像機(jī)的鏡頭完全相同，即聚焦值、白平衡、光圈值等參數(shù)相同;兩攝像機(jī)視野和目標(biāo)距離均相同，即攝像機(jī)和目標(biāo)左右對(duì)稱(chēng);攝像機(jī)觀(guān)測(cè)距離在一定范圍內(nèi)，暫不考慮攝像機(jī)自動(dòng)變焦和視角變化等問(wèn)題;攝像機(jī)鏡頭中心和目標(biāo)點(diǎn)在同一平面內(nèi)，避免產(chǎn)生垂直視差;在工作過(guò)程中兩個(gè)攝像頭相對(duì)位置不變，成角固定;場(chǎng)景光線(xiàn)正常，所得圖像對(duì)符合要求。

3.2 圖像無(wú)線(xiàn)傳輸模塊

3.2.1 視頻圖像無(wú)線(xiàn)回傳

選擇路由器形成局域網(wǎng)的方式傳送圖像，如圖14所示。

3.2.2 OpenWrt系統(tǒng)

利用OpenWrt系統(tǒng)進(jìn)行圖像無(wú)線(xiàn)傳輸?shù)牧鞒倘鐖D15所示。

3.3 構(gòu)建3D立體環(huán)境

3.3.1 虛擬現(xiàn)實(shí)設(shè)備

虛擬現(xiàn)實(shí)技術(shù)由計(jì)算機(jī)硬件、軟件及各種傳感器構(gòu)成三維信息的虛擬環(huán)境，在虛擬現(xiàn)實(shí)環(huán)境中可直接實(shí)現(xiàn)虛擬場(chǎng)景中的實(shí)物交互。從本質(zhì)上看，虛擬現(xiàn)實(shí)技術(shù)是一種先進(jìn)的人機(jī)交互技術(shù)，其追求的技術(shù)目標(biāo)是盡量使用戶(hù)與電腦虛擬環(huán)境進(jìn)行自然式交互。

場(chǎng)景顯示方式及設(shè)備是虛擬現(xiàn)實(shí)系統(tǒng)中人機(jī)交互的基本組成部分，按照顯示方式分為頭盔式顯示、投影式、手持式和自由立體顯示方式等，本系統(tǒng)采用頭戴式設(shè)備進(jìn)行研究與改造。

由于虛擬現(xiàn)實(shí)設(shè)備需要高精度傳感器、高清顯示屏和強(qiáng)大的計(jì)算能力等高端技術(shù)，因此大部分虛擬現(xiàn)實(shí)產(chǎn)品均基于個(gè)人電腦。本系統(tǒng)使用備受關(guān)注的基于手機(jī)的虛擬現(xiàn)實(shí)環(huán)境頭戴設(shè)備，如圖16所示。該設(shè)備將手機(jī)作為顯示器，通過(guò)分屏軟件及設(shè)備使電子雙目攝像頭捕捉的兩幅圖像分別呈現(xiàn)于手機(jī)顯示屏的左、右半屏，通過(guò)頭戴設(shè)備觀(guān)測(cè)，圖像映入人的大腦后經(jīng)處理產(chǎn)生立體沉浸感。頭戴設(shè)備上將安裝陀螺儀姿態(tài)傳感器芯片，監(jiān)測(cè)頭部運(yùn)動(dòng)形態(tài)，完成相應(yīng)的人機(jī)交互，實(shí)現(xiàn)立體沉浸式體感控制。

本系統(tǒng)所用頭盔式顯示設(shè)備為Cardboard，Cardboard是款簡(jiǎn)單的3D眼鏡，將手機(jī)安裝于設(shè)備前方作為顯示器，在該設(shè)備上安裝相應(yīng)的陀螺儀姿態(tài)傳感器并連接至單片機(jī)，配合相應(yīng)軟件控制即可實(shí)現(xiàn)沉浸式體感控制：陀螺儀傳感器芯片可實(shí)時(shí)檢測(cè)使用者頭部的位置和方向，并將信息傳輸至單片機(jī)，單片機(jī)根據(jù)使用者頭部位置和方向信息計(jì)算出人體當(dāng)前姿態(tài)，從而控制攝像頭移動(dòng)到相應(yīng)位置，顯示當(dāng)前視點(diǎn)下的場(chǎng)景，人體視點(diǎn)與電子雙目的同步性和交互性讓使用者產(chǎn)生強(qiáng)烈的沉浸感。該方案的優(yōu)點(diǎn)在于Cardboard價(jià)格低廉，通用性好且便攜。

3.3.2 圖像分屏顯示

圖像通過(guò)無(wú)線(xiàn)方式傳輸?shù)絇C機(jī)后，通過(guò)登錄兩個(gè)網(wǎng)頁(yè)分別呈現(xiàn)電子雙目采集的圖像，如圖17所示。使用Splashtop可將畫(huà)面投射到手機(jī)顯示屏上進(jìn)行同步顯示。在使用頭盔式顯示設(shè)備觀(guān)測(cè)前，需要在手機(jī)上手動(dòng)將兩幅圖像調(diào)整到中間位置。經(jīng)過(guò)多次測(cè)試，利用此方法可以得到延遲少、效果較好的圖像顯示，基本滿(mǎn)足同步性、畫(huà)質(zhì)及立體的要求。

4 實(shí)驗(yàn)樣機(jī)

4.1 硬件系統(tǒng)

4.1.1 可穿戴部分

系統(tǒng)可穿戴部分主要由傳感器手套、頭盔式虛擬現(xiàn)實(shí)設(shè)備組成。

傳感器手套需要搭載不同數(shù)量的MEMS陀螺儀加速度傳感器模塊、無(wú)線(xiàn)發(fā)送模塊、供電裝備（傳感器供電和無(wú)線(xiàn)發(fā)送模塊供電電壓為+3.3 V）。為保證每一個(gè)關(guān)節(jié)的運(yùn)動(dòng)都被捕捉到，需要精準(zhǔn)地設(shè)計(jì)傳感器的分布位置，確定其運(yùn)動(dòng)的初始位置等。

頭盔式虛擬現(xiàn)實(shí)設(shè)備包括MEMS陀螺儀加速度傳感器模塊、頭盔框架、透鏡、無(wú)線(xiàn)發(fā)送模塊、顯示器搭載臺(tái)、供電裝備。在頭戴設(shè)備上加入姿態(tài)傳感器感知使用者的姿態(tài)信息來(lái)控制電子雙目的移動(dòng)，就構(gòu)成了強(qiáng)交互性、高自由度視點(diǎn)的沉浸式視頻體驗(yàn)和智能體感控制系統(tǒng)。

4.1.2 機(jī)器人部分

硬件組成包括搭載小車(chē)模塊、雙目攝像頭和舵機(jī)云臺(tái)、機(jī)械臂仿生模塊。

小車(chē)模塊：小車(chē)上裝配有32路舵機(jī)控制板、樹(shù)莓派、電平轉(zhuǎn)換裝置、直流電機(jī)、鋰電池（舵機(jī)供電電壓+5 V）等。小車(chē)可以遙控操作，搭載一定質(zhì)量物品（不高于5 kg）。

雙目攝像頭和舵機(jī)云臺(tái)：人的兩只眼睛在觀(guān)看物體時(shí)，雙眼的觀(guān)看角度略有差異，這種細(xì)微差距通過(guò)視神經(jīng)傳輸?shù)酱竽X中樞系統(tǒng)，大腦對(duì)其進(jìn)行辨析處理，從而產(chǎn)生物體遠(yuǎn)近錯(cuò)落的景象，實(shí)現(xiàn)立體效果。

機(jī)械臂仿生模塊：固定在小車(chē)底盤(pán)的機(jī)械臂模塊由無(wú)線(xiàn)接收裝置、舵機(jī)控制器、舵機(jī)組成，與人體的手臂稍有不同的是，機(jī)械臂的關(guān)節(jié)有四個(gè)自由度，不包含上臂和肩關(guān)節(jié)，即通過(guò)肘關(guān)節(jié)、下臂、手掌完成操作。

4.2 樣機(jī)測(cè)試

對(duì)系統(tǒng)的機(jī)械臂控制、VR立體沉浸模塊及系統(tǒng)整體運(yùn)行狀態(tài)進(jìn)行測(cè)試。

（1） 機(jī)械臂控制測(cè)試

機(jī)械控制的動(dòng)作性強(qiáng)，舵機(jī)控制精度達(dá)0.74°，控制端具有較高的自由度和靈活度，能夠與使用者的姿態(tài)動(dòng)作保持一致和同步。同時(shí)使用者姿態(tài)信息的采集和捕捉要靈敏且快速，執(zhí)行機(jī)構(gòu)（機(jī)械臂等）慣性小，能夠快速準(zhǔn)確響應(yīng)。能耗低，可持續(xù)工作4 h。

（2）VR立體沉浸模塊測(cè)試

將移動(dòng)機(jī)器人上的雙目視覺(jué)傳感器的視頻信號(hào)通過(guò)無(wú)線(xiàn)網(wǎng)絡(luò)傳輸?shù)接墒謾C(jī)構(gòu)成的虛擬現(xiàn)實(shí)設(shè)備上，實(shí)驗(yàn)結(jié)果表明，系統(tǒng)具有較好的3D視覺(jué)效果，立體感的形成及畫(huà)面的實(shí)時(shí)傳輸性較好，延遲約為0.5 s，本次設(shè)計(jì)可滿(mǎn)足500 m無(wú)線(xiàn)通信。

（3）樣機(jī)綜合測(cè)試

操作人員利用立體沉浸式系統(tǒng)控制移動(dòng)機(jī)械臂完成貨物的搬運(yùn)，基本滿(mǎn)足了項(xiàng)目的設(shè)計(jì)要求。

5 總結(jié)與展望

本項(xiàng)目在分析國(guó)內(nèi)外相關(guān)技術(shù)研究現(xiàn)狀的基礎(chǔ)上，基于體感控制和虛擬現(xiàn)實(shí)技術(shù)，提出了立體沉浸式遠(yuǎn)程體感智能控制器的設(shè)計(jì)方案，將其應(yīng)用到了輪式移動(dòng)機(jī)械臂的遠(yuǎn)程立體沉浸式體感控制中，并對(duì)原理樣機(jī)進(jìn)行了相關(guān)測(cè)試，系統(tǒng)具有通信距離遠(yuǎn)、自由度高、延時(shí)小等優(yōu)點(diǎn)。未來(lái)將進(jìn)一步提升系統(tǒng)的遠(yuǎn)程信息傳輸能力，使其能夠更好地適應(yīng)惡劣的野外環(huán)境。