文/周忠 張琳

遠程沉浸：虛擬照進現(xiàn)實

文/周忠 張琳

北京航空航天大學(xué)虛擬現(xiàn)實技術(shù)與系統(tǒng)國家重點實驗室在下一代互聯(lián)網(wǎng)上開展了一系列的遠程沉浸技術(shù)研究工作，讓真實人體實時進入虛擬世界中。

遠程再現(xiàn)和遠程沉浸一直是很多科幻小說和影視作品的偏好場景。著名的好萊塢大片《星球大戰(zhàn)》、《黑客帝國》和《阿凡達》等都是來自于這個主題。近年來一種基于視覺的遠程沉浸虛擬現(xiàn)實交互系統(tǒng)成為虛擬現(xiàn)實領(lǐng)域的研究熱點之一。遠程沉浸（Tele-immersion）系統(tǒng)通過實時、逼真的人體三維重建和遠程再現(xiàn)技術(shù)將真實的人的動作、表情、姿態(tài)、聲音等在共享的虛擬環(huán)境中同步再現(xiàn)出來，身處不同地域的多個人“進入”到共享的三維虛擬環(huán)境中進行“面對面”的互動交流，從而達到身臨其境的互動體驗。

國際上新興的基于多相機的遠程沉浸在遠程交流、教學(xué)、醫(yī)療訓(xùn)練、協(xié)同設(shè)計、三維可視化等領(lǐng)域都有著重要的應(yīng)用前景。美國U.C. Berkeley大學(xué)、法國INRIA、伊利諾大學(xué)香檳分校、加州大學(xué)戴維斯分校、北卡羅來納大學(xué)教堂山分校UNC、南加州大學(xué)、布朗大學(xué)、馬克斯-普朗克信息學(xué)研究所等都在遠程沉浸系統(tǒng)的軟硬件技術(shù)等方面開展研究。然而，遠程沉浸系統(tǒng)中實時重建的人體三維模型，會產(chǎn)生大量的數(shù)據(jù)點，這些數(shù)據(jù)點和紋理圖像需要實時通過網(wǎng)絡(luò)進行傳輸，對網(wǎng)絡(luò)帶寬有著巨大的需求，因此這些研究或在局域網(wǎng)內(nèi)進行，如INRIA、南加州大學(xué)的工作，或在下一代互聯(lián)網(wǎng)上開展，如U.C.Berkeley、UIUC、U.C.Davis等合作的遠程沉浸互聯(lián)實驗。

遠程沉浸（Tele-immersion）系統(tǒng)通過實時、逼真的人體三維重建和遠程再現(xiàn)技術(shù)將真實的人的動作、表情、姿態(tài)、聲音等在共享的虛擬環(huán)境中同步再現(xiàn)出來，身處不同地域的多個人“進入”到共享的三維虛擬環(huán)境中進行“面對面”地互動交流，從而達到身臨其境的互動體驗。

北航的遠程沉浸技術(shù)研究

北京航空航天大學(xué)虛擬現(xiàn)實技術(shù)與系統(tǒng)國家重點實驗室近幾年在遠程沉浸技術(shù)方面開展了一系列的研發(fā)工作。實時三維重建技術(shù)實現(xiàn)了真實人體實時進入虛擬世界中交互，是遠程沉浸中的主要核心技術(shù)之一，重建的三維模型的精度和模型的重建速度是三維重建技術(shù)的兩個主要指標(biāo)。實驗室設(shè)計了由12臺工業(yè)相機組成的4米×4米×3米的遠程虛實協(xié)同采集建模環(huán)境和基于三目相機的便攜式建模環(huán)境。在這兩種建模環(huán)境下分別研發(fā)了基于側(cè)影輪廓的無標(biāo)識動態(tài)物體實時三維重建技術(shù)和分層聚合的可變權(quán)值立體匹配算法。

基于側(cè)影輪廓的無標(biāo)識動態(tài)物體實時三維重建算法基本原理是先用一棵不斷迭代剖分的具有立方體節(jié)點的八叉樹來描述一個三維物體，然后用行進可視外殼精確立方體算法對得到的體素描述的三維模型進行網(wǎng)格化，并進行視點相關(guān)的紋理映射，最終得到被采集物體帶紋理的三維模型。

圖1 是人體模型與虛擬場景交互的效果圖，其中左圖是人在一個虛擬足球場的展示，人能夠?qū)崟r地與足球發(fā)生交互。右圖為人在虛擬的淺水環(huán)境展示，圖中可以看到人腳下產(chǎn)生了較為真實的水漣漪效果。

立體匹配算法采用實時性較高的基于局部匹配窗口的方法，并通過行列雙向聚合的方式進一步降低匹配代價的聚合計算復(fù)雜度，引入一種可信度機制來減少聚合過程中的進度損失；利用沿掃描線的動態(tài)規(guī)劃選擇視差，將貪心選擇和視差平滑約束引入到動態(tài)規(guī)劃過程以提高視差選擇的計算速度和準(zhǔn)確度。從而在滿足實時性要求的基礎(chǔ)上達到了較高的建模精度。圖2是RealTimeLAW立體匹配算法實驗對比與應(yīng)用效果圖。右圖中的人正在實驗拾取國際象棋，可以看到人可以利用手勢來控制虛擬的棋子。該算法的平均誤差低于7%，目前在Middlebury平臺上實時類算法中綜合精度排名第一。測試表明，當(dāng)圖像的分辨率為320×240時運行速度可達15幀/秒，滿足實時交互要求。我們正在開展三目的匹配算法研究，初步結(jié)果表現(xiàn)出更高的精度，但實時性也有所影響。

圖1 重建的人體與虛擬場景交互效果

圖2 RealTimeLAW立體匹配算法對比與效果

下一代互聯(lián)網(wǎng)上的遠程沉浸應(yīng)用系統(tǒng)

近年來，我國在下一代互聯(lián)網(wǎng)的研究和實踐方面開展了大量的工作，尤其是清華大學(xué)為主建設(shè)的CNGI-CERNET2網(wǎng)絡(luò)具有很大的影響。北京航空航天大學(xué)也是CNGICERNET2的主干節(jié)點單位之一，依托該網(wǎng)絡(luò)條件，初步開展了互聯(lián)網(wǎng)上的遠程沉浸技術(shù)探索。

從2008年開始，北京航空航天大學(xué)虛擬現(xiàn)實國家重點實驗室聯(lián)合清華大學(xué)、北京大學(xué)、上海交通大學(xué)、復(fù)旦大學(xué)、華中科技大學(xué)、華南理工大學(xué)、北京郵電大學(xué)、東北大學(xué)、電子科技大學(xué)等節(jié)點單位，在北京、沈陽、廣州、武漢、上海、杭州、成都共6個城市的10個主要CERNET2節(jié)點部署了基于遠程沉浸技術(shù)的交流應(yīng)用平臺系統(tǒng)，也就是在下一代互聯(lián)網(wǎng)上搭建一種新型的虛擬現(xiàn)實交互式交流服務(wù)平臺。平臺軟件主要包括：服務(wù)中心軟件、用戶客戶端軟件、模型編輯軟件和門戶網(wǎng)站。遠程沉浸虛擬現(xiàn)實交流系統(tǒng)的研究目的之一是在下一代互聯(lián)網(wǎng)實驗一種新型服務(wù)，因此考慮了互聯(lián)網(wǎng)上的節(jié)點擴展性，系統(tǒng)從總體上可分為服務(wù)中心和節(jié)點客戶端兩部分，如圖3所示。服務(wù)中心軟件負(fù)責(zé)用戶身份管理，協(xié)調(diào)用戶及交流研討小組，并進行一系列的后臺維護工作，門戶網(wǎng)站可以訪問數(shù)據(jù)庫檢索信息。客戶端軟件是研究的主要技術(shù)難點部分，主要包括多相機的實時采集與建模、聲音采集與播放、虛擬交互系統(tǒng)框架和網(wǎng)絡(luò)傳輸?shù)??？蛻舳塑浖饕ㄏ到y(tǒng)登陸大廳、三維建模及虛實混合繪制兩部分。

圖3 系統(tǒng)結(jié)構(gòu)

圖4 通訊結(jié)構(gòu)

圖5 平臺運行場景

遠程沉浸節(jié)點需要交互的實時數(shù)據(jù)主要包括幾何模型、紋理和交互操作，其中模型尤其是紋理部分的數(shù)據(jù)量很大，如果都通過服務(wù)中心轉(zhuǎn)發(fā)，服務(wù)中心將很容易過載，因此將模型和紋理數(shù)據(jù)在節(jié)點之間直接傳輸，并且模型、紋理是實時更新的，當(dāng)其在場景中渲染時，部分?jǐn)?shù)據(jù)的丟失并不會帶來很嚴(yán)重的影響，而實時性更為重要，因此基于快速的UDP協(xié)議進行數(shù)據(jù)傳輸；而節(jié)點創(chuàng)建、加入交流組，下載模型等操作，都基于可靠的TCP協(xié)議通過服務(wù)中心在進行節(jié)點間進行傳輸，組內(nèi)節(jié)點共享同一個虛擬環(huán)境，系統(tǒng)通訊結(jié)構(gòu)圖如圖4所示。

另外，在研發(fā)過程中，還完成了專用的模型編輯軟件，項目門戶網(wǎng)站，和數(shù)據(jù)庫中心。

下一代互聯(lián)網(wǎng)虛擬現(xiàn)實交流平臺目前已經(jīng)建立起了十多項各具特色的科研交流虛擬環(huán)境，由各參與學(xué)校發(fā)揮各自優(yōu)勢，提供一些特色學(xué)科或?qū)I(yè)的科研數(shù)據(jù)，開發(fā)相應(yīng)的三維模型，并集成到平臺中提供相應(yīng)的遠程科研交流服務(wù)。建設(shè)的交流場景有虛擬戰(zhàn)場、建筑協(xié)同研討環(huán)境、蛋白質(zhì)虛擬研討環(huán)境、協(xié)同船體設(shè)計、虛擬醫(yī)療研討環(huán)境、虛擬制冷設(shè)備研討、協(xié)同建筑施工研討、工業(yè)機器人研討、材料研討環(huán)境、電磁仿真環(huán)境等。另外，平臺還開發(fā)提供了五子棋交互娛樂環(huán)境，模擬駕駛環(huán)境、虛擬足球場交互娛樂環(huán)境，月球漫游環(huán)境等不同主題和不同交流、交互方式的虛擬交流與交互場景。圖5為平臺運行的部分效果圖。

我們已經(jīng)在下一代互聯(lián)網(wǎng)上開展了大量的性能測試，實驗結(jié)果表明其帶寬已經(jīng)能夠滿足大數(shù)據(jù)的傳輸需求，但延遲和穩(wěn)定性還需要提高?？偟膩碚f，作為一個新生事物，遠程沉浸系統(tǒng)的技術(shù)與建設(shè)尚屬實驗階段，隨著該技術(shù)的成熟和低成本化，將可能成為下一代互聯(lián)網(wǎng)上的特色應(yīng)用，為社會大眾服務(wù)。

（作者單位為北京航空航天大學(xué)虛擬現(xiàn)實技術(shù)與系統(tǒng)國家重點實驗室）