□文/張宇

?

現(xiàn)實亦虛擬 虛擬亦現(xiàn)實

□文/張宇

虛擬現(xiàn)實經(jīng)歷了三次熱潮：第一次源于1960年，確立了VR技術(shù)原理；第二次發(fā)生在1990年，VR試圖商業(yè)化但未能成功；目前正處于第三次熱潮前期，以Facebook 20億美元收購Oculus為標志，全球范圍內(nèi)掀起了VR商業(yè)化、普及化的浪潮。

“虛擬現(xiàn)實” (virtual reality，英文簡稱“VR”)主要指利用先進的顯示、計算機、傳感、人工智能等多種技術(shù)來生成一個逼真的三維視覺、聽覺、觸覺或嗅覺等感覺世界。在這樣的“世界”里，用戶們可以從自身視點出發(fā)，利用自然技能和外加設(shè)備對這一生成的虛擬世界客體進行瀏覽并交互信息、交流體驗?！疤摂M現(xiàn)實”技術(shù)為我們帶來的是逼真的感覺、自然的交互、個人的視點及迅速的響應(yīng)。虛擬現(xiàn)實技術(shù)是仿真技術(shù)的一個重要方向，是仿真技術(shù)與計算機圖形學(xué)、人機接口技術(shù)、多媒體技術(shù)、傳感技術(shù)和網(wǎng)絡(luò)技術(shù)等多種技術(shù)的融合，是一門富有挑戰(zhàn)性的交叉技術(shù)。

整體來看，目前VR 產(chǎn)業(yè)仍處于起步階段，供應(yīng)鏈及配套還不成熟。在這樣的情況下，虛擬現(xiàn)實要達到逼真的多種感覺和實時的自然交互是非常不容易的。但是VR領(lǐng)域發(fā)展前景廣闊，預(yù)計未來市場潛力巨大。隨著技術(shù)的成熟與成本的下降，虛擬現(xiàn)實帶來的沉浸感與交互體驗升級不僅能夠應(yīng)用于娛樂社交，更將對各行各業(yè)的生產(chǎn)溝通效率帶來極大改變。如高端制造全流程參與、職業(yè)教育培訓(xùn)、設(shè)計效果呈現(xiàn)等，都是虛擬現(xiàn)實技術(shù)應(yīng)用的絕佳領(lǐng)域，“VR+”的需求將層出不窮。就像“互聯(lián)網(wǎng)+”一樣，VR技術(shù)也將逐步滲透產(chǎn)業(yè)，形成“VR+”的趨勢。同時，隨著新一代的CPU、GPU、顯示技術(shù)、傳感技術(shù)進步支撐VR 行業(yè)發(fā)展，虛擬現(xiàn)實基本上到了爆發(fā)的起點，2016有望成為虛擬現(xiàn)實元年。

張宇 上海市科學(xué)學(xué)研究所 助理研究員法國佩皮尼昂大學(xué)碩士

圖1　人機交互方式變化

VR主要產(chǎn)品結(jié)構(gòu)與關(guān)鍵技術(shù)

用“芯”思考—芯片是保證運算能力和流暢度的核心

以現(xiàn)階段來說，市場上的硬件僅僅滿足VR的一些基本功能可以運行而已，在硬件各個方面都有很大的提升空間，而不只是某一方面的提升。以面向VR智能眼鏡芯片技術(shù)為例，它們需要向“四更”方向努力：更小(體積更小)，更快(傳輸更快)，更省(更低的功耗)，更強(更強的計算能力，更強的圖形計算、并行處理等能力)。MCU、CPU、GPU等需要更強的計算能力，以滿足算法、顯示、交互等工作需求。同時，要降低芯片的功耗，以滿足更長時間的工作需求。另外，體積也要濃縮，這樣才能釋放空間用于他處。未來需要針對CV/AI專門優(yōu)化的芯片來提高運算速度和降低功耗。隨著VR需求的擴大，一定程度上會提升相關(guān)編解碼多媒體定制芯片的發(fā)展。

美國高通公司研制的芯片體現(xiàn)出更加智能的效果。預(yù)計在2016年上半年推出的智能移動設(shè)備的核心處理器Snapdragon 820，能夠為VR技術(shù)提供核心支持。在這款GPU中的一項重要技術(shù)Foveated Rendering，能夠簡化圖像處理的過程。在使用過程中，這項技術(shù)并沒有將VR頭盔屏幕中的圖像像素完全處理，而是把處理能力主要用在了用戶的視線真正注意到的屏幕部分。因為人的眼睛在視物的過程中，并不會注意到全部的細節(jié)，因此就沒有必要把芯片的處理能力完全平分在整個屏幕上；只需要將人真正注意的部分處理好就可以了。

目前我國的產(chǎn)業(yè)集群和自主創(chuàng)新能力已經(jīng)形成新常態(tài)，如國內(nèi)的集成電路設(shè)計的公司，從海思和展訊，已經(jīng)成為全球集成電路設(shè)計的十大企業(yè)。芯片設(shè)計和芯片制造能力方面，中國已經(jīng)成為并且事實性地正在積聚著創(chuàng)造的領(lǐng)導(dǎo)和形成著產(chǎn)業(yè)集群的優(yōu)勢。

視覺仿真—身臨其境的效果首先要“看”顯示設(shè)備技術(shù)水平

人看周圍的世界時，由于兩只眼睛的位置不同，得到的圖像略有不同，這些圖像在腦子里融合起來，就形成了一個關(guān)于周圍世界的整體景象，這個景象中包括了距離遠近的信息。當然，距離信息也可以通過其他方法獲得，例如眼睛焦距的遠近、物體大小的比較等。在VR系統(tǒng)中，雙目立體視覺起了很大作用。用戶的兩只眼睛看到的不同圖像是分別產(chǎn)生的，顯示在不同的顯示器上。有的系統(tǒng)采用單個顯示器，但用戶帶上特殊的眼鏡后，一只眼睛只能看到奇數(shù)幀圖像，另一只眼睛只能看到偶數(shù)幀圖像，奇、偶幀之間的不同也就使視差產(chǎn)生了立體感。

整體來看，虛擬現(xiàn)實技術(shù)及其應(yīng)用，經(jīng)歷了桌面式和分布式兩個階段的發(fā)展后，正處于沉浸式發(fā)展初期，未來朝著增強式的方向發(fā)展。2013年，Oculus VR 推出VR頭戴顯示器Oculus Rift，區(qū)別于頭戴3D顯示器，它的視場角得到改進，并配置多種傳感器使交互提升。2014年，Google推出頭戴手機盒子Cardboard，它結(jié)構(gòu)簡單、成本低廉、易于推廣，消費級沉浸式VR設(shè)備受到國內(nèi)外公司的關(guān)注。目前，消費級沉浸式VR設(shè)備市場處于發(fā)展初期，中國從事沉浸式VR設(shè)備開發(fā)的公司約100多家，大部分產(chǎn)品沒有上市或僅推出開發(fā)者版本。內(nèi)容方面，以3D電影、VR游戲、360全景視頻/圖片為主，內(nèi)容數(shù)量有限，VR游戲處于樣片階段。3Glasses是中國最早從事VR領(lǐng)域探索的公司之一，已發(fā)布亞洲首款VR頭盔3Glasses D1以及全球首款量產(chǎn)2k屏的VR頭盔3Glasses D2，并入駐深圳工業(yè)展覽館，向社會團體和普通市民免費體驗。

捕風捉影—位置傳感與動作捕捉需要既快又準

人造環(huán)境中，每個物體相對于系統(tǒng)的坐標系都有一個位置與姿態(tài)，而用戶也是如此。用戶看到的景象是由用戶的位置和頭（眼）的方向來確定的。 跟蹤頭部運動的虛擬現(xiàn)實頭套：在傳統(tǒng)的計算機圖形技術(shù)中，視場的改變是通過鼠標或鍵盤來實現(xiàn)的，用戶的視覺系統(tǒng)和運動感知系統(tǒng)是分離的，而利用頭部跟蹤來改變圖像的視角，用戶的視覺系統(tǒng)和運動感知系統(tǒng)之間就可以聯(lián)系起來，感覺更逼真。另一個優(yōu)點是，用戶不僅可以通過雙目立體視覺去認識環(huán)境，而且可以通過頭部的運動去觀察環(huán)境。在用戶與計算機的交互中，鍵盤和鼠標是目前最常用的工具，但對于三維空間來說，它們都不太適合。在三維空間中因為有六個自由度，我們很難找出比較直觀的辦法把鼠標的平面運動映射成三維空間的任意運動?，F(xiàn)在，已經(jīng)有一些設(shè)備可以提供六個自由度，如3Space數(shù)字化儀和SpaceBall空間球等。另外一些性能比較優(yōu)異的設(shè)備是數(shù)據(jù)手套和數(shù)據(jù)衣。

2015年3月在MWC2015上，HTC與曾制作Portal和Half-Life等獨創(chuàng)游戲的Valve聯(lián)合開發(fā)的VR虛擬現(xiàn)實頭盔產(chǎn)品HTC Vive亮相。HTC Vive控制器定位系統(tǒng)Lighthouse采用的是Valve的專利，它不需要借助攝像頭，而是靠激光和光敏傳感器來確定運動物體的位置，也就是說HTC Vive允許用戶在一定范圍內(nèi)走動。

愚公搬山—數(shù)據(jù)計算能力與傳輸速度是產(chǎn)業(yè)化前的兩座大山

相比較而言，利用計算機模型產(chǎn)生圖形圖像并不是太難的事情。如果有足夠準確的模型，又有足夠的時間，我們就可以生成不同光照條件下各種物體的精確圖像，但是這里的關(guān)鍵是實時。例如在飛行模擬系統(tǒng)中，圖像的刷新相當重要，同時對圖像質(zhì)量的要求也很高，再加上非常復(fù)雜的虛擬環(huán)境，問題就變得相當困難。在現(xiàn)實環(huán)境中實現(xiàn)無差別圖像視頻識別需要極其龐大的數(shù)據(jù)規(guī)模，如一條街道上，需要街景、人臉、服裝等各種數(shù)據(jù)；目前數(shù)據(jù)的采集、存儲、傳輸、分析技術(shù)都有需要解決的難題：僅海量數(shù)據(jù)的清洗、錄入，本身就是浩瀚的工程。

VR技術(shù)包括四項關(guān)鍵指標，領(lǐng)先廠商已經(jīng)達標，VR技術(shù)趨于成熟。這四項指標為：屏幕刷新率、屏幕分辨率、延遲和設(shè)備計算能力。高通Snapdragon 820能為先進的計算機視覺技術(shù)提供支持。Snapdragon 820將為立體攝像機提供保障，連續(xù)處理兩條高達13兆像素的數(shù)據(jù)流。同時，其他方面的技術(shù)如輸入設(shè)備在姿態(tài)矯正、復(fù)位功能、精準度、延遲等方面持續(xù)改善；傳輸設(shè)備提速和無線化；更小體積硬件下的續(xù)航能力和存儲容量不斷提升；配套系統(tǒng)和中間件開發(fā)完善。

全球市場受熱捧

VR 技術(shù)起源于1965 年Ivan Sutherland 在IFIP會議上所作的“終極的顯示”的報告。20世紀80年代美國VPL 公司的創(chuàng)建人之一Jaron Lanier 正式提出了“Virtual Reality”一詞。VR 技術(shù)興起于20世紀90 年代。2000 年以后，VR 技術(shù)整合發(fā)展中的XML、JAVA 等先進技術(shù)，應(yīng)用強大的3D 計算能力和交互式技術(shù)，提高渲染質(zhì)量和傳輸速度，進入了嶄新的發(fā)展時代。VR 技術(shù)是經(jīng)濟和社會生產(chǎn)力發(fā)展需求的產(chǎn)物，有著廣闊的應(yīng)用前景。為了把握VR技術(shù)優(yōu)勢，美、英、日等國政府及大公司不惜投入巨資在該領(lǐng)域進行研發(fā)，并顯示出良好的應(yīng)用前景。

2008年2月，美國國家工程院(NAE)公布了一份題為“21世紀工程學(xué)面臨的14項重大挑戰(zhàn)”的報告。VR技術(shù)是其中之一，與新能源、潔凈水、新藥物等技術(shù)相并列。并提出這些技術(shù)挑戰(zhàn)的任何一項一經(jīng)克服，將可極大地改善人們的生活質(zhì)量。

在歐洲, 英國在VR 開發(fā)的某些方面,特別是在分布并行處理、輔助設(shè)備(包括觸覺反饋)設(shè)計和應(yīng)用研究方面, 領(lǐng)先于歐洲其他國家。英國Bristol 公司發(fā)現(xiàn), VR 應(yīng)用的交點應(yīng)集中在整體綜合技術(shù)上, 他們在軟件和硬件的某些領(lǐng)域處于領(lǐng)先地位。英國ARRL公司關(guān)于遠地呈現(xiàn)的研究實驗,主要包括VR 重構(gòu)問題。他們的產(chǎn)品還包括建筑和科學(xué)可視化計算。

歐洲其它一些較發(fā)達的國家如:荷蘭、德國、瑞典等也積極進行了VR的研究與應(yīng)用。瑞典的DIVE分布式虛擬交互環(huán)境, 是一個基于Unix的, 不同節(jié)點上的多個進程可以在同一世界中工作的異質(zhì)分布式系統(tǒng)。荷蘭海牙TNO 研究所的物理電子實驗室(TNO -PEL)開發(fā)的訓(xùn)練和模擬系統(tǒng), 通過改進人機界面來改善現(xiàn)有模擬系統(tǒng), 以使用戶完全介入模擬環(huán)境。德國在VR的應(yīng)用方面取得了出乎意料的成果。在改造傳統(tǒng)產(chǎn)業(yè)方面, 一是用于產(chǎn)品設(shè)計、降低成本, 避免新產(chǎn)品開發(fā)的風險;二是產(chǎn)品演示, 吸引客戶爭取定單;三是用于培訓(xùn),在新生產(chǎn)設(shè)備投入使用前用虛擬工廠來提高工人的操作水平。2008 年10 月27 -29 日在法國舉行的ACM Symposium on Virtual Reality Software and Technology 大會,整體上促進了虛擬現(xiàn)實技術(shù)的深入發(fā)展。

東京技術(shù)學(xué)院精密和智能實驗室研究了一個用于建立三維模型的人性化界面, 稱為SpmAR;NEC 公司開發(fā)了一種虛擬現(xiàn)實系統(tǒng),用代用手來處理CAD 中的三維形體模型, 通過數(shù)據(jù)手套把對模型的處理與操作者的手聯(lián)系起來;日本國際工業(yè)和商業(yè)部產(chǎn)品科學(xué)研究院開發(fā)了一種采用X 、Y 記錄器的受力反饋裝置;東京大學(xué)的高級科學(xué)研究中心的研究重點主要集中在遠程控制方面, 他們最近的研究項目是可以使用戶控制遠程攝像系統(tǒng)和一個模擬人手的隨動機械人手臂的主從系統(tǒng);東京大學(xué)廣瀨研究室重點研究虛擬現(xiàn)實的可視化問題。他們正在開發(fā)一種虛擬全息系統(tǒng), 用于克服當前顯示和交互作用技術(shù)的局限性;日本奈良尖端技術(shù)研究生院大學(xué)教授千原國宏領(lǐng)導(dǎo)的研究小組于2004 年開發(fā)出一種嗅覺模擬器, 只要把虛擬空間里的水果放到鼻尖上一聞,裝置就會在鼻尖處放出水果的香味, 這是虛擬現(xiàn)實技術(shù)在嗅覺研究領(lǐng)域的一項突破。

企業(yè)是推動VR 技術(shù)應(yīng)用和產(chǎn)業(yè)化的重要力量。IBM 公司把互聯(lián)網(wǎng)和VR 技術(shù)作為正在興起的商機，投入上億資金資助研發(fā)。其推出的Bluegrass 是一個虛擬現(xiàn)實應(yīng)用程序，能夠讓用戶建立虛擬的會議室。IBM 2008 年啟動的“Sametime 3D”項目，將虛擬世界整合到Lotus Sametime 即時通訊與協(xié)作應(yīng)用軟件中。IBM 還與故宮博物院合作推出“超越時空的紫禁城”。這是中國第一個在互聯(lián)網(wǎng)上展現(xiàn)重要歷史文化景點的虛擬世界。微軟公司開發(fā)了諸多VR 技術(shù): Photosynth 軟件能夠讓用戶使用一組有相似性的照片生成一個3D場景; Silverlight 插件支持3D 效果，并能使用顯示卡的GPU 硬件加速功能來提高顯示質(zhì)量; 3D 體感攝影機Project Natal 導(dǎo)入了即時動態(tài)捕捉、影像辨識、麥克風輸入、語音辨識、社群互動等功能; World-Wide Telescope 基于Web 2.0 可視化環(huán)境，是Internet上的一個虛擬望遠鏡，用戶可以對圖像進行無縫縮放和平移; Virtual Earth 3D 的使用者可以瀏覽美國主要城市的全方位3D 圖片。施樂公司( Xerox)研究中心在VR 領(lǐng)域主要從事利用虛擬現(xiàn)實通信建立未來辦公室的研究，并設(shè)計一項基于VR 使得數(shù)據(jù)存取更容易的窗口系統(tǒng)。此外，波音公司的波音777 運輸機采用全無紙化設(shè)計，利用所開發(fā)的VR 系統(tǒng)將虛擬環(huán)境疊加于真實環(huán)境之上，把虛擬的模板顯示在正在加工的工件上，工人根據(jù)此模板控制待加工尺寸，簡化加工過程。

中國VR廠商正在迎頭趕上

我國VR 技術(shù)研究起步較晚，與國外發(fā)達國家還有一定的差距，但現(xiàn)在已引起國家有關(guān)部門和科學(xué)家們的高度重視，并根據(jù)我國的國情，制定了開展VR 技術(shù)的研究計劃。“九五”規(guī)劃、國家自然科學(xué)基金委、國家高技術(shù)研究發(fā)展計劃等都把VR 列入了研究項目。國內(nèi)一些重點院校，已積極投入到了這一領(lǐng)域的研究工作。

北京航空航天大學(xué)計算機系是國內(nèi)最早進行VR 研究、最有權(quán)威的單位之一，并在以下方面取得進展：著重研究了虛擬環(huán)境中物體物理特性的表示與處理；在虛擬現(xiàn)實中的視覺接口方面開發(fā)出部分硬件，并提出有關(guān)算法及實現(xiàn)方法；實現(xiàn)了分布式虛擬環(huán)境網(wǎng)絡(luò)設(shè)計，可以提供實時三維動態(tài)數(shù)據(jù)庫、虛擬現(xiàn)實演示環(huán)境、用于飛行員訓(xùn)練的虛擬現(xiàn)實系統(tǒng)、虛擬現(xiàn)實應(yīng)用系統(tǒng)的開發(fā)平臺等。浙江大學(xué)CAD＆CG 國家重點實驗室開發(fā)出了一套桌面型虛擬建筑環(huán)境實時漫游系統(tǒng)，還研制出了在虛擬環(huán)境中一種新的快速漫游算法和一種遞進網(wǎng)格的快速生成算法。哈爾濱工業(yè)大學(xué)已經(jīng)成功地虛擬出了人的高級行為中特定人臉圖像的合成、表情的合成和唇動的合成等技術(shù)問題。清華大學(xué)計算機科學(xué)和技術(shù)系對虛擬現(xiàn)實和臨場感的方面進行了研究。西安交通大學(xué)信息工程研究所對虛擬現(xiàn)實中的關(guān)鍵技術(shù)——立體顯示技術(shù)進行了研究， 提出了一種基于JPEG 標準壓縮編碼新方案，獲得了較高的壓縮比、信噪比以及解壓速度。北方工業(yè)大學(xué)CAD 研究中心是我國最早開展計算機動畫研究的單位之一，中國第一部完全用計算機動畫技術(shù)制作的科教片《相似》就出自該中心。

關(guān)于虛擬現(xiàn)實的研究我國已經(jīng)完成了2 個“863”項目，完成了體視動畫的自動生成部分算法與合成軟件處理， 完成了VR 圖像處理與演示系統(tǒng)的多媒體平臺及相關(guān)的音頻資料庫，制作了一些相關(guān)的體視動畫光盤。另外，西北工業(yè)大學(xué)CAD／CAM 研究中心、上海交通大學(xué)圖像處理模式識別研究所、長沙國防科技大學(xué)計算機研究所、華東船舶工業(yè)學(xué)院計算機系、安徽大學(xué)電子工程與信息科學(xué)系等單位也進行了一些研究工作和嘗試。

當前，我國專注于虛擬現(xiàn)實與仿真領(lǐng)域的軟硬件研發(fā)與推廣，已具備了國際上比較先進的虛擬現(xiàn)實技術(shù)解決方案和相關(guān)服務(wù)，其中代表產(chǎn)品有：虛擬現(xiàn)實編輯器（VRP－Builder）、數(shù)字城市仿真平臺（VRP－Digicity）、物理模擬系統(tǒng)（VRPPhysics）、三維網(wǎng)絡(luò)平臺（VRPIE）、工業(yè)仿真平臺（ⅣRP－Indusim）、三維仿真系統(tǒng)開發(fā)包（rvRP－SDK）以及多通道環(huán)幕立體投影解決方案等，能夠滿足不同領(lǐng)域不同層次的客戶對虛擬現(xiàn)實的需求。

在企業(yè)方面，以我國增強現(xiàn)實頭戴顯示器市場為例，其參與者主要是初創(chuàng)企業(yè)，多數(shù)產(chǎn)品尚處于研發(fā)階段。從產(chǎn)品功能來看，初創(chuàng)公司的產(chǎn)品與谷歌眼鏡功能相仿，價格具有優(yōu)勢，但自主創(chuàng)新能力還不足。目前主要包括百度公司的Baidu Eye、聯(lián)想公司的Vuzix M100，藍斯特科技公司的EPW、PMD、MG1，百宣微云軟件公司的Rui Glass G1,奧圖科技公司的Cool Glass ONE，創(chuàng)玄微科技公司的創(chuàng)玄眼鏡，亮亮視野科技公司的GLXSS智能眼鏡和云視智通科技公司的云瞳等。

交叉技術(shù)融合讓VR前景更廣闊

將腦-機接口( brain-computer interface，BCI) 技術(shù)與虛擬現(xiàn)實( virtual reality，V R) 相結(jié)合構(gòu)成基于虛擬現(xiàn)實的腦-機接口( BCI-V R) 新技術(shù)是最近在多媒體和娛樂領(lǐng)域出現(xiàn)的一種BCI 應(yīng)用新模式。

BCI-VR兼取兩者優(yōu)勢互補，同時又相互促進創(chuàng)新。BCI-VR系統(tǒng)的提出和發(fā)展時間并不長: 2000年結(jié)合VR與BCI 技術(shù)，科學(xué)家在虛擬環(huán)境中試駕駛一輛小車遇到紅燈時停下，紅燈被設(shè)置為足夠誘發(fā)事件相關(guān)電位P300 信號。2006 年清華大學(xué)馬贇等設(shè)計了基于BCI 技術(shù)的VR康復(fù)訓(xùn)練平臺，其中將想象運動BCI 與運動功能康復(fù)訓(xùn)練VR結(jié)合在一起。2007 年Robert Leeb、Doron Friedman等使用BCI 控制虛擬環(huán)境 中輪椅前進或停止。2010 年P(guān)o T.Wang 等驗證了使用BCI 在VE 中控制下肢進行功能性電刺激( functional electric stimulation，F(xiàn)ES) 的可能性，2012年又完成了在虛擬環(huán)境中通過BCI 控制實現(xiàn)下肢自定步調(diào)行走。為進一步擴展其實用性，還希望該系統(tǒng)可以提供更多指令輸出以便與現(xiàn)實世界互動。為此，西安交通大學(xué)李葉平等將刺激目標與場景圖像結(jié)合，設(shè)計了一種高效穩(wěn)健的場景結(jié)合導(dǎo)航方法，顯著減少了目標識別次數(shù)，大幅提高了BCI 控制輪椅的導(dǎo)航效率。

技術(shù)需要在產(chǎn)品中表現(xiàn)，而產(chǎn)品需要在市場中消化。整體來看，企業(yè)級與消費級VR市場將共同發(fā)展,相互促進。企業(yè)級應(yīng)用所積累的資金、渠道、技術(shù)、人力資源都將在同質(zhì)化的消費級市場里發(fā)揮作用。企業(yè)級市場的繁榮,將帶動消費級市場的成熟,兩個市場將有望共同發(fā)展。而實驗室級別的交叉技術(shù)融合的發(fā)展，又將跳出當前VR應(yīng)用終端是固定還是移動的發(fā)展路徑的爭論，為后續(xù)發(fā)展明確方向。

所以與其擔心巨頭搶占自己的市場份額，不如先把眼前事做好，努力為VR用戶的每一天帶去更好的東西，將虛擬務(wù)實。