羅 偉 王燕一 侯 霞 龐戀蘇 劉洪臣

20世紀(jì)后半葉以來，數(shù)字化浪潮逐漸席卷全球，各行各業(yè)逐步從真實活動進(jìn)入到虛擬世界。在此過程中，人機(jī)交互設(shè)備也從傳統(tǒng)鼠標(biāo)鍵盤的真實交互向虛擬設(shè)備發(fā)展，逐步出現(xiàn)虛擬現(xiàn)實、增強現(xiàn)實、混合現(xiàn)實等技術(shù)。

1.AR/MR簡介

上世紀(jì)80年代末，Jaron Lanier正式使用Virtual Reality一詞并獲得廣泛認(rèn)可[1]。維基百科對虛擬現(xiàn)實技術(shù)(Virtual Reality，簡稱VR)的定義是：一個由計算機(jī)生成的模擬三維仿真環(huán)境，混合了視覺、聽覺甚至觸覺，人可以在其中探索、交互，是一種沉浸式模擬環(huán)境。從根本上說VR會將人帶入另一個世界。2000年以來，計算設(shè)施和智能手機(jī)越來越強大，高清晰度顯示和3D圖像能力劇增，VR獲得迅速發(fā)展。各種頭戴式顯示設(shè)備相繼問世，有力促進(jìn)了VR的快速發(fā)展。比較有名的設(shè)備有Google Cardboard，Samsung galaxy Gear，Oculus Rift，HTC vive等。得益于云計算的發(fā)展，近幾年基于云端的VR應(yīng)用不斷出現(xiàn)[2]。

增強現(xiàn)實技術(shù)(Augmented Reality，簡稱AR)是在現(xiàn)實世界上實時疊加計算機(jī)生成的信息，通過視覺、聽覺、觸覺、體感甚至嗅覺等傳感器提供一個混合的交互式體驗，從而實現(xiàn)虛擬信息對真實環(huán)境的“強化”。這種技術(shù)的目標(biāo)是在屏幕上把虛擬世界套在現(xiàn)實世界并進(jìn)行互動。早期有名的AR設(shè)備是谷歌眼鏡，允許用戶在視野內(nèi)使用地圖、電子郵件等服務(wù)?，F(xiàn)在移動端也有很多支持AR等應(yīng)用，最典型的如地圖類應(yīng)用。下圖是采用AR技術(shù)的某地圖應(yīng)用，在屏幕上實時顯示步行路線指示。

圖1 AR地圖應(yīng)用

混合現(xiàn)實技術(shù)(Mixed Reality，簡稱MR)是繼虛擬現(xiàn)實、增強現(xiàn)實之后，出現(xiàn)的全新數(shù)字全息影像技術(shù)(見圖2，圖3)?；旌犀F(xiàn)實有時也稱hybrid reality，它打破真實世界和數(shù)字世界的界限，借助于沉浸技術(shù)將兩者融合生成一個新的環(huán)境，包容了虛擬現(xiàn)實和增強現(xiàn)實。MR比AR更進(jìn)一步，對環(huán)境進(jìn)行識別，不只是簡單的在相機(jī)的圖像上疊加了虛擬圖像，而是將計算機(jī)生成的圖像錨定在真實世界的某一個點上?？梢哉fMR是高保真的AR，也有人將AR和MR歸為一類。微軟將自己的Hololens定位為MR產(chǎn)品，并宣稱將只關(guān)注MR。其他知名產(chǎn)品有創(chuàng)業(yè)公司Magic Leap，在2018年8月剛剛開始開放訂購。虛擬現(xiàn)實技術(shù)發(fā)展到現(xiàn)在，AR和MR成了主流[3],為了保持術(shù)語使用的一慣性，在后面的文章里，AR指代低保真度的AR，而MR指高保真度的AR。

圖2 虛擬現(xiàn)實、增強現(xiàn)實與混合現(xiàn)實

隨著計算機(jī)產(chǎn)業(yè)技術(shù)發(fā)展，虛擬現(xiàn)實核心技術(shù)升級進(jìn)步，計算機(jī)及各類移動設(shè)備性能的提升，在虛擬現(xiàn)實技術(shù)基礎(chǔ)上發(fā)展出增強現(xiàn)實/混合現(xiàn)實技術(shù)。

與虛擬現(xiàn)實完全沉浸在虛擬的環(huán)境中不同，增強現(xiàn)實/混合現(xiàn)實是一種將虛擬信息與真實世界巧妙融合的技術(shù)，技術(shù)強調(diào)將虛擬的物體疊加或合成到真實世界中，在工業(yè)制造、軍事、文化傳播等領(lǐng)域已得到廣泛應(yīng)用。

圖3 一個典型混合現(xiàn)實技術(shù)結(jié)構(gòu)圖

與VR相比，AR/MR最大的優(yōu)勢在于其靈活性。在使用VR時你完全沉浸于另一個世界，難以再與真實世界互動。而使用AR和MR時，更強調(diào)現(xiàn)實世界的信息。增強現(xiàn)實的顯示目前有HMD(Head Mounted Display，即頭戴式顯示器，俗稱頭盔)、投影和桌面顯示三種主要方式，最受青睞的是HMD。

以目前比較成熟的MR設(shè)備——微軟的Hololens為例介紹一下AR/MR系統(tǒng)的組成，包括：透射式HMD、環(huán)境感知模塊、交互設(shè)備和虛擬場景生成單元。透射式HMD負(fù)責(zé)輸出虛擬和現(xiàn)實融合后的信號；環(huán)境感知模塊負(fù)責(zé)混合現(xiàn)實捕獲，追蹤用戶感官信號；交互設(shè)備負(fù)責(zé)環(huán)境控制及視線跟蹤、手勢及語音控制；虛擬場景生成單元負(fù)責(zé)虛擬場景的三維建模、繪制和管理。Hololens擁有3個處理器——除了常規(guī)的CPU、GPU，還有專門為了混合現(xiàn)實定制的HPU(Holographic Processing Unit);追蹤頭盔位置的慣性測量單元IMU(Inertial Measurement Unit)；4個環(huán)境感知攝像頭，1個深度攝像頭，1個2MP照片/HD視頻攝像頭；4個麥克風(fēng)；1個環(huán)境光傳感器等等。

2.常見應(yīng)用場景

隨著大筆資金進(jìn)入AR項目和AR創(chuàng)業(yè)公司，一些IT巨頭如谷歌、蘋果、微軟、高通和佳能等開始競相大力布局AR和MR，構(gòu)建自己的AR/MR生態(tài)系統(tǒng)，第一批消費級的AR產(chǎn)品已經(jīng)如雨后春筍般涌現(xiàn)。

2.1 工業(yè)制造 計算機(jī)在產(chǎn)品開發(fā)中早已廣泛使用，常用的系統(tǒng)有：計算機(jī)輔助設(shè)計(CAD)、計算機(jī)輔助制造(CAM)、計算機(jī)輔助裝配規(guī)劃(CAAP)等。AR技術(shù)的應(yīng)用大大提高CAD/CAM處理能力[4]。

2.2 軍事模擬 虛擬現(xiàn)實很早就被應(yīng)用于軍事上。20世紀(jì)60年代Ivan Sutherland提出虛擬世界的概念，隨后美國國防部(DARPA)支持下構(gòu)建了頭戴式顯示設(shè)備“Sword of Damocles”(達(dá)摩克利斯劍)。到1983年，DARPA實現(xiàn)了一個實時仿真系統(tǒng)SIM-NET(Simulation NETworking)，開發(fā)多用戶交互仿真。1990年NASAAmes Research Centre開發(fā)了一個虛擬風(fēng)洞(VWT)，使用VR設(shè)備BOOM和數(shù)據(jù)手套Data Glove分析流場[3]。

運用計算機(jī)仿真模擬進(jìn)行軍事模擬訓(xùn)練方面，美軍走在世界前列[5]。在阿富汗、伊拉克戰(zhàn)爭準(zhǔn)備階段美軍就在歐文堡訓(xùn)練基地、山姆休斯頓軍事醫(yī)學(xué)教育訓(xùn)練中心開辟模擬實景訓(xùn)練和仿真模擬訓(xùn)練，實景還原伊拉克、阿富汗等作戰(zhàn)場景，并要求士兵必須接受該基地3周的適應(yīng)性訓(xùn)練后才能趕赴前線作戰(zhàn)。通過VR、AR技術(shù)，醫(yī)療隊員攜帶多種形式的傳感設(shè)備，對各種極端戰(zhàn)場環(huán)境下的救治(極地、深海、高空，包括核化生武器致傷)會有切身感受，如同親身參加實戰(zhàn)，對參訓(xùn)人員的戰(zhàn)傷救治水平、心理承受和應(yīng)變能力都有顯著提高。

2.3 游戲領(lǐng)域 游戲軟件巨頭任天堂公司2015年發(fā)布的的Pokemon Go將AR技術(shù)應(yīng)用于游戲領(lǐng)域，通過手機(jī)在現(xiàn)實世界中尋找并捕捉虛擬的精靈，憑借出色的創(chuàng)新性獲得巨大成功。

2.4 旅游/數(shù)字場館 將旅游景點進(jìn)行數(shù)字化，以AR形式展現(xiàn)景點的魅力。如2006年北京理工大學(xué)的王涌天等人提出運用增強現(xiàn)實技術(shù)數(shù)字化圓明園，實現(xiàn)圓明園的重建，通過原址、移動設(shè)備AR及頭盔式AR等多種形式重現(xiàn)圓明園的往昔風(fēng)采[6]。場館方面，AR技術(shù)能成為讀者的隨身助理，也能成為館員提升工作效率的得力助手，場館信息展示的新舞臺。應(yīng)用實例：讀者利用AR設(shè)備觀察書籍、名勝、歷史遺跡等被強化物時，相關(guān)信息如館藏書目、影音資料、景點故事等作為強化物疊加其上。還可協(xié)助讀者/管理員定位圖書，結(jié)合用戶位置進(jìn)行導(dǎo)航。

2.5 汽車領(lǐng)域 GTC2016開發(fā)者大會上，德國馬牌展示了其正在開發(fā)的AR增強現(xiàn)實技術(shù)在汽車領(lǐng)域的新應(yīng)用。在汽車前擋風(fēng)玻璃上顯示人機(jī)交互界面，計算機(jī)會根據(jù)真實世界場景，實時動態(tài)地投射消息至前擋風(fēng)玻璃上，駕駛者看到的車速、路線、交通狀況等信息與路面、建筑等自然環(huán)境融為一體，通過AR交互大幅度提升了汽車駕駛體驗。

2.6 AR購物 2017年萬事達(dá)聯(lián)合高通等公司推出了一個新的購物系統(tǒng)，并集成了增強現(xiàn)實與生物識別技術(shù)來提升其購物體驗和安全性。

2.7 智能家居 2014年谷歌斥資32億收購家居設(shè)備公司Nset，蘋果發(fā)布智能家居平臺Homekit，大量家電企業(yè)、互聯(lián)網(wǎng)企業(yè)涌入其中。目前交互展示屏、視頻墻已較為普及，數(shù)字交互的媒體技術(shù)已經(jīng)非常成熟，可以實現(xiàn)在家中與窗戶等玻璃制品進(jìn)行交互，AR條件下進(jìn)行家居的擺放布置。下一步就是3D投影與AR技術(shù)的結(jié)合，投入到智能家居場景中。

3.醫(yī)學(xué)應(yīng)用展望

學(xué)者們已開始在醫(yī)療領(lǐng)域進(jìn)行各種嘗試，摸索合適的應(yīng)用場景。如解剖教學(xué)[7]、模擬手術(shù)訓(xùn)練[8]、術(shù)中導(dǎo)航[9]、康復(fù)訓(xùn)練[10]等多種場合均有望在AR/MR的支持下，獲得更直觀、更理想的效果。

口腔醫(yī)學(xué)方面，AR/MR應(yīng)用范圍也較廣。AR/MR的虛擬投影可用在頜面外科、種植科等手術(shù)科室的醫(yī)患術(shù)前溝通，直觀呈現(xiàn)手術(shù)規(guī)劃設(shè)計；也可進(jìn)行術(shù)中實時導(dǎo)航，提高手術(shù)精準(zhǔn)度和安全性；觀察髁突和關(guān)節(jié)窩位置關(guān)系，輔助顳下頜關(guān)節(jié)病的診斷和治療；正畸科的方案設(shè)計、最終效果顯示等。

隨著技術(shù)不斷進(jìn)步，AR/MR已經(jīng)成功應(yīng)用于游戲、工業(yè)制造、醫(yī)療、軍事、家裝、購物、語言翻譯等多種行業(yè)中，應(yīng)用前景十分廣闊。同時我們還要看到，有關(guān)AR/MR的研發(fā)還處在初級階段，對于專業(yè)性、精準(zhǔn)度要求較高的醫(yī)療領(lǐng)域來說，還有很大發(fā)展空間，需要更多的醫(yī)學(xué)專業(yè)人員和軟件開發(fā)人員開展緊密合作，熟悉AR/MR技術(shù)的優(yōu)勢和局限，才能開發(fā)出適宜的產(chǎn)品。但不可否認(rèn)，幾十年來，虛擬現(xiàn)實在游戲娛樂、影視制作、專業(yè)技能訓(xùn)練、旅游、軍事、工業(yè)制造等各個方面對人類活動已產(chǎn)生深遠(yuǎn)影響，未來也必將給醫(yī)學(xué)領(lǐng)域診治過程帶來深刻變革。