李新春

（中國(guó)聯(lián)合網(wǎng)絡(luò)通信有限公司上海市分公司，上海 200082）

1 AR技術(shù)發(fā)展

AR（Augmented Reality，增強(qiáng)現(xiàn)實(shí)）是一種現(xiàn)實(shí)世界環(huán)境的交互式體驗(yàn)，現(xiàn)實(shí)中的使用者感知通過(guò)計(jì)算機(jī)虛擬生成的對(duì)象，有時(shí)跨越多種感官模式，包括視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)、體感和嗅覺(jué)。

增強(qiáng)現(xiàn)實(shí)技術(shù)通俗的講就是將計(jì)算機(jī)生成的虛擬信息疊加到用戶所處的現(xiàn)實(shí)空間中，它可以有效提高用戶對(duì)于現(xiàn)實(shí)世界的感知能力，提高用戶的體驗(yàn)感，并且通過(guò)語(yǔ)音、手勢(shì)的輸入讓用戶可以與虛擬對(duì)象進(jìn)行互動(dòng)，近年來(lái)在教育、醫(yī)療、工業(yè)、軍事、文娛等方面展現(xiàn)出不俗的表現(xiàn)。在研究AR之前我們需要明確，怎樣才算是AR。

（1）自身定位：指的是計(jì)算機(jī)根據(jù)彩色/紅外/深度攝像頭輸入的數(shù)據(jù)進(jìn)行分析，定位目標(biāo)并將虛擬的物體渲染到現(xiàn)實(shí)中。（2）環(huán)境感知：可以增強(qiáng)虛擬物品在現(xiàn)實(shí)中的存在感，即通過(guò)陰影、環(huán)境反光、遮擋剔除等方式實(shí)現(xiàn)虛擬物體在現(xiàn)實(shí)中的遮擋和光影反射效果。（3）人機(jī)交互：即人類的聲音、手勢(shì)、表情等，作為計(jì)算機(jī)信息的輸入進(jìn)而控制虛擬物體做出相應(yīng)的反饋。（4）自身定位所用到的技術(shù)被稱為跟蹤注冊(cè)技術(shù)，而跟蹤注冊(cè)技術(shù)又分為以下幾種：基于標(biāo)志物的三維跟蹤注冊(cè)技術(shù)、視覺(jué)與傳感器的跟蹤注冊(cè)技術(shù),基于環(huán)境重建的跟蹤注冊(cè)技術(shù)SLAM。（5）基于標(biāo)志物的三維跟蹤注冊(cè)技術(shù)：攝像機(jī)對(duì)預(yù)定義的標(biāo)志物進(jìn)行識(shí)別并獲得標(biāo)志物頂點(diǎn)信息，形的仿射不變性原理重建預(yù)定義標(biāo)志物坐標(biāo)到當(dāng)前場(chǎng)景標(biāo)志物坐標(biāo)的位姿變化矩陣，來(lái)完成虛擬信息的跟蹤注冊(cè)。（6）視覺(jué)與傳感器的跟蹤注冊(cè)技術(shù):通過(guò)分析處理拍攝到的圖像數(shù)據(jù)信息識(shí)別和定位真實(shí)場(chǎng)景環(huán)境，進(jìn)而確定現(xiàn)實(shí)場(chǎng)景與虛擬信息之間的對(duì)應(yīng)關(guān)系，再將視覺(jué)定位的信息與陀螺儀和加速度計(jì)信息深度融合，在無(wú)人機(jī)和手持移動(dòng)設(shè)備上可以獲得更好的跟蹤注冊(cè)效果。（7）基于同步定位與地圖構(gòu)建的注冊(cè)技術(shù)SLAM：SLAM技術(shù)能夠構(gòu)建視覺(jué)效果更為真實(shí)的地圖，從而針對(duì)當(dāng)前視角渲染虛擬物體的疊加效果，使之更真實(shí)沒(méi)有違和感。基于傳感器進(jìn)行分類又分為激光SLAM、視覺(jué)SLAM，激光SLAM采用2D或3D激光雷達(dá)，視覺(jué)SLAM也具有相似特點(diǎn)，它可以從環(huán)境中獲取海量的、富于冗余的紋理信息，擁有辨識(shí)能力。

綜上，SLAM的增強(qiáng)現(xiàn)實(shí)技術(shù)區(qū)別于傳統(tǒng)的AR識(shí)別技術(shù)，不需要預(yù)定義的識(shí)別模板，直接進(jìn)行環(huán)境的掃描識(shí)別。這樣的優(yōu)勢(shì)在于在一些復(fù)雜的環(huán)境下，不需要識(shí)別圖片也可以進(jìn)行環(huán)境的定位，并且識(shí)別范圍遠(yuǎn)大于傳統(tǒng)的AR識(shí)別范圍，在遠(yuǎn)程協(xié)助過(guò)程中可以為遠(yuǎn)程專家提供更加廣闊的操作空間。

2 AR顯示設(shè)備的發(fā)展

軟件技術(shù)的發(fā)展以及硬件設(shè)備的升級(jí)換代，讓AR應(yīng)用從電腦應(yīng)用變?yōu)橹悄苁謾C(jī)應(yīng)用，同時(shí)伴隨著可穿戴設(shè)備的發(fā)展，智能眼鏡又為AR的展示呈現(xiàn)提供了一條新的道路。

2.1 計(jì)算機(jī)屏幕顯示設(shè)備

計(jì)算機(jī)屏幕顯示是最為傳統(tǒng)的展示方式，一般具有較高的分辨率，且體積較大。在增強(qiáng)現(xiàn)實(shí)應(yīng)用中通過(guò)攝像頭捕捉現(xiàn)實(shí)場(chǎng)景并將虛擬的物體渲染并疊加到現(xiàn)實(shí)場(chǎng)景中。通常用于大型的展示互動(dòng)，3D模型渲染精度高，現(xiàn)場(chǎng)效果逼真，但是由于體積大，沉浸感比較低。

2.2 手持式移動(dòng)顯示設(shè)備

手持式移動(dòng)顯示設(shè)備是包含但不限于智能手機(jī)、Pad、小型顯示器在內(nèi)的允許用戶手持的顯示設(shè)備。與計(jì)算機(jī)顯示設(shè)備相比，手持式移動(dòng)顯示設(shè)備一般體積較小、重量較輕，便于攜帶，但是不同的設(shè)備由于硬件的限制計(jì)算性能參差不齊，不同的廠家和設(shè)備所表現(xiàn)出來(lái)的性能有較大差異。相信隨著硬件性能的提升，后續(xù)的多數(shù)新款智能設(shè)備將更廣泛的支持增強(qiáng)現(xiàn)實(shí)應(yīng)用。

2.3 頭戴式顯示設(shè)備

基于用戶體驗(yàn)的考慮，不論是計(jì)算機(jī)顯示還是手持終端都不能給用戶很好的沉浸式融合體驗(yàn)，而通過(guò)頭戴式智能顯示設(shè)備則能較好的解決這個(gè)問(wèn)題。

微軟公司于2019年發(fā)布的第二代HoloLens增強(qiáng)現(xiàn)實(shí)設(shè)備，通過(guò)實(shí)景疊加的方式，增強(qiáng)用戶體驗(yàn)。第二代HoloLens加入了眼球跟蹤能力，可以精確地感知使用者在注視什么位置，實(shí)現(xiàn)更自然便捷的互動(dòng)。優(yōu)化語(yǔ)音識(shí)別和手勢(shì)識(shí)別交互，相比其他獨(dú)立的AR設(shè)備，HoloLens的定位、互動(dòng)和運(yùn)算能力又更強(qiáng)，加大了了FOV視野使得畫(huà)幅更大，沉浸感更強(qiáng)。

Magic Leap公司發(fā)布了一款基于光場(chǎng)的頭戴式增強(qiáng)現(xiàn)實(shí)設(shè)備Magic Leap One。這款設(shè)備利用外部攝像頭和計(jì)算機(jī)視覺(jué)處理器實(shí)時(shí)追蹤用戶位置，同時(shí)在追蹤過(guò)程中可以不斷調(diào)整雙眼的焦距，并將包含有深度信息的圖像通過(guò)光場(chǎng)顯示器顯示出來(lái)。

HMT-1Z1是RealMax公司推出的一款獲得ATEX Zone 1 /CSA C1-D1認(rèn)證并通過(guò)中國(guó)PCEC、國(guó)際IECEx、北美NEC500認(rèn)證的工業(yè)頭戴平板電腦?；诎沧肯到y(tǒng)，支持30幀1080P高清視頻以及1600萬(wàn)像素?cái)z像頭，支持藍(lán)牙、Wi-Fi連接、GPS定位、9軸傳感器，全程語(yǔ)音操控進(jìn)行命令式操作支持多種語(yǔ)言，解放雙手。

圖1 Real Wear設(shè)備

隨著硬件技術(shù)的發(fā)展，未來(lái)可穿戴設(shè)備將會(huì)更加普及，也將更加的輕便和智能，以此為基礎(chǔ)的智能應(yīng)用也會(huì)有更大想象空間。

3 AR智能眼鏡的應(yīng)用

智能手機(jī)已經(jīng)基本上滿足日常的生活和溝通需要，但是在一些特殊的行業(yè)，仍然對(duì)智能設(shè)備有巨大的需求，特別是能夠解放雙手的可穿戴設(shè)備。

（1）安防領(lǐng)域應(yīng)用：安防行業(yè)一直是比較敏感的應(yīng)用場(chǎng)景，經(jīng)常會(huì)涉及到國(guó)家安全、個(gè)人信息等敏感信息。通過(guò)AR眼鏡的方式，對(duì)于執(zhí)法人員有更方便快捷的處理方式，比如車輛檢查、人臉識(shí)別等。（2）應(yīng)急救援中的應(yīng)用：北京國(guó)際虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)博覽會(huì)（VRSD）上，愛(ài)普生公司展示了其最新產(chǎn)品Moverio BT-350和BT-300和相應(yīng)的特色案例：“美國(guó)某消防員培訓(xùn)項(xiàng)目”“日本某災(zāi)害預(yù)防應(yīng)對(duì)系統(tǒng)”。在這些案例中，愛(ài)普生AR智能眼鏡主要用于培訓(xùn)，可以將復(fù)雜的機(jī)器使用說(shuō)明變得可視化，直接代替枯燥無(wú)味的紙質(zhì)版使用說(shuō)明書(shū)。（3）遠(yuǎn)程協(xié)同應(yīng)用：遠(yuǎn)程會(huì)議最大的好處在于與遠(yuǎn)程協(xié)作者共享工作空間，而不是像傳統(tǒng)的視頻會(huì)議那樣，只是參會(huì)者的面對(duì)面。配合AR眼鏡可以實(shí)時(shí)反饋設(shè)備維修的細(xì)節(jié)，哪里出了問(wèn)題以及相對(duì)應(yīng)的處理方案，相對(duì)應(yīng)的專家也不需要坐飛機(jī)或者各種交通工具往返于辦公室和現(xiàn)場(chǎng)，這樣既節(jié)省了資源又提高了效率。（4）遠(yuǎn)程視頻醫(yī)療：AR智能眼鏡的遠(yuǎn)程視頻功能，在醫(yī)療行業(yè)同樣發(fā)揮著重要的作用。在醫(yī)生面對(duì)從未遇到過(guò)的病癥束手無(wú)策時(shí)，他可以帶上具有遠(yuǎn)程醫(yī)療視頻功能的AR智能眼鏡呼叫專家，專家在電腦屏幕上就可以看到鄉(xiāng)村醫(yī)生第一視角的病人景象，可以指導(dǎo)鄉(xiāng)村醫(yī)生進(jìn)一步詢問(wèn)或檢查病人病癥，遠(yuǎn)程給出診斷結(jié)果。

4 以SLAM提升AR眼鏡的應(yīng)用

分析以上應(yīng)用會(huì)發(fā)現(xiàn)，大多數(shù)遠(yuǎn)程協(xié)助應(yīng)用只是基于音視頻功能的開(kāi)發(fā)和拓展，而真正用到AR的多以學(xué)習(xí)和培訓(xùn)為主。原因在于在遠(yuǎn)程協(xié)助過(guò)程中，不太可能進(jìn)行基于識(shí)別圖的AR定位和3D模型展示，一般需要進(jìn)行遠(yuǎn)程協(xié)助的環(huán)境都比較特殊，比如地下室、手術(shù)室、汽修現(xiàn)場(chǎng)等，在這種情況下無(wú)法提供穩(wěn)定的識(shí)別圖定位，那么所謂的AR效果也就僅限于智能眼鏡的屏幕顯示了。

而基于SLAM的增強(qiáng)現(xiàn)實(shí)技術(shù)就可以做到這樣的效果，讓遠(yuǎn)程協(xié)助真正的實(shí)現(xiàn)AR呈現(xiàn)。通過(guò)SLAM快速掃描現(xiàn)場(chǎng)環(huán)境創(chuàng)建三維空間圖，以此為基礎(chǔ)，遠(yuǎn)程專家可以在被協(xié)助人員的視野范圍內(nèi)任何一個(gè)地點(diǎn)進(jìn)行標(biāo)注。

圖2 SLAM方式遠(yuǎn)程協(xié)助

圖3 SLAM方式遠(yuǎn)程教學(xué)

并且一旦標(biāo)簽標(biāo)注完成，在一定范圍內(nèi)不管操作人員是轉(zhuǎn)頭還是移動(dòng)，都不影響被標(biāo)注點(diǎn)的位置和內(nèi)容，大大提高了遠(yuǎn)程輔助的效率，遠(yuǎn)程專家可以在操作人員視野里進(jìn)行持續(xù)性、有記錄的操作而不僅僅是一般意義上的語(yǔ)音和短暫的屏幕圖片展示。

在這種技術(shù)環(huán)境下，遠(yuǎn)程教學(xué)的時(shí)候，教師可以直接的在學(xué)生視頻畫(huà)面中進(jìn)行標(biāo)注和指導(dǎo)而不必?fù)?dān)心標(biāo)注的內(nèi)容會(huì)消失或者位移。同理，在遠(yuǎn)程醫(yī)療的過(guò)程中，醫(yī)療專家可以在手術(shù)操作者的畫(huà)面中書(shū)寫(xiě)手術(shù)順序、標(biāo)記手術(shù)位置、選擇手術(shù)工具甚至可以標(biāo)記切割的長(zhǎng)度，而不用考慮操作者在轉(zhuǎn)頭的情況下忘記或者找不到之前的標(biāo)記信息。

5 結(jié)語(yǔ)

隨著硬件不斷更新發(fā)展，未來(lái)AR智能眼鏡將會(huì)有更強(qiáng)大的運(yùn)算能力，而SLAM技術(shù)的發(fā)展也將消耗更少的資源但是提供更強(qiáng)的環(huán)境感知能力。實(shí)時(shí)環(huán)境掃描建圖，可以讓技術(shù)專家遠(yuǎn)程過(guò)程中的視野更為開(kāi)闊；AR定位和標(biāo)志，可以讓技術(shù)專家擁有真實(shí)的現(xiàn)場(chǎng)處置的感覺(jué)，從而更好的進(jìn)行遠(yuǎn)程輔助工作。