摘? 要：微軟公司于2019年11月7日開始向全球發(fā)售最新的混合現(xiàn)實(shí)設(shè)備HoloLens 2。針對(duì)HoloLens 2所具備的新特性進(jìn)行探討，認(rèn)為該混合現(xiàn)實(shí)設(shè)備可以提高用戶的佩戴舒適度、增強(qiáng)用戶的沉浸感、提供最新的眼動(dòng)追蹤功能以及更加自然的多種手勢(shì)操作，并且集成了先進(jìn)的人工智能技術(shù)，可以加速為用戶實(shí)現(xiàn)商業(yè)價(jià)值。

關(guān)鍵詞：混合現(xiàn)實(shí);HoloLens 2;新特性;虛擬現(xiàn)實(shí);增強(qiáng)現(xiàn)實(shí)

中圖分類號(hào)：TP316.7? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2020）02-0121-03

Abstract：Microsoft Corporation launched the latest hybrid reality device HoloLens 2 on November 7，2019. This paper discusses the new features of HoloLens 2，and considers that the hybrid reality device can improve the users wearing comfort，enhance the users immersion，provide the latest eye tracking function and more natural multi gesture operation，and integrate advanced artificial intelligence technology，which can accelerate the realization of commercial value for users. artificial intelligence technology，which can accelerate the realization of commercial value for users.

Keywords：mixed reality;HoloLens 2;new characteristics;virtual reality;augment reality

0? 引? 言

混合現(xiàn)實(shí)（Mixed Reality，MR）是一種新的計(jì)算機(jī)技術(shù)，它使人們可以觀察添加到現(xiàn)實(shí)世界中的虛擬對(duì)象并與之交互。在一個(gè)水平的坐標(biāo)軸上，當(dāng)把現(xiàn)實(shí)對(duì)象放置在其最左邊端點(diǎn)，把虛擬對(duì)象放置在其最右邊端點(diǎn)，此時(shí)，增強(qiáng)現(xiàn)實(shí)（Augmented Reality，AR）位于不包含最左邊端點(diǎn)的左端區(qū)域，而虛擬現(xiàn)實(shí)（Virtual Reality，VR）則位于最右邊端點(diǎn)。而MR則包含了該水平軸上中間及右端區(qū)域[1]。因此，MR在特殊情況下，既可以是AR，也可以是VR，AR和VR只是MR的特例。

2015年1月，微軟公司發(fā)布了HoloLens頭盔，這是世界上第一臺(tái)無(wú)電纜全息計(jì)算機(jī)設(shè)備。HoloLens具有內(nèi)置的Windows 10操作系統(tǒng)。它具有中央處理單元（CPU）、全息處理單元（HPU）、4個(gè)可識(shí)別環(huán)境的相機(jī)和深度相機(jī)等傳感器。用戶使用特定手勢(shì)、凝視和語(yǔ)音來(lái)操縱虛擬世界，可以得到良好的用戶體驗(yàn)。

基于HoloLens的MR技術(shù)，為業(yè)界帶來(lái)了5個(gè)方面的重要變革，它們分別是新交互性的方式、新可視化的方法、新可視化的分析方法、新協(xié)作的方式以及新的決策方法[2]。

2016年8月，日本航空公司為培訓(xùn)維修飛機(jī)發(fā)動(dòng)機(jī)的機(jī)械師和機(jī)組人員，使用HoloLens設(shè)備開發(fā)了新的培訓(xùn)應(yīng)用程序。機(jī)組人員在虛擬環(huán)境之中，體驗(yàn)飛機(jī)的駕駛艙內(nèi)部。機(jī)械師則可以在虛擬的發(fā)動(dòng)機(jī)上進(jìn)行學(xué)習(xí)和培訓(xùn)，可以選取重要的發(fā)動(dòng)機(jī)零件學(xué)習(xí)其結(jié)構(gòu)，以及如何對(duì)其進(jìn)行維修等。

國(guó)外的許多行業(yè)已經(jīng)開始使用基于HoloLens的MR技術(shù)，例如汽車設(shè)計(jì)、游戲和娛樂、醫(yī)療和培訓(xùn)等。

國(guó)內(nèi)也開始運(yùn)用基于HoloLens的MR技術(shù)。對(duì)于核電站中的設(shè)備維修[3]，借助HoloLens的MR設(shè)備，開發(fā)了核電站設(shè)備的維修輔助系統(tǒng)，包括5個(gè)功能模塊：交互、仿真、分析、指導(dǎo)和監(jiān)督。MR技術(shù)也運(yùn)用于軌道交通領(lǐng)域中新產(chǎn)品的設(shè)計(jì)[4]。將MR技術(shù)結(jié)合BIM技術(shù)運(yùn)用到建筑行業(yè)，可以為建筑行業(yè)帶來(lái)許多機(jī)遇，如：可視化建筑方案、協(xié)同化模型設(shè)計(jì)、信息化施工過程的以及高效運(yùn)營(yíng)維護(hù)[5]。

在巴塞羅那舉行的2019年世界移動(dòng)通信大會(huì)上，微軟公司向世界宣布HoloLens 2面世。2019年11月7日，微軟公司宣布發(fā)售最新的第二代MR設(shè)備——HoloLens 2。HoloLens 2與HoloLens相比較，重量更輕，用戶佩戴更加舒適，視野從以前的34°增加到了52°，搭載驍龍850處理器，實(shí)現(xiàn)了眼動(dòng)追蹤功能，交互的手勢(shì)操作更加精細(xì)，可以實(shí)現(xiàn)美輪美奐的混合現(xiàn)實(shí)交互體驗(yàn)。

1? 提高了佩戴舒適度

為提高HoloLens 2的佩戴舒適性，微軟公司對(duì)數(shù)千個(gè)不同人種、不同性別、不同年齡的人體頭部，進(jìn)行了細(xì)微的3D掃描，采用了符合人體工程學(xué)的設(shè)計(jì)，機(jī)身材料使用了碳纖維，將電池后置，重心后移58 mm，更好地平衡了HoloLens 2的重量，雖然整體重量只減輕了10 g，但用戶體驗(yàn)的舒適度大大提高[6]。在設(shè)計(jì)時(shí)由于考慮到頭部的形狀、尺寸、，因此HoloLens 2可以調(diào)節(jié)，適用于任何人。頭部前、后都設(shè)計(jì)了靠墊，佩戴時(shí)就像戴帽子一樣便捷、簡(jiǎn)單，原有的HoloLens壓迫鼻梁的問題也得到了改善。與原有的HoloLens相比佩戴舒適度提高了3倍，用戶持續(xù)佩戴HoloLens 2到感覺不舒服的時(shí)間，也延長(zhǎng)了3倍。

對(duì)于戴眼鏡的人來(lái)說，可調(diào)整HoloLens 2到眼鏡正前方。向上翻轉(zhuǎn)遮陽(yáng)板即可退出混合現(xiàn)實(shí)。HoloLens 2的透鏡并不是完全透明的，而是帶有少許顏色，當(dāng)裸眼直視或者跟人說話的時(shí)候，透過眼鏡也能有良好的視野，開發(fā)者甚至能夠佩戴著該設(shè)備編寫代碼，這個(gè)功能獲得了非常多的正面反饋。

2? 增強(qiáng)了沉浸感

HoloLens 2從提高視場(chǎng)角和光學(xué)掃描部件兩個(gè)方面，來(lái)增強(qiáng)沉浸感。

2.1? 視場(chǎng)角

HoloLens 2與第一代相比較，不僅分辨率有所提高，而且視場(chǎng)角也增加到原有的2倍。原有的HoloLens單眼為720P，而HoloLens 2單眼則達(dá)到了2K的分辨率，平均1°的像素從23 px提高到了47 px，顯示區(qū)域的比例也從原有的16：9提高到了4：3，用戶縱向的視野大幅提升。

需要說明的是，視場(chǎng)角增加到2倍的這個(gè)數(shù)值并不嚴(yán)格，實(shí)際上HoloLens的對(duì)角視場(chǎng)角為34.0°（垂直17.5°，水平30.0°），HoloLens 2對(duì)角為52.0°（垂直28.5°，水平43.0°）。

用戶佩戴上HoloLens 2之后，馬上會(huì)感覺到視野是原始大小的2倍。所看到的區(qū)域要大得多。此時(shí)只需用眼球轉(zhuǎn)動(dòng)，就可以跟蹤周圍的用戶界面中的虛擬對(duì)象，而不需要像從前那樣轉(zhuǎn)過頭來(lái)。更大的視野有助于用戶體驗(yàn)更加真實(shí)的虛擬對(duì)象。

在用戶佩戴HoloLens時(shí)，由于視野較小，虛擬對(duì)象很容易從用戶的視野中被剪切掉，此時(shí)，迫使用戶移動(dòng)甚至退后一步。佩戴現(xiàn)有的HoloLens 2設(shè)備，可以在任何位置揮動(dòng)手勢(shì)，非常自然、舒適，也不必像佩戴HoloLens時(shí)，手勢(shì)需要進(jìn)入狹小的視野，令人煩擾。

2.2? 新的光學(xué)部件

HoloLens 2的體積、重量與HoloLens相比較，幾乎沒有太大變化。但是視場(chǎng)角擴(kuò)大到了2倍。一般來(lái)講，隨著屏幕的擴(kuò)大，設(shè)備的體積、重量、耗電量就會(huì)增加，但HoloLens 2采用了微軟研發(fā)的MEMS光學(xué)部件——激光掃描屏幕有效地解決了問題。通過MEMS的高速微小震動(dòng)，實(shí)現(xiàn)每秒54000次的激光掃描。

原有的HoloLens使用了一個(gè)基于LED的小顯示器。HoloLens 2使用基于鏡面的激光系統(tǒng)，對(duì)顯示器進(jìn)行蝕刻，該激光系統(tǒng)使用3個(gè)激光來(lái)創(chuàng)建每秒120幀的圖像，高速繪制圖像。

3? 眼動(dòng)追蹤功能

眼動(dòng)追蹤是最新的HoloLens 2所提供的一項(xiàng)重要功能，它通過內(nèi)置攝像頭識(shí)別用戶凝視的地方，能夠準(zhǔn)確地知道用戶在看什么，并實(shí)現(xiàn)與虛擬對(duì)象的交互。即使在用戶佩戴普通眼鏡的情況下，仍然可以使用該功能。

眼動(dòng)追蹤的真正價(jià)值可以體現(xiàn)在用戶的閱讀方面。在用戶佩戴原有的HoloLens時(shí)，在閱讀一篇較長(zhǎng)的文章時(shí)，用戶需要通過手勢(shì)的點(diǎn)擊操作，實(shí)現(xiàn)內(nèi)容向下或向上滾動(dòng)，或通過語(yǔ)音，控制內(nèi)容的向下滾動(dòng)或向上滾動(dòng)，但是HoloLens用戶可能處于嘈雜的環(huán)境之中，耳機(jī)無(wú)法清楚地接收到語(yǔ)音命令。通過HoloLens 2所提供的眼動(dòng)追蹤功能，當(dāng)用戶閱讀到文章的底部時(shí)，由于用戶的眼睛凝視文章的底部可以被識(shí)別到，此時(shí)將自動(dòng)向下滾動(dòng)。如果用戶需要返回查看已經(jīng)閱讀的先前內(nèi)容，用眼睛凝視文本的頂部，此時(shí)它就會(huì)向上滾動(dòng)，而不再需要移動(dòng)頭部。通過用戶的眼睛凝視方位的變化快慢，就可以調(diào)整移動(dòng)文本的速度。

實(shí)現(xiàn)上述的眼動(dòng)追蹤算法具有一定的難度。因?yàn)榇藭r(shí)的頭部沒有任何參照物，頭部可以朝向任意一個(gè)方向，而在頭部移動(dòng)的時(shí)候，則希望圖像能夠穩(wěn)定地顯示在用戶頭部的正前方。而微軟公司開發(fā)的這種與投影相關(guān)的算法，則根據(jù)頭部的運(yùn)動(dòng)，來(lái)判斷頭部的將來(lái)位置，然后在指定的時(shí)間發(fā)射激光，確保在正確的位置渲染圖像。

4? 多種手勢(shì)操作

HoloLens 2的手勢(shì)操作與原有的HoloLens相比較，更加自然、直觀和方便。HoloLens 2不再配備物理控制器，完全依賴于手勢(shì)識(shí)別和語(yǔ)音控制。微軟公司通過機(jī)器學(xué)習(xí)算法，可以準(zhǔn)確識(shí)別單只手的25個(gè)關(guān)節(jié)點(diǎn)以及手掌的方向，從而很好地識(shí)別用戶的雙手，如手指彎曲、手勢(shì)運(yùn)動(dòng)、較精確的手指定位等。同時(shí)手勢(shì)操作也有所增加，比如對(duì)摘、抓、捏這種細(xì)微的差別都能進(jìn)行識(shí)別，從而可以移動(dòng)物體、旋轉(zhuǎn)物體，更改物體尺寸等。可以用一只手或兩只手移動(dòng)虛擬對(duì)象，并使用更直觀的夾點(diǎn)來(lái)移動(dòng)物體或調(diào)整物體大小。

在操控較遠(yuǎn)處的虛擬物體時(shí)，還可以通過指定手部所伸展出的光線來(lái)對(duì)物體進(jìn)行操控。伸出手指時(shí)如果會(huì)看到一條光線，則可以將該光線附加到指定的虛擬對(duì)象之上，然后將手指向后拉，則物體會(huì)自動(dòng)用戶靠近。用兩只手的手指可以旋轉(zhuǎn)、縮小或放大對(duì)象。還可以通過組合手勢(shì)，用手指將物體靠近，然后用手抓住它。

要移動(dòng)某些東西，用戶還可以將手伸到虛擬對(duì)象的中心，并握緊拳頭，然后移動(dòng)拳頭就可以移動(dòng)虛擬物體。用戶也可以將兩個(gè)拳頭都放進(jìn)虛擬對(duì)象之中去，將拳頭拉開，此時(shí)虛擬對(duì)象就會(huì)被放大。

HoloLens 2還可以定位手的上面和背面。如在蜂鳥的演示應(yīng)用中，虛擬的蜂鳥首先在整個(gè)房間里自由地飛來(lái)飛去，如果用戶張開手掌，則蜂鳥就會(huì)飛到用戶的手中，并盤旋在手掌之上，非常逼真。如果此時(shí)用戶向上、向下、向左或者向右移動(dòng)手掌，那么這只蜂鳥會(huì)移動(dòng)并始終停留在用戶的手掌上方。當(dāng)用戶把手移開或合上拳頭時(shí)，這只蜂鳥就會(huì)飛走并在房間里四處移動(dòng)。

需要說明的時(shí)，如果用戶已經(jīng)掌握了原有的HoloLens的手勢(shì)，仍然可以在HoloLens 2中使用。

5? 集成先進(jìn)的AI技術(shù)

當(dāng)用戶第一次戴上新的HoloLens 2設(shè)備時(shí)，該設(shè)備會(huì)自動(dòng)識(shí)別用戶手的真實(shí)形狀，以及兩眼之間的準(zhǔn)確距離。

為了構(gòu)建手部識(shí)別和跟蹤系統(tǒng)，微軟公司的AI團(tuán)隊(duì)，通過一個(gè)向內(nèi)指向的半球形攝像機(jī)，拍攝、記錄各種各樣人手的形狀，然后通過使用云來(lái)處理、構(gòu)建能夠表示人類手形和動(dòng)作的3D模型。

通過上述建立的手形3D模型，該團(tuán)隊(duì)再使用計(jì)算機(jī)繪制逼真的虛擬手部圖像以及相對(duì)應(yīng)的標(biāo)簽，使得該手形模型在今后各種各樣的手形、姿勢(shì)和運(yùn)動(dòng)中具有穩(wěn)健性。

該團(tuán)隊(duì)使用上述數(shù)據(jù)，訓(xùn)練一種緊湊的AI深度神經(jīng)網(wǎng)絡(luò)，然后將訓(xùn)練獲得的AI模型部署到HoloLens 2上，并可以在深度傳感器所發(fā)出的每一幀上高效運(yùn)行。

當(dāng)新用戶佩戴HoloLens 2的時(shí)候，該手部識(shí)別和跟蹤系統(tǒng)使用部署在設(shè)備上的AI模型，將個(gè)性化的手形3D模型實(shí)時(shí)匹配到用戶手中，實(shí)現(xiàn)所需的手勢(shì)精確跟蹤和與虛擬對(duì)象的本能交互。

該團(tuán)隊(duì)還采用上述類似的方法，構(gòu)建、訓(xùn)練眼動(dòng)追蹤模型。其中需要測(cè)量眼睛瞳孔中心之間的距離，即瞳孔間距。由于瞳孔間距會(huì)因人而異，并會(huì)影響近視或遠(yuǎn)視用戶觀看虛擬對(duì)象，因此，同樣需要訓(xùn)練一種緊湊的AI深度神經(jīng)網(wǎng)絡(luò)，形成一個(gè)眼動(dòng)跟蹤模型，最終部署到HoloLens 2之上，所以用戶就可以使用眼動(dòng)追蹤功能。

還有新的定位和映射功能，同樣也使用了AI技術(shù)。這些智能功能，都被嵌入全息處理的第二代定制芯片HPU 2.0之中。

6? 加速實(shí)現(xiàn)商業(yè)價(jià)值

微軟公司為助力混合現(xiàn)實(shí)應(yīng)用，還發(fā)布了相關(guān)的應(yīng)用，如Dynamics 365 Guides、Dynamics 365 Layout和Dynamics 365 Remote Assist等應(yīng)用，加速為混合現(xiàn)實(shí)用戶實(shí)現(xiàn)商業(yè)價(jià)值。

微軟公司還通過云端，提供兩項(xiàng)全新的混合現(xiàn)實(shí)服務(wù)，幫助開發(fā)人員和企業(yè)打造跨平臺(tái)、適合各種行業(yè)領(lǐng)域的企業(yè)級(jí)混合現(xiàn)實(shí)應(yīng)用：

云端空間錨這種新的技術(shù)，方便開發(fā)人員在混合現(xiàn)實(shí)的應(yīng)用中，比較容易地實(shí)現(xiàn)混合現(xiàn)實(shí)的分享、協(xié)作。

云端遠(yuǎn)程渲染，為方便用戶更快、更好地決策，在不降低圖像質(zhì)量的情況下，可以讓用戶能夠體驗(yàn)3D虛擬場(chǎng)景。通過對(duì)3D模型進(jìn)行減面或簡(jiǎn)化，可以渲染較高質(zhì)量的3D虛擬場(chǎng)景。對(duì)于設(shè)計(jì)等領(lǐng)域來(lái)說，細(xì)節(jié)至關(guān)重要，因此，需要通過云端呈現(xiàn)高質(zhì)量的虛擬對(duì)象，然后傳輸?shù)紿oloLens 2設(shè)備。

7? 結(jié)? 論

HoloLens 2提高了用戶佩戴舒適度，視場(chǎng)角擴(kuò)大到了2倍，并提供了最新的眼動(dòng)追蹤功能以及精細(xì)的手勢(shì)操作，相信不久的將來(lái)，會(huì)不斷應(yīng)用到相關(guān)企業(yè)領(lǐng)域，為用戶實(shí)現(xiàn)商業(yè)價(jià)值。

參考文獻(xiàn)：

[1] MILGRAM P，KISHINO F. A taxonomy of mixed reality visual displays [J]. IEICE Transactions on Information and Systems，1994，77（12）：1321-1329.

[2] 龔赤兵.HoloLens增強(qiáng)現(xiàn)實(shí)技術(shù)的變革和性能評(píng)估 [J].科技創(chuàng)新導(dǎo)報(bào)，2018，15（36）：217-219.

[3] 李喆，陳佳寧，張林鍹.核電站設(shè)備維修中混合現(xiàn)實(shí)技術(shù)的應(yīng)用研究 [J].計(jì)算機(jī)仿真，2018，35（5）：340-345.

[4] 湯卓慧，朱培毅.虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)和混合現(xiàn)實(shí)及其在軌道交通行業(yè)中的應(yīng)用 [J].鐵路通信信號(hào)工程技術(shù)，2016，13（5）：79-82.

[5] 龔赤兵.HoloLens混合現(xiàn)實(shí)技術(shù)在建筑行業(yè)中的應(yīng)用研究 [J].現(xiàn)代信息科技，2019，3（4）：147-149.

[6] PALMER D. Hands-on with Microsoft HoloLens 2：More comfortable，more intuitive and more potential [EB/OL].（2019-03-01）.https：//www.zdnet.com/article/hands-on-with-microsoft-hololens-2-more-comfortable-more-intuitive-and-more-potential/.

作者簡(jiǎn)介：龔赤兵（1964-），男，漢族，湖北武漢人，教師，副教授，碩士研究生，研究方向：計(jì)算機(jī)應(yīng)用。