【摘要】? ? 目前5G+XR已經(jīng)形成生態(tài)式應(yīng)用，但在便攜式終端方面，主要集中于頭顯、眼鏡等可穿戴設(shè)備方面，較少涉及微型投影儀，本文給出在微型投影儀上通過TOF、UWB等技術(shù)實現(xiàn)交互模式友好的5G+XR的技術(shù)方案 ，該方案極大增強用戶在多設(shè)備內(nèi)容源交互、裸眼3D、云XR、全息視頻會議等方面的體驗，具有廣泛的應(yīng)用場景。

【關(guān)鍵詞】? ? 微型投影儀? ? 第五代移動通信? ? 擴展現(xiàn)實? ? 飛行時間? ? 超寬帶

引言

XR（擴展現(xiàn)實）目前業(yè)界給出的一般性定義是指通過計算機技術(shù)和可穿戴設(shè)備產(chǎn)生的一個真實與虛擬組合的、可人機交互的環(huán)境，包括VR（虛擬現(xiàn)實）、AR（增強現(xiàn)實）、MR（混合現(xiàn)實）、HR（全息現(xiàn)實）等多種形式。

5G商用已經(jīng)在全球展開，在高速、低時延的5G連接支持下，人們可以將XR渲染等任務(wù)放到終端側(cè)和云端進行分布式處理，充分利用終端、云端的優(yōu)勢，使用戶在纖薄的輕量型設(shè)備上也能體驗到具有逼真視效的XR體驗。另外，AI也能為空間計算所需的諸多感知算法提供支持，進一步提升人們在XR設(shè)備上的沉浸式體驗[1，2]。特別是，新冠肺炎疫情之下，去電影院、博物館、KTV等場所存在風(fēng)險，人們通過XR可以獲取相應(yīng)的現(xiàn)實感的體驗;同時，后疫情時代因5G+XR技術(shù)不斷成熟則相關(guān)需求態(tài)勢會一直持續(xù)。

XR作為下一代計算平臺，5G作為下一代網(wǎng)絡(luò)，兩者一起構(gòu)成一個新的生態(tài)系統(tǒng)：空間互聯(lián)網(wǎng)[3]。目前5G+XR已經(jīng)形成生態(tài)式應(yīng)用，但在便攜式終端方面，主要集中于頭顯、眼鏡等可穿戴設(shè)備方面，較少涉及微型投影儀。實際上，雖然微型投影儀不屬于傳統(tǒng)意義上的可穿戴設(shè)備，但作為一種便攜式終端，其給用戶帶來的5G+XR獨特體驗相比傳統(tǒng)意義上的可穿戴設(shè)備有著諸多方面的不可多得的優(yōu)勢。

一、微型投影儀5G+XR技術(shù)方案

圖1給出基于的微型投影儀的5G+XR技術(shù)方案。對于通常的微型投影儀來說，一般只具有圖中粗虛線左邊的部分，即實現(xiàn)通過處理器接收HDMI或USB有線信源轉(zhuǎn)換為光機處理信號實現(xiàn)投影播放的基本功能，而實現(xiàn)5G+XR則需要圖1中粗虛線右側(cè)的部分。這個劃分只是總體層面上面的，具體實施可以有少許增減，比如說一些微型投影儀為減輕重量去掉了大容量電池，但增加了WIFI、藍牙模塊以獲取短距離無線信源。但總體上來說，從用戶便攜性使用的角度，具有大容量電池更便于在很多場景下擺脫電源線的束縛。

圖1的粗虛線右側(cè)部分與5G+XR核心關(guān)聯(lián)的，一方面是5G MODEM（Modulator&Demodulator，調(diào)制解調(diào)器）和關(guān)聯(lián)的射頻前端以及MIMO（Multi-input Multi-output，多輸入輸出）天線組成的5G移動通信模塊，另一方面是由紅外深度識別組件、激光雷達掃描儀、頂部魚眼攝像頭以及UWB（Ultra Wideband，超寬帶）模塊等組成的XR交互部件。這些XR交互部件是可以其中一個或某幾個組合共存而不是必須全部共存的。

另外，圖1的粗虛線右側(cè)部分還有高清觸摸顯示屏以及前已述及的WIFI、藍牙模塊。高清觸摸顯示屏為用戶提供一個友好的UI交互界面，但其也可以由與WIFI、藍牙模塊無線連接的手持終端UI界面來替代，因而是可選的。

1.1 5G移動通信模塊

由5G調(diào)制解調(diào)器、射頻前端和天饋系統(tǒng)組成的5G通信模塊，實現(xiàn)5G通信功能離不開系統(tǒng)程序存儲器存儲并調(diào)用到應(yīng)用處理器處理的通信協(xié)議處理和基帶信息處理等相關(guān)的程序。

同時，對于5G天饋系統(tǒng)來說，最大的特點是MIMO。用于5G通信的頻段包含Sub 6GHz和毫米波頻段。在圖2的微型投影儀外表面布局圖中，4*4MIMO的Sub 6GHz天線分布在棱邊4個不同位置上，形成一個天線組，可采用FPC、LDS以及PDS工藝實現(xiàn)。但5G頻段眾多，一個天線上往往只是相近頻段，需要增加到多個天線，于是就有多個天線組，故實際上天線分布比圖示復(fù)雜很多。

利用毫米波的大帶寬能有效提升移動通信網(wǎng)絡(luò)系統(tǒng)數(shù)據(jù)吞吐量。毫米波天線尺寸是毫米級的（約2.5mm），頻段比較寬，2*2 MIMO就可，但因為毫米波電磁波的頻率非常高，在空氣中傳播衰減較快，為了減少衰減，所以一般會配2～4個天線模塊（Aim方式，Antenna in Module，即天線陣列與射頻芯片RFIC形成一模組），規(guī)則地分布在不同位置，某個信號差自動轉(zhuǎn)別的，避免單一的一個導(dǎo)致收發(fā)不暢。同時，毫米波天線是垂直與水平天線交互的點陣，對應(yīng)垂直和水平兩個極化方向的信號收發(fā)，可以采用相控陣體系，天線單元做波束成形，通過軟件控制聚集射頻信號朝一個方向。

針對Sub 6GHz和毫米波頻段通過深度學(xué)習(xí)對信道估計、信道檢測、CSI反饋和重建、信道譯碼增強MIMO無線傳輸[4]，可以使得微型投影儀在5G+XR高帶寬、移動性應(yīng)用，典型如4k/8k/16k高清視頻碼流傳輸方面更加自如。

從圖2還可以看出，從便攜式角度，具有5G+XR功能微型投影儀一般可做成加厚版平板電腦形態(tài)（現(xiàn)有高亮度光機厚度可以控制在20mm厚度左右）。

1.2? XR交互部件

1.2.1 紅外深度識別組件

圖3給出微型投影儀上的前面板局部布局示意圖。為了便于緊湊布局，除了要保持足夠亮度的光機采用了較大的動件（通過馬達驅(qū)動調(diào)焦）和定件以及散熱件，紅外深度識別組件在紅外攝像頭之外，采用了小型化的紅外TOF（Time of Light，飛行時間）傳感器和泛光照射器。紅外TOF傳感器集成有紅外發(fā)射和接收裝置，采用iTOF（indirect TOF）技術(shù)，用VCSEL（vertical Cavity surface Emitting Laser，垂直共腔振表面放射激光器）發(fā)射紅外連續(xù)調(diào)制脈沖光并接收目標(biāo)反射的紅外光，進行零差解調(diào)以測量反射光的相移，間接計算出光的飛行時間，進行目標(biāo)深度的預(yù)判（即先粗略確定有無意向中的目標(biāo)的深度信息），然后再在泛光照射器進行紅外補光時再次發(fā)射紅外信息并通過紅外攝像頭采集精細化的目標(biāo)深度信息。

紅外攝像頭還可以單獨工作用于識別用戶在投影界面的按鈕、手指、激光筆等坐標(biāo)特征，用于互動投影。

彩色攝像頭獲取目標(biāo)載體的二維特征信息，即RGB信息;同時，處理器根據(jù)紅外深度識別組件采集深度信息D。然后處理器將兩者匯聚合成為目標(biāo)載體的RGBD信息，亦即三維特征信息。該信息可以進一步經(jīng)由處理器實現(xiàn)三維圖像重構(gòu)應(yīng)用于XR虛擬圖像渲染或三維圖像識別。

1.2.2 激光雷達掃描儀

激光雷達掃描儀是基于dTOF（direct TOF）原理工作的微型LiDAR（Light Detection and Ranging，光探測和探距）部件。dToF核心組件包含VCSEL、單光子雪崩二極管SPAD（Single Photon Avalanche Diode）和時間數(shù)字轉(zhuǎn)換器TDC（Time Digital Converter）。SPAD是一種具有單光子探測能力的光電探測雪崩二極管，只要有微弱的光信號就能產(chǎn)生電流。dToF模組的VCSEL向場景中發(fā)射脈沖波，SPAD接收從目標(biāo)物體反射回來的脈沖波。TDC能夠記錄每次接收到的光信號的飛行時間，也就是發(fā)射脈沖和接收脈沖之間的時間間隔。dToF會在單幀測量時間內(nèi)發(fā)射和接收N次光信號，然后對記錄的N次飛行時間做直方圖統(tǒng)計，其中出現(xiàn)頻率最高的飛行時間t用來計算待測物體的深度。

dToF技術(shù)系統(tǒng)在很短的時間窗口內(nèi)發(fā)出高能光脈沖，曝光時間越短，運動模糊的效應(yīng)越小，更適用于戶外;同時，信號占空比通常比同等水平的連續(xù)波系統(tǒng)要低得多，可以降低系統(tǒng)的總功耗;另外，因脈沖時序和寬度不需要一樣，支持更寬的動態(tài)范圍和自動曝光等功能。

采用脈沖dToF技術(shù)的激光雷達掃描儀在微型投影儀上位置可以比較靈活，不局限于布局前部，還可以布局頂部、側(cè)部乃至后部，通過掃描外部場景獲取的深度信息，融合布局于投影儀機體相應(yīng)方位的彩色攝像頭獲取的2D圖像，在應(yīng)用中創(chuàng)建該場景的3D模型，然后用戶就可以對該模型展開編輯、將新對象添加到該場景中并使用XR查看實際場景中添加的對象。

1.2.3 頂部魚眼攝像頭

頂部魚眼攝像頭應(yīng)用于微型投影儀，首先可以服務(wù)于視頻電話會議系統(tǒng)。

頂部魚眼攝像頭通過360度環(huán)繞周圍攝錄影像，實現(xiàn)根據(jù)設(shè)定如5m范圍內(nèi)的全景影像采集，并根據(jù)捕捉的聲音來源（通過圖2中的多個麥克風(fēng)協(xié)同工作，實現(xiàn)定向錄音）自主選擇會議發(fā)言人進行專項拍攝，也可以響應(yīng)用戶指令實現(xiàn)對投影影像內(nèi)容的攝錄實現(xiàn)信息共享。同時，經(jīng)由5G系統(tǒng)從遠端接收到的音頻和視頻可以分別通過揚聲器和光機播放。

電話會議開始后，音頻系統(tǒng)和魚眼攝像頭同時啟動工作，會議室的圖像和語音就可以經(jīng)由移動通信網(wǎng)絡(luò)傳遞到多個遠程會議現(xiàn)場，并能經(jīng)各個遠端會議室的投影投放，在會議進行過程中通過魚眼度攝像頭定向?qū)h發(fā)言人或會議投影內(nèi)容進行攝錄交互共享，實現(xiàn)良好的視頻電話會議功能。

1.2.4 UWB

UWB用于實現(xiàn)室內(nèi)定位。UWB限制在3.1-10.6GHz和低于41dB發(fā)射功率。UWB不同于傳統(tǒng)的通信技術(shù)，它通過發(fā)送和接收具有納秒或微秒級以下的極窄脈沖來實現(xiàn)無線傳輸，可以實現(xiàn)500MHz以上的超寬帶。

UWB抗多徑能力強，定位精度高，其精度甚至可以達到Wi-Fi、BT等傳統(tǒng)系統(tǒng)的百倍以上。同時，時間戳精度高，納秒級脈沖信號由定時來計算位置的誤差通常小于幾厘米。此外，電磁兼容性強，能夠很好地隱蔽在其它類型信號和環(huán)境噪聲之中，既不會對其他通信業(yè)務(wù)造成干擾，同時也能夠避免其他通信設(shè)備對其造成干擾。

基于上述技術(shù)優(yōu)勢，采用UWB具備極佳的空間感知能力。利用UWB技術(shù)，微型投影儀和其他具有UWB標(biāo)簽的智能設(shè)備可以更精準(zhǔn)地實現(xiàn)室內(nèi)定位，不僅可以感知自己的位置，還可以感知周邊其它智能終端設(shè)備的位置。這就構(gòu)成了5G系統(tǒng)下低成本終端直通D2D。智能終端設(shè)備或物聯(lián)設(shè)備通過UWB模塊接入到微型投影儀后，從而可以接入到5G系統(tǒng)，不僅使得微型投影儀有了更便捷的數(shù)據(jù)來源，也使得智能終端設(shè)備或物聯(lián)設(shè)備具有了連接5G蜂窩網(wǎng)絡(luò)的能力[5，6]。

二、微型投影儀5G+XR應(yīng)用場景

微型投影儀的XR部件中，采用iTOF技術(shù)的紅外深度識別組件適合室內(nèi)近距3D識別;采用dTOF技術(shù)的激光雷達掃描儀適合于室外遠距3D識別。兩者均既可針對投影界面內(nèi)容進行3D建模和重構(gòu)，也可針對投影界面之外的實景世界進行3D掃描、建模和重構(gòu)。雖然可以二選一應(yīng)用，但同時應(yīng)用性能更能互補。這兩個部件是XR交互主要的感知器，其信息采集和處理既可以應(yīng)用于本地XR，也可以通過5G網(wǎng)絡(luò)傳遞到MEC平臺（Mobile Edge Computing，移動邊緣計算）或云平臺構(gòu)成云XR。

頂部魚眼攝像頭則主要把單機XR功能擴展到視頻會議場景。UWB則使得多機交互更便捷，經(jīng)由室內(nèi)精準(zhǔn)定位，外部終端信息和微型投影儀可快捷實現(xiàn)多內(nèi)容源交互。這兩者的結(jié)合可以使得在多人參與的遠程視頻會議中能隨時精準(zhǔn)定位與會者的內(nèi)容設(shè)備位置并快速切換XR內(nèi)容源。

上述XR部件結(jié)合5G模塊，多個微型投影儀可以本地或異地聯(lián)合3D投影，實現(xiàn)廣景式、集群式或共享式XR。

基于微型投影儀的5G+XR可以實現(xiàn)裸眼3D（原始視覺模型經(jīng)模擬人雙眼視覺進行了法向量計算處理，即3D建模的特效以2D投影播放，也可以是原始視頻數(shù)據(jù)模型是模擬人左右眼從兩個角度記錄同一影像后兩幅圖錯位疊加，人戴上3D眼鏡后產(chǎn)生立體感），本地全息和多地全息視頻電話會議，從而可以免除戴頭盔、戴眼鏡，手持靈活位移，體驗上更加自在，空間層次也可以更大。

另外，在微型投影儀用戶界面或用戶遙控終端的用戶界面上采用專門的APP，可使得操控更加便捷，應(yīng)用模式更加多樣化。

2.1云XR

如圖4所示，具有5G+XR功能組件的微型投影儀藉由5G基站與MEC平臺交互（兩者通過下沉到基站的邊緣UPF相結(jié)合）可以很好實現(xiàn)云XR功能。MEC平臺具有AI引擎和XR計算能力以及存儲和網(wǎng)絡(luò)服務(wù)功能，對來自于微型投影儀以及來自企業(yè)網(wǎng)或互聯(lián)網(wǎng)提供的典型如視頻方面的內(nèi)容進行數(shù)據(jù)分組分析，提供低延時的本地化業(yè)務(wù)服務(wù)。MEC平臺部署在無線接入網(wǎng)或云化的無線接入網(wǎng)，有效減少核心網(wǎng)的網(wǎng)絡(luò)負載，為用戶帶來低時延、智能加載、實時互動、可定制化的上佳用戶體驗。

與本地XR比較，通過云端渲染的云XR可以有效提升智能計算和圖像處理能力，還可以降低用戶消費XR的費用。

2.2全息交互

具有5G+XR功能組件的微型投影儀，除了通常的對目標(biāo)載體深度識別后實現(xiàn)三維重構(gòu)圖像投影到墻面或幕布，在三維重構(gòu)技術(shù)基礎(chǔ)上深加工的全息圖像投影到全息膜（通常原始全息圖像是參考光和物光干涉形成（遠端終端需增加干涉成像設(shè)備），以衍射方式重放，此時本地終端可選投影器鏡頭可選增加加衍射光柵;但還可以直接遠端和本體終端內(nèi)部均通過復(fù)雜算法來實現(xiàn)全息成像和全息三維重構(gòu)）上，實現(xiàn)全息視頻通話。這種三維視頻數(shù)據(jù)的遠端傳播對無線網(wǎng)絡(luò)數(shù)據(jù)高傳輸率、低失真率、短時延性要求很高，微型投影儀也必須加持5G功能模塊才能很好實現(xiàn)。除了全息膜，也可以采用玻璃、空氣等新興的全息方式。

基于微型投影儀實現(xiàn)的全息影像的視頻會議，使得會議終端更加多樣化，使得用戶視頻交互更直觀、更立體、更身臨其境。該方案可廣泛應(yīng)用多個場景，如3D模型互動演示培訓(xùn)，多方參會人可以立體的、多維的觀看操作同一個3D模型，解決了現(xiàn)實中需要制作物理3D模型的教學(xué)問題。云XR作為全息影像素材存儲中心、分享中心以及處理中心，供大家上傳、分享、觀看各種全息影像內(nèi)容。

三、應(yīng)用APP

微型投影儀的5G+XR典型應(yīng)用模式均還有很多具體應(yīng)用，具體到每個應(yīng)用也都有進一步擴展空間。因此，微型投影儀的用戶界面或用戶的手持控制終端的用戶界面可以加載應(yīng)用APP。

比如，應(yīng)用APP的一級菜單設(shè)置XR投影（可選增設(shè)背投、倒置模式）、XR視頻采集、XR視頻通話、XR全息投影、人臉識別、物體識別、XR其他應(yīng)用等基本功能模式，XR其他應(yīng)用再設(shè)置二級菜單，把XR游戲、XR購物、XR導(dǎo)航，XR布置家居、XR看星空等容納其中。

四、結(jié)束語：

人們通過手持具有5G+XR功能組件的微型投影儀，可以免除戴頭盔、戴眼鏡，直接人眼就可以在現(xiàn)實環(huán)境中體驗各種本地和云端的XR場景。特別地，隨著超高清視頻、人工智能、云計算技術(shù)的飛速發(fā)展，基于微型投影儀的5G+云+XR將會為工業(yè)制造、教育、醫(yī)療以及個人娛樂消費領(lǐng)域帶來全新的信息消費體驗，讓沉浸式可互動多情節(jié)觀影體驗隨時隨地呈現(xiàn)在人們面前，催生更多創(chuàng)新應(yīng)用場景。

同時，為了使得基于微型投影儀的5G+XR在交互模式上進一步拓展，可以引入更加智能化的交互方式，如手勢識別、身姿識別等;另外，APP中的XR應(yīng)用模式不斷延伸，以及UWB引入投影多內(nèi)容源交互越來越多情況下，基于內(nèi)容安全性，還可以通過區(qū)塊鏈征信系統(tǒng)實現(xiàn)信息共享。

圖1的粗虛線右側(cè)部分與5G+XR核心關(guān)聯(lián)的，一方面是5G MODEM（Modulator&Demodulator，調(diào)制解調(diào)器）和關(guān)聯(lián)的射頻前端以及MIMO（Multi-input Multi-output，多輸入輸出）天線組成的5G移動通信模塊，另一方面是由紅外深度識別組件、激光雷達掃描儀、頂部魚眼攝像頭以及UWB（Ultra Wideband，超寬帶）模塊等組成的XR交互部件。這些XR交互部件是可以其中一個或某幾個組合共存而不是必須全部共存的。

另外，圖1的粗虛線右側(cè)部分還有高清觸摸顯示屏以及前已述及的WIFI、藍牙模塊。高清觸摸顯示屏為用戶提供一個友好的UI交互界面，但其也可以由與WIFI、藍牙模塊無線連接的手持終端UI界面來替代，因而是可選的。

5G移動通信模塊

由5G調(diào)制解調(diào)器、射頻前端和天饋系統(tǒng)組成的5G通信模塊，實現(xiàn)5G通信功能離不開系統(tǒng)程序存儲器存儲并調(diào)用到應(yīng)用處理器處理的通信協(xié)議處理和基帶信息處理等相關(guān)的程序。

同時，對于5G天饋系統(tǒng)來說，最大的特點是MIMO。用于5G通信的頻段包含Sub 6GHz和毫米波頻段。在圖2的微型投影儀外表面布局圖中，4*4MIMO的Sub 6GHz天線分布在棱邊4個不同位置上，形成一個天線組，可采用FPC、LDS以及PDS工藝實現(xiàn)。但5G頻段眾多，一個天線上往往只是相近頻段，需要增加到多個天線，于是就有多個天線組，故實際上天線分布比圖示復(fù)雜很多。

利用毫米波的大帶寬能有效提升移動通信網(wǎng)絡(luò)系統(tǒng)數(shù)據(jù)吞吐量。毫米波天線尺寸是毫米級的（約2.5mm），頻段比較寬，2*2 MIMO就可，但因為毫米波電磁波的頻率非常高，在空氣中傳播衰減較快，為了減少衰減，所以一般會配2～4個天線模塊（Aim方式，Antenna in Module，即天線陣列與射頻芯片RFIC形成一模組），規(guī)則地分布在不同位置，某個信號差自動轉(zhuǎn)別的，避免單一的一個導(dǎo)致收發(fā)不暢。同時，毫米波天線是垂直與水平天線交互的點陣，對應(yīng)垂直和水平兩個極化方向的信號收發(fā)，可以采用相控陣體系，天線單元做波束成形，通過軟件控制聚集射頻信號朝一個方向。

針對Sub 6GHz和毫米波頻段通過深度學(xué)習(xí)對信道估計、信道檢測、CSI反饋和重建、信道譯碼增強MIMO無線傳輸[4]，可以使得微型投影儀在5G+XR高帶寬、移動性應(yīng)用，典型如4k/8k/16k高清視頻碼流傳輸方面更加自如。

從圖2還可以看出，從便攜式角度，具有5G+XR功能微型投影儀一般可做成加厚版平板電腦形態(tài)（現(xiàn)有高亮度光機厚度可以控制在20mm厚度左右）。

1.2? XR交互部件

1.2.1 紅外深度識別組件

圖3給出微型投影儀上的前面板局部布局示意圖。為了便于緊湊布局，除了要保持足夠亮度的光機采用了較大的動件（通過馬達驅(qū)動調(diào)焦）和定件以及散熱件，紅外深度識別組件在紅外攝像頭之外，采用了小型化的紅外TOF（Time of Light，飛行時間）傳感器和泛光照射器。紅外TOF傳感器集成有紅外發(fā)射和接收裝置，采用iTOF（indirect TOF）技術(shù)，用VCSEL（vertical Cavity surface Emitting Laser，垂直共腔振表面放射激光器）發(fā)射紅外連續(xù)調(diào)制脈沖光并接收目標(biāo)反射的紅外光，進行零差解調(diào)以測量反射光的相移，間接計算出光的飛行時間，進行目標(biāo)深度的預(yù)判（即先粗略確定有無意向中的目標(biāo)的深度信息），然后再在泛光照射器進行紅外補光時再次發(fā)射紅外信息并通過紅外攝像頭采集精細化的目標(biāo)深度信息。

紅外攝像頭還可以單獨工作用于識別用戶在投影界面的按鈕、手指、激光筆等坐標(biāo)特征，用于互動投影。

彩色攝像頭獲取目標(biāo)載體的二維特征信息，即RGB信息;同時，處理器根據(jù)紅外深度識別組件采集深度信息D。然后處理器將兩者匯聚合成為目標(biāo)載體的RGBD信息，亦即三維特征信息。該信息可以進一步經(jīng)由處理器實現(xiàn)三維圖像重構(gòu)應(yīng)用于XR虛擬圖像渲染或三維圖像識別。

1.2.2 激光雷達掃描儀

激光雷達掃描儀是基于dTOF（direct TOF）原理工作的微型LiDAR（Light Detection and Ranging，光探測和探距）部件。dToF核心組件包含VCSEL、單光子雪崩二極管SPAD（Single Photon Avalanche Diode）和時間數(shù)字轉(zhuǎn)換器TDC（Time Digital Converter）。SPAD是一種具有單光子探測能力的光電探測雪崩二極管，只要有微弱的光信號就能產(chǎn)生電流。dToF模組的VCSEL向場景中發(fā)射脈沖波，SPAD接收從目標(biāo)物體反射回來的脈沖波。TDC能夠記錄每次接收到的光信號的飛行時間，也就是發(fā)射脈沖和接收脈沖之間的時間間隔。dToF會在單幀測量時間內(nèi)發(fā)射和接收N次光信號，然后對記錄的N次飛行時間做直方圖統(tǒng)計，其中出現(xiàn)頻率最高的飛行時間t用來計算待測物體的深度。

dToF技術(shù)系統(tǒng)在很短的時間窗口內(nèi)發(fā)出高能光脈沖，曝光時間越短，運動模糊的效應(yīng)越小，更適用于戶外;同時，信號占空比通常比同等水平的連續(xù)波系統(tǒng)要低得多，可以降低系統(tǒng)的總功耗;另外，因脈沖時序和寬度不需要一樣，支持更寬的動態(tài)范圍和自動曝光等功能。

采用脈沖dToF技術(shù)的激光雷達掃描儀在微型投影儀上位置可以比較靈活，不局限于布局前部，還可以布局頂部、側(cè)部乃至后部，通過掃描外部場景獲取的深度信息，融合布局于投影儀機體相應(yīng)方位的彩色攝像頭獲取的2D圖像，在應(yīng)用中創(chuàng)建該場景的3D模型，然后用戶就可以對該模型展開編輯、將新對象添加到該場景中并使用XR查看實際場景中添加的對象。

1.2.3 頂部魚眼攝像頭

頂部魚眼攝像頭應(yīng)用于微型投影儀，首先可以服務(wù)于視頻電話會議系統(tǒng)。

頂部魚眼攝像頭通過360度環(huán)繞周圍攝錄影像，實現(xiàn)根據(jù)設(shè)定如5m范圍內(nèi)的全景影像采集，并根據(jù)捕捉的聲音來源（通過圖2中的多個麥克風(fēng)協(xié)同工作，實現(xiàn)定向錄音）自主選擇會議發(fā)言人進行專項拍攝，也可以響應(yīng)用戶指令實現(xiàn)對投影影像內(nèi)容的攝錄實現(xiàn)信息共享。同時，經(jīng)由5G系統(tǒng)從遠端接收到的音頻和視頻可以分別通過揚聲器和光機播放。

電話會議開始后，音頻系統(tǒng)和魚眼攝像頭同時啟動工作，會議室的圖像和語音就可以經(jīng)由移動通信網(wǎng)絡(luò)傳遞到多個遠程會議現(xiàn)場，并能經(jīng)各個遠端會議室的投影投放，在會議進行過程中通過魚眼度攝像頭定向?qū)h發(fā)言人或會議投影內(nèi)容進行攝錄交互共享，實現(xiàn)良好的視頻電話會議功能。

1.2.4 UWB

UWB用于實現(xiàn)室內(nèi)定位。UWB限制在3.1-10.6GHz和低于41dB發(fā)射功率。UWB不同于傳統(tǒng)的通信技術(shù)，它通過發(fā)送和接收具有納秒或微秒級以下的極窄脈沖來實現(xiàn)無線傳輸，可以實現(xiàn)500MHz以上的超寬帶。

UWB抗多徑能力強，定位精度高，其精度甚至可以達到Wi-Fi、BT等傳統(tǒng)系統(tǒng)的百倍以上。同時，時間戳精度高，納秒級脈沖信號由定時來計算位置的誤差通常小于幾厘米。此外，電磁兼容性強，能夠很好地隱蔽在其它類型信號和環(huán)境噪聲之中，既不會對其他通信業(yè)務(wù)造成干擾，同時也能夠避免其他通信設(shè)備對其造成干擾。

基于上述技術(shù)優(yōu)勢，采用UWB具備極佳的空間感知能力。利用UWB技術(shù)，微型投影儀和其他具有UWB標(biāo)簽的智能設(shè)備可以更精準(zhǔn)地實現(xiàn)室內(nèi)定位，不僅可以感知自己的位置，還可以感知周邊其它智能終端設(shè)備的位置。這就構(gòu)成了5G系統(tǒng)下低成本終端直通D2D。智能終端設(shè)備或物聯(lián)設(shè)備通過UWB模塊接入到微型投影儀后，從而可以接入到5G系統(tǒng)，不僅使得微型投影儀有了更便捷的數(shù)據(jù)來源，也使得智能終端設(shè)備或物聯(lián)設(shè)備具有了連接5G蜂窩網(wǎng)絡(luò)的能力[5，6]。

微型投影儀5G+XR應(yīng)用場景

微型投影儀的XR部件中，采用iTOF技術(shù)的紅外深度識別組件適合室內(nèi)近距3D識別;采用dTOF技術(shù)的激光雷達掃描儀適合于室外遠距3D識別。兩者均既可針對投影界面內(nèi)容進行3D建模和重構(gòu)，也可針對投影界面之外的實景世界進行3D掃描、建模和重構(gòu)。雖然可以二選一應(yīng)用，但同時應(yīng)用性能更能互補。這兩個部件是XR交互主要的感知器，其信息采集和處理既可以應(yīng)用于本地XR，也可以通過5G網(wǎng)絡(luò)傳遞到MEC平臺（Mobile Edge Computing，移動邊緣計算）或云平臺構(gòu)成云XR。

頂部魚眼攝像頭則主要把單機XR功能擴展到視頻會議場景。UWB則使得多機交互更便捷，經(jīng)由室內(nèi)精準(zhǔn)定位，外部終端信息和微型投影儀可快捷實現(xiàn)多內(nèi)容源交互。這兩者的結(jié)合可以使得在多人參與的遠程視頻會議中能隨時精準(zhǔn)定位與會者的內(nèi)容設(shè)備位置并快速切換XR內(nèi)容源。

上述XR部件結(jié)合5G模塊，多個微型投影儀可以本地或異地聯(lián)合3D投影，實現(xiàn)廣景式、集群式或共享式XR。

基于微型投影儀的5G+XR可以實現(xiàn)裸眼3D（原始視覺模型經(jīng)模擬人雙眼視覺進行了法向量計算處理，即3D建模的特效以2D投影播放，也可以是原始視頻數(shù)據(jù)模型是模擬人左右眼從兩個角度記錄同一影像后兩幅圖錯位疊加，人戴上3D眼鏡后產(chǎn)生立體感），本地全息和多地全息視頻電話會議，從而可以免除戴頭盔、戴眼鏡，手持靈活位移，體驗上更加自在，空間層次也可以更大。

另外，在微型投影儀用戶界面或用戶遙控終端的用戶界面上采用專門的APP，可使得操控更加便捷，應(yīng)用模式更加多樣化。

云XR

如圖4所示，具有5G+XR功能組件的微型投影儀藉由5G基站與MEC平臺交互（兩者通過下沉到基站的邊緣UPF相結(jié)合）可以很好實現(xiàn)云XR功能。MEC平臺具有AI引擎和XR計算能力以及存儲和網(wǎng)絡(luò)服務(wù)功能，對來自于微型投影儀以及來自企業(yè)網(wǎng)或互聯(lián)網(wǎng)提供的典型如視頻方面的內(nèi)容進行數(shù)據(jù)分組分析，提供低延時的本地化業(yè)務(wù)服務(wù)。MEC平臺部署在無線接入網(wǎng)或云化的無線接入網(wǎng)，有效減少核心網(wǎng)的網(wǎng)絡(luò)負載，為用戶帶來低時延、智能加載、實時互動、可定制化的上佳用戶體驗。

與本地XR比較，通過云端渲染的云XR可以有效提升智能計算和圖像處理能力，還可以降低用戶消費XR的費用。

全息交互

具有5G+XR功能組件的微型投影儀，除了通常的對目標(biāo)載體深度識別后實現(xiàn)三維重構(gòu)圖像投影到墻面或幕布，在三維重構(gòu)技術(shù)基礎(chǔ)上深加工的全息圖像投影到全息膜（通常原始全息圖像是參考光和物光干涉形成（遠端終端需增加干涉成像設(shè)備），以衍射方式重放，此時本地終端可選投影器鏡頭可選增加加衍射光柵;但還可以直接遠端和本體終端內(nèi)部均通過復(fù)雜算法來實現(xiàn)全息成像和全息三維重構(gòu)）上，實現(xiàn)全息視頻通話。這種三維視頻數(shù)據(jù)的遠端傳播對無線網(wǎng)絡(luò)數(shù)據(jù)高傳輸率、低失真率、短時延性要求很高，微型投影儀也必須加持5G功能模塊才能很好實現(xiàn)。除了全息膜，也可以采用玻璃、空氣等新興的全息方式。

基于微型投影儀實現(xiàn)的全息影像的視頻會議，使得會議終端更加多樣化，使得用戶視頻交互更直觀、更立體、更身臨其境。該方案可廣泛應(yīng)用多個場景，如3D模型互動演示培訓(xùn)，多方參會人可以立體的、多維的觀看操作同一個3D模型，解決了現(xiàn)實中需要制作物理3D模型的教學(xué)問題。云XR作為全息影像素材存儲中心、分享中心以及處理中心，供大家上傳、分享、觀看各種全息影像內(nèi)容。

應(yīng)用APP

微型投影儀的5G+XR典型應(yīng)用模式均還有很多具體應(yīng)用，具體到每個應(yīng)用也都有進一步擴展空間。因此，微型投影儀的用戶界面或用戶的手持控制終端的用戶界面可以加載應(yīng)用APP。比如，應(yīng)用APP的一級菜單設(shè)置XR投影（可選增設(shè)背投、倒置模式）、XR視頻采集、XR視頻通話、XR全息投影、人臉識別、物體識別、XR其他應(yīng)用等基本功能模式，XR其他應(yīng)用再設(shè)置二級菜單，把XR游戲、XR購物、XR導(dǎo)航，XR布置家居、XR看星空等容納其中。

結(jié)束語：

人們通過手持具有5G+XR功能組件的微型投影儀，可以免除戴頭盔、戴眼鏡，直接人眼就可以在現(xiàn)實環(huán)境中體驗各種本地和云端的XR場景。特別地，隨著超高清視頻、人工智能、云計算技術(shù)的飛速發(fā)展，基于微型投影儀的5G+云+XR將會為工業(yè)制造、教育、醫(yī)療以及個人娛樂消費領(lǐng)域帶來全新的信息消費體驗，讓沉浸式可互動多情節(jié)觀影體驗隨時隨地呈現(xiàn)在人們面前，催生更多創(chuàng)新應(yīng)用場景。

同時，為了使得基于微型投影儀的5G+XR在交互模式上進一步拓展，可以引入更加智能化的交互方式，如手勢識別、身姿識別等;另外，APP中的XR應(yīng)用模式不斷延伸，以及UWB引入投影多內(nèi)容源交互越來越多情況下，基于內(nèi)容安全性，還可以通過區(qū)塊鏈征信系統(tǒng)實現(xiàn)信息共享。

參考文獻：

中興通訊.5G云XR應(yīng)用白皮書[R/OL]， （2019-2-19）[2019-3-19]. https：//res-www.zte.com.cn/mediares/zte/Files/PDF/white_book/201902011029.pdf？la=zh-CN

張晨璐， vivo通信研究院編著.從局部到整體：5G系統(tǒng)觀[D]，北京：人民郵電出版社，2020：19-24.

安福雙 鐘建輝，編著.互聯(lián)網(wǎng)下一站 5G與AR/VR的融合[D].北京：電子工業(yè)出版社，2020：17-27;87-99.

金石，溫朝凱，編著.智能通信：基于深度學(xué)習(xí)的物理層設(shè)計[D]，北京：科學(xué)出版社，2020：1-14.

羅振東，焦慧穎，魏克軍，等.寬帶無線接入技術(shù)[D]，北京：電子工業(yè)出版社，2017：330-333.

楊昉，劉思聰，高鎮(zhèn)，編著.5G移動通信空口新技術(shù)[D].北京：電子工業(yè)出版社，2020：263-273.

作者：張永亮 性別：男? 出生年月：1975.3 籍貫 河南 學(xué)歷：碩士 工作單位：中興通訊上海研發(fā)中心（上海市浦東新區(qū)張江鎮(zhèn)碧波路889號），目前從事5G終端研發(fā)工作。