林墨耘 馬媛 房林
(中國(guó)電子科技集團(tuán)公司第三十研究所,四川 成都 610000)
云渲染(cloud render)是基于云計(jì)算和流媒體技術(shù)的概念,借助云計(jì)算超強(qiáng)的計(jì)算能力及高速穩(wěn)定的網(wǎng)絡(luò),采用視頻碼流作為“云端”向“終端”呈現(xiàn)處理結(jié)果的一種方案。VR 終端收集用戶的顯示內(nèi)容需求,將對(duì)計(jì)算能力要求最嚴(yán)苛的渲染部分傳輸至云渲染服務(wù)器,完成渲染、編碼后,經(jīng)過(guò)高帶寬、低時(shí)延反饋至VR 終端進(jìn)行解碼顯示,從而降低VR 終端的性能要求,大幅度降低終端的成本。云渲染涵蓋范圍較為廣泛,利用云端GPU 資源進(jìn)行運(yùn)算并將結(jié)果傳送至終端的方式均可以稱之為云渲染。
在云渲染技術(shù)的支持下,普通用戶無(wú)需購(gòu)買昂貴的VR 設(shè)備,僅需要低成本的VR一體機(jī)或機(jī)頂盒或手機(jī)VR 盒子,就可以實(shí)現(xiàn)大規(guī)模的交互式VR 業(yè)務(wù)體驗(yàn),為VR 業(yè)務(wù)的普及提供了新的發(fā)展機(jī)遇。
云渲染解決方案體系結(jié)構(gòu)由終端層、網(wǎng)絡(luò)層、平臺(tái)層和內(nèi)容層組成。終端層為虛擬現(xiàn)實(shí)終端主要實(shí)現(xiàn)虛擬現(xiàn)實(shí)內(nèi)容渲染、家庭網(wǎng)絡(luò)訪問(wèn)和用戶認(rèn)證等功能,通過(guò)千兆光纖、5G 網(wǎng)絡(luò)等高速通道與平臺(tái)層連接。網(wǎng)絡(luò)層包括骨干網(wǎng)絡(luò)、城域網(wǎng)、接入網(wǎng)絡(luò)和家庭網(wǎng)絡(luò),負(fù)責(zé)為虛擬現(xiàn)實(shí)云渲染服務(wù)提供大帶寬、低延遲的穩(wěn)定傳輸。平臺(tái)層為VR特定應(yīng)用提供云渲染、流媒體、轉(zhuǎn)碼、存儲(chǔ)、編碼等功能。內(nèi)容層主要負(fù)責(zé)向平臺(tái)層提供應(yīng)用程序內(nèi)容,包括內(nèi)容提供商和內(nèi)容聚合商、包括視頻服務(wù)在內(nèi)的虛擬現(xiàn)實(shí)內(nèi)容和強(qiáng)大的互動(dòng)服務(wù)。
云渲染平臺(tái)由VR 中心管理系統(tǒng)和多個(gè)VR 云渲染系統(tǒng)組成。
1.中心管理系統(tǒng)。
VR 中心管理系統(tǒng)是云渲染平臺(tái)的核心控制部分,集中接收用戶VR 終端發(fā)起的視頻處理請(qǐng)求,調(diào)度云計(jì)算資源,存儲(chǔ)關(guān)鍵的系統(tǒng)配置、用戶權(quán)限等數(shù)據(jù),其內(nèi)部主要分為業(yè)務(wù)系統(tǒng)、存儲(chǔ)管理和統(tǒng)一會(huì)話調(diào)度管理三大功能區(qū)域。
2.云渲染系統(tǒng)。
云渲染系統(tǒng)是云渲染平臺(tái)的核心部件,主要負(fù)責(zé)VR 應(yīng)用的邏輯計(jì)算、實(shí)時(shí)渲染、編碼、推流等處理,云端處理的高并發(fā)、低時(shí)延需要云渲染系統(tǒng)來(lái)保障。云渲染方案將硬件資源池化,行程GPU 渲染、CPU 計(jì)算資源池,在此基礎(chǔ)上構(gòu)建多個(gè)虛擬機(jī)作為VR業(yè)務(wù)的運(yùn)行環(huán)境,根據(jù)用戶需求及應(yīng)用環(huán)境對(duì)CPU 計(jì)算資源和GPU 渲染資源進(jìn)行動(dòng)態(tài)分配。云渲染通用方案由基礎(chǔ)計(jì)算資源、虛擬服務(wù)資源、服務(wù)應(yīng)用層組成,部署在邊緣側(cè),通過(guò)調(diào)用與用戶最近的資源提高效率。
3.云渲染平臺(tái)建設(shè)。
云渲染平臺(tái)的建設(shè)一般分為兩個(gè)階段,第一階段采用集中式部署,快速形成運(yùn)算能力平臺(tái),快速上線云渲染服務(wù),第二階段采用分布式部署,以確保系統(tǒng)的高并發(fā)性和高可用性。
分布式部署通過(guò)邊緣節(jié)點(diǎn)服務(wù)(Edge Node Service,ENS),降低響應(yīng)時(shí)延和帶寬成本、減輕中心集群壓力,適用于“中心+邊緣”架構(gòu)模型下的各類業(yè)務(wù)。
集中式部署方案已具有較多成熟、可借鑒案例,本文主要介紹分布式部署方案。平臺(tái)將云VR 平臺(tái)管理和業(yè)務(wù)管理放在了核心網(wǎng)一端;將具備渲染能力及編解碼能力的應(yīng)用服務(wù)器放在了邊緣節(jié)點(diǎn)一端更貼近用戶側(cè),目的是降低時(shí)延,給用戶帶來(lái)低時(shí)延的VR 體驗(yàn)。
分布式部署是將云服務(wù)平臺(tái)的中心系統(tǒng)部署在總前端機(jī)房,將分前端系統(tǒng)部署在分前端機(jī)房,分布式的部署方式能夠減輕視音頻流給骨干網(wǎng)帶來(lái)的壓力,同時(shí)降低了視音頻傳輸?shù)木W(wǎng)絡(luò)時(shí)延,提供給用戶更加優(yōu)異的體驗(yàn),適合系統(tǒng)擴(kuò)容及后期較大規(guī)模的云服務(wù)平臺(tái)。
目前平臺(tái)支持基于5G 架構(gòu)的MEC 服務(wù)器形式部署,并進(jìn)行落地環(huán)境測(cè)試驗(yàn)證。云VR 平臺(tái)基于云端能力建設(shè),支持彈性、靈活、平滑的擴(kuò)容方案。云VR 渲染系統(tǒng)支持部署在云計(jì)算的虛擬機(jī)上,也支持部署在有GPU 能力的硬件服務(wù)器上。
虛擬化與物理服務(wù)器結(jié)合部署模式的主要思路是將中心管理系統(tǒng)、分前端管理系統(tǒng)及業(yè)務(wù)管理系統(tǒng)部署在虛擬服務(wù)器,由于中心、分前端、業(yè)務(wù)管理對(duì)于服務(wù)器性能需求相對(duì)較低,在虛擬服務(wù)器中能夠進(jìn)行正常的操作運(yùn)行,降低物理服務(wù)器部署成本;將應(yīng)用平臺(tái)部署在物理服務(wù)器,應(yīng)用平臺(tái)中安裝應(yīng)用,主要負(fù)責(zé)應(yīng)用的運(yùn)行和結(jié)果回傳,對(duì)于顯卡等硬件要求較高,通過(guò)部署在物理服務(wù)器,可以直接調(diào)用強(qiáng)大的服務(wù)器硬件資源,使得應(yīng)用運(yùn)行更加流暢,提升用戶體驗(yàn)感
全虛擬化部署模式的主要思路是將所有運(yùn)算功能模塊全部部署在虛擬服務(wù)器上,相比于虛擬化與物理服務(wù)器結(jié)合部署模式,全虛擬化部署可更加充分利用服務(wù)器硬件性能,適合于大批量用戶應(yīng)用場(chǎng)景,由于應(yīng)用平臺(tái)也部署在虛擬服務(wù)器,在部署大批量場(chǎng)景時(shí)硬件成本更低,管理也更加便利。
云XR 終端系統(tǒng)實(shí)現(xiàn)與云端的協(xié)議交互、操作指令等數(shù)據(jù)回傳以及音視頻流解碼播放等能力,終端設(shè)備需要集成云VR 平臺(tái)的終端系統(tǒng)軟件。
云XR 平臺(tái)要求終端具備視頻解碼能力、VR 顯示能力和交互能力,因此終端只需要滿足以上功能,要達(dá)到更好的效果,需要終端基于以上功能做相應(yīng)的優(yōu)化,以達(dá)到終端最優(yōu)效果。目前云VR 平臺(tái)已經(jīng)支持VR 一體機(jī)、手機(jī)和云VR 機(jī)頂盒這三種形式的客戶端作為終端設(shè)備。
終端系統(tǒng)軟件支持VR終端進(jìn)行集成,集成后終端可以經(jīng)過(guò)IP網(wǎng)絡(luò)、光纖入戶網(wǎng)絡(luò)、家庭wifi 以及5G 網(wǎng)絡(luò)接入云VR 平臺(tái)。
在Cloud XR 解決方案中,Cloud XR 終端需要與視頻業(yè)務(wù)平臺(tái)、強(qiáng)交互業(yè)務(wù)平臺(tái)、投屏系統(tǒng)、機(jī)頂盒對(duì)接。需要通過(guò)增加Laucher、視頻業(yè)務(wù)APK、強(qiáng)交互業(yè)務(wù)APK、登錄鑒權(quán)、投屏服務(wù)等功能,從業(yè)務(wù)平臺(tái)服務(wù)器獲取編排后的視頻和強(qiáng)交互內(nèi)容。終端將內(nèi)容投屏共享給機(jī)頂盒,機(jī)頂盒通過(guò)播放器播放XR 投屏內(nèi)容。Cloud XR 終端主要通過(guò)無(wú)線WI-FI 接入,終端特點(diǎn)是無(wú)線、可移動(dòng)、舒適度相對(duì)高、交互自由、配置安裝簡(jiǎn)單,更容易大規(guī)模用戶的普及。
視頻業(yè)務(wù)APK:為了能訪問(wèn)、對(duì)接X(jué)R 視頻業(yè)務(wù)平臺(tái),終端需要繼承視頻業(yè)務(wù),與云端進(jìn)行業(yè)務(wù)的交互及服務(wù)狀態(tài)的監(jiān)控。
強(qiáng)交互業(yè)務(wù)APK:終端需要集成強(qiáng)交互業(yè)務(wù)的APK,包含門戶及交互協(xié)議庫(kù)。云XR協(xié)議庫(kù)負(fù)責(zé)與云渲染平臺(tái)進(jìn)行交互、操作數(shù)據(jù)回傳提供基礎(chǔ)SDK;門戶用于為用戶提供操作入口,內(nèi)容展示、聚合。
用戶鑒權(quán):用戶鑒權(quán)可以通過(guò)手機(jī)驗(yàn)證和APP 登錄鑒權(quán),對(duì)Cloud XR 進(jìn)行授權(quán)和解除授權(quán)。也可通過(guò)終端登錄方式進(jìn)行鑒權(quán),不過(guò)此方案教手機(jī)鑒權(quán)操作較復(fù)雜。
投屏服務(wù):投屏功能,可將XR 終端顯示的內(nèi)容同步投屏到電視上。用戶在終端發(fā)出投屏指令,通過(guò)用戶登錄鑒權(quán)實(shí)現(xiàn)Cloud XR 終端與機(jī)頂盒配對(duì)綁定并借助投屏信息通道進(jìn)行投屏控制。
通信能力:Cloud XR 終端通過(guò)WI-FI 或者5G 通信模塊與業(yè)務(wù)平臺(tái)對(duì)接,結(jié)合業(yè)務(wù)的帶寬及時(shí)延要求,終端需要支持5G 或者WI-FI。
VR 終端設(shè)備主要分為VR 一體機(jī)和VR 頭顯兩種形式,云VR 能夠同時(shí)支持以VR 機(jī)頂盒、VR 一體機(jī)、手機(jī)+VR 眼鏡盒子作為云VR 終端,形成云VR 平臺(tái)+云VR 機(jī)頂盒+VR 頭顯和云VR 平臺(tái)+VR 一體機(jī)兩種接入方式。
另外,為了VR 業(yè)務(wù)適用于家庭VR 應(yīng)用場(chǎng)景,云VR 平臺(tái)支持將VR 設(shè)備中的展示畫面實(shí)時(shí)同步到其他VR 設(shè)備,以及非VR 設(shè)備,包括:TV、手機(jī)、PAD 等屏幕,實(shí)現(xiàn)VR內(nèi)容的同屏分享。
自身具備一定的VR 應(yīng)用的運(yùn)行能力,使得用戶不需要通過(guò)線纜連接計(jì)算設(shè)備,用戶使用起來(lái)更為方便。但是由于VR 一體機(jī)計(jì)算性能相對(duì)高性能計(jì)算機(jī)來(lái)說(shuō)還是太弱了,炫酷的VR 內(nèi)容無(wú)法流暢運(yùn)行,因此,利用VR 一體機(jī)的便利性,通過(guò)云VR 支撐其運(yùn)行復(fù)雜的VR 應(yīng)用也是一個(gè)不錯(cuò)的組合。優(yōu)勢(shì):1.自帶一定的解碼和VR 顯示能力,沒(méi)有線纜的束縛,用戶使用更方便;2.只要在網(wǎng)絡(luò)可達(dá)支持,VR 一體機(jī)都可以方便的訪問(wèn)云VR的內(nèi)容,更加靈活。
手機(jī)+VR 眼鏡是VR 設(shè)備中重要的一個(gè)類型,VR 眼鏡本身具有良好的鏡片顯示效果,將運(yùn)算能力遷移至手機(jī)端進(jìn)行處理,也進(jìn)一步降低了VR 設(shè)備的重量。但是由于手機(jī)計(jì)算性能相對(duì)高性能計(jì)算機(jī)來(lái)說(shuō)還是太弱了,炫酷的VR 內(nèi)容無(wú)法流暢運(yùn)行,因此,利用手機(jī)+VR 眼鏡的便利性,通過(guò)云VR 支撐其運(yùn)行復(fù)雜的VR 應(yīng)用也是一個(gè)不錯(cuò)的組合。優(yōu)勢(shì):1.VR 眼鏡具備一定的VR 顯示能力,重量進(jìn)一步減輕,用戶使用更方便。2.利用手機(jī)作為運(yùn)算終端,更加便利,也節(jié)省了大部分終端成本,只要網(wǎng)絡(luò)帶寬允許即可支持,可以方便的訪問(wèn)云VR的內(nèi)容,更加靈活。
云渲染的一個(gè)重要的技術(shù)指標(biāo)是時(shí)延,時(shí)延分為云端時(shí)延、終端時(shí)延、網(wǎng)絡(luò)時(shí)延三部分。
云端處理時(shí)延:云端時(shí)延包含邏輯計(jì)算、內(nèi)容渲染、編碼和數(shù)據(jù)發(fā)送等,根據(jù)當(dāng)前行業(yè)發(fā)展建議:邏輯計(jì)算、內(nèi)容渲染、編碼并行處理大約需要10~15ms,數(shù)據(jù)傳送時(shí)延約10-15ms,云端處理總的時(shí)延應(yīng)≤30ms。
網(wǎng)絡(luò)傳輸時(shí)延:根據(jù)實(shí)驗(yàn)室多人測(cè)試數(shù)據(jù),當(dāng)前網(wǎng)絡(luò)對(duì)體驗(yàn)影響的拐點(diǎn)出現(xiàn)在網(wǎng)絡(luò)時(shí)延在15~20ms;時(shí)延>19ms,操作傳輕微遲滯;時(shí)延>23ms,轉(zhuǎn)頭體驗(yàn)劣化,出現(xiàn)明顯黑邊。所以網(wǎng)絡(luò)傳輸?shù)臅r(shí)延應(yīng)≤20ms。
終端處理時(shí)延:數(shù)據(jù)流傳輸?shù)浇K端后,終端需要對(duì)數(shù)據(jù)流進(jìn)行解碼、同步,再經(jīng)過(guò)異步扭曲、反畸變等處理后,顯示應(yīng)用內(nèi)容。采用90FPS的解碼能力,解碼時(shí)延約11ms,云平臺(tái)和終端異步時(shí)間一般為0~1 個(gè)周期,所以終端解碼和同步時(shí)延應(yīng)≤20ms。
基于云渲染的虛擬現(xiàn)實(shí)服務(wù)可以并行訪問(wèn)多種類型的虛擬現(xiàn)實(shí)終端、外圍設(shè)備和用戶,以及提供2d 視頻、3d 視頻、虛擬全景視頻、虛擬現(xiàn)實(shí)游戲和其他很酷的服務(wù),還有門戶、游戲教育娛樂(lè)特效和其他很酷的商業(yè)展覽,以及門戶游戲教育娛樂(lè)特效和其他很酷的商業(yè)展覽,以及門戶、游戲教育娛樂(lè)、廣告、電子商務(wù)和其他應(yīng)用程序下載操作,提供一個(gè)用戶友好的終端體驗(yàn)大大提高了體驗(yàn)效果,并大大豐富了虛擬現(xiàn)實(shí)終端可以承載的服務(wù)類型。它將有力地推動(dòng)運(yùn)營(yíng)商網(wǎng)絡(luò)服務(wù)的發(fā)展,為全媒體云服務(wù)提供一種新的模式。