智衛(wèi)

【摘 要】基于虛擬現(xiàn)實技術(shù)的呈現(xiàn)形式和設(shè)備，闡述電視拍攝制作中運用的關(guān)鍵性的虛擬現(xiàn)實技術(shù)，以及虛擬現(xiàn)實技術(shù)在廣電領(lǐng)域的發(fā)展前景。

【關(guān)鍵詞】 虛擬現(xiàn)實；實時縫合；虛擬植入；增強現(xiàn)實；交互模式；沉浸式；互動

【Abstract】Based on virtual reality technology rendition and equipment，explained the virtual reality technology which used in the television production，and the development prospect in the field of virtual reality technology in radio and television.

【Key Words】virtual reality； real-time suture； the virtual implants； augmented reality； interactive mode； immersive； interaction

1 引言

虛擬現(xiàn)實（Virtual Reality， VR）技術(shù)是指用戶借助特殊的輸入/輸出設(shè)備與以計算機技術(shù)為核心的科技手段生成的虛擬環(huán)境中的物體進行交互。VR技術(shù)被稱為“下一代互聯(lián)網(wǎng)計算中心”以及“下一代移動計算機平臺”，帶來人機交互的內(nèi)容、方式和效果的革新。它提供了除電視屏、電腦屏、手機屏之外的第四塊屏——即第一視角屏，通過各種交互設(shè)備使交互模式從單向轉(zhuǎn)為雙向互動，將體驗者帶入虛擬環(huán)境，獲得沉浸式的交互體驗。

VR技術(shù)以其沉浸式和互動式特點給傳統(tǒng)電視觀看模式帶來極大沖擊，同時為電視業(yè)創(chuàng)新與升級創(chuàng)造了難得機遇。2016年，VR技術(shù)在電視節(jié)目中得到了快速發(fā)展和應(yīng)用，巴西里約奧運會的直播就使用了VR技術(shù)，為世界各地的觀眾提供一種獨特的視覺體驗。制作項目包括奧運會開閉幕式、籃球、體操、田徑、沙灘排球、跳水、拳擊等，每場比賽提供三個不同VR機位的視頻流，用戶可以通過APP觀看直播或點播。

雖然當(dāng)前VR技術(shù)的發(fā)展和應(yīng)用仍處于起步階段，供應(yīng)鏈及系統(tǒng)配套還不成熟，但發(fā)展前景引人想象，國內(nèi)外科技巨頭都在加速虛擬現(xiàn)實生態(tài)系統(tǒng)布局。整個VR技術(shù)應(yīng)用的生態(tài)圈包括用戶、技術(shù)、硬件、內(nèi)容等已初步形成，在電影、電視、網(wǎng)絡(luò)、紙媒等傳統(tǒng)媒介的基礎(chǔ)上構(gòu)建出新的媒體形態(tài)。

筆者基于VR技術(shù)的呈現(xiàn)形式和設(shè)備，分析在電視節(jié)目制作中的所采用的關(guān)鍵技術(shù)及其運用。

2 虛擬現(xiàn)實技術(shù)的分類

VR技術(shù)創(chuàng)造的核心內(nèi)容是構(gòu)建一個虛擬的環(huán)境，圖1為VR技術(shù)的工作原理圖。比如采用VR頭盔，通過切斷體驗者輸入現(xiàn)實世界的視覺路徑，將用戶帶入創(chuàng)造的虛擬三維空間，打造“完全在場”的錯覺。

從VR技術(shù)的呈現(xiàn)形式可分為四類。

2.1 桌面虛擬現(xiàn)實

桌面虛擬現(xiàn)實利用個人計算機和初級工作站進行仿真，計算機屏幕作為觀察虛擬環(huán)境的窗口，通過鼠標(biāo)、追蹤球、力矩球等輸入設(shè)備實現(xiàn)虛擬環(huán)境與現(xiàn)實世界的交互，操縱其中的物體。這種VR技術(shù)會受到周圍現(xiàn)實環(huán)境的干擾，參與者缺少完全的沉浸感。常見桌面虛擬現(xiàn)實技術(shù)有基于靜態(tài)圖像的虛擬現(xiàn)實QuickTime VR、虛擬現(xiàn)實造型語言VRML、桌面三維虛擬現(xiàn)實等。

2.2 分布式虛擬現(xiàn)實

分布式虛擬現(xiàn)實系統(tǒng)是通過計算機網(wǎng)絡(luò)連接使多個用戶同處于一個虛擬空間，共同體驗虛擬經(jīng)歷。這種VR技術(shù)提升到了一個更高的境界，可以達到協(xié)同工作的目的。在中國中央電視臺（以下簡稱央視）音樂頻道《音樂公開課》節(jié)目中，為了讓更多的用戶同時體會音樂的魅力，采用VR技術(shù)對節(jié)目進行制作并通過計算機網(wǎng)絡(luò)將多個觀眾匯集在同一空間，共同感受同一個虛擬世界，參與同一場音樂公開課。

2.3 沉浸式虛擬現(xiàn)實

沉浸式虛擬現(xiàn)實系統(tǒng)的體驗，使用戶有置身于虛擬境界之中的感覺，是目前最常用的方式。它利用頭盔式顯示器或其他設(shè)備，把參與者的視覺、聽覺及其他感覺封閉起來，提供一個全新的虛擬感覺空間，并利用位置跟蹤器、數(shù)據(jù)手套等手控或聲音輸入設(shè)備，使參與者產(chǎn)生一種身臨其境、全心投入和沉浸其中的感覺。常見的沉浸式虛擬系統(tǒng)有基于頭盔式顯示器的系統(tǒng)和投影式虛擬現(xiàn)實系統(tǒng)。

2.4 增強現(xiàn)實性虛擬現(xiàn)實

增強現(xiàn)實（AR）性虛擬現(xiàn)實系統(tǒng)不僅模擬現(xiàn)實世界，而且要增強參與者對真實環(huán)境的感受，增強了現(xiàn)實中無法感知或不方便的感受。在央視綜合頻道《生活圈》節(jié)目中，主持人在介紹互動數(shù)據(jù)時面前出現(xiàn)實時數(shù)據(jù)板，數(shù)據(jù)的展示就是通過AR技術(shù)來實現(xiàn)的。在央視中文國際頻道《國家記憶》紀(jì)錄片中，也使用AR技術(shù)在嘉賓面前顯示相關(guān)的媒體數(shù)據(jù)信息，極大地豐富了熒屏效果。

3 沉浸式虛擬現(xiàn)實系統(tǒng)的主要設(shè)備

沉浸式虛擬現(xiàn)實系統(tǒng)設(shè)備主要包括拍攝制作、用戶體驗兩個部分。

3.1 拍攝制作設(shè)備

拍攝制作的設(shè)備包括多目VR攝像機和視頻縫合器、VR視頻切換、字幕機、編碼和推流服務(wù)器等。

VR拍攝制作流程如圖2所示。拍攝時通常在一個環(huán)境里布置多臺VR攝像機，每臺攝像機連接一臺VR視頻縫合器。攝像機可以安裝在固定位置，也可以安裝在搖臂或軌道上，以便提供移動鏡頭。VR視頻切換臺切出最終的一路信號經(jīng)過字幕包裝后進入到推流編碼器直接推送到云端，最后分發(fā)到各播出平臺。

3.2 用戶體驗的終端設(shè)備

對于用戶體驗的終端部分主要分為與虛擬世界進行交互的輸出和輸入設(shè)備，如圖3所示。

（1）輸出設(shè)備

目前輸出頭顯設(shè)備主要分為三類。

外接式VR頭盔：外接個人計算機、智能手機、游戲機等設(shè)備作為計算與存儲設(shè)備，具有獨立屏幕，產(chǎn)品結(jié)構(gòu)復(fù)雜，技術(shù)含量最高，代表產(chǎn)品有Facebook 的OCULUS和HTC的VIVE等。

一體式VR頭盔：自帶屏幕、計算與存儲設(shè)備，可獨立運行，此類產(chǎn)品較少，代表產(chǎn)品有戴爾BOSSNEL和小黑靈境等。

智能手機VR眼鏡：將手機放到盒子中，當(dāng)作屏幕、計算及存儲設(shè)備的作用，產(chǎn)品結(jié)構(gòu)簡單，制作成本低廉，國內(nèi)大部分產(chǎn)品屬于此類，代表產(chǎn)品有Googlebox和暴風(fēng)魔鏡等。

圖像的刷新率在很大程度上決定了VR頭顯設(shè)備體驗的好壞。因為高刷新率會降低延遲，從而減少暈動癥的發(fā)生，可為用戶獲得更為靈敏的體驗。目前要求VR顯示設(shè)備的刷新率至少在每秒60幀，市場上主流VR顯示設(shè)備會維持在每秒90幀以上。

（2）輸入設(shè)備

VR輸入設(shè)備是與虛擬世界進行主動交互時發(fā)出指令的控制器，主要包括手柄、手勢識別設(shè)備、動捕設(shè)備、跑步機、方向盤、傳聲器等。

4 電視拍攝制作中的VR關(guān)鍵技術(shù)

4.1 前端拍攝技術(shù)

VR攝像機均為無盲點全覆蓋拍攝，它通常由兩目以上朝向不同的普通鏡頭拼接而成，擁有360°全景視場。通過調(diào)研市面上的主要VR拍攝設(shè)備的性能及各項指標(biāo)，將VR拍攝設(shè)備分為消費級、專業(yè)級、廣播級，如圖4所示。

消費級VR拍攝設(shè)備：以雙目180°魚眼一體相機為主流，可以達到實時硬件設(shè)備縫合全景畫面，分辨率為2K的高清畫質(zhì)。

專業(yè)級VR拍攝設(shè)備：用多個GoPro（或小蟻等）級別運動相機組合而成，一般在4目～8目，拼接后的畫面可以達到4K的超高清畫質(zhì)。

廣播級VR拍攝設(shè)備：一般采用專業(yè)單反相機進行組合，由于相機體積龐大，一般情況下多為4目相機組合，拼接后可達到6K的超高清畫質(zhì)。

基于各項參數(shù)的對比，通常用于演播室類電視節(jié)目的制作時VR拍攝設(shè)備至少應(yīng)達到廣播級VR產(chǎn)品要求，用于ENG外拍電視節(jié)目的制作時VR拍攝設(shè)備至少應(yīng)達到專業(yè)級VR產(chǎn)品要求。

4.2 VR圖像縫合技術(shù)

VR圖像縫合技術(shù)是指將不同傳感器在不同視點和視角拍攝的具有一定空間重疊的圖像拼接起來，形成一個合乎視覺效果的大場景圖像，主要包括圖像匹配和圖像融合兩方面。其中，圖像匹配技術(shù)是VR圖像縫合的核心技術(shù)，直接關(guān)系到圖像拼接算法的成功和效率。

圖像縫合拼接按拼接的投影基準(zhǔn)可以分為柱面拼接、球面拼接和正方體拼接。其中柱面拼接由于柱面坐標(biāo)的變換比較簡單，并且投影圖像與其投影到圓柱表面的位置無關(guān)，用其描述的柱面圖像可在水平方向上滿足360°環(huán)視，具有較好的視覺效果而被廣泛采用。

在電視節(jié)目的運用中，圖像縫合分為實時縫合和后期縫合兩類。目前國際上主流的縫合軟件有Vahana VR（法國）、Kolor Panotour Pro（美國），國內(nèi)也有GO PANO VR等軟件。實時縫合設(shè)備是將2目以上全景相機錄制的多個畫面實時拼合成全景畫面的設(shè)備，解決了全景拍攝不能用于直播的問題，同時也給全景拍攝者提供實時拍攝效果的預(yù)監(jiān)功能。圖像縫合服務(wù)器主要包含多目攝影機拼接和多畫面視頻的實時縫合、全景縫合視頻的實時預(yù)覽、全景視頻實時錄制和聲音實時采集、RTMP實時推流和SDI信號實時輸出、拍攝安全距離可調(diào)整以及多目攝影機的手動曝光與白平衡調(diào)節(jié)等功能。

4.3 虛擬植入技術(shù)

結(jié)合廣電傳統(tǒng)的制作特點，節(jié)目經(jīng)常將VR拍攝與虛擬植入（實時渲染）結(jié)合運用，尤其是在現(xiàn)場直播中，實時呈現(xiàn)植入的全景虛擬效果，無需進入后期制作合成，為傳統(tǒng)電視節(jié)目的制作提供更多的可能。圖5為虛擬效果植入的全景演播室的VR+AR解決方案。

虛擬植入技術(shù)可以在各類電視節(jié)目中得到應(yīng)用：演播室節(jié)目中利用實時虛擬植入效果可以將導(dǎo)播間、攝像機位、頂部燈光等無效內(nèi)容遮擋；在體育賽事直播中，可加入與運動員有關(guān)的數(shù)據(jù)等植入效果；在大型晚會節(jié)目中植入燦爛的光效或與節(jié)目有關(guān)的虛擬效果；在軍事節(jié)目中可以在四周同時植入軍艦、飛機、戰(zhàn)勝沙盤等效果；在節(jié)目中可以植入立體效果廣告內(nèi)容，并可以為節(jié)目增加更多的廣告植入空間。

4.4 VR節(jié)目制作及分發(fā)技術(shù)

實時縫合技術(shù)的發(fā)展推動了VR節(jié)目的直播，用戶可以產(chǎn)生親臨其境的現(xiàn)場感受。VR節(jié)目直播首先需要通過多目攝像機在演播室或新聞發(fā)生現(xiàn)場進行VR拍攝，同時通過縫合服務(wù)器將多個畫面進行全景實時縫合，再通過虛擬渲染系統(tǒng)將縫合好的全景視頻疊加上虛擬植入的效果（縫合與虛擬疊加是同時進行），然后直接通過推流編碼器推送到云端，最后分發(fā)到播出平臺。VR節(jié)目可支持多平臺分發(fā)，包括VR頭顯設(shè)備、計算機、智能手機、電視機頂盒；也支持多種傳輸路徑的分發(fā)，包括RTMP推流云端分發(fā)、IP網(wǎng)絡(luò)傳輸、HFC寬帶網(wǎng)傳輸，并且支持高畫質(zhì)、高碼率傳輸。VR視頻直播云端分發(fā)視頻格式為1 920×960，碼流為3M至8M。VR視頻格式高畫質(zhì)、高碼率傳輸不僅需要通暢網(wǎng)絡(luò)、足夠帶寬，終端接收硬件設(shè)備也需要配置較高，圖6為基于IP直播和點播的VR節(jié)目方案。

5 VR技術(shù)在廣電領(lǐng)域的發(fā)展

央視2016年專門設(shè)立科研項目《虛擬現(xiàn)實技術(shù)在電視節(jié)目中的研究》，目的是跟蹤研究當(dāng)前虛擬現(xiàn)實技術(shù)的發(fā)展及對電視節(jié)目制作的影響，通過節(jié)目制作的各個應(yīng)用場景，提供VR拍攝、實時縫合、傳輸及呈現(xiàn)的完整方案。 目前，央視已經(jīng)開始在融合媒體節(jié)目《中國輿論場》和2016年歐洲杯《豪門盛宴》中嘗試VR節(jié)目制作，并計劃在近期逐步應(yīng)用到更多節(jié)目中。

圖7為央視音樂頻道《全球中文榜中榜》節(jié)目的VR制作系統(tǒng)圖。系統(tǒng)中有2臺拍攝近景的VR攝像機，1臺專業(yè)級8目一體化VR攝影機，用于近景固定機位的拍攝；1臺小型一體化4目VR攝影機，用于隱藏機位或近景運動機位的拍攝；1臺遠景攝像機，用于全景的拍攝；2臺外景拍攝攝像機；1臺帶有穩(wěn)定裝置的運動型VR攝像機，采用7目及以上的運動型攝影機拼接成VR攝影機，配置陀螺儀自穩(wěn)定系統(tǒng)，以便提高運動視頻的拍攝質(zhì)量；1臺采用4目運動型相機拼接的VR攝像機。系統(tǒng)中縫合器均帶有4K SDI實時輸出，并支持最高8K文件形式輸出。

視頻切換臺使用10路以上小型4K切換臺，帶有1級ME和2路下游鍵功能，提供多畫面監(jiān)看功能，并支持Tally輸出。系統(tǒng)配置4臺4K硬盤錄像機，其中2臺主要作為放機，另外2臺主要作為錄機使用，采用可插拔SSD硬盤作為存儲介質(zhì)，便于素材交換和擴充。此外，配置1臺55英寸4K顯示器作為多畫面監(jiān)看，并配置2臺17英寸4K監(jiān)視器，用于PGM節(jié)目和PVW預(yù)選監(jiān)看。配置2臺主備的VR字幕機用于直播中字幕信息的播出，支持4K SDI VR視頻輸入輸出，可以與互動信息系統(tǒng)連接，顯示多種交互信息。

VR視頻編碼器支持4K SDI VR視頻輸入，帶有上下黑邊自動裁剪功能，至少支持H.264和H.265編碼格式，帶有RTMP推流播出功能，可以實現(xiàn)多種分辨率同步輸出功能。圖8為演播室VR節(jié)目錄制效果。

目前，VR技術(shù)已經(jīng)開始應(yīng)用到各個電視臺，很多VR企業(yè)也有針對性地研發(fā)VR產(chǎn)品，但能達到廣電級的卻寥寥無幾，多數(shù)公司將消費級產(chǎn)品推向廣電領(lǐng)域，無法達到廣電標(biāo)準(zhǔn)和要求。造成此現(xiàn)象的原因有以下幾點。

（1） VR技術(shù)研發(fā)團隊不了解廣電領(lǐng)域中的應(yīng)用特點

現(xiàn)階段很多VR技術(shù)研發(fā)工程師都是IT行業(yè)轉(zhuǎn)型，沒有廣電應(yīng)用的經(jīng)驗和意識，研發(fā)的很多產(chǎn)品只能達到民用級，同時其分辨率、清晰度、安全性都不具備廣電行業(yè)標(biāo)準(zhǔn)。

（2） 研發(fā)廣電級標(biāo)準(zhǔn)產(chǎn)品難度大

廣電級VR產(chǎn)品要求技術(shù)含量很高，研發(fā)周期相對較長，對技術(shù)人員也有一定的要求，而多數(shù)公司現(xiàn)在只是在做一些技術(shù)比較低端、容易實現(xiàn)的產(chǎn)品，通過低端產(chǎn)品達到短時間占領(lǐng)VR市場的短期目的。

（3）拍攝方式單一

大部分VR公司沒有廣電節(jié)目拍攝制作經(jīng)驗，僅僅認(rèn)為在舞臺中央架設(shè)一臺VR設(shè)備就能完成節(jié)目制作。所以要改變這種思維和應(yīng)用模式還需結(jié)合廣電傳統(tǒng)的拍攝手法及經(jīng)驗。

（4）偏后期少完整的直播方案

很多VR的公司都是從游戲或動畫的開發(fā)公司轉(zhuǎn)型，轉(zhuǎn)型后更多的是在做VR視頻的后期制作，而廣電節(jié)目直播性較強，需要完整的一套VR直播系統(tǒng)技術(shù)方案。

6 結(jié)語

VR技術(shù)帶來的絕不僅僅是媒體產(chǎn)品形態(tài)的改變，而更可能是一個全新產(chǎn)業(yè)的到來，且規(guī)模遠超現(xiàn)在的廣電行業(yè)。VR由于其沉浸式、互動式的特點，給了受眾接觸媒體產(chǎn)品的全新方式，并產(chǎn)生了巨大的吸引力，從而給傳統(tǒng)的電視觀看模式以極大沖擊，同時也是電視業(yè)創(chuàng)新與升級的難得機遇。面對這個巨大的機遇，包括Google、Facebook以及BAT在內(nèi)的互聯(lián)網(wǎng)公司都在進行積極的布局與嘗試，都期待未來在VR的產(chǎn)業(yè)中占盡先機。作為電視媒體，發(fā)展VR的發(fā)力點是VR內(nèi)容制作或者構(gòu)建VR內(nèi)容平臺，為此，要對新聞事件直播、體育賽事直播、綜藝娛樂節(jié)目進行VR制作的探索，同時要加快對VR人才引進與培養(yǎng)，只有這樣才能在VR領(lǐng)域搶得先機并獲得更大發(fā)展。

參考文獻：

[1] 中央電視臺發(fā)展研究中心. VR發(fā)展現(xiàn)狀及在媒體領(lǐng)域的應(yīng)用[Z]. 2016.