李文勝 吳中 張炯

【關(guān)鍵詞】B格式 三維聲場(chǎng) 方位感 杜比全景聲

一.前言

2019年，四川廣播電視臺(tái)策劃制作的VR（虛擬現(xiàn)實(shí)）紀(jì)錄片《Panda with me》，正式上線。通過(guò)紀(jì)錄成都大熊貓基地飼養(yǎng)員工作狀態(tài)和大熊貓?jiān)诒Ｓ?、戶外活?dòng)等生活環(huán)境，以VR錄制方式，360o全方位呈現(xiàn)在觀眾眼前，讓配帶VR眼鏡的觀眾，獲得身臨其境的真實(shí)感覺(jué)（如圖1所示）。

作為紀(jì)錄片聲音創(chuàng)作團(tuán)隊(duì)，我們通過(guò)三維全景聲的制作，利用聲音最大限度地真實(shí)還原大熊貓與飼養(yǎng)員的日常生活工作狀態(tài)，讓觀眾體會(huì)到原汁原味的音效體驗(yàn)。

VR紀(jì)錄片的聲音制作和傳統(tǒng)紀(jì)錄片類(lèi)似，都包含前期錄音和后期制作兩個(gè)環(huán)節(jié)。除了與傳統(tǒng)紀(jì)錄片相類(lèi)似的聲音設(shè)計(jì)和錄音、編輯、混錄之外，VR紀(jì)錄片的聲音制作在工藝流程上，主要考慮如何拾取三維聲場(chǎng)里的聲音、后期制作時(shí)如何讓聲音和畫(huà)面取得同步、如何處理聲音的空間感、方位感等等。

耳機(jī)監(jiān)聽(tīng)是VR紀(jì)錄片聲音還放的基本模式，因此，音頻的后期制作，我們也是利用耳機(jī)監(jiān)聽(tīng)來(lái)實(shí)現(xiàn)聲像定位，通過(guò)頭部相關(guān)傳輸函數(shù)（HRTF）編碼，3D環(huán)繞聲以兩聲道的虛擬環(huán)繞聲形式重放出來(lái)，使聲音不會(huì)隨著觀眾頭部的轉(zhuǎn)動(dòng)而轉(zhuǎn)動(dòng)，而是保持在與視頻對(duì)應(yīng)的方位上，給觀眾帶來(lái)聲音獨(dú)立于耳機(jī)存在的幻覺(jué)。

二.前期拾音

在VR紀(jì)錄中，對(duì)聲音所處聲場(chǎng)信息的展現(xiàn)比傳統(tǒng)紀(jì)錄片的要求更高，VR紀(jì)錄片是采用Ambisonics方式錄制前期全景聲，再配以點(diǎn)、面MIC錄制相應(yīng)的突出聲音音源。

全景聲話筒錄制熊貓現(xiàn)場(chǎng)聲場(chǎng)的三維環(huán)境聲，包括：觀眾聲效、熊貓聲效、飼養(yǎng)員的動(dòng)效等同期聲，值得注意一點(diǎn)，VR錄像機(jī)的散熱風(fēng)扇聲無(wú)法避免，在后期制作時(shí)，需進(jìn)行降噪處理。

Ambisonics錄音制式是一種球形（Full-sphere）的環(huán)繞聲技術(shù)，經(jīng)過(guò)處理后得到的輸出信號(hào)稱為B格式（B-format）。B格式包含4個(gè)通道的信息（WXYZ），其中，W：全方向信號(hào)，聲音的空間感；X：聲音前后深度；Y：聲音左右寬度；Z：聲音上下高度，以獲得水平面和垂直面的三維信息，后期制作時(shí)，再解碼成不同的方位信息（如圖2所示）。

除了在熊貓基地現(xiàn)場(chǎng)直接拾取3D全景聲之外，紀(jì)錄片的同期錄音出于紀(jì)錄敘事的要求，往往還要補(bǔ)充更多的聲音細(xì)節(jié)。比如：利用超指向性話筒、領(lǐng)夾式話筒等，錄制熊貓吃竹聲、飼養(yǎng)員說(shuō)話以及走路的聲音等等。后期制作時(shí)，這些單聲道聲音素材需要進(jìn)行空間化處理，使之成為來(lái)自三維空間的聲音。

三.聲音的編輯與混錄

VR聲音后期制作軟件，需支持多路母線輸出的音頻工作站以及能完成三維空間聲音處理的插件。常用的音頻工作站有Pro Tools HD、Nuendo、Reaper、Pyramix等，我們使用Pro Tools HD 12編輯軟件，用于VR紀(jì)錄片后期音頻制作，插件選用的是B360。

VR紀(jì)錄片制作聲音時(shí)，其實(shí)就是為了能夠聽(tīng)到來(lái)自更多方向的聲音，混音師在以聽(tīng)者為中心的整個(gè)球形區(qū)域內(nèi)，來(lái)安排聲音的聲像（PAN）位置（如圖3所示）。

VR紀(jì)錄片后期制作，很顯然是不可能帶著VR頭盔完成聲音編輯的。因此，用于聲音編輯的3D參考視頻，最好是將球形視頻展開(kāi)之后，導(dǎo)入Pro Tools視頻軌，確定畫(huà)面中聲音方位，使三維聲音編輯變得非常直觀、靈活，后期制作過(guò)程中，還可以實(shí)時(shí)了解還放效果。Pro Tools不僅能進(jìn)行播放時(shí)間碼的同步，還能進(jìn)行音視頻視聽(tīng)角度的同步（如圖4所示）。

在確定某一方向基準(zhǔn)后，畫(huà)面內(nèi)容與位于球形區(qū)域中心的聽(tīng)者之間的相對(duì)關(guān)系也是確定的，這就跟上述的雙聲道立體聲、環(huán)繞聲定位方式差不多了，只不過(guò)多了聲音的在垂直方向上的高度信息。我們通過(guò)水平轉(zhuǎn)動(dòng)（Pan）和垂直轉(zhuǎn)動(dòng)（Tilt）兩個(gè)參數(shù)，就能控制聲音在視角360度球形范圍的朝向，對(duì)聲源進(jìn)行空間化處理，以及通過(guò)聲壓級(jí)衰減來(lái)確定聲源的距離，以獲得聲音的方位感和空間感。

在音視頻視聽(tīng)角度的同步的基礎(chǔ)上，我們使用B360插件，將聽(tīng)音方位參數(shù)鎖定在一起。兩者在360°范圍內(nèi)的變化完成了三維空間里的視聽(tīng)角度變化。參數(shù)鎖定之后，音/視頻的視聽(tīng)角度就能實(shí)現(xiàn)同步轉(zhuǎn)換了，空間顯示界面能直觀地體現(xiàn)出這種變化。

因?yàn)闆](méi)有杜比VR全景聲工具的VR Renderer，無(wú)法實(shí)時(shí)渲染出帶頭部跟蹤的監(jiān)聽(tīng)效果。目前，我們先生成DEMO樣片后，再結(jié)合VR頭盔顯示設(shè)備，來(lái)判斷三維聲音的空間感和方位感是否準(zhǔn)確。經(jīng)過(guò)多次測(cè)試試驗(yàn)，我們?cè)赑ro Tools時(shí)間線上所監(jiān)聽(tīng)的三維全景聲，與配戴VR頭盔監(jiān)聽(tīng)到的三維全景聲空間感、方位感基本一致。

四.監(jiān)聽(tīng)及聲音導(dǎo)出

VR紀(jì)錄片多采用耳機(jī)監(jiān)聽(tīng)，因此要對(duì)工作站的監(jiān)聽(tīng)信號(hào)，是通過(guò)HRTF函數(shù)仿真計(jì)算，使耳機(jī)中的聲音重現(xiàn)，聲音在三維空間中所處的位置，當(dāng)聽(tīng)者朝向某一方向，來(lái)自各個(gè)方向的聲音與聽(tīng)者頭部之間的關(guān)系是確定的，并模擬出聲音從某一方向傳來(lái)以及移動(dòng)變化時(shí)的效果，并實(shí)時(shí)輸出給耳機(jī)監(jiān)聽(tīng)。

以熊貓基地環(huán)境聲制作為例，常見(jiàn)的做法是用一個(gè)四聲道聲音作為環(huán)境聲鋪底，四條音軌分別映射到L、R、Ls、Rs四條聲道上；同時(shí)，加上在一定范圍內(nèi)隨機(jī)位置觸發(fā)的隨機(jī)音響效果來(lái)體現(xiàn)環(huán)境聲的方位感。在此基礎(chǔ)上，可以通過(guò)飼養(yǎng)員的腳步聲、熊貓的叫聲和吃竹聲、流水聲等點(diǎn)、線狀的單聲道聲源音效，來(lái)增加頭部轉(zhuǎn)向時(shí)，環(huán)境聲變化的豐富程度（如圖5所示）。

VR紀(jì)錄片編輯與混錄完成之后，需要導(dǎo)出聲音母版，我們選擇的母版格式是Ambisonics X（WYZX標(biāo)準(zhǔn)）格式，是4通道的ambisonics數(shù)據(jù)流。將該數(shù)據(jù)流解碼之后進(jìn)行HRTF仿真，并軌生成一個(gè)Wave文件，就獲得了用于耳機(jī)監(jiān)聽(tīng)的雙耳信號(hào)。

五.結(jié)束語(yǔ)

通過(guò)這次VR紀(jì)錄片《Panda with me》全景聲制作，我們積累了豐富的VR紀(jì)錄片音頻制作經(jīng)驗(yàn)，隨著VR紀(jì)錄片的發(fā)展，我們還可選擇杜比全景聲軟件（Dolby Atmos for VR）等相關(guān)的制作工具，和Pro Tools HD同步在一起，制作VR全景聲，通過(guò)聲像定位（3D panning）和三維空間感處理（3D reverb），進(jìn)一步完善和強(qiáng)化現(xiàn)有的制作工具功能，實(shí)現(xiàn)對(duì)VR紀(jì)錄片聲音的空間定位和電平動(dòng)態(tài)，進(jìn)行實(shí)時(shí)監(jiān)看監(jiān)聽(tīng)。

同時(shí)，我們還可借鑒VR游戲聲音制作的工具和制作方式，應(yīng)用到VR紀(jì)錄片聲音的制作中，實(shí)現(xiàn)從前期拾音、后期編輯混錄到母版輸出及平臺(tái)播放的一體化解決方案，為聲音的表現(xiàn)提供更加多元而便捷的途徑。B&P