董強國 王文強 周令非

（中央宣傳部電影技術質量檢測所,北京100086）

1 引言

近年來,隨著沉浸式音頻技術的發(fā)展,我國電影產業(yè)也迎來了一次巨大變革。數字影廳沉浸式聲音放映已成為當今影院新技術應用的熱門配置,然而此項技術長期被國外少數幾個生產廠家所控制(壟斷)。目前,國外主流的沉浸式音頻系統(tǒng)主要有杜比全景聲(Dolby Atmos)、DTS:X 和Auro 3D等。近幾年,國內涌現出了一些沉浸式音頻還音系統(tǒng),主要有中國多維聲 (13.1)、WANOS 全景聲系統(tǒng)、音王22.5.8全景聲系統(tǒng)、飛達六面聲和Holosound全息聲等,但這些系統(tǒng)的實現方案各不相同,從而造成我國數字電影沉浸聲制作繁瑣、制版眾多、兼容性差、還音質量參差不齊,使得國產沉浸式音頻系統(tǒng)難以在影院大范圍推廣。

SMPTE 2098系列數字電影沉浸式音頻技術國際標準的發(fā)布,為數字電影沉浸聲制版的統(tǒng)一、系統(tǒng)間的兼容提供了技術標準指導。本文對SMPTE 2098-1、SMPTE 2098-2 和SMPTE 2098-5 標準中涉及的沉浸式音頻關鍵技術進行解讀,根據我國沉浸式音頻技術的現狀,提出一套專業(yè)影院用沉浸式音頻系統(tǒng)的解決方案,旨在推動中國沉浸聲盡早打破國外技術壟斷、實現統(tǒng)一制版、系統(tǒng)間互操作和與國際技術標準兼容,形成具有中國自有知識產權的數字影院沉浸式音頻標準化體系。

2 數字電影沉浸式音頻技術

數字電影沉浸式音頻是基于聲道/對象技術實現的,內容創(chuàng)建者用它們來設計具有聽眾上方和周圍的聲音,通過影廳基礎層、高度層和頂層布置的揚聲器系統(tǒng)進行聲音的還原。

數字電影沉浸式音頻關鍵技術有:用于創(chuàng)建電影沉浸式音頻內容的元數據、用于傳輸沉浸式音頻的比特流和將聲音引導到各揚聲器系統(tǒng)所需要的“渲染器”。元數據是沉浸式音頻的核心,它能夠將在聲軌上的音頻對象和音頻通道成功地渲染到多個揚聲器設備上。沉浸式音頻文件需要特殊的比特流和專門的通道進行傳輸,沉浸式音頻比特流是用于傳輸沉浸式音頻文件的載體。沉浸式音頻渲染將與畫面相關的聲床和對象元數據適當地渲染到可用的揚聲器上,使得聲音和相關的視覺元素在空間上相匹配。

3 數字電影沉浸式音頻技術相關標準解析

2013 年 10 月, 電 影 電 視 工 程 師 協 會(SMPTE)決定成立專項委員會TC-25CSS,以制定數字影院沉浸式音頻應用標準,旨在使各聲音系統(tǒng)之間實現互操作。2018 年該協會發(fā)布了包括《SMPTE ST 2098-1:2018 沉浸式音頻元數據》《SMPTE ST 2098-2:2018沉浸式音頻比特流規(guī)范》和《SMPTE ST 2098-5:2018數字電影沉浸式音頻通道》在內的一系列沉浸聲標準。通過支持在單個可互操作的數字電影包內傳送標準化的沉浸式音頻比特流,新的SMPTE沉浸式音頻標準簡化了分配,同時確保影院可以自信地播放沉浸式音頻,自主地選擇兼容的沉浸式還音系統(tǒng)。

SMPTE ST 2098-1:2018主要規(guī)定了用于創(chuàng)建電影沉浸式音頻內容所需的元數據,定義了沉浸式音頻通道元數據、音床元數據、對象元數據、結構元數據、映射坐標系和對象映射到揚聲器系統(tǒng)所需的坐標系與參照系,該標準主要內容如下:

(1)通道元數據為每個音頻通道定義了唯一的標識。元數據項標識了與通道相關的單個揚聲器或其他還音設備。元數據應被編碼,以便明確地標識期望的路由目的地。

(2)音床元數據明確了與音床相關的元數據標識,此標識為唯一標識。重映射系數則定義了如何將原始通道映射到不同的目標配置,這組值規(guī)定了每個音頻通道應配置多少增益,以生成與目標聲場配置相一致的輸出音頻通道。

(3)對象元數據明確了與對象相關的元數據標識,此標識為唯一標識。音頻對象是一組與元數據有關的音頻樣本,用于根據元數據所指示的空間位置和其他屬性進行聲音的再現。該位置可以與單個揚聲器相關聯,也可以不與單個揚聲器相關聯。對象元數據定義了音頻對象在三維空間的位置、尺寸、形狀、增益和生存周期等屬性。

(4)音頻對象位置元數據使用笛卡爾坐標系放置音頻對象,該系統(tǒng)使用三個正交軸(x,y,z)來定位空間中相對于所選原點的點。x坐標表示左右尺寸,y坐標表示前后尺寸,z坐標表示上下的尺寸,如圖1所示。音頻對象位置的笛卡爾坐標值是對理想化影廳(立方體形狀)的參考點進行了歸一化處理,相對參考點的選取如圖2 所示。圖2 中,正前方為銀幕位置、相對于影廳中的面向銀幕的觀察者定義為“左”。元數據能夠表示立方體內、上和外的音頻對象位置信息,位置元數據應至少能夠表示從Z軸中點到立方體頂部的立方體上和內部的位置信息。

圖1 笛卡爾坐標系

圖2 長方體影廳坐標實例

SMPTE ST 2098-2:2018主要規(guī)定了在比特流或文件中攜帶沉浸式音頻各種元數據的格式,它承載了重現完整沉浸式音頻節(jié)目所需的音頻要素和元數據,該標準主要內容如下:

(1)數字和數據類型編碼定義了Plex編碼、用例編碼、相對距離編碼和幅度增益編碼的結構。

(2)比特流IAFrame規(guī)范主要定義了IAFrame語法、床定義語法、床重映射語法、對象定義語法、對象區(qū)域定義19語法、音頻數據DLC 語法、音頻數據PCM 語法、授權工具信息元素、用戶數據元素。

(3)IAFrame數據字段定義了IAElement數據字段、IAFrame數據字段、床定義字段、床重映射字段、對象定義語法、對象區(qū)域定義19字段、音頻數據DLC數據字段、音頻數據PCM 數據字段、授權工具信息元素、用戶數據元素。

SMPTE ST 2098-5:2018定義了與數字電影沉浸式音頻演示相關的沉浸式音頻通道和聲場組的名稱和縮寫。該標準還提供了用于沉浸式音頻再現的電影揚聲器的典型位置的指導,該標準主要內容如下:

(1)定義了沉浸式音頻共12個通道的名稱和縮略 名 (Lh、Rh、Ch、Lsh、Rsh、Lssh、Rssh、Lrsh、Rrsh、Lts、Rts、Ts),沉浸式音頻通道描述見表1所示。

表1 沉浸式音頻通道

(2)該標準將影廳揚聲器布局分為水平層、高度層和頂層。其中水平層由傳統(tǒng)的5.1和7.1聲道的揚聲器系統(tǒng)組構成,高度層/頂層包含的沉浸式揚聲器系統(tǒng)組有Lh、Rh、Ch、Lsh、Rsh、Lssh、Rssh、Lrsh、Rrsh、Lts、Rts、Ts。

表2 沉浸式聲場組

(3)該標準在傳統(tǒng)的5.1聲道和7.1聲道配置的基礎上,推薦了沉浸式音頻9.1、11.1、13.1和15.1聲道揚聲器系統(tǒng)組的位置配置,沉浸式聲場組描述見表2所示。

4 沉浸式音頻系統(tǒng)實現方法設想

SMPTE 2098系列數字電影相關沉浸式音頻技術標準的發(fā)布,為數字電影沉浸聲制版的統(tǒng)一、沉浸式音頻文件的元數據制作和渲染、沉浸式音頻文件的傳輸、系統(tǒng)間的兼容提供了技術標準指導。SMPTE 2098數字電影沉浸式音頻標準與現行DCI《數字電影技術規(guī)范》1.2版音頻格式相比有較大變化,如在5.1/7.1聲道音頻格式基礎上增加了高度層,在垂直面上(天花板)增加揚聲器系統(tǒng)；音頻內容的制作摒棄了聲道的概念,采用基于對象的制作方式；音頻文件的構成摒棄了PCM 格式,轉而采用碼流的方式進行封裝。因此,數字電影沉浸式音頻系統(tǒng)設計方案應遵循以下原則:應盡量不增加沉浸式音頻的制作、發(fā)行和還音等流程的復雜和繁瑣程度；充分考慮與DCI《數字電影技術規(guī)范》1.2版規(guī)定的數字電影現行制作、發(fā)行和放映體系的兼容性；符合SMPTE 2098沉浸式音頻系列標準的技術規(guī)定；核心技術應規(guī)避國外相關專利的技術壁壘。

圖3 數字電影還音流程圖

圖4 沉浸式音頻系統(tǒng)流程圖

DCI《數字電影技術規(guī)范》1.2版規(guī)定了數字電影聲音發(fā)行母版制作、打包、傳輸、影院系統(tǒng)、放映和安全的技術規(guī)范,數字電影還音流程如圖3所示。沉浸式音頻系統(tǒng)應主要由浸式音頻制作、編碼、打包、播放、解碼和揚聲器系統(tǒng)組成,系統(tǒng)流程圖如圖4所示,以便兼容現有數字電影制作、打包和還音技術體系,符合SMPTE 2098系列標準的技術規(guī)范。

4.1 沉浸式音頻制作系統(tǒng)

沉浸式音頻制作擬采用基于對象的制作方式,采用以聲床作為基礎,對象為輔助的多聲道制作方式。沉浸式音頻內容的制作必須有一個沉浸式音頻聲床,通常為5.1、7.1、9.1或11.1音床,播放過程中它是一直存在的,它是分配給揚聲器系統(tǒng)的固定通道,作為沉浸式聲軌的基礎。沉浸式音頻內容由對象組成,音頻對象可以理解為共享一個物理位置的聲音元素集合,它由元數據控制,通過元數據給定的特定聲音發(fā)聲時間、電平、位置、大小、移動特性等信息,對象可以在聲場內移動、也可在單個位置重現,或者通過特定的揚聲器重現。沉浸式音頻制作系統(tǒng)可以在現有Pro Tools音頻制作系統(tǒng)中嵌入沉浸式音頻制作插件,制作沉浸式音頻元數據和同步數據,實現對現有制作系統(tǒng)的兼容。沉浸式音頻制作插件核心技術采用基于對象/HOA 的制作方式,基于對象的音頻技術主要采用VBAP 算法(Pulkki,1997),這個算法已經是公開算法,大多數廠家的專利都是在此基礎上形成的基于對象的專利,可以在現有的沉浸式音頻制作插件 (如Twirling Works、Spatial Audio Designer)的基礎上進行研發(fā)。

4.2 沉浸式音頻文件編碼系統(tǒng)

基于對象的沉浸式音頻不能夠攜帶在主聲道中進行傳輸,基于對象的沉浸式音頻核心需要利用一個特殊的傳輸用比特流,在輔助的數據軌上進行傳輸。SMPTE 2098-2標準規(guī)定了沉浸式音頻數據的編碼和解碼方式。應采用SMPTE 2098-2標準規(guī)定的沉浸式音頻碼流規(guī)范對沉浸式音頻元數據進行編碼,生成沉浸式音頻Aux Data track文件,最終實現國內外符合SMPTE 2098系列標準的廠家制作的沉浸式音頻數據的編碼。

4.3 沉浸式音頻打包系統(tǒng)

數字電影內容傳輸到影院是以數字電影節(jié)目包(DCP)的格式進行發(fā)行的,DCP 包是數字電影發(fā)行母版經過編碼、加密、封裝打包等處理形成。為了兼容現有還音系統(tǒng)、簡化發(fā)行版本,沉浸式音頻應采用數字電影節(jié)目包 (DCP)的格式進行發(fā)行,數字電影節(jié)目包 (DCP)音頻應至少包含5.1/7.1聲道、沉浸式音頻數據流和音視頻同步文件?？梢詤⒖家丫邆涑两揭纛l打包功能的系統(tǒng) (如Cine-Cert公司的ASDCPlib-2.5.14 版、羅德施瓦茨的DVS沉浸式音頻打包系統(tǒng))進行研發(fā)。通過研發(fā)沉浸式音頻打包系統(tǒng),嵌入各版本沉浸式音頻編碼文件,統(tǒng)一國產系統(tǒng)的沉浸式音頻制作系統(tǒng),實現沉浸式音頻DCP制版的相對統(tǒng)一。

4.4 沉浸式音頻還音系統(tǒng)

沉浸式音頻還音系統(tǒng)應由沉浸式音頻播放服務器、沉浸式音頻處理系統(tǒng)、聲頻功率放大器和揚聲器系統(tǒng)組成。沉浸式音頻播放服務器應支持數字電影DCP包的播放,沉浸式音頻文件應按照SMPTE 2098-2標準規(guī)定的音頻碼流進行傳輸,沉浸式音頻播放服務器與傳統(tǒng)播放服務器相比應增加沉浸式音頻文件的播放和傳輸接口,建議使用AES67 或Dante網絡音頻傳輸協議進行沉浸式音頻數據的傳輸。目前專業(yè)影院用數字電影播放服務器主要由國外廠家壟斷,需要經過DCI的認證才能夠使用。為了打破其技術壟斷的封鎖,擬采用 “外置沉浸式音頻播放媒體模塊+音視頻同步信號”的方式實現沉浸式音頻文件的傳輸。外置沉浸式音頻播放媒體模塊與數字電影播放服務器相比應具有同等安全級別,同步信號應符合ST 430-14標準關于同步信號和輔助數據傳輸協議的相關規(guī)定,沉浸式音頻還音系統(tǒng)實現方案流程如圖5所示。

圖5 沉浸式音頻還音流程圖

沉浸式聲音處理器由沉浸式音頻解碼器、渲染器、音頻通道路由和B環(huán)調試插件構成。沉浸式音頻解碼器采用SMPTE 2098-2中的相關規(guī)定進行解碼,沉浸式音頻數據的渲染應根據影院中揚聲器的位置和數量進行實時渲染。B 環(huán)調試插件應至少具備粉紅噪聲發(fā)生器、32段均衡調節(jié)、各通道延時和相位調節(jié)的功能。沉浸式音頻處理系統(tǒng)為了能夠兼容不同生產廠家的沉浸式音頻內容格式,應在設計時充分考慮與主流沉浸式音頻渲染模式的兼容性,通過研發(fā)渲染系統(tǒng)互操作性協議,最終實現支持杜比Atmos、Auro 3D、中國多維聲 (13.1)等國內外主流沉浸式音頻文件的還音。

4.5 沉浸式音頻系統(tǒng)安全性

沉浸式音頻播放媒體模板應符合DCI《數字電影技術規(guī)范》1.2版中關于安全的規(guī)定,沉浸式音頻應進行AES128位的內容加密和MXF/XML封裝打包,產生適用于數字影院發(fā)行的數字電影節(jié)目包(DCP),同時產生密鑰傳送信息 (KDM)。DCP 和KDM 安全傳送至影院后,由沉浸式音頻播放服務器進行MXF/XML 解封裝、解密密鑰提取、AES數據解密,同時實時嵌入數字音頻水印,有效保護電影版權和創(chuàng)作創(chuàng)意,保障電影創(chuàng)作質量和影院放映質量,打造更加公平、有序的電影環(huán)境。

4.6 沉浸式音頻還音系統(tǒng)B環(huán)調試基本原則

數字影院B 環(huán)是電影放映還音系統(tǒng)的一部分,從輸入源選擇器到影廳觀眾區(qū)構成B環(huán)系統(tǒng)。為了使電影錄音控制室、鑒定放映室和室內影廳音頻制作和還音環(huán)節(jié)標準化,數字影廳5.1/7.1通道B 環(huán)電聲響應頻率特性應符合標準GY/T 312-2017《電影 錄音控制室、室內影廳B 環(huán)電聲響應規(guī)范和測量》中的相關規(guī)定?；趯ο蟮某两揭纛l還音系統(tǒng)可以驅動單個揚聲器進行還原,為了能夠更好地還原聲音,B 環(huán)調試時,建議環(huán)繞聲道和頂部聲道基準調試聲壓級調整為85dB (C)。

5 結語

本文通過對沉浸式音頻制作、編碼、打包、解碼和渲染系統(tǒng)的核心技術分析和實現方案探討,希望能夠推動數字電影沉浸式音頻系統(tǒng)的全流程國產化,形成具有中國自主知識產權的沉浸式音頻系統(tǒng)標準化體系,從而實現沉浸式音頻制版統(tǒng)一和內容共享,不同制作系統(tǒng)制作的沉浸式音頻文件可以使用統(tǒng)一的碼流進行傳輸,任意一版沉浸式音頻DCP可以在任意裝有渲染互操作的沉浸聲音頻系統(tǒng)進行還音,繼而通過沉浸式音頻內容共享,推動影院布局沉浸式音頻系統(tǒng)的積極性,促進沉浸式音頻設備和系統(tǒng)健康、競爭、有序發(fā)展。