魏驊 李霏霏 楊力尉

摘要：在萬物皆可“沉浸”的時代背景下，相比于突飛猛進(jìn)的視覺圖像技術(shù)，如虛擬現(xiàn)實(shí)（VR）等，聲音技術(shù)的發(fā)展則相對滯后。本文從音頻技術(shù)發(fā)展歷程與趨勢，結(jié)合新華社國家重點(diǎn)實(shí)驗(yàn)室在空間音頻領(lǐng)域的技術(shù)攻關(guān)和應(yīng)用實(shí)踐，探討其對下一代媒體融合的積極影響，以及“視”“聽”融合面臨的主要挑戰(zhàn)。

關(guān)鍵詞：新華社國家重點(diǎn)實(shí)驗(yàn)室 空間音頻 沉浸視聽

隨著傳統(tǒng)業(yè)態(tài)數(shù)字化程度加深，可視化、交互性、沉浸式數(shù)字創(chuàng)意產(chǎn)品和服務(wù)涌現(xiàn)，人們對信息質(zhì)量和音視頻體驗(yàn)提出新的要求?？臻g音頻技術(shù)創(chuàng)造了一種三維聲音的感覺，允許用戶感知聲源的方向和距離，使虛擬環(huán)境感覺更加真實(shí)。新華社媒體融合生產(chǎn)技術(shù)與系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室（下簡稱“國重”）通過對空間音頻技術(shù)的研究，探索在新聞采編工作流程、融媒體產(chǎn)品創(chuàng)作等方面做出的革新。

一、空間音頻成為下一代音頻的必備特性

聽覺作為僅次于視覺的感知途徑，幫助人類采集了包括方位感、頻率高低等在內(nèi)的15%以上的復(fù)合環(huán)境信息。音頻的感知受到長短時記憶的影響更明顯，可以調(diào)動人的情緒變化和好惡感知。在虛擬場景中，聽覺系統(tǒng)向用戶提供輔助信息，可增強(qiáng)視覺感知，彌補(bǔ)視覺效果的不足，增強(qiáng)環(huán)境仿真性和沉浸感。國外有公園戶外音樂廳通過可變聲學(xué)環(huán)境系統(tǒng)營造室內(nèi)音樂廳的聽感；國內(nèi)有以“真實(shí)重現(xiàn)”與“虛擬創(chuàng)造”為特點(diǎn)打造的文旅演藝及展覽展示項(xiàng)目，利用藝術(shù)與技術(shù)融合、創(chuàng)意手段與現(xiàn)實(shí)環(huán)境融合、演與觀交互融合，讓觀眾通過通感代入到或具象或抽象的情景，創(chuàng)造身臨其境的效果。

從音頻技術(shù)演進(jìn)來看，20世紀(jì)80年代，聲音從一維走向二維，數(shù)字立體聲技術(shù)開始在CD、錄音磁帶等影視音樂文化消費(fèi)、語音通信等領(lǐng)域廣泛應(yīng)用。隨后，以杜比實(shí)驗(yàn)室（Dolby）與數(shù)字化影院系統(tǒng)（DTS）為行業(yè)標(biāo)準(zhǔn)的2D立體虛擬環(huán)繞聲5.1、6.1、7.1等多聲道音效音頻技術(shù)取得廣泛認(rèn)知。杜比全景聲（Dolby Atmos）和巴可3D聲音技術(shù)（Auro-3D）將沉浸式聲音或三維聲音帶到公眾面前。目前國內(nèi)影院、流媒體平臺、家庭播放終端等多以該類技術(shù)作為影音亮點(diǎn)。

以虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)為代表的融合技術(shù)，正為聲音經(jīng)濟(jì)帶來新的發(fā)展機(jī)遇，吸引著源源不斷的內(nèi)容和流量注入。目前來看，相比廝殺嚴(yán)重的視頻市場，音頻市場前途仍是一片藍(lán)海。基于聲音的技術(shù)創(chuàng)新加速，聲音價值愈發(fā)凸顯?；诼曇舻男禄臃绞秸诠袒?，消費(fèi)者習(xí)慣逐漸形成。根據(jù)《2022音頻產(chǎn)品使用現(xiàn)狀調(diào)研報告》，越來越多的消費(fèi)者追求音頻產(chǎn)品中的空間音頻特性，并愿意為此支付更多費(fèi)用。同時，相關(guān)細(xì)分市場正努力尋求將空間音頻功能整合至各類多媒體形式中：音樂產(chǎn)業(yè)致力于相關(guān)內(nèi)容生產(chǎn)，比如打造更真實(shí)的虛擬音樂會體驗(yàn)，或推出空間音頻音樂產(chǎn)品——2022年，Apple Music正式支持空間音頻，用AirPods Pro聽相關(guān)歌曲會發(fā)現(xiàn)音樂可以來自背后和周圍；2023年，網(wǎng)易云音樂和華為音樂均發(fā)布“空間音頻”，并嘗試在汽車等多終端場景支持空間音頻體驗(yàn)；電影制片人利用空間音頻打造沉浸式“聲景”體驗(yàn)，著重面向家庭影院系統(tǒng)；元宇宙已經(jīng)融入在線游戲、在線K歌、在線教育等不同行業(yè)和場景。

音視頻技術(shù)發(fā)展迅速，但存在“跛腳”問題。例如，VR為視覺體驗(yàn)帶來革命性進(jìn)展，但聽覺體驗(yàn)仍有局限?，F(xiàn)階段，多數(shù)VR內(nèi)容使用Insta360這類設(shè)備錄制，無法采集具有立體感的空間音頻?？臻g音頻專業(yè)設(shè)備價格高昂，創(chuàng)作費(fèi)時費(fèi)力，因此多采用“現(xiàn)實(shí)+虛擬”的混合音頻制作方法。當(dāng)聲音不能準(zhǔn)確反映日常聽音體驗(yàn)，眼、耳接收信號匹配度不同，容易造成用戶與虛擬世界的斷聯(lián)感，甚至引起眩暈。在通信領(lǐng)域，大腦處理日常對話，需要空間方位信息的輔助。語音會議中，方位信息缺失容易導(dǎo)致注意力轉(zhuǎn)移；當(dāng)多人同時發(fā)聲，與會者難以通過視覺信息分辨說話者，認(rèn)知負(fù)荷進(jìn)一步增加。

隨著音頻技術(shù)在傳媒領(lǐng)域的應(yīng)用，新聞對于聲音的真實(shí)性、敘事性、沉浸感等效果要求提高。如俄烏沖突相關(guān)視頻報道中，我們會希望能更清晰聽見沖突現(xiàn)場的各種聲音，包括不同距離的爆炸聲、群眾的呼救聲、記者跑步的喘息聲、來自各方位的士兵指令聲等。同期聲是現(xiàn)場的重要信息源，在戰(zhàn)地報道、自然災(zāi)害等新聞現(xiàn)場，如較完整收錄同期聲，新聞可信度和現(xiàn)場感將大大增加。

聲音還是下一代媒體融合中的重要元素，將對改變新聞生產(chǎn)流程、傳播方式產(chǎn)生關(guān)鍵性作用，進(jìn)而影響媒體的發(fā)展前景和綜合實(shí)力。如果任何擁有智能手機(jī)的人都能生產(chǎn)高質(zhì)量音頻內(nèi)容，信息內(nèi)容總量將爆發(fā)式增長?！都~約時報》曾推出采用空間音頻技術(shù)的音頻故事和廣播劇，路透社、《華爾街日報》及Meta等海外平臺紛紛布局；國內(nèi)媒體方面，中央廣播電視總臺三維菁彩聲（Audio Vivid）、芒果TV、芒果全景聲相繼推出——這些都表明通過新一代音頻技術(shù)吸引用戶到媒介平臺的競爭愈發(fā)激烈。

二、空間音頻技術(shù)的新華“密碼”

國重自2020年聚焦信息傳播過程中聲音的沉浸式體驗(yàn)和自然聽覺交互技術(shù)研究，以空間音頻技術(shù)為切入點(diǎn)，跨領(lǐng)域融合，跨學(xué)科融合，技術(shù)和內(nèi)容創(chuàng)新融合，以技術(shù)促進(jìn)信息傳播，在行業(yè)標(biāo)準(zhǔn)、技術(shù)認(rèn)知等方面進(jìn)行突破。2022年正式以“新華空間音頻”命名該項(xiàng)技術(shù)。國重研究聲音，希望搶占技術(shù)高地，突破技術(shù)壟斷，并在下一代媒體融合發(fā)展中充分釋放聲音元素，尤其是空間音頻技術(shù)的價值，創(chuàng)新“講故事”的方式方法，最大程度還原新聞現(xiàn)場，帶來傳統(tǒng)新聞報道無法比擬的在場感、參與感，增強(qiáng)報道深度。

現(xiàn)階段，從技術(shù)攻關(guān)到實(shí)踐應(yīng)用，國重主要在以下四個方面尋求創(chuàng)新突破。

1.結(jié)合技術(shù)特點(diǎn)在算法上突破?？臻g音頻與全景聲區(qū)別主要在于采集方式和還原方式。此前，業(yè)內(nèi)全景聲作品多數(shù)聲源并非真實(shí)采集，而是在聲床基礎(chǔ)上多聲像疊加而成。不同于杜比、DTS等通過技術(shù)手段制作具有空間音頻效果的內(nèi)容及增加置頂揚(yáng)聲器來實(shí)現(xiàn)3D效果，新華空間音頻技術(shù)通過從多個點(diǎn)位采集聲音數(shù)據(jù)，并進(jìn)行修正和優(yōu)化，還原真實(shí)的聲音聲場效果，讓用戶感受到更真實(shí)的音效體驗(yàn)。目前國重已對聲音采集模式完成“傳統(tǒng)聲道采集”向“全方位算法采集”的演進(jìn)。

2.結(jié)合新聞行業(yè)痛點(diǎn)在軟硬件系統(tǒng)上突破。記者跋山涉水到達(dá)新聞現(xiàn)場，記錄下寶貴的圖像資料，但收音技術(shù)等限制導(dǎo)致同期聲錄制無法達(dá)到預(yù)期效果，出現(xiàn)噪音大、有線耳機(jī)阻礙靈活操作等問題。在進(jìn)行沉浸式音視頻新聞采編及制作、稿件回傳、送簽發(fā)布、調(diào)度協(xié)同時，也仍需攜帶較冗雜的采訪裝備。針對以上痛點(diǎn)，國重創(chuàng)造性地將高質(zhì)量空間音頻采集技術(shù)與最新無線技術(shù)相結(jié)合，并與移動終端設(shè)備相結(jié)合，研發(fā)了一套全場景空間音頻采集解決方案，能便捷實(shí)現(xiàn)空間音頻聲場的實(shí)時采集、存儲、編輯、直播、發(fā)布等。國重團(tuán)隊(duì)希望新華空間音頻技術(shù)及其軟硬件系統(tǒng)，可以像大數(shù)據(jù)、云計(jì)算等技術(shù)一樣滲透到視頻新聞制作中，更有效賦能新聞內(nèi)容建設(shè)與呈現(xiàn)。

3.結(jié)合媒體融合態(tài)勢在產(chǎn)品應(yīng)用上突破。在遵循新聞傳播規(guī)律和新興媒體發(fā)展規(guī)律基礎(chǔ)上，國重以空間音頻技術(shù)為支撐指導(dǎo)內(nèi)容生產(chǎn)，創(chuàng)新內(nèi)容形式，增強(qiáng)內(nèi)容吸引力和傳播力，強(qiáng)化用戶意識、技術(shù)意識和互動意識，摸索出一套以“內(nèi)容創(chuàng)意+技術(shù)賦能”的應(yīng)用模式，初步驗(yàn)證了新華空間音頻技術(shù)的應(yīng)用需求與潛力，形成幾點(diǎn)心得。

一是聲音承擔(dān)更多敘事任務(wù)。新聞事件中往往存在特定關(guān)注對象，當(dāng)鏡頭語言缺失，需通過聲音事件引導(dǎo)視點(diǎn)，尤其是對移動聲源和突發(fā)聲音事件時，聲音敘事尤其關(guān)鍵。以國重為紀(jì)念香港回歸祖國25周年創(chuàng)作的空間音頻短片《心潮》為例，空間音頻架構(gòu)起時間脈絡(luò)與場景穿越感：短片開頭，香港回歸當(dāng)日的新聞播報響起，瞬間把受眾拉進(jìn)時代洪流中，車水馬龍聲、珠江浪潮聲、鬧市人潮聲、舞獅鑼鼓聲，伴隨粵語旁白的講述，觀眾在6分鐘內(nèi)迅速回顧25年來香港在各領(lǐng)域的發(fā)展變化。

二是聲音發(fā)揮紀(jì)實(shí)感優(yōu)勢。新聞的真實(shí)性與視聽感受密不可分，為增強(qiáng)沉浸感，需推敲聲音內(nèi)容主體何時為環(huán)境音、何時為人聲語言等。由于用戶視角可自由移動，聲音對象需隨之實(shí)時改變，聲音和視覺不同步或定位不準(zhǔn)確都會破壞沉浸感。國重創(chuàng)作的空間音頻短片《沉浸式回顧“夢天”圓夢之旅》以聲音完整、效果真實(shí)為前提，用CG動畫展現(xiàn)夢天實(shí)驗(yàn)艙遨游太空，以及空間站在軌對接、組裝、變形等畫面，發(fā)揮新華空間音頻在后期音效合成上的技術(shù)優(yōu)勢，對相關(guān)聲音模擬呈現(xiàn)。針對氛圍感最強(qiáng)的發(fā)射準(zhǔn)備階段，無論是發(fā)射現(xiàn)場聲，還是體現(xiàn)當(dāng)?shù)仫L(fēng)土人情的聲音、孩子喊出的發(fā)射倒計(jì)時、發(fā)射后現(xiàn)場觀眾的歡呼，都采用現(xiàn)場采集的空間音頻，將市井嘈雜、發(fā)射轟響等紀(jì)實(shí)元素與短片后半程CG動畫結(jié)合，保證視聽效果連貫性與整體性，營造出科幻電影感。

三是聲音小切口展現(xiàn)大命題。目前，國重創(chuàng)作的空間音頻短片以3～6分鐘時長為主，緊扣重大主題和熱點(diǎn)話題。這類題材對不同場景聲音元素的典型性、情感關(guān)聯(lián)度要求較高，國重以聲音技術(shù)為小切口，采用多重素材構(gòu)建，以細(xì)膩視角鮮活展現(xiàn)宏大命題。貫徹落實(shí)黨的二十大精神的融媒體產(chǎn)品《聽見綠水青山》系列有兩大創(chuàng)作特色，即“雙線敘事”和“本地環(huán)境聲與樂曲融合”?！稄妮^量到共生，八步沙聽見綠色奇跡》篇中，從過往的飛沙走石之聲到鏟土埋草之聲，再到產(chǎn)業(yè)發(fā)展、百姓安居樂業(yè)，以聲音客觀呈現(xiàn)從“沙進(jìn)人退”到“人進(jìn)沙退”；嗩吶樂手帶觀眾沉浸式走進(jìn)八步沙林場，以音樂主觀呈現(xiàn)“困難面前不低頭，敢把沙漠變綠洲”的精神。二者結(jié)合，視音效對比，實(shí)現(xiàn)藝術(shù)表達(dá)與主旨思想融合。

4.結(jié)合市場需求在元宇宙場景中突破。作為數(shù)字虛擬世界和物理現(xiàn)實(shí)世界深度融合交互的重要節(jié)點(diǎn)，元宇宙蘊(yùn)含著強(qiáng)大的技術(shù)觸發(fā)要素和商業(yè)可能?？臻g音頻技術(shù)被認(rèn)為是元宇宙底層技術(shù)支撐，為全球物聯(lián)網(wǎng)提供通用的沉浸式音頻入口。借助音視頻技術(shù)打造強(qiáng)交互屬性的產(chǎn)品或服務(wù)，在辦公會議、社交泛娛樂、在線教育、在線醫(yī)療、生活消費(fèi)、精神文化等產(chǎn)業(yè)創(chuàng)新應(yīng)用。以在線音樂教育為例，如能清晰還原學(xué)生演奏的音調(diào)、音色、響度，老師將能更準(zhǔn)確判斷教學(xué)情況。

基于此，國重著重在以下四個方面展開技術(shù)應(yīng)用，重構(gòu)元宇宙視角下的產(chǎn)品形態(tài)和用戶在虛擬世界的視聽體驗(yàn)。一是內(nèi)容生產(chǎn)和傳播。賦能空間音頻的數(shù)字化生產(chǎn)和傳播過程，提高內(nèi)容生產(chǎn)力和產(chǎn)品力。二是泛文化產(chǎn)業(yè)數(shù)字創(chuàng)意。數(shù)字融合出版、數(shù)字資產(chǎn)、沉浸式展覽、互動直播，賦能數(shù)字創(chuàng)意。三是線上線下教育。創(chuàng)造沉浸式教學(xué)環(huán)境，模擬現(xiàn)實(shí)世界視聽場景，實(shí)現(xiàn)“學(xué)”與“用”的深度融合。四是個人消費(fèi)和生產(chǎn)力工具。自研空間音頻采集產(chǎn)品，個人消費(fèi)電子娛樂產(chǎn)品，提高生產(chǎn)力工具的效率。

三、“視”“聽”融合須闖三關(guān)

從電影、電視到今天的VR、AR，視覺文化獲得了驚人發(fā)展。隨著視聽關(guān)系失衡現(xiàn)象極端化，呼喚聽覺文化回歸的聲音也日益強(qiáng)勁。在萬物沉浸時代背景下，“視”“聽”融合主要面臨三大挑戰(zhàn)。

1.技術(shù)標(biāo)準(zhǔn)及跨領(lǐng)域結(jié)合挑戰(zhàn)。目前，部分沉浸視聽體驗(yàn)，尤其是空間音頻體驗(yàn)，缺乏統(tǒng)一評價標(biāo)準(zhǔn)?？臻g音頻感知機(jī)制涉及復(fù)雜的聲學(xué)和心理聲學(xué)等效應(yīng)，存在個體差異，難以通過嚴(yán)格定量分析進(jìn)行主客觀評估。為促進(jìn)空間音頻進(jìn)一步發(fā)展，可與產(chǎn)業(yè)鏈上下游共同打造行業(yè)解決方案，建立從內(nèi)容制作、分發(fā)平臺到體驗(yàn)場景的技術(shù)生態(tài)，同時結(jié)合認(rèn)知科學(xué)、傳播學(xué)、大數(shù)據(jù)統(tǒng)計(jì)分析等學(xué)科領(lǐng)域，構(gòu)建跨維沉浸視聽環(huán)境。國重正積極參與國內(nèi)空間音頻技術(shù)的推廣普及，發(fā)揮新華社牽引示范作用，參與建立相關(guān)標(biāo)準(zhǔn)，通過打造落地案例，推動沉浸視聽產(chǎn)業(yè)由端到鏈深度合作，推動空間音頻標(biāo)準(zhǔn)試行應(yīng)用。

2.視聽通信應(yīng)用挑戰(zhàn)。在互聯(lián)網(wǎng)新基建的發(fā)展影響下，線上實(shí)時互動場景炙手可熱。Meta、微軟等公司在空間音頻方面的研究均指向會議等通信場景。

一是語音會議室或聊天場景。空間音頻可在一定程度上幫助受眾在多人通話場景辨別發(fā)言者，減少溝通疲勞感，提升沉浸感、參與度和效率。二是第一視角動作游戲?？臻g音頻可為玩家提供帶有方位線索的聲音信息，使玩家得以精確定位游戲中的“危險”，或?qū)﹃?duì)友進(jìn)行“施救”，讓游戲體驗(yàn)更真實(shí)。三是虛擬演藝。表演場地往往需要對聲場布置專門設(shè)計(jì)，以獲得更好的混響效果。而線上音樂直播節(jié)目中，混響效果仍缺乏氛圍感。一方面與聲音傳遞到觀眾耳朵的方式有關(guān)，可通過空間音頻技術(shù)解決，另一方面，觀眾的反應(yīng)同樣是氛圍感的組成部分。

3.媒體融合應(yīng)用挑戰(zhàn)。在融媒體內(nèi)容創(chuàng)作中，如何“視覺不搶”又能做出創(chuàng)意？抓人眼球的同時突出聲音元素？首先需明確，聲音并非畫面的配角，而是參與主線創(chuàng)作的關(guān)鍵性元素。以國重在黨的二十大召開前夕播發(fā)的空間音頻短片《聽見中國》為例，先“由視到聽”，根據(jù)章節(jié)主題、情緒和鏡頭的起承轉(zhuǎn)合，對超過400個聲音細(xì)節(jié)去重排列、轉(zhuǎn)場銜接、精準(zhǔn)表達(dá)；后“由聽到視”，對節(jié)奏感精細(xì)打磨，讓聲音跳出視覺信息，自己巧妙講故事。顆粒歸倉的豆米碰撞、海捕收獲的魚蝦奔騰、藏羚遷徙的抱團(tuán)齊進(jìn)，戴上耳機(jī)，受眾能感覺聲音從四面八方“撲面而來”，隨著畫面、音樂的轉(zhuǎn)合，共情思考。

國重團(tuán)隊(duì)希望通過對空間音頻技術(shù)的探索與實(shí)踐，不僅在新聞領(lǐng)域深化技術(shù)研發(fā)和成果應(yīng)用，更好賦能媒體深度融合發(fā)展，同時能快速應(yīng)用于更廣泛的系統(tǒng)與平臺中。當(dāng)然，要真正全方位實(shí)現(xiàn)技術(shù)落地，需得到從制作端、分發(fā)平臺到顯示端的全鏈路支持，以解決提質(zhì)、降本、增效等實(shí)際問題為牽引，推動技術(shù)下沉。

作者魏驊系上海交通大學(xué)博士生、新華社總編室運(yùn)營推廣室副主任、媒體融合生產(chǎn)技術(shù)與系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室研究員

李霏霏系媒體融合生產(chǎn)技術(shù)與系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室第一聯(lián)創(chuàng)中心主任助理兼運(yùn)營總監(jiān)

楊力尉系媒體融合生產(chǎn)技術(shù)與系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室第一聯(lián)創(chuàng)中心高級運(yùn)營經(jīng)理

參考文獻(xiàn)

[1]季凌霄.從“聲景”思考傳播：聲音、空間與聽覺感官文化[J].國際新聞界，2019（03）.

[2]杭云，蘇寶華.虛擬現(xiàn)實(shí)與沉浸式傳播的形成[J].現(xiàn)代傳播（中國傳媒大學(xué)學(xué)報），2007（06）.

【編輯：李棟】