■ 丁 陽 郭艷民

一、VR影音作品視聽美學(xué)新形態(tài):交互式VR與線性VR體驗融合

VR影音作品的體驗者想要體驗虛擬空間中的運動,需要在現(xiàn)實環(huán)境中移動,體驗者的視覺、聽覺以及觸覺都會隨著頭部及身體的運動實時反饋,體驗的時長由體驗者自主控制。有學(xué)者對VR影音作品的要素進行了歸納,指出“全景+立體+根據(jù)觀者反饋而實時渲染的內(nèi)容,是完整定義VR影像的三要素,其中觀者的反饋包括自由視角、劇情選擇、動作介入、道具使用等多種要素?！雹?/p>

(一)VR影音作品:介于傳統(tǒng)影音作品與VR游戲之間的體驗

相較傳統(tǒng)影視作品,VR影音作品打破了畫框的限制,改變了傳統(tǒng)電影中的敘事原則與視聽語法,體驗者可以在虛擬環(huán)境中隨意轉(zhuǎn)動視角。此時,體驗者的身體仿佛化為一個巨大的操控桿,選擇權(quán)部分交予了體驗者,在不影響敘事表達的情況下,體驗者具有相當大的“自由度”。這種對內(nèi)容的自由設(shè)定給創(chuàng)作者帶來了挑戰(zhàn),他們需要仔細地引導(dǎo)體驗者,以便有效地進行敘事?，F(xiàn)階段VR影音作品的敘事原則還是從傳統(tǒng)電影改編而來,尚處于向明確的語法演變的初級階段。當創(chuàng)作者想要呈現(xiàn)一個依賴于特定事件序列展開的情節(jié)敘事時,這種自由便構(gòu)成了一種挑戰(zhàn)。荷蘭阿姆斯特丹應(yīng)用科學(xué)大學(xué)研究員Vosmeer、埃因霍溫理工大學(xué)教授Schouten認為,VR影音作品中,體驗者和敘事之間的關(guān)系是無法準確預(yù)測的,每個體驗者都會有自己的體驗版本,VR電影的體驗不是完全被動的(如傳統(tǒng)電影),也不是完全主動的(如VR游戲),它介于這兩種體驗之間。②

(二)音頻線索有效引導(dǎo)注意力

在VR影音作品中,體驗者需要自行轉(zhuǎn)頭或移動身體探索劇情,影像的出現(xiàn)打破了原來的線性順序,這時有方向性和距離感的音頻線索就將發(fā)揮重要作用。體驗者的聽覺感知總是“打開”的,因此對于看不到的區(qū)域(被墻或者物體遮擋視線的區(qū)域),體驗者都會借助音頻線索檢索信息。這些音頻線索主要包括人物對話、空間音頻、音效和音樂?？梢?音頻線索有利于在敘事過程中引導(dǎo)體驗者視線,并進行有效的空間調(diào)度,音頻線索不依賴于提示時的注意力焦點,且可與體驗者視域之外的元素相聯(lián)系,Jayesh S.Pillai和Manvi Verma通過實驗考察了知覺線索與VR影音作品情節(jié)點相關(guān)的體驗保真度,從而提升VR影音作品帶來的沉浸感。其中就明確論證,音頻線索無論是獨立存在還是與視覺線索相結(jié)合存在,都能有效地引導(dǎo)體驗者的注意力,空間音頻在其中發(fā)揮了異常重要的作用。③

VR技術(shù)給予體驗者活動頭部或移動身體來控制視角的可能性,這意味著體驗者關(guān)心的不再是空間有限畫幅而是整個空間,創(chuàng)作者必須考慮到全部視角的畫面和聲音內(nèi)容；同時構(gòu)建影像和聲音的源頭來自于空間信息,空間信息在時間的推移下形成的變化才是整個創(chuàng)作的目的,作品內(nèi)容在空間內(nèi)是變化的,變化成為構(gòu)建時間的質(zhì)料。這種視聽美學(xué)形態(tài)突破了傳統(tǒng)電影單一的固定媒體形態(tài),實現(xiàn)了視聽傳播方式的革新。

二、VR影音作品的空間聲音體驗

虛擬聽覺空間來源于真實的聽覺空間,馬歇爾·麥克盧漢(Marshall McLuhan)最早使用“聲學(xué)空間”(acoustic space)一詞來描述周圍的聽覺空間。而后,艾德蒙·卡彭特(Edmund Carpenter)在論著《愛斯基摩人的現(xiàn)實》中發(fā)展了這一概念,用“聽覺空間”(auditory space)替換了“聲學(xué)空間”(acoustic space):“聽覺空間沒有特定的焦點。它是一個沒有固定邊界的球體,是由事物本身制造的空間,而不是包含事物的空間。它不是象形空間,并非是被框住了的,而是動態(tài)的,總是在變化中,時刻創(chuàng)造自己的維度。它沒有固定的邊界,它對背景是無所謂的。眼睛聚焦、定點、抽象,在物理空間中定位每一個物體,在背景的襯托下；然而,耳朵卻偏愛來自任何方向的聲音……”④聽覺空間不存在固定的邊界,一個點聲源以相同的響度值向全方向傳播,隨著距離的增加,響度逐漸減弱,直至一個邊界點完全消失。在電影研究中,米歇爾·希翁(Michel Chion)將這種只存在于畫外的、巨大的空間描述為擴展域(superfield)。⑤這個空間的聲音是從銀幕物理邊界之外的揚聲器發(fā)出來的環(huán)境聲、噪聲、音樂聲等聲響創(chuàng)造而來,它并不是時刻都與我們在銀幕上看到的影像同步,但從結(jié)構(gòu)上說,它不存在任何的自主性,比起傳統(tǒng)的單聲道電影,擴展域以一種更為具體和明確的方式,提供了影片敘事情節(jié)周圍所有空間的一種連續(xù)的、恒定的知覺。推知而來的VR影音作品中的聽覺空間,更趨近于多聲道電影中的擴展域,但其聽覺空間具有自主性。

(一)空間音頻構(gòu)建全景空間聲場

如果說,聲音技術(shù)早期發(fā)展是為了讓觀影者聽到聲音、聽清聲音,實現(xiàn)聲畫合一的基本要求,那么環(huán)繞聲及沉浸聲的發(fā)展則是為了進一步實現(xiàn)聲音在空間聲場中位置和距離的精確變化,以促成觀影者最大限度地產(chǎn)生身臨其境之感。杜比聲技術(shù)的出現(xiàn)創(chuàng)造了清晰、個性化的聲音,改變了人們對空間的感知,也改變了場景的構(gòu)成規(guī)則。但是這種基于聲道的重放系統(tǒng)所產(chǎn)生的空間聽覺效果還是與原聲場有一定差別。在全景聲重放系統(tǒng)中,由于聲波傳播中存在直達聲和反射聲并且受制于所在的建筑空間環(huán)境等等原因,許多空間移動的音響效果并不理想,遮蔽了很多聲音的細節(jié),并且與觀眾所在的不同聽音位置也有關(guān)系。針對這些問題,全景空間聲場可以最大程度上削減聲音在傳播中所產(chǎn)生的折扣。

構(gòu)建空間聲場的目的是在三維空間中創(chuàng)造一個圍繞聽者的聲音環(huán)境的印象,從而模擬人耳在三維空間中的聲音定位。根據(jù)蓬托斯·拉赫松(Pontus Larsson)等人的研究,空間音頻傳輸方法可以分為聲場相關(guān)法(多聲道系統(tǒng))和頭部相關(guān)法(雙耳系統(tǒng))兩種⑥,鑒于VR影音作品常通過耳機進行聲音再現(xiàn),因而較為常用。HRTF(Head-related Transfer Function)是頭部相關(guān)傳輸函數(shù),在理想情況下,這種聲音定位的算法能夠?qū)崿F(xiàn)每個人都能真正聽到的虛擬聲音,如同他們各自感知真實聲音一樣。目前囿于個性化HRTF造價費用過高,還未能在市場上廣泛應(yīng)用。聲音需要根據(jù)人頭部或身體位置的變化即時演算出所對應(yīng)的聲像定位,如當頭部向左邊轉(zhuǎn)動時,原本來自正前方的聲音就要相應(yīng)地改變方向,變成相對于頭部右側(cè)。這樣無論體驗者去往虛擬空間的何處,聲音都會隨其空間環(huán)境變化、視覺方向及焦點變化而相應(yīng)實時改變。交互性質(zhì)的引入使VR環(huán)境下的聽覺空間更具自主性,這也要求創(chuàng)作者應(yīng)將全景空間思維納入到聲音設(shè)計的環(huán)節(jié)。

(二)聲音的虛擬性

柏拉圖的《理想國》中有一個著名的“洞穴寓言”:一群囚犯被困于山洞中,他們被鎖鏈拴住,無法轉(zhuǎn)頭看洞外的景象,只能透過身后火光看見投射在巖壁上的影子,聽見他們說話的回聲,這些囚犯將影子和回聲當作世界的真實存在。⑦聲音的虛擬性與柏拉圖的“洞穴寓言”有很大共鳴?，F(xiàn)實就是巖壁和投射的影子,而火焰和投射影子的身體代表虛擬。那些轉(zhuǎn)向面對火的囚犯可能會習(xí)慣它,并發(fā)現(xiàn)他們的知覺框架會向那個方向轉(zhuǎn)換。同樣地,在聲音虛擬中,聽者如果不考慮他們對聲音的固有感知經(jīng)驗,嘗試理解其潛在的機制,可能會發(fā)現(xiàn)他們對聲音的體驗發(fā)生了變化。這意味著,曾經(jīng)是虛擬的東西變成了現(xiàn)實。前文已經(jīng)說明,傳統(tǒng)影院觀影時,所有的聲音都來自周圍的揚聲器,但是我們的感知卻將其定位在面前的銀幕,使觀眾感覺聲音來源于銀幕中的某個事件或物體?，F(xiàn)實世界中,人感知到的聲音與聲源聲音一致,但在電影中,這種一致性常常伴有虛擬性。擬音師通過使用音色相似的物品以敲擊、摩擦的方式進行模擬。對聽者來說“聽起來真實”的聲音和“真正真實”的聲音是兩種不同的東西,聲音的物理性質(zhì)非常顯著,因而有被模擬的空間。如同塔科夫斯基所說,在電影中,精準寫實的聲音世界是無法想象的,這意味著鏡頭里要混雜所有聲音,勢必造成聲音的不和諧,這種不和諧的結(jié)果只能是聲音在電影中不受重視。如果沒有適當?shù)倪x擇,電影等于沒有聲音,因為它喪失了自己的表達⑧。

這樣的模擬也經(jīng)常發(fā)生在VR影音作品中,很多幻想或是超現(xiàn)實的環(huán)境營造都需要大量的聲音素材,這些素材不可能通過直接錄制物體和事件獲得,涉及大量的擬音和音效剪輯。此外,與傳統(tǒng)電影有所不同的是,VR影音作品的虛擬性還體現(xiàn)在用耳機重放時,聲音在頭部定位這種貼近性有效地消除了聲源和聽者之間潛在的聲學(xué)效應(yīng),聲源聽起來就在聽者的腦袋里。耳機代表了一種虛擬的效果,使聲音聽起來既來自聲源處,又在聽者的腦袋里,由此拓展了虛擬的聽覺空間,這是VR體驗所獨有的。虛擬現(xiàn)實的任務(wù)是要構(gòu)筑一個與真實世界相對應(yīng)的虛擬世界,聲音打開了有限的視覺空間,讓體驗者通過可見和可聽的內(nèi)容結(jié)合起來,使其成為可感知的整體。聲音的虛擬性并沒有產(chǎn)生一個不真實的東西,而是產(chǎn)生了一種真實的可能性,這是對現(xiàn)實的增強、擴展和延伸。聲音的虛擬性影響著體驗者聽到的東西,并影響著體驗者的體驗方式,進而作用于體驗者的認知方式。聲音的虛擬性將聲音定位為一種新的感知,從一個虛擬的聲音集合體中實現(xiàn),由物理屬性和心理聲學(xué)定位共同構(gòu)成一個完整的聲音感知體驗,是一種基于現(xiàn)象學(xué)的更具包容性、以聽者為中心的聲音理論。

三、聽覺空間的現(xiàn)象學(xué)陳述:復(fù)合意向性

如果“洞穴寓言”的故事繼續(xù),柏拉圖假設(shè)當成功離開洞穴的囚犯感知到外面的世界后,他們可能會希望返回洞穴,然而,在返回后卻發(fā)現(xiàn)他們已經(jīng)喪失了感知巖壁陰影的能力。囚徒和逃亡者反映了現(xiàn)象學(xué)和經(jīng)驗主義者的區(qū)別。現(xiàn)象學(xué)是關(guān)于純粹意識現(xiàn)象的科學(xué),⑨用來描述經(jīng)驗的結(jié)構(gòu),特別是意識、想象、與他人的關(guān)系以及人類主體在社會和歷史中的處境。當前國外學(xué)界對聲音現(xiàn)象學(xué)的研究以美國著名現(xiàn)象學(xué)家唐·伊徳(Don Ihde)為代表,他的專著《聽和聲音:一種聲音現(xiàn)象學(xué)》在學(xué)界產(chǎn)生了重要影響,為學(xué)界構(gòu)建聲音現(xiàn)象學(xué)范式奠定了基礎(chǔ)。他的聲音概念不僅僅局限于人類的聲音,同時還涉及我們在聆聽活動中所有發(fā)出聲音的物。⑩書中重點關(guān)注了聽覺感知與注意力,尤其是將聽覺和聲音視為一個相互關(guān)聯(lián)的整體或?qū)嶓w的現(xiàn)象學(xué)。對于伊徳來說,尋找聽覺體驗的新語言首先要從哲學(xué)傳統(tǒng)的視覺隱喻中轉(zhuǎn)變過來,打開聽覺隱喻的大門,朝著聆聽世界聲音特征的方向發(fā)展。伊徳的方法論來源于胡塞爾和海德格爾,對胡塞爾來說,注意力和所有經(jīng)驗的中心是意向性,意向性是理解人類和他們的世界之間關(guān)系的核心概念。意向性的概念并沒有將人與世界分開,而是使人與世界之間不可分割的聯(lián)系變得可見。由于人類經(jīng)驗的意向性結(jié)構(gòu),現(xiàn)實也只能從人與現(xiàn)實的關(guān)系中理解,每一次理解的過程都產(chǎn)生了我們與世界的關(guān)系,也就是“我們的世界”,人類總是通過一個中介的人造物建構(gòu)人類與世界之間的特定關(guān)系,比如進行電話交談這樣的體驗就涉及到技術(shù)構(gòu)成的意向性問題。荷蘭特文特大學(xué)特聘教授Peter-Paul Verbeek認為,當人類意圖使用技術(shù)時,中介意向性(mediated intentionality)就發(fā)生了；當人與技術(shù)真正融合時,產(chǎn)生混合意向性(hybrid intentionality)；當人的意向性與技術(shù)的意向性結(jié)合時,產(chǎn)生復(fù)合意向性(composite intentionality)。

具體到VR影音作品中的聽覺空間,空間音頻作為特定的技術(shù)可以針對體驗者不同的轉(zhuǎn)動方向,實時渲染音頻內(nèi)容,體驗者此刻也只關(guān)注對他們產(chǎn)生意義的聲音,這種定向性的技術(shù)被添加到人類的意向性中,復(fù)合意向性隨之產(chǎn)生。這里涉及到雙重意向性,一個是技術(shù)對生活世界的意向性,一個是人類對這種技術(shù)意向性作用下的意向性。由此,技術(shù)的意向性與人類的意向性相通,人類需要依賴技術(shù)體驗現(xiàn)實,VR環(huán)境下的聽覺體驗不能等同于現(xiàn)實環(huán)境下的聽覺體驗,它仍然是經(jīng)由VR技術(shù)中介所帶來的聽覺體驗。想要理解聽覺空間、聽覺主體與其環(huán)境的關(guān)系,還需要理解身體概念在其中的轉(zhuǎn)變和聆聽的意向性模式。

(一)具身性與身體在場

人類與技術(shù)人造物之間存在的四種關(guān)系中的第一種為具身關(guān)系。伊德將具身一詞限定在關(guān)于身體延伸的多模態(tài)的第一條線索,具身關(guān)系并不局限于視覺關(guān)系,它們可能發(fā)生在任何感覺或微觀知覺維度,比如助聽器幫助聽力障礙的人聽清聲音,手杖輔助盲人行走,這是因為一個人的身體意象的經(jīng)驗不是固定的,而是可延展的。莫里斯·梅洛-龐蒂(Merleau-Ponty)區(qū)別了作為本己的身體和作為對象的身體,在他看來身體被對象化是“客觀世界起源中的一個決定性因素”,這個概念在VR環(huán)境下依然適用。體驗者在虛擬世界的化身是一個三維的對象,本己身體在退出客觀世界時,把身體和它周圍的環(huán)境意向性地聯(lián)系在一起,以身體感知的方式呈現(xiàn)人的主體間性,并最終向我們揭示有感覺能力的主體和被感知的世界。

具體到作品中,“在場感”(sense of place)是一個重要的先決條件,這種“仿佛自己在現(xiàn)場”的感覺來自于體驗者將自己移情至虛擬影像所構(gòu)建的空間之中,其中聲音扮演著不可或缺的角色。企鵝通過聲音找尋到它的幼仔,人們也可以通過電話中傳來的聲音識別出一個人,但這也并非絕對的,通過聲音而判斷某個人的特征只是顯現(xiàn)的特征,但這樣的聲音特征能表明一個人的在場。聲音的表達來自人的身體,這種獨特性是可被察覺的,類似地,物在其物性上也是可被察覺的。通過結(jié)合作品體驗,VR影音作品中聲音所營造的在場感主要通過語音交互和音效塑造而成。

語音交互是使體驗者獲得“在場感”的重要手段。第78屆威尼斯VR競賽單元最佳VR作品《歌利亞:玩轉(zhuǎn)現(xiàn)實》(Goliath:Playing with Reality),采用手勢交互與語音交互相結(jié)合的體驗方式,體驗者可以用手柄控制聲音,影像中出現(xiàn)了一串串動態(tài)的字符串,此時手柄變成一個圓圈,體驗者只有將圓圈套入方塊字符串時,才可以聽到清晰的語音,影像也配合顯示語音所對應(yīng)的文字,如果圓圈沒有套入字符串中就聽到無法辨析語義的聲音。隨著這些正方體掉落、升起、堆疊、傾倒,體驗者感受到主角歌利亞內(nèi)心的喜怒哀樂、所思所感。獲得翠貝卡電影節(jié)故事景觀評審團大獎的《庫松達》(Kusunda),以尼泊爾的庫松達土著社區(qū)為中心,講述了86歲的采集狩獵者薩滿法師Lil Bahadur和他15歲的孫女Hima的生活。尼泊爾目前大約只有 150 人仍然使用庫松達語,這種歷史悠久的語言已經(jīng)瀕臨滅絕。體驗者有機會通過一系列語音驅(qū)動的互動從庫松達語中學(xué)習(xí)一些短語,雖然作品試圖通過體驗者選擇不同的發(fā)聲短語,創(chuàng)造不同的敘事分支,但體驗者不管讀錯與否都不會對后面的敘事產(chǎn)生影響,也無法通過語音的選擇創(chuàng)建不同的敘事情節(jié),很顯然并沒有達到相應(yīng)的交互體驗,作品的在場感也因此打了折扣。

此外,在場感還可以通過音效塑造實現(xiàn)。獲得第77屆威尼斯電影節(jié)最佳 VR 沉浸式作品評審團大獎和2021 年戛納 XR 最佳 VR 互動體驗獎的《家中的劊子手》(The Hangman at Home),以動畫的形式邀請體驗者進入五個交織的故事,作品中有一個場景可供體驗者自行選擇近距離或者遠距離觀看、聆聽其中某一個故事中人們之間的親密行為,將體驗者從旁觀者轉(zhuǎn)變?yōu)槟繐粽?。隨著體驗者的走近或遠離,聲音也相應(yīng)地放大或減小,同時空間音頻也作用在這個部分,用來暗示體驗者所在的方位和每個場景故事發(fā)生對應(yīng)的位置。創(chuàng)作者有意將這五個故事中出現(xiàn)的一些物品作為交互情節(jié)點,體驗者可以嘗試彈奏鋼琴、點燃火柴、打開唱盤機等一系列動作,每個動作都有相應(yīng)的音效,特別是在點燃火柴燒毀書籍的那一刻,體驗者從一個旁觀者變成參與者,浸入了一個虛擬世界。

VR影音作品中,在場感的實現(xiàn)是VR體驗?zāi)芊瘾@得沉浸感的前提。這種沉浸式體驗與移情作用相聯(lián)系,而移情作用的前提是體驗者處在客觀對象所處的環(huán)境,借助聲音這一媒介將人身體的在場和物的在場呈現(xiàn)出來,試圖讓體驗者對虛擬環(huán)境中的人和事物產(chǎn)生同情和共鳴,從而發(fā)揮和釋放作為主體的想象力和情感,更好地實現(xiàn)移情作用。

(二)VR影音作品中聆聽的意向性模式

建立在虛擬性和具身性的基礎(chǔ)上,我們體驗的聲音不能與我們、我們的身體或是物理環(huán)境分開,不同的聆聽模式會重新定義和定位聲音。希翁區(qū)分了三種不同的聆聽模式:因果聆聽、語義聆聽和縮減聆聽。因果聆聽是最常見的,目的為了更好地理解聲源或事件；語義聆聽包含了信息編碼或解碼的過程,目的是為了解釋某種意義,比如前文提到的《庫松達》中語音互動的部分；縮減聆聽是以聲音自身特性為中心的聆聽模式,比如描述樂器的音色。之后在Tuuri和Eerola的分類法中,聆聽模式的概念得到了進一步的擴展。對于Tuuri和Eerola來說,聽聲音或音樂并不是一種通過聽覺來掌握意義的同質(zhì)化行為,聽眾的意向性常常被忽視,由此他們提出聆聽受到三個方面的影響:注意力(我們專注于聲音的程度),意向性(聆聽模式:我們作為聆聽者如何感知聲音,作為我們試圖理解世界的結(jié)果)和傾向性(聆聽風(fēng)格:我們最傾向于利用哪種聆聽模式)。需要注意的是,這三種聆聽模式在復(fù)雜、多變的VR影音作品中也會相互結(jié)合發(fā)揮作用。為了描述知覺現(xiàn)象我們必須認識到意識和主動感知的問題。在電影中,銀幕限定了給觀眾看與聽的內(nèi)容,鑒于我們文化中缺乏對聽覺的訓(xùn)練,導(dǎo)致聲音信息的遺漏或者難以選擇某些聲音內(nèi)容的情況發(fā)生；而在VR影音作品中,影像和聲音都會隨著體驗者的交互行為發(fā)生變化,我們的意識會影響感知,主動地聆聽,同時,聲音在體驗者視線外的區(qū)域產(chǎn)生的增值現(xiàn)象能夠更好地解釋影像的意義。由此可見,在VR影音作品中聲音比影像更能成為情感和語義控制的潛在手段。

四、聽覺空間的審美建構(gòu):聲境與聽覺主體間的契合

康德認為,審美判斷建立在人類的某種共通感(common sense)基礎(chǔ)上,共通感的意思是當人給出一個審美判斷后,他可以跟別人討論,獲得別人的認同。由此康德認為美具有主觀的普遍性,用普遍性表示美感是可以傳達予他人的。對傳統(tǒng)電影來說,自然地再現(xiàn)聲音世界是無法想象的,如果銀幕上出現(xiàn)了一切聲音,將會是非常喧鬧的,也很難讓觀眾抓住影片想要突出表達的內(nèi)容,電影中的聲音必須經(jīng)過設(shè)計,才能形成自己的聲音表達。在處理影片聲音設(shè)計時,聲音設(shè)計師需要借助審美的方式,將審美欣賞作為一種知覺經(jīng)驗。

音景(soundscape)是當代聲音研究(sound studies)中的一個重要概念,電影研究中也經(jīng)常運用音景的理論解釋聲音的現(xiàn)象。音景由景觀(landscape)衍生而來,加拿大西蒙弗雷德大學(xué)教授默雷·謝弗(Murray Schafer)認為,音景是通過聲音理解人們在特定時間與環(huán)境相互作用的方式,Barry Truax將其定義為聲音環(huán)境,強調(diào)個人或社會對聲音的感知和理解方式。不難發(fā)現(xiàn),音景的概念由景觀而來,還是基于西方視覺范式的提法,同時音景將聲音作為一個對象看待,聲音被放置在景觀和對事物視覺理解的框架下,以英國阿伯丁大學(xué)蒂莫西·英戈爾德(Timothy Ingold)教授為代表的學(xué)者認為,音景的概念不能準確解釋聲音的內(nèi)涵,聲音不應(yīng)是對象,而應(yīng)該是我們感知、思考的媒介。他將聲音與光(而非可見物體或圖像)進行比較,正如視覺研究傾向于將視覺從屬于圖像,將眼睛視為再現(xiàn)圖像的工具,而不是感知器官,音景研究將耳朵簡化為簡單的回放工具存在著很大的風(fēng)險。英戈爾德用天氣、風(fēng)和呼吸這類的例子,提出另一種理解聲音的方式,即作為體驗的聲音,聲音就像呼吸一樣,是一種來去循環(huán)的能量。基于英戈爾德對于聲音的理解,有學(xué)者提出了聲學(xué)環(huán)境/聲音環(huán)境,簡稱聲境(acoustic milieu)的概念,Milieu是一個法語詞匯,英文翻譯為environment,聲境主要是指通過聲音或聽覺創(chuàng)造的環(huán)境,但是聲境不是一個簡單的環(huán)境。國內(nèi)學(xué)者王婧認為,聲境不僅僅是一個環(huán)境,它是主動產(chǎn)生的,具有物質(zhì)、符號和記憶的特征。如果我們把聽者作為我們的主體,那么人們就會理解,通過聽的行為,他與聲音環(huán)境相互作用,產(chǎn)生我們所說的聲音。因此,聲音既不是物體,也不是振動體,也不是振動發(fā)生的空間；聲音是聽者與環(huán)境相互作用的產(chǎn)物。聆聽不再是沉思眼前的事物,而是沉浸在環(huán)境中。聲境的概念摒棄了西方傳統(tǒng)美學(xué)中主客二元對立的思想,指向一種關(guān)系性的環(huán)境。此外,因為聲境只是環(huán)境的一部分,所以聆聽的行為不是一種專注于一種感覺并麻醉其他感覺的截斷感知:它編織了主體與特定環(huán)境之間的關(guān)系,聲音環(huán)境與視覺、觸覺和其他環(huán)境共存。聲境的理論有助于我們理解VR影音作品中創(chuàng)作者、體驗者和作品之間的關(guān)系。例如在聲音交互作品《水母》(Jellyfish)中,該作品運用實時語音分析儀測量體驗者語音的振幅、頻率變化,并根據(jù)語音信息實時反饋給體驗者所聽所見的虛擬環(huán)境。體驗者置身海洋世界,一旦凝視某一個水母,水母便會向體驗者游來,它會根據(jù)體驗者發(fā)出的聲音產(chǎn)生相應(yīng)的形態(tài)變化,當體驗者保持沉默不理會水母時,它就會游離。體驗者說話或歌唱的過程中會將注意力更多放在聆聽自己的聲音上,創(chuàng)作者在設(shè)計之初就充分考慮了語音信息的特征,水母的形態(tài)變化也根據(jù)語音的變化而發(fā)生改變,體驗者聆聽的行為沉浸在整個海洋環(huán)境中,聲畫交織一體,體驗者通過這樣的交互體驗了解一個物種。

這里不妨借用禪宗中的心和境的關(guān)系來進一步分析VR影音作品中的聽覺空間的審美建構(gòu)。體驗者(感知主體)和聽覺空間(聲音環(huán)境)之間的關(guān)系可以看作是心與境之間的關(guān)系。唐代佛教學(xué)者宗密禪師說:“心境互依,空而似有故也。且心不孤起,托境方生；境不自生,由心故現(xiàn)。心空即境謝,境滅即心空?！弊髌分新曇羲鶢I造的聽覺空間首先是創(chuàng)作者主觀經(jīng)驗的表達,聲境強調(diào)個人對某種聲學(xué)環(huán)境的體驗,體驗者在交互的過程中,感知主體與環(huán)境之間的相互作用產(chǎn)生了一種幻覺,根據(jù)人的頭部及身體的移動帶來聽覺空間的變化,基于對現(xiàn)實環(huán)境的記錄,但又不是完全還原現(xiàn)實,體驗者接受信息的多少取決于自身的交互過程及個人的主觀經(jīng)驗,如人生閱歷、學(xué)識素養(yǎng)、氣度胸懷等。一部成功的VR影音作品應(yīng)該做到心與境的契合,這就需要創(chuàng)作者在創(chuàng)作之初就充分考慮到作為感知主體的體驗者的接受程度,聽覺空間設(shè)計需要具備全向聲場的思維,通過有效的交互場景推動敘事的進行。

注釋:

① 花暉:《VR電影語言》,上海交通大學(xué)出版社 2019年版,第29頁。

② Vosmeer M,Schouten B.ProjectOrpheusAResearchStudyinto360CinematicVR.Proceedings of the 2017 ACM International Conference on Interactive Experiences for TV and Online Video.2017.pp.85-90.

③ Pillai J S,Verma M.GrammarofVRStorytelling:AnalysisofPerceptualCuesinVRCinema.European Conference on Visual Media Production.2019.pp.1-10.

④ Carpenter E S,Carpenter E,Mcluhan M.ExplorationsinCommunication:AnAnthology.Beacon Press(MA).1966.

⑤ [法]米歇爾·希翁:《視聽:幻覺的建構(gòu)(第三版)》,黃英俠譯,北京聯(lián)合出版公司 2019年版,第132頁。

⑥ Larsson P,V?ljam?e A,V?stfj?ll D,et al.Auditory-inducedPresenceinMixedRealityEnvironmentsandRelatedTechnology.In the Engineering of Mixed Reality Systems.Springer.2010.pp.143-163.

⑦ Jowett B.AllegoryoftheCave:Plato.CreateSpace Independent Publishing Platform.2016.

⑧ [蘇]安德烈·塔科夫斯基:《雕刻時光》,張曉東譯,南海出版公司2019年版,第175-176頁。

⑨ 倪梁康:《現(xiàn)象學(xué)及其效應(yīng):胡塞爾與當代德國哲學(xué)》,生活·讀書·新知三聯(lián)書店2005年版,第37頁。

⑩ Ihde D.ListeningandVoice:PhenomenologiesofSound.Suny Press.2007.