杜嘯虎

（武漢音樂學(xué)院，湖北 武漢 430060）

《聲形》是一部為Kinect控制器和電子音樂而作的實(shí)時(shí)交互電子音樂作品，作品的創(chuàng)作靈感來源于漢語(yǔ)詞句當(dāng)中韻律和平仄起伏的特點(diǎn)。作者認(rèn)為漢語(yǔ)是所有語(yǔ)言當(dāng)中最博大精深也是最為難學(xué)的，從最古老時(shí)期的象形文字、甲骨文到繁體字、簡(jiǎn)體字，漢語(yǔ)的發(fā)音和音調(diào)的變化可以使聽眾不需要知道說話者所說的具體內(nèi)容，單單憑借音調(diào)的起伏就可以理解說話者想要表達(dá)出喜怒哀樂等思想感情。

從技術(shù)層面來分析《聲形》這部作品，在這一類使用數(shù)據(jù)驅(qū)動(dòng)控制器創(chuàng)作的作品中，數(shù)據(jù)的改變大致可分為三個(gè)階段：數(shù)據(jù)的獲取階段，數(shù)據(jù)的轉(zhuǎn)換階段，數(shù)據(jù)的映射階段。

數(shù)據(jù)的獲取階段，這一階段是作曲家使用數(shù)據(jù)驅(qū)動(dòng)控制器進(jìn)行音樂創(chuàng)作時(shí)所要經(jīng)歷的前期準(zhǔn)備階段。首先，作曲家要確定作品的音樂形象和演出方式，《聲形》這部作品之所以使用Kinect來創(chuàng)作這部作品，是因?yàn)樗拇蟊娀癁樽髑姨峁┝烁嗟膭?chuàng)作自由，從某種意義上講，這也是一種多角度多數(shù)據(jù)源的控制力。這部作品以新媒體實(shí)時(shí)互動(dòng)技術(shù)為載體，電子音樂技術(shù)理念為基礎(chǔ)，聽眾在觀看作曲家現(xiàn)場(chǎng)用肢體語(yǔ)言與計(jì)算機(jī)進(jìn)行交互式表演的同時(shí)，又能感受到電子音樂所帶來的震撼聽覺效果。這部作品具有極強(qiáng)的視覺效果和音樂的可聽性，作為交互式電子音樂這類新興的音樂形式，既保留了先鋒性和實(shí)驗(yàn)性，又做到了“聲”“形”合一的藝術(shù)氣質(zhì)。

數(shù)據(jù)的轉(zhuǎn)換階段，首先，作曲家要知道所選擇的控制器的原本數(shù)據(jù)特性，比如說Kinect所產(chǎn)生的數(shù)據(jù)傳送到電腦之后顯示出的數(shù)據(jù)特性與Wii游戲柄的特性是不同的，這種不同主要體現(xiàn)在值域范圍不同、數(shù)據(jù)精度不同、數(shù)據(jù)穩(wěn)定性不同以及數(shù)據(jù)更新速率不同，等等；針對(duì)不同的控制器，演奏者在演奏過程中所要完成的動(dòng)作和側(cè)重點(diǎn)也不盡不同，例如Kinect可以追蹤人體骨骼關(guān)節(jié)的活動(dòng)；其次是根據(jù)所要?jiǎng)?chuàng)作的作品的需求，將得到的數(shù)據(jù)修改到最為合適的準(zhǔn)確度和使用最穩(wěn)定最可靠的傳輸方法。比如在《聲形》這部作品中，作曲家將得到的OSC（Open Sound Control）信息變換成為16Bit高精度數(shù)據(jù)，然后以MIDI信號(hào)的方式發(fā)送給Kyma。這種方式比起OSC的發(fā)送精度以及Kyma可處理的超高精度，雖然看似有一定的數(shù)據(jù)缺失，但是可以在Max中通過軟件編程修改的方法來彌補(bǔ)這種數(shù)據(jù)的缺失，具有傳輸穩(wěn)定以及操作簡(jiǎn)單的特點(diǎn)；因?yàn)镵yma和電腦之間只需一根常見的網(wǎng)線便可實(shí)現(xiàn)傳輸；最后是為下一階段的數(shù)據(jù)映射做好準(zhǔn)備,當(dāng)外部的控制器設(shè)備與電腦連接好以后，需要對(duì)所得到的數(shù)據(jù)進(jìn)行分析和了解設(shè)備的自身特點(diǎn)，抓住數(shù)據(jù)變化的特性來進(jìn)行相應(yīng)的變形，通過實(shí)驗(yàn)做出判斷，如何最好地應(yīng)對(duì)人體骨骼關(guān)節(jié)的位置數(shù)據(jù)。如兩手之間的距離如何對(duì)應(yīng)控制粒子合成中的哪個(gè)時(shí)間點(diǎn)，等等。

數(shù)據(jù)的映射階段，這一階段也是作曲家進(jìn)行創(chuàng)作過程中最能體現(xiàn)作品的音樂性和特點(diǎn)的部分。數(shù)據(jù)的轉(zhuǎn)換階段是緊密相連的，數(shù)據(jù)的變化范圍和變化特性這些本身屬性在最后的映射過程中具有怎樣的潛力和能夠調(diào)控的可變參數(shù)，在數(shù)據(jù)變形這一階段中已經(jīng)能夠清晰地認(rèn)識(shí)到了。數(shù)據(jù)映射也是非常具有魔力的階段，在這一階段中，作曲家可以把任何的一組可變數(shù)據(jù)通過事先編程好的Max程序映射到具體的音樂參數(shù)當(dāng)中。有了這些數(shù)據(jù)，就可以非常精確地量化創(chuàng)作與輸出過程，或者映射控制信息。

從作品的結(jié)構(gòu)層面來看，總共分為三個(gè)部分。第一部分是全曲的引入部分，共三分鐘左右，以中高頻段的人聲作為全曲的開頭，這部分的人聲基本都是以點(diǎn)狀的形式出現(xiàn)，加入了大量的混響和延遲效果器，給人一種錯(cuò)綜復(fù)雜的交錯(cuò)感。在一分半左右的時(shí)候，伴隨著演奏者肢體動(dòng)作的明顯變化，出現(xiàn)了類似于鐘聲的聲音，這個(gè)聲音是作曲家本人的原始人聲采樣，經(jīng)過一系列的電子音樂技術(shù)手段，呈現(xiàn)出與原始聲音相差甚遠(yuǎn)的鐘聲。

第二部分共五分鐘左右，是全曲的展開和高潮段落，這一部分可以分為三個(gè)小段落，第一小段的聲音素材與第一部分形成了鮮明的對(duì)比，主要是以帶有明顯的音高特征的長(zhǎng)線條人聲為基礎(chǔ)，伴隨著時(shí)有時(shí)無(wú)的鐘聲和鈴聲。第二段運(yùn)用了類似于傳統(tǒng)音樂當(dāng)中復(fù)調(diào)的寫作手法，在單線條人聲的基礎(chǔ)上加入了高低各異的多聲部人聲旋律，試圖達(dá)到一種多聲部交織在一起的效果。在第三段當(dāng)中，鐘聲素材慢慢變化成為有節(jié)奏的不和諧聲音來作為固定的節(jié)奏音型，采用電子音樂中的LOOP的技術(shù)，由少變多、由薄變厚、又弱變強(qiáng)，將音樂情緒不斷推進(jìn)，再起到鋪底的作用，將全曲推向高潮。

第三部分是全曲的結(jié)束部，也可以看作是傳統(tǒng)作曲當(dāng)中的變化再現(xiàn)部，共三分鐘左右。在這一部分當(dāng)中，人聲從之前的“旋律”聲部慢慢轉(zhuǎn)變成為低頻段的鋪底持續(xù)音,和高頻段的鈴聲形成一種不同空間、頻段、色彩的對(duì)話方式。全曲最終是以人聲作為持續(xù)音逐漸淡出的方式結(jié)束，這種開放式結(jié)尾也正體現(xiàn)出了交互式電子音樂即興多變的創(chuàng)作特點(diǎn)。

《三位一體》這部作品是由中央音樂學(xué)院電子音樂中心的馬仕驊、王新宇和鞏子晗三名同學(xué)在2012年創(chuàng)作完成的新媒體跨界實(shí)時(shí)交互式電子音樂作品。作品標(biāo)題“三位一體”包含兩種含義：第一，這部作品是由音樂、視頻和裝置三部分組成，聲音部分是靠演奏者使用iPad和計(jì)算機(jī)中的Max程序進(jìn)行實(shí)時(shí)的交互和改變來實(shí)現(xiàn)的，視頻部分使用了Max程序中的Jitter物件生成實(shí)時(shí)演算的3D圖像。裝置部分則是使用三塊“亞克力”板拼成一個(gè)無(wú)底的等邊三角形“金字塔”；其次，“三位一體”的另一個(gè)含義是使用了三臺(tái)計(jì)算機(jī)對(duì)作品進(jìn)行控制。這并非一種單純的形式追求，也是由當(dāng)前計(jì)算機(jī)性能發(fā)展的客觀水平?jīng)Q定的——在作品運(yùn)行時(shí)，每臺(tái)計(jì)算機(jī)尤其是實(shí)時(shí)視頻和實(shí)時(shí)音頻計(jì)算機(jī)已經(jīng)工作在很高的負(fù)載之下，因此想在一臺(tái)計(jì)算機(jī)上同期、實(shí)時(shí)、穩(wěn)定地運(yùn)行《三位一體》中三個(gè)主要的控制程序是完全不現(xiàn)實(shí)的。在“三分”的前提之下，三臺(tái)計(jì)算機(jī)通過同步的數(shù)據(jù)通信實(shí)現(xiàn)了高度的“一體性”，形成一種實(shí)時(shí)的交互式融合媒介。

這部作品使用了三個(gè)聲音作為原始的聲音素材，然后通過計(jì)算機(jī)中的Max程序?qū)⑦@三個(gè)聲音進(jìn)行變形處理后進(jìn)行重新組合跟排列，最終實(shí)現(xiàn)音樂的效果上與視頻影像保持材質(zhì)上的統(tǒng)一。在新媒體交互式電子音樂的理念前提下，作品中所有對(duì)聲音素材和影像材料的控制都是通過三臺(tái)計(jì)算機(jī)之間的數(shù)據(jù)通信進(jìn)行實(shí)時(shí)的改變和同步，從而實(shí)現(xiàn)一種多元化的交互，而并非單一的聲音或影像的互動(dòng)?！度灰惑w》這部作品中聲音部分的特點(diǎn)之一還在于，由于控制聲音的一臺(tái)計(jì)算機(jī)在同一時(shí)間沒有影像和裝置兩部分的運(yùn)算負(fù)擔(dān)（已分別由另外兩臺(tái)計(jì)算機(jī)負(fù)責(zé)），只專注于聲音素材的組織及處理，所以計(jì)算機(jī)可以實(shí)時(shí)地進(jìn)行大量聲音處理與隨機(jī)運(yùn)算，這使得《三位一體》這部作品在聲音的豐富性、品質(zhì)等方面相比一般的交互式電子音樂作品具有明顯提升。

《三位一體》中的視頻影像是通過Max中的Jitter模塊來調(diào)用OpenGL軟件接口生成即時(shí)演算的3D圖像。觀眾所看到的影像中的所有內(nèi)容，都是通過接收音頻部分的控制信號(hào)來產(chǎn)生實(shí)時(shí)的變化與發(fā)展，達(dá)到與音樂部分的完美契合。

作品中的視頻主要分為兩個(gè)部分，第一部分是投射在大屏幕上的主視頻部分，為了對(duì)應(yīng)不同的音樂段落和顯示設(shè)備，作者將空間中可任意排列組合的立方體作為主要的材料，并將其作為承影面，顯示即時(shí)演算的矩陣二維影像。不同的鏡頭角度、立方體組合方式、光源位置的變化、景深的變化與二維圖像的切換等要素的結(jié)合，在保證與音樂部分的融合度的前提下，更增添了令人目不暇接的視覺沖擊。第二部分為應(yīng)呈現(xiàn)于亞克力金字塔中的全息影像。對(duì)于這一部分的設(shè)計(jì)，作者希望使用簡(jiǎn)約的圖形與豐富的色彩，以緩慢漸變的方式來烘托靜謐而又空間感十足的音樂氣氛。同樣是使用即使演算生成3D圖像的方法，視頻主體替換為由變色點(diǎn)構(gòu)成的球體，自由漂浮在黑色的空間中。鏡頭的由遠(yuǎn)及近，球體大小變化與拖曳效果產(chǎn)生的線條變化，伴隨著由音頻信號(hào)即時(shí)觸發(fā)的彩色碎片效果，將該段落神秘而又色彩斑斕的聲音特質(zhì)很好的凸顯出來。

《三位一體》通過八聲道環(huán)繞聲場(chǎng)的程序設(shè)計(jì)，使作品充分利用演出場(chǎng)地的空間拓展了作品的表現(xiàn)力。通過C74應(yīng)用編程，作品中的iPad、iPhone設(shè)備實(shí)現(xiàn)了與控制計(jì)算機(jī)的無(wú)線通信，設(shè)計(jì)者也利用C74中的程序模塊完成了八聲道控制及操控界面的設(shè)計(jì)、編寫。與傳統(tǒng)的八聲道調(diào)音臺(tái)操控不同，《三位一體》中的iPad八聲道操控可以實(shí)現(xiàn)圖形化操控，即可以直觀地對(duì)聲音做圓形走位、交叉走位、搖擺游走等聲場(chǎng)處理。這種程序的設(shè)計(jì)使得任意一個(gè)聲道都實(shí)現(xiàn)了圖形化處理。

近些年來隨著科技的發(fā)展，全息投影儀已不再是新鮮事物，這種投影技術(shù)能將影像從常規(guī)的二維平面延展到三維空間中。然而全息投影儀價(jià)格昂貴，全息圖像制作復(fù)雜。因此，這種技術(shù)在新媒體藝術(shù)領(lǐng)域里還鮮有運(yùn)用。《三位一體》的全息金字塔則是一種同時(shí)實(shí)現(xiàn)全息效果和成本節(jié)約的折衷方案，原理是利用光投影到與人眼有一定角度的高透光介質(zhì)上，因視線角度與四面透光介質(zhì)使人大腦產(chǎn)生錯(cuò)覺，因而會(huì)有圖像在空中懸浮的全息感。全息金字塔鮮明的優(yōu)勢(shì)在于其制作價(jià)格相對(duì)便宜，而且技術(shù)簡(jiǎn)單。在全息圖像的制作上也可以直接使用3D圖像，這就很容易和jitter中的視頻影像相結(jié)合。當(dāng)然，這種折衷也必然帶來局限，其一是全息金字塔對(duì)觀賞環(huán)境要求較高，需要在較為昏暗的環(huán)境中進(jìn)行；其二是它對(duì)觀賞角度的限制較大，創(chuàng)作團(tuán)隊(duì)的同學(xué)因此也正在試驗(yàn)圓形或其他形狀的全息裝置以解決觀賞角度受限的問題。不過，全息金字塔確實(shí)以非常“經(jīng)濟(jì)”的方式帶來了新奇、別樣的視覺空間感。