馮楚然

[摘要]交互音樂作為前沿音樂形式在近年逐漸被更多地認(rèn)識(shí)并介紹。然而因其在我國(guó)發(fā)展和研究仍處于早期階段，這一技術(shù)尚未被完全了解和運(yùn)用。相關(guān)資料、文獻(xiàn)更多的是對(duì)于此類音樂的定義、作品分析和技術(shù)研究，交互音樂的具體創(chuàng)作實(shí)踐報(bào)告較少。因此本文嘗試以個(gè)人交互音樂作品《VoyagetotheOtherShore》在創(chuàng)作和制作中的實(shí)踐經(jīng)驗(yàn)，分別解釋交互音樂中的概念和技術(shù)，并結(jié)合音樂表演，分析音樂內(nèi)容在這一新的音樂形式中的運(yùn)用。

［關(guān)鍵詞］交互電子音樂；體感攝像頭；數(shù)據(jù)驅(qū)動(dòng)；Kyma；Max/MSP/Jitter

［中圖分類號(hào)］J605［文獻(xiàn)標(biāo)識(shí)碼］A［文章編號(hào)］1007-2233（2022）12-0202-04

一、交互音樂簡(jiǎn)介

交互音樂，“交互”一詞概括了此類音樂的創(chuàng)作過程、傳達(dá)媒介和呈現(xiàn)形式，強(qiáng)調(diào)的是對(duì)象與音樂之間的相互作用和關(guān)系。而有別于傳統(tǒng)演奏，交互邏輯中的相互作用與影響能帶來許多隨機(jī)和不確定性，這一概念可被比喻為車載導(dǎo)航：“……駕駛員可通過GPS設(shè)備明確車輛的方位，而當(dāng)其改變行車軌跡時(shí)，GPS設(shè)備又能依照現(xiàn)有路徑重新規(guī)劃路線，這樣，駕駛員與GPS設(shè)備之間便形成了交互?！盵1]

因交互音樂中音樂呈現(xiàn)形式的自由性，作者在創(chuàng)作中可通過特定機(jī)制的設(shè)定決定音樂中各種觸發(fā)條件和反饋方式。前文中提到的“對(duì)象”，在不同類型的交互音樂中是靈活的，可以是設(shè)計(jì)交互形式的創(chuàng)作者，可以是操作設(shè)備的演奏者，也可以是交互裝置藝術(shù)空間中的參與者和觀眾。下文將避免羅列編程公式和算法，從創(chuàng)作和演奏的角度分析交互音樂的設(shè)計(jì)思路與傳達(dá)。

二、音樂創(chuàng)作背景

筆者碩士畢業(yè)于美國(guó)俄勒岡大學(xué)音樂與舞蹈學(xué)院跨媒體音樂技術(shù)專業(yè)，導(dǎo)師為著名電子音樂家杰弗瑞·斯托萊特。跨媒體音樂技術(shù)是交互音樂的載體，而研究的著重點(diǎn)在于交互音樂的設(shè)備。所謂跨媒體，強(qiáng)調(diào)的是有別于傳統(tǒng)音樂媒體，既傳統(tǒng)樂器和音樂控制器，如：各類MIDI輸入設(shè)備；跨媒體技術(shù)注重開發(fā)各種并非為音樂目的而設(shè)計(jì)的控制裝置，如筆者碩士在讀期間俄勒岡大學(xué)FutureMusicOregon未來音樂實(shí)驗(yàn)室已經(jīng)開發(fā)的：游戲手柄和控制器任天堂WiiMote、Game-trak；微軟Xhox360Kinect體感攝像頭；WacomTablet數(shù)位畫板；LeapMotion手部動(dòng)作追蹤器。

另外，為達(dá)到更特定的交互與藝術(shù)表達(dá)需求，創(chuàng)作者也會(huì)充分發(fā)揮想象力，創(chuàng)造新的控制設(shè)備，并利用各類傳感器（光、電、壓力、紅外線、濕度、加速器、陀螺儀等）豐富動(dòng)作甚至是數(shù)據(jù)的“個(gè)性”，增加演奏和控制的張力和戲劇性。

俄勒岡大學(xué)該專業(yè)使用的主要聲音系統(tǒng)為SymbolicSoundKyma（以下簡(jiǎn)稱“Kyma”）和Cycling74Max/MSP/Jitter（以下簡(jiǎn)稱Max）。Kyma是由軟、硬件共同構(gòu)成的聲音及音樂設(shè)計(jì)引擎，通過軟件端功能模塊的鏈接以及數(shù)學(xué)化指令的驅(qū)動(dòng)，配合硬件處理器的運(yùn)算，完成音頻處理，具有處理極復(fù)雜運(yùn)算的能力以及高自由度，當(dāng)今被廣泛運(yùn)用于國(guó)外交互音樂工程及影視、游戲音效設(shè)計(jì)中。Max由其名字的三個(gè)部分構(gòu)成：代表數(shù)據(jù)處理的Max功能模塊、音頻處理的MSP模塊以及視頻處理的Jitter模塊。Max的模塊設(shè)計(jì)思路與Kyma相似，但自由度更高，三種類型的模塊可以自由組合搭配。不同點(diǎn)在于Kyma更注重聲音的處理與合成，而Max更注重?cái)?shù)據(jù)本身的靈活，被運(yùn)用在各個(gè)行業(yè)的交互設(shè)計(jì)中。在俄勒岡大學(xué)的跨媒體音樂技術(shù)專業(yè)中，Kyma常用作音樂和聲音部分的設(shè)計(jì)系統(tǒng)，Max常用作介于控制器與Kyma之間處理數(shù)據(jù)的中間件。

Kyma（上）和Max（下）本文分析作品《VoyagetotheOtherShore》為筆者碩士畢業(yè)項(xiàng)目作品，設(shè)計(jì)、創(chuàng)作、制作時(shí)長(zhǎng)一年，曾在2015Kyma國(guó)際聲音研討會(huì)以及俄勒岡大學(xué)FMO音樂會(huì)上表演。該作品翻譯為《航行到彼岸》，俄勒岡大學(xué)位于美國(guó)西海岸尤金市，筆者生長(zhǎng)在中國(guó)東南沿海城市深圳，兩座城市相隔太平洋互為彼岸，作為留學(xué)生三年之間往返于兩個(gè)彼岸，該作品主題意在表達(dá)兩個(gè)地域和兩種文化帶給個(gè)人的文化沖擊、影響以及感受。

三、技術(shù)設(shè)計(jì)、參數(shù)、系統(tǒng)平臺(tái)

該作品在設(shè)計(jì)時(shí)希望表演具有視覺張力，需要能夠做出較大動(dòng)作的控制裝置。筆者意圖將“兩個(gè)地域”的概念在演奏時(shí)通過舞臺(tái)的空間區(qū)域展現(xiàn)出來，表演者可以在音樂中走動(dòng)于不同位置之間，故排除了限定演奏位置的控制器（筆者歸類為“接觸式”控制），選用微軟Xbox360Kinect體感攝像頭。

該作品創(chuàng)作分為4個(gè)階段：1.動(dòng)作捕捉和數(shù)據(jù)化；2.數(shù)據(jù)整理和定義；3.數(shù)據(jù)分配、綁定；4.音樂制作、排查測(cè)試和聲音輸出。

第一階段選用DelicodeNiMate作為端口接收Kinect輸出的原始數(shù)據(jù)。Kinect將人體完整捕捉為15個(gè)關(guān)鍵點(diǎn)：頭、脖子、軀干、左右肩、左右肘、左右手、左右腰、左右膝蓋、左右腳。Kinect帶有距離感應(yīng)功能，因此每一個(gè)點(diǎn)都能以立體坐標(biāo)的形式體現(xiàn)出位置信息，即“X-Y-Z”。

另外，每個(gè)數(shù)據(jù)都可以選擇輸出數(shù)據(jù)類型：MIDI、OSC[2]。與MIDI的0～127數(shù)據(jù)范圍不同，OSC可自由定義，因此需要提前對(duì)每個(gè)數(shù)據(jù)所控制的音樂要素有設(shè)計(jì)，例如：右手控制某個(gè)音色的音高，選擇MIDI更為合適；而左手控制另一個(gè)音色的明亮到暗淡的效果變換，更為線性的OSC數(shù)據(jù)則更合適。

第二階段選用Max處理數(shù)據(jù)，將從NiMate接收到的數(shù)據(jù)規(guī)整化。由于NiMate的數(shù)據(jù)輸出是從單一頻道，因此需要在Max中重建每個(gè)身體部位的頻道，并將接收到的數(shù)據(jù)定位到各個(gè)頻道，保證從Max輸出到下一階段的各項(xiàng)數(shù)據(jù)是帶有命名且獨(dú)立頻道的。

更重要的兩點(diǎn)：第一，由于Kinect捕捉到的所有信息都是“隔空”完成的，包括光線在內(nèi)的許多因素都會(huì)導(dǎo)致數(shù)據(jù)波動(dòng)和不準(zhǔn)確，因此必須在Max中通過各種算法進(jìn)行處理，例如筆者用到的取平均值法（將最后收到的5個(gè)數(shù)值相加再除以5，以得到相對(duì)穩(wěn)定的數(shù)據(jù)變化，每接收到一個(gè)新的數(shù)據(jù)都會(huì)替換掉5個(gè)數(shù)值中最早接收到的一個(gè)），但此方法的弊端是導(dǎo)致所有通過Max的信息產(chǎn)生5次數(shù)據(jù)接收時(shí)間的延遲；第二，需要使用的數(shù)據(jù)區(qū)間未必是接收到數(shù)據(jù)的完整區(qū)間，因此要為每個(gè)數(shù)據(jù)重新定義范圍，例如某個(gè)MIDI信號(hào)可控制的旋律音域?yàn)橹醒隒上下兩個(gè)八度（48～72），不需要用到0～47和73～127兩段更低和更高的區(qū)間，并且如果把整個(gè)數(shù)據(jù)范圍定義給某個(gè)身體部位控制，過于高密度的數(shù)據(jù)排列，會(huì)導(dǎo)致實(shí)際操作難以把控，一個(gè)細(xì)微的位置變化都可能造成演奏失誤，因此設(shè)計(jì)每個(gè)部位的活動(dòng)范圍和數(shù)據(jù)范圍是必要的。

第三階段進(jìn)入音樂創(chuàng)作系統(tǒng)，選用Kyma作為平臺(tái)，接收Max處理后的數(shù)據(jù)。從表演角度，傳統(tǒng)樂器的演奏，由于觀眾對(duì)各個(gè)樂器的認(rèn)知，特定的演奏及肢體動(dòng)作都會(huì)帶來指向性的情緒引導(dǎo)。交互表演中的所有動(dòng)作完全由創(chuàng)作者設(shè)計(jì)和決定，這既是優(yōu)勢(shì)也是困難所在。每一個(gè)動(dòng)作的設(shè)計(jì)，都要符合音樂的內(nèi)容、走向以及想象。創(chuàng)作中需要找到與音樂中每個(gè)要素關(guān)聯(lián)性最高的動(dòng)作，并設(shè)定演奏機(jī)制，完成動(dòng)作設(shè)計(jì)。

任何身體部位或數(shù)據(jù)都未必只能控制一個(gè)音樂變量，同樣的，未必任何身體部位的數(shù)據(jù)都需要被用到并且設(shè)計(jì)成動(dòng)作。筆者在創(chuàng)作中將Kyma內(nèi)具有相同音樂能量的控制要素歸類，如：高音、高頻率、提升音量、增加某個(gè)效果密度、提速等劃分為同類型。相同類型的元素變化可在某片段用同一動(dòng)作驅(qū)動(dòng)。當(dāng)某一個(gè)或一個(gè)類型的動(dòng)作在不同段落重復(fù)驅(qū)動(dòng)同一種音樂能量的變化，并在一首作品時(shí)長(zhǎng)內(nèi)，讓觀眾感受到這種趨勢(shì)，且能夠在再一次出現(xiàn)前有所預(yù)測(cè)，這個(gè)設(shè)計(jì)就是成功的。

第四階段的音樂制作部分更偏向傳統(tǒng)制作，將提前在Kyma完成的各個(gè)聲音模塊按設(shè)計(jì)排列在時(shí)間軸上，并根據(jù)實(shí)際測(cè)試效果做調(diào)整。這一過程會(huì)出現(xiàn)反復(fù)于第二、三、四階段的情況，為某個(gè)效果或是動(dòng)作重復(fù)調(diào)整數(shù)據(jù)范圍和動(dòng)作設(shè)計(jì)，又或是某一時(shí)間點(diǎn)同一個(gè)數(shù)據(jù)使用沖突，必須重新選擇其他身體部位控制，并構(gòu)思新的機(jī)制。

需要強(qiáng)調(diào)的是，因?yàn)榻换ケ硌葜写嬖诘淖杂啥群碗S機(jī)性，交互音樂工程中的時(shí)間軸并不像傳統(tǒng)音樂制作模式中每個(gè)聲音按照準(zhǔn)確時(shí)間點(diǎn)開始和結(jié)束。筆者采用的方式是為每個(gè)音樂段落結(jié)尾或開頭增加“WaitUntil”模塊，既當(dāng)時(shí)間標(biāo)尺在時(shí)間軸走到該模塊位置時(shí)保持位置，直到滿足預(yù)設(shè)條件后繼續(xù)進(jìn)行。如果實(shí)際演奏速度比設(shè)計(jì)速度慢，此操作能夠保證不產(chǎn)生演奏失誤；而解決演奏速度快于設(shè)計(jì)的方法，則是可以將時(shí)間軸上這一段落的長(zhǎng)度大幅縮短，甚至可以設(shè)置成幾秒，當(dāng)時(shí)間停在WaitUntil模塊后繼續(xù)演奏，直到段落結(jié)束，再去觸發(fā)時(shí)間繼續(xù)的條件。

相同原理同樣可以應(yīng)用到任何一個(gè)聲音模塊上，筆者將多個(gè)不論出現(xiàn)和結(jié)束時(shí)間的所有模塊長(zhǎng)度都拉伸到整段，但為每個(gè)聲音模塊都設(shè)置了觸發(fā)和結(jié)束的條件，此方法極大增加了演奏時(shí)對(duì)于整體音樂節(jié)奏和任意單個(gè)聲音的掌控程度。

聲音輸出方案筆者選擇傳統(tǒng)左/右雙聲道輸出而非許多交互音樂的8聲道環(huán)繞聲，原因是考慮到該作品可能在不同場(chǎng)所表演，8聲道環(huán)境普及率低，雙聲道能夠確保在任何演出場(chǎng)所都順利進(jìn)行。斯托萊特教授就曾多次在授課中提到，保證演出的穩(wěn)定性比追求更好的聲音效果更重要。

四、音樂創(chuàng)作與設(shè)計(jì)

《VoyagetotheOtherShore》的素材由3段旋律和若干場(chǎng)景錄音片段構(gòu)成。音樂主題是一個(gè)鋼琴獨(dú)奏版本和一個(gè)弦樂版本，另一條是鋼琴主題錄音的倒置。音頻素材有：水龍頭出水、海岸線、海浪、飛機(jī)引擎、國(guó)內(nèi)家中炒菜的鐵鍋鍋鏟翻炒的碰撞聲、國(guó)內(nèi)公園老人拉二胡、國(guó)內(nèi)下班高峰馬路邊、美國(guó)大學(xué)課堂中老師和同學(xué)對(duì)話、美國(guó)酒吧內(nèi)朋友邊看球邊聊天及兩段人聲獨(dú)白錄音。下文將著重解析幾個(gè)重要音樂片段與交互部分的設(shè)計(jì)。

音樂的開頭將水龍頭音頻交由左手，海岸線和海浪音頻交由右手，將錄音的播放位置綁定到左右手的前后位置（Z），設(shè)置可正反向播放，因此音頻不會(huì)跟隨時(shí)間順序播放和播放結(jié)束，而是跟隨雙手的前后位置反復(fù)，手的高低位置（Y）線性控制音頻的音調(diào)。為防止手的方向變換和動(dòng)作幅度變慢造成音頻失真，添加了超過2秒的混響。開頭段用“小”和“大”的水聲，比喻生活和遠(yuǎn)航，雙手前后動(dòng)作的推動(dòng)觀感，營(yíng)造水的“能量”。

NiMate軟件在頭部左上和右上方為演奏者增加了虛擬的“按鈕”，雙手“觸碰”到這個(gè)位置，就會(huì)輸出“0-1-0”的開關(guān)型數(shù)據(jù)，原理是手的橫向與縱向位置（X、Y）同時(shí)滿足大于臨界值。筆者用這個(gè)虛擬按鈕作為幾個(gè)段落開始和音效的觸發(fā)。音樂進(jìn)入主體段正是使用這個(gè)按鈕進(jìn)入并同時(shí)觸發(fā)人聲獨(dú)白錄音。

NiMate中的實(shí)時(shí)捕捉和虛擬按鍵進(jìn)入新的段落播放弦樂版本主題，這里筆者對(duì)弦樂音頻做了顆?；幚恚矗菏褂肒yma的SpectralAnalysis光譜分析功能，分析音頻在每個(gè)頻率上的內(nèi)容并可視化，選擇內(nèi)容密度最高的若干頻段，將音頻切分為一個(gè)個(gè)短時(shí)間段，同時(shí)播放設(shè)定數(shù)量的切片，以時(shí)間順序向前行進(jìn)。這里播放的數(shù)量，稱為顆?；芏?，由左手（Y）控制。

此時(shí)對(duì)獨(dú)白錄音同樣做光譜分析并顆?；沂郑╔）控制獨(dú)白錄音的播放位置，（Z）控制顆?；芏取１径瓮ㄟ^左右手對(duì)這兩個(gè)音色的動(dòng)態(tài)控制，體態(tài)動(dòng)作可以巧妙地設(shè)計(jì)成小提琴的演奏姿勢(shì)，模擬了弦樂主題的演奏，增加可視化效果。

在鋼琴版本主題出現(xiàn)的段落，筆者為音頻增加了混響，效果大小由演奏者位置決定，越靠近觀眾越小，越往舞臺(tái)后方，混響越深越遠(yuǎn)。同時(shí)加入另一個(gè)從錄音素材截取的自行車鈴聲，降低兩個(gè)八度，音調(diào)變低音頻變長(zhǎng)，聽感較為空靈。這個(gè)聲音的時(shí)間軸被定義在左手（X），而音頻的音頭在時(shí)間軸的位置靠近身體，演奏機(jī)制為手慢慢靠近身體，當(dāng)觸發(fā)音頭時(shí)，手橫向快速向外拿開，類似豎琴撥弦動(dòng)作。延音高低則由右手（Y）控制，右手（Z）控制延音的顆?；芏群烷L(zhǎng)短。

再現(xiàn)段之前會(huì)出現(xiàn)上文提到的演奏位置的變化。舞臺(tái)定義為左前、左后、右前、右后四個(gè)區(qū)域，左邊綁定了兩個(gè)國(guó)內(nèi)場(chǎng)景錄音，右邊則是美國(guó)的場(chǎng)景，循環(huán)播放，在空間上分別代表兩個(gè)海岸，隨著演奏者在舞臺(tái)上位置的改變，不斷改變四個(gè)音頻的音量比例。演奏者在用肢體控制其他音色的同時(shí)，在舞臺(tái)不同位置徘徊，逐漸回到中心，影射感受到的兩種文化帶來的影響。

最后再現(xiàn)段結(jié)束前播放的倒置鋼琴主題音頻設(shè)置了較長(zhǎng)的延遲和混響，而混響時(shí)間和擴(kuò)散則由右手（X-Z）共同控制，右手左右擺動(dòng)延音產(chǎn)生類似脈沖的效果，而右手的動(dòng)作則是揮手告別，寓意音樂和碩士經(jīng)歷的結(jié)束。

五、技術(shù)難點(diǎn)

該作品在創(chuàng)作中遇到若干因設(shè)備、軟件和環(huán)境的局限性帶來的技術(shù)難點(diǎn)，以下舉例。

一，盡管NiMate顯示設(shè)備的捕捉為每秒30幀，但實(shí)際刷新率會(huì)在每秒10～30幀之間波動(dòng)。

二，在Max接收數(shù)據(jù)超過10個(gè)后，龐大的數(shù)據(jù)量會(huì)偶然導(dǎo)致程序崩潰。筆者的解決方案是在Max中為每個(gè)數(shù)據(jù)插入接收速率限制模塊Speedlim并將刷新速率限制在20，可以保證Max穩(wěn)定運(yùn)行。

三，雖然隨著使用數(shù)據(jù)的增多，演奏可以更加豐富，但筆者在測(cè)試中發(fā)現(xiàn)當(dāng)同一時(shí)間身體控制數(shù)據(jù)超過10個(gè)后，很難完全協(xié)調(diào)身體和控制。

四，部分?jǐn)?shù)據(jù)具有相似的特點(diǎn)，例如：手、肘、肩膀；腰、膝蓋、腳。這些部位的動(dòng)作屬于同一肢體系統(tǒng)，因此相比肘和肩膀，筆者更傾向使用可以完成幅度更大和更快的動(dòng)作的手部，而對(duì)數(shù)據(jù)的選擇也因此十分重要。

五，Kinect所擺放的高度和角度會(huì)對(duì)所有距離數(shù)據(jù)（Z）產(chǎn)生極大影響，為了保證演出的穩(wěn)定性筆者會(huì)攜帶自己的設(shè)備架，并在固定高度和角度位置做好標(biāo)記。

六，環(huán)境和光線都會(huì)影響到設(shè)備對(duì)人物的識(shí)別，Kinect視野內(nèi)的大型家具、小型物件和正在移動(dòng)的物體都會(huì)偶然被識(shí)別成人物。因此確保演奏區(qū)域內(nèi)明亮以及沒有障礙物至關(guān)重要。

七，為演出設(shè)定可視化觀測(cè)和提示是必要的，演奏者需要時(shí)刻監(jiān)測(cè)設(shè)備捕捉數(shù)據(jù)的情況，隨時(shí)準(zhǔn)備調(diào)整，這一點(diǎn)適用于所有交互工程。

結(jié)語

交互音樂是一門結(jié)合感性創(chuàng)作和理性設(shè)計(jì)的藝術(shù)形式，相信從文中的解析中不難看出，許多設(shè)計(jì)思路都是數(shù)學(xué)化的，這要求創(chuàng)作者在發(fā)揮藝術(shù)想象力的同時(shí)保持嚴(yán)謹(jǐn)?shù)姆治鏊季S。筆者文中提到的各種設(shè)計(jì)和思路都來自該作品創(chuàng)作階段大量的測(cè)試和實(shí)踐，并不一定適用于所有交互環(huán)境和工程設(shè)計(jì)，但也同樣希望這些經(jīng)驗(yàn)?zāi)芙o創(chuàng)作者帶來啟發(fā)，為音樂作品增添表現(xiàn)力和多樣性。

伴隨科技發(fā)展，新技術(shù)和設(shè)備陸續(xù)面世，交互藝術(shù)正是極其依賴計(jì)算機(jī)技術(shù)的領(lǐng)域。現(xiàn)階段因部分技術(shù)壁壘及發(fā)展階段處在早期，交互音樂尚未被主流音樂風(fēng)格和大眾所完全熟知及接納。但筆者相信，隨著國(guó)內(nèi)陸續(xù)有高校開設(shè)新媒體音樂技術(shù)類的專業(yè)和課程，交互音樂的研究和創(chuàng)作者不斷增加，新技術(shù)和新理念的不斷碰撞，這一前沿音樂必會(huì)陸續(xù)融合更多的風(fēng)格和領(lǐng)域，輸出更多有趣的作品，得到長(zhǎng)遠(yuǎn)的發(fā)展，讓更多人參與到交互作品中感受由科技和技術(shù)帶來的獨(dú)特美感。

注釋：

[1]范翎.交互式電子音樂的概念界定[J].音樂傳播，2017（04）：93—97.

[2]OpenSoundControl（OSC）是一種用于應(yīng)用程序和硬件之間實(shí)時(shí)消息通信的數(shù)據(jù)傳輸規(guī)范，由MattWright和AdrianFreed開發(fā)，最初設(shè)計(jì)為一種高精度、低延遲、輕量級(jí)和靈活的通信方法，用于實(shí)時(shí)音樂表演。他們于1997年提出OSC作為“計(jì)算機(jī)、合成器和其他多媒體設(shè)備之間通信的新協(xié)議，該協(xié)議針對(duì)現(xiàn)代網(wǎng)絡(luò)技術(shù)進(jìn)行了優(yōu)化”。

（責(zé)任編輯：韓瑩瑩）