From Human-Computer Interaction to Human-Computer Co-Creation：

On the Value of Machine Learning Technology in Interactive Electronic Music

摘 要：交互式電子音樂是藝術(shù)與科技相結(jié)合的產(chǎn)物，演出方式富有靈活性，是21世紀(jì)電子音樂發(fā)展的主要方向之一。目前，其對于跨學(xué)科實(shí)踐經(jīng)驗(yàn)的較高需求以及創(chuàng)作、展演過程中體現(xiàn)出的問題都亟待解決。通過使用機(jī)器學(xué)習(xí)技術(shù)，形成人機(jī)共創(chuàng)系統(tǒng)，可能為其提供有效的解決方案。分析三部使用機(jī)器學(xué)習(xí)技術(shù)的交互式電子音樂作品，解析其中的機(jī)器學(xué)習(xí)技術(shù)的運(yùn)用方式以及技術(shù)與作品表現(xiàn)之間的關(guān)系，總結(jié)機(jī)器學(xué)習(xí)技術(shù)在交互式電子音樂中的三方面應(yīng)用價(jià)值：其一，提升參數(shù)映射步驟的工作效率；其二，改變當(dāng)前藝術(shù)創(chuàng)作活動(dòng)中的代理關(guān)系；其三，增強(qiáng)藝術(shù)作品的包容性與公共性。

關(guān)鍵詞：交互；電子音樂；機(jī)器學(xué)習(xí)

中圖分類號(hào)： J614.8?? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1004-2172（2023）03-0122-14

DOI：10.15929/j.cnki.1004 - 2172.2023.03.012

一、交互式電子音樂的背景

（一）交互式電子音樂定義

交互式電子音樂的發(fā)展受到技術(shù)革新的驅(qū)動(dòng)，至今仍有新的表現(xiàn)形式產(chǎn)生，因此對于這一處于變化中的音樂體裁，學(xué)術(shù)研究領(lǐng)域還未產(chǎn)生在世界范圍內(nèi)得到公認(rèn)的、權(quán)威的定義。顧名思義，交互式電子音樂融合了電子音樂與交互行為，電子音樂的誕生與繁榮是其存在的先決條件。20世紀(jì)上半葉，電子音樂誕生初期，磁帶與電子合成器是藝術(shù)實(shí)踐的主要工具，作品以錄制在唱片或磁帶上的固定形式存在，將創(chuàng)作的結(jié)果通過揚(yáng)聲器擴(kuò)聲系統(tǒng)進(jìn)行回放是早期電子音樂的主要演出形式。雖然回放式的演出能夠較為精確地還原作曲家的設(shè)計(jì)意圖，在世界范圍內(nèi)也被眾多作曲家廣泛接納，但是在多次回放演出后，其缺乏靈活性的弊端也隨之顯現(xiàn)。20世紀(jì)后半葉，伴隨著電子音樂相關(guān)的科學(xué)技術(shù)、創(chuàng)作理念的高速發(fā)展，一些實(shí)時(shí)控制手段開始出現(xiàn)在電子音樂表演當(dāng)中，為電子音樂的現(xiàn)場效果帶來了更多的靈活性。

在以計(jì)算機(jī)技術(shù)為代表的數(shù)字技術(shù)成為電子音樂創(chuàng)作的主要工具后，借助各類控制界面來與計(jì)算機(jī)軟件程序互動(dòng)，影響由其播放、生成或調(diào)制的聲音，逐漸成為創(chuàng)作交互式電子音樂的普遍方式，并沿用至今。對于交互式電子音樂較為典型的表現(xiàn)特征，美國布朗大學(xué)教授托德· 溫克勒（Todd Winkler）曾在其1998年出版的著作《創(chuàng)作互動(dòng)音樂：使用Max的技巧與理念》（Composing Interactive Music：Techniques and Ideas Using Max）中進(jìn)行了總結(jié)：“交互式音樂在這里被定義為一種音樂創(chuàng)作或即興表演，其中的軟件用于解讀現(xiàn)場表演，以影響由計(jì)算機(jī)生成或調(diào)制的音樂。通常情況下，這涉及一個(gè)表演者和一件樂器，而計(jì)算機(jī)創(chuàng)造出的音樂某種程度上是由表演塑造形成的音樂。”①

以上總結(jié)適用于大部分產(chǎn)生于21世紀(jì)之前的交互式電子音樂，至今仍可被視為是對該類藝術(shù)實(shí)踐的一個(gè)廣義的定義。如今，隨著新技術(shù)的不斷加入，與計(jì)算機(jī)音樂程序進(jìn)行互動(dòng)的對象不僅局限于表演者或樂器，任何可以產(chǎn)生數(shù)據(jù)的對象，都能加入演出當(dāng)中。例如通過網(wǎng)絡(luò)實(shí)時(shí)收集數(shù)據(jù)的程序或設(shè)備，甚至加入了人工智能技術(shù)、能夠自主做出選擇程序等，這些對象的加入為交互式電子音樂帶來了新的樣態(tài)。四川音樂學(xué)院陸敏捷教授在其2021年出版的著作《交互式電子音樂概論》中，將現(xiàn)階段的交互式電子音樂定義為：“（交互式電子音樂是）以計(jì)算機(jī)和數(shù)字技術(shù)為核心的新媒介系統(tǒng)，在現(xiàn)場表演/作品呈現(xiàn)的過程中實(shí)時(shí)生成或配置新的聲音材料，使新媒介系統(tǒng)的輸人行為與輸出音樂（聲音）內(nèi)容之間表現(xiàn)出‘交互特征的新媒介藝術(shù)形態(tài)?！雹诠P者認(rèn)為這種以“新媒介系統(tǒng)”定義交互式電子音樂的方式，能夠最大限度地兼容現(xiàn)階段該類藝術(shù)實(shí)踐的各類表現(xiàn)形式，且準(zhǔn)確提煉了不同形式之間的共性，具有很強(qiáng)的學(xué)術(shù)參考價(jià)值。筆者后文中所提及的所有交互式電子音樂作品，也處于該定義制定的范疇之內(nèi)。

（二）本文的研究范圍界定

本文的研究目的在于提煉機(jī)器學(xué)習(xí)在當(dāng)前的交互式電子音樂創(chuàng)作中的應(yīng)用價(jià)值。這一技術(shù)目前主要作用于表演者的手勢與程序產(chǎn)生的內(nèi)容之間的聯(lián)結(jié)，因此，人與程序的互聯(lián)是研究的重點(diǎn)。根據(jù)此原則，本文的研究所針對的交互式電子音樂作品，應(yīng)包含以下特點(diǎn)：

第一，以各類傳感器、控制器硬件作為數(shù)據(jù)采集工具；

第二，將表演者的手勢、肢體動(dòng)作等姿態(tài)變化要素轉(zhuǎn)換為數(shù)據(jù)，用于聲音的實(shí)時(shí)調(diào)制和組織。

此類交互式電子音樂作品，大都配有專門為其設(shè)計(jì)的交互系統(tǒng)，這些系統(tǒng)就像不同形制的樂器，有著不同的音色與各異的表演方式，由表演者操控，以“人機(jī)互動(dòng)”的形式進(jìn)行呈現(xiàn)。

（三）發(fā)展中存在的問題

1.較多的跨學(xué)科實(shí)踐經(jīng)驗(yàn)需求

交互式電子音樂的創(chuàng)作需要跨學(xué)科知識(shí)體系的加持。對于音樂創(chuàng)作者而言，專業(yè)的計(jì)算機(jī)編程絕非易事，因此，早在20世紀(jì)70年代，以皮埃爾·布列茲為首的法國聲音與音樂研究中心（IRCAM）就制定了作曲家與計(jì)算機(jī)工程師合作的模式。同時(shí)，IRCAM也長期致力于開發(fā)更適合作曲家使用的編程環(huán)境，其中較為典型的有Open Music與Max，這兩款圖形化編程環(huán)境一定程度上降低了計(jì)算機(jī)音樂編程難度，為作曲家獨(dú)立創(chuàng)作計(jì)算機(jī)音樂創(chuàng)造了條件。近40年來，隨著眾多作曲家的實(shí)踐驗(yàn)證和計(jì)算機(jī)音樂編程教育的產(chǎn)生，交互式電子音樂創(chuàng)作得到了一定的推廣，但該類創(chuàng)作實(shí)踐的難度還是有目共睹的，對其進(jìn)一步的普及造成了阻礙。音樂創(chuàng)作與計(jì)算機(jī)編程分別屬于不同的學(xué)科，從具體內(nèi)容到思維方式都存在巨大差異，由于兩種技能都需要耗費(fèi)數(shù)年去進(jìn)行系統(tǒng)學(xué)習(xí)方能掌握，因此極少有人能夠全面駕馭和融合這兩個(gè)領(lǐng)域的知識(shí)。在接下來的發(fā)展道路上，進(jìn)一步降低創(chuàng)作工具的使用門檻是交互式電子音樂亟待解決的問題。

2.煩瑣的參數(shù)映射工作

計(jì)算機(jī)程序不似演奏家一般能夠?qū)纷V進(jìn)行自主解讀與呈現(xiàn)，它的一舉一動(dòng)都需要人類的設(shè)定，稍有不符合編程語法的情況出現(xiàn)，計(jì)算機(jī)程序便會(huì)報(bào)錯(cuò)。因此，在交互界面程序設(shè)計(jì)中，程序一切反饋與行動(dòng)模式，都需要作曲家需要在編寫程序時(shí)預(yù)先進(jìn)行設(shè)計(jì)。不僅如此，對于外部輸入數(shù)據(jù)與受控參數(shù)之間的關(guān)系，作曲家都需要使用數(shù)據(jù)映射（mapping）的方式來進(jìn)行管理，以保證電子聲音的即興表現(xiàn)能夠在可控范圍內(nèi)進(jìn)行。映射是設(shè)計(jì)交互系統(tǒng)時(shí)需要投入人工較多的工序。假設(shè)作曲家在設(shè)計(jì)一首作品時(shí)想用手部的空間位置坐標(biāo)去控制聲音合成器的控制參數(shù)，那么基于音樂的結(jié)構(gòu)，手部空間位置在音樂的每一段中所選取對應(yīng)的合成器控制參數(shù)是可以不同的（圖1），由此才能夠形成段落間的聲音對比。類似功能的實(shí)現(xiàn)需要進(jìn)行一系列的參數(shù)對接，對接的過程即是映射。作品中包含的受控對象越多，映射工作就越加煩瑣。這種依靠人工編程的工作方式，使得創(chuàng)作此類作品的效率難以得到提升。

3.“人機(jī)互動(dòng)”的單向?qū)嵸|(zhì)

從當(dāng)代藝術(shù)分類的宏觀視角來看，交互式電子音樂是交互藝術(shù)中的一個(gè)分支。交互藝術(shù)中的交互行為可被描述為“通常以使用計(jì)算機(jī)、各類接口和傳感器為特征，以對運(yùn)動(dòng)、熱量、氣象變化或其他類型的輸入做出反應(yīng)，這些輸入是創(chuàng)作者編寫的”①。大多數(shù)此類藝術(shù)作品中的交互僅建立在受控對象對控制對象的行為反饋上，受控對象不會(huì)視情況進(jìn)行自主行動(dòng)，只會(huì)在接受控制信號(hào)后做出預(yù)先編寫的反饋。從詞義上看，“交互”應(yīng)建立在主體之間的雙向反饋之上，而在目前常見的交互系統(tǒng)設(shè)計(jì)中，計(jì)算機(jī)程序顯然不具備成為主體的能力，距離真正意義的交互有一定差距。

英國人類學(xué)家阿爾弗雷德·蓋爾（Alfred Gell）曾在其著作《藝術(shù)與代理》（Art and Agency）②中將藝術(shù)視為一種行動(dòng)的系統(tǒng)，并將代理權(quán)歸于能夠“改變事物狀態(tài)”的人和物。對蓋爾來說，代理權(quán)在本質(zhì)上是社會(huì)性的，行動(dòng)只能在社會(huì)方面進(jìn)行概念化。他區(qū)分了主要代理（即有意圖的人）和次級代理（物體、藝術(shù)作品等）。然而，這樣的區(qū)分并不意味著物質(zhì)代理的重要性低于意向性代理。由于人類需要借助物質(zhì)來表達(dá)意圖，因此，在行使代理權(quán)的過程中，物質(zhì)和意圖同樣重要。蓋爾的理論肯定了作為工具的物質(zhì)在藝術(shù)活動(dòng)中的地位，對于交互藝術(shù)中的工具開發(fā)產(chǎn)生了啟示：如果計(jì)算機(jī)具備了產(chǎn)生意圖的能力，將從本質(zhì)上改變傳統(tǒng)的藝術(shù)活動(dòng)形態(tài)，實(shí)現(xiàn)真正意義上的人機(jī)交互。

二、機(jī)器學(xué)習(xí)與交互式電子音樂創(chuàng)作

（一）機(jī)器學(xué)習(xí)技術(shù)與音樂創(chuàng)作的聯(lián)系

機(jī)器學(xué)習(xí)（Machine Learning）是一個(gè)致力于構(gòu)建“讓機(jī)器懂得學(xué)習(xí)的方法”的技術(shù)領(lǐng)域，換言之，該技術(shù)旨在利用數(shù)據(jù)來提升計(jì)算機(jī)在執(zhí)行某些任務(wù)時(shí)的效率①。機(jī)器學(xué)習(xí)算法基于使用樣本數(shù)據(jù)（也被稱為訓(xùn)練數(shù)據(jù)）建立的模型，以便在沒有明確編程的情況下做出預(yù)測或決策。機(jī)器學(xué)習(xí)算法已被運(yùn)用到各類實(shí)際應(yīng)用場景當(dāng)中，例如電子郵件過濾、語音識(shí)別、計(jì)算機(jī)視覺識(shí)別等。機(jī)器學(xué)習(xí)與計(jì)算統(tǒng)計(jì)學(xué)密切相關(guān)。計(jì)算統(tǒng)計(jì)學(xué)側(cè)重于使用計(jì)算機(jī)進(jìn)行預(yù)測，但并非所有機(jī)器學(xué)習(xí)都是統(tǒng)計(jì)學(xué)習(xí)，例如，數(shù)據(jù)挖掘技術(shù)是機(jī)器學(xué)習(xí)的一個(gè)分支領(lǐng)域，側(cè)重于通過無監(jiān)督學(xué)習(xí)進(jìn)行探索性數(shù)據(jù)分析，另一個(gè)分支領(lǐng)域——神經(jīng)網(wǎng)絡(luò)技術(shù)，則是利用機(jī)器學(xué)習(xí)實(shí)現(xiàn)一種模仿生物大腦工作的方式。

在藝術(shù)領(lǐng)域，機(jī)器學(xué)習(xí)的應(yīng)用研究目標(biāo)多為自動(dòng)化和自主創(chuàng)造系統(tǒng)的開發(fā)，關(guān)注的是對人類藝術(shù)創(chuàng)造力的模擬，目的是產(chǎn)生可與人類藝術(shù)作品相媲美的生成制品。在音樂創(chuàng)作領(lǐng)域，機(jī)器學(xué)習(xí)技術(shù)從20世紀(jì)80年代開始運(yùn)用，目的在于創(chuàng)造基于音樂風(fēng)格模仿的自動(dòng)作曲系統(tǒng)。早期的音樂風(fēng)格模仿多采用結(jié)構(gòu)化學(xué)習(xí)方式，采用MIDI縮減樂譜或其他抽象描述符作為數(shù)據(jù)集對程序進(jìn)行訓(xùn)練，對于結(jié)構(gòu)和寫作技法非常規(guī)整的作品，該方法能夠生成與作曲家風(fēng)格高度近似的結(jié)果，對于結(jié)構(gòu)和技法較為自由的近現(xiàn)代作品則較難取得令人滿意的效果。目前，深度學(xué)習(xí)技術(shù)已允許在音樂風(fēng)格模仿使用結(jié)構(gòu)化數(shù)據(jù)，即通過音頻文件作為數(shù)據(jù)集進(jìn)行訓(xùn)練，但直面聲音數(shù)據(jù)的訓(xùn)練方式，使其在音樂風(fēng)格的適應(yīng)性上更為廣泛，例如在管弦樂創(chuàng)作上，該方法對于對頻譜主義等偏向挖掘聲音潛力的風(fēng)格有著較好的適應(yīng)性。以上兩種方法都是為了“替代人工”的目的而開發(fā)的，在實(shí)際應(yīng)用中，尤其是需要批量生產(chǎn)音樂產(chǎn)品的場景中具有很強(qiáng)的應(yīng)用潛力。但是，由于依賴于現(xiàn)存的數(shù)據(jù)集，此類方法適合在已有音樂風(fēng)格與技法的基礎(chǔ)上進(jìn)行生成，缺乏創(chuàng)新潛力。此外，由于其學(xué)習(xí)與生成過程是封閉的，用戶無法對其施加影響，所以該類方法幾乎將人為要素從音樂創(chuàng)作中消除了，音樂家無法借助此方法來形成個(gè)人的藝術(shù)表達(dá)。

交互式電子音樂是追求創(chuàng)新、力求拓展藝術(shù)邊界的實(shí)踐形式，類似風(fēng)格模仿的封閉式機(jī)器學(xué)習(xí)顯然是不適用于它的。但是，在創(chuàng)作過程的部分環(huán)節(jié)中使用機(jī)器學(xué)習(xí)技術(shù)，在人類主導(dǎo)創(chuàng)作的前提下加入程序自主的輔助行為，對于藝術(shù)表現(xiàn)的拓展與創(chuàng)作效率的提升，都將是有益的嘗試。例如，筆者在本文第3部分中所分析的3部作品，與同類作品相比都帶來了新的藝術(shù)呈現(xiàn)效果，其設(shè)計(jì)理念也均有不尋常之處。其中，11 Degrees of Dependence沒有設(shè)置獨(dú)立的交互手勢，它的交互動(dòng)作基于演奏器樂時(shí)的演員姿勢變化與手指運(yùn)動(dòng)帶來的肌肉狀態(tài)變化；Corpus Nil演員的身體幾乎靜止，使用非常細(xì)微的動(dòng)作幅度來控制視聽內(nèi)容的變化；Delearning則采用了完全現(xiàn)場即興的創(chuàng)作方式，呈現(xiàn)內(nèi)容源自表演者與計(jì)算機(jī)程序之間的相互理解。如果完全使用傳統(tǒng)編程方式來實(shí)現(xiàn)這些作品的設(shè)計(jì)，不僅難度極高，工作量也十分龐大，而機(jī)器學(xué)習(xí)技術(shù)的加入恰好解決了作品的創(chuàng)意需求，并提升了創(chuàng)作效率。

（二）開放式的創(chuàng)作系統(tǒng)：半自動(dòng)化映射的實(shí)現(xiàn)

參數(shù)映射是交互式電子音樂設(shè)計(jì)時(shí)需要耗費(fèi)人工較多的環(huán)節(jié)，對此情況，機(jī)器學(xué)習(xí)可提供改良方案。多元線性回歸是此類情景下較為適用的算法，它可以在手勢特征和聲音合成參數(shù)之間定義復(fù)雜、連續(xù)的映射函數(shù)。當(dāng)前，使用該類算法的較為典型的工具是Wekinator，它是專用于交互藝術(shù)的機(jī)器學(xué)習(xí)軟件平臺(tái)，能夠通過開發(fā)式聲音控制協(xié)議（OSC）與其他編程環(huán)境。如圖2所示，獨(dú)立的手勢識(shí)別程序Handpose OSC可與Wekinator建立通信，共同服務(wù)于交互系統(tǒng)的搭建。

類似Wekinator的機(jī)器學(xué)習(xí)平臺(tái)的優(yōu)勢在于采用了通用化的通信協(xié)議，適用性強(qiáng)，用戶可以將其與自己使用的編程環(huán)境結(jié)合起來使用。在創(chuàng)作應(yīng)用當(dāng)中，使用該類平臺(tái)進(jìn)行聲音與動(dòng)作映射的步驟可被歸納3個(gè)。

1.訓(xùn)練集形成

在進(jìn)行該步驟前，創(chuàng)作者應(yīng)完成聲音合成與調(diào)制程序的搭建，并將作為控制數(shù)據(jù)輸入的傳感器或控制器數(shù)據(jù)引入到程序當(dāng)中，完成交互系統(tǒng)的輸出與輸出端搭建，并將所有需要參與映射的參數(shù)進(jìn)行梳理。之后，由程序代理，將各參數(shù)整合到數(shù)據(jù)集當(dāng)中。此時(shí)，訓(xùn)練集中的各個(gè)參數(shù)被整合到線性回歸算法當(dāng)中，其中的控制參數(shù)作為自變量，被控制參數(shù)作為因變量，程序內(nèi)的人工神經(jīng)網(wǎng)絡(luò)（ANN）將運(yùn)用這些數(shù)據(jù)建立一個(gè)統(tǒng)計(jì)模型，為訓(xùn)練工作做好準(zhǔn)備。

2.演奏實(shí)驗(yàn)

在該步驟當(dāng)中，創(chuàng)作者需要模擬表演時(shí)的情景，使用手勢對程序發(fā)出的聲音進(jìn)行控制。在此過程中，神經(jīng)網(wǎng)絡(luò)會(huì)在不同的自變量與因變量間自動(dòng)創(chuàng)建配對，之后由作者進(jìn)行演奏實(shí)驗(yàn)，測試手勢運(yùn)行軌跡、速度、幅度與聲音表現(xiàn)之間的關(guān)系。雖然在神經(jīng)網(wǎng)絡(luò)的支持下，參數(shù)映射是自動(dòng)形成的，但是由于音樂進(jìn)行過程中，各個(gè)段落要使用的發(fā)聲模塊（采樣器、效果器、合成器等）組合不同，且模塊組合仍需要作者指定，因此，在這個(gè)實(shí)驗(yàn)過程中，作者仍可以對程序進(jìn)行人工干預(yù)，以保證音樂的結(jié)構(gòu)設(shè)計(jì)符合作者的意愿。

3.評估與保存

當(dāng)映射形成后，作者需要對其結(jié)果進(jìn)行評估（可用或不可用），其中被采用的結(jié)果將被作為“用戶偏好”選項(xiàng)反饋給神經(jīng)網(wǎng)絡(luò)，為程序在接下來的映射搭建中提供參考。同時(shí)，對于可用選項(xiàng)，用戶可以將其存儲(chǔ)在程序中，使這些適用的映射結(jié)果在作品的實(shí)際演出中可以被調(diào)用。對于不可用選項(xiàng)，程序會(huì)將其刪除，并為用戶提供新的映射方案，也就是回到先前的演奏實(shí)驗(yàn)步驟，再由用戶進(jìn)行評估。

此類方法屬于典型的有監(jiān)督學(xué)習(xí)，保證了創(chuàng)作者的決策權(quán)，同時(shí)也實(shí)現(xiàn)了映射工序的半自動(dòng)化。即使用戶不具備專業(yè)的計(jì)算機(jī)編程與機(jī)器學(xué)習(xí)相關(guān)知識(shí)，也能夠使用該類工具完成交互系統(tǒng)的設(shè)計(jì)。

（三）人機(jī)共創(chuàng)的形成

使用機(jī)器學(xué)習(xí)技術(shù)接管參數(shù)映射工作的前提，是通過人工神經(jīng)網(wǎng)絡(luò)，將聲音與動(dòng)作參數(shù)整合成為一個(gè)由數(shù)據(jù)構(gòu)成的空間。用戶通過回歸算法在空間內(nèi)進(jìn)行探索的同時(shí)，也在探索聲音表現(xiàn)上的可能性。每位創(chuàng)作者都存在既定思維模式，如果以人工方式進(jìn)行映射，某些組合很可能會(huì)被認(rèn)為是不適用的，創(chuàng)作者在聽到聲音前就會(huì)提前否認(rèn)這些組合，構(gòu)成了參數(shù)空間中的死角。而機(jī)器學(xué)習(xí)的介入，則能夠全面地探索空間中的所有區(qū)域，有可能為創(chuàng)作者帶來意外的結(jié)果，創(chuàng)造新的藝術(shù)表現(xiàn)。除了打破創(chuàng)作習(xí)慣外，創(chuàng)作者與程序的共同探索也可以成為反思藝術(shù)實(shí)踐和審美立場的工具。

機(jī)器學(xué)習(xí)參與創(chuàng)作，不僅能夠?qū)?chuàng)作者從低效率的人工操作中解放出來，同時(shí)也讓交互藝術(shù)創(chuàng)作過程中的代理權(quán)分布發(fā)生了局部變化：計(jì)算機(jī)不僅是人類用于實(shí)現(xiàn)意圖表達(dá)的工具，機(jī)器學(xué)習(xí)賦予的微量主觀能動(dòng)性，使其成為拓展人類藝術(shù)實(shí)踐能力的助手。因此，機(jī)器學(xué)習(xí)的加持，使得如今的交互系統(tǒng)設(shè)計(jì)從人機(jī)互動(dòng)狀態(tài)進(jìn)化到了人機(jī)共創(chuàng)新局面。近年來，已有一些交互式電子音樂作品在創(chuàng)作過程中使用了機(jī)器學(xué)習(xí)技術(shù)，人機(jī)共創(chuàng)的形式在這些作品中均得到了不同程度的體現(xiàn)。

三、基于人機(jī)共創(chuàng)系統(tǒng)的作品案例分析

（一）11 Degrees of Dependence（2016）

1.作品設(shè)計(jì)概覽

這是一首為薩克斯管（中音）、電吉他與可穿戴傳感器創(chuàng)作的作品，作者是費(fèi)德里科·格里·維希（Federico Ghelli Visi）①。該作品探討了表演者和他們的樂器之間的關(guān)系，關(guān)注點(diǎn)是樂器演奏的慣用姿態(tài)對身體運(yùn)動(dòng)的限制，旨在挖掘演奏者在演奏動(dòng)作之外能產(chǎn)生的姿態(tài)與其表現(xiàn)潛力。為了完成這個(gè)設(shè)計(jì)，作者特意安排兩位演奏者在表演樂器的同時(shí)，運(yùn)用肢體去完成對電子聲音的觸發(fā)和控制。

作者使用了MYO腕帶（圖5）作為傳感器，該設(shè)備通過偵測手臂活動(dòng)時(shí)肌肉產(chǎn)生的生物電信號(hào)變化來實(shí)現(xiàn)對手勢的捕捉。相比于基于空間位置偵測的傳感器，基于生理感應(yīng)的設(shè)備能夠捕捉到更加細(xì)微的動(dòng)作變化。另外，它所提供的參數(shù)維度也更多，在與控制參數(shù)較多的合成器進(jìn)行映射控制時(shí)，能夠組成維度更廣的參數(shù)空間，供作曲家選擇。

2.機(jī)器學(xué)習(xí)技術(shù)運(yùn)用分析

在這首作品當(dāng)中，作者利用機(jī)器學(xué)習(xí)技術(shù)將演奏者的動(dòng)作與基于物理建模技術(shù)的合成聲音進(jìn)行連續(xù)映射。薩克斯管樂手和吉他手各自戴兩個(gè)MYO腕帶，其中薩克斯管樂手的腕帶用于控制物理建模合成器程序（用于合成長笛音色），吉他樂手的腕帶則用于控制放置在吉他柄上的電聲共鳴器。由于演奏者的雙手都要用來控制樂器，作者轉(zhuǎn)而采用演奏者的身體姿態(tài)來控制合成器。就薩克斯管樂手而言，其主要控制姿態(tài)為以下4種：

（1）默認(rèn)的演奏姿勢（命名為“休息”），雙臂舒適地放在胸側(cè)；

（2）輕輕向后靠，抬起薩克斯管，肘部微微張開（名為“開放”）；

（3）向左傾斜，右肘略微向外（名為“左”）；

（4）向右傾斜，左手肘略微向外（名為 “右”）。

以上幾種姿態(tài)也被記寫在樂譜當(dāng)中。如圖6所示，樂譜采用了傳統(tǒng)的記譜法和一些自定義符號(hào)（每行樂譜下方），用于記述姿態(tài)變化。圖形符號(hào)用于表示在對應(yīng)時(shí)間點(diǎn)上應(yīng)該達(dá)到的姿態(tài)，紅線顯示了不同姿勢之間的過渡。這些線條類似于傳統(tǒng)音樂符號(hào)中常見的其他線條，兩個(gè)符號(hào)之間的直線意味著表演者從第一個(gè)符號(hào)所代表的姿態(tài)開始，逐漸向第二個(gè)符號(hào)所代表的姿態(tài)移動(dòng)。姿態(tài)之間的過渡所產(chǎn)生的動(dòng)作應(yīng)該在與第二個(gè)符號(hào)對應(yīng)的地方結(jié)束。

由于這些動(dòng)作需要全身的多處關(guān)節(jié)與肌肉配合，因此，采用手動(dòng)作業(yè)顯然會(huì)將映射過程變得極為煩瑣，因此，參數(shù)映射是通過監(jiān)督學(xué)習(xí)完成的。內(nèi)置在腕帶中的磁強(qiáng)計(jì)的橫向（音高）和縱向（滾動(dòng)）軸的數(shù)據(jù)被用來作為訓(xùn)練機(jī)器學(xué)習(xí)模型的輸入。在訓(xùn)練階段，每個(gè)姿勢都與一組物理建模的合成參數(shù)相配合，用于生成不同類型的長笛音色。其中，“休息”姿態(tài)與具有清晰基頻的單音吹奏聲相匹配的，“開放”姿態(tài)與呼吸噪聲對應(yīng)，“左”姿態(tài)將觸發(fā)泛音，“右”姿勢則觸發(fā)彈吐音。該建模合成器所產(chǎn)生的參數(shù)是連續(xù)的，因此各個(gè)動(dòng)作觸發(fā)的聲音也是連續(xù)變化的，在實(shí)際演出時(shí)可與薩克斯的聲音相融合，產(chǎn)生不同尋常的混合音色。長笛模型演奏的音高是C1，這也是該作品的調(diào)性。輸入物理模型的模擬吹奏力度是由識(shí)別肌肉表面電壓變化生成的肌電圖（EMG）控制的，該數(shù)值對應(yīng)演奏者前臂肌肉運(yùn)動(dòng)的狀態(tài)，當(dāng)薩克斯演奏者的手指按動(dòng)不同組合的按鍵時(shí)，手指牽動(dòng)的前臂肌肉動(dòng)態(tài)將觸發(fā)不同力度的長笛聲。電吉他與電聲共鳴器之間的關(guān)系也基于同理。通過此方式，真實(shí)樂器與合成器的發(fā)聲節(jié)奏、力度能夠被聯(lián)系起來。

3.機(jī)器學(xué)習(xí)技術(shù)對作品表現(xiàn)的影響

作者所設(shè)定的立意使得“記錄表演者姿態(tài)”在這首作品中成為必須要使用的元素。在同類作品中，手勢是用于控制電子合成器的常用選項(xiàng)，無論是基于空間坐標(biāo)還是角度，手勢能夠產(chǎn)生足夠的運(yùn)動(dòng)幅度與明確的軌跡來為計(jì)算機(jī)程序提供數(shù)據(jù)。而身體姿態(tài)的情況更為復(fù)雜，它涉及多處肌肉的狀態(tài)，不具有明確變化軌跡，因此，使用機(jī)器學(xué)習(xí)技術(shù)，通過訓(xùn)練來讓程序識(shí)別各個(gè)姿態(tài)，并將其與對應(yīng)的聲音進(jìn)行映射，是更為可行的方案，保障了創(chuàng)意的實(shí)施。

此外，作品中包含有真實(shí)樂器與電子合成器，兩種聲音的結(jié)合方式需要合理的設(shè)計(jì)。在這部作品中，作者把基于物理建模合成的長笛音色與薩克斯管的聲音集合，并為電吉他施加額外的電子效果，將電子聲設(shè)計(jì)成了真實(shí)樂器的延伸，以混合音色的狀態(tài)表現(xiàn)。這需要樂器聲與電聲能夠以相同的頻譜與幅度進(jìn)行演奏，才能保證二者完美貼合。設(shè)計(jì)為演奏增加的半自動(dòng)的映射，比如將薩克斯管的按鍵動(dòng)作與物理建模合成器中的吹奏力度結(jié)合起來，使真實(shí)的聲音和電子聲能夠更加緊密地結(jié)合在一起，這是機(jī)器學(xué)習(xí)為這部作品帶來的另一層助力。

（二）Corpus Nil（2017）

1.作品設(shè)計(jì)概覽

這是一部將舞蹈與現(xiàn)場音樂相結(jié)合的劇場作品，由馬可·多納魯馬（Marco Donnarumma）①創(chuàng)作并親自表演（圖8）。在時(shí)長20分鐘的表演過程中，作者在電子聲音、人的身體之間構(gòu)建激烈的、儀式性的互動(dòng)。作品中的舞蹈元素十分反傳統(tǒng)，表演者幾乎是以靜態(tài)的方式匍匐在舞臺(tái)上進(jìn)行表演的，通過控制身體各部分的肌肉做微弱的變形形成動(dòng)作，這些變形會(huì)通過傳感器的捕捉，在聲音的維度里得到擴(kuò)大。結(jié)合線性回歸算法的分析和學(xué)習(xí)，軟件中的聲音合成算法能夠?qū)ρ葑嗾叩膭?dòng)作作出敏銳的反應(yīng)。聲音的表現(xiàn)又為表演者提供了反饋，指導(dǎo)表演者調(diào)整動(dòng)作與編排方式，從而與樂器建立一種連續(xù)的、適應(yīng)性的對話關(guān)系。這部作品因此拋棄了表演者對樂器的完全控制，轉(zhuǎn)而采用兩者之間不穩(wěn)定的肉體接觸。結(jié)合作品中的聲光變化，表演者的身體與“樂器”似乎在概念上都發(fā)生異化，塑造出一個(gè)全新的生命形態(tài)。

2.機(jī)器學(xué)習(xí)技術(shù)運(yùn)用分析

作者在表演時(shí)佩戴了兩種生物信號(hào)傳感器，其中，接觸式麥克風(fēng)負(fù)責(zé)捕捉來自肌肉和內(nèi)部器官的聲音，肌電圖傳感器（EMG）則負(fù)責(zé)將肌肉因形變產(chǎn)生的電壓變化轉(zhuǎn)換成數(shù)據(jù)，傳輸?shù)交跈C(jī)器學(xué)習(xí)技術(shù)的定制軟件中。該軟件是作者與來自法國IRCAM、英國倫敦大學(xué)金匠學(xué)院（Goldsmith）的專家合作開發(fā)的，由一組算法相互連接，形成一個(gè)遞歸網(wǎng)絡(luò)。這些算法有不同的任務(wù)，如生物信號(hào)分析、運(yùn)動(dòng)細(xì)微差別的學(xué)習(xí)（通過線性回歸和統(tǒng)計(jì)算法）和聲音再合成。其中，每一組算法會(huì)從表演者的身體中提取一組代表運(yùn)動(dòng)特征的數(shù)據(jù)，這些數(shù)據(jù)不代表運(yùn)動(dòng)本身，因?yàn)樗槐硎具\(yùn)動(dòng)的軌跡和形狀，它表示肌肉的力量、收縮的突然性和肌肉的阻尼等運(yùn)動(dòng)時(shí)身體產(chǎn)生的特征性變化。這些特征說明了動(dòng)作的運(yùn)行特點(diǎn)，以及動(dòng)作之間的銜接方式。

在數(shù)據(jù)的處理和運(yùn)用方面，設(shè)計(jì)者采用了基于機(jī)器學(xué)習(xí)的算法——姿態(tài)變化跟隨（GVF），適用于實(shí)時(shí)跟蹤連續(xù)運(yùn)動(dòng)變化。為了讓不同的藝術(shù)家能夠使用該系統(tǒng)，設(shè)計(jì)者為這套系統(tǒng)添加了快速校準(zhǔn)功能。軟件會(huì)在表演過程中，生成對表演者身體產(chǎn)生的所有聲音的振幅和頻率的描述（區(qū)間為1Hz～40Hz），以及這些數(shù)據(jù)隨時(shí)間變化的曲線，用于控制聲音程序。軟件的聲音程序主要由一套包含20個(gè)數(shù)字振蕩器的信號(hào)合成網(wǎng)絡(luò)構(gòu)成。由于舞蹈演出動(dòng)作本身也是對程序的訓(xùn)練，現(xiàn)場編排動(dòng)作時(shí)就需要控制身體，做出緩慢、細(xì)膩且重復(fù)的身體動(dòng)作，產(chǎn)生的聲音也是緩慢、帶有遞進(jìn)變化的。在作品進(jìn)行到高潮段落時(shí)，因程序已經(jīng)過了較長時(shí)間的學(xué)習(xí)，身體動(dòng)作與聲音的變化已達(dá)成了深度的、全面的映射關(guān)系，此時(shí)表演者可使用較大幅度和較高變化頻率的動(dòng)作，帶動(dòng)聲音發(fā)生激烈的變化，配合由聲音驅(qū)動(dòng)的舞臺(tái)燈光，形成極具張力的演出效果。

3.機(jī)器學(xué)習(xí)技術(shù)對作品表現(xiàn)的影響

（1）“人機(jī)裝置”的形成

作者馬可·多納魯馬具有舞蹈和電子音樂的跨領(lǐng)域創(chuàng)作經(jīng)驗(yàn)，他在個(gè)人創(chuàng)作實(shí)踐中一直致力于將人體與電子媒介相結(jié)合。作者曾在他的論文中表示：“通過這些方法和工具，表演者身體的物理和生理特性與電子樂器的材料交錯(cuò)在一起，產(chǎn)生不同程度的互相影響。這樣的作品被其命名為‘人機(jī)裝置：音樂表達(dá)產(chǎn)生于人體、程序化的音樂理念、聲音之間的緊密協(xié)調(diào)，而且協(xié)調(diào)的過程與結(jié)果經(jīng)常是不可完全預(yù)測的?！雹貱orpus Nil的產(chǎn)生即是源于此理念。這部作品中并未使用傳統(tǒng)意義上的舞蹈動(dòng)作，而是采用了小幅度的人體姿態(tài)變化，這樣的控制行為缺乏明顯的運(yùn)動(dòng)軌跡特征，很難用人工的方式去和聲音程序映射。如果使用機(jī)器學(xué)習(xí)的方式去做自動(dòng)化映射，程序就能夠深度提取人體狀態(tài)變化的特征，為其動(dòng)作與聲音創(chuàng)造緊密的結(jié)合。因此，機(jī)器學(xué)習(xí)技術(shù)是促成“人機(jī)裝置”設(shè)計(jì)理念落地成型的關(guān)鍵。

（2）對身體包容性

在創(chuàng)作這部作品之前，作者在舞蹈與音樂結(jié)合的領(lǐng)域已有多年的創(chuàng)作經(jīng)驗(yàn)。在此過程中，他逐漸意識(shí)到了該類藝術(shù)存在的生理?xiàng)l件壁壘。他表示：“我清楚地意識(shí)到，在姿態(tài)音樂的表演中所表現(xiàn)出來的那種身體，大多數(shù)時(shí)候是一個(gè)嚴(yán)重標(biāo)準(zhǔn)化的身體，是一個(gè)符合特定標(biāo)準(zhǔn)的正常身體。這促使我研究如何利用姿態(tài)音樂表演和人機(jī)交互的元素——與運(yùn)動(dòng)和美學(xué)研究相結(jié)合。結(jié)合運(yùn)動(dòng)和審美的研究，創(chuàng)造一種不同的表演實(shí)踐，一種將人體作為一個(gè)不斷變化的、具有多種潛能和不同體現(xiàn)形式的流動(dòng)實(shí)體的實(shí)踐，而不是像我們的社會(huì)制度所確立的那樣，是一個(gè)靜態(tài)的、受控的和控制的主體?！雹儆纱丝梢?，Corpus Nil也是作者對于藝術(shù)實(shí)踐公平化追求的體驗(yàn)，作品中所使用的反傳統(tǒng)的舞蹈動(dòng)作，正是對身體障礙群體參與舞臺(tái)演出，形成藝術(shù)表達(dá)的一種探索。機(jī)器學(xué)習(xí)技術(shù)所包含的神經(jīng)網(wǎng)絡(luò)與回歸算法，賦予這套系統(tǒng)很強(qiáng)的包容性，它不僅可以允許作者以外的藝術(shù)家使用，還可以為不具有舞蹈表演經(jīng)驗(yàn)或身體存在障礙的用戶帶來體會(huì)舞臺(tái)藝術(shù)表演的機(jī)會(huì)。

（三）Delearning （2019）

Delearning是由田中能②創(chuàng)作的一首交互式電子音樂作品。這部作品的材料來自于作者為室內(nèi)管弦樂隊(duì)創(chuàng)作的作品DSCP所制作的，用于機(jī)器學(xué)習(xí)程序訓(xùn)練的人聲語料庫，通過神經(jīng)網(wǎng)絡(luò)與回歸算法映射手勢的輸入，實(shí)現(xiàn)靈活的現(xiàn)場交互效果。

1.作品設(shè)計(jì)概覽

作品Delearning是典型的使用手勢表演的交互式電子音樂，采用數(shù)字合成器作為聲源，由多個(gè)手勢參數(shù)控制合成器完成現(xiàn)場演出。

作者在交互音樂設(shè)計(jì)方面具有資深經(jīng)驗(yàn)，在設(shè)計(jì)這首作品時(shí)，他引入機(jī)器學(xué)習(xí)技術(shù)，將計(jì)算機(jī)變轉(zhuǎn)為共同創(chuàng)作的成員。為了突出機(jī)器學(xué)習(xí)所帶來的“智能”，他將這首作品設(shè)定為現(xiàn)場創(chuàng)作的即興式電子音樂。作者對程序的一部分訓(xùn)練是在演出現(xiàn)場進(jìn)行的，由當(dāng)前段落狀態(tài)決定下一段落的走向，通過持續(xù)積累完成整首作品?；谶@種特性，這首作品在每次演出時(shí)都會(huì)呈現(xiàn)不同的聲音，展現(xiàn)了機(jī)器學(xué)習(xí)技術(shù)介入所產(chǎn)生的靈活性。

2.機(jī)器學(xué)習(xí)技術(shù)運(yùn)用分析

MYO腕帶所能夠提供的參數(shù)主要來自其通過生物電檢測形成的肌電圖（EMG）與檢測手臂運(yùn)動(dòng)的慣性測量單元（IMU）。手勢參數(shù)維度共計(jì)19個(gè)，全部取自右前臂，包括 IMU四元數(shù)（4個(gè)維度）、角速度（4個(gè)維度），經(jīng)過貝葉斯濾波處理的前臂周長（8個(gè)通道），水平和垂直方向上的肌肉張力（2個(gè)維度）。

這首作品采用了聲音粒子合成技術(shù)，將一段室內(nèi)管弦樂隊(duì)的錄音（取自作者本人的作品DSCP）作為源音頻文件。作者選用這部作品是因?yàn)樗硕喾N多樣的音色和動(dòng)態(tài)，同時(shí)在時(shí)間上是連貫的。在演出之前，作者會(huì)使用程序?qū)σ纛l文件進(jìn)行分析，以生成音頻描述符，并通過瞬態(tài)發(fā)作檢測將其分割成粒子。在實(shí)際操作過程中，這段18分鐘的音頻文件被分割成21000段合成粒子，平均每個(gè)粒子的長度為50毫秒、從作者提供的參數(shù)列表（圖9）可以看到19個(gè)維度的參數(shù)，這些參數(shù)具體包含有粒子持續(xù)時(shí)間（Duration，1個(gè)維度），頻率平均值（Frequency，2個(gè)維度）、標(biāo)準(zhǔn)差的頻率能量（Energy，2個(gè)維度）；周期性（Periodicity，2個(gè)維度）；自相關(guān)系數(shù)（AC1，2個(gè)維度）、響度（Loudness，2個(gè)維度）；頻譜中心點(diǎn)（Centroid，2個(gè)維度）、擴(kuò)散（Spread，2個(gè)維度）、傾斜（Skewness，2個(gè)維度）、峰度（Kurtosis，2個(gè)維度）。

在參數(shù)提取步驟完成后，手勢輸入?yún)?shù)空間通過神經(jīng)網(wǎng)絡(luò)被映射到目標(biāo)音頻的參數(shù)空間。該神經(jīng)網(wǎng)絡(luò)創(chuàng)建了一個(gè)回歸算法模型，將手勢的執(zhí)行和聲音的合成輸出聯(lián)系起來。表演者右臂上的EMG和IMU傳感器為神經(jīng)網(wǎng)絡(luò)提供19個(gè)維度的手勢參數(shù)，而左臂的EMG傳感器則負(fù)責(zé)調(diào)節(jié)合成器的整體振幅，IMU的四元數(shù)在創(chuàng)作的不同點(diǎn)上調(diào)制粒子構(gòu)成、濾波器參數(shù)和空間化效果。

這首作品的機(jī)器學(xué)習(xí)訓(xùn)練是在演出現(xiàn)場進(jìn)行的。在初始狀態(tài)，回歸算法模型中不包含任何內(nèi)容，程序會(huì)播放一個(gè)聲音粒子，演奏者需要在聽到后編排一個(gè)與之相符合的手勢，并將其作為訓(xùn)練數(shù)據(jù)記錄到神經(jīng)網(wǎng)絡(luò)中。神經(jīng)網(wǎng)絡(luò)在經(jīng)過訓(xùn)練，會(huì)進(jìn)入測試模式，表演者需要通過流暢、動(dòng)態(tài)的手勢探索參數(shù)空間，回歸算法模型通過比對訓(xùn)練數(shù)據(jù)，向合成器報(bào)告一組音頻描述符。此時(shí)，合成器程序會(huì)應(yīng)用近鄰算法，在粒子庫選取符合要求的音頻片段，將其播放出來。此時(shí)，表演者需要再次根據(jù)該聲音做出適合的手勢，神經(jīng)網(wǎng)絡(luò)也將被重置回到訓(xùn)練模式，重復(fù)之前進(jìn)行過的步驟。整首作品在五次迭代的基礎(chǔ)上形成，在此過程中，回歸算法模型被不斷拓展，創(chuàng)造出音樂的結(jié)構(gòu)，手勢與手音樂參數(shù)之間的映射逐漸變得更加豐富和密集，與此同時(shí)發(fā)展的是愈加豐富的聲音層次。

3.機(jī)器學(xué)習(xí)技術(shù)對作品表現(xiàn)的影響

（1）控制手勢的意義革新

Delearning包含了由19個(gè)輸入維度、19個(gè)輸出維度構(gòu)成的龐大參數(shù)空間，現(xiàn)場進(jìn)行的程序訓(xùn)練就像在空間中進(jìn)行探索，每次演出都有可能走出不同的路線，演奏出不同的聲音。作品的交互手勢，不再是單純的指揮信號(hào)，而是成為了表演者與計(jì)算機(jī)一同商討作品下一步發(fā)展方向的交流手段。革新了手勢在交互式電子音樂中的意義，實(shí)現(xiàn)了真正的人機(jī)共同創(chuàng)作。

（2）基于天性的即興創(chuàng)作

在Delearning的現(xiàn)場訓(xùn)練過程中，程序會(huì)先為表演者播放聲音，表演者基于自己對該聲音的理解提供手勢，成為訓(xùn)練集的輸入數(shù)據(jù)，塑造之后連續(xù)進(jìn)行的音樂內(nèi)容。這樣的互動(dòng)形式，基于表演者對聲音的個(gè)人體驗(yàn)，而其后產(chǎn)生的聲音內(nèi)容，也將帶有表演者的個(gè)人色彩。在傳統(tǒng)的電子音樂表演活動(dòng)中，只有經(jīng)過長時(shí)間學(xué)習(xí)與實(shí)踐的專業(yè)創(chuàng)作者，才能在現(xiàn)場創(chuàng)作出具有個(gè)人特色的音樂作品。而Delearning所呈現(xiàn)的即興創(chuàng)作形式，有潛力為更多受眾提供個(gè)人化的聲音創(chuàng)作的體驗(yàn)，它僅需要表演者供自己對聲音自發(fā)的、基于天性的理解，并用手勢在演示與控制步驟中表達(dá)出來，以此簡單方式，便能呈現(xiàn)出個(gè)性化的聲音。因此，這部作品所提供的運(yùn)用機(jī)器學(xué)習(xí)的形式，有可能為未來的電子音樂創(chuàng)作提供一個(gè)更加具有包容性的方向。

三、機(jī)器學(xué)習(xí)技術(shù)在交互式電子音樂創(chuàng)作中的應(yīng)用價(jià)值總結(jié)

在上一章中，本文對三部較為典型地運(yùn)用了機(jī)器學(xué)習(xí)技術(shù)的交互式電子音樂作品進(jìn)行了分析。從三部作品在整體構(gòu)思、創(chuàng)作、舞臺(tái)表現(xiàn)三個(gè)環(huán)節(jié)中對機(jī)器學(xué)習(xí)技術(shù)的應(yīng)用，可以看到該技術(shù)對于作品的深入影響，并發(fā)現(xiàn)其應(yīng)用價(jià)值。本章將結(jié)合前文的分析結(jié)果，將機(jī)器學(xué)習(xí)技術(shù)在交互式電子音樂作品中的應(yīng)用價(jià)值進(jìn)行總結(jié)。

（一）提升映射參數(shù)步驟的工作效率

三部作品的表現(xiàn)形式雖然有所不同，但“姿態(tài)與電子聲的映射”都得到了明確的體現(xiàn)。在11 Degrees of Dependence與Corpus Nil當(dāng)中，作者沒有采用明確的手勢作為控制動(dòng)作，使用的都是相對小幅度的全身動(dòng)作，產(chǎn)生的參數(shù)維度數(shù)量會(huì)比傳統(tǒng)的手勢參數(shù)要多得多，如果以手動(dòng)方式將其與聲音參數(shù)進(jìn)行映射，工作量會(huì)非常巨大，其復(fù)雜程度會(huì)導(dǎo)致項(xiàng)目幾乎無法完成。但是在機(jī)器學(xué)習(xí)技術(shù)的幫助下，兩部作品的作者都通過訓(xùn)練的方式，實(shí)現(xiàn)了姿態(tài)與聲音的半自動(dòng)映射。

機(jī)器學(xué)習(xí)技術(shù)對映射效率的提升，是其應(yīng)用價(jià)值最為直觀的體現(xiàn)，不僅節(jié)省了手動(dòng)映射的時(shí)間，同時(shí)也讓傳統(tǒng)技術(shù)環(huán)境下無法實(shí)現(xiàn)的多維度參數(shù)映射能夠得以實(shí)施。

（二）改變當(dāng)前藝術(shù)創(chuàng)作活動(dòng)中的代理關(guān)系

本文第一章曾論述過交互藝術(shù)中“人機(jī)互動(dòng)”的單向?qū)嵸|(zhì)。從代理權(quán)的角度來看，人類是主要代理，作為工具的計(jì)算機(jī)是次級代理，次級代理對象只單純地響應(yīng)主要代理發(fā)出的指令，沒有自發(fā)行動(dòng)能力。而隨著機(jī)器學(xué)習(xí)技術(shù)的加入，如今的計(jì)算機(jī)能夠讓藝術(shù)生產(chǎn)中的代理關(guān)系發(fā)生局部的改變：工具有著突破次級代理地位的可能性。

具有學(xué)習(xí)能力的計(jì)算機(jī)，具備了自主改變藝術(shù)生產(chǎn)狀態(tài)的能力。它們不僅可以協(xié)助創(chuàng)作任務(wù)，還能夠拓展創(chuàng)作可能性的空間，打破創(chuàng)作者的固有實(shí)踐路線，影響其藝術(shù)思維，成為創(chuàng)作者的合作對象。

（三）增強(qiáng)藝術(shù)作品的包容性與公共性

交互式電子音樂的創(chuàng)作和演出是具有高度專業(yè)性的活動(dòng)，其中包含的繁雜的控制細(xì)節(jié)，只有創(chuàng)作者本人才能熟記并順利操作，因此，由創(chuàng)作者親自演出其作品對于此類藝術(shù)而言是常見的形式。作者與作品演出的綁定雖然能夠保證作品的精準(zhǔn)呈現(xiàn)，但是對于作品的傳播與再演繹會(huì)形成阻礙。

基于前文分析可見，配備了機(jī)器學(xué)習(xí)技術(shù)計(jì)算機(jī)程序會(huì)學(xué)習(xí)和理解表演者的動(dòng)作，并將其與聲音部分做相對合理化的映射。因此，該類程序具有較高的容錯(cuò)率，表演者可以根據(jù)自己的意愿去和計(jì)算機(jī)進(jìn)行互動(dòng)。在此基礎(chǔ)上，交互式電子音樂也可采用傳統(tǒng)器樂曲的演出方式：程序就像是樂譜，是音樂進(jìn)行的抽象化記述，同一首作品可以被不同的演奏者演繹并加入自己的理解與演繹。這樣的特性，增強(qiáng)了這種藝術(shù)作為音樂的包容性，對于其藝術(shù)潛力的進(jìn)一步發(fā)掘是有積極意義的。

公共性是互動(dòng)藝術(shù)的標(biāo)志之一，觀眾能夠參與并體驗(yàn)，對于該類藝術(shù)而言非常重要，但大多數(shù)交互式電子音樂并不具備此特性。在Corpus Nil與Delearning當(dāng)中，創(chuàng)作者都使用了現(xiàn)場訓(xùn)練的方式來創(chuàng)造姿態(tài)與聲音的映射，這使得不具備專業(yè)經(jīng)驗(yàn)的人士也可以通過自己對聲音的理解來訓(xùn)練程序，并形成自己的聲音演出。這種特性為交互式電子音樂增加了公共性，有助于其體驗(yàn)的推廣。

結(jié) 語

加入機(jī)器學(xué)習(xí)技術(shù)的交互式電子音樂，能夠在保留人的控制權(quán)的前提下，讓計(jì)算機(jī)參與局部的創(chuàng)作任務(wù)，形成“人機(jī)共創(chuàng)”的實(shí)踐系統(tǒng)。在現(xiàn)場演出中，其靈活的反饋行為也能強(qiáng)化其包容性的公共性，為參與者帶來更多樣的體驗(yàn)，在未來的藝術(shù)創(chuàng)作中，有著一定的應(yīng)用和推廣價(jià)值。從本文分析的三部作品的發(fā)表時(shí)間來看，機(jī)器學(xué)習(xí)技術(shù)在作品的構(gòu)思與創(chuàng)作環(huán)節(jié)的介入深度在隨時(shí)間逐漸遞增，這個(gè)趨勢也反映了，機(jī)器學(xué)習(xí)與交互式電子音樂創(chuàng)作的結(jié)合在未來仍會(huì)繼續(xù)發(fā)展，并創(chuàng)造出新的藝術(shù)語言。

◎本篇責(zé)任編輯 錢芳

參考文獻(xiàn)：

[1] F. Visi. Methods and Technologies for the Analysis and Interactive Use of Body Movements in Instrumental Music Performance[D]. Plymouth， UK： University of Plymouth， 2017.

[2] C. Pau. Digital Art[M]. New York， USA： Thames & Hudson Inc， 2003.

收稿日期：2023-03-05

基金項(xiàng)目：2022年北京市教育委員會(huì)科技計(jì)劃一般項(xiàng)目“輔助機(jī)器學(xué)習(xí)技術(shù)在交互式電子音樂創(chuàng)作中的應(yīng)用研究”（KM202210046001）。

作者簡介：馬仕驊（1989— ），男，博士，中國音樂學(xué)院作曲系講師（北京 100192）。

① W. Todd， Composing Interactive Music Techniques and Ideas Using Max（ MIT Press， 1998）， p.6.文中外文文獻(xiàn)均為筆者自行翻譯。

② 陸敏捷：《交互式電子音樂概論》，西南大學(xué)出版社，2021，第35頁。

① L. Muller， E. Edmonds， M. Connel， "Living laboratories for interactive art，" in CoDesign， 2（4），p.3.“Interactive art installations are generally computer-based and frequently rely on sensors， which gauge things such as temperature， motion， proximity， and other meteorological phenomena that the maker has programmed in order to elicit responses based on participant action.”

② Alfred Gell， Art and Agency：An Anthropological Theory（Oxford：Clarendon Press，1998）.

① Tom Mitchell， Machine Learning （New York： McGraw Hil， 1997）. “Machine learning （ML） is a field devoted to understanding and building methods that let machines "learn" - that is， methods that leverage data to improve computer performance on some set of tasks.”

① 費(fèi)德里科·格里·維希，瑞典呂勒奧科技大學(xué)皮特奧音樂學(xué)院（School of Music in Pitea， Lulea University of Technology， Sweden）講師。

② 本場演出電吉他演奏為作者費(fèi)德里科·格里·維希本人，薩克斯演奏為安娜·加西亞·卡拉巴羅斯（Ana Garcia Caraballos）。

① 馬可·多納魯馬（Marco Donnarumma）是現(xiàn)居德國柏林的新媒體藝術(shù)家、表演者、舞臺(tái)導(dǎo)演和學(xué)者。

② 表演者為作者本人。

① C. Baptiste ，D. Marco ， “Artificial Intelligence in Music and Performance：A Subjective Art-Research Inquiry，”in M. Eduardo ，Handbook of Artificial Intelligence for Music （Cham， Switzerland：Springer， 2020），p. 82.“Through this method， which I term human—machine configuration， musical expression arises from an intimate and， often， not fully predictable negotiation of human bodies， instruments， and programmatic musical ideas.”

① C. Baptiste ，D. Marco ， “Artificial Intelligence in Music and Performance：A Subjective Art-Research Inquiry，” in M. Eduardo ， Handbook of Artificial Intelligence for Music（Cham， Switzerland：Springer， 2020），p. 79.“This triggered me to investigate how elements of gestural music performance and HCI could be exploited—in combination with research on movement and aesthetic—to create a different kind of performance practice; a practice that would account for the human body as an everchanging， fluid entity with multiple potentials and varying forms of embodiment，instead of a static， controlled and controlling subject as established by our societal regime.”

② 田中能，倫敦大學(xué)金匠學(xué)院（Goldsmiths， University of London）教授，研究領(lǐng)域集中于在交互式電子音樂中運(yùn)用生理感應(yīng)技術(shù)，特別是肌電圖信號(hào)中的肌肉張力，以及對這種復(fù)雜的有機(jī)數(shù)據(jù)進(jìn)行機(jī)器學(xué)習(xí)分析。

① 表演者為作者本人。