井艷紅

（鄭州西亞斯學(xué)院音樂(lè)戲劇學(xué)院，河南 鄭州 451150）

1 研究背景

物聯(lián)網(wǎng)的概念和相關(guān)技術(shù)為萬(wàn)物互聯(lián)提供了物理基礎(chǔ)和保障，各個(gè)行業(yè)或者領(lǐng)域也都在借助互聯(lián)網(wǎng)的力量在信息化的浪潮中探索如何進(jìn)一步發(fā)展。音樂(lè)事物作為人類社會(huì)廣泛存在的形式，將音樂(lè)事物與物聯(lián)網(wǎng)相關(guān)的研究正方興未艾[1]。文獻(xiàn)[2]探討了智能車載系統(tǒng)中的音樂(lè)服務(wù)與交互設(shè)計(jì)，結(jié)合未來(lái)車聯(lián)網(wǎng)的可連接服務(wù)系統(tǒng)。與此同時(shí)，國(guó)際計(jì)算機(jī)音樂(lè)大會(huì)、音樂(lè)表達(dá)新界面國(guó)際會(huì)議等此領(lǐng)域最尖端的學(xué)術(shù)會(huì)議也逐漸將探討的熱點(diǎn)轉(zhuǎn)向了人機(jī)交互電子音樂(lè)[3,4]。文獻(xiàn)[5]的學(xué)者設(shè)計(jì)了基于物聯(lián)網(wǎng)的智慧音樂(lè)系統(tǒng)。

近期，音樂(lè)物聯(lián)網(wǎng)（IoMusT）[6,7]的概念被一些學(xué)者提出，Hazzard等人[6]在樂(lè)器的背景下使用了QR碼，可以幫助用戶了解樂(lè)器及其社會(huì)歷史的在線數(shù)據(jù)。Turchet等人[7]建議將物聯(lián)網(wǎng)的概念擴(kuò)展到音樂(lè)領(lǐng)域，將IoMusT視為物聯(lián)網(wǎng)的一個(gè)子領(lǐng)域，其基礎(chǔ)技術(shù)和基礎(chǔ)設(shè)施連接了音樂(lè)家和觀眾并在互操作設(shè)備生態(tài)系統(tǒng)得以實(shí)現(xiàn)，以支持新穎的音樂(lè)家-音樂(lè)家、聽眾-音樂(lè)家和觀眾-觀眾互動(dòng)。IoMusT是一個(gè)涉及多學(xué)科、多專業(yè)的綜合工程，所涉及的各個(gè)技術(shù)環(huán)節(jié)國(guó)內(nèi)外學(xué)者都做了大量的研究也都給出了成功的解決方案，所以在技術(shù)上實(shí)現(xiàn)音樂(lè)事件的互聯(lián)網(wǎng)化是完全可行的，但以往的研究都是單一的從某一個(gè)方面著手，缺乏一個(gè)統(tǒng)一的研究框架，完整的研究體系還不健全。本文計(jì)了一個(gè)小范圍的IoMusT系統(tǒng)，在其周圍實(shí)現(xiàn)了一個(gè)生態(tài)系統(tǒng)。

2 IoMusT基本組成

（1）網(wǎng)絡(luò)音樂(lè)表演系統(tǒng)?；ヂ?lián)網(wǎng)的出現(xiàn)使網(wǎng)絡(luò)音樂(lè)表演（Networked Music Performances, NMP）的潛力急劇擴(kuò)大，這導(dǎo)致了與創(chuàng)建NMP系統(tǒng)各方的積極參與。它們可以發(fā)生在有線網(wǎng)絡(luò)上，如局域網(wǎng)或廣域網(wǎng)，也可以發(fā)生在無(wú)線網(wǎng)絡(luò)上，本地設(shè)備可以通過(guò)諸如移動(dòng)設(shè)備之類的便攜式集線器經(jīng)由人體區(qū)域網(wǎng)絡(luò)（Body Area Networks, BANs）或個(gè)人區(qū)域網(wǎng)絡(luò)（Personal Area Networks, PANs）來(lái)互連。目前，網(wǎng)絡(luò)已經(jīng)在城市中心實(shí)現(xiàn)了一種普遍性，可用性通常不再是問(wèn)題。

（2）互動(dòng)表演?；?dòng)表演通常指通過(guò)身體動(dòng)作和手勢(shì)，為配備傳感器的現(xiàn)場(chǎng)表演者（如舞者或音樂(lè)人）實(shí)時(shí)控制媒體元素和事件。隨著數(shù)字樂(lè)器的出現(xiàn)，表演者的機(jī)械動(dòng)作與自然的聽覺(jué)效果分離開來(lái)，將控制屬性映射到感知屬性的可能性是無(wú)限的。因此，在數(shù)字音樂(lè)樂(lè)器設(shè)計(jì)中，映射技術(shù)代表了一個(gè)主要的挑戰(zhàn)，這是在音樂(lè)表達(dá)努力的新接口中解決的。

（3）泛在音樂(lè)（ubimus）的廣泛性。ubimus通過(guò)創(chuàng)造性支持工具提供音樂(lè)活動(dòng)的無(wú)處不在的人力資源和物質(zhì)資源系統(tǒng)。小型計(jì)算單元可以遠(yuǎn)程控制以收集數(shù)據(jù)，并與人和物力資源交互作用。定制硬件和現(xiàn)成組件的組合可以促進(jìn)計(jì)算設(shè)備和外圍設(shè)備的發(fā)展。如作為IoMusT藝術(shù)應(yīng)用的一個(gè)例子，內(nèi)存樹項(xiàng)目使用部署在遠(yuǎn)程物理位置，但可以通過(guò)互聯(lián)網(wǎng)訪問(wèn)簡(jiǎn)單的錄制和回放設(shè)備。

（4）Web音頻、云計(jì)算和邊緣計(jì)算。網(wǎng)絡(luò)音頻用于在Web應(yīng)用程序中處理和合成音頻的高級(jí)JavaScript API與以前的音頻相比，它是一個(gè)進(jìn)步網(wǎng)絡(luò)技術(shù)，如插件（Flash, QuickTime）或HTML5音頻元素，允許基本的流式音頻播放。Web Audio支持現(xiàn)代數(shù)字音頻工作站中的一些功能，如音頻信號(hào)的路由、高動(dòng)態(tài)范圍、低延遲的采樣準(zhǔn)確聲音回放、混合處理（例如動(dòng)態(tài)和基于延遲的效果、均衡、空間化）以及合成。最近的作品將網(wǎng)絡(luò)音頻用于以技術(shù)為媒介的參與式現(xiàn)場(chǎng)表演，包括手機(jī)。

（5）可穿戴設(shè)備。在過(guò)去的十年里，市場(chǎng)上可穿戴設(shè)備的數(shù)量大幅增加。這些智能設(shè)備可以作為附件佩戴在身上，能夠跟蹤身體活動(dòng)（例如手勢(shì)、體溫、皮膚電反應(yīng)、心率），也可以通過(guò)互聯(lián)網(wǎng)或與其他智能設(shè)備點(diǎn)對(duì)點(diǎn)連接進(jìn)行無(wú)線數(shù)據(jù)交換。最近，有人提出了一種新穎的可穿戴設(shè)備，即音樂(lè)觸覺(jué)可穿戴設(shè)備，其目標(biāo)是音樂(lè)家和觀眾。這些設(shè)備可能包括觸覺(jué)刺激、手勢(shì)和生理參數(shù)的跟蹤以及無(wú)線連接特色音樂(lè)觸覺(jué)可穿戴設(shè)備，為了在同一位置和遠(yuǎn)程設(shè)置，通過(guò)利用觸覺(jué)增強(qiáng)音樂(lè)家之間以及音樂(lè)家和觀眾之間的創(chuàng)造性交流。

3 IoMusT系統(tǒng)設(shè)計(jì)

如何歸納音樂(lè)事件，分析音樂(lè)事件的特性進(jìn)而給出音樂(lè)事件的工程定義是IoMusT架構(gòu)設(shè)計(jì)的關(guān)鍵。

從技術(shù)角度來(lái)看，IoMusT系統(tǒng)的核心組成部分分為以下三類。

音樂(lè)事物。將音樂(lè)事物定位為事物的一個(gè)子類，因此它們繼承事物的特性，如傳感器、執(zhí)行器、連接選項(xiàng)和用于收集、分析、接收和傳輸數(shù)據(jù)的軟件，其關(guān)鍵因素是互操作性和同步性。音樂(lè)事物是可以在音樂(lè)環(huán)境中用來(lái)產(chǎn)生音樂(lè)內(nèi)容或觀察與音樂(lè)體驗(yàn)相關(guān)現(xiàn)象的實(shí)體，可以連接到本地或遠(yuǎn)程網(wǎng)絡(luò)并充當(dāng)發(fā)送者或接收者。例如，音樂(lè)事物可以是智能樂(lè)器、音樂(lè)觸覺(jué)可穿戴設(shè)備或用于控制、生成或跟蹤對(duì)音樂(lè)內(nèi)容響應(yīng)的任何其他聯(lián)網(wǎng)設(shè)備。

連通性?；A(chǔ)設(shè)施支持音樂(lè)事物之間的多向無(wú)線通信，包括本地和遠(yuǎn)程。本地網(wǎng)絡(luò)或互聯(lián)網(wǎng)上音樂(lè)的互連通過(guò)硬件和軟件技術(shù)進(jìn)行管理溝通。音樂(lè)表演對(duì)通信有特殊的限制。具體而言，在典型的實(shí)時(shí)使用情況下，連接基礎(chǔ)設(shè)施應(yīng)確保通信具有低延遲、高可靠性、高質(zhì)量和緊密同步的特點(diǎn)。這些需求類似于實(shí)時(shí)遠(yuǎn)程手術(shù)、虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)以及實(shí)時(shí)自動(dòng)化，但在絕大多數(shù)物聯(lián)網(wǎng)應(yīng)用中并不需要。

應(yīng)用和服務(wù)?？梢栽谶B接的基礎(chǔ)上構(gòu)建各種類型的應(yīng)用程序和服務(wù)，其目標(biāo)用戶包括音樂(lè)家（如作曲家、表演者、指揮家）、音頻工程師（如現(xiàn)場(chǎng)或錄音室的音響工程師）和聽眾。這種應(yīng)用程序和服務(wù)可以具有交互或非交互式性質(zhì)。為了建立交互式音樂(lè)應(yīng)用程序，實(shí)時(shí)計(jì)算具有特殊的重要性。與物聯(lián)網(wǎng)類似，IoMusT可以利用Web API和物聯(lián)網(wǎng)架構(gòu)，設(shè)計(jì)用于音樂(lè)目的應(yīng)用與服務(wù)。音樂(lè)可以通過(guò)Web API公開服務(wù)。應(yīng)用程序是音樂(lè)事物網(wǎng)絡(luò)架構(gòu)中更高層次的一部分，允許用戶直接與內(nèi)容或音樂(lè)事物交互。

IoMusT基礎(chǔ)設(shè)施支持互操作設(shè)備的生態(tài)系統(tǒng)，這些設(shè)備將音樂(lè)家與其他人以及觀眾連接起來(lái)，這使得在同一地點(diǎn)和遠(yuǎn)程環(huán)境中的交互可能性倍增。這樣的生態(tài)系統(tǒng)為創(chuàng)造性人工制品的設(shè)計(jì)提供了肥沃的土壤，提供了新穎的啟示類型，包括監(jiān)控創(chuàng)造性控制或與音樂(lè)家和觀眾成員相關(guān)音樂(lè)內(nèi)容的響應(yīng)的方法。通過(guò)將物聯(lián)網(wǎng)應(yīng)用于音樂(lè)領(lǐng)域，設(shè)想從傳統(tǒng)的西方書面音樂(lè)傳播鏈（即作曲家編寫由樂(lè)器演奏者解釋的音樂(lè)內(nèi)容，并由被動(dòng)觀眾接收）轉(zhuǎn)向一個(gè)互動(dòng)可能性無(wú)窮的音樂(lè)網(wǎng)。例如小規(guī)模的場(chǎng)景，音樂(lè)廳內(nèi)的音樂(lè)表演；例如大規(guī)模場(chǎng)景，在虛擬環(huán)境中聚集數(shù)千名參與者的大規(guī)模開放在線音樂(lè)表演。

4 IoMusT生態(tài)系統(tǒng)的實(shí)施

本文設(shè)計(jì)了一個(gè)小范圍的IoMusT系統(tǒng)，在其周圍實(shí)現(xiàn)了一個(gè)生態(tài)系統(tǒng)，其中五個(gè)音樂(lè)事物的原型依靠語(yǔ)義音頻和邊緣計(jì)算技術(shù)相互通信以此來(lái)驗(yàn)證IoMusT的可行性，其中包含所開發(fā)系統(tǒng)的硬件和軟件組件，包括以下組成部分。

（1）音樂(lè)原型。課題組開發(fā)了五種原型，包含了音樂(lè)的關(guān)鍵特性，即嵌入式平臺(tái)和無(wú)線連接。具體地說(shuō)，作為一個(gè)平臺(tái)，使用Bela板進(jìn)行低延遲音頻和傳感器處理（正常版本稱為“Bela mini”的袖珍版本）。無(wú)線連接通過(guò)連接到Bela板（支持IEEE 802.11ac Wi-Fi標(biāo)準(zhǔn)）的NETGEAR A6100-100PES Wi-Fi USB加密狗實(shí)現(xiàn)。

一個(gè)原型被賦予了生產(chǎn)者的角色，三個(gè)是消費(fèi)者的角色，一個(gè)是聚合者的角色。與聚合器不同，生產(chǎn)者和三個(gè)消費(fèi)者被配置為生成聲音。無(wú)論是生產(chǎn)者還是消費(fèi)者，都使用一個(gè)小喇叭來(lái)傳遞聲音。聲音引擎采用libpd編碼，是一種將純數(shù)據(jù)計(jì)算機(jī)音樂(lè)環(huán)境移植到嵌入式系統(tǒng)庫(kù)中的方法。制作人的聲音引擎包括一個(gè)合成音符的發(fā)生器（通過(guò)一個(gè)基本的正弦振蕩器），其密度在每秒1 200個(gè)音符的范圍內(nèi)隨機(jī)變化。每一個(gè)產(chǎn)生的音符的參數(shù)隨機(jī)如下：頻率范圍在三個(gè)倍頻程的一個(gè)大音階的頻率之間；持續(xù)時(shí)間為10～150 ms。遵循邊緣計(jì)算的原則，我們不會(huì)將產(chǎn)生的音頻信號(hào)或表征notes生成器隨機(jī)行為的數(shù)字流傳輸?shù)秸Z(yǔ)義服務(wù)器。相反，我們將每5 s計(jì)算的四個(gè)參數(shù)（密度、頻率、持續(xù)時(shí)間和振幅）的平均值流化。這些計(jì)算是由libpd補(bǔ)丁執(zhí)行的。數(shù)據(jù)通過(guò)一個(gè)python腳本通過(guò)SPARQL更新請(qǐng)求流化，該腳本通過(guò)OSC消息從libpd聲音引擎接收數(shù)據(jù)，并根據(jù)音頻特征本體映射請(qǐng)求。

（2）音頻特征本體。為了確定這個(gè)應(yīng)用程序場(chǎng)景的正確方法，我們將重點(diǎn)放在應(yīng)用程序的上下文上。背景中的主要實(shí)體是四個(gè)高級(jí)音頻特征，即平均振幅、平均頻率、平均持續(xù)時(shí)間和平均密度。然后，客戶機(jī)利用本體來(lái)表示或解釋信息。對(duì)本體進(jìn)行了擴(kuò)展，為推斷的狀態(tài)定義了一個(gè)新的類，并定義了一個(gè)新的對(duì)象屬性，將當(dāng)前性能的實(shí)例與狀態(tài)的實(shí)例鏈接起來(lái)。

（3）語(yǔ)義服務(wù)器。SEPA運(yùn)行在一臺(tái)支持IEEE 802.11ac Wi-Fi標(biāo)準(zhǔn)并運(yùn)行ubuntulinux17.10的戴爾Alienware 17r2筆記本電腦上，使用了SEPA的Java實(shí)現(xiàn)版本0.8.4。為了增強(qiáng)應(yīng)用程序的性能并滿足IoMusT域的要求，語(yǔ)義服務(wù)器僅承載上下文的當(dāng)前狀態(tài)。從語(yǔ)義的角度來(lái)看，這個(gè)用例的上下文包含以下實(shí)體：當(dāng)前性能；制作者提取的最后一個(gè)高級(jí)音頻特征；我們的聚合器KP推斷的最新狀態(tài)。

（4）網(wǎng)絡(luò)。所有設(shè)備都使用Wi-Fi路由器TP Link TL-WR902AC進(jìn)行連接，該路由器在5 GHz頻段采用IEEE 802.11ac標(biāo)準(zhǔn)。Wi-Fi系統(tǒng)組件以減少延遲和提高吞吐量為宜，路由器配置為接入點(diǎn)模式，禁用安全性，僅支持IEEE 802.11ac標(biāo)準(zhǔn)。

5 結(jié)束語(yǔ)

IoMusT是在物聯(lián)網(wǎng)的基礎(chǔ)上，將音樂(lè)事物作為研究的切入點(diǎn)，是一個(gè)涉及多個(gè)工程領(lǐng)域的綜合性研究課題，涉及諸如計(jì)算機(jī)、通信、信息處理等多方面技術(shù)?！?/p>