曹奔(湖南理工學(xué)院)
“信息可視化”一詞最先由Robertson等人在1989 年提出,從人類(lèi)生理感官角度來(lái)講,視覺(jué)是人類(lèi)獲得外界信息最直接有效方式,不同于聽(tīng)覺(jué)嗅覺(jué)等接受外界信息的方式,視覺(jué)可以在短時(shí)間內(nèi)獲得更多的信息。因此,在我們面對(duì)一些復(fù)雜抽象的信息、數(shù)據(jù)或是人眼觀測(cè)不到的事物時(shí),為了更加準(zhǔn)確理解這類(lèi)事物,就會(huì)利用信息技術(shù)或是材料技術(shù)等手段,在圖像處理技術(shù)和圖像學(xué)的理論技術(shù)支持下將復(fù)雜的信息條理化、抽象的信息具象化,轉(zhuǎn)化為人眼可以觀測(cè)到的狀態(tài),最后通過(guò)視覺(jué)方式進(jìn)行信息傳達(dá)。這個(gè)轉(zhuǎn)化的過(guò)程即是可視化的過(guò)程,如可視化編程、熱成像儀原理等?!耙魳?lè)是有聲的繪畫(huà),繪畫(huà)是無(wú)聲的音樂(lè)?!币魳?lè)可視化就是將聲音的頻譜信息、樂(lè)理美學(xué)、節(jié)奏韻律等作為載體,依托于新媒體時(shí)代下日趨成熟的圖像處理技術(shù)與圖像學(xué)的手段和理論依據(jù),將音樂(lè)作品所表達(dá)表層或深層的情感架構(gòu)與藝術(shù)內(nèi)涵,通過(guò)動(dòng)態(tài)或靜態(tài)的圖像或者符號(hào)傳達(dá)給觀眾,從而使觀眾在更容易理解音樂(lè)作品的同時(shí)獲得更加豐富新穎的視聽(tīng)感受。音樂(lè)可視化是一門(mén)多學(xué)科交叉、多領(lǐng)域結(jié)合、高度自由高度包容的學(xué)科,它不僅包含了樂(lè)理學(xué)、心理學(xué)、符號(hào)學(xué)等傳統(tǒng)理論研究,其多元的視覺(jué)轉(zhuǎn)譯表現(xiàn)形式還要求其結(jié)合新媒體技術(shù)、虛擬現(xiàn)實(shí)技術(shù)、人工智能技術(shù)等多領(lǐng)域,多維度地去賦予音樂(lè)作品新的表現(xiàn)形式與時(shí)代特征。
1787 年,德國(guó)聲學(xué)之父恩斯特·克拉德尼在認(rèn)識(shí)到聲音的發(fā)生會(huì)伴隨一定震動(dòng)的基礎(chǔ)上,在金屬板上均勻?yàn)⑾乱粚蛹?xì)沙,然后用提琴弦弓在金屬板的不同位置用不同方式拉動(dòng)弦弓使其發(fā)聲。這樣,在金屬板發(fā)聲以后,金屬板隨之震動(dòng),同時(shí)就會(huì)帶動(dòng)表層細(xì)沙產(chǎn)生位移,在金屬板上留下一幅幅規(guī)律又抽象的圖案,創(chuàng)作出了后來(lái)的克拉德尼圖形。這是人類(lèi)歷史上首次將聲音和圖像放在一起進(jìn)行并置研究。1885 年,威爾士作曲家瑪格麗特·瓦茨·休斯在工作時(shí)用一種彈性薄膜材料繃在話筒上制作出了一名為“eidophone”的裝置,她將不同密度的液體、松石粉、顏料等鋪在話筒薄膜上,當(dāng)話筒傳出聲音后薄膜上就會(huì)出現(xiàn)美麗的“聲音圖形”,她將這些圖案整理并記錄在了名為“The eidophone”的小冊(cè)子上,也正是因?yàn)檫@本小冊(cè)子,瑪格麗特·瓦茨·休斯為以后“音流學(xué)”的出現(xiàn)做出了不可忽略的貢獻(xiàn)。1911年,俄羅斯抽象藝術(shù)家瓦西里·康定斯基在其著作《論藝術(shù)里的精神》 中提出“圖像——聲音——情感”理論,他在書(shū)中描寫(xiě)道:“用小號(hào)或銅管樂(lè)演奏黃色、用巴松管演奏深紫色、中提琴和溫暖的地中音是橙色的……”在康定斯基眼中,不同樂(lè)器演奏的音樂(lè)代表不同的顏色,音樂(lè)中的音色、音調(diào)和韻律關(guān)系對(duì)應(yīng)這繪畫(huà)中的點(diǎn)線面的組合,用繪畫(huà)來(lái)闡釋音樂(lè),用音樂(lè)賦予繪畫(huà)更深層次的藝術(shù)表達(dá)。1967 年,瑞士科學(xué)家漢斯·詹尼在克拉德尼聲音研究的理論基礎(chǔ)上,發(fā)表著作《Cymatics:關(guān)于聲波現(xiàn)象的研究》,書(shū)中他對(duì)聲音與物體震動(dòng)的物理關(guān)系展開(kāi)了詳細(xì)的論證,他在大量的對(duì)板、膜片等物體發(fā)聲后產(chǎn)生的震動(dòng)現(xiàn)象的觀察中設(shè)計(jì)并展開(kāi)物理實(shí)驗(yàn),總結(jié)出聲音發(fā)生時(shí)產(chǎn)生的震動(dòng)頻率具有周期性的特征。由此,漢斯·詹尼得到了“穩(wěn)定狀態(tài)下的形式是震動(dòng)的結(jié)果”這一結(jié)論并開(kāi)創(chuàng)性地提出“音流學(xué)”這一新的學(xué)術(shù)領(lǐng)域。新媒體數(shù)字時(shí)代下,信息傳達(dá)的載體發(fā)生了巨大變遷,聲音可視化也因此得到了更具體更深入廣闊的研究與發(fā)展,其在工業(yè)、藝術(shù)等領(lǐng)域的實(shí)際應(yīng)用也取得了顯著的成果。隨著新技術(shù)新材料的出現(xiàn),音樂(lè)可視化的應(yīng)用場(chǎng)景也會(huì)進(jìn)一步得到拓寬。
圖1 康定斯基構(gòu)成8號(hào)(左)構(gòu)成7號(hào)(右)系列油畫(huà)作品(圖片來(lái)源:《論藝術(shù)的精神》)
自克拉德尼圖形出現(xiàn),人類(lèi)第一次觀察到“聲音的形狀”以來(lái),人類(lèi)對(duì)于聲音信息視覺(jué)化的探索應(yīng)用研究就始終未曾停止,由于受到技術(shù)條件與傳播手段的限制,初期的音樂(lè)可視化作品大都會(huì)以靜態(tài)平面的形式呈現(xiàn)出來(lái)。其中,最具代表性的便是抽象藝術(shù)家康定斯基的一系列繪畫(huà)作品??刀ㄋ够J(rèn)為:“在形式的運(yùn)用上,音樂(lè)可以達(dá)到繪畫(huà)無(wú)法企及的效果。不過(guò),在許多細(xì)節(jié)上,繪畫(huà)又優(yōu)于音樂(lè)。例如,音樂(lè)的長(zhǎng)處在于可以自行支配時(shí)間,而繪畫(huà)的長(zhǎng)處則是在于它能夠瞬間向觀眾表達(dá)畫(huà)面上所有的信息內(nèi)容?!痹谒漠?huà)作《構(gòu)成》系列作品中,他將不同樂(lè)器演奏的聲音聯(lián)系到繪畫(huà)中不同顏色的表達(dá),將音樂(lè)中的響度、音色、音調(diào)等信息組合對(duì)應(yīng)到繪畫(huà)中點(diǎn)、線、面的運(yùn)用處理,基于音樂(lè)中不受規(guī)則所限制的構(gòu)圖方法,創(chuàng)作出一幅幅震撼人心的繪畫(huà)作品。在它的畫(huà)作中,仿佛能看見(jiàn)音樂(lè)的節(jié)奏裹挾著浪漫顏色在畫(huà)布上肆意流動(dòng),同時(shí)將音樂(lè)與繪畫(huà)的長(zhǎng)處都淋漓盡致地展現(xiàn)出來(lái),并且達(dá)到了和諧的程度(如圖1)。
隨著技術(shù)條件的改善,動(dòng)態(tài)圖像和電影業(yè)等新媒介形式的出現(xiàn),藝術(shù)家們對(duì)聲音可視化在平面視覺(jué)領(lǐng)域的應(yīng)用得到了又一重要拓展。1940 年,由美國(guó)迪士尼公司出品薩廖·阿姆斯特朗執(zhí)導(dǎo)的音樂(lè)可視化動(dòng)畫(huà)電影《幻想曲》橫空出世,電影共分為八段,對(duì)應(yīng)電影出現(xiàn)的八個(gè)音樂(lè)作品,畫(huà)面中的動(dòng)畫(huà)人物隨著音樂(lè)的節(jié)奏起伏做出相應(yīng)的動(dòng)作,故事情節(jié)也隨著音樂(lè)的流動(dòng)逐漸推向高潮繼而結(jié)束。為增加觀眾的體驗(yàn)感,作者還通過(guò)調(diào)整錄音的左右聲道的音量大小和效果來(lái)營(yíng)造立體效果,并且創(chuàng)造性地將音樂(lè)元素視覺(jué)化的動(dòng)態(tài)表達(dá)應(yīng)用在電影動(dòng)畫(huà)領(lǐng)域,同時(shí)為音樂(lè)可視化的應(yīng)用發(fā)展提供了成功的現(xiàn)實(shí)案例基礎(chǔ)。
當(dāng)藝術(shù)不再拘泥于以往的形式,當(dāng)創(chuàng)作不再受限于空間的尺度,當(dāng)表達(dá)不再是蒼白的文字語(yǔ)言。沉浸式體驗(yàn)設(shè)計(jì)利用前沿的科技手段、巧妙的空間安排以及復(fù)雜的心理學(xué)分析,為觀眾帶來(lái)一種前所未有近乎“真實(shí)”的虛擬環(huán)境空間,在整個(gè)沉浸式體驗(yàn)作品中,藝術(shù)家們?yōu)榱嗽黾佑^眾的沉浸感,就必須最大程度上真實(shí)復(fù)刻人在現(xiàn)實(shí)環(huán)境中的體驗(yàn)和感受,因此,聲音與圖像的相互聯(lián)動(dòng),聽(tīng)覺(jué)與視覺(jué)的相互轉(zhuǎn)化成為沉浸式體驗(yàn)設(shè)計(jì)最不可或缺的一項(xiàng)重要內(nèi)容。
圖2 《花舞森林與未來(lái)游樂(lè)園》展覽實(shí)拍圖片(圖片來(lái)源:搜狐網(wǎng))
在日本新媒體藝術(shù)團(tuán)隊(duì)TeamLab 的沉浸式體驗(yàn)交互作品《花舞森林與未來(lái)游樂(lè)園》整個(gè)150 平方米的空間中(如圖3),觀眾可以高度參與到作品的展示中去,并與作品的畫(huà)面產(chǎn)生實(shí)時(shí)互動(dòng),從藝術(shù)的欣賞者轉(zhuǎn)變?yōu)樗囆g(shù)的創(chuàng)作者。此外團(tuán)隊(duì)還通過(guò)增加嗅覺(jué)、視覺(jué)、聽(tīng)覺(jué)等多方面感官刺激來(lái)增強(qiáng)作品與觀眾的外界關(guān)聯(lián)性。在《宇宙水晶》主題區(qū)域中,有無(wú)數(shù)個(gè)電腦控制的彩色LED 燈會(huì)隨著音樂(lè)的節(jié)奏呈現(xiàn)不同的畫(huà)面,當(dāng)觀眾走動(dòng)時(shí)還會(huì)變換不同的顏色。置身于這件作品中時(shí),觀眾會(huì)最大程度上身臨其境般地感受到宇宙水晶的景象和全新的感官體驗(yàn)。音樂(lè)可視化在沉浸式體驗(yàn)設(shè)計(jì)中的應(yīng)用,很大程度上拓寬了藝術(shù)的創(chuàng)作空間和表現(xiàn)形式。
裝置藝術(shù)是一門(mén)材料表現(xiàn)手法豐富、形式方法多樣的藝術(shù)門(mén)類(lèi),開(kāi)放性是裝置藝術(shù)最為顯著的特征。但裝置藝術(shù)會(huì)受限于特定的空間環(huán)境,隨著新媒體技術(shù)的逐漸成熟,科技手段日趨進(jìn)步,空間環(huán)境對(duì)于裝置藝術(shù)的限制將會(huì)越來(lái)越小。當(dāng)音樂(lè)可視化輔以交互的手段應(yīng)用到裝置藝術(shù)中,其最終的呈現(xiàn)效果對(duì)環(huán)境空間的依賴(lài)便會(huì)大大降低。
國(guó)內(nèi)藝術(shù)創(chuàng)作團(tuán)隊(duì)ODI 的藝術(shù)創(chuàng)始人宋冬在2019 法國(guó)藝術(shù)展中,憑借團(tuán)隊(duì)裝置藝術(shù)作品《黃河》(如圖3)獲得了當(dāng)年的法國(guó)藝術(shù)展的視覺(jué)裝置藝術(shù)金獎(jiǎng)?!饵S河》鋼琴協(xié)奏曲在曲調(diào)上激昂有力,結(jié)構(gòu)上層次分明,意境上雄渾壯闊,是近代中國(guó)最有影響力的音樂(lè)作品之一,宋冬以《黃河》協(xié)奏曲為創(chuàng)作原型,借助于計(jì)算機(jī)編程語(yǔ)言和新型媒介手段的靈活應(yīng)用,將《黃河》協(xié)奏曲的樂(lè)理信息數(shù)據(jù)化,并用中國(guó)傳說(shuō)中四大守護(hù)圣獸作為主要視覺(jué)形象,利用紗幕投影、立體音響等設(shè)備對(duì)《黃河》協(xié)奏曲進(jìn)行一種前所未有的視覺(jué)化演繹。在《黃河》裝置藝術(shù)作品中,音樂(lè)的內(nèi)在情緒通過(guò)視聽(tīng)結(jié)合的方式傳達(dá)給觀眾,音樂(lè)的深遠(yuǎn)意境借由具體的圖像符號(hào)去引導(dǎo)觀眾感受領(lǐng)會(huì),讓觀眾在欣賞音樂(lè)作品波瀾壯闊的同時(shí)又能無(wú)限延伸自己的審美想象。
此外,《黃河》裝置藝術(shù)作品中還加入了大量的人機(jī)交互的手段,通過(guò)觀眾不同肢體動(dòng)作呈現(xiàn)出不同的畫(huà)面,由觀眾的意愿來(lái)控制作品畫(huà)面的呈現(xiàn)形式,將人與作品之間的互動(dòng)性轉(zhuǎn)變?yōu)檎髌返娜の缎?,為《黃河》協(xié)奏曲的傳播和發(fā)揚(yáng)開(kāi)辟了新的道路。
(1)拓展音樂(lè)創(chuàng)作領(lǐng)域。音樂(lè)可視化是將音樂(lè)作品的呈現(xiàn)方式進(jìn)行拓展和視覺(jué)化轉(zhuǎn)譯,讓原本的單一的聽(tīng)覺(jué)呈現(xiàn)形式轉(zhuǎn)變?yōu)槎嗑S立體的視聽(tīng)結(jié)合形式。藝術(shù)家們?cè)谶M(jìn)行聲音可視化的藝術(shù)創(chuàng)作時(shí)會(huì)提取音樂(lè)作品的樂(lè)理信息和情感信息,并通過(guò)計(jì)算機(jī)算法的生成或是藝術(shù)家手動(dòng)繪制創(chuàng)造出可以與音樂(lè)作品產(chǎn)生實(shí)時(shí)互動(dòng)效果的視覺(jué)圖形。由于藝術(shù)家們是根據(jù)音樂(lè)作品進(jìn)行創(chuàng)作的,那么,將音樂(lè)作品進(jìn)行視覺(jué)化轉(zhuǎn)譯互動(dòng)的過(guò)程就伴隨著新的藝術(shù)作品的誕生,整個(gè)可視化轉(zhuǎn)譯的過(guò)程就是新的藝術(shù)作品再創(chuàng)作的過(guò)程,新的藝術(shù)作品承載著藝術(shù)家對(duì)于音樂(lè)作品的理解感悟和這個(gè)時(shí)代的技術(shù)應(yīng)用,同時(shí)兼具個(gè)人色彩和時(shí)代特征。
(2)高效的傳播效率。得益于新媒體時(shí)代的到來(lái),互動(dòng)藝術(shù)在新興的數(shù)字藝術(shù)和傳統(tǒng)的裝置藝術(shù)等共同促進(jìn)下得到了空前迅速的發(fā)展?;?dòng)藝術(shù)涵蓋范圍廣泛,理論體系多元,作為互動(dòng)藝術(shù)中最為重要的研究對(duì)象之一,聲音可視化在融入交互裝置進(jìn)行信息傳播時(shí)有著巨大傳播優(yōu)勢(shì)。一方面,互動(dòng)藝術(shù)的本質(zhì)是藝術(shù)家和欣賞藝術(shù)作品的觀眾一起,直接或間接地參與到藝術(shù)作品的創(chuàng)作和欣賞批評(píng)中去,人與藝術(shù)作品產(chǎn)生緊密聯(lián)動(dòng),作品欣賞者的某些行為會(huì)直接影響到藝術(shù)作品的最終呈現(xiàn)效果,整個(gè)過(guò)程強(qiáng)調(diào)觀眾的參與性。而聲音可視化正是利用視覺(jué)信息與聽(tīng)覺(jué)信息的相互轉(zhuǎn)化,將音樂(lè)作品的聲音信息視覺(jué)化表達(dá),當(dāng)其應(yīng)用在交互藝術(shù)領(lǐng)域中時(shí),聽(tīng)覺(jué)與視覺(jué)的雙重聯(lián)動(dòng)就會(huì)給觀眾全新的視聽(tīng)感受。另一方面,當(dāng)不同的觀眾參與到相同的聲音可視化互動(dòng)作品中時(shí),可能會(huì)產(chǎn)生不同的情感體驗(yàn),這些情感會(huì)映射到音樂(lè)可視化互動(dòng)作品的視覺(jué)表達(dá)形式上,產(chǎn)生不同的畫(huà)面,每一位參與者都可以創(chuàng)作出具有個(gè)人特色的互動(dòng)作品,這極大地增加了互動(dòng)藝術(shù)的趣味性和互動(dòng)性。同時(shí)從信息傳播的角度來(lái)講,由于互動(dòng)藝術(shù)本身就要求觀眾與互動(dòng)藝術(shù)作品保持高度參與性的特點(diǎn),在信息傳播時(shí),應(yīng)用聲音可視化的互動(dòng)藝術(shù)作品會(huì)有更加直接高效的信息傳播效率。
(3)沉浸式的視聽(tīng)雙通道感官刺激。新技術(shù)、新材料的應(yīng)用延伸豐富了音樂(lè)可視化作品的表現(xiàn)形式。增強(qiáng)音樂(lè)與圖像之間的關(guān)聯(lián)性是音樂(lè)可視化作品創(chuàng)作的核心問(wèn)題。虛擬現(xiàn)實(shí)技術(shù)的出現(xiàn)為音樂(lè)可視化作品的呈現(xiàn)方式提供了另一種可能。虛擬現(xiàn)實(shí)技術(shù)旨在通過(guò)在虛擬的環(huán)境中營(yíng)造出一種真實(shí)的立體影像世界,讓觀眾最大程度上體驗(yàn)身臨其境的真實(shí)感。為達(dá)到這一目的,設(shè)計(jì)師們經(jīng)常會(huì)通過(guò)畫(huà)面、聲音、動(dòng)作等多種方式,全方位多角度地增加用戶(hù)的沉浸感和參與感。音樂(lè)可視化作品的理念融入虛擬現(xiàn)實(shí)技術(shù),以互動(dòng)藝術(shù)作品方式呈現(xiàn)出來(lái)時(shí),強(qiáng)烈真實(shí)的沉浸感體驗(yàn)會(huì)讓音樂(lè)作品和互動(dòng)藝術(shù)作品的情感和藝術(shù)內(nèi)核更加準(zhǔn)確地傳達(dá)出去。
圖3 《黃河》裝置藝術(shù)作品畫(huà)面截圖(圖片來(lái)源于中國(guó)財(cái)富網(wǎng)文章《科技與人文的互動(dòng)——音樂(lè)可視化數(shù)字藝術(shù)作品ODI《黃河》)
(1)幫助視聽(tīng)障礙人群進(jìn)行情感化設(shè)計(jì)。新興的無(wú)障礙設(shè)計(jì)理念,旨在為特殊人群更好地融入社會(huì)、改善生活質(zhì)量。聲音可視化的理念在未來(lái)的發(fā)展中可以用來(lái)為有視聽(tīng)障礙的人群提供服務(wù)。聽(tīng)覺(jué)障礙人群可以通過(guò)聲音可視化作品直接“看到”音樂(lè),從而感受音樂(lè),視覺(jué)障礙人群可以通過(guò)特定的聲音可視化裝置“觸摸”到音樂(lè),以此來(lái)欣賞音樂(lè)。未來(lái)音樂(lè)可視化在無(wú)障礙領(lǐng)域的應(yīng)用,會(huì)讓更多人領(lǐng)略到音樂(lè)的美好和藝術(shù)的魅力。
(2)幫助大眾提升審美能力。美美與共,對(duì)美好事物的欣賞與追求,審美能力的培養(yǎng)和思想價(jià)值的培養(yǎng)一樣重要。新媒體時(shí)代背景下,人們更加注重個(gè)人審美能力的培養(yǎng)。音樂(lè)可視化在對(duì)人們審美能力的培養(yǎng)上可以發(fā)揮重要的作用。通過(guò)視覺(jué)、聽(tīng)覺(jué)聯(lián)動(dòng)方式來(lái)重新演繹音樂(lè)作品,當(dāng)音樂(lè)作品的旋律悠揚(yáng)平緩時(shí),音樂(lè)可視化作品的視覺(jué)部分也會(huì)給觀眾呈現(xiàn)寧?kù)o祥和的畫(huà)面,當(dāng)音樂(lè)進(jìn)入高潮部分時(shí),作品的畫(huà)面也會(huì)呈現(xiàn)相應(yīng)的壯闊恢宏的場(chǎng)景,從而引導(dǎo)觀眾的審美想象。相比于傳統(tǒng)的音樂(lè)和繪畫(huà)作品,音樂(lè)可視化作品更能給觀眾帶來(lái)深刻印象和靈魂共鳴,讓觀眾在欣賞音樂(lè)的同時(shí)獲得視覺(jué)上美的享受和審美能力的提升。
新媒體時(shí)代下音樂(lè)可視化在互動(dòng)藝術(shù)領(lǐng)域有著靈活性高、適應(yīng)性廣、互動(dòng)性強(qiáng)等特征。隨著新技術(shù)的不斷出現(xiàn)和完善,音樂(lè)可視化的應(yīng)用領(lǐng)域會(huì)得到不斷擴(kuò)展,同樣的,它在互動(dòng)藝術(shù)領(lǐng)域的應(yīng)用表現(xiàn)形式也會(huì)愈加豐富。音樂(lè)可視化在互動(dòng)藝術(shù)領(lǐng)域的應(yīng)用需要有創(chuàng)新精神,勇于嘗試新的方法和涉足新的領(lǐng)域,在國(guó)家強(qiáng)調(diào)學(xué)科交叉研究的當(dāng)代,音樂(lè)可視化與其他學(xué)科融合并應(yīng)用到互動(dòng)藝術(shù)中的意義和價(jià)值也會(huì)進(jìn)一步提升。同時(shí)也要注意,音樂(lè)可視化在互動(dòng)藝術(shù)領(lǐng)域的應(yīng)用應(yīng)該極力避免同質(zhì)化現(xiàn)象的出現(xiàn),千篇一律的應(yīng)用形式會(huì)帶給觀眾審美疲勞,讓觀眾失去興趣,從而阻礙該領(lǐng)域的發(fā)展。