林 勇

一

現(xiàn)代腦神經(jīng)科學研究證明，大腦是人一切感官和認知的核心。各感知機制，以視覺為例，外在器官如視網(wǎng)膜，只是作為光線信號的接收器，而真正對所收信號進行分析、讀解和認知的器官，還是大腦。在特殊的案例中，大腦甚至可以不經(jīng)過眼部系統(tǒng)而獲得視覺感知。1美國盲人邁克爾[Michael G.May，生于1953年]，三歲時因為意外喪失了視力。在他四十六歲的時候，干細胞技術已經(jīng)發(fā)展到可以做角膜替換手術讓盲人重見光明的水平。醫(yī)生勸他做手術，他卻十分猶豫，說已經(jīng)習慣沒有視覺，生活一點都不受影響。此前他在1984年殘奧會上獲得了三枚銅牌，速滑時速達到了108公里。后來他還是做了手術，結果神奇的事情發(fā)生了：眼睛的復明給他帶來了很多麻煩，恢復的視覺不僅沒有帶來便利，反而成了一種騷擾。醫(yī)生發(fā)現(xiàn)邁克爾的眼睛對他已經(jīng)失去意義。他腦中的視覺信號解釋系統(tǒng)已經(jīng)完全壞掉了，雖然眼睛視網(wǎng)膜上的感光細胞還在。雖然光信號也可以到達視皮層，但視皮層已經(jīng)完全無法讀取這些信號了。比如在他面前放一個立方體，一個球體，問他哪個是哪個。他必須用手摸了才知道，用眼睛反而無法判斷。所以，眼睛只是視覺系統(tǒng)在外部的延伸而已，真正的解釋功能都在大腦中。此案例經(jīng)多個媒體報道，有美國發(fā)現(xiàn)頻道、英國曼徹斯特衛(wèi)報（Manchester Guardian, Tue 26,Aug, 2003）等。

人類大腦是由800億個神經(jīng)元和10的15次方個突出所構成的超復雜系統(tǒng)，其復雜性遠遠超出一般人的想象，其中連接、刺激和反饋關系正是腦神經(jīng)科學最前沿的內(nèi)容?？茖W家稱之為“神經(jīng)連接組”[connectome]。由于每個人的大腦連接組都是獨一無二的，而且往往由后天經(jīng)驗等多種因素決定，因此科學家承現(xiàn)峻[Sebastian Seung]宣稱：“我即我的大腦連接組?！?承現(xiàn)峻［Sebastian Seung］，韓裔美國科學家，著有 Connectome: How the Brain’s Writing Makes Us Who We Are, (1 ed.), New York: Houghton Mifflin Harcourt Publishing Company, 2012.此處引用發(fā)言選自他2010年TED大會的演講。

由于大腦各個感官的中樞系統(tǒng)的位置非?？拷鄳母泄偻怀龅倪B接也十分緊密，使得人的各種感官出現(xiàn)互串的現(xiàn)象，科學家稱之為聯(lián)覺[synesthesia]。著名腦神經(jīng)科學家拉馬錢德蘭[V.S.Ramachandran]在其專著3V.S.Ramachandran, “Loud Colors and Hot Babes: Synesthesia”, The Tell-Tale Brain A Neuroscientist's Quest for What Makes Us Human, W.W.Norton & Company, 2011.中就聯(lián)覺展開了多個真實案例的討論。比如有的人聽到鋼琴上的升C音就能看見藍色；有的人看見字母就能聯(lián)想到味覺；有的人能在閱讀時大腦中產(chǎn)生和文字對應的顏色……這些案例對科學家研究人類大腦感知有非常重要的價值。但是聯(lián)覺者引起癥狀的獨特性，往往被以生物學、病理學的角度研究大腦神經(jīng)的生理功能，其對審美或者藝術方面影響機制的研究，涉獵相對較淺。因此，我們需要厘清的是，聯(lián)覺其實并非通感。研究證明，它是一種無意識的、不由自主的感官反應。4Richard E.Cytowic, Synesthesia, The MIT Press, 2018, p.38.而通感往往是偏于后天的、選擇性的、經(jīng)驗性的、文化性的主觀意識活動。因為它對來自不同感官的信息賦予意義，并在審美層面上將它們聯(lián)系在一起，形成跨越感官的超鏈接。通過這些案例，我可以推知，聯(lián)覺雖然不是通感，但它的存在使得通感不只是文人墨客的空想，而是具有生理基礎的經(jīng)驗行為。因此，當我們討論的藝術欣賞與創(chuàng)作時，實際是偏重于人文的通感一方。

二

誠然，音樂與繪畫作為聽覺與視覺的高度理性組織的信息，其在經(jīng)驗性通感方面的互通，是理論探索層面的最高目標。但就藝術創(chuàng)作而言，則需要由淺入深，一步步來；也需要不拘一格，靈活運用音畫間多層互通，甚至刻意強調(diào)感官，以求迅速抓取觀眾的注意力。但是凡能超越時代進入藝術史的偉大作品，不光在感官上撼人，也要有嚴謹?shù)膬?nèi)在結構，歷經(jīng)時間的沖刷而凸顯。

藝術史上運用聯(lián)覺和通感展開創(chuàng)作的藝術家屢見不鮮，而他們往往以音樂作為其他藝術追逐的目標。19世紀晚期歐美一幫迥異的藝術家、作家和發(fā)明家認為“色彩音樂”代表了藝術的未來。作為浪漫主義和象征主義運動的結果，音樂被推崇為一切形式的創(chuàng)造性表達的至高無上的地位。其他的藝術門類，比如詩歌與繪畫，則被看作是“音樂的條件”。藝術家們趨于相信繪畫應該類比于音樂?；菟估站褪亲钤缡褂靡魳沸g語命名繪畫作品的藝術家。他晚期代表作《黑與金的夜曲：墜落的火箭》體現(xiàn)了他尋求將色彩、線條和形式超越于物像主題的嘗試，音樂對此產(chǎn)生了巨大的影響。康定斯基更是由音樂的啟發(fā)開辟了抽象繪畫的新領域。而在阿爾弗雷德·斯蒂格利茨看來，音樂成為了抽象攝影的形式價值的強有力的證明。5A.Stieglitz, “How I Came to Photograph Clouds”, Amateur photographer and Photography, 56, September 19, 1923, p.255.See also S.Greenough, J.Hamilton,Alfred Stieglitz: Photographs & Writings,Washington, D.C., 1983, pp.24, 206-8.

由于1920年代美國才開始普及商業(yè)無線電廣播，在此之前畫家接觸音樂的機會寥寥，他們的音樂類比主題的創(chuàng)作往往陷入神秘主義。事實上所有關于色彩音樂的實驗都停在了兩種偽科學對通感的爭論上。一些藝術家、發(fā)明家提出了光與聲音特定關聯(lián)的假說。盡管德國科學家赫爾曼·馮·亥姆霍茲[Hermann von Helmholtz]在1860年代就證偽了這項假想，色譜與音階等價對應的概念依然持續(xù)存在到了20世紀。6關于亥姆霍茲對顏色和聲音類比的反駁，見L.Koenigsberger, Hermann von Helmholtz, tr.By F.A.Welby, New York, 1965,pp.174-175.倫敦皇家藝術學院化學教授Arthur Herber Church用他的Colour: An Elementary Manual for Students一書向講英語世界的藝術家傳播了亥姆霍茲光學研究的成果，該書最初出版于1872年，1897年出現(xiàn)了一個擴增版，1911年重新發(fā)行，使教會工作在紐約和多倫多的分布更加廣泛。而心理學系統(tǒng)中關于色譜與音階的對應，則是以聯(lián)覺作為人類普遍的感知經(jīng)驗的假設為前提的。

音樂類比主題的繪畫或攝影，可以看作藝術家主觀地將音樂增強圖像效果的結果。雖然這條音樂與圖像相互激發(fā)走向抽象對應的路趨于沒落，但是當圖像運動起來，我們進入影視藝術的范疇時，此命題又得到了展開。

《視聽語言》是影視專業(yè)的必修課，其中對聲畫關系的討論很有借鑒意義。它將聲畫關系分為四種：同步、分離、對位、錯置。人視覺的空間范圍是在以瞳孔為圓心60度左右的投射面；而聽覺的空間范圍則是360度全方位的。在影視欣賞過程中，由于聲畫的同步，“畫外音”使觀眾的視覺得到了延展。在此，聲音確實為影像起到增效的作用。但是，此增效機制的作用面依然是觀眾對停留在敘事層面，是對生活情景的還原，是對情節(jié)表現(xiàn)的增強。無論聲音還是畫面都沒有獲得獨立的表達性，它們都居于次要地位，服務于情節(jié)。

《視聽語言》7張菁、關玲著，《影視視聽語言》，中國傳媒大學出版社，2014年。將影視中的聲音分為對白、音效和音樂三類。前面已經(jīng)有過對音樂的討論，而音效是更加廣闊的范疇。音效[sound effects]意為表達某些事件的特殊聲音。不論其使用場景，這一聲音事件（漸強或漸弱），使聽眾產(chǎn)生不同的事件想象（靠近或遠去，出現(xiàn)或消失），進而對其評估，產(chǎn)生情緒反應，聲音始得其“效”。因此，音效作為人感官認知的一種媒介，它也應如音樂一樣是連續(xù)的事件和有完整的邏輯，音效各個變量因素也應如音樂一樣各具功效。甚至音效會更加貼近于人的深層生理機制。目前人們對音效的使用，主要還是基于使用場景的需要而主觀推斷使用的。若能將音效的各個變量和其功能像《和聲學》一樣理清，那么音效作為和音樂一樣的語言，就能自理論層面開始更大的發(fā)展。音效的范圍包羅萬象，譚盾《水樂》利用水之聲音、《地圖》中將石頭碰撞的聲響組成樂章，都可以視為音樂向音效擴展的動向。格式塔學說對人的視覺機制歸納出八條“不可解釋”的視覺原則。而聽覺機制的似乎無此種對應的理論。視聽之間關聯(lián)互動的關系，還有很多的方面需要研究。

擬聲在影視配音中有廣泛的應用。它的原理是制造比較大的聲音替換原本比較小的聲音，如把大豆拋下來模擬下雨、折斷芹菜來表示骨頭斷裂，來強化了畫面中人物運動、環(huán)境特征，從而推動情節(jié)發(fā)展。擬聲方法利用人想象力的替換原理，使得藝術中視覺、聽覺的交互方式大大展開，許多原本無聲的事物可以用聲音表達出來，比如行星的運轉(zhuǎn)、墨水的滲化。當脫離對文字劇本的呈現(xiàn)要求，圖像／影像與聲音／音樂凸顯獨立價值，不經(jīng)文本要求而直接產(chǎn)生審美表達的對應、糾纏、增強、甚至消解。

四維全息聲系統(tǒng)的出現(xiàn)，將會顛覆以往音畫交互的關系。它基于惠更斯原理，運用WFS波場合成技術8波場合成[Wave Field Synthesis，WFS]是一種全新的聲音回放技術。聲波在空間的分布狀態(tài)稱之為波場。波場合成使用揚聲器陣列，通過WFS的3D算法，可以合成出任意時刻的波場。也就是說，通過波場合成進行聲音的回放，整個聲場的分布是精確真實合成出來的，這有別于心理聲學范疇的虛擬聲像。這一概念首次公開提出于1988年，荷蘭代爾夫特理工大學[Technische Universiteit Delft, T.U.D.]的聲學和地震學權威A.J.Berkhout教授以及他的團隊。，通過陣列揚聲器回放實現(xiàn)聲音的全息定位，重現(xiàn)自然、真實的聲場環(huán)境；消除了“皇帝位”（即最佳聽音區(qū)），還原真實的聽音感受，令不同位置的聽音者都能聆聽到真實的、高品質(zhì)的聲音；能讓聽音者擁有全息沉浸式的聽音體驗，耳畔響起的音符仿佛能夠觸手可及。在此系統(tǒng)中聲音可以擺脫樂器、演奏者等等條件的束縛，擁有了運動軌跡這個新維度，能夠在三維空間中自由運動。觀眾能感覺雨滴落在肩頭，子彈從耳畔飛過，魚群在頭頂游動、大象在腳底漫步、炮彈自十點鐘方向飛到五點鐘方向。換言之，在此技術條件下，聲音／成為了三維空間中的空間藝術。聲音的運動軌跡，成為與觀眾的互動的全新維度。因此，“空間作曲”[Spatial Composition]成為了不光是音樂界，更是跨媒體藝術的最前沿。一些全新的作品形態(tài)可能應運而生。

聽覺對視覺藝術對增強，是依靠著多個科學的進步而發(fā)展的。無論是欣賞還是創(chuàng)作，聽覺都為視覺拓寬了感知范圍、開拓了想象空間。

上述通過腦神經(jīng)科學的研究辨明聯(lián)覺與通感的區(qū)別；由創(chuàng)作的角度梳理音樂與繪畫、聲音與影響之間由感官到經(jīng)驗的多層對應，結合前沿技術成果，展開藝術創(chuàng)作新的圖景。