王毅 宣怡瀟 郭勃銳

關(guān)鍵詞：聯(lián)覺 通感 沉浸式 交互設(shè)計 展陳設(shè)計

引言

當(dāng)前數(shù)字技術(shù)與展示設(shè)計的結(jié)合，創(chuàng)造并改善了觀眾與展物之間的信息傳達(dá)和交互形式。如何通過交互設(shè)計創(chuàng)新，豐富觀眾感官體驗的同時，提高沉浸式展陳與觀眾的情感交互成為產(chǎn)品數(shù)字化展陳領(lǐng)域研究的重點(diǎn)。沉浸式展陳交互設(shè)計的關(guān)鍵在于多感官交互、情感交互。在多感官交互方面，沉浸式展陳交互設(shè)計會使用視覺、聽覺、觸覺等多種感官整合或聯(lián)覺，以營造更加真實(shí)的展示環(huán)境、展示內(nèi)容的感知體驗；在情感交互方面，則會通過不同模態(tài)信息的藝術(shù)創(chuàng)作手法，如利用“通感”的藝術(shù)創(chuàng)意表現(xiàn)來引發(fā)觀眾的情感共鳴，從而提高展品的感染力和吸引力。“聯(lián)覺”從生理層面闡釋了五感之間的聯(lián)系，各個器官的感覺復(fù)合，是人對事物的復(fù)合感受。此外，不同感官的感覺在附加了人的經(jīng)驗和意識后，也會出現(xiàn)復(fù)合感知，繼而將生理層的感覺刺激形成認(rèn)知并上升到情感層，甚至達(dá)到“通感”的情感境界。英文中“synesthesia或synaesthesia”漢語翻譯為“聯(lián)覺”“通感”，與當(dāng)前國內(nèi)有關(guān)“聯(lián)覺”與“通感”研究的領(lǐng)域、概念以及界限劃分存在一定的模糊認(rèn)知[1]。高志明學(xué)者提出“通感”的形成是一個動態(tài)的過程，它主要包括“生理聯(lián)覺、心理移覺和語言通感”三個維度[2]。如何在展陳交互設(shè)計中，從人的多感官交互出發(fā)，激發(fā)人的“聯(lián)覺”效應(yīng)，探討基于“聯(lián)覺”并形成“通感”的情感升華過程，進(jìn)而在藝術(shù)文化的語境下引起觀眾對展陳藝術(shù)的情感共鳴，是本文研究的出發(fā)點(diǎn)，以更好地基于人的多感官聯(lián)覺效應(yīng)優(yōu)化交互設(shè)計，提升觀展體驗效果，滿足觀眾對產(chǎn)品數(shù)字化展陳的情感交互需求。

一、沉浸式展陳交互設(shè)計研究現(xiàn)狀

（一）沉浸式展陳交互設(shè)計的發(fā)展現(xiàn)狀

傳統(tǒng)產(chǎn)品展陳設(shè)計一般通過實(shí)物、海報和視頻等形式呈現(xiàn)給觀眾[ 3 ]，但是，伴隨2 0世紀(jì)70年代西方興起的互動裝置藝術(shù)（Interaction Installation Art）的發(fā)展，傳統(tǒng)的展陳設(shè)計逐漸開始強(qiáng)調(diào)觀眾與展物或裝置之間的互動，以增加觀眾在展覽中的具身體驗[4]。近幾年，智能計算、傳感器的感知識別、數(shù)字化技術(shù)的發(fā)展和融合，帶動了沉浸式新媒體藝術(shù)的發(fā)展，觀眾與藝術(shù)內(nèi)容、形式或藝術(shù)裝置的交互越來越呈現(xiàn)出“多維度”和“多感官”的特征[5]。設(shè)計師巧妙運(yùn)用人機(jī)互動裝置，通過多媒體設(shè)備將藝術(shù)創(chuàng)作與聲、光、電、增強(qiáng)現(xiàn)實(shí)（AR）、虛擬現(xiàn)實(shí)（VR）、混合現(xiàn)實(shí)（MR）等技術(shù)相結(jié)合，讓觀眾沉浸于某個特定的文化語境中，通過交互成為藝術(shù)展中不可或缺的構(gòu)成要素的同時，與藝術(shù)創(chuàng)作產(chǎn)生情感共鳴，例如韓國現(xiàn)代汽車品牌展覽、邁阿密科學(xué)博物館、波士頓科學(xué)博物館以及其他沉浸式互動藝術(shù)體驗展等給觀眾創(chuàng)造了前所未有的沉浸式體驗，不僅增強(qiáng)了藝術(shù)表現(xiàn)的感染力，也提高了觀眾觀展的樂趣，表1。

（二）沉浸式展陳交互設(shè)計中的感知體驗

沉浸式展陳交互設(shè)計通過研究“視覺、聽覺、觸覺、嗅覺、味覺”等多元化的五感體驗，來滿足觀眾的多感知和情感需求，以提高展陳的體驗價值。越來越多的研究開始在產(chǎn)品的展陳設(shè)計中關(guān)注“五感、聯(lián)覺、通感設(shè)計等”。Jinsop Lee提出的交互設(shè)計較為注重一種感官體驗的過程，將體驗與設(shè)計相互融合。原研哉提出的五感設(shè)計則關(guān)注“信息的構(gòu)筑”，并以“感覺刺激→記憶喚醒→組合印象”的方式將設(shè)計師的想法傳達(dá)給受眾[5]。基于多感官的交互設(shè)計，打破單一的視覺感官刺激，從人的多感官入手，多交融、多層次地激發(fā)人多感官通道內(nèi)的信息融合，而形成一定的聯(lián)覺感知。

當(dāng)人在參與交互的過程中，五感位于基礎(chǔ)層級，由五感結(jié)合認(rèn)知經(jīng)驗而成的綜合感知是知覺層級，以文化意識為主導(dǎo)的、精神層級的體驗感可以歸為情感層[4]。所以，基于多感官交互，用藝術(shù)手法創(chuàng)造展陳中的文化氛圍，形成情感語境，讓人在沉浸體驗中，由生理感覺上升到認(rèn)知、再到情感共鳴的這一過程涉及到了人的多感官、聯(lián)覺、通感等。這里的聯(lián)覺，不同于生物領(lǐng)域中的“聯(lián)覺”概念。藝術(shù)與設(shè)計領(lǐng)域認(rèn)為由于人生活環(huán)境、文化和思想存在一定的共性，因此在藝術(shù)創(chuàng)作或設(shè)計時，利用“跨模態(tài)”信息交互實(shí)現(xiàn)不同感官之間的聯(lián)覺，能更好地激發(fā)出人與展物的情感交互，達(dá)到藝術(shù)語言表達(dá)的高級修辭“通感”，即“在描述事物時以一種感知代替另一種感知進(jìn)而達(dá)到通感的感知體驗”[6]。

（三）“聯(lián)覺”與“通感”的聯(lián)系與差異

“聯(lián)覺”與“通感”都是在人的五感基礎(chǔ)上形成的概念，二者既有相關(guān)性也有差異性。為此，文中運(yùn)用Citespace進(jìn)行文獻(xiàn)知識圖譜分析，分別以“聯(lián)覺”和“通感”為主題詞在中國知網(wǎng)核心期刊中檢索，如圖1和圖2所示。

圖1所示“聯(lián)覺”的相關(guān)研究大多在音樂領(lǐng)域和藝術(shù)設(shè)計中的實(shí)踐，包括音樂欣賞和審美等?！奥?lián)覺”常指人在認(rèn)知經(jīng)驗的影響下，在發(fā)生了一種感官刺激后會產(chǎn)生另一種感官的刺激感受。雖然“聯(lián)覺”在生物領(lǐng)域研究中是一種遺傳性的生理現(xiàn)象，目前在少數(shù)人的測試中被發(fā)現(xiàn)。但由于人在感知事物時，也會存在與生理性“聯(lián)覺”特征相似的現(xiàn)象。例如在手機(jī)屏幕閱讀中進(jìn)行翻頁的操作，這一觸覺和視覺的感受讓人仿佛聽到了翻頁的聲音。這種“聯(lián)覺”效應(yīng)的觸發(fā)是基于一定的認(rèn)知經(jīng)驗，發(fā)生了感官通道之間的信息交換和遷移。具有不同生活經(jīng)驗的人會發(fā)生的感官“聯(lián)覺”體驗的程度或效果有所不同[7]。所以，個體之間的認(rèn)知差異會使得人在感官刺激中獲取不同的體驗。

有關(guān)“通感”的研究中，涉及心理機(jī)制、情感以及文學(xué)修辭等領(lǐng)域的研究較多（圖2）。“通感”在早期的研究中常常被視為“聯(lián)覺”的另一種叫法，后來在認(rèn)知語言學(xué)領(lǐng)域中不斷有學(xué)者提出“通感”與“聯(lián)覺”在觸發(fā)機(jī)制和現(xiàn)象呈現(xiàn)中存在內(nèi)在差異，除了感官之間的互通以及聯(lián)想和認(rèn)知的整合以外，還存在復(fù)雜的感受機(jī)制。“通感”在人的感知和聯(lián)想基礎(chǔ)上融入了人的文化背景和生活情境而產(chǎn)生的一種“基于聯(lián)覺”的情感衍生現(xiàn)象。在語言文學(xué)領(lǐng)域?qū)ⅰ巴ǜ小倍x為一種修辭現(xiàn)象，通過語言文字的描寫使人達(dá)成情感的生發(fā)。由于藝術(shù)創(chuàng)作也是為藝術(shù)語言的創(chuàng)作，所以，藝術(shù)與設(shè)計領(lǐng)域中，“通感”也可謂一種藝術(shù)創(chuàng)作的“修辭”表達(dá)的效果。因此，本文通過“聯(lián)覺”與“通感”之間的內(nèi)在聯(lián)系和遞進(jìn)關(guān)系構(gòu)建層次分析，提出“聯(lián)覺-通感”層次構(gòu)建的沉浸式展陳交互設(shè)計方法。

二、沉浸式展陳交互設(shè)計“聯(lián)覺-通感”的層次分析

（一）生理基礎(chǔ)——多感官整合的交互感知建設(shè)

五感是人的生理基礎(chǔ)，是人與外界信息接觸的感官通道，感官之間相互聯(lián)系、相互影響，共同使人們感受周圍環(huán)境[8]。當(dāng)不同形式的信息匹配到視、聽、觸、味、嗅的五感通道后會轉(zhuǎn)換成不同的信號傳輸?shù)酱竽X中，形成感知。人通過多感官感知獲取信息疊加，使人的感受更加豐富和全面。從交互設(shè)計的角度來看，沉浸式展陳交互設(shè)計首先需要根據(jù)感官通道的信息感知特點(diǎn)設(shè)計交互形式，建立這種生理層次的多感官疊加與整合的交互感知，才能實(shí)現(xiàn)人在觀展時的交互體驗，例如展陳設(shè)計中色彩和造型的視覺設(shè)計、聲音的聽覺設(shè)計、材質(zhì)和溫度等觸覺設(shè)計、味道的嗅覺和味覺設(shè)計等是多感官整合的、交互感知的基礎(chǔ)建設(shè)。

（二）知覺衍生——“聯(lián)覺”效應(yīng)下的交互認(rèn)知賦意

當(dāng)位于生理層的“感知疊加與整合”附加了人的認(rèn)知記憶和經(jīng)驗，便可上升到知覺層的體驗，繼而激發(fā)“聯(lián)覺”效應(yīng)。例如視覺上的色彩設(shè)計或造型設(shè)計與聲音的聽覺設(shè)計之間應(yīng)當(dāng)存在某種關(guān)聯(lián)，這種關(guān)聯(lián)與人的認(rèn)知和閱歷經(jīng)驗相聯(lián)系。當(dāng)觀看展陳設(shè)計的觀眾在接收感官信息的過程中，在相關(guān)記憶的刺激下出現(xiàn)感知和聯(lián)想上的心理變化，便從生理層的交互體驗轉(zhuǎn)移到了知覺衍生階段。在交互設(shè)計中，為確保廣大觀眾群體能夠更好地感知和理解展陳設(shè)計中的藝術(shù)文化符號，由生理層的感覺上升為知覺層體驗，挖掘文化意涵，對交互的形式表達(dá)進(jìn)行賦意，激發(fā)觀眾在共同文化認(rèn)知的經(jīng)驗下觸發(fā)知覺層的“聯(lián)覺”效應(yīng)，奠定了情感共鳴的生成條件。例如利用水波的視覺形象來反映聲音的傳遞，讓人仿佛聽到了聲音，甚至感受到了聲波振動的觸感。

（三）情感升華——情感共鳴下的“通感”語境創(chuàng)建

“通感”作為一種文學(xué)語言的修辭現(xiàn)象，也可以運(yùn)用到藝術(shù)設(shè)計領(lǐng)域，作為“藝術(shù)語言修辭”，把受眾的情感激發(fā)出來，是一種高級的藝術(shù)表達(dá)方式[9]。張凌浩學(xué)者針對符號轉(zhuǎn)譯的體驗設(shè)計，提出了通感設(shè)計的認(rèn)知模型，并應(yīng)用到產(chǎn)品設(shè)計中，指出通感是符號設(shè)計的創(chuàng)作表達(dá)方式之一，是一種情感現(xiàn)象的表達(dá)[10]。在展陳交互設(shè)計中，情感激發(fā)不僅需要在認(rèn)知經(jīng)驗的基礎(chǔ)上對交互的“形式符號”賦意，還需要搭建觀眾解讀這些符號意涵的語境，從而實(shí)現(xiàn)觀眾與展陳藝術(shù)的情感交互。

綜上分析，如圖3所示，文中將交互設(shè)計中，由聯(lián)覺到通感的轉(zhuǎn)移過程劃分為“生理層、心理層、情感層”。該層次模型闡釋了交互設(shè)計中，人從多感官感知到情感共鳴的生成過程。

三、沉浸式展陳交互設(shè)計實(shí)踐

（一）企業(yè)產(chǎn)品展陳設(shè)計訴求分析

產(chǎn)品展陳伴隨數(shù)字化技術(shù)的發(fā)展，也逐漸開始傾向人可參與的沉浸式、互動式展示。多維度的展示設(shè)計，可以更好地讓參觀的人感受企業(yè)品牌的文化，加深品牌記憶。文中以西安新藝維工業(yè)設(shè)計公司的產(chǎn)品數(shù)字化展陳設(shè)計為例，來探討基于“聯(lián)覺-通感”層次分析的產(chǎn)品數(shù)字展陳交互設(shè)計的效果。

“新藝維工業(yè)設(shè)計”致力于工業(yè)產(chǎn)品造型設(shè)計產(chǎn)業(yè)。該展陳設(shè)計力求將多年的成果作品進(jìn)行歸納和展示。公司的訴求一：將成果以一種新穎且現(xiàn)代的交互方式展現(xiàn)出來；訴求二：能夠加入數(shù)字化科技元素，增強(qiáng)觀眾觀展的沉浸式體驗感、互動感和參與感，進(jìn)而達(dá)到深入人心的效果；訴求三：能夠為觀者傳遞公司理念，即“物善致遠(yuǎn)，勤奮求真”，為公司作品展陳形式提升人文高度。

（二）多感官整合的視聽觸交互感知建設(shè)

依照前文提出的“聯(lián)覺-通感”層次分析理論，文中以生理層和知覺層的多感官聯(lián)覺為基礎(chǔ)，根據(jù)企業(yè)對展陳設(shè)計的“訴求一、訴求二”進(jìn)行多感官整合的視聽觸交互感知建設(shè)。

為實(shí)現(xiàn)“訴求一”所述“新穎且現(xiàn)代的展現(xiàn)方式”，首先確定了多媒體技術(shù)和帶有物理傳感技術(shù)的交互藝術(shù)裝置展示形式；其次為滿足“訴求二”所述的增強(qiáng)沉浸感、互動感和參與感，設(shè)立了觸摸交互和體感交互來控制展區(qū)光影動效和數(shù)字展示內(nèi)容的輸出效果，從而實(shí)現(xiàn)視覺、聽覺和觸覺的多感官功能疊加，豐富觀眾在生理層次的感知形式來增強(qiáng)沉浸感，如圖4所示的展陳藝術(shù)裝置中的軟硬件交互感知的設(shè)計架構(gòu)。其中，視覺感知部分包括數(shù)字藝術(shù)動效的投影展示、展板展示、實(shí)物展示、數(shù)字展示和燈光變換效果展示；聽覺感知包括語音講解和背景音樂；觸覺感知包括交互裝置中物理傳感器的觸摸和屏幕觸摸的操作。

（三）“聯(lián)覺”效應(yīng)下的色光交互認(rèn)知賦意

硬件交互部分以皮電傳感器為核心，當(dāng)觀眾將手指放置于兩個觸點(diǎn)上時，傳感器檢測觀眾的情緒波動，從而引起燈光裝置交互，裝置中的燈帶發(fā)出七種顏色的變換。在造型設(shè)計上，將“七彩色光”圍繞“透明亞克力模塊”并組合內(nèi)嵌于裝置下方實(shí)體中，并賦意“似錦前程”，從而使觀眾在“太陽光照射在半空中的水滴上形成七彩色光”的認(rèn)知經(jīng)驗下，觸發(fā)知覺層的“聯(lián)覺”效應(yīng)，使觀眾產(chǎn)生聯(lián)想，如圖5所示。不僅如此，位于墻體上的燈帶也會隨著裝置的交互觸發(fā)而與裝置上的七彩色光形成交互變化，讓觀眾有一種人與環(huán)境相呼應(yīng)、相融合的沉浸式體驗；裝置上數(shù)字展示動效也隨之變換，并與投影投射在墻上的產(chǎn)品展示內(nèi)容相呼應(yīng)。實(shí)現(xiàn)多種形式的觸覺-視覺交互，并將這一色光交互形式賦意為“努力就有成效”。

軟件交互部分是一個產(chǎn)品展示系統(tǒng)平臺，依托裝置的觸控屏幕展示。平臺首頁如圖6所示，觀眾可以通過輕觸屏幕中的任意位置跳轉(zhuǎn)至如圖7所示的產(chǎn)品數(shù)字展示頁面，該頁面中展現(xiàn)企業(yè)所有產(chǎn)品的3D效果，每個產(chǎn)品都持續(xù)浮動在頁面中。觀眾可通過點(diǎn)擊屏幕中任意一個感興趣的產(chǎn)品，實(shí)現(xiàn)跳轉(zhuǎn)至產(chǎn)品詳情頁的功能，并且在跳轉(zhuǎn)頁觸發(fā)的同時播放語音講解，觸發(fā)聽覺交互，達(dá)成將觸覺-視覺和觸覺-聽覺的交互結(jié)合的效果，硬件交互與軟件交互相結(jié)合的形式，并賦意為“合作共贏”。實(shí)現(xiàn)了觀眾生理層感知躍升到聯(lián)覺、知覺層體驗過程。

（四）基于企業(yè)文化理念的“通感”語境建構(gòu)

將“新藝維”工業(yè)設(shè)計的企業(yè)理念分解為“悟善致遠(yuǎn)”和“勤奮求真”兩個層面，首先用敘事的手法將企業(yè)發(fā)展歷程與流線型“紅、橙、黃、綠、青、藍(lán)和紫”色光流動的墻體燈帶設(shè)計構(gòu)成企業(yè)發(fā)展前程似錦的文化語境，傳遞“和、善、致遠(yuǎn)”的內(nèi)涵。將手指放置于展區(qū)控制屏的觸點(diǎn)上，通過觸感增強(qiáng)模擬觀眾情緒高漲，七色光的變化頻率加快，屏幕展示內(nèi)容結(jié)合聲音設(shè)計，增多、增快，構(gòu)建出“勤奮求真”的文化語境。通過增強(qiáng)觀眾參與的效能，獲取不同的內(nèi)容輸出和色光交互等，為觀眾形成“努力就有效果”，“小設(shè)計，大空間”感知效果，進(jìn)而傳遞“新藝維工業(yè)設(shè)計”的主張——“設(shè)計無大小，‘巧設(shè)為用。巧用藝術(shù)與工程的耦合設(shè)計為企業(yè)打造應(yīng)市而生的產(chǎn)品，為企業(yè)提供多維度整合的、戰(zhàn)略性的創(chuàng)新解決方案，用創(chuàng)新設(shè)計藝術(shù)拓展企業(yè)產(chǎn)品可持續(xù)發(fā)展的價值空間，引領(lǐng)市場”。

基于“通感”的藝術(shù)修辭表現(xiàn)，讓觀眾從參與中仿佛感受到了該企業(yè)正在用設(shè)計為合作者締造“新藝術(shù)、新維度”而付出的激情，進(jìn)而滿足了企業(yè)“訴求三”中所述的“傳遞公司理念和提升企業(yè)設(shè)計的人文高度”。如圖8所示，文中利用“聯(lián)覺-通感”層次分析方法，對企業(yè)設(shè)計作品展陳進(jìn)行的交互感知構(gòu)建、交互形式賦意以及滿足觀眾高級情感交互的“通感”語境創(chuàng)建。

結(jié)語

傳統(tǒng)產(chǎn)品展陳設(shè)計，融入數(shù)字化技術(shù)，創(chuàng)造了更多維的沉浸式藝術(shù)設(shè)計形式，也使得觀眾與展物、展陳裝置的交互方式更加多元化，實(shí)現(xiàn)了觀眾與展物的“共融”、自由互動和探索，增強(qiáng)了觀眾的參與感和體驗感。為了更好地通過交互形式打動觀眾，基于交互設(shè)計的“聯(lián)覺-通感”層次分析和設(shè)計思路，有效地實(shí)現(xiàn)了觀眾“從生理層的多感官感覺出發(fā)，再到知覺層的聯(lián)想，最后到情感層的情感升華”，提升數(shù)字展陳的文化價值，為沉浸式產(chǎn)品展陳的情感化交互設(shè)計提供了思路。