摘要:基于具身認知理論,結合虛擬現(xiàn)實技術,探索海絲文化沉浸式體驗設計方法,為傳承和發(fā)展中國傳統(tǒng)海洋文化提供新思路。從具身認知的視域,選擇海絲文化中具有代表性的鄭和下西洋故事為主線,在HTC VIVE設備的展示條件約束下,分析并設計相關的敘事情節(jié)、虛擬場景和核心交互,最后進行體驗實踐和可行性驗證。研究首次整合具身認知理論、虛擬現(xiàn)實技術與海絲文化,通過視覺、聽覺、觸覺等多感官維度,設計并實現(xiàn)了一套基于鄭和下西洋歷史的沉浸式體驗方案。通過實踐驗證,該設計能有效促進用戶情感共鳴,并加深對海絲文化的理解和認知,為傳承和弘揚傳統(tǒng)海洋文化提供了一種經濟且有效的新思路。
關鍵詞:具身認知;海上絲綢之路;沉浸式體驗;虛擬現(xiàn)實;傳統(tǒng)文化
中圖分類號:TP391.9 文獻標識碼:A文章編號:1003-0069(2024)16-0022-04
Abstract:Based on the embodied cognition theory and combined with virtual reality technology,this study explores the design method of immersive experience for Maritime Silk Road culture,aiming to provide new ideas for inheriting and developing China’s traditional maritime culture.From the perspective of embodied cognition,this study selects the representative story of Zheng He’s voyages to the Western Seas in Maritime Silk Road culture as the main line. Under the constraints of the display conditions of HTC VIVE equipment,relevant narrative plots,virtual scenes,and core interactions were analyzed and designed. Finally,experience practices and feasibility verifications were conducted.This study is the first to integrate embodied cognition theory,virtual reality technology,and Maritime Silk Road culture. Through multi-sensory dimensions such as vision,hearing,and touch,an immersive experience scheme based on the history of Zheng He’s voyages to the Western Seas was designed and implemented. Verified through practice,this design can effectively promote users’ emotional resonance and deepen their understanding and cognition of Maritime Silk Road culture,providing an economical and effective new approach for inheriting and promoting traditional maritime culture.
Keywords:Embodied cognition;Maritime Silk Road;Immersive experience;Virtual Reality(VR);Interaction design
在構建“21世紀海上絲綢之路”的戰(zhàn)略背景下,習近平總書記在2023年第三屆“一帶一路”國際高峰論壇中提出“推動綿亙千年的古絲綢之路在新時代煥發(fā)新活力”[1]的重要倡議,不僅彰顯了國家對海絲文化傳承與發(fā)揚的高度重視,更為新時代文化創(chuàng)新指明了方向。海上絲綢之路作為一條歷史悠久的貿易與文化交流通道,承載著“友善、包容、互惠、共生、堅韌”的文化內涵,是中華民族精神風貌和文化魅力的獨特展現(xiàn)。然而,當前海絲文化的傳承方式大多局限于靜態(tài)展示和陳述,難以讓受眾深入感受其深厚的文化底蘊。具身沉浸式體驗設計通過深度互動,更直觀和生動,能更有效地使海絲文化活起來。本研究以“具身認知”理論為指導,探索一種結合身體互動和文化傳達的沉浸式體驗設計方法,是推動海絲文化在新時代煥發(fā)新活力的創(chuàng)新嘗試。
具身認知理論(Embodied Cognition Theory)作為探索人類認知的重要理論之一,打破了傳統(tǒng)認知科學中身心二元論的觀點,認為身體就是一個自然的我和知覺的主體[2],強調認知的產生和發(fā)展與身體的構造、神經結構、感官和運動系統(tǒng)密不可分[3]。其主要概括為3個基本特征:1.認知主體的具身一體。認知主體并非僅限于大腦或心智,而是一個包括身體在內的統(tǒng)一整體。身體的感覺、動作和與環(huán)境的交互構成了認知活動的基礎,對概念形成、邏輯推理等心智過程有著決定性的影響。[4]2.認知過程的內嵌耦合。心智并非孤立存在,而是嵌入于身體,身體嵌入環(huán)境。心智、身體、環(huán)境三者構成了一體的認知系統(tǒng)[5],見圖1a。在認知過程中,心智、身體和環(huán)境之間形成了緊密的雙向互動關系,心智和身體的交互與環(huán)境的刺激和反饋共同構成了認知過程的核心。3.認知機制的外延與平衡。認知活動不是脫離情境、孤立于大腦的抽象符號運算,而是與環(huán)境嵌套延展生成的動態(tài)系統(tǒng)。環(huán)境的特征和情境對認知活動有著直接而重要的影響,通過與環(huán)境的不斷互動,認知得以持續(xù)發(fā)展和完善,逐漸達到“心智-身體-環(huán)境”的動態(tài)平衡[6],見圖1b。具身認知理論強調身體的感知運動、所處環(huán)境與認知之間的密切關系,為深入研究人類心智和行為的本質提供了一種更為綜合和生動的理論框架。
隨著新一代數(shù)字技術的發(fā)展,“身體”在認知學習和傳播實踐中的地位日益凸顯,引發(fā)了認知科學的“具身”轉向。具身認知理論在智慧教育、人工智能、人機交互等多個領域備受矚目,在設計方面的應用也逐漸廣泛。例如,劉毅等[7]分析了設計實踐中的知行分離問題,并提出了具身轉向的可能性。羅哲輝等[8]以廣東太虛拳為例,研究了體育類非遺互動產品的設計路徑。侯寧[9]探索了具身認知視域下河洛文化智能產品設計的新方法。湯曉穎等[10]人基于“具身認知”和“意象圖式”理論,提出了山水畫交互認知和虛擬現(xiàn)實具身交互設計模型。這些研究表明,通過引入身體感知和動作,能夠提高人們對知識的理解和記憶,導向更深層次的學習。盡管具身認知理論的應用范圍不斷拓寬,但在海絲文化領域的應用研究尚屬空白。鑒于此,本研究從具身認知理論視角出發(fā),結合虛擬現(xiàn)實技術,探索海絲文化沉浸式體驗設計方法,不僅為海絲文化傳承與發(fā)展提供了新的研究思路,也進一步豐富了具身認知理論的應用場景。
(一)海絲文化
海上絲綢之路作為連接東西方的生命線,見證了無數(shù)國家的經濟貿易往來,文化、藝術的流動與交融,孕育出了底蘊深厚、多元共存的海上絲綢之路文化,簡稱“海絲文化”。海絲文化不僅是古代世界各地區(qū)繁榮發(fā)展的推動力量,在今天依然對文化、藝術、經濟和社會等多個領域產生深遠影響,具有不可估量的研究價值。海絲文化可歸結為3類:海絲器物、海絲事跡及海絲精神,見圖2,它們系統(tǒng)構成了海絲文化的核心要素。
1.海絲器物指在海上絲綢之路沿線地區(qū)發(fā)現(xiàn)的具有歷史、文化價值的文物和遺跡。主要包括古代港口遺址、船只殘骸以及商業(yè)貿易品等。這些器物以其宏偉的外觀、精湛的工藝和獨特的造型,展現(xiàn)了古代海上絲綢之路經濟、文化交流的繁榮景象,是實用的工具,更是文化的載體。
2.海絲事跡指在古代海上絲綢之路歷史中涌現(xiàn)的重要人物和事件,包括商人的跨國貿易、探險家的航海探險、文化使者的友好交流等。這些事跡借助文獻、史詩、游記等多種載體得以傳承,呈現(xiàn)了古代社會風貌和文化交流的歷史畫卷,是了解古代海上絲綢之路的重要視角。
3.海絲精神是海上絲綢之路歷史進程中形成的文化信仰和價值觀。展現(xiàn)了開放包容、文明互鑒、和諧共榮的精神理念,推動了古代海上絲綢之路的繁榮發(fā)展,對今天的文化交流與合作具有重要的啟示意義。
(二)海絲文化沉浸式體驗設計現(xiàn)狀
沉浸理論(Flow Theory)由匈牙利心理學家米哈里·契克森米哈賴提出。他認為個體在全身心地投入某項活動時,能夠過濾無關因素,進入一種沉浸狀態(tài),從而獲得了深層次的體驗。[11]傳統(tǒng)的文化體驗項目往往使用戶置于被動接受的地位,在激發(fā)認知興趣和形成深刻記憶方面存在明顯不足。隨著新媒體技術的蓬勃發(fā)展,尤其是虛擬現(xiàn)實(Virtual Reality,簡稱VR)、增強現(xiàn)實(Augmented Reality,簡稱AR)和體感技術等的廣泛應用,為用戶帶來了更多元和個性化的體驗方式?!俺两襟w驗”對于提升用戶的認知深度、情感共鳴和文化理解具有重要意義,已成為文化遺產數(shù)字化領域的熱門話題。通過對海絲文化數(shù)字化沉浸式體驗設計進行深入調研,研究發(fā)現(xiàn)目前的設計形式主要包括VR展覽、VR體驗、AR導覽以及教育游戲4種。筆者挑選4個具有代表性的案例進行詳細分析,分析結果見表1。
目前,在數(shù)字藝術和科學技術的支持下,海絲文化沉浸式體驗的價值得以彰顯,但仍存在一些問題。一是過于依賴視聽效果的呈現(xiàn),忽視了觸覺等其他感官的有效刺激。二是缺乏身體參與和深度互動,難以激發(fā)用戶的情感共鳴。情感共鳴是形成對海絲文化深刻理解和認同的關鍵,缺乏情感共鳴將導致用戶對文化的體驗停留在表面。三是由于缺乏明確的設計方法指導,設計系統(tǒng)性存在不足。因此,如何設計出符合用戶認知行為、激發(fā)用戶情感共鳴,并推動沉浸式體驗從單一的技術應用轉向技術與文化雙向賦能的系統(tǒng)性設計,成為亟待解決的問題。
(三)具身認知理論介入沉浸式體驗設計的邏輯必然
在優(yōu)化海絲文化沉浸式體驗設計的過程中,具身認知理論為我們提供了新的審視維度。一方面,理論強調身體在認知過程中的核心作用,指出身體感知和動作對于文化理解的重要性。在沉浸式體驗設計中,不能僅僅依賴視覺元素,還需調動聽覺、觸覺等多種感官,實現(xiàn)全面而深入的身體參與。此外,理論認為身體與環(huán)境的交互是情感產生的關鍵。通過多元化、沉浸式的情境交互,替代抽象、空洞的文化概念,能為用戶創(chuàng)造更加真實的互動體驗,與文化產生更緊密的聯(lián)系。同時,理論還強調了認知的系統(tǒng)性。構建系統(tǒng)、深入的體驗流程,引導用戶逐步了解和感受文化的內涵,有助于增強用戶對文化的理解和認知。綜上所述,具身認知理論不僅為文化遺產數(shù)字化轉化提供了新的視角,也為分析用戶行為習慣、知覺認知及探究更深層次文化“意義”建構的沉浸式體驗設計實踐提供了科學的理論指導。
(一)海絲文化沉浸式體驗具身認知模型
基于上述分析,研究主張在具身認知理論框架的指引下,海絲文化沉浸式體驗設計應當深入考慮用戶的身體感知、動作反饋及其與環(huán)境的深度互動關系,并據此構建基于具身認知的海絲文化沉浸式體驗模型,見圖3。該模型從感知學習、具身交互到沉浸體驗3個維度漸進深化,以實現(xiàn)用戶心智、身體與環(huán)境的內嵌耦合,共同塑造豐富而深刻的認知體驗。
(二)海絲文化具身沉浸式體驗認知層次
海絲文化沉浸式體驗設計搭建了用戶與海絲文化溝通的橋梁,承載著文化傳播的使命。基于具身認知理論,用戶在體驗海絲文化的過程中,與沉浸式產品形成了3個層次的關聯(lián)。(1)感知學習層。提煉與轉化調研所得的海絲文化元素,形成多通道、多模態(tài)的文化符號,共同構成感知學習的外在表現(xiàn)。用戶借助視覺、聽覺、觸覺等多重感官,接收并處理海絲文化信息,初步建立起對海絲文化的基礎認知。(2)具身交互層。強化用戶的動作反饋,使其身體與虛擬環(huán)境之間建立更緊密的互動聯(lián)系。這種互動不僅限于物理層面的操作,更延伸至情感、認知和社會層面的交流。用戶從被動的信息接收者轉變?yōu)榉e極的參與者,身體與虛擬場景中的“身體”相互交融,形成“共同身體”,能夠自如地控制場景中的物體,感受人物角色、故事情節(jié)所傳遞的情感,進一步加深對海絲文化的理解。(3)沉浸體驗層。強調身體與環(huán)境的相互作用對認知的影響。用戶的感知覺與行為共同作用于外界環(huán)境刺激,“形成了用戶的記憶系統(tǒng),并被轉化成抽象符號”[12]。在這一過程中,用戶身心得到全面釋放,完全沉浸于虛擬情境中,主動探索并領悟海絲文化的精神價值,形成心智、身體與環(huán)境的深度關聯(lián)。綜上所述,感知學習、具身交互和沉浸體驗3個層次相互補充、協(xié)同作用,共同構建了海絲文化沉浸式體驗設計的完整框架,為用戶提供了一個全面而深入的認知過程。
(三)海絲文化具身沉浸式體驗設計
基于具身認知理論的文化沉浸式體驗設計,其核心在于激活用戶的感知覺并強化身體與環(huán)境之間的互動,以追求體驗的整體性和系統(tǒng)性。研究選擇海絲文化中最具代表性的故事——鄭和下西洋為例,基于HTC VIVE展示設備,從文化敘事性整合、多感官融合情境、情感化具身交互三個方面展開海絲文化具身沉浸式體驗設計實踐。
1.海絲文化敘事性整合
具身認知理論強調認知活動與情境的緊密聯(lián)系?!扒榫场辈粌H是指復現(xiàn)文化的感官體驗空間,更是指向體驗內容要回溯至文化誕生時空的具體背景中。認知科學認為,“人類生來就理解故事,而不是邏輯”[13]。文化敘事性整合設計的核心在于對文化信息的解碼、重組與創(chuàng)新,以實現(xiàn)文化的認知轉譯與情感介入。國家主席習近平曾在多個場合講述鄭和下西洋的故事,這是中國傳統(tǒng)海洋文化的重要組成部分,是展示和平外交理念的“中國名片”。設計的內核價值圍繞文化精神傳承和文化遺產保護展開,通過深入挖掘海絲文化的歷史脈絡與獨特元素,對海絲文化內容進行整合與重構,構建富有生命力的敘事情境。同時,融入故事敘述、互動任務、角色扮演等具身交互形式,在虛擬的文化空間中構建系統(tǒng)性的體驗流程,使用戶能夠更加深入地理解和感受海絲文化的魅力,見圖4。
2.多感官融合情境設計
具身認知理論強調身體嵌入環(huán)境,認知的過程是情境的,“情境作為源域為具身認知提供了豐富的信息來源”[14]。我們身處多感官的世界,身體作為與環(huán)境直接交互的媒介,其感官經驗對認知形成具有直接而重要的影響。多感官融合情境設計旨在通過整合視覺、聽覺、觸覺等多種感官通道,為用戶提供了豐富而真實的沉浸式體驗。
(1)視覺設計層:基于歷史真實性原則,設計選擇鄭和下西洋故事核心部分構建寶船倉庫、寶船出海兩個文化體驗場景。運用現(xiàn)代視覺語言對海絲文化元素的色彩、形態(tài)與質感進行展示,實現(xiàn)視覺層面的文化轉譯。例如,船只的木材紋理、瓷器的紋理以及甲板、船舵、絲綢、異獸等各類航海器具和貿易貨物的細節(jié)進行刻畫,以增強其真實感。添加外部環(huán)境要素,包括伴航的船隊,動態(tài)海洋環(huán)境,變化的天氣等光影效果,營造符合時代背景和地域特色的氛圍以增強沉浸感。同時,注重視覺反饋設計。當用戶靠近模型或手柄射線投射到物品上時,視圖會釋放UI,顯示針對物品或動作的文字描述,作為用戶具身操作的視覺回應。UI的選擇采用極簡風格,適當融入海洋文化元素,避免過于復雜的視覺界面影響整體的沉浸感。海絲文化具身沉浸式體驗視覺設計,見圖5。
(2)聽覺設計層:聽覺作為另一重要的感官通道,其聲音媒介能夠直接觸達用戶的情感。實踐使用HTC VIVE的立體聲音效來模擬海絲文化場景中的自然聲和人聲,營造真實的聽覺環(huán)境。如海浪拍打船身、帆布飄揚、海鷗叫聲、工人呼喊聲和船只聲響等,引導用戶拓展具身認知范圍,發(fā)現(xiàn)更多有趣的信息和細節(jié)。當用戶與物品交互時,如拾起、放下或操作物品,提供即時的聽覺反饋,包括操作提示音、任務提示音、語音解說等,幫助用戶更好地理解環(huán)境和具身操作狀態(tài)。同時,添加一些事件驅動音效,例如遇到風暴時觸發(fā)緊張背景音樂等,激發(fā)用戶聽覺感知力,使其更全面地感受海絲文化的氛圍。
(3)觸覺設計層:設計可觸摸的海絲文化展品,通過具身接觸激發(fā)用戶感知力,使其對文化的物質形態(tài)有更直觀的認知理解。添加互動式的觸覺體驗,例如拉動繩索調整風帆、操作航海工具,或在風暴中穩(wěn)定船只,通過HTC VIVE手柄的震動反饋模擬物理觸感,提升沉浸體驗效果。同時,設計符合海絲文化特色的環(huán)境觸感,如溫暖的燈光、柔和的海面等,建立用戶與文化的情感連接。此外,注重視覺和聽覺的配合,間接增強用戶對物品質感的感知,如模擬木制、金屬或布料的觸感。
3.情感化具身交互設計
具身認知理論指出,認知并非孤立于身體與環(huán)境之外,而是心智、身體與環(huán)境之間相互耦合、相互塑造的動態(tài)系統(tǒng)。身心一體所嵌入的環(huán)境及其與環(huán)境的交互行為,影響著認知形成。在構建海絲文化沉浸式體驗時,用戶對海絲文化意義的獲取并不只是浮于多感官融合的形式表層,更要超越感官層面,實現(xiàn)身體與虛擬環(huán)境的深度交互,以及情感層面的聯(lián)系。
研究根據海絲文化特點和用戶體驗需求,設計系列符合歷史背景和文化特色的具身交互任務,引導用戶通過身體指令和動作與虛擬環(huán)境進行自然交互的情節(jié)、關卡和獎勵機制,強化用戶的身臨其境感,引發(fā)用戶對互動內容所隱含動作的思考,深化對海絲文化抽象內容的理解。例如,用戶通過操控左右手柄實現(xiàn)虛擬場景中的快速移動、射線點擊以及模擬駕駛操控等交互操作。用戶進入模擬的船艙場景,在倉庫的布置和貨物的設計上,選擇海絲文化代表性元素,如絲綢、瓷器、香料等。當用戶接近或接觸貨物時,設計細微的震動反饋,模擬真實的手感。同時,屏幕上出現(xiàn)文字提示,告知用戶需要將指定貨物搬運到指定的堆放區(qū)域。在任務提示和反饋中,加入與海絲文化相關的歷史知識和文化故事,幫助用戶更深入地了解海絲文化。海絲文化具身交互設計,見圖6。
同時,還應關注海絲文化中的情感元素,在設計中設置情感觸發(fā)點,以喚起用戶的情感認知,實現(xiàn)對文化體驗深層次主題和意義的解碼,見圖7。例如,用戶通過與瓷器、茶葉、藥材、異獸等各種商貿物品模型的互動感受海上貿易的繁榮多樣,促進文化自信。設計突發(fā)事件,如進入預設的暴風雨區(qū)域,用戶需要運用過洋牽星術、操作水羅盤定位船只回歸航線感受克服困難的喜悅,體驗無懼無畏的航海精神。在操作手柄,搬運貨物的過程中,設計一些難度元素增加任務的挑戰(zhàn)性和趣味性,如狹窄的樓梯、倉庫內的障礙物等。當用戶成功完成指定任務時,出現(xiàn)視覺上的成功提示以及手柄的觸覺震動和勝利音效強化成就感,如果用戶在執(zhí)行任務過程中遇到困難或錯誤操作,系統(tǒng)將提供適當?shù)奶崾竞蛶椭?/p>
綜上所述,基于具身認知理論的海絲文化沉浸式體驗設計,是一個全面而系統(tǒng)的方案,涵蓋了從感官融合到情感交互再到文化敘事等多個層面,旨在促進用戶實現(xiàn)海絲文化的知識獲取、文化認同與價值建構,形成基于“心智-身體-環(huán)境”的具身認知閉環(huán),共同塑造用戶的海絲文化認知。
選擇學校30名學生為測試對象,設計不同維度的評估指標及對應的指標內容。測試后根據指標內容進行打分,所獲得的相關數(shù)據如表2。
總體而言,測試結果取得較為滿意的分數(shù),獲得大多數(shù)學生的認同。經調查,需要改進的地方主要有兩方面。即受HTC VIVE硬件條件限制,無法體驗全身觸感。以及交互方面還可以進一步豐富,例如場景中可以添加一些虛擬人物角色,和玩家進行交談、動作互動等。
研究基于具身認知理論,以海絲文化代表性故事鄭和下西洋為主線,在HTC VIVE設備的限制條件下,對敘事情節(jié)、虛擬場景和核心交互進行了深入分析,充分利用視覺、聽覺、觸覺等多感官維度,設計并實現(xiàn)了一套沉浸式體驗方案。經過實踐驗證,該設計能有效地促進用戶情感共鳴,加深對海絲文化的理解和認知,為傳承和弘揚傳統(tǒng)海洋文化提供了一種經濟且高效的新思路,具有重要的現(xiàn)實意義和廣泛的應用前景。
基金項目:廣東省教育科學規(guī)劃項目(2023GXJK452);廣州市高??蒲许椖浚?02235363);廣州市質量工程項目(2022JXGG099)
參考文獻
[1]習近平.建設開放包容、互聯(lián)互通、共同發(fā)展的世界——在第三屆“一帶一路”國際合作高峰論壇開幕式上的主旨演講[N].人民日報,2023—10—19(002).
[2]龐蒂.姜志輝譯.知覺現(xiàn)象學[M].北京:商務印書館,2001.
[3]葉浩生.具身認知:認知心理學的新取向[J].心理科學進展,2010(5):705-710.
[4]葉浩生.身體與學習:具身認知及其對傳統(tǒng)教育觀的挑戰(zhàn)[J].教育研究,2015,36(4):104-114.
[5]王穎吉.媒介、知覺與閱讀——具身認知的考察路徑與邏輯[J].學術研究,2020(02):45-51.
[6]楚超超.身體·建筑·城市[M].南京:東南大學出版社,2017.
[7]劉毅,謝塵沐,李擁軍.具身認知視閾下交互設計的身體認知轉向[J].美術學報,2023(03):130-133.
[8]羅哲輝,陳彩霞.基于具身認知理論的體育類非遺互動產品設計研究[J].包裝工程,2023,44(14):347-353.
[9]侯寧.具身認知視域下的河洛文化智能產品設計研究[J].包裝工程,2022,43(22):288-297.
[10]湯曉穎,蔡奕輝,肖映河等.游春圖意境空間的虛擬現(xiàn)實具身交互設計研究[J].包裝工程,2023,44(24):297-307+327.
[11]Mihaly C. The promise of positive psychology[J]. Psihologijske Teme,2009,18(2):203-211.
[12]劉鑫,周欣越.基于具身認知的我國傳統(tǒng)節(jié)日IP設計研究[J].包裝工程,2024,45(02):444-451+471.
[13]丹尼爾·平克.林娜譯.全新思維[M].北京:北京師范大學出版社,2007.
[14]王秀麗,蔣曉,趙丹琳,等.基于具身認知的兒童智能玩具交互設計研究[J].包裝工程,2019,40(16):165-170.