李俊義，蘇炎奎

(1.福建師范大學(xué)外國(guó)語(yǔ)學(xué)院，福建 福州 350007；2.福建師范大學(xué)協(xié)和學(xué)院，福建 福州 350117)

一、引言

人類(lèi)的生活和交際越來(lái)越多模態(tài)化，意義的建構(gòu)更多地依賴各種符號(hào)資源的整合，多模態(tài)已經(jīng)成為現(xiàn)代交際的一個(gè)重要特征，因此多模態(tài)話語(yǔ)分析成為業(yè)內(nèi)學(xué)者關(guān)注的焦點(diǎn)。多模態(tài)話語(yǔ)“是運(yùn)用聽(tīng)覺(jué)、視覺(jué)、觸覺(jué)等多種感覺(jué)，通過(guò)語(yǔ)言、圖像、聲音、動(dòng)作等多種手段和符號(hào)資源進(jìn)行交際的現(xiàn)象”[1]。多模態(tài)話語(yǔ)分析則是將多種模態(tài)納入研究視野，探討各種模態(tài)如何協(xié)同互動(dòng)構(gòu)建話語(yǔ)意義。目前，多模態(tài)話語(yǔ)分析的主要理論基礎(chǔ)是系統(tǒng)功能語(yǔ)言學(xué)和認(rèn)知語(yǔ)言學(xué)，研究視角集中于社會(huì)符號(hào)學(xué)和概念隱喻。[2]社會(huì)符號(hào)學(xué)是基于“系統(tǒng)功能語(yǔ)言學(xué)理論”[3-4]發(fā)展起來(lái)的理論框架，韓禮德認(rèn)為語(yǔ)言是社會(huì)符號(hào)，具有意義潛勢(shì)，語(yǔ)言學(xué)的闡釋原則對(duì)其他符號(hào)系統(tǒng)具有同樣適用性。[5]19多模態(tài)隱喻研究則是建立在“將模態(tài)看作一種使用具體感知過(guò)程來(lái)闡釋意義的符號(hào)系統(tǒng)”[6]基礎(chǔ)上進(jìn)行的認(rèn)知視角探討，而作為隱喻的在線建構(gòu)維度——概念整合理論，在多模態(tài)話語(yǔ)分析研究中卻并不多見(jiàn)，即多模態(tài)意義建構(gòu)的動(dòng)態(tài)過(guò)程被忽視了。鑒于此，本研究結(jié)合概念整合理論與社會(huì)符號(hào)學(xué)表征理論，構(gòu)建認(rèn)知符號(hào)學(xué)分析框架，以期為多模態(tài)話語(yǔ)分析提供新的理論視角，并以人民幣版面的多模態(tài)設(shè)計(jì)為案例，闡釋認(rèn)知符號(hào)學(xué)之于多模態(tài)話語(yǔ)分析的可適性。

二、多模態(tài)話語(yǔ)分析的理論視角

多模態(tài)話語(yǔ)分析是對(duì)構(gòu)成語(yǔ)篇或交際事件的不同符號(hào)模態(tài)的分析，它整合了語(yǔ)言符號(hào)和相關(guān)的非語(yǔ)言符號(hào)資源，考察不同符號(hào)資源表征的意義和符號(hào)之間的互動(dòng)意義，以便分析和解釋符號(hào)資源是如何共同協(xié)作，創(chuàng)造出一個(gè)完整的語(yǔ)篇或交際事件。多模態(tài)話語(yǔ)分析不僅拓展了語(yǔ)篇的語(yǔ)言學(xué)研究，同時(shí)加深了對(duì)符號(hào)學(xué)的認(rèn)識(shí)[7]，進(jìn)而激發(fā)了學(xué)界對(duì)符號(hào)認(rèn)知過(guò)程的研究興趣。社會(huì)符號(hào)學(xué)視角主要探討某一特定文化實(shí)踐中符號(hào)如何在社會(huì)語(yǔ)境中創(chuàng)造語(yǔ)篇意義，而認(rèn)知語(yǔ)言學(xué)視角主要研究各種符號(hào)實(shí)踐如何作用于人的認(rèn)知語(yǔ)境，影響人們的認(rèn)知識(shí)解，即符號(hào)如何在人的頭腦中進(jìn)行概念化識(shí)解。

(一)社會(huì)符號(hào)學(xué)

系統(tǒng)功能語(yǔ)言學(xué)創(chuàng)始人韓禮德認(rèn)為，意義是通過(guò)元功能語(yǔ)法系統(tǒng)的選擇而產(chǎn)生的，一次選擇(符號(hào)或語(yǔ)法)的意義是相對(duì)于系統(tǒng)網(wǎng)絡(luò)中的其他可能選擇(聚合選項(xiàng))來(lái)理解的。他使用社會(huì)符號(hào)學(xué)這個(gè)術(shù)語(yǔ)解釋了符號(hào)的意義取決于符號(hào)選擇使用的社會(huì)語(yǔ)境，即意義是在系統(tǒng)網(wǎng)絡(luò)中選擇，并在該社會(huì)和文化背景的協(xié)商中產(chǎn)生?？梢?jiàn)，系統(tǒng)功能語(yǔ)言學(xué)扎根于社會(huì)符號(hào)學(xué)領(lǐng)域，后者關(guān)注的是符號(hào)意義的社會(huì)解釋。受社會(huì)符號(hào)學(xué)和系統(tǒng)功能語(yǔ)法的影響，Kress & van Leeuwen將韓禮德的語(yǔ)言概念擴(kuò)展到視覺(jué)領(lǐng)域，他們?cè)凇堕喿x圖像——視覺(jué)設(shè)計(jì)的語(yǔ)法》著作中展示了圖像的符號(hào)資源在視覺(jué)上實(shí)現(xiàn)意義功能的3個(gè)語(yǔ)法層面：再現(xiàn)意義、互動(dòng)意義、構(gòu)圖意義。換言之，Kress & van Leeuwen認(rèn)為圖像符號(hào)資源具有意義潛能，可以用來(lái)建構(gòu)話語(yǔ)意義，甚至傳遞意識(shí)形態(tài)。這一開(kāi)創(chuàng)性的見(jiàn)解為系統(tǒng)闡釋廣告、科學(xué)、繪本、電影等多模態(tài)符號(hào)資源的話語(yǔ)意義建構(gòu)提供了有力的理論工具，確立了多模態(tài)話語(yǔ)研究的社會(huì)符號(hào)學(xué)視角。

社會(huì)符號(hào)學(xué)框架下的意義建構(gòu)是指在特定的社會(huì)語(yǔ)境中，符號(hào)生產(chǎn)者基于自身的興趣，激活了與語(yǔ)境密切相關(guān)的符號(hào)資源來(lái)構(gòu)建意義，該意義構(gòu)建具有多模態(tài)性質(zhì)。正如Kress所說(shuō)：“多模態(tài)在意義形成中的作用恰恰在于探索表達(dá)觀點(diǎn)、立場(chǎng)、態(tài)度、事實(shí)手段的不同潛能，并產(chǎn)生最適合特定任務(wù)或需要的符號(hào)資源?！盵8]Jewitt也認(rèn)為：“意義構(gòu)建往往是多模態(tài)的，如圖像、手勢(shì)、姿勢(shì)、凝視、動(dòng)作、音樂(lè)、顏色、3D產(chǎn)品，以及演講和寫(xiě)作，這些符號(hào)資源都具有表征意義的潛能?！盵9]多模態(tài)社會(huì)符號(hào)學(xué)視角關(guān)注的是符號(hào)資源的多模態(tài)意義解讀，但并未涉及符號(hào)構(gòu)建意義過(guò)程中的內(nèi)在框架是如何運(yùn)作的，即能指的交際意義在符號(hào)深層是如何展開(kāi)的，為此有必要認(rèn)真考察多模態(tài)符號(hào)資源意義構(gòu)建的認(rèn)知框架運(yùn)作。

(二)認(rèn)知語(yǔ)言學(xué)：概念整合理論

概念整合是一種常見(jiàn)的認(rèn)知活動(dòng)，它與心理空間密切相關(guān)。Fauconnier & Turner認(rèn)為心理空間就是：“我們思考和說(shuō)話時(shí)構(gòu)建的概念小包，為了便于局部理解和行動(dòng)。它們是元素、框架結(jié)構(gòu)和認(rèn)知模型的部分集合。”[10]20換句話說(shuō)，心理空間是基于與特定領(lǐng)域相關(guān)的更普遍、更穩(wěn)定的知識(shí)結(jié)構(gòu)，它們是意義建構(gòu)時(shí)使用的臨時(shí)空間。[11]概念整合是發(fā)生在認(rèn)知層面的一個(gè)動(dòng)態(tài)過(guò)程，它是經(jīng)由生成的心理空間，通過(guò)彼此的互動(dòng)作用產(chǎn)生心理空間的整合并由此實(shí)現(xiàn)語(yǔ)言意義的在線建構(gòu)。因此，“所謂概念整合理論，就是關(guān)于對(duì)言語(yǔ)交際過(guò)程中各心理空間相互映射并產(chǎn)生互動(dòng)作用的系統(tǒng)性闡述，其宗旨就是試圖揭示言語(yǔ)意義在線構(gòu)建背后的那座認(rèn)知冰山”[12]。盡管概念整合也利用了概念隱喻中的映射原理，但它是通過(guò)創(chuàng)建輸入空間，特別是通過(guò)創(chuàng)建一個(gè)類(lèi)屬空間，從而激活整合空間來(lái)實(shí)現(xiàn)的。概念整合理論框架很豐富，F(xiàn)auconnier & Turner論述了整合的指導(dǎo)原則和機(jī)制，一是概念整合的組構(gòu)性原則，二是管制性原則。同時(shí)，他們還闡述了實(shí)現(xiàn)這些原則的具體路徑，如壓縮、解縮、優(yōu)化、關(guān)聯(lián)、結(jié)構(gòu)、遞歸等。所有這些原則是對(duì)言語(yǔ)解讀認(rèn)知機(jī)制的高度抽象，為人類(lèi)正確認(rèn)識(shí)自身的言語(yǔ)心理認(rèn)知能力提供了一個(gè)有力的詮釋。當(dāng)然，其中最重要的理論結(jié)構(gòu)當(dāng)屬新顯結(jié)構(gòu)這個(gè)概念，這是建立在整合基礎(chǔ)上的，區(qū)別于隱喻和類(lèi)比。該新顯結(jié)構(gòu)經(jīng)由以下3種運(yùn)作方式實(shí)現(xiàn)：(1)組合：整合輸入空間映射的元素或成分；(2)完善：通過(guò)框架或圖式補(bǔ)充完善背景知識(shí)的內(nèi)容范圍；(3)優(yōu)化：先模擬整合，并根據(jù)整合原則操縱整合空間實(shí)現(xiàn)富有想象力的詳盡優(yōu)化整合。[10]42-48

根據(jù)皮爾斯的符號(hào)學(xué)理論：“符號(hào)之所以能成為符號(hào)，其中一個(gè)重要條件是符號(hào)必須被心靈認(rèn)為是一個(gè)符號(hào)，因?yàn)橹挥蟹?hào)才能使心靈進(jìn)行思考；如果某物對(duì)任何心靈來(lái)說(shuō)都不是符號(hào)的話，那么它就不是符號(hào)。”[13]皮爾斯在此強(qiáng)調(diào)了符號(hào)的心智特征，他闡述了符號(hào)鏈接心智才能使符號(hào)構(gòu)建符號(hào)對(duì)象的某種觀念，該觀念就是意義表征的一種形式，即符號(hào)只有鏈接心靈與思維才能創(chuàng)建意義。換言之，符號(hào)只有訴諸心智認(rèn)知，表征對(duì)象才能被概念化，并作為某種心理習(xí)慣，具備了連接“n+1”個(gè)被表征對(duì)象的潛能，從而實(shí)現(xiàn)符號(hào)的意義建構(gòu)。回到認(rèn)知與符號(hào)層面來(lái)看，多模態(tài)意義潛能就是通過(guò)符號(hào)層面的概念整合而實(shí)現(xiàn)意義的認(rèn)知構(gòu)建，即概念整合理論不僅是心理空間的整合，同時(shí)也是符號(hào)資源的認(rèn)知再加工與整合。

值得注意的是，概念整合理論并不僅限于語(yǔ)言層面，或者說(shuō)語(yǔ)言學(xué)領(lǐng)域。Joy等人[14]從概念整合理論的角度研究了消費(fèi)者對(duì)廣告修辭的認(rèn)知理解過(guò)程，強(qiáng)調(diào)了在廣告修辭中重新定義視覺(jué)圖像和言語(yǔ)信息的必要性。該研究表明了整合理論是可以進(jìn)入非語(yǔ)言符號(hào)領(lǐng)域的，同時(shí)闡明了概念整合與社會(huì)符號(hào)學(xué)相融合的可能，即認(rèn)知符號(hào)學(xué)。

(三)多模態(tài)話語(yǔ)分析的開(kāi)拓性視角：認(rèn)知符號(hào)學(xué)

認(rèn)知語(yǔ)言學(xué)和社會(huì)符號(hào)學(xué)之間的互動(dòng)是近年話語(yǔ)研究的一個(gè)熱點(diǎn)。言說(shuō)者通過(guò)言語(yǔ)或者非言語(yǔ)的方式傳遞著某種信息，該信息既是“外在”的符號(hào)表征也是“內(nèi)在”的符號(hào)生產(chǎn)，如果沒(méi)有任何內(nèi)在的、源自心智的符號(hào)產(chǎn)生，外在的符號(hào)表征就失去交際功能和交際目的。換言之，在交際領(lǐng)域，符號(hào)生產(chǎn)的過(guò)程是生產(chǎn)者通過(guò)對(duì)交際雙方的興趣、特征、交際需求等特征的認(rèn)知選擇，并內(nèi)化為符號(hào)的交際意義層面展開(kāi)的；當(dāng)一個(gè)交際事件中的一個(gè)或多個(gè)參與者的注意力集中在某種提示(符號(hào))上，并且該提示被該參與者解釋時(shí)，就發(fā)生了交際，參與者結(jié)合即時(shí)的交際語(yǔ)境，通過(guò)對(duì)符號(hào)傳遞的意義潛能的認(rèn)知識(shí)解達(dá)到交際功能。因此，考察社會(huì)符號(hào)學(xué)的符號(hào)資源與認(rèn)知語(yǔ)言學(xué)的概念整合之間的協(xié)同作用，可以為多模態(tài)意義建構(gòu)提供新的理論分析視角。

根據(jù)概念整合理論，輸入空間展示了來(lái)自不同經(jīng)驗(yàn)領(lǐng)域的內(nèi)容，整合理論是經(jīng)由多空間的映射、處理和完善達(dá)成的。兩個(gè)輸入空間的框架選擇建立在一個(gè)符號(hào)空間中。在符號(hào)空間里，通過(guò)符號(hào)表征傳遞了話語(yǔ)意義，這是一個(gè)表意空間，也是所有其他空間建立的基礎(chǔ)，人們稱之為“基礎(chǔ)空間”[10]151。從符號(hào)學(xué)的角度來(lái)看，話語(yǔ)基礎(chǔ)空間是說(shuō)話者進(jìn)行意義建構(gòu)的表征。蘭蓋克認(rèn)為，該話語(yǔ)基礎(chǔ)空間的“基礎(chǔ)”指的是“實(shí)際的言語(yǔ)事件、參與者及其直接環(huán)境”[15]，即言說(shuō)的事實(shí)以及話語(yǔ)指涉的諸多因素。這個(gè)符號(hào)事件是所有空間構(gòu)建的基礎(chǔ)，在闡釋中錨定了符號(hào)的意義構(gòu)建。符號(hào)基礎(chǔ)空間是認(rèn)知者呈現(xiàn)認(rèn)知現(xiàn)狀的心理空間，它要么是一個(gè)交流的場(chǎng)景，涉及語(yǔ)義網(wǎng)絡(luò)參與共享意義構(gòu)建的人；要么是一個(gè)涉及反映主體和所發(fā)生的情況的場(chǎng)景，如主體表征。

社會(huì)符號(hào)學(xué)和概念整合理論已顯示出互補(bǔ)的跡象，因?yàn)楦拍钫侠碚摵芎玫亟忉屃朔?hào)學(xué)不能解決的“內(nèi)在”符號(hào)化。Van Leeuwen[16]認(rèn)為，符號(hào)資源具備理論和現(xiàn)實(shí)潛在意義，理論意義潛勢(shì)把焦點(diǎn)放在規(guī)范話語(yǔ)的力量和符號(hào)資源的意義潛勢(shì)絕不是無(wú)限的這一事實(shí)上?，F(xiàn)實(shí)意義潛勢(shì)是解釋者在一定的歷史、文化和社會(huì)規(guī)約限制下對(duì)符號(hào)資源的利用和表征。而對(duì)符號(hào)的這種論述與Fauconier & Turner認(rèn)為的“大腦不斷地構(gòu)建許多整合物，只有其中的一部分被挑選出來(lái)用于進(jìn)一步的開(kāi)發(fā)和應(yīng)用”[10]321不謀而合。他們認(rèn)為，心理空間可以激活豐富的概念整合，盡管人類(lèi)的認(rèn)知能力是無(wú)限的，但他們的創(chuàng)新必須在某種框架下進(jìn)行，以確保整合是在人類(lèi)的實(shí)踐活動(dòng)中創(chuàng)造的——即喚起人類(lèi)容易理解的熟悉的框架，我們?cè)诜治龇?hào)資源和心理空間的潛在意義時(shí)，這種互補(bǔ)性是顯而易見(jiàn)的。Feng[17]對(duì)靜態(tài)和動(dòng)態(tài)圖像中的概念轉(zhuǎn)喻進(jìn)行了社會(huì)符號(hào)學(xué)解釋?zhuān)接懥艘曈X(jué)表征中的轉(zhuǎn)喻類(lèi)型。Alonso等人[18]通過(guò)將社會(huì)符號(hào)學(xué)理論與心理空間、概念整合理論相結(jié)合，探索了Kress & van Leeuwen的視覺(jué)語(yǔ)法原則如何有助于理解敘事的整體意義。這些富有開(kāi)創(chuàng)性的探索整合了一個(gè)新的跨學(xué)科領(lǐng)域——認(rèn)知符號(hào)學(xué)，該領(lǐng)域致力于通過(guò)結(jié)合認(rèn)知語(yǔ)言學(xué)、手勢(shì)研究、符號(hào)學(xué)和具身思維等一系列研究領(lǐng)域?qū)σ饬x進(jìn)行多方面的研究。本文基于這兩個(gè)理論框架的內(nèi)在契合維度，以多模態(tài)設(shè)計(jì)的人民幣為語(yǔ)料，考察不同的符號(hào)資源是如何在心理空間內(nèi)組合和編排，最終實(shí)現(xiàn)概念意義的整合。

三、多模態(tài)認(rèn)知符號(hào)學(xué)視角的案例研究：以人民幣為例

(一)人民幣的多模態(tài)符號(hào)設(shè)計(jì)

紙幣與人們的日常生活息息相關(guān)，除金融價(jià)值之外，紙幣的符號(hào)設(shè)計(jì)在意義表征上嵌入了民族文化、塑造了國(guó)家形象，它向本國(guó)公民、國(guó)外游客和貨幣收藏者展示了一個(gè)國(guó)家的歷史、政治和文化等諸多方面的話語(yǔ)表征意義。Mudd認(rèn)為：“一個(gè)國(guó)家的錢(qián)幣通常是游客對(duì)一個(gè)國(guó)家性質(zhì)的第一印象?！盵19]紙幣作為一種強(qiáng)有力的國(guó)家形象(品牌)塑造工具，其設(shè)計(jì)方案和風(fēng)格凸顯了多模態(tài)的符號(hào)意義潛能。在社會(huì)生活中，“貨幣不僅是一種自然的‘物’，而且是一種社會(huì)的‘事件’”[20]，紙幣作為交際符號(hào)形成的話語(yǔ)事件——“任何話語(yǔ)事件都可以被同時(shí)看做一個(gè)文本、一個(gè)話語(yǔ)實(shí)踐的實(shí)例，一個(gè)社會(huì)實(shí)踐的實(shí)例”[21]，不僅讓人們得以審視一個(gè)國(guó)家的社會(huì)和政治生活，也反映了國(guó)家利用符號(hào)資源構(gòu)建身份并進(jìn)行對(duì)外傳播的本質(zhì)特征。

中華人民共和國(guó)成立以來(lái)，中國(guó)人民銀行發(fā)行的貨幣經(jīng)歷了較大的變化，反映了國(guó)家政治舞臺(tái)和民族文化遺產(chǎn)的歷變。2019年版人民幣在保持現(xiàn)行第五套人民幣主圖案等相關(guān)要素不變的前提下進(jìn)行了局部調(diào)整。具體而言，2019年版人民幣在紙幣規(guī)格、主圖案、主色調(diào)、行名、國(guó)徽、盲文面額、漢語(yǔ)拼音行名、民族文字等方面保持不變，提高了票面色彩鮮亮度。對(duì)于毛澤東頭像、裝飾團(tuán)花、橫號(hào)碼、背面主景和正背面面額數(shù)字的樣式進(jìn)行了調(diào)整，增加正面左側(cè)裝飾紋樣，取消正面右側(cè)凹印手感線和背面右下角局部圖案，票面年號(hào)改為“2019年”。新版人民幣的版面設(shè)計(jì)，是在科技進(jìn)步與社會(huì)發(fā)展新形勢(shì)下做出的主動(dòng)調(diào)整，具有更美觀、易識(shí)別、耐流通等特點(diǎn)。從符號(hào)資源應(yīng)用與設(shè)計(jì)來(lái)看，作為國(guó)家名片的符號(hào)表征，人民幣使用了圖像景觀和語(yǔ)言文字組合的多模態(tài)設(shè)計(jì)，“圖像的分析和圖像的維護(hù)以及圖像的那種思考能力已經(jīng)被編織到了一種文化的基本結(jié)構(gòu)之中，在這種基本結(jié)構(gòu)之中，語(yǔ)言的分析和語(yǔ)言的維護(hù)也都占據(jù)著他們自己的重要位置”[22]43，集視覺(jué)、文化、科技等多方藝術(shù)表現(xiàn)于一體，再現(xiàn)了國(guó)家和公民高度的認(rèn)同價(jià)值。通過(guò)圖像的顏色、大小、線條、位置等不同元素框架，結(jié)合文字(包括數(shù)字)模態(tài)，傳遞了國(guó)家的信仰和尊嚴(yán)。票面的每一個(gè)民族符號(hào)、地域文化和國(guó)家特征都蘊(yùn)藏著國(guó)家對(duì)于法定貨幣設(shè)計(jì)的法律權(quán)威和價(jià)值理念。

人民幣作為一種多模態(tài)符號(hào)設(shè)計(jì)，其視覺(jué)符號(hào)設(shè)計(jì)的意義表征及闡釋過(guò)程尚未得到足夠的關(guān)注。紙幣通過(guò)圖案、色調(diào)、文字、盲文等多種符號(hào)資源的協(xié)同作用構(gòu)建了其作為國(guó)家法定貨幣法律權(quán)威的話語(yǔ)意義。“貨幣的標(biāo)記是一個(gè)法律隱喻：貨幣上的印記與君主授權(quán)發(fā)行貨幣的法律文件中的實(shí)物描述相符，這些文件通常包含對(duì)印在每一種貨幣上的圖案和文字的詳細(xì)描述。”[23]作為國(guó)家象征符號(hào)的人民幣是主權(quán)國(guó)家的法律文件授信央行施行社會(huì)交際意義的符號(hào)表征，兼具指稱意義、符號(hào)意義以及文化意義。人民幣的多模態(tài)設(shè)計(jì)圖案鏈接了多種符號(hào)資源，不僅表征了國(guó)家的政策走向和社會(huì)文化歷史的變遷，而且在日常的社會(huì)經(jīng)濟(jì)活動(dòng)中具備了符號(hào)的交際意義和功能。

(二)認(rèn)知符號(hào)學(xué)視角下的人民幣話語(yǔ)分析

“對(duì)于如何讀出這些模態(tài)中的意義，多模態(tài)話語(yǔ)分析(以及符號(hào)學(xué))發(fā)展出令人信服的方法?！盵24]當(dāng)前的多模態(tài)話語(yǔ)分析主要集中于社會(huì)符號(hào)學(xué)視角、系統(tǒng)功能語(yǔ)言學(xué)視角、社會(huì)互動(dòng)分析以及多模態(tài)隱喻視角，對(duì)于多模態(tài)的符號(hào)如何建構(gòu)話語(yǔ)意義的認(rèn)知過(guò)程關(guān)注不足。鑒于此，本文將以百元人民幣的多模態(tài)版面設(shè)計(jì)為案例，探討人民幣作為國(guó)家文化歷史的視覺(jué)交際表征模式，揭示人民幣使用多模態(tài)符號(hào)資源構(gòu)建話語(yǔ)意義的認(rèn)知過(guò)程，旨在為多模態(tài)認(rèn)知符號(hào)學(xué)框架提供理?yè)?jù)。

以百元人民幣為例，其正面(圖1)的版面設(shè)計(jì)思路主要采用色彩亮麗的圖案與文字相結(jié)合。中心人物圖像——毛澤東置于前景位置，采用較大尺寸，顏色飽滿，顯得十分突出，同時(shí)融合了茶花、國(guó)徽等元素，共同構(gòu)建了圖像的象征價(jià)值，“錢(qián)幣的流通建立在信任的基礎(chǔ)上，只要圖像使金錢(qián)變成被定義為代表國(guó)家尊嚴(yán)的支付手段，圖像便會(huì)使錢(qián)幣的價(jià)值規(guī)定獲得信任。認(rèn)證功能越加強(qiáng)，圖像越能多方面、多層次和更安全可靠地應(yīng)對(duì)偽造”[22]174。版面設(shè)計(jì)還使用了文字和數(shù)字，通過(guò)語(yǔ)言符號(hào)錨定紙幣發(fā)行機(jī)構(gòu)的權(quán)威性和交易價(jià)值，特別是“中國(guó)人民銀行”6個(gè)文字符號(hào)的印制保持了國(guó)家規(guī)定的發(fā)行機(jī)構(gòu)的權(quán)威性和排他性。從法典的形式來(lái)看，這種話語(yǔ)潛力無(wú)疑折射出一種更古老的憲法實(shí)踐，即貨幣的發(fā)行是具有排他性的國(guó)家權(quán)力和法律權(quán)威的特征。紙幣本身并沒(méi)有價(jià)值，“但是有了圣像化，這些錢(qián)幣就變成了一個(gè)有信任保證的對(duì)象，它的價(jià)值被闡明，并且固定下來(lái)”[22]175。圖像和文字兩種模態(tài)的選擇性投射，隱喻了法定貨幣的國(guó)家權(quán)力。換言之，圖像模態(tài)中毛澤東的頭像和文字模態(tài)中“中國(guó)人民銀行”的語(yǔ)言文字，這兩個(gè)不同模態(tài)的協(xié)同作用，產(chǎn)生了紙幣價(jià)值的權(quán)力錨定與轉(zhuǎn)移，使紙幣在日常交際認(rèn)知中實(shí)現(xiàn)了符號(hào)的支付功能和交換價(jià)值。從符號(hào)意義的整合視角來(lái)看，版面設(shè)計(jì)實(shí)現(xiàn)了兩種符號(hào)屬性的表征，而在概念上，它歸屬圖文雙域整合網(wǎng)絡(luò)，實(shí)現(xiàn)了Kress & van Leeuwen論及的符號(hào)屬性關(guān)系。圖文整合喚起了兩個(gè)不同符號(hào)體系的輸入來(lái)滿足解包原則，“尊嚴(yán)與權(quán)威”來(lái)自圖像符號(hào)，“信用與價(jià)值”則來(lái)自文字符號(hào)。在雙域網(wǎng)絡(luò)整合中，“兩種不同輸入框架往往對(duì)整合做出重要貢獻(xiàn)，有時(shí)它們的顯著差異提供了創(chuàng)造性整合的潛能”[25]。在圖文映射過(guò)程中，圖像的輸入空間(尊嚴(yán)與權(quán)威)和文字的輸入空間(信用與價(jià)值)的部分屬性的選擇性映射有助于類(lèi)屬空間(多模態(tài)符號(hào)設(shè)計(jì))整合，網(wǎng)絡(luò)空間的外層符號(hào)關(guān)系被壓縮到獨(dú)特的內(nèi)層圖文關(guān)系的符號(hào)空間中，即完成不同符號(hào)屬性的表征、媾和與調(diào)適。換言之，輸入空間Ⅰ(圖像符號(hào))與輸入空間Ⅱ(文字符號(hào))部分地投射到整合空間后，構(gòu)建了一個(gè)公民習(xí)以為常的紙幣作為國(guó)家信用符號(hào)的多模態(tài)表征框架，通過(guò)“組合”“完善”和“優(yōu)化”3個(gè)彼此關(guān)聯(lián)的心理認(rèn)知過(guò)程的相互作用而產(chǎn)生新顯結(jié)構(gòu)。新顯結(jié)構(gòu)的產(chǎn)生過(guò)程即為符號(hào)空間話語(yǔ)意義的運(yùn)演與產(chǎn)生過(guò)程，實(shí)現(xiàn)了紙幣多模態(tài)設(shè)計(jì)的話語(yǔ)意義的構(gòu)建與傳播。

圖1 100元人民幣版面設(shè)計(jì)(正面)(1)圖1、圖2來(lái)自網(wǎng)絡(luò)授權(quán)，僅做語(yǔ)料研究使用。網(wǎng)址為：https://baike.baidu.com/pic/2015%E7%89%88100%E5%85%83%E4%BA%BA%E6%B0%91%E5%B8%81/18385590/1/f636afc379310a55b319d034110e54a98226cefcba92?fr=lemma#aid=1&pic=f636afc379310a55b319d034110e54a98226cefcba92。Fig.1 100 RMB layout (front)

人民幣背面(圖2)采用了圖文結(jié)合的多模態(tài)設(shè)計(jì)思路。中心的建筑圖像——人民大會(huì)堂及天花板吊燈被歸置于前景位置，采用正面視角呈現(xiàn)，圖像清晰、顏色鮮艷，屬于“信息提供類(lèi)的圖像”[5]119，不僅彰顯了人民大會(huì)堂作為國(guó)家符號(hào)表征的尊嚴(yán)與莊重，而且通常與符號(hào)價(jià)值相關(guān)聯(lián)，隱喻了“現(xiàn)代國(guó)家的權(quán)力來(lái)自人民，人民與國(guó)家的關(guān)系直接決定著國(guó)家的合法性”[26]，即作為國(guó)家權(quán)力中心符號(hào)表征下的人民民主的話語(yǔ)意義。版面設(shè)計(jì)使用了拼音文字和數(shù)字，通過(guò)語(yǔ)言符號(hào)錨定紙幣發(fā)行機(jī)構(gòu)的權(quán)威性、交易價(jià)值以及發(fā)行年份等意義表征。從多模態(tài)符號(hào)的概念整合來(lái)看，在視覺(jué)上實(shí)現(xiàn)了兩種符號(hào)屬性的表征，而在概念上它歸屬圖文雙域整合網(wǎng)絡(luò)。在多模態(tài)意義構(gòu)建過(guò)程中，圖像呈現(xiàn)的是人文歷史景觀符號(hào)，經(jīng)由輸入空間Ⅰ，映射了人民民主和國(guó)家尊嚴(yán)的權(quán)力話語(yǔ)框架；文字呈現(xiàn)的是幣值和發(fā)行銀行的語(yǔ)言符號(hào)；經(jīng)由輸入空間Ⅱ，映射了國(guó)家的權(quán)力在貨幣的演變和使用中發(fā)揮著核心作用的框架。值得注意的是，票面印制的發(fā)行銀行的語(yǔ)言使用了漢文、蒙古文、藏文、維吾爾文、壯文5種民族文字，不僅體現(xiàn)了黨和國(guó)家始終堅(jiān)持民族平等、團(tuán)結(jié)和共同繁榮的民族政策，而且隱喻了“國(guó)家認(rèn)同的構(gòu)建既依賴于國(guó)家建設(shè)的有序性和國(guó)家發(fā)展的人民性，也依賴于民眾在與國(guó)家各層級(jí)相聯(lián)系的過(guò)程中所感受到的制度民主性和價(jià)值合理性”[26]的話語(yǔ)意義。兩種不同符號(hào)輸入空間的部分屬性進(jìn)入了多模態(tài)設(shè)計(jì)的符號(hào)類(lèi)屬空間，同時(shí)投射進(jìn)整合空間(符號(hào)協(xié)同構(gòu)建話語(yǔ)意義)，通過(guò)“組合”“完善”和“優(yōu)化”3個(gè)彼此關(guān)聯(lián)的心理認(rèn)知過(guò)程的相互作用而產(chǎn)生新顯結(jié)構(gòu)，即創(chuàng)建了主權(quán)國(guó)家貨幣權(quán)力的多模態(tài)表征框架，實(shí)現(xiàn)了紙幣作為一個(gè)主權(quán)獨(dú)立國(guó)家民族與文化的多模態(tài)表征的話語(yǔ)意義構(gòu)建。

圖2 100元人民幣版面設(shè)計(jì)(背面)Fig.2 100 RMB layout (back)

四、討論

本文基于社會(huì)符號(hào)學(xué)和概念整合理論，構(gòu)建了多模態(tài)話語(yǔ)分析新的理論視角——認(rèn)知符號(hào)學(xué)，并以人民幣的版面設(shè)計(jì)為案例，闡釋多模態(tài)符號(hào)意義分析的認(rèn)知過(guò)程，從而探索認(rèn)知符號(hào)學(xué)理論視角之于多模態(tài)話語(yǔ)分析的可適性。

首先，從多模態(tài)的社會(huì)符號(hào)學(xué)分析，可以發(fā)現(xiàn)，人民幣在版面設(shè)計(jì)上，通過(guò)人物、花卉、國(guó)徽等圖像符號(hào)和發(fā)行銀行名、人民幣幣值、盲文等文字符號(hào)的綜合應(yīng)用，實(shí)現(xiàn)了歷史、政治和文化潛在話語(yǔ)意義的構(gòu)建與傳播。簡(jiǎn)言之，作為國(guó)家符號(hào)的象征，人民幣融合了國(guó)家文化、歷史和遺產(chǎn)的精髓，表征了國(guó)家的尊嚴(yán)、民族融合與團(tuán)結(jié)、以及人文自然景觀的壯麗宏偉的話語(yǔ)潛能，助力構(gòu)建國(guó)家積極向上、繁榮昌盛的正面形象。

其次，從多模態(tài)符號(hào)整合的動(dòng)態(tài)認(rèn)知過(guò)程分析，人民幣設(shè)計(jì)采用圖像符號(hào)和語(yǔ)言符號(hào)分別構(gòu)建不同的符號(hào)輸入空間，部分屬性(符號(hào)能指與所指表征)選擇性地投射到類(lèi)屬空間(多模態(tài)設(shè)計(jì)符號(hào)表征空間)，經(jīng)由認(rèn)知整合產(chǎn)生了新顯結(jié)構(gòu)，即多模態(tài)認(rèn)知符號(hào)學(xué)分析框架(圖文符號(hào)協(xié)同構(gòu)建話語(yǔ)意義，見(jiàn)圖3)。具體地說(shuō)，人民幣綜合利用圖像的大小、顏色、形狀、位置等設(shè)計(jì)元素構(gòu)建了貨幣主權(quán)價(jià)值開(kāi)放性和國(guó)家機(jī)構(gòu)權(quán)力核心話語(yǔ)意義，同時(shí)使用了文字、數(shù)字符號(hào)錨定人民幣發(fā)行銀行、幣值以及民族(團(tuán)結(jié))文化元素，構(gòu)建了國(guó)家符號(hào)的法律權(quán)威和歷史文化特色話語(yǔ)意義。圖文符號(hào)空間的協(xié)同運(yùn)作產(chǎn)生的話語(yǔ)潛力經(jīng)由認(rèn)知整合產(chǎn)生新顯結(jié)構(gòu)，即圖文符號(hào)協(xié)同作用構(gòu)建了作為國(guó)家經(jīng)典名片的人民幣，不僅體現(xiàn)了社會(huì)經(jīng)濟(jì)活動(dòng)的交易價(jià)值和支付功能，更是作為一種歷史文化符號(hào)流動(dòng)的交際話語(yǔ)，具備了國(guó)家信仰和法律性權(quán)威的符號(hào)表征意義。

圖3 多模態(tài)認(rèn)知符號(hào)學(xué)分析框架Fig.3 Multimodal cognitive semiotics analytical framework

綜上可知，多模態(tài)的不同符號(hào)間空分別對(duì)符號(hào)進(jìn)行能指投射和所指投射，經(jīng)由大腦認(rèn)知的選擇，各自進(jìn)入了多模態(tài)符號(hào)設(shè)計(jì)表征空間并進(jìn)行實(shí)時(shí)在線建構(gòu)，基于不同模態(tài)意義構(gòu)建路徑的關(guān)聯(lián)、壓縮、優(yōu)化等一系列整合操作，產(chǎn)生了“圖文符號(hào)協(xié)同構(gòu)建話語(yǔ)意義”這一新顯結(jié)構(gòu)而被大腦認(rèn)知識(shí)解，這既解決了不同模態(tài)符號(hào)表征形式共融的問(wèn)題，也解決了不同模態(tài)符號(hào)意義內(nèi)化和概念化表征的認(rèn)知問(wèn)題。由此可見(jiàn)，多模態(tài)話語(yǔ)分析的符號(hào)動(dòng)允性構(gòu)建是在概念認(rèn)知識(shí)解的過(guò)程中實(shí)現(xiàn)的，換言之，認(rèn)知符號(hào)學(xué)在符號(hào)描述性解釋的基礎(chǔ)上獲取了符號(hào)動(dòng)態(tài)意義構(gòu)建的總覽概貌，是一個(gè)適合多模態(tài)話語(yǔ)分析的新理論視角。

五、結(jié)語(yǔ)

本文從認(rèn)知的角度探討不同模態(tài)符號(hào)如何整合以實(shí)現(xiàn)意義概念化，對(duì)多模態(tài)意義表征的描述和闡釋的動(dòng)態(tài)過(guò)程做了一個(gè)探索性研究。研究表明，在多模態(tài)視覺(jué)識(shí)解過(guò)程中，不同模態(tài)符號(hào)空間的交互作用有助于意義潛能表征。視覺(jué)系統(tǒng)在人類(lèi)大腦空間占據(jù)著重要的位置，它能將復(fù)雜的信息概念化為具體的、顯性的意義表征。社會(huì)符號(hào)學(xué)與認(rèn)知語(yǔ)言學(xué)的融合，可以充分揭示不同模態(tài)(圖像、語(yǔ)言兩種模態(tài))使用的符號(hào)資源建構(gòu)話語(yǔ)意義的認(rèn)知過(guò)程，是一種實(shí)時(shí)的符號(hào)意義概念化的動(dòng)態(tài)建構(gòu)，它超越了原有社會(huì)符號(hào)學(xué)的靜態(tài)描述和認(rèn)知語(yǔ)言學(xué)只關(guān)注語(yǔ)言模態(tài)的范疇，從而實(shí)現(xiàn)兩種理論視角的匯流。研究發(fā)現(xiàn)，多模態(tài)話語(yǔ)分析的符號(hào)學(xué)視角與認(rèn)知語(yǔ)言學(xué)視角并軌構(gòu)建的認(rèn)知符號(hào)學(xué)，可以為多模態(tài)的動(dòng)態(tài)意義建構(gòu)和闡釋提供一個(gè)有效的分析視角。