劉靖

[摘要]多模態(tài)話語已成為人們交流信息的主要方式。在各種語類的多模態(tài)語篇里，圖像越來越成為最主要的符號表征方式之一，圖像在交際中的作用日益彰顯并引起學(xué)界重視。以模態(tài)耦合為視角，分別從圖像轉(zhuǎn)向、圖文關(guān)系、圖像解構(gòu)等層面，剖析圖像在多模態(tài)語篇里的意義構(gòu)建與解構(gòu)，指出圖像轉(zhuǎn)向并非圖像霸權(quán)，而是對語言功能的完善和延伸；多模態(tài)語篇里的圖文關(guān)系是相互滲透、協(xié)同互補(bǔ)的；只有在社會關(guān)系和社會發(fā)展的大語境下'才能對圖像進(jìn)行充分的外顯和內(nèi)隱意義的建構(gòu)和解讀。

[關(guān)鍵詞]模態(tài)耦合；圖像；意義構(gòu)建

[中圖分類號]H 030 [文獻(xiàn)標(biāo)識碼]A [文章編號]1671-8372（2015）04-0091-05

一、引言

大數(shù)據(jù)時(shí)代，基于數(shù)字、多媒體技術(shù)和網(wǎng)絡(luò)技術(shù)的多模態(tài)交際手段正改變著人們的思維方式和欣賞習(xí)慣?！霸谡麄€(gè)人類進(jìn)化過程中，多模態(tài)是滲透于人類生活方方面面的內(nèi)在特征”。后印刷時(shí)代，多模態(tài)話語已成為人們交流信息的主要方式。多模態(tài)語篇是“利用多種符號來實(shí)現(xiàn)意義的語篇”，在各種語類的多模態(tài)語篇里，除了傳統(tǒng)的語言符號外，圖像已越來越成為最主要的符號表征方式之一。以圖像為代表的副語言符號在現(xiàn)代交際中已經(jīng)不再處于輔助位置，而是和語言符號一起形成更為寬泛的符號資源，共同參與的意義。多模態(tài)話語分析是指運(yùn)用聽覺、視覺、觸覺等多種感覺模式通過語言、圖像、聲音、動作等多種手段和符號資源進(jìn)行交際的現(xiàn)象，是近年來發(fā)展并活躍于學(xué)界的一種新的話語分析方式。0Toole（1994）和Kress vanLeeuwen（1996）開創(chuàng)了這個(gè)研究領(lǐng)域。前者主要運(yùn)用系統(tǒng)功能語法的有關(guān)理論分析藝術(shù)作品；后者則第一次系統(tǒng)解釋了視覺語法，從再現(xiàn)功能、互動功能和構(gòu)圖功能三個(gè)視角，系統(tǒng)分析了多模態(tài)語篇中以圖像為代表的視覺符號的語義關(guān)系，認(rèn)為視覺圖像和語言文字一樣都是社會文化的產(chǎn)物，是人們識解意義的資源。在多模態(tài)話語中，模態(tài)耦合是指多模態(tài)語篇在意義構(gòu)建和解讀過程中，圖像、文字、聲音等諸模態(tài)之間以及各模態(tài)內(nèi)部諸元素之間相互依賴、相互促進(jìn)，協(xié)同互動的動態(tài)關(guān)系。圖像中的視覺符號不僅可以反映人類主、客觀世界發(fā)生的各種事情，而且可以體現(xiàn)各種各樣的人際關(guān)系。同時(shí)，視覺符號內(nèi)部也是一個(gè)有機(jī)、連貫的整體。基于此，本文從圖像轉(zhuǎn)向、圖文關(guān)系、圖像解構(gòu)等層面，剖析了圖像在多模態(tài)語篇里的意義建構(gòu)與解構(gòu)。

二、圖像轉(zhuǎn)向

讀圖時(shí)代，圖像逐漸成為人們關(guān)注及理論研究的熱點(diǎn)。受維特根斯坦“圖像論”和羅蒂“語言學(xué)轉(zhuǎn)向”啟發(fā)，圖像學(xué)家Mitchell提出了“圖像轉(zhuǎn)向”說，該學(xué)說一方面是指，由于人文社會科學(xué)學(xué)術(shù)視野發(fā)生了變化，從而開始重視圖像表征（非語言表征）的研究；另一方面是指在文化公共領(lǐng)域中，由于數(shù)碼等圖像生產(chǎn)技術(shù)制造了“圖像景觀”，而引發(fā)了人類對圖像的恐懼與抵制。Mitchell認(rèn)為圖像，如語言一樣，在社會實(shí)踐中自我呈現(xiàn)，共同參與對世界的表征。認(rèn)為圖像也是構(gòu)成人類主體的基本元素，圖像和語言一起構(gòu)成了人類的本質(zhì)屬性。

在Mitchell看來，“觀看行為”（spectatorship）可能與閱讀的諸種形式（解密、解碼、闡釋等）同等深奧。這里的觀看行為包括觀看、注視、瀏覽，以及觀察、監(jiān)視與視覺快感的實(shí)踐等。所以僅基于文本性的觀看模式恐怕已難以充分闡釋視覺經(jīng)驗(yàn)或“視覺識讀能力”。也就是說，觀看與閱讀，都是對意義表征模式的不同體驗(yàn)，都具有深度的接受行為，但傳統(tǒng)的文本閱讀模式已不能滿足對圖像的識讀。圖像不僅僅是感性地“看”，更需要去“讀”，和語言一樣同樣需要理性與思維的參與才能解讀其真正內(nèi)涵。對圖像的識讀是一個(gè)積極的構(gòu)建過程，它并不是由刺激輸入直接引起的，而是刺激與內(nèi)部假設(shè)、期望、知識、動機(jī)以及情緒等諸因素交互作用的一個(gè)過程。圖像作為一種符號，承載著越來越多的意義表征。從某種意義上講，文本越來越成為結(jié)構(gòu)上依附于圖像的信息，正如Barthes所言，“……過去是從文本到圖像的含義遞減，今天存在的卻是從文本到圖像的含義遞增?！?/p>

視覺圖像和語言文本在表意模式上存在差異性，這正是人文學(xué)科要去研究探討的內(nèi)容。雖然已有學(xué)者對圖像表征與語言表征之間的區(qū)別進(jìn)行過思考，但自語言學(xué)轉(zhuǎn)向以來，Saussure的語言符號理論一直占主導(dǎo)地位，對圖像表征的研究一直處于被壓抑狀態(tài)。因此Mitchell提出應(yīng)該有一種“對圖像的一種后語言學(xué)、后符號學(xué)的再發(fā)現(xiàn)”，也就是他所倡導(dǎo)的“圖像轉(zhuǎn)向”。但這并不意味著圖像主導(dǎo)或圖像霸權(quán)可以對語言進(jìn)行顛覆，圖像的功能不過是對語言功能的一種完善和延伸。比如圖像符號的形象性可以很好地彌補(bǔ)語言符號的抽象性給人們帶來的認(rèn)知障礙。作為表意符號，圖像與表征客體有著相似或直接的聯(lián)系，可以不借助概念而與客體直接發(fā)生關(guān)聯(lián)，在這一點(diǎn)上，它與語言文本有著一定的區(qū)別，這也就是為何語言哲學(xué)一直忽視對圖像表征進(jìn)行研究的原因。圖像先于語言而存在，自人類文明伊始就伴隨語言發(fā)展。在人類進(jìn)入電子時(shí)代后，圖像的激增使人們對圖像的關(guān)注程度大大增強(qiáng)，圖像在交際中的作用日益彰顯并引起學(xué)界重視。在這個(gè)意義上，Mitchell提出圖像轉(zhuǎn)向是有價(jià)值的，它表明文化領(lǐng)域正由傳統(tǒng)的“語言主導(dǎo)”向“語言與圖像共同主導(dǎo)”的轉(zhuǎn)型。

當(dāng)然這一轉(zhuǎn)型背后有著深刻的社會動因。Lash從“表意體制”的兩個(gè)層面剖析了現(xiàn)代社會視覺符號凸顯的發(fā)展趨勢：其一是“文化經(jīng)濟(jì)”層面，包括特定文化產(chǎn)品的生產(chǎn)關(guān)系、接受條件和消費(fèi)結(jié)構(gòu)；其二是“意義模式”層面，即各種文化符號的能指、所指和指涉物的復(fù)雜關(guān)系?？梢哉f，現(xiàn)代社會文化符號的生產(chǎn)、流通和消費(fèi)環(huán)節(jié)均與圖像密切相關(guān)，各種商品的實(shí)現(xiàn)除自身品質(zhì)之外，越來越多地依賴于圖像性的策劃、包裝和宣傳。就此也可以說，圖像本身就是商品，并不斷為發(fā)展的消費(fèi)創(chuàng)造新的方式和需求。此外，從符號學(xué)意義上講，圖像的內(nèi)在結(jié)構(gòu)也正由相似性模式向自我指涉模式轉(zhuǎn)變，即由模仿再現(xiàn)到虛擬表現(xiàn)的轉(zhuǎn)變。也就是說，圖像“復(fù)制現(xiàn)實(shí)”的功能正在逐漸削弱，而注重符號本身的表現(xiàn)性意義正在彰顯。電子網(wǎng)絡(luò)技術(shù)使圖像的生產(chǎn)、傳播和消費(fèi)更加高效便捷，加上受眾在消費(fèi)模式上對視覺感性的快感和零距離體驗(yàn)的需求，“圖像轉(zhuǎn)向”勢在必行。如果說20世紀(jì)的語言學(xué)轉(zhuǎn)向引發(fā)了人文社會科學(xué)領(lǐng)域的革命，那么也可以說，圖像轉(zhuǎn)向必將對人文科學(xué)和文化領(lǐng)域產(chǎn)生深遠(yuǎn)影響。

三、圖文關(guān)系

圖與文的關(guān)系一直是美學(xué)、哲學(xué)、符號學(xué)和語言學(xué)等所關(guān)注的對象。中國古代哲學(xué)中就存在著圖與文兩種模態(tài)耦合的辯證思想。比如魏晉時(shí)期思想家王弼就曾系統(tǒng)地闡述了言、象、意三者之間的邏輯關(guān)系：“夫象者，出意者也，言者，明象者也。言生于象，故可尋言以觀象；象生于意，故可尋象以觀意。意以象盡，象以言著?！薄把哉咚悦飨螅孟蠖?；象者所以存意，得意而忘象。”“存言者，非得象者也；存象者，非得意者也?！靡庠谕螅孟笤谕??！币簿褪钦f，意是根本，言出自于象，象出自于意，言和象都是為了表意，相對于言，象更接近于意。中國的漢字始于象形，所以美學(xué)史上歷來有“書畫同源”“詩畫一律”之說。前者是說言和象同源共生、和諧互補(bǔ)，從而衍生出博大精深的書畫藝術(shù)；后者是指詩中有畫，畫中有詩，也就是說言和象之間存在著相互滲透、相互補(bǔ)充的關(guān)系，即“畫難畫之景，以詩湊成，吟難吟之詩，以畫補(bǔ)足。”

西方哲學(xué)崇尚理性。約翰福音里說“太初有言（邏各斯）”，亞里斯多德認(rèn)為人是邏各斯的動物，邏各斯既是理性又是語言，語言在西方哲學(xué)中的重要性不言而喻。柏拉圖則拒絕視覺形象，因?yàn)樗J(rèn)為表象世界、人類的視覺都是不可靠的，可靠的是先天的“理式世界”。希臘哲學(xué)家將知識分為“可理解的知識”和“可感覺的知識”，前者是以語言為重要載體的理性知識，而后者則與感性形象，尤其是視覺形象密切相關(guān)。Wittgenstein的“圖像論”認(rèn)為，世界是由許多事態(tài)構(gòu)成的，命題和命題所表現(xiàn)的事態(tài)具有摹畫關(guān)系，同一事態(tài)可以有不同的摹畫。有些事態(tài)通過語言“不可說”，但可以用名稱的摹畫來顯示。但用名稱的摹畫來顯示的命題并非字面意義上的圖畫，因此無法通過字面意義去解讀。所以只有把命題還原為事態(tài)，才可以理解這個(gè)命題。也就是說，人們必須將文字轉(zhuǎn)化為畫面，從畫面中感受意境，理解語言的意蘊(yùn)。Wittgenstein的“圖像論”可簡而言之為圖像摹畫世界。在這里，語言與世界、圖像與事實(shí)具有同構(gòu)關(guān)系。正是源于這種同構(gòu)關(guān)系，當(dāng)人們想要表達(dá)某個(gè)事實(shí)或思想的時(shí)候，必然會借助圖像描繪事實(shí)，表現(xiàn)意義。這誠如Wittgenstein所言“圖像俘虜了我們，我們卻無法逃脫它。因?yàn)樗糜谖覀兊恼Z言之中，而且語言似乎不停地向我們重復(fù)它自己”。

作為對Saussure語言符號學(xué)理論的進(jìn)一步發(fā)展，Barthes認(rèn)為現(xiàn)代語篇，如新聞報(bào)刊，是諸多信息的組合體或意義的復(fù)合系統(tǒng)，其中的圖片、文本、標(biāo)題、說明文字、排版方式、甚至報(bào)刊名稱本身都傳遞著意義。圖與文之間存在著“錨定（anchorage）、說明（illustracion）和接遞（relay）”的關(guān)系，即文字表述可以錨定圖像意義的不確定性，并進(jìn)一步拓展、細(xì)化圖像的意義；而圖像可以闡明或?qū)崿F(xiàn)文字語篇；圖文亦可在表征意義上處于互補(bǔ)接遞狀態(tài)。Kress和vanLeeuwen則認(rèn)為圖像和文字說明雖有聯(lián)系，但圖像并不依賴于文字，而是與文字一樣，在結(jié)構(gòu)與組織上可以成為獨(dú)立的信息載體，是實(shí)現(xiàn)意義關(guān)系的基本方式。意義的表征，在很多情況下可由圖像與語言來共同實(shí)現(xiàn)。先是對圖像進(jìn)行功能性分析，建立“視覺語法”（Visual Grammar），然后通過圖文在頁面不同位置的布局來實(shí)現(xiàn)信息價(jià)值。視覺空間里頁面的特定位置會賦予相應(yīng)的圖或文以特別的意義。

Martinec和Salway認(rèn)為多模態(tài)語篇中的圖文存在著四種關(guān)系：一是圖像和文本各自為一個(gè)獨(dú)立的意義實(shí)體，彼此之間沒有關(guān)聯(lián)；二是圖像和文本的意義相互補(bǔ)充，增強(qiáng)彼此的意義；三是以文本意義為主，圖像對文本的意義起輔助作用；四是以圖像意義為主，文本對圖像意義起輔助作用。Royce認(rèn)為，從概念意義上講，圖像和文本之間存在著諸如重復(fù)、同義、反義、下義、搭配等關(guān)系，這與系統(tǒng)功能語言學(xué)的銜接和連貫理論有異曲同工之處。Bateman則認(rèn)為語類是決定圖像和文本關(guān)系的重要因素，比如紙質(zhì)報(bào)紙和電子報(bào)紙，由于二者在生產(chǎn)階段和傳播途徑方面的不同，所以在圖文模態(tài)選擇和設(shè)計(jì)布局等方面必也有所不同。

圖文關(guān)系的研究是各種語類的多模態(tài)語篇建構(gòu)與解構(gòu)的基礎(chǔ)。語言文字是一種線性的、重時(shí)間順序、具有穩(wěn)定結(jié)構(gòu)的符號，帶有明顯的理性建構(gòu)原則；而視覺圖像則是一種非線性的、重空間排列、與消費(fèi)主體的感性層面和視覺享樂主義意識形態(tài)密切相關(guān)。作為人類交往活動最常見的兩種媒介形式，圖像與文字對人類文化都不可或缺。而且“圖文之間的辯證法似乎是符號之網(wǎng)中的恒定因素，一種文化就是環(huán)繞著其自身來編織的。變化的恰恰就是編織法的特性，是經(jīng)緯關(guān)系。文化的歷史部分就是圖像符號和語言符號之間爭取支配地位的漫長斗爭的歷程。

四、圖像解構(gòu)

“圖像學(xué)之父”潘諾夫斯基（Panofsky）在解釋文藝復(fù)興時(shí)期視覺藝術(shù)的主題時(shí)，提出一種跨學(xué)科的圖像解讀理論，即圖像學(xué)。他認(rèn)為圖像的解讀必須具備包括神學(xué)、哲學(xué)、自然科學(xué)等多學(xué)科知識，他認(rèn)為圖像并非簡單的模仿之物，而是特定時(shí)期歷史文化的象征形式。他通過三個(gè)層次對圖像的主題及意義進(jìn)行了解讀：第一，前圖像志分析。解釋者需有實(shí)際經(jīng)驗(yàn)和風(fēng)格史的知識，即通過了解對象和事件及其正確的表現(xiàn)方法，解釋作品描繪了什么事實(shí)。其所關(guān)注的是作品的自然和外顯意義。第二，圖像志層次。解釋者需有原典文獻(xiàn)知識，通過熟悉特定的主題和概念，解釋作品表現(xiàn)了什么約定俗成的故事或寓言等。其所關(guān)注的是作品的傳統(tǒng)和內(nèi)隱意義。第三，圖像學(xué)層次。主要分析作品更深層次的本質(zhì)意義，解釋者要依據(jù)對人類心靈基本傾向的把握，結(jié)合文化哲學(xué)知識，解釋作品的文化象征意義。潘諾夫斯基開辟了新的圖像解讀模式，開拓了圖像意義研究的跨學(xué)科思路。

Kress和Van Leeuwen以Halliday的系統(tǒng)功能語言學(xué)理論為基礎(chǔ)，建構(gòu)了一個(gè)較為完善的分析視覺圖像的理論框架，即視覺語法（VisualCrammar）。該理論認(rèn)為圖像符號與語言符號一樣，也是一種常見的社會符號，正如語言語法決定詞如何組成小句、句子和語篇，視覺語法是對描繪的人物、地點(diǎn)和事物如何組成具體不同復(fù)雜程度的視覺的陳述。 “在特定的社會文化領(lǐng)域，同樣的意義通?？捎刹煌姆杹肀磉_(dá)，共同的符號原則能在不同交際模式中起作用?！本唧w來講，與語言具有概念、人際與組篇功能相對應(yīng)，Kress和Van Leeuwen認(rèn)為圖像也有類似的再現(xiàn)、互動和構(gòu)圖功能。再現(xiàn)功能用來解釋意義參與者與過程之間的關(guān)系，表征圖像中人物、地點(diǎn)和事件之間的交際關(guān)系。其中，有向量的為敘事圖像，主要呈現(xiàn)行動和事件、變化過程、空間安排等，包括行動過程、反應(yīng)過程、言語過程和心理過程；沒有向量的是概念圖像，主要呈現(xiàn)更為概括、穩(wěn)定的意義，包括分類過程、分析過程和象征過程?；庸δ苁侵笀D像的創(chuàng)作者、圖像所表征的人或事物與圖像的觀看者之間的關(guān)系，主要呈現(xiàn)圖像觀看者對圖像所表征事物應(yīng)持有的態(tài)度，通過接觸、距離、視角和情態(tài)等共同作用，構(gòu)建出圖像觀看者與再現(xiàn)內(nèi)容之間復(fù)雜、微妙的互動關(guān)系，如索取、提供、關(guān)系疏密、權(quán)勢高低等。構(gòu)圖功能是指圖像構(gòu)成成分的空間布局，通過三個(gè)同步原則實(shí)現(xiàn)，即信息價(jià)值、突顯和框架。圖像的上下、左右、中心和邊緣分別傳遞出“理想一現(xiàn)實(shí)” “已知信息一新信息” “重要一次要”等不同的信息價(jià)值；突顯是把某個(gè)信息通過前景一背景、相對尺寸、色調(diào)對比等方式凸顯出來；框架是指圖像空間的分隔線條，主要表示圖像內(nèi)部組成成分的切分和分布。Kress和VanLeeuwen關(guān)注的不僅是圖像本身，而是包括圖像在內(nèi)的多模態(tài)語篇。因?yàn)樵趯?shí)際交際中，多模態(tài)經(jīng)常是形成一體化的語篇的，解釋多模態(tài)語篇也許是他們建立利用“視覺語法”的真正初衷。

Serafini在解讀視覺圖像和多模態(tài)語篇時(shí)也提出了一個(gè)三元的分析視角：一是感性分析視角（Perceptual Analytical Perspective），也就是對圖像外顯內(nèi)容的感知，比如印刷的紙張、形狀尺寸、顏料色彩等視覺成分。對這些視覺成分和圖像設(shè)計(jì)的關(guān)注是解讀視覺圖像的第一步。這種感知和關(guān)注是一種“視覺能力”（visual competence），是進(jìn)行視覺識讀的基礎(chǔ)。二是結(jié)構(gòu)分析視角（ Structural AnalyticalPerspectives），這是對構(gòu)成圖像的各種視覺成分意義潛勢的綜合分析。敘事性表征、取景、信息區(qū)、色彩、構(gòu)圖、位置布局等符號資源都具有意義潛勢，創(chuàng)作者有意或無意地選擇這些資源表達(dá)意義。理解各種視覺成分的關(guān)系以及他們在特定文化背景下的意義潛勢，是對視覺圖像進(jìn)行結(jié)構(gòu)性分析的重要方面，也是識讀多模態(tài)語篇的關(guān)鍵。三是意識形態(tài)分析視角（IdeologicalAnalylical Perspectives），這是聯(lián)系社會、文化、經(jīng)濟(jì)、生態(tài)以及政治等社會意義系統(tǒng)對圖像后面蘊(yùn)涵的言外意義作進(jìn)一步深層的分析。圖像是意識形態(tài)產(chǎn)生和投射的重要手段，只有將視覺符號置于社會關(guān)系和社會發(fā)展的大語境中才能窮盡圖像的意義。正如英國藝術(shù)批評家伯格所言，在圖片的周遭環(huán)境中，我們必須建立一個(gè)放射狀的系統(tǒng)，以便我們能同時(shí)以個(gè)人的、政治的、經(jīng)濟(jì)的、戲劇化、日常化和歷史的觀點(diǎn)來觀賞圖片。需要指出的是，Serafini的這三種分析視角并非是一種級層結(jié)構(gòu)，而是以感性分析一結(jié)構(gòu)分析一意識形態(tài)分析依次外擴(kuò)的同心圓結(jié)構(gòu)，因?yàn)闊o論是對視覺圖像的表象感知，還是意義解讀，都不可避免地受到已有知識、個(gè)人經(jīng)歷、社會文化歷史背景的影響。

五、結(jié)語

有圖有真相。從人類感知世界的方式來看，圖像是先于語言出現(xiàn)的最簡單、最直接的認(rèn)知方式。圖像有時(shí)比文字能更真實(shí)地表達(dá)世界，因?yàn)橐环鶊D畫勝過千言萬語。人類的表意系統(tǒng)在經(jīng)歷最初的直觀本能到語言文字產(chǎn)生后以語言為主，再到現(xiàn)在的多模態(tài)共同參與構(gòu)建意義，視覺圖像始終貫穿其中并契合人類的認(rèn)知心理。圖像文化摒棄了話語文化的理性和形式主義，轉(zhuǎn)向感性快樂，以弗洛伊德精神分析術(shù)語來說，就是本我的“快樂原則”取代自我的“現(xiàn)實(shí)原則”。當(dāng)代社會的各種語篇一改過去的以語言文字為主，形成圖文并存、勢均力敵的新格局，體現(xiàn)了對消費(fèi)主體感性即時(shí)、零距離體驗(yàn)的視覺享樂主義的肯定和迎合。