?

多模態(tài)視野下圖文關(guān)系研究的機(jī)遇與挑戰(zhàn)

劉成科1,2，顏志蓉1

(1.安徽農(nóng)業(yè)大學(xué) 外國語學(xué)院，安徽 合肥 230036；2.中國科學(xué)技術(shù)大學(xué) 人文學(xué)院，安徽 合肥 230026 )

摘要：多模態(tài)理論研究正處于學(xué)術(shù)研究的活躍期。多模態(tài)中的語言和圖像之間的關(guān)系問題更是該領(lǐng)域的研究重點(diǎn)。然而，目前學(xué)術(shù)界在多模態(tài)語篇中圖文之間的地位關(guān)系、圖文之間的意義沖突和互動(dòng)關(guān)系等方面的認(rèn)識(shí)還存在一定的分歧。因此，在梳理國內(nèi)外圖文關(guān)系研究的基礎(chǔ)上，主要探討了圖文關(guān)系研究的核心課題、面臨的主要挑戰(zhàn)和可能的研究方法等，這既有助于豐富多模態(tài)語篇的理論研究，又將進(jìn)一步拓展和完善讀圖時(shí)代下的圖文關(guān)系研究。

關(guān)鍵詞：多模態(tài)；語篇；圖文關(guān)系；認(rèn)知努力

多模態(tài)理論的系統(tǒng)研究主要始于20世紀(jì)末。然而，圖文關(guān)系研究雖然只有短暫的歷史，卻有著久遠(yuǎn)的過去，甚至可以追溯到古希臘時(shí)代柏拉圖的“線段之喻”。隨著社會(huì)符號(hào)學(xué)和語言學(xué)等相關(guān)學(xué)科的迅猛發(fā)展，近幾十年來，圖文關(guān)系的研究不僅引發(fā)了學(xué)術(shù)界激烈爭(zhēng)論，而且在相關(guān)的社會(huì)實(shí)踐領(lǐng)域也產(chǎn)生了巨大的影響。

1圖文關(guān)系研究概述

1.1　國外圖文關(guān)系研究的主要流派

在國外學(xué)術(shù)界，很多學(xué)者都對(duì)圖文之間的關(guān)系有一些零散的論述，如O’Halloran[1]，Kress &Van Leeuven[2]，Lemke[3]，Norris[4]和Jewitt[5]等，然而對(duì)圖文關(guān)系比較系統(tǒng)的研究卻并不多見。根據(jù)研究視角的不同，我們可以粗略地分為符號(hào)派、信息派、功能派和邏輯語義派。首先，以Barthes為主要代表的學(xué)者，從符號(hào)學(xué)視角來審視圖文關(guān)系。他著重提出了三種簡(jiǎn)單的圖文關(guān)系模式：說明、錨定和接遞[6]。該模式雖然較為簡(jiǎn)單，卻為后來圖文關(guān)系的探討打下了堅(jiān)實(shí)的基礎(chǔ)和構(gòu)建了基本的框架；其次，以Schriver為主要代表的學(xué)者，嘗試從圖文對(duì)語篇信息量的生成為出發(fā)點(diǎn)，提出了基于信息視角的圖文關(guān)系模式：冗余，互補(bǔ)，增補(bǔ)，并置和布景[7]；再者，Carney &Levin提出了圖文在多模態(tài)語篇中扮演不同的角色或執(zhí)行不同的功能：裝飾功能、再現(xiàn)功能、組織功能、闡釋功能和轉(zhuǎn)換功能[8]；Marsh &White 則是利用分類法闡述了圖片在文本中的功能[9]。他們的分類含有三個(gè)層面，每一層都根據(jù)精密度分為不同的功能類型。整個(gè)模式系統(tǒng)性強(qiáng)，分類詳細(xì)，結(jié)構(gòu)清晰。上述兩組代表性的學(xué)者都是基于功能的視角來構(gòu)建圖文關(guān)系的模式；最后，以Martinec & Salway為代表的學(xué)者則從邏輯語義的視角出發(fā)，借鑒功能語言學(xué)的小句關(guān)系理論，重點(diǎn)關(guān)注了多模態(tài)語篇中圖文互動(dòng)模式的構(gòu)建[10]。

1.2　國內(nèi)圖文關(guān)系研究的主要特點(diǎn)

近年來，國內(nèi)對(duì)多模態(tài)理論的研究十分活躍。但對(duì)于多模態(tài)語篇中圖文關(guān)系的研究仍然略顯不足，除了自古以來對(duì)于圖文關(guān)系相對(duì)定勢(shì)的觀念外，基本處在對(duì)國外圖文關(guān)系模式的理論探討和應(yīng)用階段。

國內(nèi)學(xué)術(shù)界對(duì)多模態(tài)語篇中圖文關(guān)系的研究主要可以概括為幾個(gè)方面：

首先，圖文關(guān)系的和諧性占主體地位。圖文關(guān)系在中國古代文化中一直處于水乳交融的和諧狀況,兩者并沒有被看成是對(duì)立的兩面?？v觀中國文化的發(fā)展歷程，圖文關(guān)系體現(xiàn)在“言、像、意”、“文學(xué)之象”、“詩畫一律”和“書畫同源”等不同方面。圖文之間的和諧共生關(guān)系占據(jù)了主體地位。然而，單純的和諧關(guān)系并不是圖文關(guān)系的全貌，應(yīng)該結(jié)合當(dāng)下的語篇趨勢(shì)，全面闡述圖文之間的“和諧”和“沖突”。

其次，圖文關(guān)系的交叉性占主流地位。近年來，我國語言學(xué)、文學(xué)、傳播學(xué)、美學(xué)、藝術(shù)學(xué)等諸多學(xué)科領(lǐng)域的學(xué)者，紛紛對(duì)圖文關(guān)系問題展開探討，使得圖文關(guān)系的研究始終呈現(xiàn)學(xué)科交叉性的特點(diǎn)。主要研究的問題包括：圖文關(guān)系在各類語篇中的表意特點(diǎn)、圖像與文學(xué)的關(guān)系、美學(xué)重構(gòu)下圖文關(guān)系的再思考、圖文修辭的內(nèi)在結(jié)構(gòu)等?？梢?，各種學(xué)科相互借鑒，相互交叉，對(duì)圖文關(guān)系展開不同視角、不同層面的探討和研究，然而，研究也多于分散獨(dú)立，缺少統(tǒng)一平臺(tái)，單純的理論評(píng)介較多，系統(tǒng)性不強(qiáng)，也不夠深入。

最后，圖文關(guān)系的應(yīng)用性占主導(dǎo)地位。國內(nèi)學(xué)者更關(guān)注圖文關(guān)系在不同領(lǐng)域的實(shí)際應(yīng)用性，如圖文關(guān)系理論在辭書編纂[11]、新聞傳播[12]、藝術(shù)創(chuàng)作[13]、廣告創(chuàng)意[14]、課堂教學(xué)[15]等不同領(lǐng)域的應(yīng)用，但是，對(duì)圖文之間的內(nèi)部邏輯結(jié)構(gòu)關(guān)系的理論探討相對(duì)較少。

綜上所述，國外學(xué)術(shù)界嘗試從不同視角解構(gòu)圖文之間的關(guān)系，但是，其倡導(dǎo)的圖文關(guān)系模式過于簡(jiǎn)單或復(fù)雜，精密度的彈性不足，可操作性偏低。國內(nèi)的研究偏向圖文關(guān)系現(xiàn)象的解讀以及在不同領(lǐng)域的實(shí)際應(yīng)用，缺乏對(duì)圖文關(guān)系的系統(tǒng)研究，即關(guān)于圖文關(guān)系本體的探討明顯不足。

2圖文關(guān)系研究的核心課題

圖文關(guān)系與不同的社會(huì)文化語境、不同的符號(hào)表意系統(tǒng)、不同的受眾群體特點(diǎn)等緊密相關(guān)。要合理建構(gòu)圖文關(guān)系模式，必須注意具備理論性、現(xiàn)實(shí)性和可行性等方面的有機(jī)統(tǒng)一。因此，圖文關(guān)系的研究，應(yīng)該按照統(tǒng)一平臺(tái)，學(xué)科互融的原則，打破學(xué)科之間的壁壘，并且把圖文關(guān)系模式的建構(gòu)與應(yīng)用結(jié)合起來，從而適應(yīng)多模態(tài)語篇在各領(lǐng)域的最新發(fā)展需要，更好地為語篇實(shí)踐服務(wù)。因此，圖文關(guān)系研究應(yīng)該著力從如下幾個(gè)方面深入探討。

2.1　圖文內(nèi)在結(jié)構(gòu)與多重互文關(guān)系

首先，通過視覺語法和功能語法分別解析圖文之間的內(nèi)在結(jié)構(gòu)特征，討論兩者內(nèi)在結(jié)構(gòu)的異同，并研究圖文在多模態(tài)語篇意義建構(gòu)時(shí)的角色分配與功能差異。其次，分析圖文作為獨(dú)立的表意符號(hào)重構(gòu)語篇世界的方式和特點(diǎn)，結(jié)合讀者認(rèn)知能力等因素探討圖文關(guān)系的差異對(duì)信息傳遞與意義輸出的影響。最后，研究多模態(tài)語篇中圖文之間的多重互文關(guān)系，解構(gòu)圖文之間的二元對(duì)立，特別是通過闡釋圖文之間如何通過沖突和碰撞表達(dá)語義張力，顛覆傳統(tǒng)的圖文關(guān)系模式，從而拓展圖文關(guān)系研究的領(lǐng)域。

2.2　圖文關(guān)系模式的建構(gòu)和應(yīng)用

首先，通過分析不同學(xué)科領(lǐng)域?qū)D文關(guān)系的論述，探索圖文關(guān)系概念的演變歷程，認(rèn)識(shí)圖文關(guān)系的內(nèi)涵和外延，準(zhǔn)確界定圖文關(guān)系研究的學(xué)科屬性和適用范圍，從而為圖文關(guān)系研究的進(jìn)一步發(fā)展清除障礙。其次，通過系統(tǒng)地梳理、對(duì)比和整合國內(nèi)外關(guān)于圖文關(guān)系理論和實(shí)踐方面的已有成果，結(jié)合當(dāng)今世界多模態(tài)語篇的發(fā)展趨勢(shì)，利用跨學(xué)科的研究平臺(tái)，以多模態(tài)語篇分析為基本理論框架，吸收眾學(xué)之長，嘗試建構(gòu)一種相對(duì)完整、系統(tǒng)和有效的圖文關(guān)系互動(dòng)模式，既方便語篇生產(chǎn)者的圖文關(guān)系建構(gòu)，又易于語篇消費(fèi)者的圖文關(guān)系解讀。最后，分析圖文關(guān)系模式在不同領(lǐng)域里的應(yīng)用實(shí)踐，總結(jié)歸納典型的成功案例，進(jìn)而不斷修正和完善新型圖文關(guān)系模式的建構(gòu)，并嘗試在多模態(tài)語篇實(shí)踐中檢驗(yàn)新型圖文關(guān)系模式的實(shí)際可操作性。此外，重點(diǎn)探討如何將圖文關(guān)系模式更好地應(yīng)用到課堂教學(xué)、教材編寫、新聞傳播、廣告創(chuàng)意和網(wǎng)頁制作等不同領(lǐng)域中，從而應(yīng)對(duì)新形勢(shì)下多模態(tài)語篇發(fā)展的挑戰(zhàn)。

2.3　圖文關(guān)系與社會(huì)文化的交互

首先，研究圖文關(guān)系與社會(huì)文化之間的歷時(shí)關(guān)系。圖文關(guān)系模式的建構(gòu)離不開特定時(shí)期的社會(huì)文化語境，反過來，圖文關(guān)系模式又折射出不同時(shí)期的社會(huì)文化特征。例如，隨著“讀圖時(shí)代”和“注意力經(jīng)濟(jì)”的到來，圖片在語篇中的地位和意義得到了明顯的凸顯，那么，這種社會(huì)文化將直接影響圖文關(guān)系的演變。其次，研究圖文關(guān)系與中西方社會(huì)文化的共時(shí)關(guān)系。運(yùn)用多學(xué)科的理論知識(shí)對(duì)中西方不同社會(huì)文化背景下的圖文關(guān)系模式進(jìn)行系統(tǒng)地對(duì)比分析，探討不同的社會(huì)文化背景對(duì)圖文關(guān)系模式建構(gòu)的具體影響，揭示圖文關(guān)系背后隱藏的文化屬性和社會(huì)特點(diǎn)，并分析圖文關(guān)系如何反映社會(huì)文化和藝術(shù)美學(xué)訴求，或迎合不同主流文化背景讀者的審美或意義需求。

3圖文關(guān)系研究的主要挑戰(zhàn)

在“注意力經(jīng)濟(jì)”盛行的當(dāng)下，圖文關(guān)系的研究順應(yīng)了時(shí)代發(fā)展的需要，諸多學(xué)者分別從各自的視角闡釋了圖文關(guān)系理論體系的建構(gòu)，也探討了圖文關(guān)系在各個(gè)具體領(lǐng)域的應(yīng)用，它既迎來了難得的發(fā)展機(jī)遇，又面臨著實(shí)際操作過程中的種種挑戰(zhàn)。首先，如何合理調(diào)控圖文關(guān)系模式的精密度，建構(gòu)具有一定彈性的圖文關(guān)系模式，以適應(yīng)不同語篇實(shí)際的需求[16]。過于簡(jiǎn)單或者繁雜的模式，都不利于圖文關(guān)系的清晰表征。未來科學(xué)的圖文關(guān)系模式應(yīng)該以語篇需求為導(dǎo)向，繁簡(jiǎn)適度，適用性強(qiáng)。第二，如何從圖文意義生成的角度出發(fā)，根據(jù)多模態(tài)語篇意義生成的經(jīng)濟(jì)性原則，綜合考量去建構(gòu)圖片與文本之間的關(guān)系模式。此處的“經(jīng)濟(jì)性”指恰巧可以滿足語篇意義生成需要的圖文關(guān)系模式，“不能更少，也無需更多”。第三，如何從圖文意義消費(fèi)的角度出發(fā)，根據(jù)語篇潛在讀者群體的特點(diǎn)，靈活建構(gòu)圖文關(guān)系模式，盡量減少讀者解讀圖文意義時(shí)的認(rèn)知努力，把語篇生產(chǎn)和語篇消費(fèi)有機(jī)結(jié)合起來。第四，如何在圖文關(guān)系模式的建構(gòu)中，摒棄僵化的“語言中心論”或“圖像霸權(quán)”的片面思想，把圖文意義看成動(dòng)態(tài)的有機(jī)整體，充分考慮圖文意義的互動(dòng)性特點(diǎn)，合理建構(gòu)圖文關(guān)系模式。最后，如何系統(tǒng)地梳理整合各學(xué)科圖文關(guān)系研究的成果，創(chuàng)造圖文關(guān)系研究統(tǒng)一學(xué)科平臺(tái)；如何清楚地界定圖文之間內(nèi)在結(jié)構(gòu)的差異；如何準(zhǔn)確把握讀者解讀圖文意義時(shí)的認(rèn)知心理等，這些都是未來圖文關(guān)系研究不可逃避的問題。對(duì)于這些問題的圓滿解答，必將極大地促進(jìn)圖文關(guān)系研究的發(fā)展。

4圖文關(guān)系研究的主要方法

圖文關(guān)系研究是跨文化跨學(xué)科的綜合性研究，必須以多模態(tài)語篇分析理論為理論基礎(chǔ)，借鑒符號(hào)學(xué)、藝術(shù)理論、傳播學(xué)和圖像學(xué)等多門學(xué)科的研究成果和理論知識(shí)，嘗試對(duì)多模態(tài)語篇中的圖文關(guān)系模式的建構(gòu)進(jìn)行綜合研究。

從基礎(chǔ)研究的角度來說，首先，通過圖片與文字兩種不同符號(hào)編碼體系的比較，討論兩種不同的表意系統(tǒng)如何建構(gòu)意義的，分析這兩種符號(hào)系統(tǒng)各自不同的再現(xiàn)和敘述手段，各自獨(dú)特的內(nèi)部結(jié)構(gòu)以及兩者之間的多重互文關(guān)系。其次，通過對(duì)比分析中西方文化背景下圖文關(guān)系建構(gòu)的異同，試圖挖掘差異背后的深層原因，使得圖文關(guān)系的研究能夠得到更加系統(tǒng)全面的發(fā)展。最后，重點(diǎn)把圖文關(guān)系置于符號(hào)學(xué)的寬廣視野之下，一方面，結(jié)合多學(xué)科的理論知識(shí)全面審視圖文關(guān)系模式的建構(gòu)，另一方面，又打破學(xué)科之間的壁壘，博采眾長，創(chuàng)造圖文關(guān)系模式研究的統(tǒng)一平臺(tái)，從而最終建構(gòu)適應(yīng)語篇發(fā)展趨勢(shì)的新的圖文關(guān)系模式。

從應(yīng)用研究的角度來說，分析圖文關(guān)系模式建構(gòu)的成功范式，探討如何運(yùn)用圖文關(guān)系理論促進(jìn)數(shù)字化多媒體網(wǎng)絡(luò)時(shí)代下的語篇建構(gòu)和信息傳播，特別關(guān)注圖文關(guān)系理論在教材編寫、教育教學(xué)、廣告創(chuàng)意和媒體傳播等諸多領(lǐng)域的應(yīng)用實(shí)踐。

5結(jié)語

綜上所述，在知識(shí)爆炸的今天，信息量的劇增要求對(duì)語篇的生產(chǎn)方式作出相應(yīng)的變革，語篇的多模態(tài)性順應(yīng)了時(shí)代發(fā)展的趨勢(shì)，滿足了讀者對(duì)語篇的消費(fèi)需求。本文從不同視角簡(jiǎn)要地剖析了多模態(tài)語篇中的圖文之間的關(guān)系，指出了圖文研究的核心課題、主要挑戰(zhàn)和研究方法。無論是符號(hào)學(xué)視角下的簡(jiǎn)單分類，還是邏輯語義視角下的復(fù)雜劃分，都清楚地表明，圖片和文本都是多模態(tài)語篇意義生成過程中不可缺少的組成部分，兩者之間的關(guān)系并不是相互沖突，相互對(duì)立的，而是相互協(xié)作，相互補(bǔ)充，你中有我，我中有你的共生關(guān)系。因此，圖片和文本不應(yīng)該被簡(jiǎn)單地割裂開來，也不要過分地強(qiáng)調(diào)誰主誰次，而是應(yīng)該基于語篇的具體情況，合理控制圖文關(guān)系模式的精密度，并且綜合考慮圖文意義生成的經(jīng)濟(jì)性和圖文意義消費(fèi)的便利性，把語篇生產(chǎn)與語篇消費(fèi)有機(jī)結(jié)合起來，運(yùn)用圖片與文本這兩種符號(hào)編碼體系在表意時(shí)的各自特點(diǎn)，充分發(fā)揮兩者的優(yōu)勢(shì)，更加科學(xué)有效地建構(gòu)多模態(tài)語篇的意義。

參考文獻(xiàn)：

[1] O’Halloran K L. Towards a Systemic Functional Analysis of Multisemiotic Mathematics Texts[J]. Semiotica,1999, 124(1/2): 1-29.

[2] Kress G & T van Leeuwen. Reading Images: The Grammar of Visual Design [M]. London: Routledge. 2006.

[3] Lemke J. Multiplying Meaning:Visual and Verbal Semiotics in Scientific Text[C]// J.R. Martin, R. Veel. Reading Science. London:Routeldge.1998: 87-113.

[4] Norris S. Analyzing Multimodal Interaction: A Methodological Framework, London:Routledge. 2004.

[5] Jewitt C. The Routledge Handbook of Multimodal Analysis[M]. London: Routledge.2009.

[6] Barthes R. Image-Music-Text [M]. London: Fontana.1977.

[7] Schriver KA. Dynamics in document design: creating text for readers[M]. Willey Computer Publishing. 1997.

[8] Carney R N and Levin J R. Pictorial illustrations still improve students learning from text[J]. Educational Psychology Review, 2002,14(1): 5-26.

[9] Marsh E E and White M D. A Taxonomy of Relationships between Images and Texts[J]. J. of Documentation , 2003,59(6):647-672.

[10] Martinec R, Salway A. A system for image-text relations in new media [J]. Visual Communication, 2005,4(3):347-352.

[11] 楊信彰.學(xué)習(xí)型英漢雙解詞典中的圖文關(guān)系[J].北京科技大學(xué)學(xué)報(bào)(社科版)，2012(4):45-51.

[12] 朱淑姣. 視覺傳播時(shí)代報(bào)紙版面設(shè)計(jì)的圖文關(guān)系[J]. 大舞臺(tái)，2013(4):111-112.

[13] 李承華. 圖像?還是文本—微博時(shí)代的圖文關(guān)系[J]. 美術(shù)研究，2013(2):123-124.

[14] 甘蒞豪.平面廣告圖文關(guān)系的分析框架：基于“語法、語義、語用”三個(gè)維度[J].國際新聞界,2012(5):93-100.

[15] 張德祿,王璐.多模態(tài)話語模態(tài)的協(xié)同及在外語教學(xué)中的體現(xiàn)[J].外語學(xué)刊，2010(2):97-102.

[16] 劉成科.多模態(tài)語篇中的圖文關(guān)系[J]. 寧夏社會(huì)科學(xué)，2014(1)：144-148.

(責(zé)任校對(duì)王小飛)

中圖分類號(hào)：H313

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1674-5884(2016)01-0177-04

作者簡(jiǎn)介：劉成科(1979 -)，男，安徽肥西人，博士生，講師，主要從事語篇分析、語言與認(rèn)知研究。

基金項(xiàng)目：2014年安徽省教育廳人文社科重點(diǎn)課題(SK2014A238)；2015年安徽農(nóng)業(yè)大學(xué)繁榮發(fā)展基金重點(diǎn)項(xiàng)目

收稿日期：20150827

doi:10.13582/j.cnki.1674-5884.2016.01.052 10.13582/j.cnki.1674-5884.2016.01.053