張莉 孫來麟

摘要：隨著現(xiàn)代信息技術(shù)的飛速發(fā)展，信息的傳遞方式由單一文本形式轉(zhuǎn)化為多模態(tài)形式。我國多模態(tài)話語研究主要為理論探索、圖文關(guān)系、多媒體語篇、教學(xué)應(yīng)用及多模態(tài)語料庫等領(lǐng)域。文章分析了我國多模態(tài)話語研究現(xiàn)狀及存在的問題，以期對(duì)今后的研究有所啟示。

關(guān)鍵詞：多模態(tài);話語研究;綜述

中圖分類號(hào)：G642.0 ? ? 文獻(xiàn)標(biāo)志碼：A ? ? 文章編號(hào)：1674-9324（2015）45-0225-03

一、引言

自1952年美國語言學(xué)家Z.Harris提出話語分析（Discourse Analysis）理論以來，國內(nèi)外學(xué)者立足于不同的角度提出了各種各樣的話語分析理論和方法，并通過大量的案例研究，揭示了話語活動(dòng)的內(nèi)在規(guī)律與認(rèn)知行為的內(nèi)在關(guān)聯(lián)（朱永生2003）。以往的話語分析研究主要聚焦話語篇章結(jié)構(gòu)、語法規(guī)律、語句之間的關(guān)系，忽略了諸如圖像、聲音、色彩、動(dòng)畫、空間、符號(hào)等的表現(xiàn)形式。然而，隨著信息技術(shù)的發(fā)展及多元文化的相互滲透，傳統(tǒng)的話語研究已經(jīng)不能滿足人們的交際需要，多模態(tài)話語研究應(yīng)用而生。國際語言學(xué)界于20世紀(jì)90年代興起了多模態(tài)話語研究熱潮，而我國相關(guān)研究起步較晚，最早由李戰(zhàn)子（2003）將多模態(tài)話語分析引入國內(nèi)。本文將對(duì)國內(nèi)學(xué)者近年來公開發(fā)表的多模態(tài)話語方面的論文、論著進(jìn)行梳理，總結(jié)所取得的研究成果并指出存在的不足，以期對(duì)以后的研究有所啟示。

二、多模態(tài)話語分析的理論基礎(chǔ)

Kress &Van Leeuwen（1996）指出多模態(tài)可以定義為參與交際的所有渠道和媒介，除了傳統(tǒng)的語言符號(hào)，它還包括圖像、顏色、音樂、技術(shù)等符號(hào)系統(tǒng)。多模態(tài)話語分析是建立在韓禮德的系統(tǒng)功能語言學(xué)理論基礎(chǔ)之上的。根據(jù)系統(tǒng)功能語言學(xué)理論，語言具有三種元功能，即概念功能、人際功能、語篇功能。概念功能指的是語言能表達(dá)說話者的親身經(jīng)歷和內(nèi)心活動(dòng)，人際功能指的是建立和保持社會(huì)關(guān)系，語篇功能指的是將前兩種功能組成語篇的功能。而就多模態(tài)話語而言，其他語言符號(hào)也具有上述三種功能。系統(tǒng)功能語言學(xué)認(rèn)為，語言是一種社會(huì)符號(hào)和意義潛勢，語言以外的其他符號(hào)，諸如圖像、聲音、色彩、空間等也是意義的源泉。（胡壯麟2007）

三、國內(nèi)多模態(tài)話語研究成果綜述

我國多模態(tài)話語的研究始于2003年李戰(zhàn)子首次引入多模態(tài)話語理論，提出多模態(tài)話語分析對(duì)于教學(xué)有重要意義。隨后胡壯麟、朱永生、顧曰國、韋琴紅等專家對(duì)于多模態(tài)話語進(jìn)行了深入的研究，但其研究尚處于初級(jí)階段。近年來，國內(nèi)興起了多模態(tài)話語研究熱潮。

1.調(diào)查數(shù)據(jù)。到目前為止，在“中國知網(wǎng)數(shù)據(jù)總庫”中，以“多模態(tài)話語”為主題詞，搜索到的這方面的論文共達(dá)900篇，既涉及有理論的探索，也有對(duì)理論的應(yīng)用研究。通過對(duì)數(shù)據(jù)的分析發(fā)現(xiàn)，近幾年，對(duì)多模態(tài)研究的論文呈逐漸上升趨勢。

2.理論研究。李戰(zhàn)子（2003）《多模式話語的社會(huì)符號(hào)學(xué)分析》介紹了Kress& Leeuwen所構(gòu)架的視覺語法和圖像分析方法，研究了圖像分析的社會(huì)學(xué)框架，提供了一套明確的分析方法，分析由圖像中描寫的人物、地點(diǎn)和事件之間的句法關(guān)系所建立起來的意義，開創(chuàng)了我國多模態(tài)話語分析理論研究的先河。此后，胡壯麟（2007）認(rèn)為符號(hào)學(xué)有廣闊的目標(biāo)，視覺、聽覺、嗅覺、味覺、觸覺，以至抽象的模型、結(jié)構(gòu)、主體意識(shí)都應(yīng)納入其研究范圍;朱永生（2007）就多模態(tài)話語分析的理論基礎(chǔ)及研究方法進(jìn)行了探討;張德祿（2009）探討了多模態(tài)研究的理論框架，同時(shí)還探討了各個(gè)模態(tài)之間的相互關(guān)系，另外對(duì)非語言模態(tài)的語法結(jié)構(gòu)的建立、語法結(jié)構(gòu)與語篇結(jié)構(gòu)之間的關(guān)系及語法結(jié)構(gòu)是如何實(shí)現(xiàn)其功能意義也有了深入的研究;韋琴紅（2009）研究了多模態(tài)話語中的模態(tài)、媒介與情態(tài)的區(qū)別。這些研究從不同角度豐富了多模態(tài)話語分析的理論思考，對(duì)國內(nèi)多模態(tài)語言的研究起了積極的推動(dòng)作用和宏觀指導(dǎo)的作用。

3.應(yīng)用研究。盡管我國引進(jìn)多模態(tài)話語分析理論只有十多年時(shí)間，但是研究者對(duì)多模態(tài)話語分析的研究價(jià)值給予了充分重視。李戰(zhàn)子（2012）分析認(rèn)為，目前國內(nèi)的多模態(tài)話語研究主要是應(yīng)用型研究，最為常見的是將“視覺語法”應(yīng)用于特定語類、語篇的分析，以揭示多模態(tài)與片中意義的構(gòu)建方式。在此領(lǐng)域內(nèi)，以系統(tǒng)功能語言學(xué)理論基礎(chǔ)的實(shí)踐研究仍占主導(dǎo)地位。數(shù)據(jù)統(tǒng)計(jì)發(fā)現(xiàn)，多模態(tài)話語分析的應(yīng)用已涉及了圖文關(guān)系、多媒體語篇、教材、教學(xué)及多模態(tài)語料庫等方面。①二維平面的圖文關(guān)系多模態(tài)研究。由于圖像符號(hào)和文字符號(hào)本身的差異以及相互所承載的社會(huì)文化差異，圖文關(guān)系需要將“語類”分析和“圖類”分析相互合理的結(jié)合，才能得到較客觀的描寫、分析和評(píng)價(jià)。圖像和文本如何相互結(jié)合構(gòu)造意義一直也是多模態(tài)話語研究的重點(diǎn)。趙寶福（2008）用多模態(tài)話語理論探討了奧斯卡最佳影片獎(jiǎng)《老無所依》的電影海報(bào);汪燕華（2010）研究了多模態(tài)話語中的圖文關(guān)系;王改弟、楊立學(xué)（2013）在多模態(tài)話語分析的視域下，從文化、意義和模態(tài)三個(gè)層面對(duì)英語詩歌進(jìn)行了分析研究;孫毅（2012）從圖像、顏色和版式設(shè)計(jì)等方面分析了2011年西安世博會(huì)會(huì)徽，認(rèn)為其他各種符號(hào)資源與語言一樣具有意義構(gòu)建功能。②多媒體語篇的話語分析研究。多媒體語篇對(duì)于語言學(xué)研究來說是一種新的語篇形式，其文本的主要內(nèi)容是通過圖像、文字、視頻流、數(shù)字音頻流等表現(xiàn)方式來接受和傳遞信息。其分析首先是對(duì)多媒體語篇的轉(zhuǎn)錄，這種轉(zhuǎn)錄的方法與純粹語音的轉(zhuǎn)錄相比，有其特有的方式;其次是系統(tǒng)功能語法的理論框架的實(shí)際運(yùn)用與測試;最后，依據(jù)多媒體語篇的自身特點(diǎn)，使視頻與音頻的聯(lián)系更加緊密，從而加深多媒體語篇與整個(gè)社會(huì)知識(shí)的聯(lián)系，以便提出更廣闊的分析思路。胡壯麟、董佳（2007）以23個(gè)PPT演示作品為例，開展了與多模態(tài)化相結(jié)合的計(jì)算機(jī)介入的語篇分析，認(rèn)為PPT既是工具，又是語篇，對(duì)PPT演示的研究可推動(dòng)社會(huì)符號(hào)學(xué)的研究;范洪濤（2011）就中央電視臺(tái)少兒頻道一則少兒公益廣告，分別從再現(xiàn)意義、互動(dòng)意義及構(gòu)圖意義三個(gè)方面對(duì)多模態(tài)話語進(jìn)行了研究;冀芳（2013）以多模態(tài)話語理論為基礎(chǔ)，分別從文化語境、內(nèi)容層面和表達(dá)層面對(duì)微電影進(jìn)行了探討。③多模態(tài)教材的研究。多模態(tài)教材是指由多種模態(tài)共同組成的教材，這些模態(tài)主要包括文字、圖畫、錄像、錄音、表格等同時(shí)或者按照一定順序關(guān)系出現(xiàn)。其中，文字是起主導(dǎo)作用，但不再是一種模態(tài)占據(jù)主導(dǎo)地位的局面，而是多種模態(tài)相互競爭相互配合的局面。其特征主要表現(xiàn)為圖、文、聲、像融為一體，同時(shí)多維度刺激學(xué)習(xí)者的感官，創(chuàng)造真實(shí)而豐富的教學(xué)環(huán)境，為學(xué)習(xí)者提供所需要的各種信息，根據(jù)學(xué)習(xí)者的不同特點(diǎn)來選擇適當(dāng)?shù)慕虒W(xué)內(nèi)容與教學(xué)方法，從而保證學(xué)習(xí)者達(dá)到預(yù)期的學(xué)習(xí)目標(biāo)。在多媒體教材方面，特別是英語教材方面已有如下研究成果。陳瑜敏（2008）主要從語域角度對(duì)不同時(shí)期多模態(tài)教科書語篇展開分析，認(rèn)為教科書圖文關(guān)系在不同時(shí)期具有明顯的差異;張德祿、張德祿、張淑杰（2010）提出了多模態(tài)外語教材總的特點(diǎn)和類型，即紙質(zhì)、電子和演示教材，初步探討了多模態(tài)外語教材的編寫宏觀原則和具體原則。④多模態(tài)教學(xué)的研究。多模態(tài)教學(xué)的目的是希望教師能根據(jù)教學(xué)內(nèi)容、教學(xué)設(shè)施、教學(xué)目標(biāo)等基本理念為學(xué)生選擇一種或多種符合學(xué)生發(fā)展?fàn)顩r教學(xué)方法，并將其合理運(yùn)用在語言環(huán)境中。在多模態(tài)課堂外語教學(xué)中，教師運(yùn)用多媒體手段進(jìn)行聽覺、視覺、觸覺等多感官的刺激，以此來創(chuàng)設(shè)真實(shí)的情境，使學(xué)習(xí)者體驗(yàn)真實(shí)的英語語言環(huán)境，進(jìn)而提高學(xué)生輸出運(yùn)用詞匯的能力。胡雯（2011）探討了多模態(tài)話語分析在英語教學(xué)中的應(yīng)用;應(yīng)建芬（2011）研究證實(shí)了多模態(tài)話語分析對(duì)英語詞匯教學(xué)具有積極的指導(dǎo)作用;魏笑梅（2012）對(duì)多模態(tài)話語理論視角下英語教學(xué)資源建設(shè)進(jìn)行了探討;劉娟（2012）對(duì)大學(xué)英語精讀的多模態(tài)教學(xué)模式進(jìn)行了試驗(yàn)研究，發(fā)現(xiàn)此種教學(xué)模式體現(xiàn)了以學(xué)生為中心的教學(xué)理念，有利于培養(yǎng)學(xué)生的自主學(xué)習(xí)能力，養(yǎng)成良好的學(xué)習(xí)習(xí)慣，有利于提高教學(xué)質(zhì)量;劉秀麗、張德祿（2013）就外語教師多模態(tài)話語與學(xué)生積極性的關(guān)系進(jìn)行了研究，文章運(yùn)用動(dòng)機(jī)理論、注意層次理論和多模態(tài)話語分析理論，以教師的人格魅力和理念為基礎(chǔ)，建立了一個(gè)運(yùn)用適當(dāng)?shù)亩嗄B(tài)話語來激發(fā)學(xué)生的學(xué)習(xí)動(dòng)力的理論模式。⑤多模態(tài)語料庫的研究。多模態(tài)話語分析研究離不開真實(shí)的語料庫的支持，近年來，一些學(xué)者也展開了對(duì)多模態(tài)語料庫的研究。顧曰國（2007）介紹了多模態(tài)語料庫語言學(xué)方法;王立非、文艷（2008）介紹了多模態(tài)分析軟件ELAN及其主要功能;張德祿（2012）對(duì)多模態(tài)話語的設(shè)計(jì)進(jìn)行了研究;劉芹、潘鳴威（2010），從語音、詞匯、句法、篇章、非言語交際等多個(gè)維度構(gòu)建了中國理工大學(xué)生英語口語多模態(tài)語料庫，認(rèn)為此類語料庫的建立對(duì)于理工科英語口語教學(xué)、口語教材的編寫等能起到重要的作用;付磊（2010）把多模態(tài)理論引入到計(jì)算機(jī)輔助教學(xué)的軟件評(píng)估中，認(rèn)為開展CAI軟件評(píng)估工作可促進(jìn)外語教學(xué)多媒體軟件的設(shè)計(jì)和制作，從而有效提高外語教學(xué)。

四、研究存在的不足

通過對(duì)國內(nèi)近十年的研究成果分析可以發(fā)現(xiàn)，多模態(tài)話語研究在理論探索及實(shí)踐應(yīng)用方面均取得了可喜的成績。但作為一個(gè)全新的研究領(lǐng)域，多模態(tài)話語研究在國內(nèi)發(fā)展時(shí)間不長，目前還存在一些不足之處，需要進(jìn)行更加全面的探討和深入研究。

1.以理論研究為主，實(shí)證研究偏少。通過分析發(fā)現(xiàn)，雖然目前國內(nèi)對(duì)多模態(tài)的研究呈上升趨勢，但主要是介紹國外的相關(guān)理論和研究方法，或以多模態(tài)理論對(duì)相關(guān)語篇等進(jìn)行分析，主觀性較強(qiáng)，缺乏對(duì)多模態(tài)語法關(guān)系進(jìn)行科學(xué)的調(diào)查取證與量化分析，實(shí)證研究有待加強(qiáng)。

2.靜態(tài)文本研究偏多，動(dòng)態(tài)研究較少。目前國內(nèi)多以多模態(tài)理論為基礎(chǔ)，對(duì)靜態(tài)的二維平面圖文關(guān)系進(jìn)行分析，例如影視作品海報(bào)、漫畫、英語詩歌等，而動(dòng)態(tài)語境中的多模態(tài)話語分析研究較少，比如，PPT研究、多模態(tài)語境下的外語教學(xué)、影視作品研究等。此方面的研究有待加強(qiáng)。

3.各種模態(tài)之間的關(guān)系有待研究。張德祿（2009）認(rèn)為多模態(tài)話語的各個(gè)模態(tài)之間是相互作用和影響的，目前，對(duì)于各個(gè)模態(tài)之間的關(guān)系卻難以界定，需要有更科學(xué)的研究方法來驗(yàn)證。

五、結(jié)語

經(jīng)過國內(nèi)學(xué)者十多年的努力，目前多模態(tài)話語理論在中國的研究已進(jìn)入蓬勃發(fā)展時(shí)期，取得了可喜的成績。多模態(tài)話語作為一門新興的學(xué)科，理論研究需要?jiǎng)?chuàng)新，實(shí)踐研究還需要量化。我們相信，未來多模態(tài)話語研究方向越來越廣闊，前景越來越美好。

參考文獻(xiàn)：

[1]胡壯麟.社會(huì)符號(hào)學(xué)研究中的多模態(tài)化[J].語言教學(xué)與研究，2007.（01）：1-10.

[2]朱永生.多模態(tài)話語分析的理論基礎(chǔ)與研究方法[J].外語學(xué)刊，2007，（05）：82-86.

[3]Kress G R，Van Leeuween T.Reading Image[M]. London： Rouledge，1996：183.

[4]朱永生.話語分析五十年：回顧與展望[J].外國語（上海外國語大學(xué)學(xué)報(bào)），2003，（03）：43-50.

[5]張德祿.多模態(tài)話語分析綜合理論框架探索[J].中國外語，2009，（01）：24-30.

[6]韋琴紅.論多模態(tài)話語中的模態(tài)、媒介與情態(tài)[J].外語教學(xué)，2009，（04）：54-57.

[7]孫毅.多模態(tài)話語意義建構(gòu)——以2011西安世界園藝博覽會(huì)會(huì)徽為基點(diǎn)[J].外語與外語教學(xué)，2012，（01）：44-47.

[8]張德祿.論多模態(tài)話語設(shè)計(jì)[J].山東外語教學(xué)，2012，（01）：9-15.

[9]劉娟.大學(xué)英語精讀之多模態(tài)話語教學(xué)[J].長春理工大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版），2012，（04）：184-187.

[10]李戰(zhàn)子，陸丹云.多模態(tài)符號(hào)學(xué)：理論基礎(chǔ)，研究途徑與發(fā)展前景[J].外語研究，2012，（02）：1-8.

[11]魏笑梅.多模態(tài)話語理論視角下英語教學(xué)資源建設(shè)[J].黑龍江教育（高教研究與評(píng)估），2012，（06）：20-21.

[12]王立非，文艷.應(yīng)用語言學(xué)研究的多模態(tài)分析方法[J].外語電化教學(xué)，2008，（03）：8-12.

[13]趙寶福.多模態(tài)話語分析奧斯卡最佳影片獎(jiǎng)《老無所依》的電影海報(bào)[J].科教文匯（下旬刊），2008，（05）：167.

[14]陳瑜敏，王紅陽.多模態(tài)語篇圖像的概念意義與圖文關(guān)系——當(dāng)代教科書的多模態(tài)語篇分析[J].寧波大學(xué)學(xué)報(bào)（教育科學(xué)版），2008，（01）：124-129.

[15]汪燕華.多模態(tài)語篇分析的社會(huì)符號(hào)學(xué)理據(jù)[J].外語學(xué)刊，2010，06：145-147.

[17]付磊.基于“多模態(tài)理論”的《新視野大學(xué)英語視聽說》CAI軟件評(píng)價(jià)[J].山東廣播電視大學(xué)學(xué)報(bào)，2010，（04）：37-38.

[16]張德祿，張淑杰.多模態(tài)性外語教材編寫原則探索[J].外語界，2010，（05）：26-33.

[17]劉芹，潘鳴威.多模態(tài)環(huán)境下中國大學(xué)生英語口語非言語交際能力研究初探[J].外語電化教學(xué)，2010，（02）：38-43.

[18]王改娣，楊立學(xué).英語詩歌之多模態(tài)話語分析研究[J].山東外語教學(xué)，2013，（02）：26-31.

[19]冀芳.多模態(tài)話語分析下的微電影研究[J].電影文學(xué)，2013，（11）：34-35.

[20]劉秀麗，張德祿，張宜波.外語教師多模態(tài)話語與學(xué)生學(xué)習(xí)積極性的關(guān)系研究[J].外語電化教學(xué)，2013，（03）：3-9.

[21]王夢婉.漫畫多模態(tài)話語的再現(xiàn)功能分析——以一幅《PHD漫畫》為例[J].北京科技大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版），2014，（05）：28-33.

[22]胡壯麟，董佳.意義的多模態(tài)構(gòu)建——對(duì)一次PPT演示競賽的語篇分析[J].外語電化教學(xué)，2006，（03）：3-12.

[23][26]范洪濤.多模態(tài)話語的社會(huì)符號(hào)學(xué)解析——以一則公益廣告為例[J].蘭州教育學(xué)院學(xué)報(bào)，2011，（02）：31-33.

[24]胡雯.多模態(tài)話語分析在英語教學(xué)中的應(yīng)用[J].山東理工大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版），2011，（03）：104-108.

[25]應(yīng)建芬.多模態(tài)話語分析與大學(xué)英語詞匯教學(xué)[J].牡丹江大學(xué)學(xué)報(bào)，2011，（06）：136-138.

[26]侯建波.房地產(chǎn)廣告的多模態(tài)人際意義研究[J].中國外語，2014，（04）：48-53.

[27]顧曰國.論言思情貌整一原則與鮮活話語研究——多模態(tài)語料庫語言學(xué)方法[J].當(dāng)代修辭學(xué)，2013，（06）：1-19.