摘要:20世紀(jì)90年代西方興起的多模態(tài)話語分析,逐漸成為語言學(xué)研究的新熱點(diǎn)之一。通過回顧其在國(guó)外和國(guó)內(nèi)的發(fā)展歷史,重點(diǎn)解釋了多模態(tài)話語與社會(huì)符號(hào)學(xué)的關(guān)系,并展望未來發(fā)展方向。

關(guān)鍵詞:多模態(tài)話語分析;新媒介時(shí)代;社會(huì)符號(hào)學(xué)

中圖分類號(hào):H04文獻(xiàn)標(biāo)志碼:A 文章編號(hào):1002—2589(2009)14—0204—02

一、多模態(tài)話語分析理論

朱永生(2007),只使用一種模態(tài)的話語叫做“單模態(tài)話語”;同時(shí)使用兩種或兩種以上模態(tài)的話語叫做“多模態(tài)話語”。新媒介時(shí)代,語篇呈多模態(tài)化,20世紀(jì)90年代西方興起的多模態(tài)話語分析(multimodal discourse analysis)為由多種符號(hào)組成的語篇分析提供了途徑,幫助讀者了解不同模態(tài)作為社會(huì)符號(hào),如何共同作用構(gòu)成意義,達(dá)到意義潛勢(shì),對(duì)提高人們多模式話語識(shí)讀,具有積極的意義。多模態(tài)話語分析屬于社會(huì)符號(hào)學(xué)的分支,Halliday的系統(tǒng)語言學(xué)作為基礎(chǔ),具有跨學(xué)科、應(yīng)用性強(qiáng)特點(diǎn),能運(yùn)用在語音文字、建筑、城市設(shè)計(jì)及規(guī)劃、影視戲劇、音樂、PPT、教學(xué)和數(shù)據(jù)庫廣告、網(wǎng)站頁面設(shè)計(jì)、大型演出及舞臺(tái)表演、排版、音樂、教科書設(shè)計(jì)、教學(xué)等多領(lǐng)域,與傳媒學(xué)、批評(píng)話語分析等有緊密聯(lián)系,已經(jīng)影響了當(dāng)今很多學(xué)科的研究方向,如閱讀寫作能力教育、傳媒話語分析、文化研究等,對(duì)社會(huì)的經(jīng)濟(jì)能起直接的指導(dǎo)作用。該理論無論在國(guó)外還是在國(guó)內(nèi)都處于起步階段,在國(guó)外已經(jīng)有出版書目和召開國(guó)際會(huì)議,李戰(zhàn)子(2003)首次引入了多模態(tài)分析理論。

朱永生(2007),幾個(gè)關(guān)鍵字的概念,模式(mode)、媒介(medium)與模態(tài)(modality)。模式指系統(tǒng)功能語言學(xué)與話語范圍(field)和話語基調(diào)(tenor)并列的語境三要素之一的話語模式,指交流渠道,如口頭、書面、電子等。模態(tài)(modality)原指語言系統(tǒng)中講話者對(duì)事物的或然性進(jìn)行判斷和事物的必要性表明態(tài)度的語義系統(tǒng)情態(tài);這里指交流的渠道和媒介,包括語言、技術(shù)、圖象、顏色、音樂等符號(hào)系統(tǒng)。媒介是表達(dá)信息的物理工具。采用某一種媒體仍可以有不同模式表達(dá)信息,同樣的模式可以用不同媒體表達(dá)。

二、研究現(xiàn)狀

辛志英(2008)大致有:社會(huì)符號(hào)學(xué)流派,包括OToole、Kress、Leeuwen、Lemke、OHalloran、Baldry Thibault和Ventola等;交互社會(huì)學(xué)流派,包括Scollon、Norris及Jewitt等;認(rèn)知學(xué)流派,主要有Forceville和Holsanova等人。

社會(huì)符號(hào)學(xué)認(rèn)為語言以外的其他符號(hào)系統(tǒng)也是意義的源泉,認(rèn)為多模態(tài)話語本身也具有系統(tǒng)性,多功能性,即同時(shí)具有概念功能、人際功能和語篇功能;認(rèn)為語境因素和多模態(tài)話語的意義之間有著密不可分的聯(lián)系。Hodge&Kress(1978)《社會(huì)符號(hào)學(xué)》,以Halliday(1978/1994)的系統(tǒng)功能語言學(xué)為基礎(chǔ),把對(duì)語言社會(huì)符號(hào)性的研究擴(kuò)展到二維平面空間如圖像:Kress & van Leeuwen(1996)的《閱讀圖像》主要分析圖像等符號(hào)在語篇中的作用,重點(diǎn)探討圖像中的人物、地點(diǎn)和事物是如何組成視覺模式,實(shí)現(xiàn)其再現(xiàn)意義、互動(dòng)意義和構(gòu)圖意義。OToole(1994)主要從級(jí)階的角度來分析圖象。Lemke(1998)探討了科學(xué)文章中圖表與文字的關(guān)系;OHalloran(1999)探討了數(shù)學(xué)公式與語言之間的轉(zhuǎn)換;Royce(1998)探討了廣告中圖像與文字的關(guān)系。Martinec&Salway(2005)、Len(2006)則詳細(xì)地探討了新舊媒體中的圖文二者關(guān)系。二維平面中的圖文關(guān)系:胡壯麟(2005)在PPT;成文&田海龍(2007)對(duì)2003年發(fā)布的SARS新聞病例報(bào)告進(jìn)行批評(píng)性分析;丁建新(2007)探討了童話插圖中的情態(tài)意義;王紅陽(2007)探討詩歌中排版的問題。田璐&劉澤權(quán)(2008)對(duì)上海世博會(huì)會(huì)徽進(jìn)行分析。程春松(2008)對(duì)電影海報(bào)的進(jìn)行多模態(tài)話語解讀。廣告:勵(lì)松青(2005)、莫少斌(2006),王紅陽(2007)、胡丹(2007)探討了紙質(zhì)廣告中多模態(tài)話語,主要是畫面與文字的互動(dòng)。韋琴紅(2008)探討了多模態(tài)媒體語篇。電影:李妙晴(2007,2008)探討了電影中靜態(tài)畫面及動(dòng)態(tài)畫面的多模態(tài)意義,從主題類型、結(jié)構(gòu)、場(chǎng)景、人物、視角、片名和海報(bào)如何進(jìn)行多模態(tài)互動(dòng)。李戰(zhàn)子&向平(2007)著重分析《一個(gè)饅頭引發(fā)的血案》flash的類型步驟。介紹及綜述性文章:胡壯麟(2007)論述了多模態(tài)與計(jì)算機(jī)符號(hào)學(xué)的關(guān)系;朱永生(2007)論述4個(gè)問題:多模態(tài)話語的產(chǎn)生、定義、性質(zhì)和理論基礎(chǔ)、內(nèi)容、方法和意義。

聲音、音樂(van Leeuwen,1991,1999))分析了話語聲音、音樂、音響之間的關(guān)系。三維空間中,身體動(dòng)作(Martinec,1998)和戲劇空間設(shè)計(jì)(Martin&Stenglin,1997,2006)。在教學(xué)上,Lemke(1990)、Jewitt&Kress(2003)、Jewitt(2006)研究了兒童習(xí)得和多模態(tài)話語習(xí)得。1996年,來自美國(guó)、英國(guó)和澳大利亞的十多名學(xué)者來到美國(guó),共同商討新形勢(shì)下的教育改革,新倫敦小組(New London Group)是多元讀寫研究的開端,認(rèn)為隨著信息技術(shù)的發(fā)展,當(dāng)今世界發(fā)生了兩個(gè)變化:第一個(gè)變化是文化多元化趨勢(shì),第二個(gè)變化是新型交際技術(shù)的發(fā)展,文字表達(dá)意義的做法正在與視覺、聽覺、手勢(shì)等彼此結(jié)合。多元讀寫教學(xué)法設(shè)計(jì)來幫助學(xué)生能適應(yīng)變化,迎接語言文化多元化、交際技術(shù)樣化挑戰(zhàn),應(yīng)該培養(yǎng)學(xué)生的多模態(tài)識(shí)讀能力(multiliteracy)(Cope and Kalantzis,2000 p.9),認(rèn)為包括以下四方面:1.實(shí)地操練;2.明確指導(dǎo);3.批評(píng)性框定;4.操練。曾蕾(2006)在三維空間中身體動(dòng)作——國(guó)際會(huì)議演講語篇等領(lǐng)域進(jìn)行了多模態(tài)分析。

Baldry&Thibault(2006)的多模態(tài)記錄,Bateman(2004)等建立多模態(tài)語料庫管理平臺(tái)MCA(Multimodal Corpus Authoring)。顧曰國(guó)建立了漢語現(xiàn)場(chǎng)即席話語多模態(tài)語料庫。王立非&文艷艷(2008)主要介紹多模態(tài)分析軟件ELAN以及該軟件的主要功能,并舉例說明如何利用ELAN開展應(yīng)用語言學(xué)研究,并指出多模態(tài)研究方法應(yīng)用的價(jià)值和重要意義。在應(yīng)用上,有探討語篇與技術(shù)的關(guān)系(LeVine&Scollon,2004)和應(yīng)用文集(OHalloran,2004)。

電子語篇中的圖文關(guān)系葉起昌(2005、2006)),探討了傳統(tǒng)符號(hào)學(xué)對(duì)圖文關(guān)系的總結(jié):并提出在后印刷時(shí)代話語、超文本中圖像與文字的關(guān)系。曾蕾&梁紅艷(2007),認(rèn)為多語式表現(xiàn)超鏈接及其內(nèi)容。李妙晴(2007)探討了中國(guó)同學(xué)錄電子語篇的特點(diǎn)。

教學(xué):陳瑜敏&秦小怡,(2007,2008)考察教育語境下介入意義在多模式語篇中的圖文體現(xiàn)形式,顧曰國(guó)(2007)探討了多模態(tài)在網(wǎng)絡(luò)教學(xué)中的應(yīng)用;曾方本(2008)探討了多模態(tài)與技術(shù)的關(guān)系。張德祿(2009)提出一個(gè)多模態(tài)話語分析綜合理論框架探索。

由此可見,多模態(tài)話語分析在中國(guó)的研究主要集中在視覺模態(tài)和文字模態(tài)相結(jié)合的二維平面研究,對(duì)于視覺模態(tài)+聲音模態(tài)+文字的多模態(tài)語篇、空間模態(tài)的語篇較少涉及,在教學(xué)上和英語語料庫中更是基本處于萌芽狀態(tài)。

三、結(jié)論

朱永生(2007)也展望在未來的發(fā)展重點(diǎn):第一個(gè)趨勢(shì)是對(duì)多模態(tài)互補(bǔ)作用的更加關(guān)注,第二個(gè)趨勢(shì)如從二維話語分析走向三維話語分析,從靜態(tài)研究走向動(dòng)態(tài)研究等。Simpson(2003,轉(zhuǎn)引胡壯麟,2007),提出如下選題方向:多模態(tài)化和新的媒體,在學(xué)術(shù)和教育情境下的多模態(tài)化的應(yīng)用,多模態(tài)化與識(shí)讀實(shí)踐,多模態(tài)化語料庫的建立,多模態(tài)化和類型學(xué),多模態(tài)化話語分析及其理論問題。多模態(tài)化話語分析包括互聯(lián)網(wǎng)在話語分析中的作用,社會(huì)研究中的多模態(tài)話語分析,教育語境下的多模態(tài)話語分析,工作場(chǎng)所的多模態(tài)話語分析(Levine & Scollon2004)。

將來要既著手分析視覺模態(tài)、文字模態(tài)的互動(dòng),也研究視覺模態(tài)、聲音模態(tài)、文字模態(tài)的互動(dòng),還開展研究音樂模態(tài)與文字模態(tài)的結(jié)合,這是對(duì)多模態(tài)話語分析在國(guó)內(nèi)尚未對(duì)聲音模態(tài)研究零的突破;對(duì)網(wǎng)絡(luò)時(shí)代下,多媒體情況下自主學(xué)習(xí)及與課堂教學(xué)的結(jié)合作了詳細(xì)的分析,分析了視覺模態(tài)、聲音模態(tài)、文字模態(tài)、動(dòng)作和手勢(shì)等多模態(tài)的特性及互動(dòng)?？梢娚婕懊姹戎把芯扛鼜V,更加復(fù)雜及走向動(dòng)態(tài)研究。將對(duì)建筑、城市規(guī)劃、展廳、大型表演等作多模態(tài)話語分析。對(duì)更為復(fù)雜的多模態(tài)共存的語篇如電影、音樂、建筑進(jìn)行研究,因?yàn)閺氖露嗄B(tài)話語分析的絕大多數(shù)是語言學(xué)者,而多模態(tài)話語分析是跨學(xué)科的。多模態(tài)話語分析理論的哲學(xué)基礎(chǔ)、多模態(tài)話語語料庫、多模態(tài)系統(tǒng)功能分析軟件、超模態(tài)、在動(dòng)作、手勢(shì)中的體現(xiàn)等都有待研究。

參考文獻(xiàn):

[1]Baldry,A.P.and Thibault,P.J.Multimodal Transcription and Text[M].London:Equinox.2006.

[2]Cope,B.and Kalantzis,C(editors for the New London Group)(2000)Multiliteracies:Literacy Learning and the Design of Social Futures London:Routledge.

[3]Hodge,B.and Kress,G.Social Semiotic[M]s.Cambridge:Polity.(1988).

[4]Jewitt&Kress,Multimodal Literacy[M],Newyork:Perter Lang Publishing,2003.

[5]Jewitt,Carey,Technology,Literacy and learning[M],Newyork:Routledge,2006.

[6]Kress,Gunther & T van Leeuwen.Reading Images:the Grammar of Visual Design[M].London And Newyork:Routledge.1996.40-1.

[7]Kress,G.and Van Leeuwen,T.Multimodal Discourse[M].London:Arnold.(2001).

[8]OHalloran,K.(ed.),Multimodal Discourse Analysis[M].London:Continuum,2004.

[9]OToole,M.The Language of Displayed Ar[M]t.Leicester:Leicester University Press.(1994).

[10]Van Leeuwen,T.and Jewitt,C.(eds)Handbook of Visual Analysis[M].London:Sage.(2000).

[11]顧曰國(guó).多媒體、多模態(tài)學(xué)習(xí)剖析[J].外語電化教學(xué),2007,(4).

[12]胡壯麟.社會(huì)符號(hào)學(xué)研究中的多模態(tài)化[J].語言教學(xué)與研究,2007,(1).

[13]李戰(zhàn)子.多模態(tài)話語的社會(huì)符號(hào)學(xué)分析[J].外語研究,2003,(5):1-8.

[14]朱永生.多模態(tài)話語分析的理論基礎(chǔ)與研究方法[J].外語學(xué)刊,2007,(5).

[15]朱永生.多元讀寫能力研究及其對(duì)我國(guó)教學(xué)改革的啟示[J].外語研究,2008,(4).

[16]辛志英.話語分析的新發(fā)展———多模態(tài)話語分析[J].社會(huì)科學(xué)輯刊,2008,(5).

[17]張德祿.多模態(tài)話語分析綜合理論框架探索[J].中國(guó)外語,2009,(1).

(責(zé)任編輯/石銀)