曾慶敏

(重慶交通大學(xué)外國語學(xué)院，重慶400074)

大學(xué)英語教學(xué)的多模態(tài)性及其作用

曾慶敏

(重慶交通大學(xué)外國語學(xué)院，重慶400074)

人類的話語世界呈現(xiàn)出數(shù)字化和多模態(tài)化的特點(diǎn)。傳統(tǒng)的以關(guān)注語言文字為主的單模態(tài)教學(xué)模式已不能滿足人際交流方式和意義表達(dá)方式的需求。因此，培養(yǎng)學(xué)生多模態(tài)交際能力、多元識讀能力，并借助多模態(tài)教學(xué)理論及研究成果，構(gòu)建多模態(tài)化的教學(xué)模式是時代的需求，是語言教學(xué)發(fā)展的必然趨勢。為此，強(qiáng)調(diào)多模態(tài)話語對教學(xué)的促進(jìn)作用，并科學(xué)地將多模態(tài)恰當(dāng)結(jié)合運(yùn)用于教學(xué)中。

模態(tài); 多模態(tài)話語; 教學(xué)模式; 多元讀寫能力

一、引言

隨著現(xiàn)代科技特別是多媒體技術(shù)的飛速發(fā)展，人類交際活動中的多模態(tài)現(xiàn)象越來越突出，人類的話語世界也呈現(xiàn)出數(shù)字化和多模態(tài)化的特點(diǎn)［1］(P49)。“語言使用，不管是口語還是書面語，總是不可避免地由多種交際模式組成?！保?］。Kress和van Leeuwen認(rèn)為所有的話語都是多模態(tài)的［3］(P186)，意義總是通過在交際過程中共現(xiàn)的多種模式和媒介構(gòu)建的［4］(P111)。多元文化的相互滲透和交際的多模態(tài)化使交流、傳播、經(jīng)濟(jì)等領(lǐng)域正發(fā)生著一場革命:書面文字在公共交流領(lǐng)域的統(tǒng)治地位正讓位于以圖像為載體，或文字與圖像并存的媒介。一種全新的多模態(tài)表達(dá)形式已經(jīng)深入到人們生活的方方面面［5］(P182)。

多模態(tài)話語的發(fā)展對教學(xué)、對學(xué)生交際能力的培養(yǎng)也提出了新的要求，培養(yǎng)學(xué)生對不同模態(tài)話語的讀寫能力和交際能力是語言教學(xué)的根本目標(biāo)。胡壯麟認(rèn)為“傳統(tǒng)以讀寫為主的識讀能力在多媒體時代已不夠用”［6］(P7)，在當(dāng)今全球趨于一體化、多元化、技術(shù)化的今天，對學(xué)生不僅要進(jìn)行讀寫能力的培養(yǎng)，更重要的是要進(jìn)行多元識讀能力的培養(yǎng)。數(shù)字化信息時代的到來以及多媒體技術(shù)的廣泛運(yùn)用，使得圖像、聲音、文字、視頻、色彩等多種模態(tài)充斥著人類的交際活動。因此，傳統(tǒng)的以關(guān)注語言文字為主的單模態(tài)教學(xué)模式已不能滿足人際交流方式和意義表達(dá)方式的需求，我們應(yīng)清楚地認(rèn)識到:培養(yǎng)學(xué)生多模態(tài)交際能力、多元識讀能力，并借助多模態(tài)教學(xué)理論及研究成果構(gòu)建多模態(tài)化的教學(xué)模式是時代的需求，是語言教學(xué)發(fā)展的必然趨勢。

二、理論基礎(chǔ)

多模態(tài)話語分析的理論興起于20世紀(jì)90年代，西方學(xué)者以Halliday的系統(tǒng)功能語言學(xué)為理論基礎(chǔ)，將圖像、聲音、動作等作為語言社會符號性的研究重心［7～10］。研究表明，系統(tǒng)功能模式不僅可以用于對自然語言的分析，同時也為研究其他符號形式提供了可行的分析框架［11］(P159)。圖像、聲音、動作作為社會符號，通過有意義的整合來構(gòu)建、描述和表達(dá)人、物體、空間、環(huán)境等之間的關(guān)系。語言和視覺現(xiàn)象均需依靠具體的、相互聯(lián)系的符號系統(tǒng)，并在相應(yīng)的符號系統(tǒng)中做出恰當(dāng)?shù)倪x擇，然后通過不同的形式組成具有意義的話語［8］(P1)。因此，我們應(yīng)關(guān)注交際活動中多模態(tài)話語的整體意義，而不是將其構(gòu)成要素割裂開來，進(jìn)行孤立的討論研究。

Kress探討了教學(xué)中多模態(tài)信息傳遞的三個理論基礎(chǔ)［5］。首先，物質(zhì)的媒體經(jīng)過社會長時間的塑造，成為意義產(chǎn)生的資源，可表達(dá)不同社團(tuán)所要求的意義，這就成了模態(tài)。所有模態(tài)具有表達(dá)意義的潛勢。其次，作為言語的語言模態(tài)和作為書面語的語言模態(tài)以及其他模態(tài)，往往是交織在一起的，在信息傳遞語境下同時存在、同時操作。這種互動本身就產(chǎn)生意義。最后，使用者經(jīng)常對表達(dá)和信息傳遞的模態(tài)加以改變，以適應(yīng)社會的信息傳遞需要，這樣，已有的模態(tài)被改造，新模態(tài)被創(chuàng)造。多媒體技術(shù)可以快速高效傳遞多模態(tài)信息，所有意義的構(gòu)建產(chǎn)生于語言、姿勢、眼神等各種符號系統(tǒng)之間，并越來越依賴各種符號資源的整合。

三、模態(tài)之間的關(guān)系

多模態(tài)話語指運(yùn)用聽覺、視覺、觸覺等多種感覺，通過語言、圖像、聲音、動作等多種手段和符號資源進(jìn)行交際的現(xiàn)象［12］(P98)。聽覺模態(tài)符號是大學(xué)英語課堂中最重要的模態(tài)符號之一，它決定著學(xué)習(xí)者語言輸入的量和質(zhì)，包括口語語言符號、音樂符號和其他聲音符號如噪音、音效。視覺模態(tài)符號包括書面語、圖像、肢體語言符號。除此之外，嗅覺、觸覺和味覺模態(tài)常出現(xiàn)在特定的情景中，使用頻率較低。如在學(xué)習(xí)“spaghetti”一詞時，可以讓學(xué)習(xí)者通過嗅覺、味覺感官來感知，獲得認(rèn)知信息。我們生活在一個多模態(tài)的社會，話語的多模態(tài)性已成為當(dāng)今人們交際中使用的各種語篇的一個重要特征。這些不同的模態(tài)在意義再現(xiàn)層面上起著同樣重要的作用，各模態(tài)之間相互補(bǔ)充，強(qiáng)化、調(diào)節(jié)和協(xié)同作用，從而盡量全面地表達(dá)意義。

第一，同一意義可以借助于不同的符號形式進(jìn)行表述，即不同的符號形式可以表達(dá)同一種意義。比較(顧曰國，2007:4):

(1)(2)(3)分別代表了三種信息呈現(xiàn)方式。又如，同一數(shù)據(jù)信息我們可以采用表格，餅圖、柱狀圖等不同符號形式來表達(dá)。但是，不同的信息呈現(xiàn)方式對于信息的獲取和處理會產(chǎn)生很大的影響。

第二，意義的構(gòu)建和識讀是多模態(tài)的，對于不同類型的信息應(yīng)調(diào)用不同的模態(tài)。如語篇信息可通過視、聽、觸覺模態(tài)來進(jìn)行全面的聽說讀寫譯認(rèn)知;非語篇信息主要通過視、聽、觸覺模態(tài)來解構(gòu)，并通過觸覺，以說和寫的方式來構(gòu)建語篇信息。知識類、文化類信息主要通過視、聽模態(tài)輸入，學(xué)生可以通過視、聽模態(tài)直觀感受音頻、視頻內(nèi)容，快速高效解構(gòu)輸入內(nèi)容;通過視覺跟視頻進(jìn)行互動的直觀、體驗性學(xué)習(xí)，是技能類學(xué)習(xí)的主要學(xué)習(xí)方式。課前通過視覺模態(tài)進(jìn)行教材文字識讀，認(rèn)知語篇信息，在課堂學(xué)習(xí)中通過視、聽、觸覺模態(tài)訓(xùn)練語言表達(dá)能力和思維能力，從而加快信息的內(nèi)化過程和輸出過程。

第三，當(dāng)一種模態(tài)的話語不能充分表達(dá)說話者的意義或者無法表達(dá)其全部意義，需借助其它模態(tài)來補(bǔ)充，這時模態(tài)之間是一種互補(bǔ)關(guān)系。Royce在探討一篇有關(guān)金融報道的語言與視覺模態(tài)的關(guān)系時認(rèn)為，“在一個語篇內(nèi)，語言和視覺模態(tài)在投射意義上相互補(bǔ)充，并且這種符號系統(tǒng)間的互補(bǔ)是由這些模態(tài)特有的各種各樣的語言和視覺手段來實(shí)現(xiàn)的”［14］(P23)。在互補(bǔ)關(guān)系中，通常一種模態(tài)為主要或基本模態(tài)，另一種起強(qiáng)化或補(bǔ)缺作用。例如，教師在通過語言傳遞意義的同時，可以調(diào)用動作、姿勢、表情、眼神等視覺符號輔助強(qiáng)化其意義的傳達(dá)。在中國學(xué)生視聽一段英文視頻時，聽覺模態(tài)是主模態(tài)，而視頻中的人物、動作、環(huán)境等視覺符號所傳遞的部分信息是語言信息所缺失的，兩種模態(tài)缺一不可，互為補(bǔ)充。

第四，一種模態(tài)會在某種程度上增加或減少由其它模態(tài)所表達(dá)的信息。例如，語言與圖像之間相互拓展、細(xì)化彼此所表達(dá)的意義，增加所蘊(yùn)含的信息，對意義予以詳細(xì)說明或更準(zhǔn)確的重述［15］(P300)。

第五，當(dāng)次模態(tài)對主模態(tài)在意義體現(xiàn)上的作用不大時，它們之間是一種交疊關(guān)系或語境交互關(guān)系。交疊現(xiàn)象是兩種或多種模態(tài)同時出現(xiàn)，但它們之間并沒有相互強(qiáng)化關(guān)系［12］(P99)。例如，教師呈現(xiàn)的綱要式的PPT提供了主要的教學(xué)內(nèi)容，教師只是根據(jù)PPT內(nèi)容進(jìn)行逐項講解，或者教師只需自己或跟學(xué)生一起讀上面的內(nèi)容即可。音樂可以為外語教學(xué)創(chuàng)造真實(shí)情景、營造適宜的氛圍，這時聽覺模態(tài)和視覺模態(tài)就是一種語境交互的關(guān)系。

四、多模態(tài)對英語教學(xué)的作用

多模態(tài)運(yùn)用于英語教學(xué)，可使學(xué)生在英語學(xué)習(xí)過程中以多種感覺器官參與學(xué)習(xí)。多種媒體信息刺激學(xué)生的大腦皮層相應(yīng)機(jī)能區(qū)，比單一媒體信息刺激所引起的反應(yīng)要強(qiáng)得多。聲、光、色、圖俱佳的交互式教學(xué)環(huán)境，寬松、自主的學(xué)習(xí)氛圍，可促進(jìn)學(xué)習(xí)主觀能動性的發(fā)揮和個性的發(fā)展，提高教學(xué)效率。首先，模態(tài)轉(zhuǎn)換可以強(qiáng)化記憶，提高內(nèi)容記憶的持久性。研究發(fā)現(xiàn)記憶力跟獲取信息的模態(tài)(或曰感官)有關(guān)。其中嗅覺跟情感和記憶力的關(guān)系是公認(rèn)的事實(shí)［16］(P58)。多模態(tài)強(qiáng)調(diào)多感官并用，以幫助學(xué)生克服單詞、語法等記憶難的問題，便可達(dá)到牢固記憶的作用。多模態(tài)教學(xué)方式把靜態(tài)的資源包括服飾、發(fā)型、臉型等和動態(tài)的資源包括聲音、表情、身勢、眼神等納入教學(xué)過程，給學(xué)生全方位、多感官的充分體驗，引起多層次的聯(lián)想。實(shí)踐證明，大腦的記憶與聯(lián)想密切相關(guān)，聯(lián)想越多，記憶越深刻。

其次，多模態(tài)更有利于知識的理解和內(nèi)化，產(chǎn)生更好的學(xué)習(xí)效果。在多媒體、多模態(tài)條件下呈現(xiàn)的文本內(nèi)容能營造出有利于對英語理解和掌握乃至運(yùn)用的真實(shí)語境。學(xué)生有機(jī)會接觸不同樣式的規(guī)范英語，地道的語言貼近自己的學(xué)習(xí)和生活，這種真實(shí)的語言環(huán)境能讓學(xué)生擺脫母語的羈絆、調(diào)動感覺器官及大腦對語言信息的綜合反應(yīng)并自然地吸納語言。文化先于語言產(chǎn)生，多模態(tài)的教學(xué)手段有利于將文化內(nèi)涵和語言學(xué)習(xí)自然地結(jié)合起來。從《傲慢與偏見》中熟悉西方上層人士的舉止習(xí)慣、儀表談吐，從《阿甘正傳》了解南北戰(zhàn)爭、越南戰(zhàn)爭、中美外交等重大的歷史事件。視、聽模態(tài)的融合使得鮮活、地道的語言，聲情并茂的故事描述，把社會價值觀念等深層次的文化以一種大眾都能接受的方式反映出來［17］(P2004)。

第三，綜合運(yùn)用多模態(tài)學(xué)習(xí)，不僅可以提高學(xué)生的語言輸出能力、創(chuàng)新思維能力，而且能夠加強(qiáng)學(xué)生的多模態(tài)交際能力和多元識讀能力。通過視覺跟視頻進(jìn)行互動，具有直觀性和體驗性，學(xué)習(xí)效果事半功倍。例如，視聽說課堂上，學(xué)生通過視聽渠道接受語言信息，然后通過口語表達(dá)出來，課后還可將個人觀點(diǎn)、討論結(jié)果轉(zhuǎn)換為視覺模態(tài)符號，用書面語言表述成文，學(xué)生的語言輸出能力得以提高。在這一學(xué)習(xí)過程中，學(xué)生多模態(tài)地獲取信息，利用圖片、數(shù)據(jù)、視頻等組織和展示自己的觀點(diǎn)，學(xué)生多模態(tài)處理信息的能力和交際能力也得到了提高。這種直觀體驗性的學(xué)習(xí)往往是“暗學(xué)習(xí)”(implicit learning)，不知不覺就會了，是技能類學(xué)習(xí)的關(guān)鍵學(xué)習(xí)方式［13］(P7)。

第四，合理整合使用多種模態(tài)進(jìn)行教學(xué)，可以營造一種輕松、活潑、和諧、積極的課堂互動氛圍，可以在很大程度上激發(fā)學(xué)生使用語言的主動性和積極性，在此基礎(chǔ)上，學(xué)生的語言應(yīng)用能力得到最大程度的鍛煉和提高。心理學(xué)的實(shí)證研究表明，利用聲音、圖像、文字和動畫等多種模態(tài)形式向?qū)W生呈現(xiàn)最真實(shí)的語言活動，學(xué)生的眼、耳、口等各種感官不斷受到刺激，逼真、生動、有趣的語言環(huán)境大大調(diào)動了學(xué)生的神經(jīng)器官和濃厚的興趣。多模態(tài)的教學(xué)模式完全符合信息的輸入、加工、貯存、輸出的認(rèn)知心理過程，實(shí)現(xiàn)了學(xué)生的主體地位，學(xué)生的學(xué)習(xí)興趣得以激發(fā)、交際能力得以提高。比如一些結(jié)合音樂的影視作品，如《窈窕淑女》等會讓學(xué)生在一種輕松愉悅的環(huán)境下體會到學(xué)習(xí)語言的快樂。付蓓對某大學(xué)英語專業(yè)三個本科班級進(jìn)行對比，實(shí)驗結(jié)果表明多模態(tài)化的英語寫作教學(xué)能有效提高學(xué)生英語寫作能力和對寫作學(xué)習(xí)的熱情［18］(P136)。

多模態(tài)教學(xué)方式雖然給英語教學(xué)注入了新的活力和指明了方向，使課堂教學(xué)內(nèi)容、教學(xué)手段、教學(xué)模式多元化，但并不是不加選擇，使用越多越好。因此，科學(xué)地將多模態(tài)恰當(dāng)結(jié)合運(yùn)用于教學(xué)中，應(yīng)注意以下幾點(diǎn):教師應(yīng)加強(qiáng)基本理論知識的學(xué)習(xí)，提升多模態(tài)教學(xué)的理論素養(yǎng)，并通過教學(xué)觀摩和教學(xué)實(shí)踐，提高自己的執(zhí)教能力;教師應(yīng)遵循教學(xué)模態(tài)選擇的最優(yōu)化原則，即充分利用現(xiàn)代多媒體技術(shù)，充分表達(dá)講話者的意義，取得最佳效果［19］(P52);幫助學(xué)生通過接觸多模態(tài)話語，從語言、圖像、圖表、顏色、音樂等多渠道了解其他語言和外來文化，以適應(yīng)文化多元化和語言多樣化的趨勢，引導(dǎo)學(xué)生利用多模態(tài)手段在課堂進(jìn)行呈現(xiàn)和交流，培養(yǎng)其多元讀寫能力和多模態(tài)交際能力;教學(xué)的主要過程和階段是行動和行為，知識傳授在這里沒有地位。教學(xué)的過程主要為做事、行動、活動等［19］(P50)。

五、結(jié)語

大學(xué)英語教學(xué)中的多模態(tài)性主要是多媒體技術(shù)在英語課堂上廣泛應(yīng)用的結(jié)果。多媒體、多模態(tài)學(xué)習(xí)像一把雙刃劍，處理得好，可以把學(xué)習(xí)者的注意力真正集中在知識點(diǎn)上，以達(dá)到強(qiáng)化記憶力的作用，從而提高學(xué)習(xí)效果;處理不好，會分散學(xué)習(xí)者的注意力，發(fā)生對知識點(diǎn)的記憶力的干擾，導(dǎo)致瞬間“熱鬧”而事后“空空”之感［13］(P9)。正如朱永生所指出的:“我們急需改變傳統(tǒng)的辦學(xué)理念，應(yīng)提倡‘建構(gòu)主義’取代傳統(tǒng)的‘訓(xùn)導(dǎo)主義’，引導(dǎo)學(xué)生不僅能在多模態(tài)環(huán)境下理解各種經(jīng)歷，建構(gòu)我們自己對現(xiàn)實(shí)世界的認(rèn)識，而且能在多模態(tài)環(huán)境下有創(chuàng)造性地學(xué)習(xí)和做事。”［20］(P13)如閱讀互聯(lián)網(wǎng)、設(shè)計互動的圖像操作軟件、電子音樂、科學(xué)模擬、虛擬劇場等多媒體，以改變原來的灌輸式教學(xué)，取得更加積極的教學(xué)效果。

［1］ 代樹蘭．關(guān)注多模態(tài)話語教學(xué) 提高學(xué)生交際能力［J］．山東外語教學(xué)，2011，(3)．

［2］ LeVine P，Scollon R．Discourse and Technology:Multimodal Discourse Analysis［M］．Washington DC:Georgetown University Press，2004．

［3］ Kress G，van Leeuwen T．Front pages:the critical analysis of newspaper layout［A］．Bell A，Garrett P(eds．)．Approaches to Media Discourse［C］．Oxford:Blackwell，1998．

［4］ Kress G，van Leeuwen T．Multimodal Discourse:The Modes and Media of Contemporary Communication［M］．London:Arnold，2001．

［5］ Kress G et al．Multimodal Teaching and Learning［M］．London:Continuum，2001．

［6］ 胡壯麟．社會符號學(xué)研究中的多模態(tài)化［J］．語言教學(xué)與研究，2007，(1)．

［7］ O'Toole M．The Language of Displayed Art［M］．London:Leicester Univesity Press，1994．

［8］ Kress G，van Leeuwen T．Reading Images:The Grammar of Visual Design［M］．London:Routledge，1996．

［9］ van Leeuwen T．Speech，Music，Sound［M］．London:Macmillan，1999．

［10］ Martinec R．Cohesion in action［J］．Semiotica，1998．

［11］ O'Toole M．A systemic-functional semiotics of art［A］．Fries P，Gregory M(eds．)．Discourse in Society:Systemic Functional Perspectives［C］．Norwood:Ablex，1995．

［12］ 張德祿，王璐．多模態(tài)話語模態(tài)的協(xié)同及在外語教學(xué)中的體現(xiàn)［J］．外語學(xué)刊，2010，(2)．

［13］ 顧曰國．多媒體、多模態(tài)學(xué)習(xí)剖析［J］．外語電化教學(xué)，2007，(114)．

［14］ Royce T D．Multimodal communicative competence in second language contexts［A］．Royce T D，Bowcher W L(eds．)．New Directions in the Analysis of Multimodal Discourse［C］．Mahwah:Lawrence Erlbaum Associates，Inc．，2007．

［15］ Anthonissen C．Interaction between visual and verbal communication:Changing patterns in the printed media［A］．Weiss G，Wodak R(eds．)．Critical Discourse A-nalysis and Interdisciplinarity［C］．New York:Palgrave Macmillan，2003．

［16］ Weston Trevor．Altas of Anatomy［M］．London:Marshall Cavendish Books Limited，1992．

［17］ 朱維芳．英語電影教程［M］．北京:外語教學(xué)與研究出版社，2004．

［18］ 付蓓．多模態(tài)化的英語寫作教與學(xué)［J］．湖北師范學(xué)院學(xué)報，2010，(5)．

［19］ 張德祿．多模態(tài)外語教學(xué)的設(shè)計與模態(tài)調(diào)用初探［J］．中國外語，2010，(3)．

［20］ 朱永生．多元讀寫能力研究及其對我國教學(xué)改革的啟示［J］．外語研究，2008，(4)．

Abstract:Digitization and multimodality are the major features of the human language．Monomodal teaching，which focuses mainly on language，can no longer meet the needs of human communication．It is a necessity to cultivate the students'multimodal communicative competence and multiliteracy while it is also a trend to construct a multimodal teching based on the teaching theory．The importance and application of multimodal discouse in college English teaching are emphasized．

Key words:mode;multimodal discourse;teaching model;multiliteracy

Study on Multimodality in College English Teaching and Its Importance

ZENG Qing-min
(School of Foreign Languages，Chongqing Jiaotong University，Chongqing 400074，China)

H319

A

1674－0297(2012)01－0141－04

2011－09－01

重慶市教委高等教育教學(xué)改革研究重點(diǎn)項目“非英語專業(yè)學(xué)生大學(xué)英語聽說能力培養(yǎng)創(chuàng)新模式研究及實(shí)踐”(編號:09－2－036)的成果之一。

曾慶敏(1972－)，女，重慶萬州區(qū)人，重慶交通大學(xué)外國語學(xué)院副教授，碩士，主要從事認(rèn)知語言學(xué)和教學(xué)法研究。

(責(zé)任編輯:張 璠)