王 馨

(東北農(nóng)業(yè)大學(xué)，黑龍江哈爾濱 150030)

一、多模態(tài)理論

多模態(tài)理論(Multi-modal)主要來源于韓禮德創(chuàng)立的系統(tǒng)功能語言學(xué)，同時又吸收了皮爾斯等人的符號學(xué)理論中的媒介、對象、解釋三位一體等理念。對于多模態(tài)理論語言學(xué)家們給出了不同的定義。Kress和Van Leeuwen(2001)指出模態(tài)可以定義為參與交際的所有渠道和媒介，除了傳統(tǒng)的語言符號，它還包括圖像、顏色、音樂、技術(shù)等符號系統(tǒng)。各種符號資源(如有聲語言、形象、聲音、設(shè)計、動作等)共同參與日常的人際交往活動中，形成了多模態(tài)交流。李戰(zhàn)子(2003)認為多模態(tài)指的是除了文本之外，還帶有圖像、圖表等的符號話語，或者說任何由一種以上的符號編碼實現(xiàn)意義的文本。顧日國(2007)認為模態(tài)指人類通過感官(如視覺、聽覺)跟外部環(huán)境(如人、機器、物體、動物等)之間的互動方式。朱永生(2007)認為模態(tài)指交流的渠道和媒介，包括語言、技術(shù)、圖像、顏色、音樂等符號系統(tǒng)。生命體與周圍環(huán)境進行信息交換的界面和路徑有五種感知通道:視覺、聽覺、嗅覺、觸覺和味覺。這五種感知引發(fā)出五種交際模態(tài):視覺模態(tài)、聽覺模態(tài)、嗅覺模態(tài)、觸覺模態(tài)和味覺模態(tài)。這里的模態(tài)是指交際的渠道和媒介，包括字符、繪圖、聲音等符號系統(tǒng)。綜上所述，多模態(tài)是指在交際中涉及多種感知模態(tài)或由一種以上符號系統(tǒng)共同編碼構(gòu)建整體意義進行交際。交際中要表達的意義要求不同的模態(tài)搭配參與，根據(jù)交際的概念意義、人際意義和謀篇意義對聲音、語言、圖像、動畫等模態(tài)進行選擇。如何將多種媒體和多種模態(tài)結(jié)合起來是現(xiàn)代語言學(xué)研究需要解決的問題。多模態(tài)理論將意義構(gòu)建的媒介從單維的語言符號擴展到多維的包括各種能傳達意義的多模態(tài)符號。這些早期的研究者為多模態(tài)理論的發(fā)展奠定了基礎(chǔ)，也為我們探討模態(tài)與媒體的關(guān)系提供了理論支持。

二、模態(tài)與媒體的關(guān)系

多模態(tài)理論由五個層面構(gòu)成:文化層面、語境層面、意義層面、形式層面和媒體層面。本文重點研究媒體層面里包含的非語言形式。多模態(tài)話語中涉及的非語言和輔助語言特征在以往的話語分析研究中都被當(dāng)做表達意義的輔助系統(tǒng)，而在多模態(tài)話語分析的研究中這些特征被作為意義的表達模態(tài)得到了充分的重視。非語言和輔助語言在一種模態(tài)無法完成交際的情況下進行補充、調(diào)節(jié)、協(xié)同和強化等作用，便達到了多種模態(tài)共同完成語義表達的交際行為。認知語言學(xué)認為:認知與語言的發(fā)展脫離不開人的感官對外界事物的感知，人的大腦和感官的運作及其運作環(huán)境直接影響到認知與思維，因為客觀事物只有被感知才具有意義，而語言與認知受生理感知功能的影響。人們傳統(tǒng)中認為圖像、顏色和動作等非語言形式在多模態(tài)理論的發(fā)展中不再處于輔助地位，它們正同文字符號一起形成一種更為寬泛的符號資源，共同參與意義構(gòu)建。從媒體的角度講，各種不同的非語言媒體，特別是現(xiàn)代技術(shù)媒體，為話語交際提供了大量新的可選擇的方式。將圖像、視頻等傳達多種模態(tài)信息的方式應(yīng)用到外語教學(xué)中已經(jīng)成為外語教學(xué)的發(fā)展方向，多模態(tài)化教學(xué)也已經(jīng)成為一種新的教學(xué)模式。

在交際過程中運用不同的模態(tài)可以完成不同的交際效果。比如，文字形式利用視覺模態(tài)可以被長期保存，彌補了口頭表達的暫時性和不可保存性;在嘈雜的環(huán)境中可以選擇借用圖像、手勢等幫助完成意義傳達。胡壯麟(2007)認為模態(tài)和媒體的關(guān)系歸根結(jié)底是話語和技術(shù)的關(guān)系，兩者存在著內(nèi)在的聯(lián)系。張德祿(2009)認為模態(tài)和媒體是形式和實體的關(guān)系。不同的模態(tài)要求選擇不同的媒體來完成交際。不同的媒體為交際中模態(tài)的選擇和搭配提供了可參考的依據(jù)。

三、PPT課件多模態(tài)化特征

PPT(Power Point)從多模態(tài)理論建構(gòu)體系的媒體層面通過聲音、圖像、文字、動畫等方式演示教學(xué)文稿，成為高校英語教學(xué)的重要多媒體手段之一。它可以將聲音、文字和圖片同時傳遞給學(xué)生，積極地參與意義與認知的建構(gòu)過程，實現(xiàn)語言符號的多模態(tài)輸入。

(一)快速、清晰、表現(xiàn)力強

PPT課件可將大量文字集中于一個文本并可以反復(fù)使用，任意調(diào)換文字位置以達到不同側(cè)重點的效果。PPT的優(yōu)勢在于可將文本進行顏色、大小、字體、段落編排等手段處理，突出重點難點，將信息直觀化和形象化地呈現(xiàn)在屏幕上，縮短教學(xué)時間，提高教學(xué)效果。在黑板上進行繪制表格和圖畫對教師的繪畫技能要求很高且費時費力，PPT的圖片插入和繪制圖表功能解決了這個難題，教學(xué)內(nèi)容變得多彩而豐富。

(二)多維媒體、多種變化

按照媒體的維度分類:口語、書面語等線性媒體屬于一維媒體;平面的圖形和表格屬于二維媒體;立體圖形諸如房屋設(shè)計圖屬于三維媒體;動態(tài)的圖片錄像等屬于四維媒體。不同的維度對符號有不同的識別度，維度越高對語言符號的外延意義和內(nèi)蘊意義的呈現(xiàn)力越強。PPT可以將這四種維度一一呈現(xiàn)出來，利用不斷變化的形式刺激學(xué)生的聽覺視覺，激發(fā)學(xué)生的學(xué)習(xí)興趣和熱情。與單一枯燥的板書相比，PPT能選擇搭配適當(dāng)?shù)膱D片來增強視覺效果，挑選對應(yīng)的音效增強聽覺沖擊力。

(三)超鏈接功能

PPT的超鏈接功能不僅可以實現(xiàn)幻燈片與幻燈片之間的轉(zhuǎn)換，還可以任意自由地進行幻燈片與外界文件及程序之間的轉(zhuǎn)換、幻燈片與網(wǎng)絡(luò)資源之間的轉(zhuǎn)換，在格式、文檔、時間、空間、文化上實現(xiàn)了跨越式連接。這種多維跨越式連接為學(xué)生提供了接受最新信息的平臺，實現(xiàn)了網(wǎng)絡(luò)資源共享，有助于擴展學(xué)生的視野和思維。

(四)快捷、方便、便于加工

PPT課件的顯著優(yōu)勢在于操作方便，它的文件播放可以設(shè)置為手動或自動、連續(xù)或間斷、鏈接或超鏈接、鼠控或遙控。教師在課堂的任意位置任意時間都可以完成這些操作，做到圖像聲音與授課內(nèi)容同步進行，有效實現(xiàn)對輸入信息的強化，從而改進語言習(xí)得效果。

四、大學(xué)英語課堂中PPT課件的多模態(tài)性研究

(一)PPT課件的視覺模態(tài)

PPT課件在視覺模態(tài)上分為四個類別:1.文字類型(圖1)。2.圖像類型(圖2)。3.圖表類型(圖3)。4.文字+圖像/文字 +圖表類型(圖4，圖5)。每個類別都有其不同的側(cè)重點，滿足了不同的閱讀需求。文字模態(tài)在字形、字號、顏色和風(fēng)格上的變化效果能夠突出語篇文本的重點難點;動態(tài)文字、藝術(shù)字更能將單一枯燥的文本信息生動傳神地表達出來。圖像模態(tài)可以表征人物、地點和事件之間的交際關(guān)系或概念關(guān)系，圖像中的元素可以更深刻地吸引觀看者的注意力。不同的人觀看圖片會產(chǎn)生不同的關(guān)注點和認知結(jié)果，這是因為觀看者與圖片中的世界產(chǎn)生互動，由于認知結(jié)構(gòu)和認知能力不同結(jié)果會構(gòu)建出不同的符號意義，這就給圖片觀看者廣闊的想象空間，無限放大了圖片的認知效果。圖表模態(tài)將對象屬性用統(tǒng)計的數(shù)據(jù)直觀、可視化地表現(xiàn)出來，是對知識挖掘和信息直觀生動感受起關(guān)鍵作用的一種圖形結(jié)構(gòu)。在對所表達內(nèi)容的梳理和傳達上圖表以其獨特的結(jié)構(gòu)形式得到了廣泛的應(yīng)用。圖片或圖表加上文字說明將圖像符號與意義符號更好地整合在一起，使其互為補充，相輔相成。

圖1

圖2

圖3

圖4

圖5

例如，在講授《新視野大學(xué)英語》第四冊讀寫教程第二單元Charlie Chaplin(查理 卓別林)時，可以用文字模態(tài)列出本課學(xué)習(xí)目標(biāo)、計劃學(xué)時、課文進度等內(nèi)容，讓學(xué)生在總體上了解課程安排，做到心中有數(shù)。借助圖片模態(tài)介紹相關(guān)背景知識:卓別林和他最后一任妻子(Oona O’Neill)，卓別林有著復(fù)雜而傳奇的愛情經(jīng)歷，他一生結(jié)婚四次，最后一任妻子同他有著37歲的年齡差距。當(dāng)學(xué)生從課文中了解到這樣的信息一定對他的這位妻子非常好奇，在課程導(dǎo)入這個環(huán)節(jié)向?qū)W生展示兩人的照片并就兩人關(guān)系進行提問會激發(fā)學(xué)生的閱讀興趣。

(二)PPT課件的聽覺模態(tài)

PPT的聲音模態(tài)大致分為兩類:錄音講解和音樂效果。敘述性語篇側(cè)重情感的抒發(fā)和情節(jié)的陳述，例如《新視野大學(xué)英語》讀寫第三冊unit 5 Graceful Hands(優(yōu)雅的雙手)講述了護士和垂死病人之間的感人故事。這一類型語篇適合以播放課文錄音的形式進行講授，先讓學(xué)生對整個故事情節(jié)有所了解，伴隨著朗誦者舒緩帶有感情的講述，學(xué)生能深深地感受到作者與即將離世的克拉克夫人在生命的最后時期產(chǎn)生的相互信任。文章最后一句才表明克拉克夫人的身份——從教30余年的鋼琴教師，此時若能配以鋼琴曲，背景音樂的播放可以起到緩解疲勞的效果，從而間接地起到了強化輸入信息的作用。

聽覺模態(tài)受著音響度、聲調(diào)、語調(diào)、音速等因素的影響，教學(xué)中主要方式之一的講授法是教師通過口頭語言向?qū)W生傳授知識，響度和語調(diào)等因素完全由講授者的聲音條件決定。PPT課件可以彌補個體差異的隨意性，在聲音的屬性設(shè)置上盡力滿足聽者對錄音的各種需求。這種以聲波的形式傳出的信息作用于學(xué)生的聽覺中樞，是一種僅次于視覺的接受語言的能力，可以激發(fā)學(xué)生的興趣，渲染課堂氣氛。

(三)PPT課件的視聽模態(tài)

視聽模態(tài)是視覺模態(tài)和聽覺模態(tài)的結(jié)合，也可稱做視頻模態(tài)。常見的視頻有影像視頻和動畫視頻，其優(yōu)勢是將抽象化的概念以具體形象的動態(tài)圖片展現(xiàn)出來，動作化的信息內(nèi)容具有更大的被視覺器官感知和捕捉的可能性。以《新視野大學(xué)英語》讀寫教程第三冊unit 6 How to Prepare for Earthquakes(如何預(yù)防地震)為例，盡管課文中詳細講解了預(yù)防地震的常規(guī)知識和防御措施，如何將理論應(yīng)用于實踐真正掌握在地震中選取路線逃生是從字面上學(xué)不到的。教師可以通過選取唐山地震、汶川地震的視頻讓學(xué)生產(chǎn)生預(yù)防地震十分重要的意識，更可搜集與地震自救、地震躲避相關(guān)的科普宣傳視頻來幫助學(xué)生真正掌握預(yù)防地震的方法，更完整地理解課文內(nèi)容。

五、結(jié)語

PPT課件運用的是視覺模態(tài)與聽覺模態(tài)的協(xié)作，視覺模態(tài)和聽覺模態(tài)起到相互強化、相互補充的作用，這種多模態(tài)協(xié)作會收到更好的教學(xué)效果。課堂中使用PPT課件的多種模態(tài)可以豐富課堂內(nèi)容。文字解釋可以幫助學(xué)生理解知識內(nèi)容;圖像可以直觀吸引學(xué)生注意。學(xué)生通過調(diào)動各個器官參與課堂學(xué)習(xí)實現(xiàn)主動學(xué)習(xí)，從視覺、聽覺、觸覺、語感等方面全面接受語言知識。只要對圖片、視頻、音頻材料進行恰當(dāng)?shù)倪x擇與運用，教師和媒體通過圖像、聲音等共同創(chuàng)造語言意義，就能為學(xué)生創(chuàng)造出真實的語境，PPT課件的多模態(tài)性在英語課堂中將得到更加充分的發(fā)揮和利用。

［1］ 趙艷芳.認知語言學(xué)概論［M］.上海:上海外語教育出版社，2001:26.

［2］ 顧日國.多媒體、多模態(tài)學(xué)習(xí)剖析［J］.外語電化教學(xué)，2007(2):3-12.

［3］ 胡壯麟.社會符號學(xué)研究中的多模態(tài)化［J］.語言教學(xué)與研究，2007(1):2-8.

［4］ 李戰(zhàn)子.多模式話語的社會符號學(xué)分析［J］.外語研究，2003(5):1.

［5］ 張德祿.多模態(tài)話語分析綜合理論框架探索［J］.中國外語，2009(6):5-10.

［6］ 朱永生.多模態(tài)話語分析的理論基礎(chǔ)與研究方法［J］.外語學(xué)刊，2007(5):10-18.