胡永近

多媒體環(huán)境下的英語專業(yè)聽力教學
——多模態(tài)組合的效能研究

胡永近

通過16周的實驗研究，調(diào)查多媒體環(huán)境下不同模態(tài)組合對學生聽力能力的影響，探討多模態(tài)優(yōu)化組合的制約因素。結(jié)果表明：合理利用多模態(tài)組合可以顯著提高學生聽力能力；多模態(tài)組合的選擇受情景語境的支配；視覺模態(tài)和聽覺模態(tài)之間形成互補關(guān)系時，才能發(fā)揮正效應；英語字幕比漢語字幕更有利于促進學生對聽力語料的理解，因為后者會引起更多的詞匯干擾。

多模態(tài)；英語聽力；多模態(tài)功能；效能

一、多模態(tài)環(huán)境下英語聽力教學研究

多模態(tài)話語指運用聽覺、視覺、觸覺等多種感覺，通過語言、圖像、聲音、動作等多種手段和符號資源進行交際的現(xiàn)象［1］。在教學中合理運用多模態(tài)組合，可以使學生在學習過程中調(diào)動各種感官參與學習，在發(fā)揮正效應條件下，有利于信息的加工和記憶，產(chǎn)生良好的學習效果。然而多模態(tài)學習也是一把雙刃劍，處理不好會分散學習者的注意力，發(fā)生對知識點記憶的干擾，導致瞬間“熱鬧”而事后“空空”之感［2］。

國內(nèi)外學者對多模態(tài)在聽力教學中的應用進行了頗有建樹的研究。Baltova［3］針對加拿大非法語專業(yè)學生的實驗表明：視頻中的二語字幕最有利于幫助學生回憶起聽力資料的單詞和內(nèi)容。Guichon和Mclornan［4］通過實驗證明了多模態(tài)有助于學生對聽力資料的理解而且二語字幕比母語字幕對學生聽力學習更有利。Lambert［5］通過實驗發(fā)現(xiàn)使用母語配音——二語字幕的被試組對聽力材料的理解得分最高，使用二語配音——二語字幕的被試組次之，二語配音——母語字幕模式無助于被試的聽力理解，被試的成績和二語配音——無字幕、無配音——二語字幕無統(tǒng)計性顯著差異。龍宇飛和趙璞［6］通過實驗研究了元認知策略與多模態(tài)交互作用對聽力能力的影響。

本研究選擇母語為漢語、二語為英語的中國英語專業(yè)學生為研究對象，嘗試探討多模態(tài)對聽力水平的影響以及模態(tài)組合的利弊，目的在于探討如何優(yōu)化多模態(tài)組合來促進英語聽力教學。

二、研究方法

（一）研究設計

本項研究中，無關(guān)樣本自變量是聽力材料的播放形式，包括：音頻、音頻和視頻無字幕、音頻和視頻配漢語字幕以及音頻和視頻配英語字幕四種形式；相關(guān)樣本自變量是學生所掌握的多模態(tài)話語分析理論及其技巧的能力。主要因變量是被試在聽力資料播放完畢后根據(jù)筆記完成的英語概要中所包含的語義單位。

（二）研究被試

研究被試為作者所在學校英語專業(yè)大三4個平行班的學生。每班隨機抽取30位學生，以班級為單位分組，對四組學生大二下學期期中考試和期末考試成績進行單因素方差分析，結(jié)果顯示四組成績沒有顯著性差異（期中：F=0.036，P= 0.991＞0.05；期末：F=0.080，P=0.971＞0.05）。教學過程中對每組受試者采取不同方式播放聽力材料：第一組為音頻；第二組為音頻和視頻；第三組為音頻、視頻配漢語字幕；第四組為音頻、視頻配英語字幕。

（三）研究語料、工具與步驟

四位擁有五年之上英語專業(yè)聽力教學經(jīng)驗的中國教師和兩名美國外教共同制定研究語料，共有16篇長度為4-6分鐘不等的VOA新聞，內(nèi)容涉及到政治、經(jīng)濟、文化、科技和外交等不同題材，既保證了聽力內(nèi)容的豐富性，又涉及到英語學習的各個方面。所有視頻根據(jù)研究要求都經(jīng)過技術(shù)處理。研究工具為對學生英語概要中語義單位的統(tǒng)計分析以及就學生具體表現(xiàn)所做的個別訪談。由于學生接受多模態(tài)理論并掌握多模態(tài)聽力教學下的學習方式需要一個適應過程，研究每隔一個月選擇一次上課的學生概要進行對比分析，分別在第四周、第八周、第十二周、第十六周進行測試。

測試在不同的四個多媒體教室進行。調(diào)查過程中，教師以不同方式向四組被試播放聽力材料。所有測試都在同一時間進行且每組嚴格遵守測試步驟：教師向?qū)W生解釋測試步驟、目標和注意事項；向?qū)W生播放聽力材料，學生可以用漢語或英語做筆記；播放完畢后，留五分鐘的暫停時間，學生獨立檢查自己筆記；第二次播放聽力材料，學生做筆記并進行檢查；播放完成，留20分鐘的暫停時間，學生用英語寫出盡可能完整的概要。

研究小組中的六位老師對每篇原文材料多次討論，確定語義單位。所有語義單位對于原文的理解不可或缺，包括新聞主題、時間、地點、人物、事件等基本信息。本項研究選擇分析學生對聽力材料的概要，這種方法更利于研究學生對聽力資料的理解程度。

（四）數(shù)據(jù)收集和分析

研究數(shù)據(jù)根據(jù)計算學生所寫的4次英語概要所包含的語義單位數(shù)量而得。如果學生概要只是寫出和語義單位有關(guān)的單詞、短語或者句子，即使語法不準確，也被定義為已經(jīng)理解該句信息，列入統(tǒng)計范疇。鑒于本校平時考試的英語短文聽寫為30分，研究組決定每次統(tǒng)計成績按滿分30分計算。采用單因素方差分析和Post Hoc事后多重檢驗方法，借助SPSS16.0對所有數(shù)據(jù)進行分析和處理，并結(jié)合對實驗組學生的訪談結(jié)果進行討論。統(tǒng)計分析的顯著性水平設定為а=0.05。

三、分析與討論

（一）多模態(tài)方式對聽力能力的影響

對一學期中的4次測試結(jié)果采用單因素方差分析對數(shù)據(jù)進行分析，發(fā)現(xiàn)合理利用多模態(tài)組合可以有效促進學生聽力能力的提高。具體結(jié)果如下：

第一次的測試結(jié)果拒絕方差齊性，表明此次統(tǒng)計時各模式對聽力水平的影響不具備顯著性。說明第一個月的聽力教學中，學生對多模態(tài)聽力技巧掌握不夠，還無法充分發(fā)揮多模態(tài)優(yōu)勢來提高聽力能力。而第二個月的檢測就顯示出多模態(tài)的優(yōu)勢。

表1 第二次測試的單因素方差分析

表1結(jié)果表明，多模態(tài)環(huán)境下聽力資料的播放方式對學生聽力水平的影響存在顯著性差異（F =26.055，P=0.000＜0.05）。整體來看，多模態(tài)中音頻和視頻內(nèi)容配上英語字幕最能促進學生對聽力內(nèi)容的理解；音頻和視頻內(nèi)容配上漢語字幕次之；音頻和視頻無字幕再次之；單獨的音頻作用最小。為了檢驗具體差異，用Post Hoc進行事后多重檢驗，結(jié)果見表2：

表2 第二次測試的Post Hoc事后多重分析

表2顯示了四個被試組之間的差異：實驗組3分值顯著高于其他各組（P=0.000＜0.05）；實驗組2和實驗組1差異并不明顯（P=0.337＞0.05），和對照組具有很大差異（P=0.034＜0. 05）；實驗組1和對照組之間差異不明顯（P=0. 239＞0.05）。進一步說明了沒有字幕條件下，學生還不能充分利用視覺模態(tài)，且不能充分利用漢語字幕來提高聽力訓練。經(jīng)過另一個月的訓練，學生對于多模態(tài)理論與技巧掌握更加熟練，多模態(tài)組合對聽力的影響更加突出：

表3 第三次測試的單因素方差分析

表3數(shù)據(jù)表明各種方式的影響存在顯著性差異（F=169.758，P=0.000＜0.05）。為了檢驗具體差異，用Post Hoc進行事后多重檢驗，結(jié)果見表4。

表4 第三次測試的Post Hoc事后多重分析

表4表明各組之間存在顯著性差異（P=0.000＜0.05），從而說明學生在經(jīng)過一段時間的訓練之后，掌握了多模態(tài)的優(yōu)勢，可以利用多模態(tài)理論與技巧來提高聽力能力，而合理的多模態(tài)組合可以顯著提高聽力教學效果。第四次的檢測結(jié)果也證明了這一結(jié)論：

表5 第四次測試的單因素方差分析

Post Hoc事后多重檢驗結(jié)果見表6.

表6 第四次測試的Post Hoc事后多重分析

（二）多模態(tài)優(yōu)化組合的影響因素

首先，同一多模態(tài)組合中，不同話語范圍的語料對學生聽力能力影響不同。實際研究中前六次檢測成績呈現(xiàn)反復狀態(tài)，例如第四次選擇的語料為一段關(guān)于美國西部歷史的VOA新聞，第五次檢測時選擇的語料為VOA報導的美軍在阿富汗國內(nèi)的軍事行動。根據(jù)統(tǒng)計，第五次學生分數(shù)普遍低于第四次。根據(jù)對學生的單獨訪談，發(fā)現(xiàn)外語專業(yè)學生中女生所占比例過高，且不太關(guān)心政治問題，對阿富汗戰(zhàn)爭不了解。而對美國西部歷史卻非常熟悉，接觸過大量的相關(guān)資料，很容易理解聽力資料內(nèi)容。另外通過前六次統(tǒng)計和學生訪談，還發(fā)現(xiàn)學生對科技語料的聽力理解最差，其次是政治經(jīng)濟和軍事，最容易的是歐美文化和文學。

其次，教師是制約多模態(tài)聽力教學效果的重要因素。多模態(tài)教學環(huán)境下，教師需要根據(jù)課程內(nèi)容和學生實際選擇合適的模態(tài)組合，把多模態(tài)理論與方法貫徹到實際教學中，培養(yǎng)學生利用多模態(tài)接收、加工并輸出有效信息的能力。學生訪談記錄顯示，聽力教學中教師適當?shù)恼{(diào)控和引導，會幫助學生有效利用多模態(tài)渠道理解聽力資料內(nèi)容。

再次，學生是多模態(tài)聽力教學的關(guān)鍵因素。學生的學習目標、學習能力和學習動力決定了學生是否能夠掌握多模態(tài)聽力技巧，以及是否能充分發(fā)揮多模態(tài)優(yōu)勢。此項研究主要分析多模態(tài)對學生整體聽力能力的影響，但是針對學生單獨因素的分析表明，如果學生不能掌握多模態(tài)話語分析理論及聽力技巧，對小組能力促進效果最好的多模態(tài)組合不能確保對每個學生都是最佳的。

（三）不同模態(tài)方式在聽力教學中的利弊

聽覺（音頻）模態(tài)作為聽力課程的主要手段，一直被廣泛的應用于聽力課堂，對于學生聽力能力的訓練有一定程度的幫助。但是研究結(jié)果表明，單獨運用聽覺模態(tài)的效果不如綜合運用多種模態(tài)的效果更好。多種感官同時使用，信息可以經(jīng)過多渠道傳到大腦，經(jīng)過后者的整合作用，形成感覺統(tǒng)合，更容易促進人們對于信息的理解與認知［7］。

視覺模態(tài)和聽覺模態(tài)形成互補關(guān)系時，才能促進聽力能力提高，否則冗余信息會阻礙學生對視覺信息的接收、加工和輸出，從而延緩聽力過程。例如第一次統(tǒng)計測試中（以下例子除特別指出，均來自于同一語料）語義單位的第10、11兩條提到羅斯?？偨y(tǒng)以前住在北達科他州，但是第二組學生概要中語義單位不如第一組多。根據(jù)對學生的個別訪談發(fā)現(xiàn)，其原因是這一語義信息是畫廊工作人員以轉(zhuǎn)述方式提到，視頻中并沒有關(guān)于北達科他州的畫面，只有工作人員和記者。視覺模態(tài)和聽覺模態(tài)形成非互補關(guān)系，這時視覺信息對聽覺信息幫助不明顯，或者說并沒有幫助。

字幕對一些信息的理解，尤其是在理清原文中的歧義方面，具有決定性作用。第19項的牛仔褲（waist overall）一詞，雖然所有學生都知道“overall”，但是前兩組學生英語概要中很少使用該詞。而視頻加上字幕，學生的理解顯著提高，尤其是實驗組3，有22位學生寫出該語義單位。另外，在涉及到專有名詞時，字幕的作用尤為顯著，尤其是英語字幕，對學生的理解能力和寫作概要影響最大。此時，學生接受信息的渠道越多，對聽力材料的理解越透徹（第3，8，10，11，24等各項）。

在聽力材料相同且被測試者知識水平大致相同情況下，英語字幕比漢語字幕更容易促進學生對聽力材料的理解。顯然，把英文材料翻譯成漢語字幕會導致一些理解問題，例如第19項中的“waist overall”在漢語字幕里是“牛仔褲”，在實驗組2寫出該語義單位的學生中，無一例外用了“Jeans”一詞。顯然，漢語在很大程度上干涉了學生對于英語詞匯的理解，學生往往把注意力集中在漢語字幕而不是英語聽力材料上，母語負遷移影響學生聽力輸出水平。

四、啟示

首先，多媒體環(huán)境下的多模態(tài)外語教學，尤其是聽力教學已成為外語專業(yè)教學改革重要的一個環(huán)節(jié)，外語專業(yè)應該借助計算機和網(wǎng)絡技術(shù)，為教師和學生提供聽力教學的必要設備、技術(shù)指導與服務。

其次，多模態(tài)組合的設計是多模態(tài)教學中最重要環(huán)節(jié)。在設計英語聽力教學方案中，教師選擇模態(tài)要充分考慮教學內(nèi)容所涉及的領(lǐng)域（話語范圍），充分了解學生的情況，以及學生與教師的關(guān)系（話語基調(diào)），以及教學的條件和場所等（話語方式）。此外，教師必須學會如何利用各模態(tài)之間協(xié)同、強化或互補關(guān)系來提高教學質(zhì)量。如果不同模態(tài)產(chǎn)生矛盾、相互抵消、相互無關(guān)、互不銜接等現(xiàn)象，還可能降低教學效果。從這個意義上講，模態(tài)的選擇要以增加正效應為原則［8］。

再次，外語專業(yè)需要加強師資培訓。教師不僅要掌握所教課程的相關(guān)知識，還需要掌握多媒體應用于網(wǎng)絡技術(shù)，能夠充分發(fā)揮網(wǎng)絡資源，擴展學生知識信息量，改革聽力教學內(nèi)容。多模態(tài)話語分析理論應該成為外語教師必備的素質(zhì)之一，多模態(tài)對于外語教學的促進作用已被國內(nèi)外學者研究所證明。外語教師應學會根據(jù)各種制約因素來確定多模態(tài)的最佳模式。另外，教師在教學的各個環(huán)節(jié)調(diào)整自己角色，當好多媒體操作者、多模態(tài)教學設計者、知識的領(lǐng)航者和學習促進者，必須擁有靈活開放的思維和參與精神、快速應變能力、組織能力。

學生是多模態(tài)聽力教學的主要受益者，應該充分發(fā)揮自己的創(chuàng)造性和思維能力，掌握多模態(tài)理論與聽力技巧來提高聽力能力。由于學生聽力水平存在差異以及對不同模態(tài)的接受能力不同，聽力教學應以學生實際能力來分班上課，不應以原來班級為單位接受同一教學模式。另外，對于學生聽力成績的評價應采用多元評估方式，改變過去傳統(tǒng)的根據(jù)聽力考試成績判斷學生聽力能力的單一模式。

［1］張德祿.多模態(tài)話語分析綜合理論框架探索［J］.中國外語，2009a，（1）：24-30.

［2］顧曰國.多媒體、多模態(tài)學習剖析［J］.外語電化教學，2007（2）：3-12.

［3］Baltova，I.Multisensory Language Teaching in a Multidimensional Curriculum：The Use of Authentic Bimodal Video in Core French［J］.Canadian Modern Language Review，1999，56（1），32-48.

［4］Guichon，N.&McLornan，S.The effects of multimodality on L2learners：Implications for CALL resource design［J］.System，2008（1）：85-93.

［5］Lambert，et.al.Choosing the Languages of Subtitles and Spoken Dialogues for Media Presentations：Implications for Second Language Education［J］.Applied Psycholinguistics，1981（2）：133-144.

［6］龍宇飛，趙 璞.大學英語聽力教學中元認知策略與多模態(tài)交互研究［J］.外語電化教學（128）：58-62.

［7］Ayres.A.Jean.Sensory Integration and the Child［J］.Los Angeles：Western Psychological Service，1980.

［8］張德祿.多模態(tài)話語理論與媒體技術(shù)在外語教學中的應用［J］.外語教學，2009b，（4）：15-20.

Teaching English-listening via Multimedia——a study on the efficiency of multimodality

Hu Yongjin

This paper presents results of a pilot study investigating the effects of multimodality upon second language comprehension.The results indicate that comprehension improves when learners are exposed to a text via reasonable multimodality.What's more，the modality of vision can show positive function when it corresponds to the auditory information.In addition，L2subtitling is more beneficial than L1because it causes less lexical interference.

multimedia；multimodality；English-listening；efficiency

李應青

H319.9

A

1673-1794（2014）03-0114-04

胡永近，宿州學院外國語學院講師，博士生，研究方向：外語教學（安徽宿州234000）。

安徽省高等學校優(yōu)秀青年人才基金項目（2010SQRW146）

2013-11-15