肖好章+劉玉婷

〔摘要〕文章報(bào)道了一項(xiàng)實(shí)驗(yàn)研究，考察了無(wú)字幕視頻和純音頻兩種不同的電影輸入形式對(duì)商務(wù)英語(yǔ)專(zhuān)業(yè)學(xué)生聽(tīng)力理解的影響。無(wú)字幕視頻和純音頻可以看作英語(yǔ)學(xué)習(xí)的不同模態(tài)。此外，還分析討論了高分組與低分組學(xué)生對(duì)英文電影的視頻畫(huà)面和音頻的依賴(lài)程度。研究結(jié)果顯示：1）以畫(huà)面、聲音和語(yǔ)言多模態(tài)播放為主的無(wú)字幕視頻形式對(duì)電影內(nèi)容的聽(tīng)力理解具有輔助作用；無(wú)字幕視頻和純音頻兩種不同的輸入形式在提高英文電影的聽(tīng)力理解方面具有顯著差異，這與音畫(huà)關(guān)聯(lián)度相關(guān)。2）與高分組的學(xué)生對(duì)比，低分組學(xué)生對(duì)于電影視頻畫(huà)面的依賴(lài)性更強(qiáng)。文章還討論了研究結(jié)果對(duì)多模態(tài)理論和應(yīng)用研究的啟示。

〔關(guān)鍵詞〕英文電影；音頻；視頻；聽(tīng)力理解；多模態(tài)

〔中圖分類(lèi)號(hào)〕H0〔文獻(xiàn)標(biāo)識(shí)碼〕A〔文章編號(hào)〕1008-2689（2017）06-0019-06

引 言

采用觀看英文電影的方式進(jìn)行英語(yǔ)教學(xué)是多媒體和互聯(lián)網(wǎng)背景下的普遍做法。如何觀看英文電影才能提高學(xué)生的聽(tīng)力和聽(tīng)力理解水平是當(dāng)下亟待解決的問(wèn)題。要解決這個(gè)問(wèn)題，就必須先明白觀影、聽(tīng)力和聽(tīng)力理解三者之間的關(guān)系。王初明[1]認(rèn)為“聽(tīng)”是綱，說(shuō)、讀、寫(xiě)、譯是目，綱舉目張，他表示只要聽(tīng)的能力提高了，其他的能力也會(huì)得到改善。然而，聽(tīng)力理解水平不同于聽(tīng)力水平。左煥琪[2]認(rèn)為聽(tīng)力理解是人腦有意識(shí)地、積極主動(dòng)地對(duì)新聽(tīng)到的語(yǔ)言進(jìn)行加工的過(guò)程。在這個(gè)過(guò)程里，聽(tīng)者通過(guò)一定情境中的信息提供的線(xiàn)索和已有的社會(huì)、文化和語(yǔ)言知識(shí)，利用多種策略以達(dá)到理解的目的。顯而易見(jiàn)，聽(tīng)力可以是一個(gè)不帶任何解讀和回應(yīng)的聽(tīng)的能力，而聽(tīng)力理解卻涉及大腦對(duì)信息的選取和加工這個(gè)復(fù)雜過(guò)程。這個(gè)復(fù)雜的聽(tīng)力理解過(guò)程中存在一些干擾或促進(jìn)聽(tīng)力理解的外部因素，如音頻和視頻兩種不同輸入形式。

隨之而來(lái)的現(xiàn)實(shí)問(wèn)題是，外語(yǔ)教學(xué)中，視頻與音頻對(duì)聽(tīng)力理解作用是否不同？不同聽(tīng)力水平組的學(xué)生聽(tīng)力理解時(shí)對(duì)視頻或音頻的依賴(lài)程度是否一樣？如果對(duì)前一問(wèn)題的回答是肯定的，那就意味著視頻中的音畫(huà)關(guān)聯(lián)緊密，學(xué)生認(rèn)知難度低，認(rèn)知加工效果更好。但若回答是否定的，則表明視頻畫(huà)面與語(yǔ)言不相關(guān)，對(duì)聽(tīng)力理解有干擾作用，認(rèn)知加工難度大，音畫(huà)協(xié)同效果差。第二問(wèn)的回答若是肯定的，說(shuō)明視頻與音頻對(duì)聽(tīng)力理解影響毫無(wú)差異，反之不然。無(wú)論如何，假定需要實(shí)驗(yàn)驗(yàn)證。

一、 理論及其應(yīng)用研究背景

多模態(tài)話(huà)語(yǔ)分析理論是指運(yùn)用聽(tīng)覺(jué)、視覺(jué)、觸覺(jué)等多種人體感覺(jué)，通過(guò)語(yǔ)言、圖像、聲音、動(dòng)作等多種手段和符號(hào)資源進(jìn)行交際的現(xiàn)象[3]。Van Leeuwen是早期研究多模態(tài)領(lǐng)域的學(xué)者之一，受系統(tǒng)功能語(yǔ)言學(xué)理論影響頗深。他借鑒系統(tǒng)功能語(yǔ)言學(xué)的三種元功能，把符號(hào)模態(tài)也同時(shí)分為三種元功能（圖像、文字和動(dòng)作），而他主要關(guān)注不同的聲音資源以及有意義的闡釋[4]。多模態(tài)研究探討了圖像在表達(dá)意義上和語(yǔ)言的相互作用。顧曰國(guó)[5]認(rèn)為人類(lèi)通過(guò)感官與外界互動(dòng)，用單個(gè)感官叫做單模態(tài)，兩個(gè)就叫做雙模態(tài)，多個(gè)叫多模態(tài)。張德祿[3]表示，“運(yùn)用多模態(tài)的理由是：一種模態(tài)不足以充分表達(dá)交際者的意義，從而利用另一者來(lái)強(qiáng)化，補(bǔ)充，調(diào)節(jié)，協(xié)同，達(dá)到更充分或者盡量充分表達(dá)意義，讓聽(tīng)話(huà)者理解話(huà)語(yǔ)的目的?！痹诙嗄B(tài)理論基礎(chǔ)上，學(xué)者們也紛紛通過(guò)實(shí)證研究試圖實(shí)現(xiàn)多模態(tài)在實(shí)際學(xué)習(xí)中的運(yùn)用。張征[6]研究發(fā)現(xiàn)多模態(tài)PPT演示教學(xué)模式對(duì)改變學(xué)生的學(xué)習(xí)態(tài)度具有積極作用。然而，多模態(tài)也是把雙刃劍，若處理不好會(huì)分散學(xué)習(xí)者的注意力，干擾對(duì)知識(shí)點(diǎn)的記憶，導(dǎo)致瞬間“熱鬧”而事后“空空”之感[5]。

多模態(tài)理論在英文電影中表現(xiàn)為圖像、聲音和語(yǔ)言。有學(xué)者認(rèn)為，相較于相同內(nèi)容的純音頻單模態(tài)材料，視聽(tīng)結(jié)合的材料能夠降低聽(tīng)的難度[7]。Ginther[8]也表明視頻能夠?qū)σ纛l信息進(jìn)行場(chǎng)景語(yǔ)境的補(bǔ)充。季月和石玲[9]則表明過(guò)量或不相關(guān)、不匹配的視聽(tīng)信息可能會(huì)干擾視聽(tīng)的理解過(guò)程。為了探究視頻（視聽(tīng)結(jié)合）和純音頻對(duì)于聽(tīng)力理解的作用，國(guó)內(nèi)一些學(xué)者通過(guò)實(shí)證研究有了進(jìn)一步的發(fā)現(xiàn)。胡永近和張德祿[10]通過(guò)實(shí)證研究發(fā)現(xiàn)音頻、視頻配英語(yǔ)字幕的多模態(tài)組合對(duì)學(xué)生聽(tīng)力內(nèi)容理解的促進(jìn)作用最大，音頻、視頻配漢語(yǔ)字幕作用次之，音頻、視頻無(wú)字幕作用第三，而單獨(dú)音頻的作用最小。查強(qiáng)[11]通過(guò)實(shí)驗(yàn)研究表明視頻組和音頻組得分之間具有很大差異，視頻對(duì)聽(tīng)力理解具有促進(jìn)作用。但歐陽(yáng)素珍[12]從多模態(tài)理論的視角出發(fā)，通過(guò)實(shí)驗(yàn)研究發(fā)現(xiàn)：視頻配英文字幕的多模態(tài)組合對(duì)學(xué)生的聽(tīng)力內(nèi)容理解促進(jìn)最大，純音頻次之，其次是視頻配中文字幕的多模態(tài)組合，而音頻配無(wú)字幕的視頻組合作用最小。雖然視頻在一定程度上會(huì)分散學(xué)生注意力造成“分裂”效應(yīng)，但在目標(biāo)語(yǔ)言的配合下，能在一定程度上抵制視頻的干擾，有利于學(xué)生的聽(tīng)力理解。

綜上所述，視頻與音頻對(duì)聽(tīng)力理解的作用研究結(jié)果尚未取得一致的實(shí)驗(yàn)結(jié)果。這是為什么？本文認(rèn)為，原因可能有：首先，實(shí)驗(yàn)設(shè)計(jì)不合理，可能忽略了相關(guān)變量，如視頻材料的音畫(huà)相關(guān)度；其次，擴(kuò)大了無(wú)關(guān)變量的作用，如視聽(tīng)時(shí)邊聽(tīng)邊讀字幕存在干擾負(fù)面效應(yīng)，且不說(shuō)是行為主義的機(jī)械學(xué)習(xí)方法，但至少是閱讀理解發(fā)揮了一定的作用，而不是聽(tīng)力理解。再者，可能與量程有關(guān)。查強(qiáng)的實(shí)證研究的測(cè)試題目?jī)H是單項(xiàng)選擇題，因而測(cè)試范圍和效度存在局限。鑒于此，我們假設(shè)視頻這種多模態(tài)形式理應(yīng)比純音頻的單模態(tài)形式要更有助于英文電影的聽(tīng)力理解，此假設(shè)能否得到數(shù)據(jù)的支撐呢？本文擬就英文電影無(wú)字幕的視頻（視聽(tīng)結(jié)合）和純音頻對(duì)聽(tīng)力理解的影響進(jìn)行交叉實(shí)驗(yàn)研究。

二、 實(shí)證研究

（一） 研究問(wèn)題

本研究主要回答以下問(wèn)題：

1. 英文電影多模態(tài)形式的無(wú)字幕視頻與單模態(tài)形式的純音頻這兩種不同的材料輸入形式對(duì)商務(wù)英語(yǔ)專(zhuān)業(yè)學(xué)生的聽(tīng)力理解影響是否不同？ 如不同，是何因素導(dǎo)致的？

2. 視頻和純音頻對(duì)高分組學(xué)生和低分組學(xué)生的影響是否不同？若不同，不同之處和其出現(xiàn)的原因分別是什么？

（二） 實(shí)驗(yàn)研究設(shè)計(jì)

實(shí)驗(yàn)研究：自變量為材料的輸入形式（純音頻/視頻），因變量為聽(tīng)力理解水平，研究的目的是研究英文電影的多模態(tài)（畫(huà)面+聲音+語(yǔ)言）和純音頻哪個(gè)更有利于英語(yǔ)專(zhuān)業(yè)學(xué)生的聽(tīng)力理解，以及不同水平的學(xué)生是否對(duì)單/多模態(tài)有不同的依賴(lài)程度。endprint

實(shí)驗(yàn)材料均采取電影剪輯片段作為視頻或音頻的原材料。每次實(shí)驗(yàn)采用的實(shí)驗(yàn)素材均選自英文電影的精彩片段，每次實(shí)驗(yàn)中共有3個(gè)電影片段，三個(gè)片段不全是同一部影片的內(nèi)容。第一次實(shí)驗(yàn)的三個(gè)片段分別選自英文電影《天生一對(duì)》Annie和Hallie姐妹相認(rèn)的片段，《天生一對(duì)》Annie和Hallie談?dòng)嘘P(guān)母親的事，《克萊默夫婦》夫婦二人在法庭上的發(fā)言。第二次實(shí)驗(yàn)的三個(gè)片段分別選自英文電影《公主日記》公主冒雨赴約片段，《穿條紋睡衣的男孩》仆人為受傷的小男孩包扎的片段，《穿條紋睡衣的男孩》飯桌上的聊天片段。實(shí)驗(yàn)中有關(guān)視頻的材料均為英文電影去字幕后的僅保留畫(huà)面和聲音的電影片段，有關(guān)純音頻的材料均為英文電影的純音頻片段。同一次實(shí)驗(yàn)中的影片內(nèi)容和測(cè)試題均一致，僅僅是視頻和音頻形式不同而已。被試均在觀看電影片段或聽(tīng)取純音頻之后才統(tǒng)一進(jìn)行測(cè)試。測(cè)試統(tǒng)一采用測(cè)試題的方式。測(cè)試題包括選擇題，簡(jiǎn)答題和判斷題，總分為100分，涉及的測(cè)試題目?jī)?nèi)容主要包括基于電影內(nèi)容細(xì)節(jié)題和理解題。學(xué)生的聽(tīng)力理解根據(jù)分?jǐn)?shù)進(jìn)行判定。

（三） 研究方法

1. 被試

本研究的被試是60名來(lái)自某大學(xué)商務(wù)英語(yǔ)專(zhuān)業(yè)二年級(jí)的學(xué)生，他們分別屬于兩個(gè)自然班級(jí)（分別用A， B班進(jìn)行標(biāo)記），每個(gè)班級(jí)30人，他們均有至少10年的英語(yǔ)學(xué)習(xí)經(jīng)歷。在實(shí)驗(yàn)開(kāi)始前，所有被試都參加了一次英語(yǔ)水平測(cè)試。A班的平均分為672，B班的平均分為654，兩個(gè)班的成績(jī)無(wú)顯著差異（F=0686，p=0506）。

2. 實(shí)驗(yàn)步驟

被試者為A班和B班，兩個(gè)班的測(cè)試題相同，由兩套難易度相同的試題組成，在前后兩周做交叉實(shí)驗(yàn)。第一次實(shí)驗(yàn)，A班在教室觀看已經(jīng)剪輯好去字幕僅保留畫(huà)面和聲音的英文電影片段，標(biāo)記為A1，此時(shí)，B班則作為對(duì)照組在環(huán)境相同的教室進(jìn)行音頻的實(shí)驗(yàn)，標(biāo)記為B1；第二次實(shí)驗(yàn)，A班在教室進(jìn)行音頻實(shí)驗(yàn)，標(biāo)記為A2；B班則在環(huán)境相同的教室進(jìn)行視頻實(shí)驗(yàn)，標(biāo)記為B2。

每次實(shí)驗(yàn)開(kāi)始前，給予兩個(gè)實(shí)驗(yàn)組相同的指導(dǎo)語(yǔ)。觀看電影片段的視頻或聽(tīng)取音頻內(nèi)容之后，監(jiān)考人員才發(fā)放測(cè)試題。因此學(xué)生必須根據(jù)個(gè)人需要用筆記記下相關(guān)的內(nèi)容。連續(xù)播放2遍第一個(gè)片段之后，發(fā)放測(cè)試題中的選擇題部分試題，在規(guī)定時(shí)間答題后統(tǒng)一收回；播放2遍第二個(gè)片段之后，發(fā)放測(cè)試題中的簡(jiǎn)答題部分，在規(guī)定時(shí)間答題后統(tǒng)一收回；播放2遍第三個(gè)片段之后發(fā)放測(cè)試題中的判斷題試題，在規(guī)定時(shí)間答題后統(tǒng)一回收；至此，第一次實(shí)驗(yàn)結(jié)束。一周后，進(jìn)行第二次實(shí)驗(yàn)。兩次的實(shí)驗(yàn)素材是內(nèi)容不同的英文電影片段，同為三個(gè)片段，測(cè)試題題型一樣，僅影片內(nèi)容和測(cè)試題內(nèi)容不同。根據(jù)第一次實(shí)驗(yàn)的步驟完成相應(yīng)的第二次實(shí)驗(yàn)測(cè)試。

（四） 結(jié)果與分析

針對(duì)本實(shí)驗(yàn)所要研究的問(wèn)題，將實(shí)驗(yàn)的數(shù)據(jù)輸入SPSS 軟件分析得到實(shí)驗(yàn)結(jié)果。

1. 多模態(tài)視頻和單模態(tài)音頻的測(cè)試結(jié)果

從表2顯示的兩次實(shí)驗(yàn)結(jié)果可以看出，在同一環(huán)境下，第一次實(shí)驗(yàn)中，被試運(yùn)用視頻形式觀看英文電影與純音頻形式聽(tīng)取電影內(nèi)容并無(wú)顯著性差異（P=0.073>0.05），而在第二次實(shí)驗(yàn)中，視頻和純音頻形式的差異極為顯著（P=0.000<0.05），但根據(jù)表1數(shù)據(jù)顯示，兩次實(shí)驗(yàn)中，視頻形式都比純音頻形式更有助于英文電影的聽(tīng)力理解（A1平均分86.15>B1平均分82.33， 平均差為3.821；A2平均分63.82

2. 視頻和音頻對(duì)高分組學(xué)生和低分組學(xué)生的影響

上述實(shí)驗(yàn)數(shù)據(jù)僅僅顯示了視頻和音頻兩種不同輸入形式對(duì)兩個(gè)實(shí)驗(yàn)班級(jí)的聽(tīng)力理解存在不同程度的差異。為了進(jìn)一步研究不同水平的學(xué)生對(duì)于兩種輸入形式的受益情況，我們把實(shí)驗(yàn)成績(jī)進(jìn)行分組，高于中位數(shù)的則為高分組，低于中位數(shù)的為低分組，分為A1高，A1低，A2高，A2低，B1高，B1低，B2高，B2低八組數(shù)據(jù)，輸入SPSS進(jìn)行分析得出表3如下。

如表3所示，對(duì)于低分組的被試學(xué)生來(lái)說(shuō)，兩次實(shí)驗(yàn)都表明視頻和音頻兩種輸入形式對(duì)其聽(tīng)力理解具有顯著性的差異（p值均為0.000）；對(duì)于高分組的被試學(xué)生來(lái)說(shuō)，第一次實(shí)驗(yàn)表明視頻和音頻的輸入形式對(duì)其聽(tīng)力理解沒(méi)有顯著性差異（p值為0.558），但在第二次實(shí)驗(yàn)中卻出現(xiàn)了顯著性差異（p值為0.000）。結(jié)合多模態(tài)視頻和單模態(tài)音頻的實(shí)驗(yàn)數(shù)據(jù)即表2可知，第一次實(shí)驗(yàn)中視頻和音頻未出現(xiàn)顯著性差異是由于第一次實(shí)驗(yàn)的高分組的測(cè)試成績(jī)未出現(xiàn)顯著性差異。同時(shí)從表3可以看出，低分組對(duì)視頻畫(huà)面的依賴(lài)感要比高分組強(qiáng)（第一次實(shí)驗(yàn)高分組在視頻和音頻上無(wú)顯著的差異，而低分組兩次實(shí)驗(yàn)都顯示出顯著性差異）。

三、 討 論

由于本實(shí)驗(yàn)主要研究英文電影的多模態(tài)視頻和純音頻兩種不同的材料輸入形式哪個(gè)更有助于英語(yǔ)專(zhuān)業(yè)學(xué)生的聽(tīng)力理解以及視頻和純音頻對(duì)高分組學(xué)生和低分組學(xué)生的影響是否存在不同？討論部分主要分為多模態(tài)形式對(duì)英文電影聽(tīng)力理解的作用以及視頻和音頻對(duì)高分組學(xué)生和低分組學(xué)生的不同影響兩個(gè)部分展開(kāi)。

（一） 英文電影的多模態(tài)形式對(duì)英語(yǔ)專(zhuān)業(yè)生聽(tīng)力理解的作用

針對(duì)研究問(wèn)題1：英文電影多模態(tài)形式的無(wú)字幕視頻與單模態(tài)形式的純音頻這兩種不同的材料輸入形式對(duì)商務(wù)英語(yǔ)專(zhuān)業(yè)學(xué)生的聽(tīng)力理解影響是否不同？ 如有不同，是何因素導(dǎo)致的？根據(jù)研究的數(shù)據(jù)顯示，在同一環(huán)境下，被試在第一次實(shí)驗(yàn)運(yùn)用視頻形式觀看英文電影與純音頻形式聽(tīng)取電影內(nèi)容并無(wú)顯著性差異，而在第二次實(shí)驗(yàn)中，視頻和純音頻形式的差異極為顯著，但兩次實(shí)驗(yàn)均表明視頻形式都比純音頻形式更有助于英文電影的聽(tīng)力理解， 這與查強(qiáng)[11]音頻和視頻對(duì)學(xué)生聽(tīng)力理解影響的結(jié)果吻合，也與胡永近和張德祿[10]的實(shí)驗(yàn)發(fā)現(xiàn)相符，同時(shí)也進(jìn)一步證實(shí)了Romero & Arévalo [13]發(fā)現(xiàn)的多模態(tài)模式更能促進(jìn)學(xué)生對(duì)聽(tīng)力材料的理解，但是不同模態(tài)的作用方式不同。然而，多模態(tài)組合的不同也會(huì)直接影響其對(duì)應(yīng)的效果。在本實(shí)驗(yàn)中，我們選用畫(huà)面和聲音結(jié)合的多模態(tài)視頻形式與單模態(tài)的純音頻進(jìn)行對(duì)比，結(jié)果顯示多模態(tài)的形式對(duì)聽(tīng)力理解具有一定的輔助作用，與歐陽(yáng)素珍[12]的研究發(fā)現(xiàn)不一致。

筆者認(rèn)為，造成第一次實(shí)驗(yàn)視頻和音頻無(wú)顯著性差異的原因是選取的實(shí)驗(yàn)素材中的畫(huà)面圖像與聲音的聯(lián)系不夠緊密，即音畫(huà)協(xié)同不太好，因此視頻中的畫(huà)面圖像無(wú)法起到張德祿[3]所說(shuō)模態(tài)之間的“互補(bǔ)關(guān)系”。而在第二次實(shí)驗(yàn)中的實(shí)驗(yàn)素材，其畫(huà)面和聲音有較大的聯(lián)系。例如影片《公主日記》片段中女主角淋完大雨出現(xiàn)時(shí)，記者與她的對(duì)話(huà)是關(guān)于衣著外貌的描述，而這也正是測(cè)試題中的一小題單選題，這時(shí)，視頻組就理解更好，被試聽(tīng)解時(shí)能根據(jù)畫(huà)面猜測(cè)新單詞或新信息。而在第一次進(jìn)行的實(shí)驗(yàn)中，由于選取的影片剪輯是一般的談話(huà)，音畫(huà)之間無(wú)太大的必然聯(lián)系，因此視頻組和音頻組的差異并不顯著。這同時(shí)也說(shuō)明了當(dāng)視頻中的音畫(huà)有關(guān)或匹配度較高時(shí)，其對(duì)聽(tīng)力理解的輔助作用會(huì)更加明顯。然而，研究表明無(wú)論是在第一次實(shí)驗(yàn)還是第二次實(shí)驗(yàn)，電影的多模態(tài)視頻形式對(duì)英文聽(tīng)力理解的作用都不會(huì)比單模態(tài)純音頻差，因此本實(shí)驗(yàn)未發(fā)現(xiàn)顧曰國(guó)[5]所說(shuō)的多模態(tài)帶來(lái)的“副作用”。但卻發(fā)現(xiàn)與音頻不相關(guān)的視頻畫(huà)面在聽(tīng)解時(shí)起不到協(xié)同作用，這或許是一種資源浪費(fèi)。

（二） 視頻和音頻對(duì)高分組學(xué)生和低分組學(xué)生的影響

針對(duì)研究問(wèn)題2：視頻和純音頻對(duì)高分組學(xué)生和低分組學(xué)生的影響是否不同？若有不同，不同之處和其出現(xiàn)的原因分別是什么？根據(jù)表3的數(shù)據(jù)，我們發(fā)現(xiàn)低分組的被試學(xué)生在兩次實(shí)驗(yàn)中都反映出視頻和音頻兩種輸入形式對(duì)聽(tīng)力理解具有顯著性的差異；對(duì)于高分組的被試學(xué)生來(lái)說(shuō)，第一次實(shí)驗(yàn)表明視頻和音頻的輸入形式對(duì)其聽(tīng)力理解沒(méi)有顯著性差異，但在第二次實(shí)驗(yàn)中卻出現(xiàn)了顯著性差異且第一次實(shí)驗(yàn)視頻和音頻沒(méi)有顯著性差異的原因是第一次實(shí)驗(yàn)的高分組的測(cè)試成績(jī)未出現(xiàn)顯著性差異，由此可見(jiàn)，低分組對(duì)視頻畫(huà)面的依賴(lài)感要比高分組強(qiáng)。根據(jù)OMalley & Chamot[14]所說(shuō)，優(yōu)秀的聽(tīng)力學(xué)習(xí)者都善于集中其注意力。由此，高分組學(xué)生較低分組學(xué)生更善于集中注意力，加上高分組學(xué)生本身較強(qiáng)的聽(tīng)力理解能力，此外，聽(tīng)力理解還受多方面因素的影響，在聲音輸入后，聽(tīng)者通過(guò)自身的個(gè)人文化背景，經(jīng)驗(yàn)等對(duì)輸入的信息進(jìn)行解碼理解[15]，高分組學(xué)生可能通過(guò)平時(shí)的學(xué)習(xí)積累豐富了各方面的認(rèn)識(shí)，為聽(tīng)力理解提供了“養(yǎng)料”，于是對(duì)他們來(lái)說(shuō)有無(wú)畫(huà)面信息借助和純音頻并無(wú)太大的差別。而對(duì)于低分組的學(xué)生來(lái)說(shuō)，可能自身的聽(tīng)力理解技能有所欠缺，因此畫(huà)面信息能夠彌補(bǔ)聽(tīng)力上的不足，進(jìn)而達(dá)到Cross[16]提及的視頻信息能夠促進(jìn)對(duì)話(huà)語(yǔ)的理解程度。因此，對(duì)于低分組學(xué)生來(lái)說(shuō)，兩次實(shí)驗(yàn)才會(huì)呈現(xiàn)出視頻和音頻的顯著性差異，且視頻信息有助于其聽(tīng)力理解。

四、 結(jié) 語(yǔ)

本研究發(fā)現(xiàn)：一是以畫(huà)面、聲音和語(yǔ)言多模態(tài)播放為主的無(wú)字幕視頻形式對(duì)電影內(nèi)容的聽(tīng)力理解具有輔助作用；二是無(wú)字幕視頻和純音頻兩種不同的輸入形式對(duì)英文電影的聽(tīng)力理解作用具有顯著性差異；但與高分組的學(xué)生對(duì)比，低分組學(xué)生對(duì)于電影視頻畫(huà)面的依賴(lài)感更強(qiáng)。

本研究的理論意義在于：多模態(tài)理論對(duì)外語(yǔ)課堂教學(xué)應(yīng)用價(jià)值確實(shí)存在，可以?xún)?yōu)化外語(yǔ)教學(xué)語(yǔ)境，改善語(yǔ)境效應(yīng)。但多模態(tài)也是把雙刃劍，因而要合理有效利用。我們認(rèn)為，關(guān)于電影中多模態(tài)，畫(huà)面和動(dòng)作與語(yǔ)音的相關(guān)性尤其重要，畫(huà)面和動(dòng)作屬于視覺(jué)處理，與聽(tīng)覺(jué)處理具有正相關(guān)的作用。而不相關(guān)的畫(huà)面和動(dòng)作則對(duì)聽(tīng)力理解產(chǎn)生干擾效應(yīng)。再者，無(wú)關(guān)的畫(huà)面和動(dòng)作輸入尚且有干擾效應(yīng)，字幕輸入要求的視覺(jué)加工處理難度更大，是否也會(huì)干擾和影響學(xué)生聽(tīng)力發(fā)展（閱讀字幕是閱讀理解而非聽(tīng)力理解）？這顯然需要多模態(tài)（字幕）輸入的長(zhǎng)期效應(yīng)實(shí)證研究加以驗(yàn)證。然而，目前研究文獻(xiàn)中幾乎都是短期效應(yīng)研究。這一研究空缺須引起今后研究的關(guān)注。

本研究發(fā)現(xiàn)的應(yīng)用啟示有：在當(dāng)今多模態(tài)英文電影教學(xué)形式越來(lái)越流行和普及情形下，探討有效的多模態(tài)英文電影輸入形式是我們每個(gè)教師課堂教學(xué)中應(yīng)該關(guān)注的重點(diǎn)。本研究結(jié)果表明，當(dāng)視頻中的畫(huà)面與聲音關(guān)聯(lián)度較大時(shí)，視頻對(duì)聽(tīng)力理解的輔助作用才得以更好地體現(xiàn)。這就要求教師制作視頻教材時(shí)必須加以考慮，才能客觀上保證視頻教學(xué)的有效性，最大限度地優(yōu)化外語(yǔ)課堂教學(xué)語(yǔ)境。此外，高分組學(xué)生在觀看英文電影時(shí)對(duì)畫(huà)面的依賴(lài)感其實(shí)并不明顯。因此，在商務(wù)英語(yǔ)專(zhuān)業(yè)課程設(shè)置中，應(yīng)該對(duì)一年級(jí)的學(xué)生先開(kāi)設(shè)視聽(tīng)說(shuō)課，而不是先開(kāi)聽(tīng)力課（如Step by Step 或 Listen to This的教程）。在英文電影教與學(xué)中，對(duì)于低層次水平的學(xué)生應(yīng)該多用視頻方式教與學(xué)，給予畫(huà)面信息補(bǔ)充，而對(duì)于高層次水平學(xué)生來(lái)說(shuō)，其對(duì)視頻畫(huà)面內(nèi)容補(bǔ)充的要求較低。教學(xué)應(yīng)用中的合理安排可有效利用有限的語(yǔ)音室設(shè)備。

本研究仍存在一些不足：實(shí)驗(yàn)考察的范圍不夠廣，影響實(shí)驗(yàn)結(jié)果的應(yīng)用廣度。本研究?jī)H回答了純音頻和無(wú)字幕視頻雙模態(tài)形式對(duì)英文電影聽(tīng)力理解的作用，并未在視頻中保留字幕并進(jìn)行實(shí)驗(yàn)，今后的實(shí)驗(yàn)可以繼續(xù)探究更多模態(tài)對(duì)英文電影聽(tīng)力理解，尤其對(duì)聽(tīng)力發(fā)展的長(zhǎng)期效用。

〔參考文獻(xiàn)〕

[1]王初明. 從外語(yǔ)學(xué)習(xí)角度看大學(xué)英語(yǔ)教學(xué)和考試的改革[J]. 外語(yǔ)界， 2010， （1）：17-22.

[2]左煥琪. 外語(yǔ)教育展望[M]. 上海： 華東師范大學(xué)出版社， 2001.

[3]張德祿. 多模態(tài)話(huà)語(yǔ)分析綜合理論框架探索[J]. 中國(guó)外語(yǔ)， 2009， （1）： 24-30.

[4]Van Leeuwen， T. Speech， Music， Sound [M]. London： Macmillan， 1999.

[5]顧曰國(guó). 多媒體、多模態(tài)學(xué)習(xí)剖析[J]. 外語(yǔ)電化教學(xué)， 2007， （2）： 3-12。

[6]張征. 多模態(tài)PPT演示教學(xué)與學(xué)生學(xué)習(xí)態(tài)度的相關(guān)性研究[J]. 外語(yǔ)電化教學(xué)， 2013， （3）： 59-64.

[7]Lonergan， J. Video in Language Teaching [M]. Cambridge： Cambridge University Press， 1984.endprint

[8]Ginther， A. Context and content visuals and performance on listening comprehension stimuli [J]. Language Testing， 2002 ， 19 （2） ：133-167.

[9]季月， 石玲. 關(guān)于外語(yǔ)多媒體教學(xué)信息呈現(xiàn)中視聽(tīng)干擾問(wèn)題的探討[J]. 外語(yǔ)電化教學(xué)， 2013， （2）： 41-46.

[10]胡永近， 張德祿. 英語(yǔ)專(zhuān)業(yè)聽(tīng)力教學(xué)中多模態(tài)功能的實(shí)驗(yàn)研究[J]. 外語(yǔ)界， 2013， （5）： 20-25.

[11]查強(qiáng). 音頻和視頻對(duì)學(xué)生聽(tīng)力理解影響的對(duì)比研究[D]. 成都： 電子科技大學(xué)， 2015.

[12]歐陽(yáng)素珍. 多模態(tài)輸入對(duì)英語(yǔ)專(zhuān)業(yè)學(xué)生聽(tīng)力理解影響的實(shí)證研究[D]. 湖南： 湖南師范大學(xué)， 2015.

[13]Romero， E. D. & Arévalo， C. M. Multimodality and listening comprehension： testing and implementing classroom material [J]. Language Value， 2010， （1）： 100-139.

[14]OMalley， J. M. & Chamot， A. U. Learning Strategies in Second Language Acquisition [M]. Cambridge： Cambridge University Press， 1990.

[15]馬黎華. 影響第二語(yǔ)言聽(tīng)力理解的因素[J]. 西安外國(guó)語(yǔ)學(xué)院學(xué)報(bào)， 2002， （2）： 68-71.

[16]Cross， J. Comprehending news videotexts： the influence of the visual content [J]. Language Learning & Technology， 2011， 15 （2） ： 44-68.

（責(zé)任編輯：高生文）

Abstract： This study reports the results of an experiment and investigates the effects of different input forms of English movies （audio and video） on listening comprehension. In this study， audios and videos without subtitles of movies can be seen as different modes. Furthermore， the degrees of higher level students and lower level students dependencies on audio and video were analyzed. The results showed： 1） multimodality， i.e. videos without subtitles but with images and sound， promoted students listening comprehension； A significant difference was found between such different input forms of English movies as audios and videos without subtitles in their effects on listening comprehension， which is related to the degree of sound–images mapping. 2） Compared with the higher level students， lower level students had greater dependency on the images of videos. The article also discusses the implications in the application studies of multimodality theory.

Key words： English movies； audio； video； listening comprehension； multimodalityendprint