胡 蓉 楊 靜

(江西財(cái)經(jīng)大學(xué) 江西南昌 330013)

0 引言

新倫敦組合(New London Group)于1996年提出多模態(tài)教學(xué)，主張利用網(wǎng)絡(luò)、圖片、角色扮演等多種渠道和多種教學(xué)手段來刺激學(xué)習(xí)者的各種感官，使之達(dá)到共同參與和協(xié)調(diào)合作進(jìn)行語言學(xué)習(xí)的目的。多模態(tài)話語是指運(yùn)用聽覺、視覺、觸覺等多種感覺，通過語言、圖像、聲音、動作等多種手段和符號資源進(jìn)行交際的現(xiàn)象[1]。信息技術(shù)的高速發(fā)展為聽力教學(xué)中的多模態(tài)呈現(xiàn)提供了可能。圖片、視頻、音頻等各種輸入模式，有利于多渠道信息共同刺激學(xué)習(xí)者，產(chǎn)生良好的學(xué)習(xí)效果。

二語習(xí)得理論認(rèn)為，刺激—反應(yīng)是語言學(xué)習(xí)的必備條件之一，通過圖像和聲音的相互作用，為學(xué)習(xí)者提供了真實(shí)的語言應(yīng)用模型。因而，視頻成為聽力教學(xué)手段的重要媒介，其選擇顯得尤其重要。

Kress & van Leeuwen[2]提出的視覺符號學(xué)認(rèn)為，圖像中的視覺符號不僅可以反映客觀世界和主觀世界發(fā)生的各種事件，而且可以表現(xiàn)各種各樣的人際關(guān)系，成為一個有機(jī)的連貫的整體。系統(tǒng)功能學(xué)派代表人物Halliday的語言三大元功能假說(meta-function hypothesis)[3]，為視覺符號等建構(gòu)的多模態(tài)話語提供了理論基礎(chǔ)，即多模態(tài)話語也具有概念功能、人際功能和語篇功能。本文試從這三個角度來探討聽力教學(xué)中的視頻選擇，通過聲音、圖像等多渠道的共同作用有效刺激語言輸出。

1 多模態(tài)話語的概念功能與場景視頻選擇

系統(tǒng)功能語言學(xué)認(rèn)為，語言是對存在于主客觀世界的事物和過程的反映，多模態(tài)話語也是對主客觀世界的認(rèn)知反映，其概念功能通過及物性系統(tǒng)來體現(xiàn)，具體表現(xiàn)為及物性的三大要素，即參與者、過程和環(huán)境。

場景視頻指的是在單一場景里發(fā)生的視頻，具有環(huán)境的相對穩(wěn)定性，如訪談、演講等都屬于這一范疇。這里的參與者不僅包括視頻里的訪問者與被訪者，還有觀眾通過聽覺與視覺雙重刺激后的認(rèn)知與互動。參與者既可以成為物質(zhì)過程中的行為者，也可充當(dāng)對象。不同于傳統(tǒng)的單模態(tài)話語，訪談?wù)吲c被訪者的語態(tài)、肢體語言、面部表情、眼神交流等都成為多模態(tài)話語的一部分。因此，重新建構(gòu)語言輸出模式的物質(zhì)過程和關(guān)系過程，使之既成為參與者表達(dá)感覺與認(rèn)知的心理過程，也是其通過言語進(jìn)行信息交流的過程。多模態(tài)話語的意義建構(gòu)因素包括采訪者的肢體動作、面部表情、訪談互動以及采訪者與被訪者的空間距離等，這些元素都參與了話語意義的建構(gòu)。在單模態(tài)的聽力環(huán)境下，學(xué)生是單純的、被動的聆聽者；而在多模態(tài)環(huán)境下，學(xué)生可以根據(jù)視頻提供的視覺信號，強(qiáng)化輸入信息，最大程度地激活自己的認(rèn)知空間，將知識內(nèi)化，并最大化地將輸入轉(zhuǎn)化為語言輸出。

但是，場景視頻在一定意義上來說，是具有固定圖像的音頻輸入。由于其“環(huán)境”相對固定，人物的肢體動作和面部表情等因素參與意義建構(gòu)的程度有限，導(dǎo)致多模態(tài)話語缺乏積極的意義建構(gòu)。甚至由于圖像的干擾，而降低了音頻輸入的有效性。另外，據(jù)調(diào)查顯示，訪談視頻對聽力內(nèi)容理解的積極影響頗為有限，對抽象細(xì)節(jié)的理解則有負(fù)面影響[4]。對于這種“會說話的頭像”，缺少更多非語言模態(tài)的輸入刺激，無法滿足學(xué)生的視聽偏好，容易使心理活動的客體(學(xué)生)失去興趣，學(xué)生長期成為聽眾，容易產(chǎn)生疲勞感和厭倦感，導(dǎo)致焦慮現(xiàn)象產(chǎn)生。因此，這種視頻并不優(yōu)于單一的音頻輸入。

因此，在“注意力經(jīng)濟(jì)”的時(shí)代，選擇場景視頻的標(biāo)準(zhǔn)在于“時(shí)間短而主題聚焦”，實(shí)現(xiàn)語言功能的最優(yōu)化。學(xué)生在觀看訪談視頻后，能積極調(diào)動視覺、聽覺以獲得較強(qiáng)的語言輸入，并能針對視頻資料發(fā)表意見和感想，進(jìn)行有效的語言輸出。

2 多模態(tài)話語的人際功能與情節(jié)視頻選擇

情節(jié)視頻強(qiáng)調(diào)故事內(nèi)容，通過圖像、實(shí)景等提供非語言信息的輸入，例如，人物外貌體征、表情動作、空間距離等，體現(xiàn)了人物關(guān)系，社會符號學(xué)認(rèn)為這些都是意義的承載，為聽力過程提供充分的有效信息，視覺信號的停留性與穩(wěn)定性也成為語言輸入的有效性的重要保障。多模態(tài)語言同樣具有表達(dá)說話者身份、地位、態(tài)度、動機(jī)和對事物的判斷等功能。通過視覺、聽覺等感知特征提取，對多種感官通道信息進(jìn)行知覺整合。聽覺和視覺兩種不同方式下的提取與激活能力，取決于學(xué)生已經(jīng)內(nèi)化的認(rèn)知知識。

人際功能貫穿于整個意義建構(gòu)過程，包括其語氣系統(tǒng)和態(tài)度系統(tǒng)。其中，語氣系統(tǒng)說明在某個情景語境中講話者選擇了何種交際角色，這包括情節(jié)視頻中人物的角色，通過語氣、肢體語言、面部表情等多模態(tài)話語表達(dá)人物的身份。而態(tài)度系統(tǒng)表明講話者對自己講的命題的成功性和有效性的判斷。

教師與學(xué)生，作為視頻的受眾，同時(shí)也是課堂的交際角色，教師的詢問、手勢、導(dǎo)語和學(xué)生的交流、互動等因素共同構(gòu)建了課堂多模態(tài)話語的人際功能。視頻能更大程度激發(fā)學(xué)生從心理詞庫提取表達(dá)情態(tài)、判斷和鑒賞的詞匯。同樣，情節(jié)視頻選擇也存在爭議，例如，學(xué)生過于專注畫面或電影情節(jié)，忽略了對話和語言使用。視頻效果優(yōu)于音頻的最重要原因在于視頻的圖像意義，在受眾捕獲圖像信息時(shí)，大腦進(jìn)行信號加工、信息檢索，產(chǎn)生視覺吸引力。

3 多模態(tài)話語的語篇功能與字幕視頻選擇

通過多渠道信息共同刺激學(xué)習(xí)者個體大腦皮層相應(yīng)的機(jī)能區(qū)，比單一渠道信息引起的反應(yīng)強(qiáng)烈，因而，文字信息(即字幕)的加入，在發(fā)揮正效應(yīng)條件下更利于個體對信息的加工和記憶，從而產(chǎn)生良好的學(xué)習(xí)效果。

對于字幕視頻的選擇，強(qiáng)調(diào)的是圖像、文字和語音三者構(gòu)成的多模態(tài)語篇關(guān)系。字幕作為多模態(tài)話語的重要組成部分，可以分為中英雙語字幕、中文字幕、英語字幕甚至彈幕。不同于一般語篇，多模態(tài)語篇通過語音信息、圖像信息與文字信息三者自成一體，在同一語境的建構(gòu)之下，信息之間如何相互參照、擴(kuò)展和區(qū)分，學(xué)生個體又如何對多模態(tài)語篇進(jìn)行分析和解讀，這是字幕視頻選擇的核心問題。

圖像和文字屬于不同的表意符號，學(xué)生對文字和圖像的信息認(rèn)知過程存在巨大的個體差異，學(xué)生通過對信息的提取、認(rèn)知加工、資源整合，實(shí)現(xiàn)圖像、文字、語音多渠道的有效互動。根據(jù)Royce[5]的圖文符際互補(bǔ)理論，當(dāng)兩種模態(tài)中的人際意義在語氣系統(tǒng)得到符際加強(qiáng)，在情態(tài)系統(tǒng)符際態(tài)度出現(xiàn)一致或相反的情況時(shí)，多模態(tài)文本便獲得人際符際互補(bǔ)。聽力進(jìn)行時(shí)，學(xué)生接收信息的渠道增加，對聽力材料的理解也就更透徹。尤其是英語字幕。英語字幕通過詞形和語音的雙重等效刺激，經(jīng)過圖像與文字的雙重輸入互動，對接收的信息進(jìn)行認(rèn)知加工，提取已知信息，判斷多模態(tài)話語想要傳遞的未知信息(新信息)成為焦點(diǎn)，而這個刺激的反復(fù)或持久出現(xiàn)都可能導(dǎo)致適應(yīng)，從而轉(zhuǎn)為長期記憶，提高自身的聽力能力。因此，視頻中文字與圖像的關(guān)系非常重要，這與視頻信息輸入是否有效密切相關(guān)。關(guān)于文字信息與圖像信息的關(guān)系，Royce[6]還將其分為重復(fù)、近義、反義、上下義、整體和部分，搭配等，強(qiáng)調(diào)文字信息和圖像的相關(guān)性，即圖像信息成分與文字信息成分的互補(bǔ)性。圖像信息與字幕信息一致，如重復(fù)或近義時(shí)，即聽力材料中的言語信息通過多模態(tài)強(qiáng)化輸入，使學(xué)生有更生動的理解；當(dāng)圖像信息與字幕信息不一致，如反義、上下義、整體和部分關(guān)系時(shí)，教師可以適當(dāng)進(jìn)行引導(dǎo)，通過解讀圖像與文字的語義關(guān)系，實(shí)現(xiàn)語音輸入信息的符際加強(qiáng)或者符際互補(bǔ)。

依賴于視覺圖像與文字信息相互作用，多渠道激活學(xué)生對語音輸入的認(rèn)知、信息的強(qiáng)化和有效提取，從而實(shí)現(xiàn)圖文互動的意義建構(gòu)。但是，對于視頻是否加載字幕是存在爭議的。根據(jù)認(rèn)知負(fù)荷理論中的注意分散效應(yīng)和冗余信息效應(yīng)，如果學(xué)習(xí)者被迫去加工多余的信息，認(rèn)知負(fù)荷就會加大，學(xué)習(xí)就會減少。視頻添加字幕，使得受眾(學(xué)生)激活和提取都要付出更多的努力，消耗更多的認(rèn)知資源，分散了學(xué)習(xí)者的注意力，甚至字幕文本被認(rèn)為是語音信息的冗余再現(xiàn)。因此，對于字幕視頻的選擇有著更高的要求，例如，通過認(rèn)知心理學(xué)等角度來辨別冗余信息與有效信息，分析學(xué)生在處理冗余信息和有效信息之間如何達(dá)到平衡等等。

換言之，視頻的選擇要摒棄“文字中心論”或者“圖像中心論”，應(yīng)該充分考慮在短時(shí)間內(nèi)，圖像和文字如何共同表征語音信息，實(shí)現(xiàn)意義的建構(gòu)。因?yàn)閳D像、文本、語音都是聽力教學(xué)中建構(gòu)和傳遞意義的重要因素。

4 結(jié)束語

多渠道信息共同刺激學(xué)習(xí)者個體大腦皮層相應(yīng)的機(jī)能區(qū)，輸入來源的多樣性，比單一渠道信息引起的反應(yīng)強(qiáng)烈，在發(fā)揮正效應(yīng)條件下更利于個體對信息的加工和記憶，產(chǎn)生良好的學(xué)習(xí)效果。視頻材料豐富了聽力教學(xué)課堂，提高了自然環(huán)境下語音識別的能力，通過視聽等感知特征提取，達(dá)到有效的視聽效果沖擊。

聽力視頻的選擇也影響著聽力教學(xué)的效果。視頻是語音和圖像的雙重輸入，學(xué)生在教師的指導(dǎo)和啟發(fā)下觀看視頻是理解信息、認(rèn)知信息、建構(gòu)信息的過程。通過對精選視頻的學(xué)習(xí)，聲音和圖像的相互作用，更加還原真實(shí)的語言環(huán)境，多種感官通道信息的知覺整合，從而達(dá)到強(qiáng)化學(xué)生輸入，有效促進(jìn)語言輸出的效果。教師需要整合多模態(tài)資源，通過視覺符號與聽覺符號緊密結(jié)合，引導(dǎo)學(xué)生進(jìn)行有效輸入與輸出，循序漸進(jìn)，從而提高聽力教學(xué)的效果和學(xué)生的多模態(tài)聽說能力。

[1] 張德祿. 多模態(tài)話語分析綜合理論框架探索[J]. 中國外語， 2009(1)：24-30.

[2] Kress G，Van Leeuwen，Theo. Reading Images：The Grammar of Visual Design[M].London：Routledge，2006：105.

[3] 胡壯麟. 系統(tǒng)功能語言學(xué)概論[M]. 北京：北京大學(xué)出版社，2005：11-12.

[4] 邱東林，李紅葉. 多種輸入模式對聽力理解和詞匯記憶的影響[J]. 外語界，2010(1)：31-39.

[5] Royce. Intersemiotic Complementarity：A Framework for Multimodal Discourse Analysis[M].Mahwah，N.J：Lawrence Erlbaum Associates，2007：63-109.

[6] Royce，T. Visual-verbal Intersemiotic Complementarity in the Economist Magazine[D].University of Reading，United Kingdom，1998：236-237.