王佳娣

（湖南第一師范學(xué)院 外國語學(xué)院，湖南 長沙 410205）

引言

隨著媒介技術(shù)的不斷發(fā)展，人類交際的多模態(tài)化現(xiàn)象越來越凸顯，文字、圖像、語音、動(dòng)畫等多模態(tài)話語呈現(xiàn)模式不斷涌現(xiàn)。因此，語篇的意義生成不再單純地依賴語言符號(hào)，而是多種符號(hào)系統(tǒng)融合后，共同構(gòu)建出語篇的意義?！耙饬x的構(gòu)建需要多種符號(hào)的協(xié)同作用?！盵1]在多模態(tài)語篇中，圖和文是最常見的兩種符號(hào)，他們的組合往往呈現(xiàn)出一加一大于二的效果。在英語閱讀教學(xué)中，培養(yǎng)學(xué)生的多模態(tài)語篇閱讀能力的關(guān)鍵就在于圖文識(shí)解能力的培養(yǎng)。

一、研究綜述

“多模態(tài)話語”的概念來自系統(tǒng)功能語言學(xué)的社會(huì)符號(hào)學(xué)。1994年，新倫敦小組提出了“多元識(shí)讀”的概念，開創(chuàng)了多元讀寫能力培養(yǎng)研究的先河。1996年，Kress和van Leeuwen首次提出“多模態(tài)話語”的概念，創(chuàng)建視覺語法分析框架，為多模態(tài)話語分析的發(fā)展奠定了基礎(chǔ)。二人認(rèn)為語言和圖像都可以用來實(shí)現(xiàn)人類蘊(yùn)含文化元素的基本意義系統(tǒng)，二者具有自己特有的表達(dá)方式[2]。Van Leeuwen后來撰文表達(dá)在很多交際場合，圖與文各有分工，文本負(fù)責(zé)提供事實(shí)，而圖像負(fù)責(zé)對(duì)文本的解讀[3]。Royce認(rèn)為，在圖文結(jié)合的語篇中，從概念意義上講，圖文關(guān)系與語言本身的關(guān)系相類似，但從交際意義上講，語言表達(dá)的意義更加確定，而圖像的意義需要借助文本來確定[4]。Martinec總結(jié)出4種圖文關(guān)系：即相互獨(dú)立、相互補(bǔ)充、以文為主、以圖為主[5]。Wignell在對(duì)6個(gè)不同年齡組的繪本進(jìn)行系統(tǒng)分析的基礎(chǔ)上，提出圖文關(guān)系隨著目標(biāo)讀者年齡的變化而發(fā)生變化。隨著目標(biāo)讀者年齡的增加，文本對(duì)圖像的依賴性在變小，概念功能及語篇功能逐漸超越人際功能[6]。

在胡壯麟[7]、朱永生[8]、顧曰國[9]、張德祿[10]等中國學(xué)者的推介下，國內(nèi)多模態(tài)話語研究開始發(fā)展起來，并應(yīng)用于語言教學(xué)研究。朱永生意識(shí)到中國在多元讀寫研究和多元讀寫能力培養(yǎng)方面已落后于其他國家[11]。汪燕華指出，圖像和文本的關(guān)系問題是“多模態(tài)話語分析中存在的瓶頸問題?！盵12]耿敬北等統(tǒng)計(jì)了2007—2013年間國內(nèi)外語類核心期刊發(fā)表的134篇多模態(tài)話語和多模態(tài)外語教學(xué)研究文章，提出多元讀寫能力的培養(yǎng)仍需結(jié)合中國文化區(qū)別對(duì)待，外語教學(xué)各個(gè)環(huán)節(jié)的研究可以與認(rèn)知理論結(jié)合，多做本體研究，多種研究方法結(jié)合并用將成為多模態(tài)外語教學(xué)實(shí)證研究的趨勢[13]。國防運(yùn)用觀察法比較分析了中美兒童與成人閱讀英文繪本過程中對(duì)圖文關(guān)系識(shí)解的異同，揭示語言水平及年齡對(duì)多模態(tài)語篇圖文關(guān)系識(shí)解的影響，該文是國內(nèi)少有的關(guān)于圖文關(guān)系的文章[14]。雷茜、張德祿運(yùn)用實(shí)證研究的方法，對(duì)英語模態(tài)寫作中的學(xué)習(xí)者身份認(rèn)同問題進(jìn)行了研究[15]。韓穎則從多元讀寫理論的視角，通過定量和定性分析，研究媒介讀寫能力培養(yǎng)[16]。

綜上所述，多模態(tài)理論應(yīng)用于教學(xué)研究經(jīng)歷了20世紀(jì)末期的萌發(fā)、20世紀(jì)初期10年的發(fā)展后，在第二個(gè)10年呈現(xiàn)出繁榮的趨勢。在研究漸趨成熟之時(shí)，研究內(nèi)容呈現(xiàn)多樣性、研究方法更趨科學(xué)性、研究目標(biāo)越發(fā)關(guān)注實(shí)踐性。在這種發(fā)展趨勢下，本文關(guān)注多模態(tài)英語閱讀活動(dòng)中學(xué)習(xí)者的圖文關(guān)系識(shí)解能力問題，通過定量與定性相結(jié)合的研究方法，分析英語學(xué)習(xí)者的圖文識(shí)解過程、對(duì)圖文關(guān)系的認(rèn)知以及圖文識(shí)解能力對(duì)閱讀理解的影響，對(duì)英語學(xué)習(xí)者圖文識(shí)解能力提出建議。

二、實(shí)驗(yàn)研究

（一）實(shí)驗(yàn)?zāi)康?/h3>

實(shí)驗(yàn)擬驗(yàn)證多模態(tài)英語語篇閱讀中，閱讀者圖文關(guān)系識(shí)解的動(dòng)機(jī)、過程和效果，厘清影響閱讀者圖文關(guān)系識(shí)解能力的因素，為多模態(tài)英語語篇閱讀教學(xué)提供依據(jù)和策略。實(shí)驗(yàn)擬提出以下問題：多模態(tài)英語語篇閱讀中，圖片對(duì)文本理解的影響是否顯著？閱讀者處理圖文關(guān)系時(shí)有何特征？效果如何？

（二）實(shí)驗(yàn)對(duì)象

實(shí)驗(yàn)對(duì)象是湖南省某高校2018級(jí)英語專業(yè)學(xué)生，共90人。實(shí)驗(yàn)對(duì)象分為實(shí)驗(yàn)組和控制組，每組45人。從學(xué)生第二學(xué)期英語閱讀課程期末考試成績?yōu)閰⒖?，?shí)驗(yàn)組和控制組的閱讀能力和水平之間不存在顯著差異。

（三）測量工具

實(shí)驗(yàn)的測量工具是語言測試與調(diào)查問卷。語言測試主要測試學(xué)生在多模態(tài)英語閱讀中對(duì)信息觀測點(diǎn)的理解情況，并記錄閱讀過程。再通過調(diào)查問卷的形式了解學(xué)生對(duì)圖文關(guān)系的處理情況。實(shí)驗(yàn)組與控制組均參加了語言測試，語言測試采用英語閱讀的形式，材料選自中國日?qǐng)?bào)網(wǎng)站的文章《18個(gè)事實(shí)告訴你：歷史真的不是你想的那樣》，從中選取10組圖片及文本作為語言測試的內(nèi)容。實(shí)驗(yàn)組在語言測試后還接受了測試者編制的問卷調(diào)查。

（四）實(shí)驗(yàn)過程

控制組與實(shí)驗(yàn)組同時(shí)進(jìn)行閱讀測試。實(shí)驗(yàn)組的閱讀材料是彩色打印圖文版，包含10個(gè)長句，每個(gè)句子中設(shè)置一個(gè)信息觀測點(diǎn)，每個(gè)長句后配了一幅與文本內(nèi)容相關(guān)的圖片。要求學(xué)生在30分鐘內(nèi)完成閱讀，并用中文寫出句子大意。此處并不要求學(xué)生嚴(yán)格按照翻譯的標(biāo)準(zhǔn)來寫，而是著重將文本中的重要信息點(diǎn)呈現(xiàn)出來?？刂平M獲取的閱讀材料是黑白打印純文本版，其余要求與實(shí)驗(yàn)組相同。

實(shí)驗(yàn)組在閱讀測試后，完成問卷調(diào)查，用時(shí)大約10分鐘。

（五）結(jié)果及討論

實(shí)驗(yàn)結(jié)束后，研究者依據(jù)語言測試和問卷調(diào)查結(jié)果、現(xiàn)場記錄及記憶，對(duì)整個(gè)實(shí)驗(yàn)過程的數(shù)據(jù)進(jìn)行整理、統(tǒng)計(jì)與分析。

1.圖文關(guān)系識(shí)解過程分析

圖文關(guān)系識(shí)解過程呈現(xiàn)的是被試者在閱讀過程中對(duì)圖片和文字信息的處理方式，以此可以觀測出被試者的閱讀習(xí)慣和閱讀心理。

從表1可以看出，絕大多數(shù)被試者選擇文本作為閱讀起點(diǎn)，是選擇圖片人數(shù)的兩倍。選擇文本作為起點(diǎn)也就直接影響了圖文切換點(diǎn)的調(diào)查結(jié)果，絕大多數(shù)選擇在文本閱讀中和閱讀后切換圖片。調(diào)查顯示被試者的圖文切換頻次較低，以1-2次為主。同時(shí)，被試者在文本上停留的時(shí)間也比圖片要長。

表1 實(shí)驗(yàn)組圖文關(guān)系識(shí)解過程調(diào)查結(jié)果

該調(diào)查結(jié)果顯示出被試者的閱讀習(xí)慣仍以文字為主，對(duì)圖片信息的關(guān)注度不夠，對(duì)圖文關(guān)系的理解有待提高。從閱讀起點(diǎn)和圖文停留時(shí)間的調(diào)查結(jié)果可以明顯看出被試者的閱讀習(xí)慣仍較為傳統(tǒng)，可能受到測試環(huán)境——課堂的影響，同時(shí)，傳統(tǒng)的教材形式也是以文本為主，這些因素都影響了被試者的閱讀習(xí)慣養(yǎng)成。近一半的被試者是在文本閱讀后才切換到圖片，且切換頻次較低，這也說明被試者常常忽視圖片提供的信息，未意識(shí)到圖片與文本實(shí)為一體，二者相結(jié)合可以提高閱讀速度和理解能力。

2.對(duì)圖文關(guān)系的認(rèn)識(shí)分析

對(duì)圖文關(guān)系的認(rèn)識(shí)分析可以了解被試者對(duì)圖片和文本提供的信息的基本認(rèn)識(shí)，是被試者的主觀判斷，可與圖文識(shí)解過程的調(diào)查結(jié)果進(jìn)行比對(duì)，發(fā)現(xiàn)問題。

表2顯示有三分之二的被試者認(rèn)為文本與圖像的關(guān)系是文本為主、圖像為輔，其余的三分之一則認(rèn)為圖文同等重要、互為補(bǔ)充。在考察圖片對(duì)文的理解的重要性時(shí)，絕大部分被試者選擇了較為持中的重要和一般重要，選擇很重要的僅有7人。調(diào)查結(jié)果顯示圖片切換的原因涉及到多個(gè)方面，所有被試均選了主動(dòng)尋求與文本相關(guān)的信息，大部分選擇了在文本理解遇到困難時(shí)尋求圖片信息的幫助，這也從側(cè)面印證了表1中圖文切換的頻次。

表2 實(shí)驗(yàn)組圖文關(guān)系認(rèn)識(shí)調(diào)查結(jié)果

將表2與表1的結(jié)果進(jìn)行對(duì)比，我們可以發(fā)現(xiàn)一種矛盾的現(xiàn)象。即絕大多數(shù)被試者認(rèn)為圖片與文本的關(guān)系非?；蛘弑容^密切，圖片信息對(duì)于理解文本有幫助或重要幫助，但從實(shí)際的過程來看，他們對(duì)文本的關(guān)注度卻遠(yuǎn)遠(yuǎn)地高于對(duì)圖片的關(guān)注度。這說明在英語閱讀活動(dòng)中，學(xué)習(xí)者的閱讀意識(shí)與閱讀行為之間存在著偏差。主觀上，他們樂意接受多模態(tài)的閱讀方式，并且承認(rèn)多模態(tài)閱讀的優(yōu)勢，但行為上依然不自覺地偏向傳統(tǒng)的文本閱讀。這其中的原因是多方面的也是復(fù)雜的，但如何引導(dǎo)學(xué)生從自覺意識(shí)走向自覺行為，對(duì)于學(xué)習(xí)者的圖文關(guān)系識(shí)解能力培養(yǎng)來說有著重要的思考價(jià)值，留給閱讀教學(xué)很大的探索空間。

3.圖文關(guān)系識(shí)解能力分析

實(shí)驗(yàn)組與控制組的語言測試結(jié)果可以看出兩組被試的閱讀理解情況，從中可以分析出圖片對(duì)文本理解的影響是否顯著。對(duì)實(shí)驗(yàn)組測試結(jié)果的單獨(dú)分析還可以看出被試者的圖文識(shí)解能力。

根據(jù)對(duì)比分析實(shí)驗(yàn)組與控制組語言測試結(jié)果，采用兩獨(dú)立樣本T檢驗(yàn)比較差異，可以發(fā)現(xiàn)在最低值上兩組沒有差別，最高值相差3分，在平均值上實(shí)驗(yàn)組明顯高于控制組。P＜0.001，實(shí)驗(yàn)組和控制組在總分上存在顯著的差異。由此可見實(shí)驗(yàn)組與控制組在語言測試環(huán)節(jié)的差異較明顯，即圖片信息對(duì)文本信息的理解產(chǎn)生較顯著的影響。

表3 實(shí)驗(yàn)組與控制組語言測試結(jié)果對(duì)比

從表4可以看出兩組在各小題的回答上的差異。差異性較顯著的有第1、2、6、10觀測點(diǎn)，在這幾個(gè)觀測點(diǎn)上，實(shí)驗(yàn)組的正確率要明顯高于控制組的正確率，其他觀測點(diǎn)的差異性表現(xiàn)不明顯。觀測點(diǎn)1原文的5英尺6英寸對(duì)于被試來說是陌生信息，但圖片（圖1）上提供了英尺與米的對(duì)照信息，相當(dāng)于1.67米，從圖片上看約等于1.7米。實(shí)驗(yàn)組的部分被試注意到了圖片信息，并利用了圖片信息，將陌生信息轉(zhuǎn)化為可知信息，達(dá)到深度理解的目的。而控制組的被試在這一點(diǎn)上全軍覆沒，仍然停留在5英尺6英寸的陌生信息層次，理解沒有深入下去。另一比較典型的例子是觀測點(diǎn)6，大部分控制組的被試將其理解為范圍，而實(shí)驗(yàn)組在圖片（圖2）信息的幫助下，可以更清楚地看到兩幅畫作的尺寸的差異，因此理解正確的人數(shù)明顯高出控制組。

從語言測試的結(jié)果，可以看出以下兩點(diǎn)。第一，圖片信息與文本信息之間關(guān)系非常密切，圖片信息的解讀直接影響文本信息的理解。從實(shí)驗(yàn)組和控制組對(duì)觀測點(diǎn)的理解程度就可以看出較明顯的差異，總體上，實(shí)驗(yàn)組的理解力要高于控制組。第二，學(xué)生的多模態(tài)圖文識(shí)解能力仍有待提高。在一些觀測點(diǎn)上，實(shí)驗(yàn)組與控制組的理解水平相當(dāng)，實(shí)驗(yàn)組并沒有體現(xiàn)圖片輔助的作用。就實(shí)驗(yàn)組本身的測試結(jié)果來看，并非所有的觀測點(diǎn)都達(dá)到了較好的理解效果。

表4 重要觀測點(diǎn)測試結(jié)果統(tǒng)計(jì)

圖1 觀測點(diǎn)1配圖

圖2 觀測點(diǎn)6配圖

結(jié)語

課題組對(duì)兩組學(xué)生進(jìn)行了語言測試和問卷調(diào)查，結(jié)果表明學(xué)生具有一定的圖文識(shí)解意識(shí)，但在具體的閱讀活動(dòng)中，仍以傳統(tǒng)的文本閱讀為主，忽視了多模態(tài)篇章的特點(diǎn)，沒有在閱讀活動(dòng)中將圖片信息與文本信息進(jìn)行整合，圖文識(shí)解能力有待提高。該調(diào)查結(jié)果為英語閱讀教學(xué)帶來了以下幾個(gè)方面的啟發(fā)：第一，英語閱讀教學(xué)中要有意識(shí)地培養(yǎng)學(xué)生多模態(tài)閱讀的能力。隨著信息技術(shù)的發(fā)展，閱讀的渠道和方式都在發(fā)生著變化，傳統(tǒng)的閱讀方式已逐漸被多元化的閱讀方式所取代，因此培養(yǎng)學(xué)生的多模態(tài)閱讀能力應(yīng)該成為英語閱讀課程的重點(diǎn)之一。第二，英語閱讀內(nèi)容要實(shí)現(xiàn)多模態(tài)化?，F(xiàn)有的教材均以文本為主，缺少多模態(tài)的信息呈現(xiàn)方式，是限制學(xué)生閱讀習(xí)慣的重要因素。在改良教材的同時(shí)，要引導(dǎo)學(xué)生主動(dòng)尋求多模態(tài)的閱讀內(nèi)容，如網(wǎng)絡(luò)新聞等應(yīng)用文體。第三，英語閱讀要培養(yǎng)學(xué)生全面關(guān)注信息的習(xí)慣。語言的信息并非都是以文本的形式呈現(xiàn)，插圖、美工、頁眉、頁腳都可能為閱讀理解提供有效信息，值得閱讀者注意。本研究對(duì)大學(xué)生多模態(tài)英語語篇圖文關(guān)系識(shí)解能力的現(xiàn)狀進(jìn)行了調(diào)查分析，旨在為閱讀者圖文識(shí)解能力的培養(yǎng)和提高提供參考。