莫川川

（廣州番禺職業(yè)技術學院外語外貿學院，廣東廣州511400）

新媒體技術的發(fā)展為教學提供了現(xiàn)代化教學手段，豐富了教學材料，使得學習環(huán)境呈多模態(tài)化，培養(yǎng)學生的多元識讀能力（Multiliteracy）成為教育界的共識.多元識讀是長期致力于語言讀寫能力研究的新倫敦團體（New London Group)于1996年首次提出［1］.多元識讀理論有兩個重要原則，一是讀寫教育要考慮文化和語言的多樣性；二是文本的構成不應僅限于書面的文字，也要考慮信息與多媒體技術.除了文字模之外，意義系統(tǒng)還應包括非語言模態(tài)，如聲音、圖像、空間位置、手勢和視頻信號等信息.多元識讀理論一經(jīng)提出，即得到語言學研究者和語言教師的認同，與之配套的相關理論研究和實證研究也層出不窮，產(chǎn)生了豐富的研究成果.但多元識讀理論的發(fā)展也存在短板——缺乏詳實的課堂研究［2］.研究基于多模態(tài)下的圖像語法和認知心理學分層加工理論，以2014年第十四屆全國多媒體課件大賽英語課獲獎課件為例，對優(yōu)質課件中文字與圖像的呈現(xiàn)特點和交互作用展開分析，希望為廣大英語教學與研究者提供指導和借鑒.

1 多模態(tài)下的圖像語法與分層加工

1.1 圖像語法

模態(tài)意義構建意識是多元識讀能力發(fā)展的前提［3］.最具代表性的就是Kress G和Van L T提出的圖像語法.將韓禮德的功能語法理論用來分析圖像，建立以“再現(xiàn)意義”、“互動意義”和“構圖意義”為中心的圖像語法理論框架.口語語法是建立在對句法、動詞和名詞的固定使用上；而圖像語法則產(chǎn)生于構圖角度、空間維度和視角的使用習慣［4］.此理論適用于多模態(tài)文本的分析，網(wǎng)絡傳媒和紙質傳媒均使用，如學校的教材、網(wǎng)頁和雜志等，多媒體課件就是圖像語法應用的典型.

傳統(tǒng)語法研究是語言單位（如單詞、短語或分句等）的使用模式.圖像也是一種意義符號，它們的使用模式就是圖像語法［5］.圖像語法以圖像的“再現(xiàn)意義”、“互動意義”和“構圖意義”為分析對象，解釋一定社會文化背景下，人們建構圖像意義背后的心理機制.“再現(xiàn)意義”是圖像在現(xiàn)實世界中的映射，如紅十字標志在現(xiàn)實世界中對應人道主義援助；“互動意義”是指作者希望借由圖像對其與觀眾之間的人際關系進行主動調節(jié)，即作者希望通過圖像建立積極的人際關系.“構圖意義”指整體圖像上的不同位置體現(xiàn)不同的信息值和顯著性.研究表明，新信息和公認信息的信息值高；舊信息和有爭議的信息值低.信息的顯著性則可通過多種途徑實現(xiàn)，如位置（居中為顯著信息）、大小、顏色、重合來表現(xiàn).為了判斷圖像成分的信息價值的輕重，Kress和Leeuwen認為，根據(jù)從左到右和從上到下的閱讀習慣，把頁面分為4個象限（見圖1）［4］.上下的區(qū)分是與本體判斷相關（理想與現(xiàn)實之間的區(qū)別），左右之分則是與信息的狀態(tài)相聯(lián)系.圖像語法是基于大量西方繪畫作品分析得出的對人類集體無意識呈現(xiàn)畫面信息布局的規(guī)律，依據(jù)人們普遍的審美和認知加工習慣而展開，符合語法的圖像，觀眾看起來更舒服，容易識記且符合人們的主觀期望，在一定社會文化條件下具有科學性和普適性.

1.2 分層加工理論

傳統(tǒng)語法教學中，英語詞匯的學習主要通過機械復述方式實現(xiàn)，學生的記憶效果差，效率低下，實踐證明詞匯直接教學法的教學效果有缺陷.分層加工理論認為記憶的保持不在于復述時間的長短，而在于加工方式的差異.加工層次越深，記憶效果越好［6］.詞匯的加工有兩層，第一層是形式加工，即單詞的拼寫和讀音；第二層是語義加工，即單詞的橫組合關系和縱聚合關系.橫組合關系即詞的搭配，如目標詞為名詞，則要找出與之形成搭配關系的動詞或形容詞.縱聚合關系有3種，即同義關系、上下義關系和語義場關系.同義關系指近同義詞；上下義關系為詞義內包關系，被包含的詞是“下義詞”，相對意義較概括的詞為“上義詞”，如apple是fruit的下義詞.語義場關系表示某一事物或某一部分生活經(jīng)驗的詞聚合，如pink，yellow，white，orange，blue等一起構成顏色語義場.形式加工是淺層次加工；語義加工是深層次加工.學習者對新單詞加工層次越深，保持效果越好.對于語義的加工最好是產(chǎn)出性加工，即要使學習者自己產(chǎn)出含有目標詞的句子，這樣比教師給出含有目標詞的句子對長期記憶更有幫助.學習要善于激活和利用已有知識對新信息進行主動建構，才會記憶深刻［7］.滿足認知加工要求的詞匯呈現(xiàn)至少應該包含4個層面：拼寫、讀音、搭配詞和近義詞，其他的語法范疇和語境意義也可以幫助豐富單詞呈現(xiàn)的面貌.

圖1 圖像語法的頁面象限圖

2 案例分析

以2014年第十四屆全國多媒體課件大賽高中英語獲獎課件Unit 5 Feeling Excited中的兩類典型為例，分析它在多模態(tài)單詞呈現(xiàn)形式和多層認識加工設計方面的特點，以透析圖像和文字的交互作用.

2.1 幻燈片1

（1）圖像語法層面.圖2的再現(xiàn)意義準確—女孩的表情準確再現(xiàn)了目標單詞shy的意義；互動意義也很生動，迎合中學生興趣品味的動漫人物形象，能成功吸引學生的注意力，激發(fā)他們的學習興趣，但在構圖意義上則出現(xiàn)了兩個失誤.首先，看圖猜詞練習的工作程序是先看圖后猜詞，且人們的閱讀習慣也是先上后下，圖片和文字的呈現(xiàn)順序應以圖在上，字在下為妥.其次，淺色（作者原圖為紅色）為亮色，用來突顯新信息或重要信息；深色（作者原圖為黑色）為默認色，是已知信息的常用顏色.在圖中目標詞shy應該以淺色顯示為佳，因為它是學生學習活動所要尋找的新信息；而句子本身應以深色呈現(xiàn)，以襯托目標單詞的重要性，其他同樣的方式呈現(xiàn)的6個情感形容詞（angry，sad，frightened，lonely，nervous和 disappointed） 均可采取同樣的修改方式，依據(jù)圖像語法的要求對幻燈片一進行修改后的頁面見圖3.

圖2 幻燈片一

（2）分層加工層面.以形容詞系列幻燈片組成的詞匯直接教學設計較好的呈現(xiàn)了深層次加工要求的詞匯橫組合和縱聚合知識.在此例中，詞匯橫組合知識是指在水平方向上作為形容詞的shy可以和系動詞（be動詞，感觀動詞）組成系表結構，充當句子的謂語成分（藍色部分）.縱聚合知識是指在垂直方向上除了shy之外，可以充當補語的其它常見情感形容詞還有 frightened，sad，angry，lonely，nervous，disappointed 等.橫組合知識在一張幻燈片上呈現(xiàn)，而縱聚合知識是通過連續(xù)多張同類幻燈片呈現(xiàn)，示例見圖4.

圖3 幻燈片一的修改建議

圖4 常見情感形容詞

圖5 猜詞練習

盡管這部分練習在詞匯深層知識層面的呈現(xiàn)效果不錯，但在詞匯淺層知識的呈現(xiàn)方面有所欠缺.圖4的7個單詞都是學生們已經(jīng)習得的舊單詞，在針對它們進行詞匯練習前，也應當對舊知識進行適當?shù)募せ?，這有助于學生完成新舊知識的交替轉換.反之，如果7個目標詞匯為本單元要學習的新單詞，這樣不遵守由淺入深的學習規(guī)律，無異于凌空建高樓，不利于獲得最佳的教學效果.根據(jù)學習的心理認知規(guī)律，建議該教師進行猜詞練習前，先向學生呈現(xiàn)目標單詞的淺層知識，如一個詞形和詞義的連線練習（見圖5），以調動學生的詞形和詞義知識，在向老師匯報練習結果時，又可以調動詞匯的語音知識.加入這樣的組合，該猜詞練習才能成功呈現(xiàn)四層詞匯基本認知加工層次.

2.2 幻燈片二

（1）圖像語法層面.此幻燈片位于知識講授部分.頁面上各部分內容的播放順序以中文數(shù)字標注，它的主圖位于頁面右下角（見圖6），以年輕的女學生做演講關聯(lián)目標單詞speech和nervous的學習，再現(xiàn)和互動意義明顯.（如果這里換上名人演講的照片則不妥，因為名人演講不會讓人產(chǎn)生“緊張”的聯(lián)想）.圖片的女孩與學生們年齡相仿，容易使大家產(chǎn)生共鳴，展開聯(lián)想.需要學生進行認知加工的圖片屬于新信息，位于右邊；天使圖像的信息New words屬于舊信息，位于頁面的左邊，整個頁面圖像布局清晰，符合圖像語法的要求.

圖6 幻燈片二

圖7 幻燈片二修改

（2）詞匯分層加工層面.幻燈片二與一不同，它進行了明確的詞匯淺層知識呈現(xiàn)—目標單詞speech和nervous的拼寫和音標都在頁面顯著位置標出，而且speech的詞義也做了注釋.在詞匯深層知識方面，該幻燈片呈現(xiàn)了目標單詞的橫組合知識：“giving a speech”，并用紅色凸顯這一慣用搭配的習得價值.同樣，另一目標單詞nervous只呈現(xiàn)了橫組合知識“be feeling nervous”的常用法.然而兩個單詞的縱聚合知識都沒有得到呈現(xiàn).當然，這種在一個頁面上同時呈現(xiàn)兩個目標單詞的做法本身就值得商榷，一個頁面聚焦一個單詞的教學比較理想.如前文所說，對縱聚合知識的呈現(xiàn)一般從同義關系、上下義關系和語義場關系著手.幻燈片一中的縱聚合呈現(xiàn)的是同屬于“情緒語義場”的7個單詞.在幻燈片二中，筆者建議可以考慮從同義關系入手，增加speech一詞的縱聚合知識呈現(xiàn)形式.對幻燈片進行修改（見圖7）：刪除問題how is she feeling now及其回答，取代之以選擇填空題—“從下列單詞中選擇合適的詞替代上句中的“speech”.要正確回答這一問題，學生們需要對speech的詞義、使用語境和語法要求有充分認識，這樣才能準確找出speech語境下的近義詞“l(fā)ecture”.

2.3 幻燈片1和2共性

學者Lessing聚焦文字與圖像間的交互作用，指出文字是一種時間的延伸；而圖像是空間的擴展.也有學者強調兩者的相似處以模糊兩者的區(qū)別［8］.他們認為文字和圖像是相互交織在一起，各以使用符號和象征手法表現(xiàn)人類經(jīng)驗的獨特方式［9］.多模態(tài)意義建構角度下的圖像和文字以不同的交互作用方式對學習者的理解產(chǎn)生重大影響.Holtzman將文字與圖像的關系總結如下：一是鏡像關系，如圣經(jīng)故事與根據(jù)該故事繪制的畫作［10］.兩者描述相同的故事內容，但由不同作者在不同的時間完成；二是類比關系，如用向上的箭頭和向上生長的樹木代表數(shù)量的上升；三是補充說明關系，如兒童繪本中的故事與插圖.鏡像關系中，圖像內容忠實體現(xiàn)文字內容，信息不多不少，也不延伸文字的意義邊緣.這類圖像的理解最簡單，對觀眾的常識水平和背景知識不作要求.相比之下，類比關系和補充說明關系中的圖像理解比較復雜.前者要觀眾具備一定的常識，能快速判斷圖像和文字中的相似成分而定，以理解類比關系的形成；而后者要求觀眾對文字表述的內容具備一定背景知識，以了解圖像信息是如何對文字信息進行補充和說明.在選例中，教師全部選擇了與文字內容呈鏡像關系的圖片來輔助文字信息的呈現(xiàn)，突顯學習目標，這充分說明了鏡像圖片在教學中的首選地位.正因為它的理解最為簡單、直觀，不需要復雜的認知加工過程，使學習者可以將注意力和時間集中于文字內容的理解上.通常，只有在教學對象的意義過于抽象，很難找到對應的鏡像圖像的情況下，才會考慮選擇類比圖像，以便抽象概念的具體化.

3 結語

多媒體課件是具有多模態(tài)意義表述的產(chǎn)品，它的制作除了貼切的教學內容選擇外，尤為重要的是對內容的呈現(xiàn)方式要符合人們的多模態(tài)意義構建習慣和認知加工規(guī)律.忽視科學規(guī)律，將會使教學內容的呈現(xiàn)變成雜亂無序的材料的堆積，造成學習者邏輯的混亂.以英語單詞直接教學為例，新單詞在多媒體教學課件中的呈現(xiàn)需要進行形式和內容兩方面的加工.在形式加工層面，可以按照圖像語法的要求，選擇合適的圖片，并對圖片在整個頁面中的布局進行相應的設計.在內容加工層面，應該遵循認知心理學分層加工理論，對詞匯和淺層知識（拼寫、讀音和意義）和深層知識（橫組合與縱聚合）都應有適當?shù)某尸F(xiàn).當然這種多模態(tài)、多層次的單詞呈現(xiàn)方式的使用要遵從課程標準的要求.一般來說只適合于高中以上的學生.對初級英語水平的學生過多的呈現(xiàn)單詞的深層知識可能會造成學生很大的理解和記憶負擔，引發(fā)他們對詞匯學習的反感［11］.

［1］Group N L.A Pedagogy of Multiliteracies：Designing Social Futures[J].Harvard Educational Review，1996，15（6）:61-83.

［2］PrainV.Mult(national)literacies and globalising discourses[J].Discourse:Studiesin theculturalpolitics of education，1997，18(3):453-467.

［3］韋琴紅.視覺環(huán)境下的多模態(tài)化與多模態(tài)話語研究[M].北京:北京科學出版社，2009.

［4］Kress G，Van L T.Reading Images:the Grammar of Visual Design[M].London:Routledge，1996.

［5］Jewitt C.Technology，Literacy and Learning——A Multimodal Approach[M].London:Routledge，2006.

［6］Craik F I M，Tulving E.Depth of Processing and the Retention of Words in Episodic Memory[J].Journal of Experimental Psychology，1975，3（104）:268-294.

［7］張宗慶，吳喜燕.認知加工層次與外語詞匯學——詞匯認知直接學習法[J].現(xiàn)代外語，2002，10（2）:176-186.

［8］Lessing G H.Laocoon[M].London:Oxford University Press，1965.

［9］Bal M.Reading Rembrandt:Beyond the word-image opposition[M].Cambridge:Cambridge University Press，1991.

［10］Holtzman A.Literature and the Visual Arts[M].Tel Aviv:Hakibbutz Hameuchad，1997.

［11］鄭煥華.例談高中英語詞匯教學中的問題及對策[J].中小學外語教學（中學篇），2013，12（4）:56-58.