劉 宇

(四川外國語大學(xué) 出國培訓(xùn)部，重慶 400031)

1.引言

隨著社會(huì)結(jié)構(gòu)的變遷及信息技術(shù)的普及，圖片、錄像、動(dòng)漫、三維模型等多模態(tài)交際方式在教育領(lǐng)域中的運(yùn)用日益頻繁。從20世紀(jì)90年代起，以系統(tǒng)功能語言學(xué)為基礎(chǔ)的多模態(tài)研究蓬勃發(fā)展，其階段性成果已經(jīng)獲得澳大利亞，英國等發(fā)達(dá)國家教育部門的高度重視，并成為當(dāng)?shù)刂行W(xué)不同學(xué)科教學(xué)改革的理論依據(jù)和實(shí)踐指南 (Prain＆Waldrip，2010:1－3)。我國學(xué)者近年來開始關(guān)注國外多模態(tài)研究的進(jìn)展，并積極運(yùn)用于外語教學(xué)領(lǐng)域(張德祿、王璐，2010)?？偟膩砜?，國內(nèi)多模態(tài)研究的重點(diǎn)在于培養(yǎng)學(xué)生的普通識(shí)作能力(generic literacy)，特別是利用圖片等非語言表征手段提高學(xué)生的英語聽說讀寫水平。相比之下，國內(nèi)現(xiàn)有文獻(xiàn)鮮少論及國際多模態(tài)研究的另一大熱點(diǎn):即如何分析數(shù)學(xué)、物理、化學(xué)等科目中的多模態(tài)表征，并培養(yǎng)學(xué)生的學(xué)科識(shí)作能力(disciplinary literacy)(Moje，2008)。與語言課程不同，學(xué)科教育中圖形，符號等非文字交際手段一直都是教學(xué)與測試的重要內(nèi)容，因此借鑒多模態(tài)研究的成果對提高我國學(xué)科教育水平具有更為重要的價(jià)值。本文主要結(jié)合化學(xué)學(xué)科中的圖文并茂現(xiàn)象介紹多模態(tài)研究的理論依據(jù)和研究范圍，并探討該項(xiàng)研究對我國科學(xué)教育的啟示。

2.理論基礎(chǔ)

系統(tǒng)功能語言學(xué)理論由英國語言學(xué)家Halliday在20世紀(jì)70年代創(chuàng)立。當(dāng)時(shí)占據(jù)主導(dǎo)地位的形式語言學(xué)主張將將語言視作一個(gè)自給自足的封閉體系進(jìn)行研究。Halliday則反對把語言同其他社會(huì)現(xiàn)象隔離開來，強(qiáng)調(diào)語言是人際交流的重要產(chǎn)物和根本途徑，研究言語活動(dòng)必須考慮其產(chǎn)生的社會(huì)語境(social context)，包括具體語言形式背后的文化動(dòng)因(Halliday，1978:18－19)。

系統(tǒng)功能語言學(xué)家透過層次化的視角揭示社會(huì)語境和語言現(xiàn)象之間的互動(dòng)關(guān)系，將兩者視作不同層次的符號系統(tǒng)，前者較為抽象，而后者較為具體。同時(shí)，語言本身按照抽象程度從高到低也可以分為意義①從系統(tǒng)功能理論視角來看(例如:Martin，1997:4)，語言可以構(gòu)建三種意義:概念意義(再現(xiàn)主客觀世界所發(fā)生的事件)，人際意義(說話人與受眾之間構(gòu)建何種人際關(guān)系)和組篇意義(語言使用者如何將各個(gè)語言片段組合成一個(gè)連貫的整體)。限于篇幅，本文只討論概念意義。、語法、及媒介形式(聲音，文字)三個(gè)層次。社會(huì)語境同語言的各個(gè)層次之間存在相互識(shí)解(construe)關(guān)系:一方面，特定的社會(huì)語境制約著語言的選擇;另一方面，具體的某種語言形式也構(gòu)建出相應(yīng)的社會(huì)語境(Martin，1997:4－6)。社會(huì)語境和語言兩種符號系統(tǒng)各個(gè)層次之間的互動(dòng)對揭示科學(xué)知識(shí)的構(gòu)建和傳播具有重要意義。Halliday(1998:228)指出，科學(xué)探索既是一種物質(zhì)活動(dòng)，也是一種符號活動(dòng)?？茖W(xué)家在利用技術(shù)設(shè)備對物質(zhì)世界進(jìn)行調(diào)查研究的同時(shí)，需要特定的語言形式來構(gòu)建和組織相應(yīng)的科學(xué)知識(shí)。例如:“木炭在空氣中燃燒”同“碳與氧氣反應(yīng)”兩句話可以用來描述類似的物質(zhì)現(xiàn)象。但兩者首先在語法層面上體現(xiàn)為不同的形式:第一句話中，名詞“木炭”和“空氣”的語法角色不同?！澳咎俊弊髦髡Z，而“空氣”則是地點(diǎn)狀語“在空氣中”的一部分;相比之下，第二句話中兩個(gè)名詞“碳”和“氧氣”均作主語。從系統(tǒng)功能語言學(xué)的視角來看，兩句話在語法構(gòu)型上的不同也體現(xiàn)為語義層面上的差異:第一句話中“空氣”的語義角色是表示空間位置的“環(huán)境成分”。與此不同，第二句話中“碳”和“氧氣”的語義角色都是“參與者”。不同的意義在更為抽象的層面上構(gòu)建出不同的語境:前一句表明空氣在燃燒現(xiàn)象中的地位較為次要，詮釋出的是日常經(jīng)驗(yàn);而后一句話表明碳和氧氣兩種物質(zhì)在燃燒過程中缺一不可，詮釋出的則是科學(xué)知識(shí)。

系統(tǒng)功能語言學(xué)者Lemke(1998:92－94)認(rèn)為，學(xué)習(xí)科學(xué)知識(shí)的核心任務(wù)在于掌握科學(xué)概念的意義。由于意義直接同語境及語法兩個(gè)層次互動(dòng)，這就不僅需要了解科學(xué)概念產(chǎn)生的社會(huì)語境及理論背景，而且必須清楚科學(xué)家如何使用特定的語法結(jié)構(gòu)來構(gòu)建意義。相比之下，語法構(gòu)型比語境層面更為具體，因此成為理解科學(xué)概念的一個(gè)重要途徑。另外，科學(xué)探索活動(dòng)的多模態(tài)特征也引起了語言學(xué)家的高度重視。從20世紀(jì)90年代開始，一批從事系統(tǒng)功能語言學(xué)研究的學(xué)者本著“語言是一種社會(huì)符號”的基本思想，將研究對象拓展到圖像、數(shù)學(xué)符號、三維模型等多種交際手段(Kress＆van Leeuwen，1996;Lemke，1998)。Matthiessen(2009:12)，認(rèn)為非語言模態(tài)同語言符號一樣，都是社會(huì)語境的體現(xiàn)方式，各種模態(tài)內(nèi)部也可以劃分為意義，語法和媒介形式三個(gè)層次。

從多模態(tài)的視角來看，一個(gè)科學(xué)概念可以體現(xiàn)為多個(gè)意義的組合，而每個(gè)意義又由不同模態(tài)通過特殊的語法結(jié)構(gòu)加以構(gòu)建。例如:“甲烷”這一概念在媒介形式層面上可以體現(xiàn)為書面語，三維模型和科學(xué)符號等不同模態(tài)。這三種模態(tài)通過各自不同的語法構(gòu)型構(gòu)建出多重意義:名詞短語“甲烷”利用“分類詞+中心詞”結(jié)構(gòu)表明這種化學(xué)物質(zhì)是烷烴的一種;球棍模型利用三維空間手段顯示出碳原子和氫原子的位置關(guān)系;分子式則通過元素符號與數(shù)學(xué)符號的緊密結(jié)合讓讀者對分子內(nèi)碳原子和氫原子的數(shù)量一目了然。值得關(guān)注的是，這里所說的“語法”，已經(jīng)不再局限為正確使用語言的一系列規(guī)則，而是泛指某種模態(tài)內(nèi)部或者不同模態(tài)之間成分與成分的組合方式及其構(gòu)建意義的手段(Kress et al.，2001:12)。

除了系統(tǒng)功能語言學(xué)家，國際科學(xué)教育界也開始高度重視科學(xué)語篇的多模態(tài)特征。Pearson，Moje＆Greenleaf(2010)在新近出版的國際權(quán)威學(xué)術(shù)期刊《科學(xué)》(Science)上撰文指出:文字、圖像、化學(xué)符號、三維模型等并非只是被動(dòng)記錄和傳播現(xiàn)有知識(shí)的載體;相反，各種模態(tài)都可視為探索物質(zhì)世界的研究工具，同科學(xué)儀器的功能相似;而閱讀及撰寫科研報(bào)告、繪制圖表、進(jìn)行公式演算等活動(dòng)本身就是科學(xué)探究的組成部分，因此教師必須重視語言等各種符號表征手段在科學(xué)教育中的重要作用，并努力將學(xué)生的閱讀、寫作、討論、繪圖、使用三維模型等活動(dòng)同其他科學(xué)探究活動(dòng)有機(jī)結(jié)合在一起。

例如，美國愛荷華大學(xué)開展了一項(xiàng)大型教學(xué)改革項(xiàng)目(Hand＆ Choi，2010)，在學(xué)習(xí)“芳香烴”部分時(shí)，教師為學(xué)生提供了一份實(shí)驗(yàn)報(bào)告模板，要求學(xué)生在進(jìn)行科學(xué)實(shí)驗(yàn)的過程中，以書面形式首先進(jìn)行假設(shè)，提出研究的問題，然后設(shè)計(jì)實(shí)驗(yàn)過程，描述實(shí)驗(yàn)中觀察到的現(xiàn)象，解釋這些現(xiàn)象并得出結(jié)論，最后檢查并確認(rèn)自己的結(jié)論。除此之外，教師還要求學(xué)生在實(shí)驗(yàn)報(bào)告中合適的位置繪制插圖和分子式。該研究證明，將科學(xué)表征同科學(xué)實(shí)踐密切結(jié)合的方式有效地提高了學(xué)生的科學(xué)素養(yǎng)。但同語言相比，如何清楚解釋多模態(tài)表征的功能以及有效幫助學(xué)生掌握恰當(dāng)?shù)谋碚餍问降葐栴}對教師提出了更大的挑戰(zhàn)。而借鑒系統(tǒng)功能語言學(xué)研究的成果，熟悉和使用多模態(tài)研究的方法，為攻克這一難題提供了有效途徑。

3.科學(xué)教育語篇多模態(tài)研究的范圍和方法

從現(xiàn)有文獻(xiàn)來看(O’Halloran，2011)，多模態(tài)研究的范圍主要包括符內(nèi)符號化研究(intrasemiosis)、符際符號化研究(intersemiosis)以及重新符號化研究(resemioticization)等三個(gè)不同側(cè)面。其研究方法均秉承了系統(tǒng)功能語言學(xué)的基本思路，將圖像、科學(xué)符號、三維模型等各種表征手段都視作構(gòu)建意義的資源，并借鑒語言研究的功能范疇和標(biāo)簽對多模態(tài)表征的語法構(gòu)型進(jìn)行分析。以下部分將結(jié)合三種研究在科學(xué)教育領(lǐng)域中的應(yīng)用分別進(jìn)行闡述。

3.1 符內(nèi)符號化研究

符內(nèi)符號化研究運(yùn)用系統(tǒng)功能語言學(xué)的基本分析方法剖析非語言表征形式的意義構(gòu)建方式。例如，語言研究使用及物系統(tǒng)考察句子構(gòu)建經(jīng)驗(yàn)的方式。其中“過程”(process)是一個(gè)具有核心地位的功能范疇，在語言中主要體現(xiàn)為一個(gè)動(dòng)詞(比如:“反應(yīng)”)。多模態(tài)研究表明:類似的功能在視覺語法中常常體現(xiàn)為一個(gè)或多個(gè)傾斜的箭頭，而在科學(xué)符號中體現(xiàn)為一個(gè)加號。同樣，“參與者”(participant)這個(gè)功能范疇在語言中主要體現(xiàn)為一個(gè)名詞(比如:“氯化鈉”)，在視覺語法中可以體現(xiàn)為呈現(xiàn)一堆白色物質(zhì)的圖形，而在科學(xué)符號中體現(xiàn)為一個(gè)化學(xué)式NaCl。這些研究表明，不同模態(tài)的表征可以利用獨(dú)特的語法形式構(gòu)建出相似的功能。

另一方面，符內(nèi)符號化研究強(qiáng)調(diào)任何一種模態(tài)都無法完全復(fù)制其他模態(tài)的功能，在表達(dá)意義時(shí)各有所長。Lemke(1998:92－94)就曾指出:語言這種表征形式擅長用于對各種現(xiàn)象進(jìn)行分類，從而構(gòu)建出“范疇意義”(categorical meaning);圖像則能清楚地顯示各種細(xì)微的變化，從而構(gòu)建出“程度意義”(topological meaning)。這些語義上的差異也是源于各種模態(tài)不同的語法形式。比如，語言中名詞之前可以添加一系列名詞作為定語(例如“鈉”、“硫酸鈉”、“硫代硫酸鈉”)，這種語法構(gòu)型有利于對研究對象進(jìn)行詳盡的分類。同樣，圖像有形狀、大小、顏色等多種語法資源可以凸顯細(xì)節(jié)上的差異，因此能夠有效地描述各種不同程度(例如學(xué)生通過觀察PH試紙顏色可以判斷不同物質(zhì)的酸堿度)。

上述研究表明:科學(xué)語篇中的多模態(tài)表征能夠構(gòu)建出語言無法單獨(dú)表達(dá)的意義，因此對于科學(xué)知識(shí)的理解和傳播至關(guān)重要。近年來，西方科學(xué)教育界學(xué)者開始以符內(nèi)符號化理論為指導(dǎo)進(jìn)行實(shí)證研究。Dimopoulos，Koulaidis＆ Sklaveniti(2003)運(yùn)用圖像語法中的及物系統(tǒng)分析了希臘中小學(xué)20世紀(jì)90年代所使用的六種科學(xué)教科書及同期希臘國內(nèi)四家主流報(bào)社所刊發(fā)的1867篇科技報(bào)道中的圖像類別。他們發(fā)現(xiàn):兩種媒體中一半以上的圖像從語法構(gòu)型上看都屬于“分析過程”(analytical process)。這就說明，教材和報(bào)刊中圖像的設(shè)計(jì)者都把理解科學(xué)對象整體和部分之間的關(guān)系視作最重要的學(xué)習(xí)任務(wù)。但是，教科書與報(bào)刊的及物系統(tǒng)類型在另外一些方面存在較大差異。例如，教科書中有10.4%的插圖屬于“分類過程”而在科技報(bào)道中這一比例僅占2.4%，說明前者比后者更為重視科學(xué)對象之間的類屬關(guān)系。Dimopoulos et al.(2003:205)據(jù)此強(qiáng)調(diào):教師如果將科技報(bào)道用作科學(xué)教育的補(bǔ)充資料時(shí)必須了解這些差異，并對報(bào)道進(jìn)行合理的挑選，這樣才能避免科普讀物在內(nèi)容上同中小學(xué)教材出現(xiàn)脫節(jié)的現(xiàn)象。

3.2 符際符號化研究

符際符號化研究主要關(guān)注兩種或兩種以上不同模態(tài)之間的關(guān)聯(lián)和互動(dòng)及其對整個(gè)語篇意義構(gòu)建所造成的影響，其基本思想和分析方法主要借鑒了系統(tǒng)功能語言學(xué)中的銜接理論。Halliday＆Hasan(1976:26)認(rèn)為，與字、詞、短語和句子等語法單位不同，語篇是一個(gè)意義單位。因此判斷某個(gè)語言片段是不是語篇，一條很重要的標(biāo)準(zhǔn)不是看其中字詞或句子的數(shù)量，而是看這個(gè)片段中不同部分之間有沒有語義上的聯(lián)系，或者說是否存在銜接手段。我們可以通過人教版初中化學(xué)教科書中的一段話對銜接手段進(jìn)行簡要介紹:

(1)純水是無色，無臭，清澈透明的。而自然界中的河水、湖水、井水、海水等天然水由于含有很多可溶性和不溶性雜質(zhì)，因此常呈混濁。

這段話中有兩個(gè)句子，要判斷它們究竟是任意拼湊的語言片段還是一個(gè)連貫的語篇?需要我們對兩句話之間的語義聯(lián)系進(jìn)行分析。從系統(tǒng)功能語言學(xué)的視角來看，前后兩句話中的名詞“純水”和“天然水”屬于“共同下義詞”(co-hyponymy)。具體來講，純水和天然水都是水的一種形式，因此同屬“水”這個(gè)名詞的下義詞。另外，第一句中形容詞“清澈透明”和第二句中形容詞“混濁”屬于“反義關(guān)系”(antonymy)。這兩種詞匯銜接手段如同膠水一般發(fā)揮作用，將前后兩句話有機(jī)地結(jié)合起來成為語義上的一個(gè)整體。

從事多模態(tài)研究的學(xué)者嘗試使用語言研究中的銜接概念來分析多模態(tài)語篇中不同模態(tài)之間的互動(dòng)。這種借鑒具有合理性，原因在于銜接理論強(qiáng)調(diào)的是語義關(guān)系，而圖像等多模態(tài)表征同語言一樣都是構(gòu)建意義的資源。例如，Royce(1998:33)在考察《經(jīng)濟(jì)學(xué)家》雜志上一則圖文并茂的公益廣告時(shí)指出，照片上人物穿的是工作服，這一圖像所構(gòu)建的意義同文字中名詞“公司”所構(gòu)建的意義常常出現(xiàn)在同一語境當(dāng)中，因此兩者之間存在“搭配關(guān)系”，該銜接方式有助于讀者在解讀廣告時(shí)將兩種不同模態(tài)視作是一個(gè)有機(jī)的整體。

研究不同模態(tài)之間的銜接方式可以揭示學(xué)生在理解科學(xué)語篇過程中遇到的困難和挑戰(zhàn)。英國劍橋大學(xué)兩位學(xué)者Crisp＆Sweiry(2006)考察了英國525名中學(xué)生在解答帶有插圖的科學(xué)試題時(shí)的表現(xiàn)。他們的結(jié)論是，盡管插圖在某些時(shí)候能夠幫助學(xué)生更快速和準(zhǔn)確地理解試題，但在另一些時(shí)候也會(huì)造成誤解。例如，有道試題配發(fā)了一張顯示牙膏、牙刷、漱口杯、洗發(fā)香波、香皂等日用品的照片(見圖1)，其文字?jǐn)⑹鲋刑岬健把栏嗪刑妓徕c，能夠中和口腔中的酸性物質(zhì)從而保護(hù)牙齒”。提出的問題是“碳酸鈉和鹽酸反應(yīng)會(huì)生成哪些產(chǎn)物(products)?”結(jié)果相當(dāng)高比例的學(xué)生把答案錯(cuò)填為“洗發(fā)香波”或“香皂”。Crisp＆Sweiry(2006:148)認(rèn)為，該題目的插圖誤導(dǎo)了學(xué)生。由于products這個(gè)名詞有兩個(gè)不同意思:一是指學(xué)生比較熟悉的“日用品”，二是指化學(xué)領(lǐng)域中的“反應(yīng)生成物”。而圖1照片顯示的都是日用品，因此誤導(dǎo)部分學(xué)生把題目中的“products”理解成第一種含義。

圖1 化學(xué)試題中的插圖范例

現(xiàn)存多模態(tài)研究成果(例如:Dimopoulos et al.，2003)已經(jīng)證明，圖像是構(gòu)建科學(xué)語篇的重要資源，因而在題目中使用插圖本身無可厚非。值得關(guān)注的是，上述例子表明盡管學(xué)生沒有系統(tǒng)學(xué)習(xí)過銜接理論，他們在讀題時(shí)實(shí)際上已經(jīng)開始自覺尋找不同模態(tài)之間的語義聯(lián)系。從銜接的視角來看，學(xué)生犯錯(cuò)主要是因?yàn)檎`解了這道習(xí)題中的圖文關(guān)系(Liu，2014:80－81)。出題方使用包括牙膏照片在內(nèi)的插圖，其主要目的是構(gòu)建與文字?jǐn)⑹鲋忻~“牙膏”在語義上的“對應(yīng)關(guān)系”，這樣做可以把考試同學(xué)生的日常生活聯(lián)系在一起，從而降低題目的抽象性。然而，部分學(xué)生沒能領(lǐng)會(huì)到題目設(shè)計(jì)者使用圖像的初衷，他們誤以為該圖像同問題中“products”(日用品)一詞之間存在“上下義”關(guān)系(例如，洗發(fā)香波，香皂等都是日用品)，因此給出了錯(cuò)誤答案。由此可見，要正確理解多模態(tài)科學(xué)語篇的意義，并按照考試要求正確解答習(xí)題，一個(gè)關(guān)鍵之處在于厘清不同模態(tài)之間的關(guān)系。

3.3 重新符號化研究

重新符號化研究同符際符號化研究一樣，其考察對象均為不同模態(tài)之間的互動(dòng)。但不同之處在于，前者是從空間的視角分析多模態(tài)文本，例如考卷同一頁面上文字和插圖的語義關(guān)系;后者則是從時(shí)間的視角分析符號現(xiàn)象或事件的發(fā)展歷程，主要研究各種表征之間的轉(zhuǎn)化。社會(huì)符號學(xué)者Iedema(2003:30)提出“重新符號化”(resemioticization)概念。他解釋說，現(xiàn)有多模態(tài)研究主要關(guān)注多種符號表征參與構(gòu)建文本的復(fù)雜性，而很少解釋意義在構(gòu)建過程中所發(fā)生的動(dòng)態(tài)變化，重新符號化研究恰好能彌補(bǔ)這一不足之處。例如，英國中小學(xué)英語課程將“人物形象”作為教學(xué)的一項(xiàng)核心任務(wù)，在考試中要求學(xué)生分析文學(xué)作品中特定人物的形象，并對不同人物進(jìn)行比較。然而，課堂上文學(xué)作品的載體既有原著的書本形式，也包括最新制作的光盤等多媒體材料，這些不同的文本對人物塑造產(chǎn)生了深刻影響。英國教育學(xué)家Jewitt(2002)注意到了這個(gè)問題，并借助重新符號化視角分析了美國小說《人鼠之間》(Of Mice and Men)中的人物形象。她發(fā)現(xiàn)，文字小說和多媒體光盤對同一人物所塑造出的形象有時(shí)候會(huì)大相徑庭:其中一名男配角黑人柯魯克斯在原著中被描述成一個(gè)卑賤的奴隸;而光盤中敘述者運(yùn)用舒緩而又深沉的嗓音表現(xiàn)出對柯魯克斯的敬意，同時(shí)采用的插圖(穿戴整齊，并以大量的書籍為背景)也凸顯了該人物的睿智和有教養(yǎng)Jewitt(2002:192－193)。據(jù)此提醒教師，人物形象并非一成不變，必須重視教學(xué)中多模態(tài)表征所進(jìn)行的重新塑造。

重新符號化現(xiàn)象在科學(xué)教育領(lǐng)域中也十分普遍。比如，考試中常常要求學(xué)生根據(jù)物質(zhì)的名稱寫出其正確的化學(xué)式，這其實(shí)就是一種從文字到科學(xué)符號的重新符號化現(xiàn)象。但是在講解此類題目時(shí)，老師強(qiáng)調(diào)的重點(diǎn)往往是形式上的某些規(guī)約性條款。例如，氯化鈉應(yīng)該寫成NaCl而不是ClNa。這樣使得不少學(xué)生誤認(rèn)為化學(xué)式和物質(zhì)的名稱在意義上沒有什么區(qū)別，而前者只不過是用一種比較新奇獨(dú)特的形式來表達(dá)后者的內(nèi)容(Liu，2009:138)。

然而，從歷時(shí)的角度來看，重新符號化現(xiàn)象蘊(yùn)含著深刻的科學(xué)背景并帶來了語義的擴(kuò)張，使得新出現(xiàn)的表征形式能夠用來構(gòu)建新的科學(xué)理論。19世紀(jì)初，眾多化學(xué)家都在努力探索一個(gè)重大問題:為什么某些物質(zhì)能同另一些(而非全部)物質(zhì)發(fā)生化學(xué)反應(yīng)?瑞典科學(xué)家Berzelius受到“電偶效應(yīng)”理論的啟示，嘗試將化學(xué)反應(yīng)解釋為原子之間正負(fù)電荷的結(jié)合。例如，Berzelius使用符號形式“2H+O”對“水”這個(gè)名稱進(jìn)行重新表征。值得教師和學(xué)生共同注意的是，化學(xué)式“2H+O”構(gòu)建出了一個(gè)動(dòng)態(tài)的反應(yīng)過程，而名詞“水”則只是在詮釋靜態(tài)的事物。從語義的視角來看，重新符號化這一機(jī)制就成為了科學(xué)探索的重要工具，使得科學(xué)家可以從微觀的角度重新解釋物質(zhì)現(xiàn)象，從而推動(dòng)相關(guān)科學(xué)理論的創(chuàng)立和發(fā)展(Liu＆Owyong，2011:832)。

4.啟示與展望

多模態(tài)研究為我國科學(xué)教育的發(fā)展提供了一種有益的新模式。長期以來，科學(xué)教育工作者希望學(xué)生通過接觸圖像、化學(xué)式、三維模型等科學(xué)表征方式，能夠潛移默化地在大腦中建立起一種特殊認(rèn)知模式(徐寧、郭玉英，2009)。這實(shí)際上是一種隱性教學(xué)模式。由于科學(xué)表征方式的抽象性較高，如果沒有清楚而詳盡的講解，就很難發(fā)展出一套行之有效的教學(xué)法，要初學(xué)者理解復(fù)雜的多模態(tài)現(xiàn)象恐怕只能是教師的一廂情愿。

與此不同，多模態(tài)研究將“科學(xué)概念”視作在一定社會(huì)歷史語境中產(chǎn)生出的多種特殊意義的集合，而文字、圖像、三維模型、科學(xué)符號等表征手段是構(gòu)建意義的重要資源，而不是像管道一樣僅僅發(fā)揮傳輸?shù)淖饔?。由此可見，多模態(tài)表征本身就具備極高的教學(xué)價(jià)值，而解讀科學(xué)語篇也就成為學(xué)生進(jìn)行科學(xué)探究活動(dòng)的重要內(nèi)容。由于系統(tǒng)功能理論已廣泛用于描述圖像、科學(xué)符號、三維模型等各種表征的表義方式，借鑒多模態(tài)研究成果有助于明確教學(xué)內(nèi)容，細(xì)化教學(xué)策略，從而發(fā)展出一套顯性教學(xué)模式提高教學(xué)水平。例如，教師可以通過分析名詞“Methane”(甲烷)，化學(xué)式CH4及其三維模型的語法構(gòu)型幫助學(xué)生理解三者在功能上的差異，從而有效地幫助學(xué)生全面掌握“甲烷”這一科學(xué)概念。同時(shí)，明確不同表征手段在功能上存在差異和互補(bǔ)關(guān)系也有助于學(xué)生更準(zhǔn)確地把握相關(guān)外語(例如:英語)表述的意義，從而更有效地學(xué)習(xí)“特殊用途英語”。

除此之外，多模態(tài)研究也為我國學(xué)科教育教材的編纂提供了合理的設(shè)計(jì)原則和評價(jià)標(biāo)準(zhǔn)。教材作為課堂教學(xué)的重要資源，其編寫與改革需要考慮多個(gè)要素。鑒于當(dāng)代學(xué)科教育(例如生物、地理、物理、化學(xué))教科書的圖文并茂現(xiàn)特點(diǎn)十分突出，多模態(tài)研究為編纂工作提供了理論依據(jù)，可以幫助編者決定在教材中選取什么類型的圖像，在不同種類的圖像之間保持何種比率關(guān)系，以及圖像與文字部分應(yīng)該建立何種關(guān)系。除此之外，多模態(tài)研究成果也可以用來系統(tǒng)地評價(jià)現(xiàn)有教材中多模態(tài)表征的設(shè)計(jì)水準(zhǔn)，從而改進(jìn)不合理的地方。

多模態(tài)研究還為我國教育領(lǐng)域內(nèi)不同學(xué)科之間的交流合作開啟了大門。如前文所述，多模態(tài)研究特別強(qiáng)調(diào)著語法和意義之間的互動(dòng)，而這兩個(gè)層次涉及不同學(xué)科的教師。一方面，語文和外語教師往往擅長分析語法構(gòu)型;另一方面，其他學(xué)科教師則能夠更為準(zhǔn)確地把握某一概念所蘊(yùn)含的意義。由此看來，多模態(tài)研究為語言教師同學(xué)科教師之間的密切協(xié)作提供了一個(gè)合適的平臺(tái)，這個(gè)平臺(tái)將幫助他們打破學(xué)科限制，攜手并進(jìn)，共同參與學(xué)科教育的課程設(shè)計(jì)和教學(xué)實(shí)踐，最終確保教學(xué)質(zhì)量的提高。

［1］Crisp，V.＆ E.Sweiry.Can a Picture Ruin a Thousand Words?The Effects of Visual Resources in Exam Questions［J］.Educational Research，2006(2):139–154.

［2］Dimopoulos，K.，Koulaidis，V.＆ S.Sklaveniti.Towards an Analysis of Visual Images inSchool Science Textbooks and Press Articles about Science and Technology［J］.Research in Science Education，2003(2):189－216.

［3］Halliday，M.Language as Social Semiotic:The Social Interpretation of Language and Meaning［M］.London:Edward Arnold，1978.

［4］Halliday，M.Things and Relations:Regrammaticizing Experience as Technical Knowledge［M］//J.R.Martin ＆R.Veel.ReadingScience:CriticalandFunctional Perspectives on Discourses of Science.London:Routledge，1998:185－235.

［5］Halliday，M.＆ R.Hasan.Cohesion in English［M］.London:Longman，1976.

［6］Hand，B.＆ A.Choi.Examining the Impact of Student Use of Multiple Modal Representations in Constructing Arguments in Organic Chemistry Laboratory Classes［J］.Research in Science Education，2010(40):29 －44.

［7］Iedema，R.Multimodality，Resemiotization:Extending the Analysis of Discourse as Multi-semiotic Practice［J］.Visual Communication，2003(1):29－57.

［8］Jewitt，C.The Move from Page to Screen:The Multimodal Reshaping of School English ［J］.Visual Communication，2002(2):171－195.

［9］Kress，G.，Jewitt，C.，Ogborn，J.＆ C.Tsatsarelis.Multimodal Teaching and Learning:The Rhetorics of the Science Classroom［M］.London:Continuum，2001.

［10］Kress，G.＆ van T.Leeuwen.Reading Images:TheGrammar of Visual Design［M］.London:Routledge，1996.

［11］ Lemke，J.Multiplying Meaning:Visual and Verbal Semiotics in Scientific Text［M］//J.R.Martin，R.Veel.Reading Science:Critical and Functional Perspectives on Discourses of Science.London:Routledge，1998:87 －113.

［12］Liu，Y.Teaching Multiliteracies in Scientific Discourse:Implications from Symbolic Construction of Chemistry［J］.K@ta，2009(2):128–141.

［13］Liu， Y. SocialSemioticMultimodalResearch:A Meaning-based Approach［J］.Signs＆Media，2014(8):73－92.

［14］ Liu，Y.＆ M. Owyong.Metaphor，Multiplicative Meaning and the Semiotic Construction of Scientific Knowledge ［J］.LanguageSciences， 2011(5):822－834.

［15］Martin，J.R.Analyzing Genre:Functional Parameters［M］//F.Christie，J.R.Martin.Genre and Institutions:Social Processes in the Workplace and School.London and Washington:Cassell，1997:3 －39.

［16］Matthiessen，C.M.I.M.Multisemiotic and Contextbased Register Typology:Registerial Variation in the Complementarity of Semiotic Systems［M］//E.Ventola＆ A.Guijarro.The World Told and the World Shown:Multisemiotic Issues.Basingstoke:Palgrave Macmillan，2009:11－38.

［17］ Moje，E.Foregrounding the Disciplines in Secondary Literacy Teaching and Learning:A Call for Change［J］.JournalofAdolescent＆AdultLiteracy，2008(2):96－107.

［18］ O’Halloran，K.L.Multimodal Discourse Analysis［M］//K.Hyland ＆ B.Paltridge.The Continuum Companion to Discourse Analysis.London and New York:Continuum，2011:120－137.

［19］Pearson，P.，Moje，E.＆ C.Greenleaf.Literacy and Science:Each in Service of the Other［J］.Science，2010(328):459－463.

［20］ Prain， V. ＆ B. Waldrip. RepresentingScience Literacies:An Introduction［J］.Research in Science Education，2010(1):1 －3.

［21］Royce，T.Synergy on the Page:Exploring Intersemiotic Complementarity in Page-based Multimodal Text［J］.JASFL Occasional Papers，1998(1):25 －49.

［22］人民教育出版社課程教育研究所.義務(wù)教育課程標(biāo)準(zhǔn)實(shí)驗(yàn)教科書化學(xué)(九年級上冊)［M］.北京:人民教育出版社，2006.

［23］徐寧，郭玉英.國外物理概念轉(zhuǎn)變研究:借鑒與啟示［J］.課程·教材·教法，2009(6):92－96.

［24］張德祿，王璐.多模態(tài)話語模態(tài)的協(xié)同及在外語教學(xué)中的體現(xiàn)［J］.外語學(xué)刊，2010(2):97 －102.