[東南學(xué)院 南京 210096]

功能語言學(xué)視角下的多模態(tài)語篇符號(hào)間的銜接研究

□王正[東南學(xué)院 南京 210096]

以功能語言學(xué)理論為基礎(chǔ)，對(duì)多模態(tài)語篇中視覺符號(hào)和文字符號(hào)之間的銜接關(guān)系進(jìn)行了的總結(jié)和擴(kuò)充。擴(kuò)大了多模態(tài)語篇中不同符號(hào)之間銜接范圍，把人際意義銜接和語境銜接納入符號(hào)間的銜接范圍。并且對(duì)人際意義銜接和語境銜接分別進(jìn)行了詳細(xì)的闡述。對(duì)人際意義銜接的闡述主要從語氣結(jié)構(gòu)和態(tài)度系統(tǒng)兩個(gè)方面，對(duì)語境銜接主要從文化語境和上下文語境兩個(gè)方面闡述。

多模態(tài)語篇；符號(hào)間的銜接；視覺符號(hào)；文字符號(hào)

引言：

在過去的十幾年里，多模態(tài)語篇已經(jīng)成為語篇分析領(lǐng)域里的一個(gè)研究熱點(diǎn)。許多學(xué)者從Halliday的社會(huì)符號(hào)學(xué)出發(fā)[1～2]，以系統(tǒng)功能語言學(xué)理論為基礎(chǔ)，對(duì)多模態(tài)語篇進(jìn)行了大量的研究。

本文主要研究的是多模態(tài)語篇中不同符號(hào)模態(tài)之間的銜接關(guān)系，即不同模態(tài)符號(hào)模態(tài)之間是通過哪些銜接手段形成一個(gè)連貫的多模態(tài)語篇的。本文的目的是在總結(jié)以往研究成果的基礎(chǔ)上，提出一個(gè)完整的視覺符號(hào)和文字符號(hào)的銜接理論框架。并對(duì)這個(gè)理論框架中前人沒有做過研究的部分進(jìn)行詳細(xì)的闡釋。

一、以往的研究成果和不足

國(guó)外的一些學(xué)者對(duì)于文字符號(hào)和視覺符號(hào)之間的語義關(guān)系和銜接關(guān)系，已經(jīng)做了一些探索性的研究。這其中比較重要的有Royce、Martinec&and Salway、 Unsworth、 O’Halloran、 Jones和 Liu&O’Halloran等人的研究[3～9]。這些研究從不同的角度探索了多模態(tài)語篇中視覺符號(hào)和文字符號(hào)之間的銜接關(guān)系。限于篇幅，本文不在這里對(duì)他們的研究成果進(jìn)行詳細(xì)闡述。

但是在所有以往的研究中所提出的視覺符號(hào)和文字符號(hào)銜接關(guān)系的理論中都缺少人際意義銜接。由于視覺符號(hào)的意義系統(tǒng)和文字符號(hào)的意義系統(tǒng)一樣，由概念意義、人際意義和謀篇意義構(gòu)成，所以視覺符號(hào)和文字符號(hào)之間的銜接關(guān)系應(yīng)該包括人際意義的銜接。

另一方面，以往的研究所提出的銜接理論框架只局限于語篇內(nèi)部銜接，沒有從語篇外部的語境層面探討不同符號(hào)間的銜接關(guān)系。張德祿認(rèn)為任何一個(gè)語篇都是情景語境中的語篇，所以任何語篇由語言形式體現(xiàn)的意義都不是完整的，總有一些意義是由語境因素實(shí)現(xiàn)的[10]。O’Halloran也指出，不同符號(hào)間的語義互動(dòng)，不但會(huì)發(fā)生在表達(dá)層和內(nèi)容層，也會(huì)發(fā)生在語境層。所以在研究視覺符號(hào)和文字符號(hào)的銜接時(shí)還應(yīng)該將語境因素考慮在內(nèi)，研究不同符號(hào)模態(tài)在語篇外部的銜接關(guān)系[6～7]。

二、視覺符號(hào)和文字符號(hào)銜接的理論框架

語言的意義系統(tǒng)由三種意義組成：概念意義、人際意義和謀篇意義。用以組織三種意義的語篇意義關(guān)系都是銜接關(guān)系。所以，應(yīng)該從概念、人際和謀篇三種意義的組織方式的角度來研究語篇內(nèi)部和外部的銜接[10]。

Kress & van Leeuwen認(rèn)為，視覺符號(hào)的意義系統(tǒng)和文字符號(hào)的意義系統(tǒng)一樣，由概念意義、人際意義和謀篇意義構(gòu)成，并且以再現(xiàn)意義(Representational meaning)、互動(dòng)意義(Interactive meaning)和構(gòu)成意義(Compositional meaning)來表述視覺符號(hào)的意義系統(tǒng)[11]。由于視覺符號(hào)系統(tǒng)同樣具有概念、人際和謀篇意義，所以我們?cè)谘芯恳曈X符號(hào)和文字符號(hào)的銜接之時(shí)，同樣要從概念、人際和謀篇三種意義在兩種符號(hào)之間的組織方式的角度出發(fā)。

綜上所述，我們結(jié)合以往的研究成果，對(duì)視覺符號(hào)和文字符號(hào)的銜接關(guān)系進(jìn)行總結(jié)和擴(kuò)充，見表1。

表1 視覺符號(hào)和文字符號(hào)的銜接理論框架

表1提出的符號(hào)間的銜接關(guān)系框架分別從語篇的內(nèi)部和外部對(duì)多模態(tài)語篇不同符號(hào)間的銜接手段進(jìn)行了總結(jié)。該理論框架首次將語境銜接和人際意義銜接納入了多模態(tài)語篇符號(hào)間的銜接系統(tǒng)。

三、對(duì)視覺符號(hào)和文字符號(hào)銜接理論框架的闡釋

（一）多模態(tài)語篇的內(nèi)部銜接

1.概念意義角度的符號(hào)間的銜接關(guān)系

概念意義角度的符號(hào)間的銜接關(guān)系包括邏輯意義銜接和經(jīng)驗(yàn)意義銜接兩個(gè)部分。邏輯意義銜接包括對(duì)比、添加、因果關(guān)系和時(shí)間順序四種銜接關(guān)系。經(jīng)驗(yàn)意義角度的符號(hào)間的銜接關(guān)系包括對(duì)應(yīng)、反義、上下義、整體-部分、搭配和多義六種關(guān)系。

對(duì)概念意義角度的不同符號(hào)間的銜接關(guān)系Liu&O’Halloran、Jones、Royce和O’Halloran已經(jīng)做過較為詳細(xì)的論述[10,8,6～7]，在這里限于篇幅，不再重復(fù)。

2.人際意義角度的符號(hào)間的銜接關(guān)系

在多模態(tài)語篇中人際意義的銜接主要包括語氣結(jié)構(gòu)銜接和態(tài)度系統(tǒng)銜接。

首先是語氣結(jié)構(gòu)的銜接。在文字語篇中，某一語氣類型的高頻率出現(xiàn)表達(dá)某一人際意義的突出。例如，如果一個(gè)語篇中的句子都是陳述句，這個(gè)語篇在一般情況下是說明性的，用以提供信息。大多數(shù)語篇都屬于此種類型。如果一個(gè)語篇中的句子都是祈使句，則這個(gè)語篇的主要功能是指導(dǎo)性的或命令性的，如說明書、菜譜等。這些同類型的句子之間形成一種同類關(guān)系，具有銜接作用[10]。

（1）在多模態(tài)語篇中，不同符號(hào)語篇之間語氣結(jié)構(gòu)的一致具有銜接作用

圖1是選自諾基亞官方網(wǎng)站的諾基亞手機(jī)安裝SIM卡和電池的操作指南。這是由圖文組成的一個(gè)說明性語篇。我們先分析圖像的互動(dòng)意義。視覺語法的互動(dòng)意義就是指功能語法的人際意義。互動(dòng)意義由目光接觸（Gaze）、社會(huì)距離(Social distance)、視角(Perspective)和情態(tài)(Modality)四個(gè)要素構(gòu)成[11]。其中視覺語法之情態(tài)表達(dá)的是圖像的‘真實(shí)度’，可以分為高、中、低三類（Kress & van Leeuwen 2006）[11]，這與功能語法中的情態(tài)所表達(dá)的‘可能性’是相對(duì)應(yīng)的。視覺語法中由目光接觸、社會(huì)距離和視角所表達(dá)的人際功能可以看作是功能語法中語氣結(jié)構(gòu)所表達(dá)的人際功能。也就是說目光接觸、社會(huì)距離和視角三者共同構(gòu)成視覺語篇的語氣結(jié)構(gòu)。

目光接觸是指圖像中參與者通過目光的指向與觀看者之間建立的一種想像中的觸關(guān)系。當(dāng)參與者的目光指向觀看者時(shí)，這類圖像叫做“索取”(demanding)類圖像，表達(dá)參與者向觀看者索取的意義，當(dāng)參與者不是有生命的人或動(dòng)物,或者當(dāng)參與者的目光不指向觀看者時(shí)，這種圖像被稱之為“提供”(offering)類圖像,表達(dá)提供信息的意義[11]。

圖1 諾基亞手機(jī)安裝安裝 SIM 卡和電池的操作指南

從接觸的角度分析圖1，我們發(fā)現(xiàn)圖像中的參與者不是有生命的人或動(dòng)物，圖像中沒有參與者與讀者的目光接觸。所以圖1是提供類圖像，其語氣結(jié)構(gòu)符合表達(dá)提供指示和信息的功能。

而圖1這個(gè)多模態(tài)語篇中文字內(nèi)容的句子全部為祈使句，其主要功能是指導(dǎo)性或命令性的，屬于指示說明類語篇，表達(dá)提供指示和信息的功能[10]。

所以，在這個(gè)多模態(tài)語篇中，視覺符號(hào)的語氣結(jié)構(gòu)與文字符號(hào)的語氣結(jié)構(gòu)是一致的，兩者共同構(gòu)成操作指示這一類多模態(tài)語篇語氣結(jié)構(gòu)的特點(diǎn)。在這個(gè)語篇中，視覺符號(hào)的語氣結(jié)構(gòu)與文字符號(hào)的語氣結(jié)構(gòu)是一致的，形成一種同類關(guān)系，具有銜接作用。這一類銜接屬于人際意義銜接。

（2）不同符號(hào)語篇所表達(dá)的一致的態(tài)度意義，具有銜接作用。

在討論態(tài)度意義的銜接作用時(shí)，本文以評(píng)價(jià)系統(tǒng)理論為基礎(chǔ)。評(píng)價(jià)系統(tǒng)是人際意義功能的一部分，它是由Martin等人創(chuàng)建，其理論系統(tǒng)在Martin &Rose和Martin & White中都有較詳細(xì)的論述[12,13]。國(guó)內(nèi)學(xué)者，如王振華等也對(duì)評(píng)價(jià)系統(tǒng)理論做了詳細(xì)的介紹，在這里對(duì)于評(píng)價(jià)系統(tǒng)的基礎(chǔ)理論不再介紹。不過以往對(duì)于評(píng)價(jià)系統(tǒng)的研究主要以文字符號(hào)語篇為主。對(duì)于多模態(tài)語篇評(píng)價(jià)系統(tǒng)進(jìn)行研究的主要有Martin、Chen和Economou[14～16]。

Chen對(duì)小學(xué)和中學(xué)英語課本中圖文并茂的多模態(tài)語篇的評(píng)價(jià)意義進(jìn)行了研究[15]。Economou以報(bào)紙上新聞報(bào)道的照片為例，對(duì)視覺符號(hào)的評(píng)價(jià)系統(tǒng)做了較為系統(tǒng)的研究[16]。兩人的研究都證明文字符號(hào)的評(píng)價(jià)系統(tǒng)理論在很大程度上也適用于視覺符號(hào)。文字符號(hào)評(píng)價(jià)系統(tǒng)的三個(gè)子系統(tǒng)：態(tài)度、介入和級(jí)差都可以在視覺符號(hào)系統(tǒng)中得到實(shí)現(xiàn)。由于對(duì)視覺符號(hào)之評(píng)價(jià)系統(tǒng)的研究還處于起始階段，其研究成果還有待于進(jìn)一步完善，再加上篇幅所限，所以在這里，對(duì)于視覺符號(hào)的評(píng)價(jià)系統(tǒng)不做詳細(xì)的說明，我們會(huì)在以后的研究中作進(jìn)一步的闡述。在這里我們只討論評(píng)價(jià)意義的銜接作用。

我們?cè)谟懻撛u(píng)價(jià)意義的銜接作用時(shí)，只分析評(píng)價(jià)系統(tǒng)中的態(tài)度子系統(tǒng)對(duì)于多模態(tài)語篇的銜接作用,不涉及級(jí)差系統(tǒng)和介入系統(tǒng)。因?yàn)榧?jí)差系統(tǒng)可以看做是對(duì)態(tài)度系統(tǒng)的細(xì)化，而介入系統(tǒng)主要是表明態(tài)度的來源。所以評(píng)價(jià)系統(tǒng)的核心是態(tài)度系統(tǒng)，級(jí)差系統(tǒng)和介入系統(tǒng)是對(duì)態(tài)度系統(tǒng)的完善和修飾。

文字符號(hào)的態(tài)度系統(tǒng)次系統(tǒng)化為：情感（Affect）、判定（Judgement）和鑒賞（Appreciation）三個(gè)子系統(tǒng)。情感是用以表達(dá)情感反應(yīng)的資源；判定是根據(jù)各種不同的標(biāo)準(zhǔn)來評(píng)價(jià)行為的資源；鑒賞是表達(dá)事物價(jià)值，包括自然現(xiàn)象和符號(hào)現(xiàn)象(既包括產(chǎn)品也包括過程)的價(jià)值的資源[12～13]。

視覺符號(hào)的態(tài)度系統(tǒng)同樣包括情感、判定和鑒賞三個(gè)子系統(tǒng)[16]。下面我們分別從態(tài)度系統(tǒng)的情感、判定和鑒賞三個(gè)子系統(tǒng)分別闡述評(píng)價(jià)意義的人際銜接功能。

1）情感系統(tǒng)的銜接作用

圖2

圖2是選自蒙牛集團(tuán)官方網(wǎng)站的一幅平面廣告語篇。這是一個(gè)比較典型的廣告語篇，在圖中一名年輕女子占據(jù)圖像的中心部分，手中拿著‘蒙牛真果粒飲品’。作為圖像的最主要參與者，她臉上快樂、滿足的笑容是顯而易見。

Economou認(rèn)為，視覺符號(hào)情感系統(tǒng)實(shí)現(xiàn)的方式之一是通過視覺情感內(nèi)嵌（Visual affect inscription）。視覺情感內(nèi)嵌就是指快樂、安全、滿足（和與之相對(duì)的痛苦、恐懼、不滿）等情感，可以很清楚的在圖片中通過人的面部表情和肢體語言等表達(dá)出來[16]。

所以，圖2中內(nèi)嵌的情感意義是正面的，可以理解為快樂和滿足，這是通過圖片中的參與者的表情表達(dá)出來的。在女子的左邊，有兩行字：“喜歡蒙牛的900，000，000個(gè)理由”。文中‘喜歡’一詞所表達(dá)的正面的情感意義和圖片表達(dá)的情感意義相似，圖像和文字的情感意義形成了一致。情感意義在這里對(duì)視覺符號(hào)和文字符號(hào)之間起到了銜接作用。這一類銜接屬于人際意義銜接。

2）判定系統(tǒng)的銜接作用

圖3

圖3是北京青年報(bào)2010年2月12日第六版刊登的一條新聞，在這條新聞的插圖中我們可以看到，一個(gè)女被告手捂著臉在哭泣，她身后是兩名表情嚴(yán)肅的人民警察。在圖中，女被告處于最突出的位置，是圖片中最主要的參與者，由于她所處于被告的位置（身后有兩名警察，背景是法庭），對(duì)于女被告，圖3表達(dá)的判定意義是負(fù)面的，可以理解為她因?yàn)橛|犯了法律，受到了法律的處罰。新聞的大標(biāo)題為：“滬‘倒樓案’6被告一審獲刑，下面的小標(biāo)題為：構(gòu)成重大責(zé)任事故罪，且情節(jié)特別惡劣，均有自首情節(jié)，刑期分別為3年5年”?！卮筘?zé)任事故罪’、‘特別惡劣’、‘自首’、‘刑期’這些詞匯所表達(dá)的判定意義也都是負(fù)面的。在這個(gè)由視覺符號(hào)和文字符號(hào)所組成的多模態(tài)語篇中，文字與圖片所表達(dá)的對(duì)女被告的判定意義是一致的，這種判定意義的一致性在視覺符號(hào)和文字符號(hào)之間起到了銜接作用，具有銜接功能。這一類銜接顯然是人際意義的銜接。

3）鑒賞系統(tǒng)的銜接作用

圖4

圖4是選自北京晚報(bào)2010年2月11日第8版的一則漫畫新聞。新聞的文字內(nèi)容是：“豐田多款車型踏板存在質(zhì)量缺陷，大量召回。之前豐田公司也曾因機(jī)油軟管漏油、剎車失靈等問題召回汽車。豐田全球品牌形象和產(chǎn)品質(zhì)量越來越遭到質(zhì)疑”。在這幅漫畫新聞中，豐田公司被比喻為一個(gè)牧羊人，豐田的汽車被比喻為一頭頭傷殘的牛，（豐田汽車的標(biāo)志好像一個(gè)牛頭形狀）。在這里，圖片中豐田汽車被比喻為傷殘的卡通形象的牛，顯然具有負(fù)面的鑒賞意義。文字內(nèi)容中：‘殘疾，機(jī)油軟管漏油、剎車失靈等問題，品牌形象和產(chǎn)品質(zhì)量越來越遭到質(zhì)疑’所表達(dá)的鑒賞意義也是負(fù)面的。所以在這個(gè)多模態(tài)語篇中，文字符號(hào)和視覺符號(hào)所表達(dá)的鑒賞語義是一致的。這種一致性在視覺符號(hào)和文字符號(hào)之間起到了銜接作用，這一類銜接也屬于人際意義的銜接。

3.謀篇意義角度之符號(hào)間的銜接關(guān)系

謀篇意義角度的不同符號(hào)間的銜接關(guān)系主要包括：指稱，主位-述位結(jié)構(gòu)，已知信息——信息結(jié)構(gòu)和平行結(jié)構(gòu)四種銜接關(guān)系。

對(duì)于語篇角度不同符號(hào)間的四類銜接關(guān)系，前人已經(jīng)做過較為詳細(xì)的論述。其中O’Halloran對(duì)指稱系統(tǒng)做了論述[6]；Kress & van Leeuwen對(duì)于已知信息-新信息和主位-述位結(jié)構(gòu)做了論述[11]；Liu&O’Halloran對(duì)平行結(jié)構(gòu)銜接也有較為詳細(xì)的論述，在此不詳論[9]。

（二）多模態(tài)語篇的外部銜接：視覺符號(hào)和文字符號(hào)之間的語境銜接

連貫語篇的基本標(biāo)準(zhǔn)是其意義形成一個(gè)整體，并與一定的語境相聯(lián)系。然而任何語篇都是情景語境中的語篇，所以任何語篇的由語言形式體現(xiàn)的意義都是不完整的，總有一些意義是由語境因素實(shí)現(xiàn)的[10]。

語境（Context）可以指語篇內(nèi)部的環(huán)境，即“上下文”語境（Linguistic context）；它也可以指語篇產(chǎn)生的周圍情況、事件的性質(zhì)、參與者的關(guān)系、時(shí)間、地點(diǎn)、方式等，可以稱為情景語境（Situational context）；它可以指說話人所在的言語社團(tuán)的歷史文化風(fēng)俗人情，屬于該言語社團(tuán)的人一般都能理解其在語篇中的意義，可稱之為文化語境（Culture context）[17]。

情景語境，嚴(yán)格講主要指口語語篇中某些上下文無法弄清的意思，需要參考使用語言時(shí)所發(fā)生的事件、參與者和時(shí)空方式等因素才能貫通起來[17]。因?yàn)楸疚木窒抻谘芯繄D文構(gòu)成的靜態(tài)多模態(tài)書面語篇，所以情景語境的銜接作用在這里不做討論。

下面，本文將分別討論文化語境和上下文語境對(duì)多模態(tài)語篇圖文銜接所起到的作用。

1.文化語境銜接

任何一個(gè)語言使用者都屬于某一個(gè)特定的言語社團(tuán)，每個(gè)言語社團(tuán)都有長(zhǎng)期形成的歷史、文化、風(fēng)俗、人情、習(xí)語和價(jià)值標(biāo)準(zhǔn)。這個(gè)必然反映于該言語社團(tuán)的共同語中。因此對(duì)語篇的真正理解還得聯(lián)系最高層次的語境，即歷史文化語境[17]。

圖5是北京青年報(bào)2010年2月8日第五版刊登的題為《青少年傳習(xí)中國(guó)傳統(tǒng)》的報(bào)道。

圖5

這則報(bào)道的主要內(nèi)容是：“北京市團(tuán)委，北京市青少年國(guó)學(xué)院主辦北京市青少年傳統(tǒng)文化傳習(xí)活動(dòng)，號(hào)召青少年晨讀國(guó)學(xué)經(jīng)典，晨唱京劇國(guó)粹，晨練毛筆書法，晨習(xí)太極拳法”。圖片內(nèi)容是一個(gè)十幾歲的女孩在用毛筆寫字，背景中有兩個(gè)用毛筆在紅紙上寫好的‘?！帧D片的標(biāo)題是：“青少年傳習(xí)中國(guó)傳統(tǒng)”。作為中國(guó)人我們很容易理解標(biāo)題與圖片內(nèi)容之間的聯(lián)系。因?yàn)槲覀冎?，中?guó)過年家家戶戶有貼福字和對(duì)聯(lián)的古老習(xí)俗，并且用毛筆寫字也是中國(guó)的歷史傳統(tǒng)。在這個(gè)多模態(tài)語篇中，‘春節(jié)傳統(tǒng)’一詞與圖片內(nèi)容：‘女孩用毛筆寫字，以及她身后懸掛的用毛筆寫好的福字’，通過中國(guó)有春節(jié)貼福字的傳統(tǒng)這一文化語境形成銜接關(guān)系，構(gòu)成一個(gè)連貫的多模態(tài)語篇。這是文化語境所起到的銜接作用。

2.上下文語境銜接：

圖6是《讀者》2010年第三期的一篇由圖文組成的文章，圖片是一副黑白的卡通畫，畫的是一個(gè)人在用鐵鍬在一片抽象化的地面上挖掘坑道，圖片的文字標(biāo)題是：大英帝國(guó)的馬路‘補(bǔ)丁’。如果沒有閱讀文章內(nèi)容之前，我們對(duì)于文字和圖片之間關(guān)系的理解有一定的困難，造成理解困難的原因是圖片和文字之間缺乏明顯的銜接。

圖6

文章的內(nèi)容主要講的是，在英美國(guó)家修馬路之前地下管道等設(shè)施的準(zhǔn)備做的很好，很少發(fā)生修完馬路后重新挖開路面鋪設(shè)地下設(shè)施的現(xiàn)象，在修理破損路面時(shí)，通常也只是對(duì)破損部分做一些修補(bǔ)，而在中國(guó)經(jīng)常發(fā)生重新挖開路面鋪設(shè)地下設(shè)施的現(xiàn)象，并且對(duì)于破損路面不是修補(bǔ)而是重新鋪設(shè)，耗資巨大。當(dāng)我們讀完了文章的內(nèi)容，掌握了上下文語境，對(duì)于圖片和文字標(biāo)題的理解就變得很容易了。圖中的人民幣符號(hào)形狀的坑道可以比喻為對(duì)錢財(cái)?shù)暮馁M(fèi)，而挖坑道這個(gè)動(dòng)作則可以比喻挖開路面鋪設(shè)地下設(shè)施這種做法。通過文章內(nèi)容所構(gòu)建的上下文語境，使文字標(biāo)題和圖片構(gòu)成了一個(gè)連貫的多模態(tài)語篇。在這個(gè)例子中，上下文語境的銜接作用是顯而易見的。

結(jié) 語

本文提出了較為完整的視覺符號(hào)和文字符號(hào)的銜接理論框架，擴(kuò)大了圖像和文字的銜接范圍，首次把不同符號(hào)間人際意義銜接和語境層面銜接納入符號(hào)間的銜接范圍。并且對(duì)符號(hào)間的人際意義銜接和語境銜接做了深入的探討。不同符號(hào)間的人際意義銜接主要是由語氣結(jié)構(gòu)和態(tài)度系統(tǒng)實(shí)現(xiàn)的。對(duì)態(tài)度系統(tǒng)銜接的論述，主要以多模態(tài)語篇的評(píng)價(jià)系統(tǒng)理論為基礎(chǔ)。對(duì)于不同符號(hào)間語篇外部銜接—語境銜接的論述，主要是從文化語境和上下文語境兩個(gè)方面進(jìn)行的。

本文所提出的不同符號(hào)模態(tài)間的理論框架，雖然以視覺符號(hào)和文字符號(hào)組成的靜態(tài)多模態(tài)語篇為例，但其適用性并不僅僅局限于圖文組成的多模態(tài)語篇，在很大程度上它也適用于其他形式的多模態(tài)語篇。

[1]HALLIDAY M A K.Language as social semiotic[M].London: Edward Arnold, 1978.

[2]HALLIDAY M A K & HASAN R.Language, Context and Text[M].Victoria:Deakin University Press, 1985.

[3]ROYCE T.Synergy on the page: Exploring inter-semiotic complementarity in page-based multimodal text[J].JASFL Occasional Papers, 1998, 1(1): 25–49.

[4]MARTINEC R.and SALWAY, A.A system for image–text relations in new (and old) media[J].Visual Communication, 2005.4(3): 337–371.

[5]UNSWORTH L.Towards a meta-language for multiliteracies education: Describing the meaning making resources of language-image interaction[J].English Teaching:Practice and Critique, 2006, 5(1): 55-76.

[6]O’HALLORAN K L.Mathematical discourse: Language,symbolism and visual images [M].London: Continuum, 2005.

[7]O’HALLORAN K L.Systemic functional multimodal discourse analysis (SF-MDA) approach to mathematics,grammar and literacy[C]// In A.McCabe, M.O’Donnell and R.Whittaker (eds.).Advances in language and education.London and New York: Continuum, 2007.

[8]JONES J.Multiliteracies for academic purposes: A metafunctional exploration of intersemiosis and multimodality in university textbook and computer-based learning resources in science [D].Unpublished EdD thesis: University of Sydney, 2007.

[9]LIU Y and O’HALLORAN K L.Inter-semiotic Texture:Analyzing Cohesive Devices between Language and Images [J].Social Semiotics, 2009, 19(4):367-88.

[10]張德祿.論銜接[J], 外國(guó)語, 2001, (2):23-28。

[11]KRESS G and van LEEUWEN T.Reading images:The grammar of visual design (2nd edition) [M].London:Routledge, 2006.

[12]MARTIN J R.& ROSE D.Working with Discourse:Meaning Beyond the Clause [M].London: Continuum, 2003.

[13]MARTIN J R & WHITE P R R.The Language of Evaluation: Appraisal in English [M].London: Palgrave, 2005.

[14]MARTIN J R.Fair trade: negotiating meaning in multimodal texts[C]// In P.Coppock (ed.).The Semiotics of Writing: Transdisciplinary Perspectives on the Technology of Writing.Bloomington: Indiana University Press, 2001.

[15]陳瑜敏.Interpersonal Meaning in Textbooks for Teaching English as a Foreign Language in China: A Multimodal Approach[D].Unpublished PhD thesis: University of Sydney, 2009.

[16]ECONOMOU D.Photos in the News:appraisal analysis of visual semiosis and verbal-visual intersemiosis[D]Unpublished PhD thesis: University of Sydney , 2009.

[17]胡壯麟.語篇的銜接與連貫[M].上海: 上海外語教育出版社，1994.

Studies on the Inter-semiotic Cohesions of Multimodal Texts:A Functional Linguistics Approach

WANG Zheng
(Suihua University Suihua 152061 China)

Based on systemic-functional grammar, this paper summarizes the cohesive relations between linguistic semiosis and visual semiosis in multimodal texts.It expands the scope of visual-verbal cohesion by including interpersonal visual-verbal cohesion and contextual visual-verbal cohesion.The paper also provides detailed illustrations of interpersonal inter-semiotic cohesion and contextual inter-semiotic cohesion.The former is done from the perspective of mood structure and attitudes, and the latter from the perspective of linguistic context and cultural context.

multimodel texts; cohesive relations between semiosis; visual semiosis; linguistic semosis

H0-0

A

1008-8105(2011)02-0067-06

2010?07?09

王 正（1977?）男，碩士，東南大學(xué)教師.

編輯 戴鮮寧