張德祿 張兢田

(同濟(jì)大學(xué)，上海 200092)

多模態(tài)語法建構(gòu)問題探索*

張德祿 張兢田

(同濟(jì)大學(xué)，上海 200092)

我們根據(jù)符號(hào)系統(tǒng)的層次、類型和維度探討多模態(tài)語法建構(gòu)中的主要問題，力圖澄清哪些符號(hào)系統(tǒng)適合建構(gòu)語法，以及要為每個(gè)適合建構(gòu)語法的符號(hào)系統(tǒng)單獨(dú)建立語法還是建構(gòu)一個(gè)同類符號(hào)系統(tǒng)共享的語法。研究發(fā)現(xiàn)，從不同層次的符號(hào)系統(tǒng)著眼，只有3個(gè)層次的符號(hào)系統(tǒng)才有可能建立語法；從類型角度講，圖像符號(hào)以及某些能指和所指關(guān)系易于推斷的索引符號(hào)，一般情況下沒有必要建立語法；從維度角度講，不同維度的符號(hào)系統(tǒng)具有不同的語法模式和系統(tǒng)。所以，在起始階段，應(yīng)該為每個(gè)適合建構(gòu)語法的符號(hào)系統(tǒng)單獨(dú)建構(gòu)語法。

多模態(tài)語法；符號(hào)系統(tǒng)；層次；類型；維度

The present article is intended to investigate the issues in the construction of multimodal grammars according to level, type and dimension of the semiotic systems, and make clear which semiotic systems are appropriate for the construction of multimodal structural grammar, and whether we should construct a structural grammar for each semiotic system which is appropriate for the construction of multimodal structural grammar, or for all semiotic systems of the same type. It is found that, in terms of level of the semiotic systems, only three-level semiotic systems are appropriate for the construction of a multimodal structural grammar; in terms of type of semiotic systems, generally speaking, it is not necessary to construct a structural grammar for the semiotic systems of the iconic type, and those of the indexical type whose relation between the signifier and the signified is easy to recognize; in terms of dimension of the semiotic systems, those of different dimensions exhibit different grammatical patterns and systems, so it is necessary to construct a separate structural grammar for each semiotic system which is appropriate for the construction of a structural grammar, at least at the initial stage.

1 引言

從系統(tǒng)功能語言學(xué)的角度講，多模態(tài)話語分析理論是基于Halliday的“語言是社會(huì)符號(hào)” (Halliday 1978)的論斷發(fā)展起來的。除了語言之外，其他符號(hào)系統(tǒng)也具有表達(dá)意義的功能。我們研究語言如何表達(dá)意義的一個(gè)主要方式是研究語言的語法。那么，如果能夠像研究語言那樣研究其他模態(tài)的語法，一方面，我們可以通過研究語法認(rèn)識(shí)其他的符號(hào)系統(tǒng)；另一方面，我們還可以探討不同符號(hào)系統(tǒng)在多模態(tài)話語中如何共同體現(xiàn)意義。

基于這種思想，有些學(xué)者已經(jīng)從社會(huì)符號(hào)學(xué)的角度，借用Halliday系統(tǒng)功能語言學(xué)的3大元功能的思想，探討視覺模態(tài)的語法。例如，O’Toole (1994)認(rèn)為展示藝術(shù)品也同樣實(shí)現(xiàn)3種意義，分別是表現(xiàn)意義(representational meaning)、情態(tài)意義(modal meaning)和組成意義(compositional meaning)。Kress & van Leeuwen (1996/2006) 認(rèn)為視覺符號(hào)體現(xiàn)表現(xiàn)功能(representational)、交流功能(interactional)和組成功能(compositional)，并且發(fā)展了視覺語法(visual grammar)，提出體現(xiàn)表現(xiàn)意義的敘述表現(xiàn)(narrative representation)語法和概念表現(xiàn)(conceptual representation)語法，體現(xiàn)交流意義的交流語法和體現(xiàn)組篇意義的組篇語法。但他們的研究有幾下幾個(gè)問題：(1)語篇和語法的關(guān)系不清楚：我們不清楚他們劃分的不同級(jí)階的單位是語篇單位，還是語法單位。(2)主要是印象性的(impressionistic)，具有主觀性。 (3) 對多模態(tài)的研究主要借用語言學(xué)的理論和方法，沒有建立起自己獨(dú)立的理論和方法。(Jewitt 2009:26)因此，Machin(2007)認(rèn)為，把已經(jīng)發(fā)現(xiàn)的一些特征視為語法還為時(shí)過早，還有許多問題需要搞清楚。本文擬探討兩個(gè)問題：(1)是否需要為所有的符號(hào)系統(tǒng)建立語法？(2)是否需要為每一個(gè)符號(hào)系統(tǒng)單獨(dú)建立一個(gè)語法？

2 建構(gòu)多模態(tài)語法的主導(dǎo)因素

2.1 符號(hào)系統(tǒng)

任何模態(tài)都要建立在一定的物質(zhì)基礎(chǔ)之上，如口語的物質(zhì)基礎(chǔ)是聲音。物質(zhì)基礎(chǔ)與符號(hào)意義之間存在一定關(guān)系，這種關(guān)系就是模態(tài)的形式。模態(tài)根據(jù)其復(fù)雜程度可以分為兩種：兩個(gè)層次的符號(hào)系統(tǒng)和3個(gè)層次的符號(hào)系統(tǒng)。(Machin 2007:3)在兩個(gè)層次的符號(hào)系統(tǒng)中，符號(hào)的物質(zhì)實(shí)體和意義一一對應(yīng)，即一個(gè)由物質(zhì)實(shí)體體現(xiàn)的符號(hào)對應(yīng)于一個(gè)意義，如交通信號(hào)系統(tǒng)。由于符號(hào)的意義和符號(hào)的物質(zhì)實(shí)體體現(xiàn)的符號(hào)本體相對應(yīng)，符號(hào)的形式特征只表現(xiàn)為詞匯，成為冗余，所以我們說它是兩個(gè)層次的符號(hào)系統(tǒng)(見圖1)①。

圖1兩個(gè)層次的符號(hào)特點(diǎn)

在這里物質(zhì)實(shí)體處于符號(hào)之外，當(dāng)它具有區(qū)分意義的特征時(shí)才成為媒介，成為體現(xiàn)意義的形式特征，即一個(gè)詞匯。在選擇過程中，首先選擇的是停止意義，同時(shí)選擇了媒介紅色，包括其物質(zhì)實(shí)體。因?yàn)闆]有語法對其進(jìn)行二次組合，詞匯選擇是多余的。對這類符號(hào)系統(tǒng)選擇的結(jié)果是一個(gè)單獨(dú)的符號(hào)(一個(gè)詞匯)，無法組合為結(jié)構(gòu)，也不可能為這種符號(hào)系統(tǒng)建立語法。當(dāng)然對其系統(tǒng)特征的描述還是必須的。

但如果某個(gè)符號(hào)系統(tǒng)更加復(fù)雜，有區(qū)別性的符號(hào)媒介和意義不是一一對應(yīng)的，各自有自己的系統(tǒng)，那么就需要另一個(gè)系統(tǒng)把它們聯(lián)系起來，這就是詞匯語法系統(tǒng)。這個(gè)符號(hào)系統(tǒng)是3個(gè)層次的符號(hào)系統(tǒng)，例如語言。在語言中，媒介系統(tǒng)包括音系系統(tǒng)和字系系統(tǒng)，詞匯語法系統(tǒng)包括詞匯和語法兩個(gè)系統(tǒng)，意義系統(tǒng)是由概念意義、人際意義和語篇意義3個(gè)意義成分組成的系統(tǒng)。這3個(gè)層次的系統(tǒng)各自相對獨(dú)立。這樣，選擇意義特征不等于同時(shí)選擇詞匯語法特征，而要重新進(jìn)行選擇，同樣，選擇詞匯語法特征也不等于同時(shí)選擇媒介特征，還需要對其進(jìn)行選擇(見圖2)。

文字 字系系統(tǒng)

物質(zhì)實(shí)體 媒介 形式 意義

圖23個(gè)層次的符號(hào)系統(tǒng)(語言系統(tǒng))層次之間的關(guān)系

這類符號(hào)系統(tǒng)的形成，需要在各個(gè)層次上進(jìn)行組合和再組合。例如，對意義選擇需要選擇一定的語法模式來體現(xiàn)它。這個(gè)組合模式的每個(gè)成分都在結(jié)構(gòu)中占據(jù)一定的位置，具有一定的功能，屬于一定的類別，所以，需要建立合適的語法來描述這種模式，以及這種模式的功能結(jié)構(gòu)。

如果要為某個(gè)符號(hào)系統(tǒng)建構(gòu)語法，首先需要分清它是兩個(gè)層次的符號(hào)系統(tǒng)，還是3個(gè)層次的符號(hào)系統(tǒng)。其他與語言相似的符號(hào)系統(tǒng)包括手語(sign language)、盲語(Braille)、摩爾斯代碼(Morse Code)等等。

2.2 符號(hào)類別

在多模態(tài)語法建構(gòu)中，第二個(gè)需要考慮的因素是符號(hào)系統(tǒng)的類型。C. Peirce把符號(hào)系統(tǒng)歸納為3個(gè)類別：圖像(icon)、索引(index)和象征(symbol)。(Pharies 1985:34-42)圖像符號(hào)的基礎(chǔ)是它與其所指物的相似性(similarity)；索引符號(hào)的基礎(chǔ)是它與其所指物的關(guān)聯(lián)性(connection)，符號(hào)的能指和所指由某種內(nèi)在的聯(lián)系結(jié)合起來，如煙與火的關(guān)系。象征符號(hào)的基礎(chǔ)是在能指和所指之間存在一種約定俗成的規(guī)定。

符號(hào)的類別和是否需要建立語法無直接的關(guān)系，因?yàn)闊o論圖像符號(hào)、索引符號(hào)還是象征符號(hào)都既可以是兩個(gè)層次的符號(hào)系統(tǒng)，也可以是3個(gè)層次的符號(hào)系統(tǒng)。但從符號(hào)的識(shí)別和解釋的角度看，圖像符號(hào)的基本特點(diǎn)是相似性，識(shí)別和解釋這類符號(hào)的基本要求是能夠發(fā)現(xiàn)相似性在哪里，而相似性的識(shí)別主要是在直感層面上。也就是說，對這類符號(hào)的識(shí)別和解釋只通過直感即可，不需要通過語法來解釋。

對于索引性符號(hào)，識(shí)別的重點(diǎn)是發(fā)現(xiàn)關(guān)聯(lián)性。例如，冒煙了可以解釋為著火了。煙和火的關(guān)系是因果關(guān)系，有火才產(chǎn)生煙。索引符號(hào)的關(guān)聯(lián)性與圖像符號(hào)的相似性的識(shí)別方式不同。相似性主要靠直感，而索引性要靠推理，通過思考建立關(guān)系。至于這個(gè)推理過程是否需要一個(gè)語法還要看符號(hào)系統(tǒng)本身是兩個(gè)層次，還是3個(gè)層次的符號(hào)系統(tǒng)，以及推理的難度。如果是3個(gè)層次的符號(hào)系統(tǒng)，而且推理的難度大，則需要建立語法，把解讀的過程規(guī)則化。

象征符號(hào)的能指和所指之間沒有自然的聯(lián)系，是通過習(xí)慣或者約定俗成形成，例如語言。對這種符號(hào)系統(tǒng)識(shí)別的唯一的方式是通過學(xué)習(xí)認(rèn)識(shí)能指和所指之間的象征關(guān)系。而當(dāng)即使能夠認(rèn)識(shí)這種關(guān)系，仍然不能解釋它們的意義時(shí)，就需要通過語法來把媒介和意義聯(lián)系起來。也就是說通過語法把符號(hào)媒介解釋為有意義的符號(hào)或符號(hào)組合(見圖3)。

圖3象征符號(hào)系統(tǒng)的詞匯和語法

綜上所述，對于任何類別的符號(hào)系統(tǒng)，如果是圖像性的，就可以通過相似性直接識(shí)別和解釋它，一般情況下不需要為它建立語法。索引符號(hào)需要視推理的難度來確定。因此，需要建立語法的符號(hào)系統(tǒng)就是具有3個(gè)層次的象征符號(hào)系統(tǒng)。

兩個(gè)層次三個(gè)層次不需要語法需要語法圖像圖像索引索引象征象征

圖4需要和不需要建立語法的符號(hào)系統(tǒng)

2.3 符號(hào)維度

維度一般根據(jù)空間分為一維、二維和三維。一維符號(hào)是線性的，如語言；二維符號(hào)是平面的，如圖像；三維符號(hào)是立體的，如房子。如果把時(shí)間概念考慮在內(nèi)，則可以在所有3個(gè)維度上加一個(gè)時(shí)間維度。有時(shí)間維度的符號(hào)系統(tǒng)都是動(dòng)態(tài)的，所以，可以用動(dòng)態(tài)符號(hào)表示有時(shí)間維度的符號(hào)系統(tǒng)。

(1)一維符號(hào)系統(tǒng)

一維符號(hào)是線性的，也就是說，其系統(tǒng)選擇的結(jié)果是一個(gè)線性結(jié)構(gòu)，如語言。對線性結(jié)構(gòu)的解讀是從頭至尾按順序識(shí)別，確認(rèn)它們的功能，解讀整個(gè)結(jié)構(gòu)的意義。在3個(gè)層次的符號(hào)系統(tǒng)中，解讀所利用的主要內(nèi)部工具是語法，盡管在大多數(shù)情況下是下意識(shí)或者無意識(shí)的。

(2)二維符號(hào)系統(tǒng)

二維符號(hào)表示，對符號(hào)系統(tǒng)選擇的結(jié)果是一個(gè)平面，即由部分組成一個(gè)整體，而且部分的排列不僅是線性的，而是有上下左右的區(qū)別。如果要認(rèn)識(shí)這個(gè)符號(hào)結(jié)構(gòu)，就需要了解部分之間的關(guān)系，這種關(guān)系會(huì)形成一定的規(guī)則或者模式，這就是語法。

二維的平面符號(hào)系統(tǒng)仍然有兩個(gè)層次的和三個(gè)層次的符號(hào)系統(tǒng)之分。二維兩個(gè)層次的符號(hào)系統(tǒng)是整體性符號(hào)系統(tǒng)，即所選擇的符號(hào)不能再切分為部分。

另外，符號(hào)系統(tǒng)可以是封閉的，也可以是開放的，中間可以有無數(shù)的半封閉、半開放的系統(tǒng)。二維3個(gè)層次的符號(hào)系統(tǒng)繁多。Kress & Van Leeuven(1996/2006)試圖把它們看做相同的系統(tǒng)，不區(qū)分它們的不同，但是為它們建立共同的語法，需要再認(rèn)真探討。二維3個(gè)層次的符號(hào)系統(tǒng)之間有許多共性的特征，為它們建立共同的語法系統(tǒng)奠定了基礎(chǔ)，但建立這樣的語法不能夠反映某些符號(hào)系統(tǒng)的特性。視覺符號(hào)類別繁多，除了具有相似性的圖像符號(hào)以外，還有其他許多類型的視覺符號(hào)。例如，表格性符號(hào)，流程圖符號(hào)，象征性符號(hào)，示意圖符號(hào)等。這些不同類型的符號(hào)都有不同的解碼規(guī)則(見圖5)。

圖5 二維符號(hào)類型

對于圖5.1的表格，其解碼的內(nèi)部規(guī)則是空間布局，每個(gè)成分在橫列和豎列中的位置，以及所屬的行和列與其他行和列之間的關(guān)系。列表示類(class)，中間的小標(biāo)題表示次類別；行表示結(jié)構(gòu)成分及其之間的關(guān)系。圖5.2則是某個(gè)事物、某個(gè)過程、甚至整個(gè)流程的抽象化，成為一個(gè)個(gè)體，然后用一個(gè)圖形來表示它，用線條和箭頭表示它們之間的先后、因果、來源、變化等關(guān)系。圖5.3 是八卦圖，顯然屬于象征性符號(hào)，蘊(yùn)含著十分深厚的中國文化特點(diǎn)，不經(jīng)過特殊學(xué)習(xí)不能解讀。這個(gè)圖形的意義是經(jīng)過幾千年的積淀而來的，其意義的解讀難以按照一般的符號(hào)解讀方法進(jìn)行。圖5.4是一個(gè)示意圖，表示圓柱體在水中橫向移動(dòng)時(shí)水波產(chǎn)生的不穩(wěn)定現(xiàn)象，也是只有專業(yè)人士才能解讀。這四個(gè)圖屬于不同的符號(hào)系統(tǒng)，我們難以用一種語法模式來解釋，需要為它們單獨(dú)建立語法。

(3)三維符號(hào)系統(tǒng)

三維符號(hào)是立體符號(hào)，更加接近實(shí)物，所以更加直觀、更加易于辨認(rèn)。對于三維符號(hào)系統(tǒng)，我們需要首先認(rèn)識(shí)符號(hào)本身是什么，包括是什么物體、什么人、以及什么事物和過程等。這就是Barthes(1977)所說的“本義”(denotative meaning)。從這個(gè)角度講，符號(hào)的類別可以分為(1)實(shí)在符號(hào)，表示靜態(tài)的個(gè)體符號(hào)，如人、物體、場景；(2)過程符號(hào)，表示一個(gè)正在進(jìn)行的事件，如動(dòng)作、行為、表情、身勢等；(3)復(fù)雜符號(hào)，由多個(gè)實(shí)物、人、過程和行為組成的復(fù)合符號(hào)組合(見圖6)。

圖6 三維符號(hào)系統(tǒng)

第一類符號(hào)容易辨認(rèn)，通過符號(hào)本身的特征即可辨認(rèn)出，如它的外形、顏色。如在圖6.1中，具備常識(shí)的人會(huì)很容易辨認(rèn)出它是汽車。對于索引性和象征性符號(hào)，只要人們掌握他們索引中的因果關(guān)系和象征中的約定關(guān)系，也可以很容易地辨認(rèn)它們。第二類符號(hào)不僅要識(shí)別是什么物體，還需要識(shí)別是什么動(dòng)作、過程、行為等。如在圖6.2中，不僅需要辨認(rèn)出猴子和報(bào)紙以及周圍的環(huán)境，還需要知道這是一個(gè)行為過程，猴子在閱讀報(bào)紙。第三類符號(hào)更加復(fù)雜，不僅需要認(rèn)識(shí)有哪些物體，有哪些行為、動(dòng)作等，還要了解它們之間是什么關(guān)系。如在圖6.3中，首先需要確定有什么物體，然后是這些物體是如何運(yùn)動(dòng)的，它們相互如何協(xié)作，共同完成什么任務(wù)。

三維符號(hào)系統(tǒng)也有兩個(gè)層次和3個(gè)層次的符號(hào)系統(tǒng)的區(qū)別。兩個(gè)層次的符號(hào)系統(tǒng)與一維和二維兩個(gè)層次的符號(hào)系統(tǒng)相似，由于其具有不可分性和每次只選擇一個(gè)的特性，所以沒有語法。其他所有三維符號(hào)系統(tǒng)都具有語法特性，可以為其建立語法。但三維圖像符號(hào)系統(tǒng)通常不必要建立語法；對三維索引性和象征性符號(hào)的基本特征的認(rèn)識(shí)還有待于做進(jìn)一步研究。

2.4 符號(hào)單位的確定

要建立語法系統(tǒng)，需要首先確定符號(hào)的單位，然后探討它們的語法結(jié)構(gòu)關(guān)系。要確定符號(hào)單位，可以利用Kress & van Leeuven (1996/2006)在討論符號(hào)的組篇意義時(shí)提出的3個(gè)解析符號(hào)結(jié)構(gòu)的方式：框界(framing)、信息價(jià)值(information value)和突顯(salience)。

(1)框界

框界是Kress & van Leeuven (1996/2006)提出的體現(xiàn)組篇意義的主要因素之一，也是語法分析的主要方法。在線性一維符號(hào)系統(tǒng)中，我們用順序即可確定語法單位，但在二維和三維符號(hào)系統(tǒng)中，順序只是眾多因素中的一個(gè)，無法確定符號(hào)單位?？蚪绯蔀樽钣行У姆椒?。它是在二維平面上確定單位的邊界的方法。再以Saussure(1915:67)常用的“樹”為例，在樹形圖符號(hào)中，樹干、樹枝、樹葉都可以用框界方法來確定。因?yàn)槿S符號(hào)可看做多個(gè)不同空間的平面的組合，所以在三維符號(hào)系統(tǒng)中，框界仍然是有效的方法。由此可見，框界是主要的確定符號(hào)單位的方法，信息價(jià)值和突顯則是輔助手段，是表示最相關(guān)符號(hào)單位的方法。框界有3個(gè)突出特點(diǎn)：(1)框界形狀可變化，除了方形，還有圓形、多邊形、不規(guī)則形狀等；(2)分界后，符號(hào)之間的關(guān)系不同；(3)框界分層次，就像語言單位分為級(jí)階一樣。

框界是確定符號(hào)邊沿的主要標(biāo)記，由實(shí)在的邊框和表示事物邊界的明顯或者不明顯的線組成。而符號(hào)的形狀千差萬別，所以，框界的形狀也千變?nèi)f化，如人的邊界、汽車的邊界、球形的邊界等。實(shí)在的邊界一般由方框來表示，如在報(bào)紙和雜志中，或者書的插圖中的邊界都是方形的?？蚪缒軌虬逊?hào)的邊界表示出來，從而可以用以確定符號(hào)單位。Van Leeuven(2005:13)把通過框界分析得出的符號(hào)單位之間的關(guān)系歸納為圖7中的類型。

圖7二維和三維符號(hào)單位之間的關(guān)系

首先確定符號(hào)之間是否連接，如果是連接的，則表示兩個(gè)符號(hào)整合為一體，無論是同類還是不同類。如果是非連接的，則它們可以相鄰，即分離，也可以不相鄰，即隔離。如果是隔離的，則可以重疊，也可以無重疊。同時(shí)，它們相互之間可以形成韻律式模式，也可以是對比模式。

(2)信息價(jià)值

Kress & van Leeuven (1996/2006)提出的組篇意義的第一個(gè)因素是信息價(jià)值(information value)，這些體現(xiàn)信息價(jià)值的方式也是我們解析三維符號(hào)系統(tǒng)的有效方法。三維符號(hào)結(jié)構(gòu)復(fù)雜，可以進(jìn)行多層次切分，產(chǎn)生無限復(fù)雜的符號(hào)組合，增加符號(hào)分析的難度。通過分析信息的價(jià)值，我們可以確定哪些，以及哪個(gè)級(jí)階的符號(hào)是相關(guān)的、有效的。Kress & Van Leeuven (1996/2006)提出3個(gè)解讀符號(hào)信息的手段：左右、上下和中心邊沿。在左右范疇中，位于左邊的是已知信息，位于右邊的是新信息，由左向右組織符號(hào)結(jié)構(gòu)。在上下范疇中，上為理想信息，下為實(shí)際信息，由上到下組織符號(hào)結(jié)構(gòu)。在中心邊沿范疇中，中心為重點(diǎn)信息，邊沿是輔助信息，由中心向邊沿組織符號(hào)結(jié)構(gòu)。把3者結(jié)合起來，符號(hào)的信息組織方式是：從左到右，從上到下，從中心到邊沿。

(3)突顯

最后一個(gè)組篇方式是突顯，它和前兩個(gè)組篇方式形成互補(bǔ)關(guān)系?？蚪鐜椭覀儽嬲J(rèn)符號(hào)單位，信息價(jià)值能夠使我們認(rèn)識(shí)在一般情況下符號(hào)的信息排列方式，而突顯則可以在需要的情況下打破這些常規(guī)，突出某些在一般情況下體現(xiàn)已知信息和邊沿信息的成分。

突顯沒有固定的模式。在口語中通過重音來表示，在書面語中通過字體來表示，如黑體、斜體、大寫等。但在其他符號(hào)系統(tǒng)中，則要用其他的方式，如形狀大小(大為突出的)、顏色對比(深色為突出的)、角度(在前景中的是突出的)等。

在框界、信息價(jià)值和突顯3個(gè)組篇機(jī)制的幫助下，二維和三維符號(hào)系統(tǒng)的語法可以通過以下步驟建立： 1)整體切分為部分。理清整體和部分的關(guān)系，認(rèn)識(shí)整體的部分組成，這些部分是否可以繼續(xù)切分，直到窮盡，從而把這個(gè)符號(hào)系統(tǒng)的語法單位的級(jí)階建立起來。例如，樹圖形是一個(gè)二維符號(hào)，但樹由樹葉、樹枝、樹干幾個(gè)部分組成，每個(gè)部分都是一個(gè)可分辨的符號(hào)。2)成分組成模式。認(rèn)識(shí)不同層次的成分組成整體的模式，即認(rèn)識(shí)它們的系統(tǒng)特征。一個(gè)可分性符號(hào)由幾個(gè)次級(jí)符號(hào)組成，它們以一定的模式組合為一個(gè)整體。例如，樹雖然枝葉繁茂，有許多部分組成，但可以概括為由3個(gè)主要部分組成的結(jié)構(gòu)體：樹葉在樹枝上；樹枝在樹干的上部。這就是樹這個(gè)平面結(jié)構(gòu)符號(hào)內(nèi)部的語法模式。3)次級(jí)符號(hào)的系統(tǒng)特征。作為整體的一個(gè)部分，每個(gè)部分都以什么關(guān)系與整體聯(lián)系；是靜態(tài)的，還是動(dòng)態(tài)的。我們把樹的組成部分分為3個(gè)主要類別：樹葉、樹枝、樹干。這些成分是樹的類特征，即一棵樹由這3個(gè)類別的成分各自在相應(yīng)的位置上組成。但每一個(gè)這樣的類會(huì)有許多成員，形成這個(gè)類別的可選擇資源。這就是次級(jí)符號(hào)的系統(tǒng)特征。這些特征共同組成樹這個(gè)符號(hào)的意義潛勢。

不同類型的符號(hào)系統(tǒng)具有不同的語法關(guān)系和語法結(jié)構(gòu)，如建筑、人體、樹體等都有不同的結(jié)構(gòu)，解析這些符號(hào)的結(jié)構(gòu)時(shí)，需要根據(jù)它們自身的結(jié)構(gòu)特點(diǎn)來為其建立語法系統(tǒng)，而不是建立一個(gè)普遍性的語法系統(tǒng)。

2.5 動(dòng)態(tài)符號(hào)系統(tǒng)

符號(hào)可以分為動(dòng)態(tài)的和靜態(tài)的。靜態(tài)的符號(hào)系統(tǒng)只涉及空間，而動(dòng)態(tài)的符號(hào)系統(tǒng)在時(shí)間中變化，所以時(shí)間可作為其主要維度。

一維動(dòng)態(tài)符號(hào)系統(tǒng)有兩個(gè)變體形式。一是選擇了一個(gè)項(xiàng)目就延續(xù)使用，不再變化，即點(diǎn)變成線，如汽笛的鳴聲。這種系統(tǒng)與一維兩個(gè)層次的符號(hào)系統(tǒng)一樣，沒有語法。二是在時(shí)間的進(jìn)程中不斷改變選擇，從而形成一個(gè)選擇模式，即一個(gè)話語模式。在這個(gè)模式中需要有話語結(jié)構(gòu)模態(tài)把它們聯(lián)系起來。例如，交通信號(hào)一直被認(rèn)為是兩個(gè)層次的一維符號(hào)系統(tǒng)。但實(shí)際上，它還有一個(gè)時(shí)間維度。它不是選擇一個(gè)符號(hào)后就停止，而是根據(jù)時(shí)間的進(jìn)程不斷做出新的選擇。一個(gè)簡單的交通信號(hào)系統(tǒng)包括首先選擇綠色(行車)，然后選擇黃色(準(zhǔn)備停)，然后選擇紅色(停)，然后選擇黃色(準(zhǔn)備行)，然后回到開始。這個(gè)循環(huán)有規(guī)則，是一個(gè)封閉的話語模式(見圖8)。

圖8簡單交通信號(hào)話語

在更加復(fù)雜的信號(hào)系統(tǒng)中，還有共選系統(tǒng)，如在交通信號(hào)系統(tǒng)中選擇向前行，同時(shí)其它車輛選擇向右行；還有單獨(dú)的向左行，兩者都由箭頭表示(左箭頭、右箭頭)，同時(shí)還有行人，由靜態(tài)和動(dòng)態(tài)的人形和顏色一起表示[等]和[行](見圖9)。

圖9復(fù)雜交通信號(hào)話語

綜上所述，在一維符號(hào)系統(tǒng)中，如果兩個(gè)層次的符號(hào)系統(tǒng)是動(dòng)態(tài)的，可以形成一定的話語模式，即體裁結(jié)構(gòu)(Halliday & Hasan, 1985/1989)，它們可以看做由時(shí)間作用于空間一維符號(hào)系統(tǒng)而形成的意義系統(tǒng)。但這類符號(hào)的話語模式是封閉的，固定的，沒有變化的余地。這個(gè)系統(tǒng)可由系統(tǒng)網(wǎng)絡(luò)表示(見圖10)。

圖10交通信號(hào)綜合系統(tǒng)

二維平面符號(hào)也可以是動(dòng)態(tài)的，是一種由時(shí)間和二維符號(hào)組成的三維符號(hào)。如果是同一個(gè)符號(hào)模式在時(shí)間中的重現(xiàn)，則形成一種按時(shí)間進(jìn)行的線性的復(fù)現(xiàn)模式，這與一維符號(hào)的復(fù)現(xiàn)模式相同。同樣，如果不同符號(hào)按一定時(shí)間間歇出現(xiàn)，就會(huì)出現(xiàn)新的模式，與一維線性符號(hào)在時(shí)間維度的復(fù)現(xiàn)模式相似。動(dòng)態(tài)三維符號(hào)是最接近客觀現(xiàn)實(shí)的符號(hào)系統(tǒng)。它不僅呈現(xiàn)符號(hào)的媒介，而且還呈現(xiàn)符號(hào)媒介在時(shí)間中的變化，從頭至尾地表現(xiàn)事件的整個(gè)過程。于是，三維動(dòng)態(tài)符號(hào)的解析可以通過將其分解為三維靜態(tài)符號(hào)和時(shí)間兩個(gè)方面進(jìn)行。首先把三維動(dòng)態(tài)符號(hào)根據(jù)時(shí)間節(jié)點(diǎn)截取為有意義的單位，然后再逐步分析?，F(xiàn)在的大部分三維動(dòng)態(tài)符號(hào)分析都采用這種手段。(Baldry & Thibault 2006，Jewitt 2009)

3 結(jié)束語

我們沒有必要為所有的符號(hào)系統(tǒng)建立語法，對于有必要建構(gòu)語法的符號(hào)系統(tǒng)，我們首先應(yīng)該為每個(gè)符號(hào)系統(tǒng)單獨(dú)建構(gòu)語法，然后再考慮是否可以建構(gòu)多個(gè)符號(hào)系統(tǒng)共享的語法。在多模態(tài)語法建構(gòu)中，首先要看這個(gè)模態(tài)是兩個(gè)層次的符號(hào)系統(tǒng)，還是3個(gè)層次的符號(hào)系統(tǒng)，只有3個(gè)層次的符號(hào)系統(tǒng)才可能為其建構(gòu)語法。第二，要看符號(hào)的類型。圖像符號(hào)，即使是3個(gè)層次的符號(hào)系統(tǒng)，一般情況下也沒有必要為其建立語法系統(tǒng)。第三，要考慮符號(hào)系統(tǒng)的維度，不同維度的符號(hào)系統(tǒng)具有不同的語法系統(tǒng)。第四，符號(hào)有動(dòng)態(tài)和靜態(tài)之分，動(dòng)態(tài)符號(hào)受時(shí)間控制，可以以時(shí)間為主要切分單位。即使是兩個(gè)層次的靜態(tài)符號(hào)，如果變?yōu)閯?dòng)態(tài)的，也可以表現(xiàn)為一定的結(jié)構(gòu)模式，但這時(shí)的結(jié)構(gòu)模式不是語法模式，而是話語模式。對于具體的不同模態(tài)語法系統(tǒng)的研究還需要根據(jù)這個(gè)模態(tài)本身的特點(diǎn)來進(jìn)行。

注釋

①任何符號(hào)系統(tǒng)都可以從系統(tǒng)的角度進(jìn)行描述，但這個(gè)系統(tǒng)是符號(hào)的媒介和意義融為一體的詞匯系統(tǒng)，而不是語法系統(tǒng)。

②符號(hào)說明：/ /表示媒介；( )表示詞匯； [ ] 表示意義。

③箭頭表示體現(xiàn)關(guān)系，不是選擇關(guān)系。

④[預(yù)備]總是出現(xiàn)在[行動(dòng)]之前。

胡壯麟. 社會(huì)符號(hào)學(xué)研究中的多模態(tài)化[J]. 語言教學(xué)與研究,2007 (1).

Baldry, A. & Thibault, P.MultimodalTranscriptionandTextAnalysis:AMultimediaToolkitandCoursebook[M]. London: Equinox, 2006.

Barthes, R.Image,Music,Text[M]. London: Fontana, 1977.

Halliday, M.A.K.LanguageasaSocialSemiotic:TheSocialInterpretationofLanguageandMeaning[M]. London: Edward Arnold, 1978.

Halliday, M.A.K. & Hasan, R.Language,ContextandText-AspectsofLanguageinaSocialSemioticPerspective[M]. Oxford: Oxford University Press, 1985/1989.

Jewitt, C.TheRoutledgeHandbookofMultimodalAnalysis[M]. London and New York: Routledge, 2009.

Kress, G. & van Leeuwen, T.ReadingImages:theGrammarofVisualDesign[M]. London: Routledge, 1996/2006.

Machin, D.IntroductiontoMultimodalAnalysis[M]. London: Hodder Arnold, 2007.

O’Toole, M.TheLanguageofDisplayedArt[M]. London: Leicester University Press, 1994.

Pharies, D. A.CharlesS.PeirceandtheLinguisticSign[M]. Amsterdam: John Benjamins, 1985.

ReVine, P. & Scollon, R.DiscourseandTechnology:MultimodalDiscourseAnalysis[M]. Washington D.C.: Georgetown University Press, 2004.

Saussure, F. de.CourseinGeneralLinguistics[M]. London: McGraw-Hill Book Company, 1915.

Van Leeuwen, T.IntroducingSocialSemiotics[M]. London and New York: Routledge, 2005.

【責(zé)任編輯孫 穎】

IssuesintheConstructionofMultimodalGrammar

Zhang De-lu Zhang Jing-tian

(Tongji University, Shanghai 200092, China)

multimodal grammar; semiotic system; level; type; dimension

H04

A

1000-0100(2012)03-0038-6

*本文系國家社科基金項(xiàng)目“外語課堂教學(xué)多模態(tài)話語研究”(08BYY030)的階段性成果。

2012-01-14