楊增成　苗興偉

(北京工商大學(xué)，北京 100048； 北京師范大學(xué)，北京 1000875)

1　引言

語(yǔ)篇是傳遞意義的載體，具有一定的結(jié)構(gòu)，語(yǔ)篇的各個(gè)部分位于這個(gè)結(jié)構(gòu)中的某個(gè)位置，并彼此通過(guò)一定的關(guān)系產(chǎn)生關(guān)聯(lián)。語(yǔ)篇結(jié)構(gòu)對(duì)語(yǔ)篇意義的傳遞有著重要影響。

語(yǔ)篇都是多模態(tài)的。除語(yǔ)言外，語(yǔ)篇中的圖像、字體和排版格式等都傳遞意義。但是長(zhǎng)期以來(lái)，學(xué)界只關(guān)注語(yǔ)篇的語(yǔ)言層面，即純語(yǔ)言視角的研究。從純語(yǔ)言視角對(duì)語(yǔ)篇結(jié)構(gòu)的深入研究，在語(yǔ)篇的修辭結(jié)構(gòu)、信息結(jié)構(gòu)和語(yǔ)類結(jié)構(gòu)等方面，都有很多研究成果。多模態(tài)語(yǔ)篇中，除這上述結(jié)構(gòu)之外，還有其布局結(jié)構(gòu)(layout structure)。多模態(tài)語(yǔ)篇中的各個(gè)視覺(jué)成分通過(guò)一定的歸組、聯(lián)結(jié)和分離，使多模態(tài)語(yǔ)篇呈現(xiàn)出一定的布局結(jié)構(gòu)。布局結(jié)構(gòu)是多模態(tài)語(yǔ)篇的外在形式，純語(yǔ)言視角下的語(yǔ)篇研究尚未關(guān)注到這種外在的形式結(jié)構(gòu)。布局結(jié)構(gòu)聯(lián)結(jié)著多模態(tài)語(yǔ)篇中的成分，對(duì)多模態(tài)語(yǔ)篇的連貫和意義的傳遞都有影響(代樹蘭 2017：5)。多模態(tài)語(yǔ)篇的布局結(jié)構(gòu)至今雖已得到學(xué)者們的廣泛關(guān)注，但相對(duì)于其他多模態(tài)問(wèn)題，布局結(jié)構(gòu)的研究還不夠深入。本文梳理和評(píng)析多模態(tài)語(yǔ)篇布局結(jié)構(gòu)研究，并展望未來(lái)，以期推動(dòng)該研究的進(jìn)一步發(fā)展。

2　多模態(tài)語(yǔ)篇的層級(jí)性布局結(jié)構(gòu)研究

多模態(tài)語(yǔ)篇是二維的視覺(jué)載體，其中的圖像、色彩和圖表等都是視覺(jué)模態(tài)，語(yǔ)言以一定字體和字號(hào)的形式出現(xiàn)于語(yǔ)篇中，字體和字號(hào)也是視覺(jué)模態(tài)。不同的視覺(jué)單位在頁(yè)面上處在一定布局結(jié)構(gòu)中。在布局結(jié)構(gòu)中，布局單位根據(jù)一定的關(guān)系組構(gòu)成更大的視覺(jué)單位。

2.1 布局單位

Bateman 在其研究項(xiàng)目“語(yǔ)類與多模態(tài)”(Genre and Multimodality)的基礎(chǔ)上提出用于分析多模態(tài)語(yǔ)篇的GeM模式，該模式明確了多模態(tài)語(yǔ)篇的多個(gè)描寫層面(Bateman 2008:15)。語(yǔ)篇是包括GeM基礎(chǔ)層、布局層、修辭結(jié)構(gòu)層、導(dǎo)航層和語(yǔ)類層的多層面人工制品，每一層面都有其單位(同上：108)。其中，布局層的布局單位體現(xiàn)為基礎(chǔ)單位的組合?；A(chǔ)單位(base unit)是GeM基礎(chǔ)層的單位，基礎(chǔ)單位是出現(xiàn)于多模態(tài)頁(yè)面上的基礎(chǔ)性成分，標(biāo)題、圖符、表格中的單元格、清單列表、清單列表標(biāo)簽、腳注、腳注標(biāo)簽、圖像、圖表和圖表中的文本等都屬于基礎(chǔ)單位。其他層面的單位可能比基礎(chǔ)單位大，這是因?yàn)檫@些層面上的單位會(huì)體現(xiàn)為基礎(chǔ)單位的組合。(同上: 110-113)

布局成分包括3種：排印性成分(typographical element)、圖像性成分(graphic element )和復(fù)合性成分(composite element)。這3種布局成分各有其布局單位。排印性單位在字體、字號(hào)、底紋、字間距和行間距等方面體現(xiàn)出一定的特點(diǎn)。圖像性布局單位是具有一定內(nèi)部結(jié)構(gòu)的視覺(jué)性成分，復(fù)合性單位是能把語(yǔ)篇的不同成分歸組到一起的成分。(同上：116-121)

2.2 層級(jí)性布局結(jié)構(gòu)

視覺(jué)單位通過(guò)一定的視覺(jué)特點(diǎn)和空間位置關(guān)系組構(gòu)成一定的布局結(jié)構(gòu)。Bateman指出多模態(tài)頁(yè)面上的布局單位通過(guò)框架 (framing) 和視覺(jué)完整性(visual integrity)等原則一步步組構(gòu)成更大的單位，直至組構(gòu)成完整的多模態(tài)頁(yè)面(同上：122)。

空間性歸組是實(shí)現(xiàn)層級(jí)性布局關(guān)系的重要途徑。通過(guò)空間性歸組，某些成分聚攏于多模態(tài)頁(yè)面的某個(gè)區(qū)域，組構(gòu)成更大的視覺(jué)單位。Schriver指出語(yǔ)篇中不同的部分歸組到一起(如語(yǔ)篇正文加腳注、程序性說(shuō)明加圖像)，形成一個(gè)修辭簇(rhetorical cluster)，充當(dāng)一個(gè)功能單位(Schriver 1997:343)。Baldry和Thibault指出多模態(tài)頁(yè)面上的不同成分聚攏于一起，作為一個(gè)整體位于頁(yè)面的某個(gè)位置，形成一個(gè)簇(cluster)，簇中的各個(gè)成分在功能上相互關(guān)聯(lián)，并且各個(gè)成分在功能上與整個(gè)簇有關(guān)聯(lián)(Baldry, Thibault 2006:31)。Bateman認(rèn)為無(wú)論視覺(jué)成分的功能如何，只要這些成分居于一處，組成一定的視覺(jué)性構(gòu)型，就可以把該構(gòu)型視為某類簇。反過(guò)來(lái)，人們不能僅僅因?yàn)橐曈X(jué)成分間存在著功能性關(guān)聯(lián)，就將它們視為某個(gè)簇，簇必須要有空間性構(gòu)型支撐(Bateman 2008：115)。Reichenberger等學(xué)者用降低分辨率的方式研究頁(yè)面成分間的空間性歸組(Reichenberger et al. 1995：5-6)，并用圖1展示歸組過(guò)程。在圖1中，豎軸表示分辨率，從上到下分辨率依次降低，隨著分辨率的降低，很多小的成分無(wú)法被識(shí)別，被融入到一起。

圖1　分辨率與歸組(Reichenberger et al. 1995)

布局結(jié)構(gòu)的層級(jí)性還有賴于多模態(tài)語(yǔ)篇的空間分隔機(jī)制。多模態(tài)語(yǔ)篇通過(guò)分隔機(jī)制把其整體分隔成不同的布局單位，不同布局單位通過(guò)空間性歸組形成一定的層級(jí)性布局結(jié)構(gòu)。van Leeuwen分析幾種分隔機(jī)制，認(rèn)為不同成分間的分隔可以通過(guò)分離(separation)和隔離(segregation)機(jī)制來(lái)完成。分離表示不同的頁(yè)面部分由空白區(qū)間分開(kāi)，比如一個(gè)空白區(qū)域把字體或字號(hào)不同的兩個(gè)部分隔開(kāi)。分離能表明被分開(kāi)的兩個(gè)部分在某些方面相同，而在另外某些方面不同。隔離表示不同的部分占據(jù)性質(zhì)完全不同的空間區(qū)域(如文字區(qū)域和圖像區(qū)域)。被分離或隔離的視覺(jué)部分間可能會(huì)存在“押韻”(rhyme)和“對(duì)比”關(guān)系。“押韻”表示不同的部分雖然分開(kāi)，但是還存在共同點(diǎn)，比如共同的顏色或形狀；“對(duì)比”表示不同的部分在某些方面(如顏色和字體)呈現(xiàn)出不同。(van Leeuwen 2005:6-13)

3　多模態(tài)語(yǔ)篇布局結(jié)構(gòu)與其他語(yǔ)篇結(jié)構(gòu)間的關(guān)系

多模態(tài)語(yǔ)篇的結(jié)構(gòu)是多重的，既有布局結(jié)構(gòu)，又有修辭結(jié)構(gòu)、語(yǔ)類結(jié)構(gòu)和信息結(jié)構(gòu)。布局結(jié)構(gòu)是多模態(tài)語(yǔ)篇的形式結(jié)構(gòu)，修辭結(jié)構(gòu)、語(yǔ)類結(jié)構(gòu)和信息結(jié)構(gòu)屬于語(yǔ)篇的意義結(jié)構(gòu)。語(yǔ)篇意義與語(yǔ)篇形式間存在著一定的關(guān)系，多模態(tài)語(yǔ)篇的布局結(jié)構(gòu)與修辭結(jié)構(gòu)、語(yǔ)類結(jié)構(gòu)和信息結(jié)構(gòu)間也存在著一定的關(guān)系。

3.1 布局結(jié)構(gòu)與信息結(jié)構(gòu)間的關(guān)系

Kress 和van Leeuwen認(rèn)為視覺(jué)載體的水平結(jié)構(gòu)與語(yǔ)言的順序性信息結(jié)構(gòu)間存在著一定的相似性。在一個(gè)多模態(tài)頁(yè)面上，位于左側(cè)的是已知信息，位于右側(cè)的是新信息。一般來(lái)說(shuō)，新信息表示不確定的、可爭(zhēng)論的和需要關(guān)注的信息，而已知信息表示常識(shí)性的、觀看者已知的或已熟悉的信息。他們還指出，根據(jù)讀者群的不同，不同的期刊會(huì)在左右結(jié)構(gòu)的處理上有不同的做法，比如有的期刊往往將廣告置于左側(cè)，而有的期刊則置于右側(cè)。他們還指出將廣告置于左側(cè)能間接地表明期刊將廣告視為商業(yè)性的已知信息，不是該期刊的重點(diǎn)，該期刊的主要任務(wù)是傳遞關(guān)于真實(shí)世界的信息。(Kress, van Leeuwen 1996：186-192)

3.2 布局結(jié)構(gòu)與修辭結(jié)構(gòu)間的關(guān)系

修辭結(jié)構(gòu)理論是Mann 和 Thompson在20世紀(jì)80年代初創(chuàng)立的理論。該理論認(rèn)為語(yǔ)篇的不同部分間存在著一定的語(yǔ)義關(guān)系，如環(huán)境關(guān)系、條件關(guān)系、闡述關(guān)系、評(píng)價(jià)關(guān)系、解釋關(guān)系、方式關(guān)系和析取關(guān)系等。被上述關(guān)系聯(lián)結(jié)的語(yǔ)篇部分稱為結(jié)構(gòu)段。結(jié)構(gòu)段可以是句子，也可以是低于句子層級(jí)的小句，還可以是高于句子層級(jí)的段落。

Bateman認(rèn)為多模態(tài)語(yǔ)篇中也存在修辭結(jié)構(gòu)關(guān)系，在多模態(tài)語(yǔ)篇中，修辭結(jié)構(gòu)關(guān)系存在于某一結(jié)構(gòu)段和在任一方向上與其毗鄰的結(jié)構(gòu)段之間。他詳細(xì)地分析兩例多模態(tài)頁(yè)面的布局結(jié)構(gòu)和修辭結(jié)構(gòu)。通過(guò)修辭結(jié)構(gòu)，將大結(jié)構(gòu)段分解成小結(jié)構(gòu)段。大結(jié)構(gòu)段由大布局單位體現(xiàn)，小結(jié)構(gòu)段由小布局單位體現(xiàn)。結(jié)構(gòu)段可以是圖像性成分，也可以是文字性成分。在其分析的兩例中，修辭結(jié)構(gòu)和布局結(jié)構(gòu)間存在著不匹配的關(guān)系。 (Bateman 2008：151-174)

3.3 布局結(jié)構(gòu)與語(yǔ)類結(jié)構(gòu)的關(guān)系

Hasan認(rèn)為語(yǔ)類有其語(yǔ)類結(jié)構(gòu)潛勢(shì)，語(yǔ)類結(jié)構(gòu)潛勢(shì)包括必備成分、可選成分、成分出現(xiàn)的順序和某些成分重復(fù)出現(xiàn)的次數(shù)(Halliday, Hasan 1989：64)。一個(gè)語(yǔ)篇的語(yǔ)類結(jié)構(gòu)要體現(xiàn)其所屬的語(yǔ)類結(jié)構(gòu)潛勢(shì)(同上：108)。多模態(tài)語(yǔ)篇也有其語(yǔ)類結(jié)構(gòu)，一定的多模態(tài)語(yǔ)類也包含著必備成分和可選成分。

Cheong 提出多模態(tài)廣告語(yǔ)篇包含“首要信息”(lead)“商品展示”(display) “徽標(biāo)”(emblem)“宣告”(announcement)“詳述”(enhancer)“附言”(tag)和“聯(lián)系方式”(call-and-visit information)等成分。并在分析5則多模態(tài)廣告語(yǔ)篇的基礎(chǔ)上，提出多模態(tài)廣告語(yǔ)篇語(yǔ)類結(jié)構(gòu)潛勢(shì)為：

首要信息∧(商品展示)∧徽標(biāo)∧(宣告)∧(詳述)∧(附言)∧(聯(lián)系方式)

在該語(yǔ)類結(jié)構(gòu)潛勢(shì)中，括號(hào)內(nèi)的成分是可選成分，括號(hào)外的是必選成分。Cheong詳細(xì)地說(shuō)明各個(gè)成分在多模態(tài)廣告語(yǔ)篇中的體現(xiàn)形式。“首要信息”“商品展示”和“徽標(biāo)”主要通過(guò)圖像、色彩和圖標(biāo)等視覺(jué)方式來(lái)體現(xiàn)?！笆滓畔ⅰ笔嵌嗄B(tài)廣告語(yǔ)篇中最凸顯的成分，“商品展示”是展示所宣傳商品的成分，“徽標(biāo)”是表明產(chǎn)品之品牌的成分?！盎諛?biāo)”除了可以通過(guò)圖像的形式展示外，也可以通過(guò)語(yǔ)言的形式來(lái)展示?！靶妗薄霸斒觥薄案窖浴焙汀奥?lián)系方式”等通過(guò)語(yǔ)言和字號(hào)等方式來(lái)展現(xiàn)?！靶妗笔亲钔癸@的語(yǔ)言部分，其凸顯源于對(duì)色彩、字號(hào)或字體的選擇?！霸斒觥辈糠衷敿?xì)闡發(fā)“首要信息”和“宣告”相互影響所產(chǎn)生的意義，它只包含語(yǔ)言成分，且通常以段落的形式體現(xiàn)?！案窖浴辈糠謧鬟f“詳述”部分沒(méi)有述及的信息，通常由小字號(hào)體現(xiàn)。“聯(lián)系方式”傳遞消費(fèi)者可以獲取一定產(chǎn)品或服務(wù)的時(shí)間、地點(diǎn)和方式。(Cheong 2004：164-176) 這些語(yǔ)類成分的體現(xiàn)形式都是一定的布局單位。

4　多模態(tài)語(yǔ)篇布局結(jié)構(gòu)的意義研究

4.1 概念意義研究

多模態(tài)語(yǔ)篇的布局結(jié)構(gòu)能夠傳遞一定的概念意義。Kress和van Leeuwen分析圖像的結(jié)構(gòu)布局的概念意義。他們認(rèn)為多模態(tài)語(yǔ)篇中的圖像能夠傳遞再現(xiàn)意義，再現(xiàn)意義對(duì)應(yīng)于系統(tǒng)功能語(yǔ)法中的概念意義。再現(xiàn)意義分為敘事再現(xiàn)和概念再現(xiàn)兩類，前者包括行動(dòng)過(guò)程、反應(yīng)過(guò)程以及言語(yǔ)和心理過(guò)程等類別，后者包括分類過(guò)程、分析過(guò)程和象征過(guò)程等類別。表達(dá)敘事再現(xiàn)的圖像和表達(dá)概念再現(xiàn)的圖像有一個(gè)重要的布局結(jié)構(gòu)差異：在敘事再現(xiàn)的圖像中，某些視覺(jué)成分的位置連接起來(lái)形成一條斜線，而概念再現(xiàn)的圖像中不存在這樣的結(jié)構(gòu)。(Kress, van Leeuwen 1996：57；2006：59)

4.2 人際意義研究

多模態(tài)語(yǔ)篇的布局結(jié)構(gòu)除傳遞概念意義外，還能傳遞人際意義。Kress和van Leeuwen認(rèn)為在多模態(tài)頁(yè)面的“中心—邊緣”結(jié)構(gòu)中，位于中心的部分傳遞核心信息，位于邊緣的部分傳遞附屬性或從屬性信息(Kress, van Leeuwen 1996:206)。并對(duì)中心和邊緣兩個(gè)區(qū)域描述的事物進(jìn)行評(píng)價(jià)：中心區(qū)域的事物重要，處于邊緣區(qū)域的事物則不重要。他們還分析多模態(tài)語(yǔ)篇左右布局結(jié)構(gòu)的信息價(jià)值，他們認(rèn)為頁(yè)面左側(cè)傳遞的是已知信息，頁(yè)面右側(cè)傳遞的是新信息(同上:187)。Kress指出，把信息分為“讀者已知信息”和“讀者的新信息”會(huì)賦予讀者一定的地位與身份，會(huì)賦予讀者是否掌握一定的信息與知識(shí)的社會(huì)特征，從而在交際過(guò)程中為語(yǔ)篇參與者建立一定的人際關(guān)系 (Kress 2010:92)。

有學(xué)者指出多模態(tài)語(yǔ)篇內(nèi)部的邊框也能傳遞人際意義。邊框是多模態(tài)語(yǔ)篇頁(yè)面布局常用的一種手段。邊框會(huì)使多模態(tài)頁(yè)面呈現(xiàn)出不同的布局結(jié)構(gòu)，在有些多模態(tài)語(yǔ)篇頁(yè)面中，圖像處在一定的邊框內(nèi)，文字處在該邊框外；在有些多模態(tài)語(yǔ)篇頁(yè)面中，文字和圖像都位于一定的邊框內(nèi)；在有些多模態(tài)語(yǔ)篇頁(yè)面中，圖像的周圍沒(méi)有邊框，頁(yè)面邊沿就是該圖像的邊沿。Painter等學(xué)者分析圖像邊框傳遞的意義，指出若圖像的邊沿與頁(yè)面的邊沿重疊，讀者世界與圖像世界間的邊界便會(huì)最大程度地變窄，這會(huì)使讀者與圖像世界產(chǎn)生關(guān)聯(lián)。并且在這樣的圖像中，可能不展現(xiàn)一定人物所處的環(huán)境，這會(huì)觸發(fā)讀者的評(píng)價(jià)性反應(yīng)。這類沒(méi)有展現(xiàn)環(huán)境的圖像可能會(huì)出現(xiàn)在讀者需要對(duì)圖像人物進(jìn)行評(píng)價(jià)之時(shí)。(Painter et al. 2011：127-129)

4.3 語(yǔ)篇功能研究

語(yǔ)篇功能可以保障概念意義和人際意義得以傳遞。Kress研究多模態(tài)語(yǔ)篇布局結(jié)構(gòu)與多模態(tài)語(yǔ)篇連貫間的關(guān)系。他調(diào)整一個(gè)多模態(tài)頁(yè)面的布局結(jié)構(gòu)，以此來(lái)研究改變頁(yè)面布局結(jié)構(gòu)對(duì)多模態(tài)語(yǔ)篇連貫的影響。該頁(yè)面分為兩欄，左欄是文字，右欄是圖像，Kress 把這兩欄視為第一層級(jí)的語(yǔ)篇構(gòu)成單位。文字部分又進(jìn)一步分為3部分，作為第二層級(jí)的單位，它又由第三層級(jí)的單位構(gòu)成。圖像部分也包含第二層級(jí)的單位，第二層級(jí)的單位又包含第三層級(jí)的單位。他改變這些單位的位置，從而使語(yǔ)篇呈現(xiàn)出不同的布局結(jié)構(gòu)，從中發(fā)現(xiàn)若只是對(duì)第一層級(jí)單位的位置進(jìn)行調(diào)換，多模態(tài)頁(yè)面依然連貫，但是若把文字欄的第三層級(jí)的單位與圖像欄的第三層級(jí)的單位進(jìn)行位置調(diào)換，多模態(tài)頁(yè)面的連貫會(huì)受到影響。(Kress 2010:89-91)

5　多模態(tài)布局結(jié)構(gòu)的影響因素研究

多模態(tài)語(yǔ)篇的布局結(jié)構(gòu)受一定因素的影響。這些因素影響著頁(yè)面成分的聯(lián)結(jié)、歸組、分隔方式以及在頁(yè)面中出現(xiàn)的位置。

5.1 視覺(jué)修辭的影響

每個(gè)語(yǔ)篇都有其交際目的，旨在對(duì)讀者產(chǎn)生某種影響，修辭會(huì)有助于語(yǔ)篇作者成功地影響或說(shuō)服讀者。多模態(tài)語(yǔ)篇也有其交際目的，多模態(tài)語(yǔ)篇的作者也要通過(guò)一定的方式影響語(yǔ)篇受眾，多模態(tài)語(yǔ)篇中也有修辭現(xiàn)象。

Kimball和Hawkins分析視覺(jué)修辭對(duì)多模態(tài)語(yǔ)篇布局結(jié)構(gòu)的影響。他們從文檔設(shè)計(jì)的角度提出視覺(jué)修辭的概念。視覺(jué)修辭不僅關(guān)注文檔中的語(yǔ)言，還關(guān)注文檔的展現(xiàn)方式與用戶需求的對(duì)接。他們指出若文檔的設(shè)計(jì)滿足文檔讀者的需求和預(yù)期，則該文檔的用戶會(huì)更容易說(shuō)服文檔讀者。(Kimball, Hawkins 2008：62-66) 他們還指出文檔的設(shè)計(jì)者須能預(yù)料到讀者閱讀一定文檔的方式，然后進(jìn)行相應(yīng)的頁(yè)面設(shè)計(jì)來(lái)幫助讀者閱讀文檔。比如，如果讀者想要迅速尋找到某個(gè)信息，設(shè)計(jì)者可能須要凸顯導(dǎo)航類成分(比如標(biāo)題)；如果讀者想要觀覽很多圖像，設(shè)計(jì)者須要把圖像和說(shuō)明性文字放置于呈一致和規(guī)則形狀的框架中。 (同上：120)

5.2 美學(xué)因素的影響

如上所述，多模態(tài)語(yǔ)篇是個(gè)視覺(jué)載體，不同的視覺(jué)載體會(huì)給人帶來(lái)不同的美學(xué)感受。美學(xué)因素會(huì)對(duì)多模態(tài)語(yǔ)篇的布局結(jié)構(gòu)產(chǎn)生影響。平衡是取得美學(xué)效果的一個(gè)重要方式。Pettersson認(rèn)為一個(gè)視覺(jué)對(duì)象要盡可能呈現(xiàn)出平衡結(jié)構(gòu)，視覺(jué)對(duì)象中成分的結(jié)合應(yīng)該呈現(xiàn)出美學(xué)效果，體現(xiàn)出和諧的關(guān)系。人們天生具有平衡感，若某個(gè)成分太大或太小，整個(gè)圖片的效果都會(huì)受到影響。不平衡感會(huì)給讀者帶來(lái)不適，應(yīng)該避免。(Pettersson 2002:136)

Berdan也論述平衡與布局結(jié)構(gòu)間的關(guān)系，指出視覺(jué)成分的位置對(duì)平衡有重要的影響，人們會(huì)下意識(shí)地把圖片的中心視為一個(gè)支點(diǎn)，若支點(diǎn)一側(cè)較輕的物體離支點(diǎn)遠(yuǎn)，支點(diǎn)另一側(cè)較重的物體離支點(diǎn)近，這兩個(gè)物體間會(huì)存在一種平衡。他還認(rèn)為對(duì)稱結(jié)構(gòu)也是一種達(dá)到平衡的方式。(Berdan 2004)

5.3 文化因素的影響

多模態(tài)語(yǔ)篇的布局結(jié)構(gòu)也受文化因素的影響。Kimball 和 Hawkins從文檔設(shè)計(jì)的角度研究多模態(tài)語(yǔ)篇布局結(jié)構(gòu)與文化因素間的關(guān)系。他們指出某些成分在多模態(tài)語(yǔ)篇中出現(xiàn)的位置和其所呈現(xiàn)出的視覺(jué)特點(diǎn)受文化規(guī)約的影響。一定文化背景下的語(yǔ)篇參與者對(duì)一定成分在語(yǔ)篇中的位置有一定的期待。他們還指出多種文化會(huì)影響到文檔的設(shè)計(jì)，公司文化、行業(yè)文化、民族文化、甚至某個(gè)大洲的文化(如歐洲文化)對(duì)文檔的設(shè)計(jì)都會(huì)產(chǎn)生一定的影響。(Kimball, Hawkins 2008:117-118)

6　未來(lái)研究的展望

6.1 布局結(jié)構(gòu)與其他類別語(yǔ)篇結(jié)構(gòu)間的關(guān)系

除布局結(jié)構(gòu)外，多模態(tài)語(yǔ)篇還有信息結(jié)構(gòu)、語(yǔ)類結(jié)構(gòu)和修辭結(jié)構(gòu)等多種語(yǔ)篇結(jié)構(gòu)，針對(duì)布局結(jié)構(gòu)與這些結(jié)構(gòu)間的關(guān)系的研究還不夠深入。

首先，在布局結(jié)構(gòu)與信息結(jié)構(gòu)間的關(guān)系方面，還有進(jìn)一步研究的空間，有些研究結(jié)論尚存在爭(zhēng)議。比如，Kress 和 van Leeuwen 認(rèn)為在一個(gè)多模態(tài)頁(yè)面上，處于左側(cè)的部分傳遞已知信息，處于右側(cè)的部分傳遞新信息(Kress, van Leeuwen 1996：187)，但是該論述沒(méi)有得到實(shí)驗(yàn)結(jié)果的支持。Bateman通過(guò)解讀一項(xiàng)目光跟蹤實(shí)驗(yàn)的結(jié)果，認(rèn)為人們閱讀文檔時(shí)，目光落于文檔各個(gè)部分的先后順序。Bateman把Kress和van Leeuwen的觀點(diǎn)轉(zhuǎn)換為：頁(yè)面的右側(cè)在閱讀過(guò)程中應(yīng)被更早地關(guān)注到，但是實(shí)驗(yàn)結(jié)果并沒(méi)有支持這一觀點(diǎn)(Bateman 2008：64)。也就是說(shuō)，Kress和van Leeuwen關(guān)于左右結(jié)構(gòu)信息價(jià)值的論述還存在爭(zhēng)議，有必要進(jìn)一步研究。

Gee從另一個(gè)角度研究語(yǔ)篇的信息結(jié)構(gòu)，認(rèn)為語(yǔ)篇中的信息由“行”和 “節(jié)”這樣的信息單位構(gòu)成，“行”是“意義單位”，“節(jié)”是涉及同一主題、視角和事件的語(yǔ)段，通常由若干“行”組成，“節(jié)”又進(jìn)一步組成語(yǔ)篇的宏觀結(jié)構(gòu)(Gee 2000：106-114)。Gee的這種層級(jí)性語(yǔ)篇信息結(jié)構(gòu)的分析方法具有重要意義，該方法從信息的角度分析語(yǔ)篇的各個(gè)構(gòu)成單位對(duì)語(yǔ)篇整體的貢獻(xiàn)。多模態(tài)語(yǔ)篇研究也應(yīng)從這個(gè)角度關(guān)注語(yǔ)篇的層級(jí)性信息結(jié)構(gòu)，關(guān)注層級(jí)性信息結(jié)構(gòu)與層級(jí)性布局結(jié)構(gòu)間的關(guān)系，還應(yīng)關(guān)注語(yǔ)篇信息單位與布局單位間的關(guān)系。

第二，在多模態(tài)語(yǔ)篇的布局結(jié)構(gòu)與語(yǔ)類結(jié)構(gòu)的關(guān)系方面，尚存在一些問(wèn)題需要進(jìn)一步研究。不同的語(yǔ)類有不同的語(yǔ)類結(jié)構(gòu)潛勢(shì)，語(yǔ)類結(jié)構(gòu)潛勢(shì)既涉及到某一語(yǔ)類中出現(xiàn)的成分，又涉及到各語(yǔ)類成分出現(xiàn)的順序。既往的研究關(guān)注多模態(tài)語(yǔ)類的成分、語(yǔ)類成分的體現(xiàn)形式和語(yǔ)類成分與布局單位間的關(guān)系，但是不同成分出現(xiàn)的順序，以及這種順序與布局結(jié)構(gòu)間的關(guān)系尚未得到關(guān)注。如何發(fā)現(xiàn)和描述各成分在多模態(tài)語(yǔ)篇中出現(xiàn)的順序是研究難題。在純語(yǔ)言模態(tài)中，不同成分在語(yǔ)篇中出現(xiàn)的先后順序容易確定，這是因?yàn)檎Z(yǔ)言是線性的，這意味著不同成分的出現(xiàn)有一定的順序性。多模態(tài)語(yǔ)篇是二維的、非線性的，所以各個(gè)成分出現(xiàn)的順序不易確定。這個(gè)研究難題可以從讀者接受的角度加以研究，即從閱讀路徑的角度。閱讀路徑是人們閱讀多模態(tài)語(yǔ)篇各個(gè)部分的先后順序，這個(gè)順序不僅與各個(gè)部分的位置和視覺(jué)特點(diǎn)有關(guān)，也與多模態(tài)語(yǔ)篇的布局結(jié)構(gòu)有關(guān)。學(xué)界有必要研究閱讀路徑與布局結(jié)構(gòu)的關(guān)系，以推動(dòng)布局結(jié)構(gòu)與語(yǔ)類結(jié)構(gòu)間關(guān)系的研究。

此外，多模態(tài)語(yǔ)篇的布局結(jié)構(gòu)與一些其他類別的語(yǔ)篇結(jié)構(gòu)之間也存在一定關(guān)系，也應(yīng)該得到學(xué)界的關(guān)注。Hoey提出英語(yǔ)篇章中存在“情景—反應(yīng)—評(píng)價(jià)/結(jié)果”“假設(shè)—真實(shí)型”“一般—特殊型”和“匹配比較型”等語(yǔ)篇模式 (Hoey 1983：31)。Labov提出敘事結(jié)構(gòu)中包含“點(diǎn)題”“指向”“進(jìn)展”“評(píng)議”“結(jié)果或結(jié)局”和“回應(yīng)”等環(huán)節(jié)(Labov 1972：363)。這樣的語(yǔ)篇模式和敘事結(jié)構(gòu)也存在于多模態(tài)語(yǔ)篇中，并體現(xiàn)在一定的布局單位和布局結(jié)構(gòu)中。目前這些語(yǔ)篇模式和敘事結(jié)構(gòu)與多模態(tài)語(yǔ)篇布局結(jié)構(gòu)間的關(guān)系尚未得到學(xué)者們系統(tǒng)全面的研究，需要學(xué)界進(jìn)一步關(guān)注。

6.2 布局結(jié)構(gòu)的意義與功能

學(xué)者們研究多模態(tài)語(yǔ)篇布局結(jié)構(gòu)傳遞的概念意義和人際意義，并闡述布局結(jié)構(gòu)對(duì)語(yǔ)篇連貫的影響。這些研究深化人們對(duì)多模態(tài)語(yǔ)篇布局結(jié)構(gòu)的功能的認(rèn)識(shí)。目前，對(duì)多模態(tài)語(yǔ)篇布局結(jié)構(gòu)的人際意義已有比較深入的研究，但是概念意義的研究卻不夠深入，其語(yǔ)篇功能也需要進(jìn)一步研究。比如，Kress只是證實(shí)和說(shuō)明布局結(jié)構(gòu)的改變會(huì)對(duì)多模態(tài)語(yǔ)篇的連貫性產(chǎn)生影響，但學(xué)界還未系統(tǒng)研究連貫的多模態(tài)語(yǔ)篇具有的布局結(jié)構(gòu)特征。另外，語(yǔ)篇中不同模態(tài)處在一定的布局結(jié)構(gòu)中，布局結(jié)構(gòu)對(duì)模態(tài)間的關(guān)系會(huì)產(chǎn)生一定影響，并對(duì)語(yǔ)篇傳遞的意義產(chǎn)生影響，但是這方面的研究還未系統(tǒng)開(kāi)展，需要學(xué)者們關(guān)注。

6.3 布局結(jié)構(gòu)的影響因素

從視覺(jué)修辭、美學(xué)和社會(huì)因素等方面探討多模態(tài)語(yǔ)篇布局結(jié)構(gòu)的影響因素，對(duì)多模態(tài)語(yǔ)篇的生成具有啟示意義，但是這些研究未形成一個(gè)完整的理論體系。另外，一定的布局結(jié)構(gòu)可能受兩個(gè)或多個(gè)因素的共同影響，這也須要建構(gòu)一個(gè)涵蓋多種影響因素的理論框架。

上述影響因素可以被涵蓋于語(yǔ)境理論下。視覺(jué)修辭因素可以從語(yǔ)境角度得到論述，如上文所述，視覺(jué)修辭關(guān)注文檔的展現(xiàn)方式與用戶需求的對(duì)接，文檔用戶即語(yǔ)境中的語(yǔ)旨變量。社會(huì)因素即社會(huì)語(yǔ)境。美學(xué)方面的原因也可以從語(yǔ)境角度解釋，給人以美學(xué)感受的布局結(jié)構(gòu)可以使語(yǔ)篇受眾對(duì)語(yǔ)篇和語(yǔ)篇作者產(chǎn)生好感，在語(yǔ)篇作者和受眾間建立起積極的關(guān)系，反之，為了在語(yǔ)篇參與者間建立一定的關(guān)系，語(yǔ)篇作者會(huì)使語(yǔ)篇的布局結(jié)構(gòu)呈現(xiàn)出一定的美學(xué)特點(diǎn)。

語(yǔ)境涉及眾多要素，學(xué)界對(duì)其研究已相當(dāng)成熟。從語(yǔ)境角度對(duì)布局結(jié)構(gòu)的影響因素進(jìn)行研究不僅可以把現(xiàn)有研究成果納入到一個(gè)統(tǒng)一的理論體系中，還能發(fā)現(xiàn)其他影響因素，學(xué)界有必要從這個(gè)角度進(jìn)一步研究影響因素。

7　結(jié)束語(yǔ)

多模態(tài)語(yǔ)篇的布局結(jié)構(gòu)為概念意義的傳遞提供平臺(tái)，并發(fā)揮重要的人際功能，還對(duì)語(yǔ)篇的連貫有重要影響。學(xué)者們對(duì)多模態(tài)語(yǔ)篇的布局結(jié)構(gòu)進(jìn)行多角度的研究，并已有不少研究成果，然而布局結(jié)構(gòu)研究依然任重道遠(yuǎn)，很多問(wèn)題有待進(jìn)一步探討，如布局結(jié)構(gòu)與其他類別語(yǔ)篇結(jié)構(gòu)間的關(guān)系、布局結(jié)構(gòu)傳遞的意義和影響因素等方面。對(duì)這些方面的探討能進(jìn)一步推動(dòng)多模態(tài)語(yǔ)篇布局結(jié)構(gòu)研究的進(jìn)展，并有助于人們?cè)诮浑H中更有效地使用多模態(tài)語(yǔ)篇。

代樹蘭. 多模態(tài)話語(yǔ)中各模態(tài)之間關(guān)系的研究[J]. 外語(yǔ)學(xué)刊, 2017(6).

Baldry, A., Thibault, P.J.MultimodalTranscriptionandTextAnalysis:AMultimediaToolkitandCoursebook[M]. London: Equinox, 2006.

Bateman, J.A.MultimodalityandGenre:AFoundationfortheSystematicAnalysisofMultimodalDocuments[M]. New York: Palgrave, 2008.

Berdan, R. Composition and the Elements of Visual Design[OL]. http://photoinf.com/General/Robert_Berdan/Composition_and_the_Elements_of_Visual_Design.htm, 2004.

Cheong, Y.Y. The Construal of Ideational Meaning in Print Advertisement[A]. In: O’Halloran, K.L.(Ed.),MultimodalDiscourseAnalysis:SystemicFunctionalPerspectives[C]. London: Continuum, 2004.

Gee, J.P.AnIntroductiontoDiscourseAnalysis:TheoryandMethod[M]. Beijing: Foreign Language Teaching and Research Press, 2000.

Halliday, M.A.K., Hasan, R.Language,ContextandText:AspectsofLanguageinaSocial-semioticPerspective[M]. Oxford: Oxford University Press, 1989.

Hoey, M.OntheSurfaceofDiscourse[M]. London: George Allen & Unwin, 1983.

Kimball, M.A., Hawkins, A.R.DocumentDesign:AGuideforTechnicalCommunicators[M]. Boston: Bedford/St. Martin’s, 2008.

Kress, G.Multimodality:ASocialSemioticApproachtoContemporaryCommunication[M]. London: Routledge, 2010.

Kress, G., van Leeuween, T.ReadingImage:TheGrammarofVisualDesign[M]. London: Routledge, 1996.

Kress, G., van Leeuwen, T.ReadingImage:TheGrammarofVisualDesign(2ndEdition) [M]. London: Routledge, 2006.

Labov, W.LanguageintheInnerCity:StudiesintheBlackEnglishVernacular[M]. Philadelphia: University of Pennsylvania Press, 1972.

Painter, C., Martin, J.R., Unsworth, L. Organizing Visual Meaning: Framing and Balance in Picture-book Images[A]. In: Dreyfus, S., Hood, S., Stenglin, M.(Eds.),SemioticMargin:MeaninginMultimodalities[C]. London & New York: Continuum, 2011.

Pettersson, R.InformationDesign:AnIntroduction[M]. Amsterdam: John Benjamins Publishing Company, 2002.

Reichenberger, K., Rondhuis, K.J., Kleinz, J., Bateman, J. Effective Presentation of Information Through Page Layout: A Linguistically Based Approach[OL]. http://www.cs.uic.edu/～ifc/mmwsproc/reichen/page-layout.html, 1995.

van Leeuwen, T.IntroducingSocialSemiotics[M]. London: Routledge, 2005.