白美嫻

(西南大學(xué) 外國語學(xué)院，重慶 400715)

一、引 言

“多模態(tài)”(multimodality)一詞由來已久，從20世紀90年代開始得到語言學(xué)界越來越多的關(guān)注。目前，不同的語言學(xué)家對“模態(tài)”(mode)的界定各有不同。Matthiessen(2007)主張從媒介和渠道兩方面對模態(tài)進行研究；Bernsen(2006)認為模態(tài)是人與人，人與機器之間在一些媒介的作用下交流信息的模式或方式；朱永生(2007)指出模態(tài)指交流的渠道和媒介，包括語言、技術(shù)、圖像、顏色、音樂等等符號系統(tǒng)；顧曰國(2007)認為模態(tài)指人類通過感官(如視覺、聽覺) 跟外部環(huán)境(如人、機器、物體、動物等)之間的互動方式。關(guān)于“多模態(tài)”，Kress & van Leeuwen(1996)指出多模態(tài)是幾種符號模態(tài)的同時使用；李戰(zhàn)子(2003)認為多模態(tài)指的是“除了文本之外，還帶有圖像，圖表等的符號話語，或者說任何由一種以上的符號編碼實現(xiàn)意義的文本”；曾蕾(2006)主張“超出文字語言符號以上的多種符號語篇”即為多模態(tài)話語；朱永生(2007)則指出，判斷多模態(tài)的標準是看涉及模態(tài)種類的多少，如電腦上網(wǎng)時，用眼睛看文字和圖像，用耳朵聽聲音；有些語篇雖然僅涉及一種感官系統(tǒng)，但如果包含兩個或以上的符號系統(tǒng)也應(yīng)看作是多模態(tài)，如連環(huán)畫，雖然只涉及視覺模態(tài)，但既有文字也有圖畫，也應(yīng)視為多模態(tài)語篇。為了避免模態(tài)在概念上的混淆，本文使用“符號模態(tài)”一詞來代替模態(tài)，意在強調(diào)模態(tài)和符號資源的緊密聯(lián)系。

近些年來，隨著計算機和國際互聯(lián)網(wǎng)的廣泛使用以及多媒體技術(shù)的迅猛發(fā)展，信息的多媒介化變得更加豐富多彩，出現(xiàn)了音頻、視頻、三維動畫等多種交流形式。圖像、動畫、圖表、顏色、聲音、編排等手段大大豐富了語義表達的形式，使意義的表達形式呈現(xiàn)多元化，打破了常規(guī)媒介的單一性。語言學(xué)家們開始關(guān)注并研究在人與人直面交流，人—機—人的交流中除語言之外，其他用于交流的符號模態(tài)是如何結(jié)合來傳遞意義，并以此達到互動交流。作為一種新興的網(wǎng)絡(luò)信息表達方式及網(wǎng)絡(luò)時代知識傳播和管理的新途徑，博客被譽為繼E-mail、BBS、ICQ之后的第四種網(wǎng)絡(luò)交流方式。它為每個人提供了一個發(fā)布信息、交流知識的傳播平臺，是博主發(fā)表言論和表達個人思想的網(wǎng)絡(luò)虛擬空間，其主要內(nèi)容是網(wǎng)絡(luò)日志。使用者可以很方便的選擇使用文字、影音或圖片鏈接起自己個性化的網(wǎng)絡(luò)世界與外界進行互動交流。因此，博客可以說是多模態(tài)展現(xiàn)的最佳平臺之一。本文結(jié)合系統(tǒng)功能語言學(xué)理論，主要從博客網(wǎng)頁設(shè)計角度分析符號模態(tài)選擇以及不同模態(tài)之間表達意義的整合在體現(xiàn)語言的三大元功能(Halliday, 2000)中的重要性，并提出以博客為網(wǎng)絡(luò)平臺的人—機—人交流的互動模式。

二、網(wǎng)頁多模態(tài)語篇及其分析的理論基礎(chǔ)

在對博客網(wǎng)頁分析前，首先介紹網(wǎng)頁多模態(tài)語篇。網(wǎng)頁可以描述為交流的多模態(tài)工具, 它最大特色是一種脫離了常規(guī)文本的超文本。Chiew(2004)認為超文本實現(xiàn)了單個或多個符號資源的結(jié)合。通過圖像、顏色、音頻等符號模態(tài)結(jié)合可以實現(xiàn)不同類型的網(wǎng)頁。由互相開放的網(wǎng)絡(luò)通過各種鏈接而形成的信息組合的超文本，具有多方位、動態(tài)性、多線性的特征。這些特征決定了在接觸網(wǎng)頁時，人—機—人之間必定存在一種互動關(guān)系。關(guān)于網(wǎng)頁設(shè)計者、網(wǎng)頁和網(wǎng)頁訪問者的互動關(guān)系， Aarseth(1997)曾做過研究。我們認為，以網(wǎng)絡(luò)為媒介的電子多模態(tài)語篇是動態(tài)的，使用者通過網(wǎng)絡(luò)可以取得即時或延時的人際互動和交流。

多模態(tài)語篇研究者(如Kress, 2001)認為，所有的符號模態(tài)像語言一樣在社會使用過程中會形成社會資源模態(tài)。胡壯麟(2007)指出，所有符號模態(tài)有潛勢發(fā)展成產(chǎn)生意義的互相連接的可供選擇的網(wǎng)絡(luò)。Kress & van Leeuwen(1996)則認為，系統(tǒng)功能語言學(xué)關(guān)于語言元功能的理論也可以擴展至其他的符號系統(tǒng)，換句話說，其他的符號系統(tǒng)可認為是按照概念功能、人際功能和語篇功能這三大元功能來組織并生成意義。Halliday(1978)突出強調(diào)選擇在意義生成中的重要性；Victor Li Fei(2007)認為系統(tǒng)功能語言學(xué)是有關(guān)選擇的理論，系統(tǒng)網(wǎng)絡(luò)為符號資源提供許多的選擇。那么，和語言一樣，其他符號資源在生成意義時，也會面臨可供選擇的系統(tǒng)網(wǎng)絡(luò)；毫無疑問，選擇是任何符號資源生成過程中的重要環(huán)節(jié)。Baldry(2000)也提出對每種符號資源的選擇及其意義整合對實現(xiàn)三大元功能的重要性。

以系統(tǒng)功能語言學(xué)的語言元功能理論為基礎(chǔ)，社會符號學(xué)研究者(如Kress等, 1997)確立了闡釋多模態(tài)語篇的總體框架：(1)表征和交流與參與者社會關(guān)系相關(guān)的方面；(2)交流和表征交流者希望交流的時間、事態(tài)和直覺；(3)信息產(chǎn)生必須具有關(guān)聯(lián)性。也就是說，語篇不但要有內(nèi)部的粘聯(lián)連貫，而且與語境也得有粘聯(lián)性。那么，從網(wǎng)頁設(shè)計的層面來看，與三大元功能相對應(yīng)的條件是：(1)從社會符號學(xué)角度分析網(wǎng)頁中表達的事態(tài)；(2)解讀網(wǎng)頁內(nèi)容與瀏覽者間的社會關(guān)系；(3)各種符號間的銜接與連貫關(guān)系(葉起昌，2006)。Thibault(2000)建議最好把系統(tǒng)功能語言學(xué)中的元功能看做是為分析整個篇章的概念、人際、邏輯、結(jié)構(gòu)等方面的整合原則。這也正是本文分析博客網(wǎng)頁所采用的原則。

三、博客網(wǎng)頁中符號模態(tài)選擇、模態(tài)間意義整合以及人—機—人交流互動

1.博客網(wǎng)頁設(shè)計者符號模態(tài)選擇及意義整合分析

博客網(wǎng)頁的設(shè)計者包括博客網(wǎng)頁開發(fā)者和博客擁有者。首先，博客網(wǎng)頁開發(fā)者面對眾多的符號資源，需要選擇輸入符號模態(tài)構(gòu)建博客網(wǎng)頁的大致框架結(jié)構(gòu)；其次，個人博客的擁有者需要輸入符號模態(tài)來填充框架，這樣才構(gòu)成完整意義的博客。

鑒于目前大部分博客網(wǎng)頁主要是以圖像和語言(由文字或聲音表達實現(xiàn))兩大類符號構(gòu)成，本文將主要討論它們之間的意義整合關(guān)系。下面將分析博客網(wǎng)頁設(shè)計中模態(tài)符號選擇及其意義整合在體現(xiàn)三大元功能中的作用。

(1)符號模態(tài)選擇與事態(tài)表達。眾所周知，博客網(wǎng)頁是人們個性化思想、個人生活記錄的私人空間和大眾空間的結(jié)合體，具有開放性、個人化、互動性等特征。這些特征決定了它作為網(wǎng)絡(luò)語篇，需要結(jié)合多種符號模態(tài)來展示和表達自身并達到傳遞意義和交流互動的目的。在眾多的符號模態(tài)中，以兩種感官模態(tài)為主：(a)視覺模態(tài)，如文字、圖像、版面結(jié)構(gòu)、顏色等；(b)聽覺模態(tài)，如音頻等。根據(jù)各種符號模態(tài)的特點，博主可選擇適宜的符號模態(tài)來布置博客網(wǎng)頁，通常選擇能夠承載大量信息的符號模態(tài)來表達事態(tài)，如文字(日志)和圖片。日志表達易于理解，選擇圖片可以加強或補充文字意義。博主在日志中描述某一事物或事件時，若配上相關(guān)的圖片，那么文字表達意義將會更易于理解，加深瀏覽者的印象。因此，博主選擇一定的圖像和文字，兩者互相加強或補充等來達到概念意義的整合，繼而表達事態(tài)。

(2)符號模態(tài)選擇與博主、訪問者之間關(guān)系建立。在構(gòu)建個人博客風(fēng)格，展示自己的個性化頁面過程中，博主需要選擇匹配的符號模態(tài)，如頁面整體色調(diào)選擇、播放音樂類型選擇、文字字體選擇以及圖像選擇(包括靜態(tài)和動態(tài)圖片)等。可以說，網(wǎng)頁中的每一部分都是博主選擇的結(jié)果，是自身個性化的展示。在人際關(guān)系功能中，選擇的符號模態(tài)不同，與外界交流的效果肯定存有殊異。比如在網(wǎng)頁背景圖案選擇中，可以選擇顏色絢麗動感圖案背景來表達個人的樂觀、活潑、熱情等特點；相反地，也可選擇顏色素雅、圖案簡單了然來傳遞自己的個人特質(zhì)信息，這樣可吸引有相同個性類型的訪問者。博客網(wǎng)頁內(nèi)選擇的語言和圖像可表達態(tài)度一致或相異，以制造和諧、幽默、挑釁等環(huán)境效果，從而達到語言和圖像之間的意義整合。通過這些環(huán)境效果可以達到抒發(fā)感情、激發(fā)訪問者興趣、吸引訪問者等目的，使博主的個性化特征得到充分的體現(xiàn)，由此建立虛擬網(wǎng)絡(luò)中的人際關(guān)系。

(3)符號模態(tài)選擇與語篇的銜接連貫。根據(jù)系統(tǒng)功能語言學(xué)的語言元功能理論，不管是概念功能還是人際功能的實現(xiàn)都需要通過語篇功能來實現(xiàn)語篇的銜接和連貫，這在其他符號系統(tǒng)中也不例外。正如前面提到的，大多數(shù)網(wǎng)頁的內(nèi)容表達是以語言文字和圖像為主，它們的傳遞依靠視覺接觸來完成，因此視覺接觸是主要的感知渠道。Kress & Leeuwen(1996)從語篇構(gòu)成功能出發(fā)，認為任何多模態(tài)語篇都不是任意組合的產(chǎn)物，它遵循三個相互聯(lián)系的原則：信息價值、突出度和分格。信息價值指各種成分占據(jù)不同的位置從而擁有不同的價值。突出度可理解為各種成分由于前景或背景中位置、大小、亮度等方面的差異，從而引起讀者不同程度的注意。分格指用來切斷或連接語篇的成分，表明這些成分是相連或不相連。在視覺語篇中，不同的位置具有不同的價值。為判斷視覺成分的信息價值的輕重，Kress & Leeuwen(1996)把頁面分為以下四個象限：

圖1 頁面象限圖(Kress & van Leeuwen，1996)

在上圖中，我們可以看出有三種排列方法。Kress 認為左右和上下在視覺空間的排列是固定的，至于這個象限內(nèi)的內(nèi)容則需要根據(jù)不同文化與網(wǎng)頁的意圖利益來決定，但上下左右的分界意義是確定的。上下的區(qū)分是理想與現(xiàn)實之間的區(qū)別，而左右之分則與信息的狀態(tài)相聯(lián)系。另一種排列法即中心與邊緣之分。中央位置具有主導(dǎo)作用，所以排列主要信息；邊緣意味著處于受支配的地位，因此放置次要信息。最后一種方法顯然是融合了前兩種方法。

雖然博客網(wǎng)頁由不同網(wǎng)站開發(fā)，版面模塊或許略微不同，但是大致結(jié)構(gòu)基本相似。一般情況下也是采取中心和邊緣的構(gòu)頁結(jié)構(gòu)。在頁面的頂端中央是博客的導(dǎo)航項目，以小于博客正文內(nèi)容的字體出現(xiàn)。頁面的左右邊緣處一般放置的是關(guān)于博主的個人資料以及日志標題的條目顯示或是音樂播放器，好友博客的連接以及最近訪問的博客之類；處于頁面中央的是博客的核心內(nèi)容：最近發(fā)表日志標題顯示。日志放在極易吸引注意力的中央主導(dǎo)位置，所以一定是博客網(wǎng)頁的主要信息。各版塊之間的分格十分明確，通常有線條分隔。但這不表示它們之間沒有銜接連貫，比如顏色作為符號模態(tài)之一(Kress，2002)，是銜接連貫的重要組成部分，可用來表示突出度或分格。博主根據(jù)需要，選取一個主色調(diào)來使整個頁面融為一體；依據(jù)不同板塊的表達需要，再具體選擇色調(diào)、亮度等作為突出或分隔工具?？梢?，在語篇功能中，博客的版面構(gòu)篇設(shè)計資源是豐富多彩的(如字體類型、大小、色彩等)，符號模態(tài)的選擇是構(gòu)頁銜接連貫的關(guān)鍵之一，符號模態(tài)之間主要通過前景背景、頁面中信息值和顯著性等進行意義整合。

鑒于以上分析，我們可以大致得出以圖像和語言符號模態(tài)為主的電子語篇的意義整合關(guān)系如表1(基于Royce, 2007)：

表1 建立在頁面基礎(chǔ)上的圖像和語言符號模態(tài)間意義整合關(guān)系

續(xù)表

2.博主和博客訪問者的互動

互動是網(wǎng)絡(luò)的本質(zhì)。參與性互動化、彰顯個性、搭建溝通活動平臺、協(xié)作共享是博客網(wǎng)絡(luò)互動行為富有魅力的原動力。博客網(wǎng)絡(luò)互動行為既具有個性化的自我表達內(nèi)容，又具有最為公共性的自我呈現(xiàn)形式。它對于現(xiàn)代人的意義已經(jīng)遠遠超出網(wǎng)絡(luò)日志的范疇，不但是表達的平臺，也是聚眾的手段。博客很少是孤立存在的，友情鏈接、評論等把博客之間、博客和讀者之間連接起來，形成他們的交際社區(qū)。博客與讀者的交流是至關(guān)重要的，沒有互動交流就沒有鮮活的生命力。如果一個博客沒有讀者，沒有與外界互動，這個博客很難堅持下去。

對于博客網(wǎng)頁訪問者來說，從意義接受的角度來看，他們有選擇的自由。在面對博客多模態(tài)語篇時，訪問者可以選擇接受博客網(wǎng)頁中符號模態(tài)意義的表達，比如只看博客中的一段視頻、一篇日志或一組圖片。也就是說，符號模態(tài)選擇取決于博客使用者(包括博主和博客訪問者)。博客訪問者瀏覽網(wǎng)頁后，可對其日志內(nèi)容或有關(guān)博主的其他任何信息進行點評、發(fā)表看法、分享或收藏，以此達到與博主的交流互動。當(dāng)然，博客網(wǎng)頁內(nèi)還設(shè)置有較多其他的互動方式，比如好友博客的超鏈接等。

根據(jù)以上分析，我們可以大致得出在互聯(lián)網(wǎng)信息時代，人與人以博客為媒介的網(wǎng)絡(luò)交流互動的大致結(jié)構(gòu)圖：

圖2 以博客為媒介的網(wǎng)絡(luò)交流互動圖

從圖2可以看出，對博客網(wǎng)頁設(shè)計者來說，需要根據(jù)一定的語境和傳遞信息類型以及受眾群體來選取適當(dāng)?shù)姆柲B(tài)組成多模態(tài)進行網(wǎng)頁創(chuàng)建，而博客訪問者根據(jù)自身需要，選擇一定的符號模態(tài)進行輸入，獲取所傳遞的意義。博客多模態(tài)語篇最大的特點表現(xiàn)在(圖中以虛線標示)：通過它，人與人間的互動交流，即在博客訪問者接受博客意義表達后，可以對博客語篇進行符號模態(tài)輸入，與博主或其他訪問者進行互動交流，產(chǎn)生交際意義。

四、結(jié)語

目前，多模態(tài)語篇已經(jīng)成為語言學(xué)界討論的一個熱門話題，研究者從語言的各個分支來探討其理論框架和應(yīng)用領(lǐng)域。本文借鑒系統(tǒng)功能語法中的“選擇”理念，將其應(yīng)用于其他符號模態(tài)的分析中，主要從語篇設(shè)計者的角度，力圖證明符號模態(tài)選擇是意義表達的關(guān)鍵，并嘗試性的提出了人機人交流的動態(tài)結(jié)構(gòu)圖。一方面，多模態(tài)語篇網(wǎng)頁的分析進一步證明了將Halliday(1978，1985)的社會符號學(xué)理論以及三大元功能理論運用于闡釋其他符號資源的可行性，同時也證明了Halliday & Hasan(1985)有關(guān)意義系統(tǒng)之間的相互聯(lián)系、相互補充的論斷。另一方面，本文嘗試對博客多模態(tài)語篇在交流互動層面進行分析，有利于闡明如何選擇最佳符號模態(tài)來達到人際交流的最大有效性，為人類溝通交流服務(wù)。由于博客中存在多種符號和媒體，在印刷排版中不便引入具體的博客語篇進行個案分析。因此，本文在分析符號模態(tài)選擇及其意義整合在語篇三大功能中的作用時，僅從博客的總體框架上做了寬泛的描述。今后的研究中還可進一步從語篇設(shè)計者和使用者兩個方面，對多模態(tài)交流語篇中怎樣選擇符號模態(tài)才能最有效地表達意義以及最大程度地接受意義進行探討。

[參考文獻]

[1] Aarseth, E.J.Cybertext: Perspectives on Ergodic Literature[M] .Baltimore: John Hopkins University Press，1997.

[2] Baldry, A.Multimodality and Multimediality in the Distance Learning Age[M] .Campobasso, Italy: Palladino Editore，2000.

[3] Bernsen, N.O.Multimodality in Language and Speech Systems: From Theory to Design Support Tool[EB/oL] .2008-10-05.

[4] Chiew, A.K.K.Multisemiotic mediation in hypertext.In K.L.O’Halloran (Ed.), Multimodal Discourse Analysis: Systemic-Functional Perspectives[M] .New York: Continuum， 2004.

[5] Fei, L.V.Developing an integrative multi-semiotic model.In Kay L.O’Halloran (Ed.), Multimodal Discourse Analysis: Systemic-Functional Perspectives[M] .New York: Continuum, 2004.

[6] Fei, L.V.The visual semantics stratum: making meaning in sequential images.In T.D.Royce & W.L.Bowcher (Eds.), New Directions in the Analysis of Multimodal Discourse[M] .New Jersey: Lawrence Erlbaum Associates.

[7] Halliday, M.A.K.Language as a Social Semiotic: The Social Interpretation of Language and Meaning[M] .London: Arnold, 1978.

[8] Halliday, M.A.K.An Introduction to Functional Grammar[M] .London: Arnold, 1985.

[9] Halliday, M.A.K., & Hasan, R.Language, Context and Text: Aspects of Language in a Social-semiotic Perspective[M] .Oxford: Oxford University Press.1985.

[10] Kress, G.& van Leeuween, T.Reading Images: The Grammar of Visual Design[M] .London: Routledge, 1996.

[11] Kress, G.& van Leeuwen, T.Multimodal Discourse: The Modes and Media of Contemporary Communication[M] .London: Arnold, 2001.

[12] Kress, G.& van Leeuwen, T.Color as a semiotic mode: notes for a grammar of color[J] .Visual Communication 1 (3): 343-368.

[13] Kress, G.Garcia, R.L., & van Leeuwen, T.Discourse semiotics.In T.A.van Dijk (Ed.), Discourse as Structure and Process: Discourse Studies: A Multidisciplinary Introduction[M] .London: Sage, 1997.

[14] Matthiessen, C.M.I.M.The Multimodal Page: A Systemic Functional Exploration.In T.D.Royce & W.L.Bowcher (Eds.), New Directions in the Analysis of Multimodal Discourse Mahwah[M] .NJ: Lawrence Erlbaum Associates,2007.

[15] Royce, T.Intersemiotic Complementarity: A Framework for Multimodal Discourse Analysis.In T.D.Royce, & W.L.Bowcher (Eds.), New Directions in the Analysis of Multimodal Discourse Mahwah[M] .NJ: Lawrence Erlbaum Associates,2007.

[16] Thibault, P.The Multimodal Transcription of a Television Advertisement: Theory and Practices.In A.Baldry (Ed.), Multimodality and Multimediality in the Distance Learning Age.Campobasso[M] .Italy: Palladino Editore,2000.

[17] 胡壯麟.社會符號學(xué)研究中的多模態(tài)化[J] .語言教學(xué)與研究,2007(1)：1-9.

[18] 李戰(zhàn)子.多模式話語的社會符號學(xué)分析[J] .外語研究,2003(5): 1-8.

[19] 葉起昌.超文本多語式的社會符號學(xué)分析[J] .外語教學(xué)與研究,2006：437-442.

[20] 曾蕾.動態(tài)多符號語篇的整體意義構(gòu)建[J] .外語藝術(shù)教育研究,2006(3): 42-48.

[21] 朱永生.多模態(tài)話語分析的理論基礎(chǔ)與研究方法[J] .外語學(xué)刊,2007(5)：83-86.