劉巧麗

摘要：多模態(tài)話語(yǔ)分析是將語(yǔ)言與其他符號(hào)資源結(jié)合起來(lái)，共同構(gòu)建語(yǔ)篇的意義。除語(yǔ)言之外，它包括圖像、聲音、顏色、動(dòng)漫等其他表現(xiàn)形式?；谝曈X(jué)社會(huì)符號(hào)學(xué)分析理論基礎(chǔ)，以《媽媽不懂我的心》這本風(fēng)靡韓國(guó)的暢銷(xiāo)書(shū)為例，通過(guò)多模態(tài)話語(yǔ)分析的方法來(lái)分析漢語(yǔ)兒童圖畫(huà)故事書(shū)。故事作者與繪圖者的巧妙配合，使故事更易于兒童閱讀并且吸引其注意力。

關(guān)鍵詞：多模態(tài)話語(yǔ)分析；視覺(jué)社會(huì)符號(hào)學(xué)；漢語(yǔ)兒童圖畫(huà)故事書(shū)

中圖分類(lèi)號(hào)：H08文獻(xiàn)標(biāo)志碼：A文章編號(hào)：10017836（2016）04010302

引言

多模態(tài)話語(yǔ)（multimodal discourse）是運(yùn)用人體的多種感官，通過(guò)語(yǔ)言、圖像、聲音等多種手段以及符號(hào)資源進(jìn)行交際的現(xiàn)象。學(xué)習(xí)語(yǔ)言兒童從一生下來(lái)就會(huì)了，在此過(guò)程中他們想表達(dá)自己的情感及想法都是通過(guò)文字、圖像、語(yǔ)音等方式。因?yàn)榻陙?lái)圖像在人類(lèi)社會(huì)中的廣泛應(yīng)用，在很多方面都大量地使用，尤其是在媒體、教育還有兒童文學(xué)中，因此研究多模式話語(yǔ)，已經(jīng)引起了我們的重視，應(yīng)將其放在重中之重的地位。兒童圖畫(huà)故事書(shū)是一種典型的多模態(tài)語(yǔ)篇（Multimodal Discourse），可作為分析研究多模態(tài)話語(yǔ)的重要資源。多模態(tài)語(yǔ)篇是同時(shí)使用多種交流模態(tài)（如語(yǔ)音、圖像、文字、氣味等）進(jìn)行信息傳遞的語(yǔ)篇。胡壯麟指出，由于人類(lèi)已進(jìn)入社會(huì)符號(hào)學(xué)多模態(tài)化的新世紀(jì)，因此對(duì)多模態(tài)識(shí)讀能力的培養(yǎng)應(yīng)引起重視[1]。本文是基于視覺(jué)社會(huì)符號(hào)學(xué)分析理論，對(duì)小學(xué)低年級(jí)圖畫(huà)故事書(shū)的多模態(tài)話語(yǔ)分析，來(lái)解讀故事書(shū)中的深刻含義，最終實(shí)現(xiàn)圖畫(huà)書(shū)對(duì)兒童語(yǔ)言學(xué)習(xí)的合理性與可行性。

一、多模態(tài)話語(yǔ)的視覺(jué)社會(huì)符號(hào)學(xué)分析方法

多模態(tài)話語(yǔ)分析過(guò)程是一種整合性的過(guò)程，目的是將語(yǔ)言與非語(yǔ)言資源整合起來(lái)，共同構(gòu)建意義的一種分析方法。而在多模態(tài)話語(yǔ)分析中，視覺(jué)社會(huì)符號(hào)學(xué)作為一個(gè)重要分支，強(qiáng)調(diào)并突出了多模態(tài)話語(yǔ)分析對(duì)話語(yǔ)分析所起到的重大意義。

1多模態(tài)話語(yǔ)分析

多模態(tài)話語(yǔ)分析是上世紀(jì)末新興的學(xué)科，體現(xiàn)了該學(xué)科不可估量的發(fā)展前景。多模態(tài)作為一種新的交際技術(shù)，逐漸取代了單模態(tài)這種單一的交際模式。同時(shí)，也為語(yǔ)言學(xué)界話語(yǔ)分析提供了新的理論基礎(chǔ)與研究視角。對(duì)語(yǔ)言交際產(chǎn)生了很大的實(shí)踐意義。人們?cè)谌粘５纳鐣?huì)活動(dòng)中，總是運(yùn)用多種符號(hào)資源進(jìn)行意義建構(gòu)。多模態(tài)語(yǔ)篇常作為多模態(tài)話語(yǔ)的研究?jī)?nèi)容。Scollon & Levine認(rèn)為多模態(tài)即是指交際時(shí)所使用的多種模式。從社會(huì)語(yǔ)言學(xué)的角度來(lái)看，像語(yǔ)言、顏色、味道、圖像等方面，這些符號(hào)資源共同構(gòu)建了多模態(tài)語(yǔ)篇的意義。曾蕾則有不同的觀點(diǎn)，她認(rèn)為，多模態(tài)語(yǔ)篇就是那種不光只有文字語(yǔ)言符號(hào)，而且還含有多種符號(hào)的語(yǔ)篇。Kress和van Leeuwen則認(rèn)為多模態(tài)語(yǔ)篇的多模態(tài)性是現(xiàn)代社會(huì)人類(lèi)在交際過(guò)程中使用的各種語(yǔ)篇的一個(gè)重要特性。李戰(zhàn)子認(rèn)為，多模式（multimodal）不僅有文本元素，還應(yīng)該有其他元素，比如說(shuō)圖像或圖表的復(fù)合話語(yǔ)，或者說(shuō)它應(yīng)該是一種文本，這種文本是通過(guò)兩種或兩種以上的符號(hào)編碼來(lái)實(shí)現(xiàn)的。Lim認(rèn)為對(duì)語(yǔ)篇在表現(xiàn)、內(nèi)涵和語(yǔ)境等三個(gè)方面進(jìn)行識(shí)讀的分析過(guò)程即是多模態(tài)話語(yǔ)分析。本文認(rèn)為，多模態(tài)話語(yǔ)分析是通過(guò)對(duì)符號(hào)資源的綜合運(yùn)用，最終達(dá)到構(gòu)建語(yǔ)篇意義的目的。

2視覺(jué)社會(huì)符號(hào)學(xué)

Kress和Leeuwen基于Halliday系統(tǒng)功能語(yǔ)言學(xué)，創(chuàng)建了社會(huì)符號(hào)學(xué)角度的多模態(tài)話語(yǔ)分析。也就是說(shuō)，社會(huì)符號(hào)學(xué)是以Halliday系統(tǒng)功能語(yǔ)言學(xué)為研究基礎(chǔ)的。Halliday系統(tǒng)功能語(yǔ)法對(duì)英語(yǔ)語(yǔ)言進(jìn)行了分析，Halliday認(rèn)為語(yǔ)言作為一種社會(huì)符號(hào)，具有表征客觀世界和內(nèi)心世界的概念、體現(xiàn)語(yǔ)言使用者的交際參與和交際角色關(guān)系的人際關(guān)系、以及組織成語(yǔ)篇等三大功能，這是系統(tǒng)功能語(yǔ)法的核心理念。比較早的采用社會(huì)符號(hào)學(xué)方法分析多模態(tài)話語(yǔ)的語(yǔ)言學(xué)家當(dāng)屬O.Toole和Kress等。他們對(duì)多模態(tài)話語(yǔ)的分析都基于Halliday系統(tǒng)功能語(yǔ)言學(xué)的社會(huì)符號(hào)學(xué)理論?；谝陨系睦碚摚琌.Toole和Kress等人認(rèn)為，圖像也可看作一種社會(huì)符號(hào)，因此可用Halliday分析語(yǔ)言的社會(huì)符號(hào)學(xué)的方法來(lái)進(jìn)行分析。由此，他們提出了視覺(jué)社會(huì)符號(hào)學(xué)分析。因此該流派的主要觀點(diǎn)是語(yǔ)言和視覺(jué)交際同時(shí)體現(xiàn)并構(gòu)成文化的意義系統(tǒng)，但這兩者獨(dú)自以其獨(dú)特的形式，相互協(xié)作體現(xiàn)功能。這一批學(xué)者主要研究如何將功能語(yǔ)法進(jìn)行擴(kuò)展，延伸到包括視覺(jué)模態(tài)和空間物體等在內(nèi)的多模態(tài)語(yǔ)篇。

二、對(duì)《媽媽不懂我的心》的多模態(tài)話語(yǔ)分析

兒童圖畫(huà)故事書(shū)最大的特點(diǎn)就是圖畫(huà)。通過(guò)圖畫(huà)與文字的完美結(jié)合，達(dá)到吸引兒童眼球的目的。根據(jù)Kress的多模態(tài)話語(yǔ)分析的視覺(jué)符號(hào)分析方法，本文將多模態(tài)話語(yǔ)分析用在了《媽媽不懂我的心》，這本在韓國(guó)賣(mài)得火熱的圖畫(huà)故事書(shū)上。該故事書(shū)中共含有圖片46張，其中處于雙開(kāi)頁(yè)面上的有21張，占全部圖片的45.64%；處于單開(kāi)頁(yè)上的圖畫(huà)有25張，占全部圖片的54.35%。處于雙開(kāi)頁(yè)面上的圖畫(huà)中有10張是整頁(yè)圖畫(huà)，它們沒(méi)有框架也不含文字的，剩余的頁(yè)面中，圖畫(huà)就只占其中一部分了。而隨著故事情節(jié)發(fā)展不斷變化，書(shū)中圖畫(huà)占據(jù)頁(yè)面的大小也是跟著不斷變化的。第一部分講述了主人公小豆豆是一個(gè)愛(ài)發(fā)脾氣、不聽(tīng)大人話的孩子；第二部分講述的是小豆豆離開(kāi)家之后，與八角石在一起的經(jīng)歷，以及在森林里迷路的場(chǎng)景；第三部分講述的是小豆豆因?yàn)榭吹桨私鞘砩系拿?，覺(jué)得自己做得很不好，反思的過(guò)程，最后回到家中做一個(gè)乖孩子。第一部分圖畫(huà)占據(jù)的頁(yè)面較小，慢慢擴(kuò)延到半頁(yè)，第二部分小豆豆在森林里無(wú)助時(shí)，圖畫(huà)達(dá)到四分之三頁(yè)面，甚至占據(jù)了雙開(kāi)頁(yè)面。慢慢減少圖畫(huà)的占據(jù)篇幅，最后圖畫(huà)只占據(jù)頁(yè)面的五分之一甚至更小，突出的是文字的力量，將故事的主題凸現(xiàn)出來(lái)，完成了小豆豆對(duì)家的身體和心靈的回歸，做一個(gè)聽(tīng)話懂事的乖孩子。

1再現(xiàn)意義

再現(xiàn)意義在這本圖畫(huà)故事書(shū)中所體現(xiàn)出來(lái)的，就是通過(guò)圖畫(huà)中的參與者包括圖畫(huà)中的人物、事物和場(chǎng)景等，將其中的內(nèi)容表現(xiàn)出來(lái)。小豆豆是這本故事書(shū)中的主人公，他身穿黃白條的T恤，而文章中的大背景是森林中那種陰暗基調(diào)，它們形成了鮮明的對(duì)比，凸出了主人公小豆豆。該故事書(shū)中其他的參與者就是森林里的植物和動(dòng)物，它們出現(xiàn)在故事的中間。雖然它們把大部分的頁(yè)面占據(jù)了，并且區(qū)域數(shù)量眾多，但是故事發(fā)展的第三部分時(shí)小豆豆回到了家里后逐漸占據(jù)了畫(huà)面的主要區(qū)域。Kress和Leeuwen認(rèn)為，圖畫(huà)中第一參與者應(yīng)當(dāng)是其中的人物，而第二參與者則是圖畫(huà)中其他的東西?？蛷d、森林和我是該故事圖畫(huà)中的三種背景，其中客廳和我象征著家，森林則是情節(jié)發(fā)展的高潮以及轉(zhuǎn)節(jié)點(diǎn)的象征。

2人際意義

Kress和Leeuwen的視覺(jué)符號(hào)的社會(huì)符號(hào)學(xué)分析方法認(rèn)為，視覺(jué)圖像中觀看者和參與者之間通過(guò)目光的接觸這種顯性的表現(xiàn)方式體現(xiàn)出聯(lián)系。根據(jù)圖像觀看者與圖像中的參與者之間有無(wú)直接的視線接觸，將接觸分為提供（offer）和索?。╠emand）這兩種關(guān)系。如果目光接觸沒(méi)有聯(lián)系在圖像的觀看者與參與者之間，那么就表明人際關(guān)系不存在在他們之間，提供類(lèi)圖像就是說(shuō)的這種圖像；反之，如果目光接觸有聯(lián)系在圖像的觀看者與參與者之間，就表明圖像中的參與者向觀看者有所索求，如信息、意見(jiàn)、評(píng)論等。圖像中的觀看者就像是標(biāo)本展覽中的欣賞者，而圖像中的參與者就像是標(biāo)本，是標(biāo)本展覽中的能讓觀看者欣賞或娛樂(lè)的那種[2]。

合成意義是指由圖像內(nèi)各參與者以各種形式進(jìn)行組織所帶來(lái)的意義。在圖像中，圖片位置可認(rèn)為具有合成意義。本文所研究的對(duì)象中，不同的合成意義體現(xiàn)在位置的元素中。在雙頁(yè)面中頁(yè)面的左側(cè)表示已知信息、新信息；人物的不同的大小以及框架的使用方式被放置頁(yè)面的右側(cè)，以此來(lái)產(chǎn)生不同的合成意義。本文所研究的故事書(shū)中，隨著情節(jié)的發(fā)展變化，小豆豆在頁(yè)面中的位置也隨之改變：當(dāng)小豆豆離開(kāi)家時(shí)，他一直處于頁(yè)面的右方，表示其新的旅程的開(kāi)始；但是到達(dá)森林，小豆豆則占據(jù)了頁(yè)面的左方，表示小豆豆在接觸新的事物；當(dāng)小豆豆開(kāi)始想家的時(shí)候，他轉(zhuǎn)移到頁(yè)面右邊的位置，面部表情非常憂傷，表示新的信息出現(xiàn)。在該故事中，通過(guò)對(duì)主人公小豆豆在頁(yè)面中位置的變化，來(lái)體現(xiàn)故事情節(jié)的跌宕起伏，使故事的發(fā)展更加具有吸引力。

結(jié)語(yǔ)

由于我們生活在一個(gè)多模態(tài)的社會(huì)中，所以幾乎所有意義的構(gòu)建是需要很多符號(hào)資源的幫助的。當(dāng)然，兒童故事書(shū)也不例外，作為一種有獨(dú)特讀者群體的文體類(lèi)型，也借助多模態(tài)這種話語(yǔ)分析方法來(lái)達(dá)到吸引小讀者們的目的。本文就是基于多模態(tài)話語(yǔ)的視覺(jué)社會(huì)符號(hào)學(xué)分析方法對(duì)《媽媽不懂我的心》這個(gè)兒童故事書(shū)進(jìn)行了多模態(tài)話語(yǔ)分析。多模態(tài)語(yǔ)篇分析通常能夠使讀者更深層地識(shí)別圖像以及文字的含義。利用這種視覺(jué)圖像，達(dá)到吸引讀者的目的，使得故事情節(jié)發(fā)展更為生動(dòng)。

參考文獻(xiàn)：

[1]胡壯麟.社會(huì)符號(hào)學(xué)研究中的多模態(tài)化[J].語(yǔ)言教學(xué)與研究，2007，（1）：1—10.

[2]胡明霞，張麗平.英文兒童圖畫(huà)故事書(shū)的多模態(tài)話語(yǔ)分析——以Where the wild things are為例[J].外語(yǔ)藝術(shù)教育研究，2010，（1）：9—13.

（責(zé)任編輯：劉東旭）