張麗娜

摘 要： Kress和van Leeuwen提出韓禮德的語(yǔ)言三大元功能同樣適用于視覺(jué)語(yǔ)法的研究，并將其延伸為再現(xiàn)意義、互動(dòng)意義和構(gòu)圖意義。本文在研究其理論基礎(chǔ)之上，以圖畫(huà)書(shū)The Man Whose Mother Was a Pirate為例分析圖畫(huà)如何傳達(dá)意義。視覺(jué)語(yǔ)法運(yùn)用于圖畫(huà)書(shū)的分析上，不僅為兒童和成人閱讀圖畫(huà)書(shū)提供新角度，而且為圖畫(huà)書(shū)作家精準(zhǔn)傳達(dá)意義開(kāi)辟新途徑。

關(guān)鍵詞： 視覺(jué)語(yǔ)法 多模態(tài) 圖畫(huà)書(shū) 功能符號(hào)學(xué)

一、引言

進(jìn)入二十世紀(jì)以后，隨著科學(xué)技術(shù)發(fā)展進(jìn)入新的階段，多媒體的廣泛使用豐富和便利了人們的生活，也改變了人們的交流方式：從以語(yǔ)言、文字為主到如今的文字、圖片、聲音等并存。順從時(shí)代的發(fā)展，學(xué)者不再僅僅專注于傳統(tǒng)的單一語(yǔ)言話語(yǔ)分析，越來(lái)越多的目光轉(zhuǎn)向圖片、文本、動(dòng)作、聲音等多模態(tài)分析。以圖片為主、文字為輔傳遞信息和情感的兒童讀物，是典型的多模態(tài)文本。然而國(guó)內(nèi)的多模態(tài)研究領(lǐng)域?qū)ζ潢P(guān)注度并不高，圖畫(huà)書(shū)是極其重要的兒童文學(xué)組成部分，對(duì)兒童的身心健康具有重要作用，研究圖畫(huà)書(shū)的意義構(gòu)建和接受有利于更好地培養(yǎng)兒童的思想、道德和審美。從視覺(jué)語(yǔ)法角度分析The Man Whose Mother Was a Pirate的圖畫(huà)如何傳達(dá)意義，希望引起更多學(xué)者對(duì)圖畫(huà)書(shū)多模態(tài)研究的注意。

二、多模態(tài)的研究

李戰(zhàn)子認(rèn)為多模式是復(fù)合的話語(yǔ)，也就是說(shuō)除了最基礎(chǔ)的文本之外，往往還包含圖像、圖表等模式（李戰(zhàn)子，2003）。多模態(tài)的研究角度有多種，常見(jiàn)的有交互社會(huì)學(xué)角度、語(yǔ)體學(xué)角度等。而在本文中我們將從功能符號(hào)學(xué)出發(fā)，對(duì)多模態(tài)進(jìn)行探討和研究。Micheal OTool發(fā)表于1994年的The Language of Displayed Art是多模態(tài)領(lǐng)域?yàn)閿?shù)不多的一部開(kāi)創(chuàng)性作品，完全致力于藝術(shù)作品的分析和解釋。這本書(shū)探討了繪畫(huà)、雕塑和建筑等藝術(shù)的視覺(jué)語(yǔ)法，提出三種意義：再現(xiàn)意義、情態(tài)意義和組合意義。1996年，Kress和van Leeuwen在《圖像識(shí)讀：視覺(jué)設(shè)計(jì)的語(yǔ)法》（Reading Images： The Grammar of Visual Design）一書(shū)中提出了視覺(jué)語(yǔ)法的理論研究和分析框架。而在中國(guó)知網(wǎng)上第一篇介紹多模態(tài)話語(yǔ)研究的是李戰(zhàn)子于2003年在《外語(yǔ)研究》上發(fā)表的《多模式話語(yǔ)的社會(huì)符號(hào)學(xué)分析》一文，這篇文章對(duì)Kress和van Leeuwen的視覺(jué)語(yǔ)法理論體系做了較系統(tǒng)的介紹。在此之后，胡壯麟、張德祿等學(xué)者在多模態(tài)研究上有突出貢獻(xiàn)。張德祿在論文《多模態(tài)話語(yǔ)分析綜合理論框架探索》中嘗試構(gòu)建了多模態(tài)話語(yǔ)分析的理論框架，主要有四個(gè)層面：文化層面、語(yǔ)境層面、內(nèi)容層面和表達(dá)層面。他認(rèn)為對(duì)于多模態(tài)話語(yǔ)選擇來(lái)說(shuō)，最關(guān)鍵的是讓多種模態(tài)之間相互配合，這樣才能達(dá)到最好的交際效果。另外他還提出，模態(tài)間的配合主要體現(xiàn)在內(nèi)容層面下的形式層面，特別是其中的語(yǔ)法層面（張德祿，2009）。本文所重點(diǎn)研究的視覺(jué)語(yǔ)法系統(tǒng)則是其所指的語(yǔ)法層面之一。

三、視覺(jué)語(yǔ)法

Kress和van Leeuwen是視覺(jué)語(yǔ)法研究的集大成者。他們于1996年發(fā)表的《圖像識(shí)讀》構(gòu)建了視覺(jué)語(yǔ)法研究的框架，并配有大量實(shí)例加以佐證其解釋力。Kress和van Leeuwen強(qiáng)調(diào)視覺(jué)語(yǔ)法中的“語(yǔ)法”不同于傳統(tǒng)意義的語(yǔ)法，他們所說(shuō)的“語(yǔ)法”關(guān)注各種元素如何結(jié)合并生成有意義的整體。語(yǔ)言的語(yǔ)法描述詞語(yǔ)怎樣組成小句、句子和篇章，同樣的，視覺(jué)的語(yǔ)法描述各種元素——人、地點(diǎn)和事物——怎樣組合為視覺(jué)上意義，這種意義具有不同的復(fù)雜程度和延展度的狀態(tài)（Kress & van Leeuwen 2006）。同時(shí)，他們提出視覺(jué)結(jié)構(gòu)不是對(duì)現(xiàn)實(shí)結(jié)構(gòu)一種簡(jiǎn)單的再創(chuàng)作，相反這些圖片與產(chǎn)生、傳播和識(shí)讀與其所處的社會(huì)機(jī)構(gòu)緊密相關(guān)，即它們是具有意識(shí)形態(tài)的。視覺(jué)結(jié)構(gòu)不僅是形式的，更重要的是具有意義維度。韓禮德提出語(yǔ)言的元功能包括概念功能、人際功能和語(yǔ)篇功能，Kress和van Leeuwen認(rèn)為這三大功能可以用于視覺(jué)系統(tǒng)、觸覺(jué)系統(tǒng)等。而在視覺(jué)語(yǔ)法中主要延伸為再現(xiàn)意義（representational meaning）、互動(dòng)意義（interactive meaning）和構(gòu)圖意義（compositional meaning）三大意義。因此，Kress和van Leeuwen的視覺(jué)語(yǔ)法被認(rèn)為是對(duì)韓禮德元功能思想的繼承和創(chuàng)造性延伸（張敬源，2012）。

1.再現(xiàn)意義

視覺(jué)語(yǔ)法中的再現(xiàn)意義對(duì)應(yīng)語(yǔ)言中的概念功能。根據(jù)矢量的有無(wú)，再現(xiàn)意義可分為敘事再現(xiàn)（narrative representations）和概念再現(xiàn)（conceptual representations）。當(dāng)參與者由矢量連接，表示為對(duì)方或者對(duì)對(duì)方做某事時(shí)，表達(dá)敘事過(guò)程。在敘事過(guò)程中包含至少一個(gè)矢量，而在概念過(guò)程中沒(méi)有矢量。矢量在視覺(jué)語(yǔ)法中的概念類似于語(yǔ)言系統(tǒng)中的動(dòng)詞，通常同斜線等表示。根據(jù)矢量和參與者的數(shù)量及種類的差異，敘事過(guò)程可進(jìn)一步分為動(dòng)作過(guò)程、反應(yīng)過(guò)程及言語(yǔ)和心理過(guò)程。在動(dòng)作過(guò)程中參與者有動(dòng)作者和目標(biāo)之分：矢量的發(fā)出者為動(dòng)作者，其構(gòu)成矢量的整體或部分；動(dòng)作行為的對(duì)象是目標(biāo)，目標(biāo)在動(dòng)作過(guò)程中可有可無(wú)。動(dòng)作者一般是圖像中最顯眼的參與者，可通過(guò)肉眼觀察它在構(gòu)圖中的大小、位置、與背景的對(duì)比或者色彩的飽和度等。根據(jù)目標(biāo)的有無(wú)，動(dòng)作過(guò)程可分為及物性和不及物性過(guò)程。以圖一為例（Mahy & Chamberlain 1985），圖片中有至少四個(gè)參與者：瘦小的男人、手推車、海盜媽媽和彎刀，表達(dá)出多個(gè)動(dòng)作過(guò)程。一個(gè)過(guò)程為瘦小的男人推手推車，瘦小的男人為動(dòng)作的發(fā)出者，即動(dòng)作者，手推車為動(dòng)作的對(duì)象，是目標(biāo)；一個(gè)過(guò)程為海盜媽媽坐在手推車上，海盜媽媽是“坐”這一動(dòng)作的發(fā)出者，是動(dòng)作者，手推車是目標(biāo)；還有一個(gè)過(guò)程為海盜媽媽舉著彎刀，海盜媽媽是動(dòng)作者，彎刀為目標(biāo)。在這三個(gè)動(dòng)作中目標(biāo)現(xiàn)身屬于及物性動(dòng)作過(guò)程。我們仔細(xì)觀察，看到海盜媽媽右手和左腳在空中揮舞著，這是一個(gè)動(dòng)作過(guò)程，動(dòng)作者為海盜媽媽，而動(dòng)作目標(biāo)缺失，因而是不及物的動(dòng)作過(guò)程。整幅圖片顯得生動(dòng)活潑，富有張力，正是由于這些動(dòng)作過(guò)程意義的傳遞，使得兒童閱讀者仿佛看到動(dòng)態(tài)的畫(huà)像，深深吸引他們的目光。

反應(yīng)過(guò)程體現(xiàn)的是參與者目光的交流，其矢量由目光表示，與動(dòng)作過(guò)程不同，這里的參與者分別為反應(yīng)者和現(xiàn)象。反應(yīng)者一般為人或類人的動(dòng)物，用眼觀察事物。而現(xiàn)象則是反應(yīng)者觀察到的人、事物等，也就是被觀察者（Kress & van Leeuwen 2006）。同樣的，反應(yīng)過(guò)程分及物性和不及物性。仍以圖一為例，瘦小的男人看向了他的媽媽，瘦小的男人是反應(yīng)者，他的媽媽則是現(xiàn)象，整個(gè)過(guò)程是及物的。而從海盜媽媽的角度看，她所看到的現(xiàn)象并未在圖中展示，給讀者留下想象的空間和余地，她的反應(yīng)過(guò)程是不及物的。

言語(yǔ)和心理過(guò)程中在漫畫(huà)中較常見(jiàn)。其矢量的特殊性表現(xiàn)在思考者/說(shuō)話者的思維/話語(yǔ)和思維氣泡/對(duì)話氣泡由傾斜的突出連接起來(lái)。這本圖畫(huà)書(shū)為圖文結(jié)合的一類，因而圖畫(huà)中沒(méi)有涉及直接的言語(yǔ)和心理過(guò)程，而是通過(guò)另一模態(tài)——文字語(yǔ)言體現(xiàn)。

與敘事再現(xiàn)相比，概念再現(xiàn)在時(shí)間空間概念上更穩(wěn)定，包含三類過(guò)程：分類過(guò)程、分析過(guò)程和象征過(guò)程。在分類過(guò)程中，連接參與者的是他們的分類關(guān)系。其中必然有一組參與者扮演從屬角色，而至少一個(gè)參與者扮演統(tǒng)領(lǐng)角色（ibid）而統(tǒng)領(lǐng)角色的“現(xiàn)身”與否，將分類關(guān)系劃分為顯形分析和隱形分析。在隱形分析中，從屬通過(guò)構(gòu)圖上的勻稱實(shí)現(xiàn)其平等地位。在分析過(guò)程中，參與者被放置在整體——部分的結(jié)構(gòu)當(dāng)中。這個(gè)過(guò)程共涉及兩類參與者：一類為載體（整體），另一類為任意數(shù)量的所有屬性（部分）。分析過(guò)程在宏觀上可分為結(jié)構(gòu)性分析過(guò)程和非結(jié)構(gòu)性分析過(guò)程。象征過(guò)程與參與者是什么或意味著有關(guān)。由于概念再現(xiàn)在這類圖畫(huà)中運(yùn)用較少，受篇幅所限，本文不做詳細(xì)介紹。

2.互動(dòng)意義

在研究圖像的互動(dòng)意義之前，我們首先需要區(qū)分兩種參與者：再現(xiàn)參與者（represented participates）和互動(dòng)參與者（interactive participates）。再現(xiàn)參與者是圖像中所刻畫(huà)的人物、場(chǎng)所和事件；互動(dòng)參與者則是指通過(guò)圖像交流的雙方——圖像的繪畫(huà)者和觀看者。參與者之間的互動(dòng)關(guān)系可以分為三類：a. 再現(xiàn)參與者之間的關(guān)系；b. 再現(xiàn)參與者與互動(dòng)參與者的關(guān)系（互動(dòng)參與者對(duì)再現(xiàn)參與者的態(tài)度）；c. 互動(dòng)參與者的關(guān)系（通過(guò)圖片互動(dòng)參與者之間對(duì)對(duì)方或者為對(duì)方做了什么）。

接觸、社會(huì)距離和態(tài)度是形成互動(dòng)意義的三個(gè)主要因素。當(dāng)再現(xiàn)參與者的目光投向觀看者時(shí)，作為矢量的目光連接兩者形成接觸。需要說(shuō)明的是，在這一過(guò)程里觀察者的主觀能動(dòng)性對(duì)于互動(dòng)意義的識(shí)讀至關(guān)重要。接觸具有兩種功能：一種為直接向觀看者傳遞信息；另一種構(gòu)成一種圖像的行為。圖像行為包括索求（demand）和提供（offer）兩類。索求就是說(shuō)圖像對(duì)觀看者做出某事。當(dāng)再現(xiàn)參與者的目光與觀看者接觸時(shí)，索求建立一種虛擬的關(guān)系。如圖二（Mahy & Chamberlain 1985）中，瘦小的男人和海盜媽媽是圖片的再現(xiàn)參與者，兩者的目光看向讀者，表達(dá)一種索求的功能。其中海盜媽媽面帶微笑地看向讀者，具有親和力和感染力，她的索求是要同讀者建立一種友好的關(guān)系，拉近同讀者的距離。當(dāng)再現(xiàn)參與者與觀看者無(wú)目光交流時(shí)，表達(dá)“提供”的功能，即提供信息內(nèi)容和注視對(duì)象。如圖三（ibid）所示，再現(xiàn)參與者海盜媽媽與讀者完全沒(méi)有目光的接觸，圖片提供給讀者注視的對(duì)象，和海盜媽媽這一人物形象的信息——海盜媽媽正大步前行，擦亮她的老銀槍。

第二個(gè)維度社會(huì)距離表達(dá)親密關(guān)系，它與圖像取景的大小有關(guān)，可分為近景、中景和遠(yuǎn)景等，社會(huì)距離隨著取景增大而疏遠(yuǎn)。Kress和van Leeuwen對(duì)近遠(yuǎn)景做了具體的劃分：近景顯示人物的頭和肩部，任何少于近景的為超近景；中近景顯示人物的腰部以上部位，中景到人物膝部之上，中遠(yuǎn)景顯示整個(gè)人物；遠(yuǎn)景為整個(gè)人及約一半的取景空間，而超遠(yuǎn)景是比遠(yuǎn)景還要更寬闊的空間（Kress & van Leeuwen 2006）。圖四（Mahy & Chamberlain 1985）中，我們可以看到瘦小的男人待在公司里，我們基本可以看到瘦小男人的整個(gè)身影，同時(shí)還有其他五個(gè)人的身影。從取景看是超遠(yuǎn)景，表達(dá)出疏遠(yuǎn)的社會(huì)距離，拉遠(yuǎn)了瘦小男人與小讀者的距離，體現(xiàn)在工作中瘦小男人是冷漠的，側(cè)面表達(dá)了作者對(duì)瘦小男人帶海盜媽媽去看大海這件事的贊頌之情。

視角表達(dá)再現(xiàn)人物與觀察者的關(guān)系，展現(xiàn)出對(duì)圖像參與者、人物等的個(gè)人態(tài)度。從水平的維度看，正面直視讓觀看者仿佛置身于再現(xiàn)參與者之間，側(cè)面斜視讓觀看者脫離再現(xiàn)情景之外，站在旁觀者的位置上。從垂直的維度看，如果圖像描述的是仰視角度，就是說(shuō)圖像參與者被俯視，那么參與者的地位低于觀察者，反之高于觀察者，如果圖像為平視角度，那么給人以兩者地位平等的感覺(jué)。在圖五中，圖像的再現(xiàn)參與者包括瘦小的男人、海盜媽媽和一只彩色的鳥(niǎo)。從水平角度看，這幅圖為正面直視的角度，拉近讀者與人物的距離，仿佛參與到他們歡快的舞蹈當(dāng)中，讓兒童感受到他們此刻的愉悅和快樂(lè)。從垂直角度看，再現(xiàn)人物與觀察者處于同一水平線，兩者地位平等，進(jìn)一步使得兒童同兒童產(chǎn)生親切感。

3.構(gòu)圖意義

構(gòu)圖意義指整體的布局，是通過(guò)整體構(gòu)圖將再現(xiàn)因素和互動(dòng)因素相聯(lián)系，從而形成整體的意義（Kress & van Leeuwen 2006）。其實(shí)現(xiàn)方式包括信息值、凸顯和框架，這三者是相互聯(lián)系、相互作用的。其中信息值可以通過(guò)元素的空間位置，如上下、左右等體現(xiàn)出來(lái)。凸顯是指各個(gè)元素吸引觀察者注意力的程度，一般通過(guò)觀察元素位于前景或背景地位、相對(duì)大小及色調(diào)的對(duì)比等實(shí)現(xiàn)?？蚣芡ㄟ^(guò)框架手段如分割線、框架線等的運(yùn)用告訴觀察者圖像之間的關(guān)系，或?yàn)橥环鶊D片，或各位一幅圖片。從水平坐標(biāo)看，在習(xí)慣從左往右書(shū)寫(xiě)的文化中左邊的信息為已知信息（given information），右邊的信息為新信息（new information）。從垂直坐標(biāo)看，圖像的上面多帶有情感上的號(hào)召，告訴我們事物理想的狀態(tài)。而圖片的底部則多提供事實(shí)信息，告訴我們事物的現(xiàn)實(shí)狀態(tài)。中間位置一般為整個(gè)構(gòu)圖的中心和焦點(diǎn)，而邊緣位置的圖像多為重復(fù)或近似的元素，使得圖像呈現(xiàn)對(duì)稱狀態(tài)。如圖五所示，圖像具有多種元素，如海邊的沙灘、沙灘中的螃蟹、石子、海盜媽媽、瘦小的男人和彩色的鳥(niǎo)。而海盜媽媽、瘦小的男人和彩色的鳥(niǎo)無(wú)疑是圖像的前景，因?yàn)槠湮挥趫D片較為中心的位置，色彩突出、濃郁。而沙灘、螃蟹、石子等則是背景，位于邊緣位置，顏色淺淡。整幅圖像雖然沒(méi)有明確的框架線，但通過(guò)與周圍的留白對(duì)比，標(biāo)明圖像為同一整體，而非分裂的。

四、結(jié)語(yǔ)

本文對(duì)當(dāng)前國(guó)內(nèi)外多模態(tài)話語(yǔ)分析和Kress和van Leeuwen的視覺(jué)語(yǔ)法研究的主要觀點(diǎn)進(jìn)行扼要整理、分析，通過(guò)對(duì)圖畫(huà)書(shū)The Man Whose Mother Was a Pirate進(jìn)行多模態(tài)分析，發(fā)現(xiàn)他們的視覺(jué)語(yǔ)法理論雖有不完美之處，但就目前而言仍是解釋圖像意義的最有力工具。運(yùn)用該理論一方面可以使得圖畫(huà)書(shū)的作者更好地呈現(xiàn)思想和審美，同時(shí)為讀者欣賞圖畫(huà)書(shū)提供更開(kāi)闊的視角。由于篇幅限制，本文對(duì)其中的概念過(guò)程、情態(tài)等沒(méi)有做詳盡闡述。在之后的研究中，將就這兩部分做更詳盡的研究。

參考文獻(xiàn)：

[1]Kress， G & Leeuwen， T. v. Reading Images： The Grammar of Visual Design[M]. Routledge，2006.

[2]Mahy， M & Chamberlain， M. The Man Whose Mother Was a Pirate [M]. Orion Childrens Books，2013.

[3]OToole， M. The Language of Displayed Art [M]. Taylor & Francis Ltd，2010.

[4]張德祿. 模態(tài)話語(yǔ)分析綜合理論框架探索[J].中國(guó)外語(yǔ)，2009（1）：24-30.

[5]張敬源，賈培培. 關(guān)于視覺(jué)語(yǔ)法的幾點(diǎn)思考[J].當(dāng)代外語(yǔ)研究，2012（3）：38-42.