呂行

摘 要：多模態(tài)語篇的人際功能為語篇編寫者與讀者之間搭建了溝通的橋梁。多模態(tài)語篇通過語言、圖像、字體等模態(tài)傳遞人際意義。近年來，多模態(tài)語篇的意義構建一直是研究的重點和難點。本文通過對一篇多模態(tài)文化語篇的分析，闡釋了各符號系統(tǒng)人際功能的具體體現(xiàn)形式，同時探討了兩個系統(tǒng)如何通過符際互補性構建人際意義。

關鍵詞：多模態(tài)語篇；人際意義；符際互補性

中圖分類號：H05 文獻標識碼：A 文章編號：1009 — 2234（2018）07 — 0168 — 03

一、引言

隨著科學技術的發(fā)展，各種符號資源如聲音、圖像、動畫等已融入到了我們生活的方方面面。語言學研究者們也逐漸將研究重點由傳統(tǒng)語言語篇分析轉向了多模態(tài)語篇分析。多模態(tài)語篇與傳統(tǒng)語言語篇一樣，具有三大元功能：概念功能、人際功能和語篇功能。胡壯麟（2007）指出，這類語篇分析既可以推動我們對語言學的研究，同時也可以加深我們對符號學的認知。不可否認，伴隨著越來越多的多模態(tài)語篇的出現(xiàn)，人類的互動也逐步多模態(tài)化。那么除了多模態(tài)語篇的概念意義，在人類互動過程中符號資源如何相互協(xié)作來構建意義也是研究的重點。本文將以一篇文化語篇為例，探討語篇中圖像與語言系統(tǒng)通過互動整合構建人際意義。

二、多模態(tài)語篇分析理論基礎

經過實踐，許多語言學家（Matthiessen，2007；OHalloran，2004；胡壯麟，2007）都認為，分析多模態(tài)話語，最合適的理論模式是系統(tǒng)功能語言學理論。因為它不需要為適應新的目的而對理論框架本身進行改造，可以有效地為研究者提供理論支撐。

1.語言的人際功能

語言的人際功能是講話者作為參與者的意義潛勢。通過這一功能，講話者使自己參與到某一情境語境中，來表達他的思想和推斷，并試圖影響別人的思想和行為（胡壯麟，朱永生等，2017：110）。人們在交際過程中，使用語言完成最基本的兩個任務：給予或求取，所涉及的內容分為信息、物品或服務。以上四個變項組成了四種最重要的言語功能：提供、命令、陳述和提問。它們由語言的語氣系統(tǒng)體現(xiàn)。人際意義的另一重要組成部分是講話者對自己的命題的成功性和有效性所做的判斷，或在命令中要求對方承擔的義務，或在提議中表達的個人意愿，這一部分由情態(tài)系統(tǒng)體現(xiàn)（胡壯麟，朱永生等，2017：146）。

2.圖像的互動功能

Kress &van; Leeuwen（2006）指出視覺交流是一個復雜的過程，這期間涉及到兩類參與者：表征參與者和互動參與者。前者指的是在圖片中出現(xiàn)的人物、事物或地點等；而后者指通過圖片交流的人們，也就是圖片創(chuàng)造者和圖像觀賞者。圖像系統(tǒng)的人際功能主要涉及的是圖像互動者之間的社會關系以及這些互動參與者對彼此和語篇的評價取向。互動意義主要通過四個語義系統(tǒng)來實現(xiàn)：接觸（contact）、社會距離（social distance）、態(tài)度（attitude）和情態(tài)（modality）。

接觸指圖像參與者與圖像互動者目光對接，從而引起圖像互動者一定情感體驗的虛擬行為。需要指出的是，在接觸過程中圖像互動者的主觀能動性對于互動意義的識讀至關重要。與語言的即時對話不同，圖像交際時互動參與者之間并沒有直接的接觸；讀者（觀看者）和作者（圖像創(chuàng)作者）都是獨自與圖像本身接觸的，因此兩者的接觸是平面的而不是立體的。在視覺交流中有一種互動關系是普遍存在的，即一個讀者與多個該圖像的創(chuàng)造者互動。接觸分為提供和求取，兩者之間的區(qū)別在于圖像參與者和互動者之間目光是否可以實現(xiàn)對接。當圖像進行“提供”時，通常提供的是信息；當其“求取”時，則索取的是物品和服務或者來自讀者的回應。接觸具體由“注視”（gaze）體現(xiàn)，即直接或間接形式的投向讀者的目光接觸。注視由一個或多個來自圖像內有生命的表征參與者的視線以向量的投向讀者方式體現(xiàn)，同時伴隨著一些姿勢，如圖像中一人注視著同時用手指指向讀者。圖像內表征者所“求取”的東西取決于其面目表情，可能是一個微笑或一個怒視等。

除接觸外，人際功能也由社會距離（social distance）體現(xiàn)。社會距離的遠近與圖像的取景有關。一般來說，遠景表示社會距離較遠，近景表示社會距離較近。Kress & van Leeuwen（2006）對取景和社會距離做了劃分，即個人近距離：頭部至肩部的近距離取景；個人遠距離：腰部以上的距離取景；社會近距離：個體或人物的全身距離的取景；社會遠距離：整個人并且周圍有空間環(huán)繞；公共距離：至少有四至五個人的距離。取景的遠近決定對讀者介入要求的強弱，即越近距離的取景對要求讀者介入的程度越強烈，反之亦然。

另一個體現(xiàn)人際功能的語義系統(tǒng)是視點。態(tài)度通過視角（angle）來體現(xiàn)，表達對參與者所持的主客觀態(tài)度。圖像根據(jù)創(chuàng)造者的態(tài)度和意圖分為主觀圖像和客觀圖像。主觀圖像（subjective）創(chuàng)造者通過對視角系統(tǒng)的選擇表達出希望圖像參與者與讀者在閱讀過程中采取的角度。大部分圖像都采用多樣化的水平視角和垂直視角的主觀圖像；從水平角度看，正面角度給讀者帶來感同身受、融入其中的感覺（involvement），而傾斜的角度則表現(xiàn)出作為旁觀者的漠然與事不關己（detachment）；從垂直的視角看，讓讀者俯視代表讀者的強勢（viewer power），平視表示讀者和表征參與者關系相對平等（equality），仰視則表示參與者處于強勢的地位（representation power）。客觀圖像（objective）中，圖像創(chuàng)造者并沒有給出自己預設的理解角度，而是盡可能完整地向讀者呈現(xiàn)信息。這類客觀圖像多見于科教語篇中的圖形、圖表、以行動或指示為導向的地圖等。許多這類圖像以水平或垂直的角度呈現(xiàn)，以最客觀的方式展現(xiàn)。有時候在對立體圖形進行展示時可能會有側面或傾斜的角度，這并不表示圖像使用者的任何主觀態(tài)度，而是通過透視法展現(xiàn)圖形的一種手段。

圖像符號系統(tǒng)的情態(tài)語義系統(tǒng)與語言的情態(tài)系統(tǒng)類似，是指人們對關注的世界所做出的陳述的真實度或可信度，即視覺符號表現(xiàn)出的與真實世界存在的現(xiàn)狀相一致的程度，是一個變化區(qū)間，其體現(xiàn)資源豐富，被歸納為高、中、低三類。決定情態(tài)程度的體現(xiàn)資源被稱作情態(tài)標記，包括色彩、語境化、再現(xiàn)程度、深度、照明和亮度。色彩包括飽和度、色彩區(qū)分度和色彩調諧度，以區(qū)間的形式進行衡量，色彩的值與真實世界越接近則；語境化指從沒有背景到意味細致的背景的變化尺度；再現(xiàn)指從最抽象的表達到對細節(jié)最大限度的再現(xiàn)；深度指從沒有縱深到最大程度的透視的變化區(qū)間；照明指從對光和影的最大程度的再現(xiàn)到沒有光和影的變化；亮度指從最大數(shù)量的不同明亮程度到只有明與暗兩種對比的變化。這些情態(tài)標記用來衡量情態(tài)高低的標準實際上取決于是否最大程度地對要表征的世界做了真實再現(xiàn)。必須指出的是，我們需要區(qū)分圖像是屬于自然化（naturalistic）的還是科技化（scientific）的。以上的情態(tài)標記的變化標準只限于衡量表征自然化世界，因為在不同的語境下，真實度的標準不盡相同。自然化的圖像指的反映真實世界的圖像，例如圖畫、照片等。而科技化的圖像是用來表征科學世界的，相對抽象。由于人們習慣性地認為科學世界是抽象的，從而對其越是抽象、與真實世界相反的表達越是對科學世界相對真實的反映，越是具有高情態(tài)，這點與自然化的圖像相反。除了自然化圖像和科技化圖像，還有以展現(xiàn)不同感官感覺為目的的藝術化圖像以及抽象化圖像。根據(jù)不同的語境，Kress & van Leeuwen （2006）提出另外三種不同的衡量情態(tài)的標準，稱為“真實度原則”，又叫作“編碼取向”（coding orientation），具體為：

科技化編碼取向：有效地展現(xiàn)作為解釋和描述概述大綱或藍圖的圖像，除必要時，色彩的衡量區(qū)間越趨于最小化，情態(tài)程度越高；感觀化編碼取向：在以藝術、時尚或美食視覺語境下為以給讀者提供充分的感官壓力為主要原則，色彩的區(qū)間越趨于最大化，情態(tài)程度越高；抽象化編碼取向：以能夠總結共性和簡化細節(jié)為原則，存在于科學和教育語境下，再現(xiàn)區(qū)間越趨于最小，情態(tài)程度越高。

以上我們總結了體現(xiàn)人際功能的幾個語義系統(tǒng)，包括接觸、社會距離、態(tài)度和情態(tài)。然而需要指出的是，對這些語義系統(tǒng)的分析并不是絕對的，例如對科技語篇和自然語篇的情態(tài)分析就不能使用同一標準，要根據(jù)具體語境做出具體的判斷。

三、語言與圖像的互補性

各種符號系統(tǒng)通過互動和協(xié)商共同構建一個有意義的連貫的語篇。符號間是如何共同協(xié)作、互動協(xié)商構建意義的一直是多模態(tài)研究的關鍵點。Lim （2004）提出視覺符號資源和語言符號資源在語篇內容層進行互動和協(xié)調從而產生的語義擴展，即這兩個符號資源所制造的大于各自制造的意義之和。這個整合的過程發(fā)生在語篇內容層，由三個元功能組織。根據(jù)Royce（2007）的觀點，這一過程主要由符號間的互補機制體現(xiàn)。分析多模態(tài)語篇符號通過以下兩個符際互補性構建人際意義：即不同模態(tài)之間在語氣方面相互加強與否；在傳遞的態(tài)度方面存在一致或相反。前文提到，視覺圖像系統(tǒng)和語言系統(tǒng)一樣，在交際中最基本的角色是給予和求取。而交際物又可分為物品和服務、以及信息。因此符號系統(tǒng)的交際角色和交際物兩個變項組成了四種最主要的符號功能：提供、命令、陳述和提問。在分析多模態(tài)語篇中語言系統(tǒng)的言語功能時主要依靠對語氣系統(tǒng)的分析；對視覺符號系統(tǒng)的交際功能分析主要依靠對接觸系統(tǒng)的分析。在對兩個符號系統(tǒng)展現(xiàn)給讀者的交際功能分析后，則要分析兩者展現(xiàn)的功能是否相互加強。對態(tài)度趨向整合機制的分析則要兩個符號系統(tǒng)的情態(tài)系統(tǒng)。說話者對自己通過語言系統(tǒng)表達意義的成功性和有效性的判斷，或在命令中要求對方承擔的義務，或在提議中要表達的個人意愿都由情態(tài)系統(tǒng)實現(xiàn)。語言在交換信息時的表現(xiàn)形式是命題，而在交換物品或服務時的表現(xiàn)形式是提議。在命題中，意義的歸一性表現(xiàn)為肯定和否定。在這兩極之間有不同值的概率和頻率，前者相當于“可能是—可能不是”，后者相當于“有時是—有時不是”，兩者都有不同程度變化的值，即情態(tài)。對語言系統(tǒng)表現(xiàn)的態(tài)度趨向分析時對此情態(tài)系統(tǒng)的值的分析，然而視覺圖像符號系統(tǒng)的情態(tài)主要取決于語篇的編碼取向。前文提到，不同編碼取向的語篇的情態(tài)值的高低有不同的標準。通過分析兩個符號系統(tǒng)的情態(tài)值的高低來判斷兩個符號系統(tǒng)表達的態(tài)度趨向一致或不一致，從而構建不同的人際意義。

四、多模態(tài)語篇的人際意義構建

本文選取的語料來自由國家漢辦編著的HSK（漢語水平考試）標準教程第五冊中的文化語篇《中國人對年齡的詢問方法》。該教材中的文化語篇主要的交際目的是向外國學習者傳遞有關中國文化的信息。編寫者以兩種模態(tài)（圖像和文字）呈現(xiàn)語篇，使語篇能夠豐富地表達意義。

語料中語言符號系統(tǒng)表現(xiàn)的言語功能為陳述、提供和提問。在提供部分建議（對于10歲一下的孩子，一般問“你今年幾歲了？”）蓋然性中等，情態(tài)值居中；而在提供另一部分建議時（詢問年長的人的年齡則一定要用“您今年多大年紀了”）確定性高，情態(tài)值高。

語料中圖像符號系統(tǒng)是一張以綠色植物為背景的六個不同年齡段的中國人（兩位老年人，兩位青年人，兩位兒童）的合影。圖像符號的表征參與者是六位中國人及綠植覆蓋的公園背景。表征參與者平視的目光則表現(xiàn)其與閱讀者不存在權力差異，而照片中微笑的表情意味著表征參與者在邀請閱讀者與之形成友好的密切關系。表征參與者的目光直視鏡頭，與閱讀者有明顯的目光接觸，體現(xiàn)了求取功能，即表征參與者在強烈建議讀者參與到他們的幸福世界中。從態(tài)度這一語義系統(tǒng)來分析，該語料視覺符號的作者以水平角度，客觀正面地給讀者帶來感同身受、融入其中的感覺，體現(xiàn)了表征參與者與讀者平等的關系。照片的色彩飽和度很高，自然主義地表現(xiàn)在了六位中國人愉悅的生活狀態(tài)，因而情態(tài)值高。從照片的色彩區(qū)分度看，色彩對比比較明顯，紅色和白色的衣服與背景的綠色形成了鮮明對比。從照片的色彩調諧度來看，照片的色彩搭配有序，深淺有致，這些標記都體現(xiàn)了高情態(tài)。另外在語境化這個標記方面，該照片的背景也極為豐富：近處的長椅，修剪過的花草及遠處的綠樹，錯落有致，最大限度地再現(xiàn)了周圍環(huán)境，說明作者采用了高情態(tài)的表現(xiàn)手法表達意義。通過以上對情態(tài)標記的分析，我們知道該語料中視覺符號系統(tǒng)表征的是高情態(tài)。

語言系統(tǒng)和圖像系統(tǒng)通過協(xié)作構建人際意義。具體來看，構成該語料的兩個符號系統(tǒng)通過語氣和情態(tài)相互協(xié)作，語言系統(tǒng)給予信息，圖像系統(tǒng)求取信息或服務，因此兩個系統(tǒng)在語篇內容層并沒有通過相互加強。另外，兩個系統(tǒng)都通過高情態(tài)值表達了人際意義，因此在內容層通過態(tài)度一致性構建意義。

五、結語

人際意義是多模態(tài)語篇構建的搭建在讀者與語篇編寫者之間的橋梁。本文闡釋了語言的人際意義與圖像系統(tǒng)的人際意義構建方式。本文通過分析一篇選自《HSK標準教程》的多模態(tài)文化語篇的語言及圖像符號系統(tǒng)，探討了多模態(tài)語篇的人際功能的具體體現(xiàn)形式，即兩個系統(tǒng)各自通過具體的語義系統(tǒng)構建，并在語篇內容層上通過語氣加強與否和態(tài)度一致或相反兩個謀篇機制相互協(xié)作構建意義。目前，學術界對多模態(tài)語篇的意義構建研究還處在地定性研究階段，需要大量的語篇分析來驗證。

〔參 考 文 獻〕

〔1〕胡壯麟. 2007. 社會符號學研究中的多模態(tài)化. 語言教學與研究，（1）：1-10.

〔2〕Matthiessen， C. M. I. M. 2007. The Multimodal Page： A Systemic Functional Exploration. In T. D. Royce & W. L. Bowcher （eds.）. New Directions in the Analysis of Multimodal Discourse. pp：1-62. New Jersey and London： Lawence Erlbaum Associates.

〔3〕OHalloran， K. L. 2004. Multimodal Discourse Analysis. London： Continuum.

〔4〕胡壯麟，朱永生，張德祿，李戰(zhàn)子. 2017. 系統(tǒng)功能語言學概. 北京：北京大學出版社.

〔5〕Kress， G. and van Leeuwen， T. 2006. Reading Images： The Grammar of Visual Design. 2nd Ed. London： Routledge.

〔6〕Lim Fei， V. 2004. Developing an Integrative Multi-semiotic Model. In K. L. OHalloran （ed.）. Multimodal Discourse Analysis. pp： 220-246. London： Continuum.

〔7〕Royce， T. D. 2007. Intersemiotic Complementarity： A framework for Multimodal Discourse Analysis. In T. D. Royce and W. L. Bowcher （eds.）. New Directions in the Analysis of Multimodal Discourse. pp： 63-110. New Jersey and London： Lawence Erlbaum Associates.

〔責任編輯：楊 赫〕