王麗娟

(廣東培正學(xué)院，廣東 廣州 510830)

自從20世紀(jì)90年代以系統(tǒng)功能語(yǔ)言學(xué)為理論基礎(chǔ)的社會(huì)符號(hào)學(xué)者開(kāi)始研究多模態(tài)語(yǔ)法以來(lái)，國(guó)內(nèi)外對(duì)多模態(tài)話語(yǔ)的研究已經(jīng)如火如荼。迄今為止，多模態(tài)話語(yǔ)的研究從不同方面、不同角度得到了更進(jìn)一步的發(fā)展。Kress & Van Leenwen (1996) 研究了視覺(jué)語(yǔ)法，從功能的角度探討了圖像的功能[1]。張德祿(2009)探索了多模態(tài)話語(yǔ)分析的綜合理論框架[2]。目前的多模態(tài)話語(yǔ)研究除了對(duì)圖像、符號(hào)、圖表等靜態(tài)形式展開(kāi)探討，也對(duì)動(dòng)態(tài)多模態(tài)話語(yǔ)進(jìn)行了分析。如張德祿，袁艷艷(2011)以電視天氣預(yù)報(bào)多模態(tài)語(yǔ)篇為例研究了動(dòng)態(tài)多模態(tài)話語(yǔ)的模態(tài)協(xié)同問(wèn)題[3]。管樂(lè)(2017)分析了動(dòng)態(tài)演講視頻的多模態(tài)話語(yǔ)[4]。雖說(shuō)目前動(dòng)態(tài)多模態(tài)話語(yǔ)的研究有一定的進(jìn)展，但相對(duì)靜態(tài)多模態(tài)研究還是不足，需要再進(jìn)一步擴(kuò)展。本文以TED演講視頻為例，研究動(dòng)態(tài)視頻中各個(gè)模態(tài)之間的關(guān)系。

一、動(dòng)態(tài)多模態(tài)話語(yǔ)分析綜合理論框架

以系統(tǒng)功能語(yǔ)言學(xué)為理論基礎(chǔ)，張德祿(2009)提出了動(dòng)態(tài)多模態(tài)話語(yǔ)分析綜合理論框架，如圖1所示[2]。該框架由文化語(yǔ)境、情景語(yǔ)境、內(nèi)容層面和表達(dá)層面四部分組成。根據(jù)該框架，文化語(yǔ)境主要指的是意識(shí)形態(tài)和體裁系統(tǒng)，講話者為完成交際目的會(huì)根據(jù)情景語(yǔ)境(語(yǔ)場(chǎng)、語(yǔ)旨和語(yǔ)式)來(lái)選擇交際模態(tài)(視覺(jué)模態(tài)和聽(tīng)覺(jué)模態(tài))去表達(dá)意義。在意義表達(dá)的過(guò)程中，主要由圖像意義體現(xiàn)的視覺(jué)模態(tài)和由聲音意義體現(xiàn)的聽(tīng)覺(jué)模態(tài)形成互補(bǔ)(強(qiáng)化、非強(qiáng)化)或非互補(bǔ)(交疊、內(nèi)包、語(yǔ)境互補(bǔ))的關(guān)系。隨著交際進(jìn)程(時(shí)間)的推進(jìn)，各種模態(tài)之間要相互配合，共同完成話語(yǔ)整體意義的表達(dá)。

二、動(dòng)態(tài)語(yǔ)料的選擇和研究方法

(一)語(yǔ)料

本文選取的動(dòng)態(tài)語(yǔ)料是著名的心理學(xué)家Shawn Achor于2012年在TED 大會(huì)上的一篇演講“The happy secret to better work”。作為一家非盈利機(jī)構(gòu)，TED大會(huì)以“傳播一切值得傳播的創(chuàng)意”為宗旨，每年邀請(qǐng)來(lái)自科學(xué)、設(shè)計(jì)、文學(xué)、音樂(lè)等領(lǐng)域的杰出人物進(jìn)行演講，分享他們對(duì)技術(shù)、社會(huì)及人性等方面的探索。TED演講視頻有很多，本文在選取材料時(shí)有幾個(gè)因素考慮在內(nèi)。因素之一是關(guān)注度。在TED網(wǎng)站上，Shawn Achor 的這篇演講是25個(gè)最受歡迎的演講之一，目前這個(gè)演講視頻的點(diǎn)擊率已超過(guò)2 000多萬(wàn)。 因素之二是視頻中所使用的模態(tài)類型。為了較全面地分析多種模態(tài)之間的協(xié)同關(guān)系，盡可能選擇聽(tīng)覺(jué)模態(tài)、視覺(jué)模態(tài)，手勢(shì)等多種模態(tài)共同出現(xiàn)的演講視頻。

圖1 動(dòng)態(tài)多模態(tài)話語(yǔ)分析框架

(二)研究方法

本文運(yùn)用張德祿的動(dòng)態(tài)多模態(tài)話語(yǔ)分析框架，主要采用定性的研究方法[3]，從文化語(yǔ)境、情景語(yǔ)境及各模態(tài)之間的協(xié)同關(guān)系來(lái)對(duì)Shawn Achor的TED演講視頻進(jìn)行分析。采用張德祿對(duì)動(dòng)態(tài)多模態(tài)語(yǔ)篇的切分標(biāo)準(zhǔn)(語(yǔ)篇結(jié)構(gòu)、經(jīng)驗(yàn)意義和前景化的事物和特征)，根據(jù)演講語(yǔ)篇的四個(gè)發(fā)展階段(演講開(kāi)始、演講主題、演講高潮、演講結(jié)束)，本文把Shawn Achor的演講視頻分為7個(gè)步驟和情節(jié)，包含14個(gè)事件和圖片。事件是由圖片來(lái)實(shí)現(xiàn)的，每個(gè)圖片都是一個(gè)信息單位[5]。具體的切分結(jié)果如下頁(yè)圖2所示。

圖2 演講視頻切分圖

三、動(dòng)態(tài)演講視頻的多模態(tài)話語(yǔ)分析

(一)文化語(yǔ)境

文化語(yǔ)境主要指的是與人們交際相關(guān)的社會(huì)文化背景，包括文化習(xí)俗、生活習(xí)慣、思維方式、社會(huì)規(guī)范等，是完成交際的重要層面。文化語(yǔ)境決定人們根據(jù)不同的交際目的采取不同的體裁來(lái)完成交際意義的傳遞。具體到TED演講來(lái)說(shuō)，演講者主要通過(guò)有聲語(yǔ)言的形式，借助于文字、圖像、肢體語(yǔ)言等其他手段針對(duì)某一個(gè)能引起觀眾共鳴的話題，清楚、完整地表達(dá)自己的見(jiàn)解。TED的演講者從最初的技術(shù)、娛樂(lè)、設(shè)計(jì)三個(gè)領(lǐng)域擴(kuò)展到幾乎各個(gè)領(lǐng)域，包括心理學(xué)家、哲學(xué)家、慈善家、探險(xiǎn)家等。演講者要求在18分鐘之內(nèi)向觀眾闡述自己在某一領(lǐng)域的獨(dú)特觀點(diǎn)或主張。本文選取的是心理學(xué)家Shawn Achor關(guān)于“改善工作的快樂(lè)之道”的演講。在12分鐘左右的演講中，Shawn Achor指出積極的大腦對(duì)人們工作的影響，以及如何去創(chuàng)建積極的心理。這篇演講可以分為四個(gè)階段：(1)演講開(kāi)始：演講者從自己兒童時(shí)期的故事入手引出“積極心理學(xué)”概念；(2)演講主題：科學(xué)平均數(shù)概念對(duì)人們生活的負(fù)面影響； (3)演講高潮：如何建立積極的心理(大腦)；(4)演講結(jié)束：演講者的致謝。

(二)情景語(yǔ)境

根據(jù)系統(tǒng)功能語(yǔ)言學(xué)，情景語(yǔ)境主要有語(yǔ)場(chǎng)、語(yǔ)旨和語(yǔ)式構(gòu)成。語(yǔ)場(chǎng)指的是語(yǔ)篇所涉及的活動(dòng)，即要做什么；語(yǔ)旨指的是語(yǔ)篇涉及的參與者，即交際雙方的角色和社會(huì)關(guān)系；語(yǔ)式指的是交際的媒介和渠道。在本文的演講視頻中，語(yǔ)場(chǎng)就是Shawn Achor于2012年在TED大會(huì)上的關(guān)于“更好工作的快樂(lè)之道”的一次演講。語(yǔ)旨是指演講者Shawn Achor本人，參加TED大會(huì)的觀眾及TED大會(huì)媒體。語(yǔ)式是指TED大會(huì)通過(guò)網(wǎng)絡(luò)的形式向全球播放心理學(xué)家Shawn Achor的演講，演講者著裝得體，語(yǔ)言正式，語(yǔ)速適度，表達(dá)清楚流暢，在主要通過(guò)口語(yǔ)形式表達(dá)主題的同時(shí)，結(jié)合了圖像、文字及手勢(shì)等其他模態(tài)，共同完成了交際意義的傳遞。

(三)動(dòng)態(tài)多模態(tài)間的協(xié)同

下面按照Shawn Achor演講視頻的三個(gè)主要階段：演講開(kāi)頭、演講主題、演講高潮對(duì)視頻中各個(gè)模態(tài)間的協(xié)同性進(jìn)行分析。

1.演講開(kāi)頭部分

演講的開(kāi)始，Shawn Achor 面帶微笑，目光正對(duì)觀眾，雙手自然下垂，走向講臺(tái)。然后通過(guò)語(yǔ)言模態(tài)(口語(yǔ))開(kāi)始演講，同時(shí)伴隨著雙手交疊放在身前(事件1：自身經(jīng)歷的小故事介紹)。這時(shí)聽(tīng)覺(jué)模態(tài)是主要模態(tài)，演講者和背景圖形成的視覺(jué)模態(tài)及手勢(shì)并沒(méi)有參與交際過(guò)程，對(duì)聽(tīng)覺(jué)模態(tài)意義的體現(xiàn)基本上沒(méi)有貢獻(xiàn)，因此，這時(shí)的聽(tīng)覺(jué)模態(tài)處于前景化的位置。隨著演講的進(jìn)行，出現(xiàn)了文字模態(tài)，這是對(duì)演講者身份和演講主題的介紹，這時(shí)的視覺(jué)模態(tài)對(duì)聽(tīng)覺(jué)模態(tài)所傳遞的意義可以說(shuō)是一種互補(bǔ)的非強(qiáng)化擴(kuò)充關(guān)系(事件2)。之后隨著導(dǎo)入故事的結(jié)束，Shawn Achor引出了“積極心理學(xué)”這一概念。在通過(guò)口語(yǔ)形式(聽(tīng)覺(jué)模態(tài))引出這一概念的同時(shí)，可以發(fā)現(xiàn)Shawn Achor的兩只手從打開(kāi)的狀態(tài)慢慢靠攏，直至碰觸(事件3)。打開(kāi)的手的狀態(tài)是對(duì)口語(yǔ)內(nèi)容“we had no idea at the time”的一個(gè)補(bǔ)充強(qiáng)化，雙手慢慢靠攏說(shuō)明了時(shí)間的發(fā)展——從“at the time”到“two decades later”。同時(shí)雙手的碰觸說(shuō)明時(shí)間發(fā)展到了現(xiàn)在，即今天的演講話題“positive psychology”。因此，在話題導(dǎo)入過(guò)程中，可以發(fā)現(xiàn)聽(tīng)覺(jué)模態(tài)為主要形式，而手勢(shì)則起到了互補(bǔ)強(qiáng)化的作用。

2.演講主題部分

在演講視頻的主題部分，Shwan Archor 主要闡述了人們?cè)谌粘Ｉ钪袑?duì)科學(xué)平均數(shù)的迷信(事件4)，積極心理學(xué)家對(duì)待平均概念的看法(事件5)，舉例說(shuō)明平均概念帶給人們的負(fù)面影響(事件6)，以及對(duì)異常數(shù)據(jù)的研究(事件7和事件8)。 從事件4和事件5來(lái)看， 演講者主要是通過(guò)展示一個(gè)圖表(視覺(jué)模態(tài))配合口語(yǔ)形式(聽(tīng)覺(jué)模態(tài))來(lái)闡述積極心理學(xué)家和其他人對(duì)待平均概念的不同看法，同時(shí)伴隨著一定的手勢(shì)。這時(shí)的口語(yǔ)和圖表相互結(jié)合，共同完成了意義的傳遞，因此，兩者都是主要模態(tài)，構(gòu)成了互補(bǔ)非強(qiáng)化聯(lián)合的關(guān)系。通過(guò)事件6，Shwan Archor列舉了自己生活中的一個(gè)例子，來(lái)說(shuō)明平均概念給人們帶來(lái)的負(fù)面影響，在這個(gè)過(guò)程中口語(yǔ)是意義表達(dá)的主要形式。在事件7中演講者闡述了自己申請(qǐng)哈佛大學(xué)的經(jīng)歷(聽(tīng)覺(jué)模態(tài))，同時(shí)以ppt的形式展示了哈佛大學(xué)的圖片(視覺(jué)模態(tài))，這時(shí)的視覺(jué)模態(tài)是對(duì)聽(tīng)覺(jué)模態(tài)的強(qiáng)化。事件8 中Shwan Archor通過(guò)圖片展示了電影哈利·波特里面霍格瓦茨魔法學(xué)校的食堂和哈佛大學(xué)食堂的相似性，這時(shí)的聽(tīng)覺(jué)模態(tài)和視覺(jué)模態(tài)共同擔(dān)當(dāng)了傳遞意義的作用，構(gòu)成了互補(bǔ)非強(qiáng)化聯(lián)合關(guān)系。

3.演講高潮部分

Shwan Archor視頻演講的高潮部分主要包括兩個(gè)情節(jié)：一是人們的大腦對(duì)于快樂(lè)和成功關(guān)系的認(rèn)知(事件9、事件10、事件11)，二是如何去建立積極的心態(tài)(事件12、事件13)。在第一個(gè)情節(jié)中，當(dāng)演講者提到積極的大腦對(duì)成功的影響時(shí)(事件9)，這時(shí)出現(xiàn)的文字形式(視覺(jué)模態(tài))是對(duì)所傳遞意義的補(bǔ)充強(qiáng)化，聽(tīng)覺(jué)模態(tài)還是作為主要的模態(tài)形式。在事件10和事件11中，Shwan Archor主要闡述了傳統(tǒng)的關(guān)于快樂(lè)和成功關(guān)系的觀點(diǎn)及這種觀點(diǎn)的落后，這時(shí)演講者本人形成的視覺(jué)模態(tài)可以說(shuō)是無(wú)效的，而演講者的手勢(shì)則起到了意義傳遞的強(qiáng)化作用。在第二個(gè)情節(jié)中，當(dāng)Shwan Archor介紹到提高人們的積極心理程度會(huì)大大改善人們工作的結(jié)果時(shí)(事件12)，以ppt的形式出現(xiàn)了文字模態(tài)。文字模態(tài)主要列舉了積極心理帶來(lái)的一些具體的良好的結(jié)果，如高效的生產(chǎn)力、銷售量的提高等。這時(shí)的文字模態(tài)強(qiáng)化了語(yǔ)言模態(tài)所傳遞的內(nèi)容，因此，聽(tīng)覺(jué)模態(tài)和視覺(jué)模態(tài)構(gòu)成了一種互補(bǔ)強(qiáng)化關(guān)系。事件13主要闡述了5種建立積極心態(tài)的方法。當(dāng)演講者說(shuō)道：“We've found there are ways that you can train your brain to be able to become more positive.”時(shí)，出現(xiàn)了帶有文字模態(tài)的圖像，這時(shí)的聽(tīng)覺(jué)模態(tài)和視覺(jué)模態(tài)相互協(xié)調(diào)，共同表達(dá)了交際過(guò)程的意義，完成了交際目的。

四、動(dòng)態(tài)多模態(tài)之間的協(xié)同關(guān)系

通過(guò)對(duì)Shwan Archor演講視頻的分析可以看出，在演講的開(kāi)始、發(fā)展、高潮的每一個(gè)階段，口語(yǔ)形式都是傳遞信息的主要手段，即聽(tīng)覺(jué)模態(tài)始終處于前景化的位置中。這是由聽(tīng)覺(jué)模態(tài)的線性化決定的，也符合信息獲取循序漸進(jìn)的特點(diǎn)。在Shwan Archor的演講視頻中，聽(tīng)覺(jué)模態(tài)單獨(dú)處于前景化的比例約為71%，視覺(jué)模態(tài)和聽(tīng)覺(jué)模態(tài)共同處于前景化的比例約為29%，視覺(jué)模態(tài)主要是作為聽(tīng)覺(jué)模態(tài)的補(bǔ)充強(qiáng)化或協(xié)調(diào)。有時(shí)手勢(shì)也產(chǎn)生對(duì)聽(tīng)覺(jué)模態(tài)的補(bǔ)充強(qiáng)化作用，但很多時(shí)候由演講者本身和手勢(shì)形成的視覺(jué)模態(tài)對(duì)傳遞意義并無(wú)多大貢獻(xiàn)。 從分析結(jié)果還可以看出，模態(tài)之間的協(xié)同并不是隨意的、任意的。如果聽(tīng)覺(jué)模態(tài)(口語(yǔ))能完成意義的傳遞，那么其他模態(tài)就沒(méi)有出現(xiàn)的必要。如果聽(tīng)覺(jué)模態(tài)不能完全表達(dá)演講者所傳遞的信息，那么視覺(jué)模態(tài)、手勢(shì)或面部表情就會(huì)對(duì)聽(tīng)覺(jué)模態(tài)進(jìn)行補(bǔ)充強(qiáng)化，甚至協(xié)調(diào)。同時(shí)各個(gè)模態(tài)之間的配合不能產(chǎn)生矛盾和沖突，要以增加正效應(yīng)為原則。

綜上所述，通過(guò)對(duì)TED動(dòng)態(tài)演講視頻的分析可以看出，演講者在演講的不同階段會(huì)根據(jù)不同的交際目標(biāo)來(lái)選擇不同的模態(tài)或模態(tài)組合，從而完成整體意義的傳遞。在整個(gè)演講過(guò)程中，聽(tīng)覺(jué)模態(tài)始終是演講者所采用的主要形式，這也是由演講的特點(diǎn)決定的。本文通過(guò)對(duì)TED動(dòng)態(tài)演講視頻的分析，一方面能夠讓人們對(duì)演講中各個(gè)模態(tài)的運(yùn)用有更好的了解；另一方面也希望能夠進(jìn)一步拓寬動(dòng)態(tài)多模態(tài)話語(yǔ)分析理論的實(shí)踐應(yīng)用。當(dāng)然，本文也存在一些不足的地方，如缺乏詳盡的定量分析，語(yǔ)篇的切分帶有一定的主觀性等。希望以后的研究能進(jìn)一步改正不足，促進(jìn)多模態(tài)理論的發(fā)展。