北京工業(yè)大學(xué) 楊曉蕾 梁梅紅

古今中外，演講的重要性已不言而喻，好的演講總能達(dá)到事半功倍的效果。古有毛遂以三寸之舌，強(qiáng)于百萬(wàn)之師，今有馬丁· 路德·金對(duì)人權(quán)平等的吶喊。當(dāng)代社會(huì)，演講成為日常交際和工作交流的重要方式之一。但隨著信息與多媒體技術(shù)的發(fā)展，人們使用的交際模態(tài)發(fā)生了很大的變化，演講的形式也隨之發(fā)生很大改變。這體現(xiàn)在言語(yǔ)不再是交流的唯一模態(tài)，表情符號(hào)、圖片、幻燈片等多種模態(tài)的組合逐漸成為演講的新興趨勢(shì)。此外，在線視頻的興起也使得演講可以超越時(shí)空性，被更多的人下載和觀看。在這種背景下，多模態(tài)演講更能使觀眾把握演講者當(dāng)時(shí)真實(shí)的話語(yǔ)意義。

TED演講是典型的多模態(tài)語(yǔ)篇，并且以其學(xué)術(shù)性、多樣性和開放性受到學(xué)習(xí)者的歡迎。TED演講自2007年面向全球免費(fèi)開放后，到如今廣受歡迎，其宗旨是“傳播有價(jià)值的思想”。許多學(xué)者已經(jīng)對(duì)TED演講進(jìn)行了相關(guān)研究，如洪巖、梁林梅(2013)闡述了TED的歷史和發(fā)展以及TED在中國(guó)受歡迎的原因和對(duì)中國(guó)在線開放課程的啟發(fā)。TED演講逐漸在教育領(lǐng)域和語(yǔ)言學(xué)領(lǐng)域得到重視?，F(xiàn)有關(guān)于 TED 演講的研究多側(cè)重于從演講的語(yǔ)言技巧、演講內(nèi)容的組織安排以及演講的教學(xué)價(jià)值等角度進(jìn)行闡述(如Di Carlo 2014；姜暉 2020；楊曉蕾、梁梅紅 2020)。 而針對(duì)演講中的非言語(yǔ)因素，以及言語(yǔ)和非言語(yǔ)互動(dòng)意義的研究相對(duì)較少。雖然Theunissen(2014)關(guān)注了TED演講中的視覺語(yǔ)言，但卻只局限于PPT演示。而且這些研究大多沒(méi)有客觀的數(shù)據(jù)支撐，缺乏直觀性和可信度。因此，本研究從多模態(tài)角度出發(fā)，整合構(gòu)建了TED演講多模態(tài)互動(dòng)分析框架，以質(zhì)性研究為主，并且借助量化研究方法即多模態(tài)分析軟件ELAN，系統(tǒng)地探討TED演講中言語(yǔ)和非言語(yǔ)模態(tài)的應(yīng)用、分布及關(guān)系。本研究旨在通過(guò)系統(tǒng)分析TED演講中話語(yǔ)模態(tài)的使用，揭示演講中話語(yǔ)信息的傳播方式，以啟發(fā)演講者通過(guò)多種模態(tài)更好地傳遞思想。

1. 理論背景

1.1 多模態(tài)話語(yǔ)相關(guān)研究

多模態(tài)話語(yǔ)研究始于 Barthes(1977)對(duì)圖像在視覺意義表達(dá)上與文本之間相互作用的探討。直到20 世紀(jì) 90 年代，多模態(tài)話語(yǔ)分析理論才蓬勃發(fā)展起來(lái)，代表性作品是Kress & van Leeuwen(1996)合著的《閱讀圖像》。Kress & van Leeuwen(2001)首創(chuàng)多模態(tài)話語(yǔ)概念，認(rèn)為多模態(tài)是交際中多種符號(hào)模態(tài)的應(yīng)用。Jewitt(2009)認(rèn)為多模態(tài)話語(yǔ)分析主要有3個(gè)傳統(tǒng)：系統(tǒng)功能語(yǔ)言學(xué)視角、社會(huì)符號(hào)學(xué)視角和會(huì)話分析視角。此后還有多模態(tài)互動(dòng)分析、語(yǔ)料庫(kù)語(yǔ)言學(xué)多模態(tài)話語(yǔ)分析以及多模態(tài)隱喻分析等。我國(guó)相關(guān)領(lǐng)域的研究始于 21 世紀(jì)，李戰(zhàn)子于2003 年把多模態(tài)話語(yǔ)研究引介到國(guó)內(nèi)。2007 年，朱永生從系統(tǒng)功能語(yǔ)言學(xué)角度探討了多模態(tài)話語(yǔ)分析的理論基礎(chǔ)和分析方法。迄今為止，從系統(tǒng)功能語(yǔ)言學(xué)角度出發(fā)的多模態(tài)話語(yǔ)分析研究占大多數(shù)。(潘艷艷、李戰(zhàn)子 2017)

從研究對(duì)象來(lái)看，國(guó)內(nèi)外學(xué)者對(duì)于多模態(tài)話語(yǔ)分析的研究多集中于理論研究和靜態(tài)語(yǔ)篇的研究，如報(bào)紙、雜志、海報(bào)等(張德祿、王群 2011； Fernndez-Fontechaetal. 2019)。雖然近幾年關(guān)于動(dòng)態(tài)多模態(tài)語(yǔ)篇或者三維靜態(tài)語(yǔ)篇的研究陸續(xù)開展起來(lái)，但仍然是少數(shù)，例如對(duì)課堂教學(xué)、演講、電影、建筑的研究等(張德祿、袁艷艷 2011；Pratiwy & Wulan 2018)。原因如下：多模態(tài)話語(yǔ)分析始于對(duì)圖像和文字組合意義的探討，所以對(duì)靜態(tài)語(yǔ)篇的關(guān)注較早；動(dòng)態(tài)語(yǔ)篇較靜態(tài)語(yǔ)篇更為復(fù)雜，在分析時(shí)切分難度相對(duì)較大；系統(tǒng)功能語(yǔ)言學(xué)指導(dǎo)下的多模態(tài)話語(yǔ)分析是目前的主要研究路徑，以分析“意義”為核心，更適用于靜態(tài)語(yǔ)篇的分析，而動(dòng)態(tài)語(yǔ)篇更注重“行動(dòng)”的過(guò)程，需要從其他角度進(jìn)行分析才能更加深刻，如多模態(tài)互動(dòng)分析的角度(張佐成、陳瑜敏 2014)。綜上所述，多模態(tài)話語(yǔ)分析的方法和視角亟待完善和豐富。

1.2 多模態(tài)互動(dòng)分析

思想的傳遞需要話語(yǔ)的支撐以及肢體語(yǔ)言和面部表情等的密切配合。為了探索TED演講傳播思想的語(yǔ)言模式，研究者需要有廣闊的視野。TED演講者不僅使用了言語(yǔ)模態(tài)，還使用了豐富的非言語(yǔ)模態(tài)，如手勢(shì)、頭部動(dòng)作、面部表情等，所以TED演講屬于動(dòng)態(tài)多模態(tài)語(yǔ)篇。因此，本研究的理論基礎(chǔ)是Norris的多模態(tài)互動(dòng)分析方法及張德祿的多模態(tài)互動(dòng)分析框架。Norris的多模態(tài)互動(dòng)分析屬于整體分析，以“中介話語(yǔ)活動(dòng)”為基本分析單位?；顒?dòng)又分為高層活動(dòng)、低層活動(dòng)以及凝固活動(dòng)。比如，參加一場(chǎng)演講，演講本身屬于高層活動(dòng)，演講中使用的手勢(shì)屬于低層活動(dòng)，而演講中使用過(guò)的筆屬于凝固活動(dòng)。Norris(2004)認(rèn)為交際中的互動(dòng)模態(tài)有9類，分別是言語(yǔ)、距離、身勢(shì)、手勢(shì)、頭部運(yùn)動(dòng)、眼神、音樂(lè)、印刷物和布局。多模態(tài)互動(dòng)分析的重點(diǎn)主要是這9類互動(dòng)模態(tài)，但在具體的分析場(chǎng)景下，可根據(jù)語(yǔ)篇的特點(diǎn)進(jìn)行增添。

張德祿、王正(2016)在此基礎(chǔ)上提出了多層次多模態(tài)互動(dòng)分析綜合框架，包括5個(gè)方面：文化語(yǔ)境、情景語(yǔ)境、互動(dòng)話語(yǔ)、模態(tài)和媒介。他們還認(rèn)為話語(yǔ)意義中的一大部分是由非語(yǔ)言因素體現(xiàn)的，如伴語(yǔ)言特征：音響度、聲調(diào)、語(yǔ)調(diào)、音速等，身體特征：手勢(shì)、身勢(shì)、面部表情、動(dòng)作、移動(dòng)等，非身體特征：PPT、音響設(shè)備、網(wǎng)絡(luò)、實(shí)驗(yàn)室、周圍的環(huán)境因素等。各個(gè)模態(tài)之間的協(xié)同關(guān)系，分為互補(bǔ)性的和非互補(bǔ)性的兩大類，互補(bǔ)性又包括強(qiáng)化和非強(qiáng)化，非互補(bǔ)性包括交疊、內(nèi)包和語(yǔ)境交互。(張德祿 2009)

1.3 TED演講多模態(tài)互動(dòng)分析框架

多模態(tài)的應(yīng)用研究中存在的主要問(wèn)題是理論框架沒(méi)有被調(diào)整或改變，只考慮了較少的特定語(yǔ)言功能，并將其直接應(yīng)用于分析對(duì)象，導(dǎo)致結(jié)果只是多模態(tài)話語(yǔ)的“重新描述”，而不是“分析”(潘艷艷 2019)。因此，為了對(duì)TED演講進(jìn)行有針對(duì)性的分析，本研究整合了現(xiàn)有的多模態(tài)互動(dòng)分析框架，構(gòu)建了TED演講多模態(tài)互動(dòng)分析框架，如下頁(yè)圖1所示。

圖1 TED演講多模態(tài)互動(dòng)分析框架

該框架從3個(gè)層面對(duì)TED演講進(jìn)行了較為全面的多模態(tài)話語(yǔ)分析，分別是語(yǔ)境層面、互動(dòng)話語(yǔ)層面、模態(tài)和媒介層面。語(yǔ)境層又分為文化語(yǔ)境和情景語(yǔ)境，是TED演講話語(yǔ)分析的基礎(chǔ)和先決因素；互動(dòng)話語(yǔ)層的分析以“活動(dòng)”為單位，尤其是低層活動(dòng)，如手勢(shì)、身勢(shì)、面部表情等，同時(shí)考慮了說(shuō)話人對(duì)活動(dòng)不同的注意度；模態(tài)與媒介層面是互動(dòng)話語(yǔ)的具體體現(xiàn)形式，也是本文的研究重點(diǎn)。本研究將模態(tài)分為聽覺模態(tài)與視覺模態(tài)，擬分析模態(tài)的應(yīng)用、功能以及關(guān)系，并對(duì)話語(yǔ)的媒介進(jìn)行簡(jiǎn)要闡述。本研究以該框架為指導(dǎo)，采用自上而下的分析思路，探討TED演講模式中交際模態(tài)的應(yīng)用和分布情況，以及它們?nèi)绾喂餐瑯?gòu)建和傳達(dá)話語(yǔ)意義并實(shí)現(xiàn)傳播思想的目標(biāo)。研究的主要目的不是發(fā)現(xiàn)某種特定類型的話語(yǔ)中模態(tài)的應(yīng)用趨勢(shì)，而是以TED演講多模態(tài)語(yǔ)篇為例，揭示多模態(tài)演講在表達(dá)和交流思想上的潛力。

2. 研究設(shè)計(jì)

2.1 研究對(duì)象及研究問(wèn)題

本研究選用的語(yǔ)料來(lái)源是www. ted. com，從中選擇了Erika Hamden題為 “What it takes to launch a telescope”的演講，該演講視頻總時(shí)長(zhǎng)為7分18秒。演講中包含了豐富的模態(tài)，涉及聽覺模態(tài)及多種視覺模態(tài)，具有研究的價(jià)值和代表性。本研究旨在通過(guò)多模態(tài)互動(dòng)分析框架探討該TED多模態(tài)演講的模式，研究問(wèn)題為：1)影響TED演講模式構(gòu)建的語(yǔ)境因素有哪些？2)演講者話語(yǔ)中模態(tài)的整體應(yīng)用和分布有何特點(diǎn)?3)不同模態(tài)之間具有哪些協(xié)同關(guān)系，對(duì)演講產(chǎn)生了何種影響？

2.2 研究方法

本研究從質(zhì)性和量性兩個(gè)方面對(duì)該演講進(jìn)行系統(tǒng)分析。質(zhì)性研究是依據(jù)TED演講多模態(tài)互動(dòng)分析理論框架的3個(gè)層次：首先通過(guò)語(yǔ)料觀察和文獻(xiàn)參考得出該篇TED演講的語(yǔ)境特征和互動(dòng)話語(yǔ)的結(jié)構(gòu)，然后分析模態(tài)應(yīng)用的特點(diǎn)，最后研究模態(tài)的組合關(guān)系。量性研究采用多模態(tài)話語(yǔ)分析軟件ELAN (EUDICO Linguistic Annotator)。ELAN 是由荷蘭馬普心理語(yǔ)言學(xué)研究所開發(fā)的一個(gè)多模態(tài)話語(yǔ)分析軟件，廣泛運(yùn)用于態(tài)勢(shì)語(yǔ)研究、話語(yǔ)分析和口語(yǔ)語(yǔ)料庫(kù)建設(shè)等方面。本研究采用的版本是ELAN 5.8。該軟件可以精確到 0.01 秒，便于對(duì)動(dòng)態(tài)視頻的分割、標(biāo)記、定位以及循環(huán)播放。

研究步驟是：先在ELAN中根據(jù)編碼(表1)對(duì)視頻中出現(xiàn)的重要模態(tài)進(jìn)行分類標(biāo)注，再統(tǒng)計(jì)這些模態(tài)在視頻總時(shí)長(zhǎng)中出現(xiàn)的次數(shù)，最后根據(jù)分析結(jié)果總結(jié)語(yǔ)料中的模態(tài)關(guān)系，并探討這些關(guān)系對(duì)演講的影響。本研究的標(biāo)注模態(tài)分為聽覺模態(tài)(口語(yǔ)、音韻特征)和視覺模態(tài)(身勢(shì)、手勢(shì)、頭部運(yùn)動(dòng)、面部表情、PPT)，具體的分析范圍體現(xiàn)為表1中的編碼。

表1 模態(tài)編碼表

3. 分析與結(jié)果

3.1 語(yǔ)境特征分析

從文化語(yǔ)境的角度來(lái)看，對(duì)語(yǔ)篇的分析應(yīng)該包括語(yǔ)篇發(fā)生的社會(huì)背景、交際目的和體裁。本研究中TED演講的社會(huì)背景是西方文化。 在西方，演講有著重要的地位，已經(jīng)成為一種歷史悠久的文化。 西方人在演講中最大程度地使用了各種口頭技巧和肢體語(yǔ)言。 在TED中，演講者還可以使用多媒體技術(shù)來(lái)演示其演講的內(nèi)容，因此演講中應(yīng)用的交際模態(tài)更加多樣化。TED演講是表達(dá)思想的一種方式，宗旨是傳遞有價(jià)值的思想，這是一種具有創(chuàng)新性的分享文化，交際目的是說(shuō)服人們行動(dòng)起來(lái)做出改變。此外，本研究的TED語(yǔ)料的體裁屬于科技類語(yǔ)篇，具有一定的規(guī)范性和學(xué)術(shù)性。

情景語(yǔ)境包括話語(yǔ)范圍、話語(yǔ)基調(diào)和話語(yǔ)方式。話語(yǔ)范圍主要指內(nèi)容的深度及廣度，科技類話題涉及社會(huì)發(fā)展的前沿問(wèn)題且較為深?yuàn)W，但又與人們的生活息息相關(guān)。話語(yǔ)基調(diào)指的是參加者之間的關(guān)系，包括參加者的社會(huì)地位以及他們之間的角色關(guān)系。TED的演講者可以是科學(xué)家、教育工作者，也可以是在某個(gè)領(lǐng)域有新的發(fā)現(xiàn)且樂(lè)于分享的人，參加的觀眾一般是對(duì)此話題感興趣的人。TED演講具有學(xué)術(shù)性，但參加的人不一定有相關(guān)的知識(shí)背景，所以演講又帶有一定的口語(yǔ)性。話語(yǔ)方式是指受環(huán)境、設(shè)備、模態(tài)資源等影響的演講方式。TED是舞臺(tái)性現(xiàn)場(chǎng)演講，所以言語(yǔ)模態(tài)是演講的主要表達(dá)方式。舞臺(tái)設(shè)備一般包括一個(gè)大顯示屏，這也讓圖片、文字及視頻等視覺語(yǔ)言的表現(xiàn)形式能夠得以實(shí)現(xiàn)。

根據(jù)語(yǔ)境和演講目的，本研究將TED多模態(tài)互動(dòng)話語(yǔ)劃分為4個(gè)步驟：引入、主體、高潮和結(jié)尾。 這4個(gè)步驟屬于演講活動(dòng)中的4個(gè)高層活動(dòng)，在TED演講中以線性順序構(gòu)建，每個(gè)高層活動(dòng)又包括了不同的低層交際活動(dòng)，如手勢(shì)、頭部動(dòng)作等。引入部分的目的是引入主題，包括簡(jiǎn)短的自我介紹和主題介紹；主體部分用來(lái)闡述事實(shí)和擺明觀點(diǎn)，分配的時(shí)間最長(zhǎng)；高潮部分提出演講的主題思想，是演講者情感的表達(dá)點(diǎn)；結(jié)尾部分表達(dá)了未來(lái)的行動(dòng)和決心。通過(guò)這4個(gè)演講步驟，演講活動(dòng)才得以完成。下文將分析交際模態(tài)的具體分布和應(yīng)用。

3.2 模態(tài)的應(yīng)用及分布

從語(yǔ)言表達(dá)的形式層面和媒體層面來(lái)看，該TED演講主要分為視覺模態(tài)和聽覺模態(tài)，模態(tài)使用的整體特征如表2所示。

表2 視覺模態(tài)和聽覺模態(tài)的整體標(biāo)注數(shù)量

從表2可以看出：在本篇演講中，聽覺模態(tài)的標(biāo)注數(shù)量為380次，大于視覺模態(tài)的214次，這說(shuō)明了該演講中的聽覺模態(tài)占較大的比例，視覺模態(tài)處于次要地位。模態(tài)的具體表現(xiàn)形式如表3所示。

表3 視覺模態(tài)和聽覺模態(tài)的具體標(biāo)注數(shù)量

該TED演講的模態(tài)使用具體表現(xiàn)為口語(yǔ)的標(biāo)注數(shù)量最多，標(biāo)注時(shí)長(zhǎng)也遠(yuǎn)遠(yuǎn)多于其他模態(tài)，音韻特征的標(biāo)注數(shù)量次之。視覺模態(tài)中標(biāo)注次數(shù)最多的是手勢(shì)，其余的依次是：頭部動(dòng)作、身勢(shì)、面部表情和PPT。此外，該演講的引入部分、主體部分、高潮部分和結(jié)尾部分表現(xiàn)出不同的模態(tài)分布，各階段模態(tài)使用的特點(diǎn)如圖2所示。

圖2 演講各階段的模態(tài)分布

上圖中橫軸表示模態(tài)，豎軸是模態(tài)在不同演講階段使用的次數(shù)。從圖2可以看出，模態(tài)的分布在這4個(gè)階段的共同點(diǎn)是：PPT的使用在每個(gè)階段都較少，其中演講者用了少量圖片和視頻，突出了演講中的口語(yǔ)模態(tài)；口語(yǔ)中的重音、視覺語(yǔ)言中的開放性身體姿態(tài)較多，節(jié)拍手勢(shì)和隱喻手勢(shì)以及頭部左右擺動(dòng)的動(dòng)作在演講的各個(gè)階段都比較活躍。除此之外，模態(tài)的分布在不同階段具有差異性：引入階段中常出現(xiàn)口語(yǔ)中的重音、升降調(diào)，并且經(jīng)常結(jié)合視覺模態(tài)中的節(jié)拍手勢(shì)、點(diǎn)頭動(dòng)作和左右擺頭動(dòng)作來(lái)傳達(dá)信息；演講主體階段的模態(tài)最為豐富，語(yǔ)調(diào)中經(jīng)常出現(xiàn)重音、降升調(diào)、降調(diào)、停頓，加上手部的節(jié)拍動(dòng)作、隱喻手勢(shì)，以及頭部的左右擺動(dòng)，并且圖片也多次出現(xiàn)在主體部分；演講的高潮階段中，口語(yǔ)仍然是主要模態(tài)，口語(yǔ)中停頓、重音、升降調(diào)和降調(diào)經(jīng)常出現(xiàn)，節(jié)拍手勢(shì)以及左右擺頭動(dòng)作也較常出現(xiàn)，但表情多為嚴(yán)肅；演講結(jié)尾的口語(yǔ)次數(shù)較少，體現(xiàn)了演講者語(yǔ)言的精練，視覺模態(tài)中隱喻手勢(shì)和點(diǎn)頭動(dòng)作較多，表情多為微笑。

3.3 模態(tài)關(guān)系分析

模態(tài)之間的協(xié)同關(guān)系體現(xiàn)在該演講中，增加了演講的互動(dòng)意義。在該演講中，模態(tài)的組合方式有很多種，但篇幅有限，本文不再一一舉例。主要的模態(tài)組合有以下3種：口語(yǔ)、語(yǔ)調(diào)和手勢(shì)；口語(yǔ)、面部表情和頭部動(dòng)作；口語(yǔ)和圖片。下面就以這3種組合為例，從意義層面解釋其關(guān)系及產(chǎn)生的演講溝通效果。

(一)口語(yǔ)、語(yǔ)調(diào)和手勢(shì)

圖3 視頻截取畫面一

在這篇演講中，口語(yǔ)、語(yǔ)調(diào)和手勢(shì)的搭配組合最為常見，口語(yǔ)及語(yǔ)調(diào)都屬于聽覺模態(tài)，基本伴隨著演講的始終。演講者使用最多的視覺模態(tài)就是手勢(shì)，所以口語(yǔ)、語(yǔ)調(diào)和手勢(shì)的搭配在這篇演講中最多。以上圖為例，口語(yǔ)是“I’m an astronomer who builds telescopes”，語(yǔ)調(diào)為先升后降，并且伴隨節(jié)拍手勢(shì)。這3種模態(tài)屬于互補(bǔ)關(guān)系中的強(qiáng)化關(guān)系，就是說(shuō)一種模態(tài)是主要的交際形式，而另一種或者多種形式是對(duì)它的強(qiáng)化。在強(qiáng)化關(guān)系中，一種模態(tài)的形式只提供背景信息，比如語(yǔ)言是主要的交際形式，那么手勢(shì)、身勢(shì)等交際形式就只起強(qiáng)化作用。

演講者用這句話來(lái)開場(chǎng)并且介紹自己的身份。主句是升調(diào)，讓聽眾意識(shí)到這句話還不完整；從句是降調(diào)，是對(duì)主句的補(bǔ)充和細(xì)化，通過(guò)語(yǔ)調(diào)的變化引起觀眾的注意力。并且相應(yīng)的節(jié)拍手勢(shì)分別出現(xiàn)在“astronomer”和“telescope”，這與語(yǔ)調(diào)的變化和口語(yǔ)表達(dá)的重要信息相一致，因此它們是互補(bǔ)強(qiáng)化關(guān)系，使演講者更具有表現(xiàn)力，增強(qiáng)了語(yǔ)言的交流效果。

(二)口語(yǔ)、面部表情和頭部動(dòng)作

面部表情和頭部動(dòng)作在這篇演講中也得到了很好的展現(xiàn)，演講者在表達(dá)內(nèi)心情感時(shí)會(huì)把這兩種視覺模態(tài)，即肢體語(yǔ)言與口語(yǔ)相結(jié)合。圖4中的口語(yǔ)是“But I look at it, and it makes me want to cry”。句末有停頓，面部表情是嚴(yán)肅狀，頭部動(dòng)作是低頭頷首，若有所思。這3種模態(tài)屬于互補(bǔ)關(guān)系中的強(qiáng)化關(guān)系，面部表情和頭部動(dòng)作強(qiáng)調(diào)了語(yǔ)言所表達(dá)的情感。

圖4 視頻截取畫面二

這里演講者想表達(dá)的是在經(jīng)過(guò)很多的努力后，仍然要面對(duì)失敗時(shí)的心情。句末的停頓和面部的表情引發(fā)觀眾的思考，進(jìn)而想知道下面發(fā)生了什么。頭部及眼神朝向地面，避免與觀眾眼神的接觸，這種舞臺(tái)上流露的真性情更能使觀眾產(chǎn)生共鳴，這樣的演講也更能抓住人心，表達(dá)的信息遠(yuǎn)遠(yuǎn)多于單純的口語(yǔ)表達(dá)。

(三)口語(yǔ)和圖片

在這篇演講中，演講者使用了PPT的演示方法，主要運(yùn)用了圖片和少量的短視頻。以圖5為例，圖片出現(xiàn)時(shí)，演講者的口語(yǔ)是“And I have this picture that’s taken right around sunset on that day of our balloon, FIREBall hanging from it, and the nearly full moon”。圖片的底色是漆黑一片，圖片偏右是一輪圓月，稍偏左是一個(gè)類似淚滴的發(fā)光體，其實(shí)是承載望遠(yuǎn)鏡的氣球?？谡Z(yǔ)是對(duì)圖片的講解，圖片是對(duì)口語(yǔ)的呈現(xiàn)，所以這個(gè)圖片和口語(yǔ)是互補(bǔ)關(guān)系中的非強(qiáng)化關(guān)系，即兩種交際模態(tài)互補(bǔ)，但是缺一不可，即缺乏任何一者，內(nèi)容都將不完整。

圖5 視頻截取畫面三

另外，圖片中大大的圓月與渺小的氣球形成了鮮明的對(duì)比，為下文演講者解釋失敗的原因做鋪墊，黑色的圖片底色更是增添了神秘和感傷的色彩。演講者口語(yǔ)描述中的“sunset”“hang”“full”也加劇了傷感的氛圍和畫面的反差感，與觀眾產(chǎn)生了強(qiáng)烈的情感互動(dòng)。

(四) TED多模態(tài)演講模式

本研究在多模態(tài)互動(dòng)分析的框架下對(duì)TED演講進(jìn)行了語(yǔ)篇分析，通過(guò)自上而下對(duì)語(yǔ)境層面、互動(dòng)話語(yǔ)層面、模態(tài)及媒介層面進(jìn)行系統(tǒng)的分析，可以將該TED的演講模式概括為圖6。本研究從多模態(tài)角度對(duì)演講語(yǔ)篇進(jìn)行分析，區(qū)別于話語(yǔ)分析的視角，體現(xiàn)為兩點(diǎn)：一是基于多模態(tài)視角的分析綜合反映了講話者的話語(yǔ)特征，多維度和全方位地解釋了演講者話語(yǔ)信息的表達(dá)方式，對(duì)我們理解不同語(yǔ)境下的話語(yǔ)模態(tài)有啟發(fā)作用；二是對(duì)我們的指導(dǎo)也是立體的，演講不是一個(gè)純口語(yǔ)性的活動(dòng)，身體語(yǔ)言和非身體語(yǔ)言都需要調(diào)動(dòng)起來(lái)，甚至周圍的環(huán)境、道具、布置都是表達(dá)的方式，這使我們對(duì)演講有更全面的認(rèn)識(shí)。

圖6 TED多模態(tài)演講模式

4. 討論及建議

通過(guò)對(duì)TED多模態(tài)演講模式的分析，主要得出以下三點(diǎn)啟示：

4.1 注意語(yǔ)境和交際目的對(duì)交際形式的影響

交際的形式在本文中指交際模態(tài)，即手勢(shì)、姿勢(shì)、面部表情等。交際發(fā)生的語(yǔ)境和目的對(duì)交際模態(tài)的選擇具有重要影響。正如Norris(2004)所說(shuō)，交際模態(tài)是基于一定的語(yǔ)境和文化發(fā)生的。本文中TED演講的社會(huì)語(yǔ)境屬于西方，尤其是發(fā)生在美國(guó)文化中，在一定程度上決定了演講的模式。文化批評(píng)家黛博拉·卡梅隆(Cameron 2005)將英美演講文化定義為“對(duì)真實(shí)、完整和可呈現(xiàn)自我的永久追求”。演講者被要求以自己的名義發(fā)言，表達(dá)自己的觀點(diǎn)；并且不僅以真實(shí)的方式說(shuō)話，而且要成為一個(gè)真實(shí)的人，這樣才能獲得觀眾的信任和共鳴。本文中的TED演講體裁是科技類話題演講，體現(xiàn)了演講內(nèi)容的學(xué)術(shù)性。但TED演講的目的是分享思想，是面向大眾的，觀眾不一定有專業(yè)的知識(shí)背景。尤其是在網(wǎng)絡(luò)環(huán)境的影響下，交際雙方都在發(fā)生變化。TED的演講者不再局限于專家學(xué)者，觀眾分為實(shí)時(shí)觀眾和線上觀眾，所以觀眾的知識(shí)背景參差不齊。那么，要在有限的時(shí)間內(nèi)完成演講并且達(dá)到傳遞思想的效果，演講者語(yǔ)言的真實(shí)性要高于正式性，比如通過(guò)一些話語(yǔ)標(biāo)記語(yǔ)，如“well”“you know”“you guys”等營(yíng)造親切的氛圍。因此，在多模態(tài)的背景下，演講能力包括了句法能力、文化能力及體裁能力(Rossette-Crake 2020),成功的英語(yǔ)演講不僅能夠運(yùn)用正確的單詞和使用正確的語(yǔ)法，還需要意識(shí)到并掌握背后的具體文化習(xí)俗。

4.2 要善于運(yùn)用言語(yǔ)及非言語(yǔ)模態(tài)

言語(yǔ)模態(tài)在演講中一般都是主要的模態(tài)，但也要善于使用視覺模態(tài)，如頭部動(dòng)作、身體姿勢(shì)、面部表情和PPT等，這也是與觀眾互動(dòng)的有效手段。口語(yǔ)模態(tài)中音韻特征的變化經(jīng)常容易被演講者忽略，但是音調(diào)的變化對(duì)話語(yǔ)的意義產(chǎn)生了很大的影響。在該TED演講中，上升語(yǔ)調(diào)較少，且出現(xiàn)在疑問(wèn)句后，大部分的句子都是以降調(diào)結(jié)尾，這也傳達(dá)出了一種確定性和可信性。演講中停頓的恰當(dāng)使用既給了觀眾思考的時(shí)間，也更容易使觀眾產(chǎn)生共鳴。此外，重讀也能增強(qiáng)語(yǔ)言表達(dá)的效果，所以言語(yǔ)模態(tài)中的音韻特征是演講中不可忽略的一部分。言語(yǔ)和非言語(yǔ)模態(tài)共同使用時(shí)，應(yīng)該把握不同模態(tài)結(jié)合的關(guān)系。話語(yǔ)的真實(shí)意義總是被不同的模態(tài)共同構(gòu)建的(Norris 2004)。因此，演講者要根據(jù)演講每個(gè)階段的目的，結(jié)合聽覺與視覺模態(tài)共同表達(dá)話語(yǔ)意義。該TED演講中模態(tài)的關(guān)系通常是互補(bǔ)關(guān)系，手勢(shì)、身勢(shì)、頭部動(dòng)作及面部表情這幾個(gè)模態(tài)以身體為媒介，對(duì)言語(yǔ)的意義起到了強(qiáng)化及突出的作用。而PPT不以講話者身體為媒介，能夠與言語(yǔ)協(xié)調(diào)完成話語(yǔ)意義。總之，視覺模態(tài)與聽覺模態(tài)相互作用，共同構(gòu)建了話語(yǔ)意義，實(shí)現(xiàn)了TED傳遞思想的目的。

4.3 交際模態(tài)的選擇要遵循一定的原則

本研究發(fā)現(xiàn)模態(tài)結(jié)合的密度會(huì)隨著話語(yǔ)意義的不斷推進(jìn)而變化。演講的闡述階段是主體部分，觀點(diǎn)的闡述以及觀點(diǎn)的論證都會(huì)在這一部分得到集中的展示，所以闡述部分的模態(tài)使用密度最強(qiáng)。但模態(tài)的選擇和使用有一定的規(guī)律可尋，并非是隨意的。張德祿(2010)在外語(yǔ)教學(xué)設(shè)計(jì)中提出了對(duì)模態(tài)系統(tǒng)選擇的原則，總原則是最佳效果原則，下面包括3個(gè)一般原則：有效原則、適配原則和經(jīng)濟(jì)原則。本文認(rèn)為這幾個(gè)原則在演講的模態(tài)使用中同樣適用。其中有效原則指模態(tài)的使用要對(duì)話語(yǔ)意義產(chǎn)生正效應(yīng)，如PPT在演講中的使用。PPT作為一種工具對(duì)話語(yǔ)意義的表達(dá)提供了便利，這遵循了工具原則。再如TED舞臺(tái)的設(shè)計(jì)是與觀眾平視的角度，舞臺(tái)的布置非常簡(jiǎn)單，只突出了大會(huì)的標(biāo)志和演講者，從內(nèi)部激發(fā)觀眾把注意力不自覺地集中到舞臺(tái)的演講者身上，這是模態(tài)發(fā)揮的引發(fā)作用，即引發(fā)原則。

此外，模態(tài)的選擇要遵循適配原則，即把握模態(tài)之間的關(guān)系。模態(tài)之間的關(guān)系在前文已經(jīng)提到，這里不再贅述。最后，演講中模態(tài)的選擇要遵循經(jīng)濟(jì)原則，以最小的代價(jià)換取最優(yōu)的效果。比如PPT是當(dāng)今交流的重要輔助形式，但是過(guò)于花哨和復(fù)雜的視覺設(shè)計(jì)反而會(huì)帶來(lái)負(fù)面的效果，尤其是TED演講的潛在觀眾是來(lái)自不同國(guó)家和不同背景的人群，PPT中的視覺元素一定要簡(jiǎn)潔有力，所以簡(jiǎn)單的圖片和文字是PPT的主要展現(xiàn)方式。這點(diǎn)在Theunissen(2014)的研究中有過(guò)類似的研究結(jié)果，通過(guò)對(duì)TED演講PPT展示中視覺模態(tài)的研究，該報(bào)告發(fā)現(xiàn)TED演講者傾向于應(yīng)用較少技術(shù)的視覺演示以迎合背景知識(shí)較少的聽眾。

5. 結(jié)語(yǔ)

通過(guò)ELAN標(biāo)注統(tǒng)計(jì)該TED演講多模態(tài)話語(yǔ)中的口語(yǔ)、音韻特征、身勢(shì)、手勢(shì)、頭部動(dòng)作、面部表情、PPT, 并對(duì)它們的使用情況和相互關(guān)系進(jìn)行分析, 本研究發(fā)現(xiàn)該演講者的口語(yǔ)模態(tài)是主模態(tài)，口語(yǔ)中常用升降調(diào)和重音，視覺模態(tài)中多用節(jié)拍手勢(shì)和左右轉(zhuǎn)頭動(dòng)作，PPT中用了圖片和視頻兩種表現(xiàn)形式。隨著演講的推進(jìn)，每個(gè)階段都有側(cè)重使用的模態(tài)，視覺模態(tài)與聽覺模態(tài)互為補(bǔ)充，促進(jìn)了思想的傳遞，共同體現(xiàn)了演講的互動(dòng)意義并增添了演講的效果。

總之，TED演講是非常有價(jià)值的多模態(tài)話語(yǔ)分析語(yǔ)料。本文結(jié)合多模態(tài)互動(dòng)分析理論對(duì)該TED演講進(jìn)行了定性和定量的研究，但是現(xiàn)實(shí)的分析過(guò)程比理論更為復(fù)雜多樣，比如TED視頻拍攝的遠(yuǎn)景導(dǎo)致有些手勢(shì)無(wú)法識(shí)別，這可能會(huì)影響整體的數(shù)據(jù)分布。作者深知本研究不能代表所有演講的模態(tài)特點(diǎn)，因此，僅以此文的個(gè)案為例來(lái)探討演講中模態(tài)運(yùn)用及意義表達(dá)的潛力，啟發(fā)演講者學(xué)習(xí)多模態(tài)演講的方法。以后的研究應(yīng)該擴(kuò)大研究范圍，建立語(yǔ)料庫(kù)進(jìn)行多模態(tài)話語(yǔ)分析會(huì)是今后的發(fā)展趨勢(shì)。