王雯珂

摘?要：TED演講風(fēng)靡全球，不同領(lǐng)域的新發(fā)現(xiàn)、新思想觸手可及，已然成為最大的網(wǎng)絡(luò)學(xué)習(xí)社區(qū)之一，其傳播思想的力量不容小覷。然而，之前對(duì)于TED的相關(guān)研究大多集中于語言層面，演講中多模態(tài)的運(yùn)用還未得到足夠的重視。本文以Sigrid Norris的多模態(tài)互動(dòng)分析為理論框架，分析演講者的交際模態(tài)，低層活動(dòng)和高層活動(dòng)的運(yùn)用，并通過分析模態(tài)密度，展現(xiàn)演講者對(duì)同時(shí)進(jìn)行的各項(xiàng)活動(dòng)的注意程度，探析演講及互動(dòng)過程中多模態(tài)的運(yùn)用機(jī)制。

關(guān)鍵詞： TED; 科技類; 多模態(tài)互動(dòng)分析

中圖分類號(hào)：H313??????文獻(xiàn)標(biāo)識(shí)碼：A?????文章編號(hào)：1672-8122（2020）02-0043-03

一、引?言

近年來，多模態(tài)話語的研究已成為熱點(diǎn)，對(duì)多模態(tài)話語研究的各種理論與方法也紛紛出現(xiàn)。如今被廣泛應(yīng)用的多模態(tài)研究途徑可以分為五大類，即社會(huì)符號(hào)學(xué)研究、系統(tǒng)功能語法的多模態(tài)研究、多模態(tài)互動(dòng)分析、多模態(tài)隱喻研究以及多模態(tài)語料庫研究[1]。作為多模態(tài)的研究視角之一，多模態(tài)互動(dòng)分析已在學(xué)術(shù)界得到較為廣泛的認(rèn)可，但是國內(nèi)相關(guān)研究卻很少見，只有少數(shù)評(píng)價(jià)性文章對(duì)其進(jìn)行了簡單介紹[2]。多模態(tài)互動(dòng)分析以視頻錄像為研究對(duì)象，本文嘗試運(yùn)用多模態(tài)互動(dòng)分析的研究方法對(duì)TED科技類演講中播放量最高的演講視頻進(jìn)行分析，探討演講過程中多模態(tài)的運(yùn)用機(jī)制。

二、研究對(duì)象及研究方法

TED是科技（Technology）、娛樂（Entertainment）和設(shè)計(jì)（Design）的縮寫，旨在傳遞新思想，用思想的力量改變世界。本文以TED科技類演講中播放量最高的演講《This is what happens when you reply to spam email》為研究對(duì)象。

本文運(yùn)用多模態(tài)互動(dòng)分析框架分析James Veitch的演講，探討演講人如何運(yùn)用多模態(tài)進(jìn)行互動(dòng)。Sigrid Norris在2004年的著作《Analyzing Multimodal Interaction： A Methodological Framework》[3]初步構(gòu)建了多模態(tài)互動(dòng)分析的理論框架。植根于中介話語分析，并結(jié)合互動(dòng)社會(huì)語言學(xué)，以及社會(huì)符號(hào)學(xué)，多模態(tài)互動(dòng)分析包含了大量的方法論工具，可以用來分析任何復(fù)雜的人類活動(dòng)[4]。

手勢(shì)、目光等模態(tài)被稱為非語言模態(tài)（Nonverbal mode），而 Norris認(rèn)為這種表達(dá)暗含著它們都是附屬于言語模態(tài)（Verbal mode）的意義，但姿勢(shì)、目光等模態(tài)在一定情況下也能在交流中占主導(dǎo)地位[3]。因此，Norris根據(jù)媒介特點(diǎn)，把交流模態(tài)（Communicative modes）分為身體模態(tài)（Embodied mode）和非身體模態(tài)（Disembodied mode）。多模態(tài)互動(dòng)分析以中介活動(dòng)（Mediated action）為基本分析單位，把活動(dòng)分為低層活動(dòng)（Lower-level action）、高層活動(dòng)（Higher-level action）和凝固活動(dòng)（Frozen action）。低層活動(dòng)是最小意義的分析單位，如一句話，由一種交流模態(tài)完成。高層活動(dòng)是由一系列的低層活動(dòng)構(gòu)成的，如一次會(huì)議、一篇演講，由多種模態(tài)共同構(gòu)成。凝固活動(dòng)是指活動(dòng)發(fā)生的環(huán)境以及環(huán)境中的物體。

高層活動(dòng)中，模態(tài)強(qiáng)度（Modal intensity）和模態(tài)復(fù)雜度（Modal complexity）決定模態(tài)密度（Modal density）。模態(tài)強(qiáng)度越大，模態(tài)密度越高;模態(tài)使用越復(fù)雜，模態(tài)密度越高。模態(tài)強(qiáng)度是指一種模態(tài)在互動(dòng)過程中的重要性或權(quán)重[2]，分為三類：即高模態(tài)強(qiáng)度、中模態(tài)強(qiáng)度和低模態(tài)強(qiáng)度。一種模態(tài)改變或停止，高層活動(dòng)也隨之改變或停止，即這個(gè)模態(tài)承擔(dān)高模態(tài)強(qiáng)度。模態(tài)復(fù)雜度意味著多種模態(tài)互相作用，任何模態(tài)的改變或停止不會(huì)對(duì)高層活動(dòng)產(chǎn)生根本影響。

互動(dòng)過程中，活動(dòng)者能同時(shí)構(gòu)建多種高層活動(dòng)，但只能在一種高層活動(dòng)上集中注意力。因此，Norris提出前景背景連續(xù)體這一概念，描述活動(dòng)者在同時(shí)發(fā)生的多種高層活動(dòng)上的注意程度。模態(tài)密度與活動(dòng)者對(duì)高層活動(dòng)的注意程度呈正相關(guān)[2]。模態(tài)密度分為三種，相應(yīng)地，注意程度也分為前景、中景和背景。高層活動(dòng)的模態(tài)密度高，那么活動(dòng)者的注意程度處于前景，模態(tài)密度下降，注意程度也會(huì)下降。圖1為模態(tài)密度和前景背景連續(xù)體示意圖。

圖1?模態(tài)密度和前景背景連續(xù)體示意圖注意程度的改變由凸顯的低層活動(dòng)指示出來，Norris把這些指示前景活動(dòng)轉(zhuǎn)換的低層活動(dòng)稱為手段（Means）。手段具有兩種功能：語義功能和語用功能。當(dāng)手段用來幫助活動(dòng)者組織自身的注意力程度，并標(biāo)志了前景高層活動(dòng)的開始與結(jié)束，那么手段承擔(dān)了語義功能。當(dāng)手段幫助其他參與者發(fā)覺出前景高層活動(dòng)的轉(zhuǎn)換，此時(shí)手段承擔(dān)了語用功能。本文運(yùn)用多模態(tài)互動(dòng)分析中的低層活動(dòng)與高層活動(dòng)、模態(tài)密度和前景背景連續(xù)體以及手段來展示在演講中多模態(tài)的運(yùn)行機(jī)制。

三、TED演講視頻的多模態(tài)互動(dòng)分析

（一） 低層活動(dòng)和高層活動(dòng)

James Veitch在TED發(fā)表《This is what happens when you reply to spam email》為主題的演講，他花費(fèi)三年的時(shí)間回復(fù)垃圾郵件，James Veitch 便分享了他在這個(gè)過程中和名叫Solomon Odonkoh和Wennie Mandela兩個(gè)詐騙犯的郵件往來。

圖2?四種同時(shí)進(jìn)行的高層活動(dòng)圖2展示了同時(shí)進(jìn)行的四種高層活動(dòng)，第一行的第一個(gè)圖是James講述曾收到的一封垃圾郵件，第二幅圖中，James站姿稍傾斜，左腳向后，說到這封郵件能成功通過垃圾郵件過濾器時(shí)，右手在空中劃了三圈以表示“通過”這個(gè)動(dòng)作，之后把手收回身前，同時(shí)左腿向外打開。第四幅圖中，James表示他也不能確定這封垃圾郵件是如何能夠做到避開過濾器的，他雙手打開在空中擺動(dòng)表示疑惑。接著他收回手，并抬高右手強(qiáng)調(diào)這封垃圾郵件確實(shí)出現(xiàn)在他的郵箱中，在表示“出現(xiàn)”時(shí)，右手在空中進(jìn)行了向下拍打的動(dòng)作。隨后把手收回腰間，手肘彎曲，手掌放在腰間，說出這封郵件是來自一個(gè)叫做Solomon Odonkoh的人，這時(shí)James并沒有繼續(xù)講話，同時(shí)嘴唇向下撇并向外撅，表示對(duì)郵件人的名字感到驚訝，并保持了一秒鐘，在等觀眾的反應(yīng)。之后自己接著說“I know”，仿佛了解觀眾發(fā)笑的原因。之后，James把手放下去，低頭看向左手中拿的多媒體播放器，按下控制器，抬起頭，左手抬高至胸前，并向觀眾讀出多媒體播放器上的內(nèi)容。

在這12張圖中，演講者James運(yùn)用到的低層活動(dòng)包含每一句話、每一個(gè)手勢(shì)、每一種姿勢(shì)，如身體的傾斜、腿部的移動(dòng)和目光的轉(zhuǎn)移，這些低層活動(dòng)共同構(gòu)成了高層活動(dòng)。在這幅圖組中，演講者同時(shí)進(jìn)行了四種高層活動(dòng)：演講、與觀眾互動(dòng)、展示多媒體，與進(jìn)行TED演講的錄制，這四種高層活動(dòng)也包含著許多低層活動(dòng)鏈。

（二） 模態(tài)密度和前景背景連續(xù)體

演講、與觀眾互動(dòng)、展示多媒體與錄制演講這四個(gè)高層活動(dòng)是同時(shí)進(jìn)行的，但是活動(dòng)者一次只能完全集中在一個(gè)高層活動(dòng)上，通過分析模態(tài)密度可以發(fā)現(xiàn)演講者對(duì)四種高層活動(dòng)的注意程度。在演講這一高層活動(dòng)中，演講者雖然使用了多種模態(tài)，例如，雙手打開、目光直視觀眾，以及姿勢(shì)的變換，但是這一高層活動(dòng)卻承擔(dān)著高模態(tài)強(qiáng)度，這是因言語模態(tài)起到了關(guān)鍵性作用，言語模態(tài)一旦停止，演講這一高層活動(dòng)也會(huì)隨之停止，因此演講這一高層活動(dòng)具有高模態(tài)密度，演講者需要完全集中注意于語言的表達(dá)，是前景化高層活動(dòng)。

與觀眾互動(dòng)這一高層活動(dòng)只是在演講停頓間隙完成的，演講者在說完垃圾郵件發(fā)件人的名字后，停頓了一秒鐘沒有講話，等待觀眾的反應(yīng)，又對(duì)觀眾的反應(yīng)做出肯定，說出“I know”。這些不同模態(tài)的低層活動(dòng)共同構(gòu)成高層活動(dòng)，其中并沒有任何模態(tài)改變或停止后會(huì)影響到高層活動(dòng)。同時(shí)，與觀眾互動(dòng)只是在演講中間發(fā)生的，James只是分散出一些注意力與觀眾互動(dòng)，但并未把全部的注意力集中在這上面，演講仍然占據(jù)他最多注意力。因此與觀眾互動(dòng)這一高層活動(dòng)的模態(tài)密度是由模態(tài)復(fù)雜度完成，并且具有中模態(tài)密度，處于演講者注意程度的中景。

展示多媒體這一高層活動(dòng)則具有高模態(tài)密度，且由高模態(tài)強(qiáng)度和高模態(tài)復(fù)雜度共同構(gòu)成。首先，在這一高層活動(dòng)中，物質(zhì)世界中的多媒體播放器承擔(dān)了高模態(tài)強(qiáng)度，如果多媒體播放器停止使用，那么就無法再向觀眾進(jìn)行展示。其次，在此高層活動(dòng)中，多種模態(tài)相互作用，模態(tài)使用較為復(fù)雜，為播放多媒體，James手握播放器，并按下，隨之演講者把頭抬起看向播放屏幕，同時(shí)用言語模態(tài)念出播放器上的文字。在此高層活動(dòng)中，演講者的注意力集中在播放多媒體上，對(duì)演講的注意力稍微降低，因此展示多媒體是前景化高層活動(dòng)。

進(jìn)行演講的錄制這一高層活動(dòng)是從James演講開始直到演講結(jié)束一直在進(jìn)行的，演講者進(jìn)行演講時(shí)能意識(shí)到錄影，這一高層活動(dòng)在他整個(gè)演講過程中也會(huì)存在于他的意識(shí)中，但他并未過多地關(guān)注這一件事，因此，演講的錄制這一高層活動(dòng)具有較低的模態(tài)密度，是背景化高層活動(dòng)。

（三）手段

在四種同時(shí)進(jìn)行的高層活動(dòng)中，有兩個(gè)都是前景化高層活動(dòng)。演講者組織自己的前景化活動(dòng)的轉(zhuǎn)變，以及參與者能夠意識(shí)到這個(gè)轉(zhuǎn)變都是通過手段實(shí)現(xiàn)的。

圖3?前景化高層活動(dòng)的轉(zhuǎn)變?nèi)鐖D2中第三行第三幅圖，演講者通過按下手中控制器這一手段，前景化高層活動(dòng)從演講轉(zhuǎn)變到展示多媒體。演講者運(yùn)用這一手段組織自己前景化高層活動(dòng)轉(zhuǎn)變，而且示意觀眾前景化高層活動(dòng)的改變。又如圖3中第二行圖片，觀眾目光原本都集中在演講者身上，他們的前景化高層活動(dòng)就是在認(rèn)真聽演講，但是演講者通過手段轉(zhuǎn)變了前景化高層活動(dòng)，相應(yīng)地，觀眾都抬起頭，看向多媒體播放器。

四、結(jié)?語

運(yùn)用Norris的多模態(tài)互動(dòng)分析框架，本文對(duì)TED科技類演講中播放量最高的James Veitch的《This is what happens when you reply to spam email》演講從低層活動(dòng)和高層活動(dòng)，模態(tài)密度和前景背景連續(xù)體，以及手段三個(gè)方面進(jìn)行分析。James頻繁使用了言語、手勢(shì)、目光，姿勢(shì)以及外部環(huán)境中的多媒體，這些低層活動(dòng)組合鏈又構(gòu)成了演講、與觀眾互動(dòng)、展示多媒體與錄制TED演講這四種高層活動(dòng)。其中，演講和與觀眾互動(dòng)模態(tài)密度高，是前景化高層活動(dòng)，兩個(gè)前景化高層活動(dòng)通過演講者按下多媒體控制器進(jìn)行轉(zhuǎn)變。通過多模態(tài)互動(dòng)分析，在演講過程中，演講者對(duì)多種模態(tài)的協(xié)調(diào)運(yùn)用可以清晰地呈現(xiàn)出來。本文是多模態(tài)互動(dòng)分析運(yùn)用于演講視頻的一次嘗試，同時(shí)也期望能夠?qū)ρ葜v者提供一定的幫助。

參考文獻(xiàn)：

[1]?馮德正， 張德祿， Kay O'Halloran.多模態(tài)語篇分析的進(jìn)展與前沿[J].當(dāng)代語言學(xué)， 2014， 16（1）： 88-99.

[2]?張德祿， 王正. 多模態(tài)互動(dòng)分析框架探索[J].中國外語，2016，13（2）：54-61.

[3]?Norris Sigrid.Analyzing Multimodal Interaction：A Methodological Framework[M].London：Routledge，2004.

[4]?Norris Sigrid and Jesse Pirini.Communicating knowledge，getting attention，and negotiating disagreement via videoconferencing technology：A multimodal analysis[J].Journal of Organizational Knowledge Communication，2017，3（1）：23–48.

[責(zé)任編輯：楊楚珺]