劉凱

摘? ? 要： 本文回顧了國外會(huì)話分析的多模態(tài)研究發(fā)展過程;指出了多模態(tài)序列組織是多模態(tài)交際的核心原則，并探索了多模態(tài)投射發(fā)生的心理學(xué)基礎(chǔ)，認(rèn)為言身應(yīng)對(duì)中的前件、后件行為的關(guān)系主要體現(xiàn)為準(zhǔn)備性，而不是簡單體現(xiàn)為時(shí)間上的先后序列關(guān)系。指出多模態(tài)交際的轉(zhuǎn)寫本身就是研究過程，運(yùn)用多模態(tài)語料庫分析是一種較為客觀的描寫方法。本文總結(jié)了會(huì)話分析視角在多模態(tài)研究中的優(yōu)勢并做出了展望。

關(guān)鍵詞： 會(huì)話分析? ? 多模態(tài)? ? 序列? ? 言身? ? 語料庫

引言

自二十世紀(jì)九十年代以來，多模態(tài)研究逐漸成為社會(huì)科學(xué)領(lǐng)域和語言學(xué)研究的熱點(diǎn)之一。人們從多個(gè)領(lǐng)域?qū)Χ嗄B(tài)現(xiàn)象進(jìn)行了深入研究，取得了豐碩成果。本研究認(rèn)為，從多角度、全方位考察多模態(tài)現(xiàn)象，才有可能發(fā)現(xiàn)各種非語言模態(tài)的表意規(guī)律及交際行為模式的特點(diǎn)。由于（具身）交際行為涉及個(gè)體的行為、動(dòng)作，因此多模態(tài)研究中必然需要對(duì)個(gè)體的言語與行為進(jìn)行社會(huì)學(xué)研究。然而，與國外相比，國內(nèi)現(xiàn)有多模態(tài)研究卻鮮有對(duì)自然狀態(tài)下的真實(shí)言語及交際行為進(jìn)行系統(tǒng)研究：研究者們傾向于人為設(shè)定語料，因此這些語料（語言、非語言文本）要么過于“理想化”，只反映人們交際中的極端情況，要么是從實(shí)驗(yàn)中收集的數(shù)據(jù)無法避免變量的影響（于國棟，2017）。會(huì)話分析（conversational analysis， 以下簡稱CA）的多模態(tài)交際研究恰恰就是基于真實(shí)的日常語料，對(duì)采集的語料予以轉(zhuǎn)寫，揭示交際中言語及具身行為的內(nèi)在秩序與規(guī)律。本文從CA視角出發(fā)，根據(jù)已有研究，對(duì)自然狀態(tài)下的多模態(tài)具身交際行為進(jìn)行一般理論闡述，對(duì)目前國內(nèi)為數(shù)不多的會(huì)話視角的多模態(tài)研究進(jìn)行簡單梳理，對(duì)未來該領(lǐng)域的生長點(diǎn)進(jìn)行初步探討。

1.研究現(xiàn)狀

1.1多模態(tài)研究的常見視角

目前，國內(nèi)外多模態(tài)研究的流派和方法眾多，總的來看，主要研究視角（或路徑）包括社會(huì)功能視角、認(rèn)知理論視角及語料庫語言學(xué)視角（馮德正，張德祿，Kay OHalloran， 2014）。由于國外CA研究的社會(huì)學(xué)淵源，研究者們一開始就注意到將非語言模態(tài)納入研究范圍（郭恩華，張德祿，2017）。國內(nèi)研究者們緊跟前沿動(dòng)態(tài)，一般從功能、認(rèn)知和語料庫等角度入手，但目前將CA作為一種新的視角研究多模態(tài)交際的情況尚不多見，主要有郭恩華、張德祿（2017）及郭恩華（2018）、靳晟（2017）三篇與此相關(guān)的文獻(xiàn)。國內(nèi)相關(guān)研究偏少，可以在這個(gè)方面做出更多探索。

1.2 CA領(lǐng)域多模態(tài)交際研究的發(fā)展過程

CA領(lǐng)域?qū)⒛B(tài)視為一種社會(huì)行為資源。CA領(lǐng)域的多模態(tài)交際研究始于二十世紀(jì)六七十年代，與CA的誕生同步。在CA誕生之初，人們開始認(rèn)識(shí)到只關(guān)注語言模態(tài)勢必會(huì)遺漏其他很多重要的投射資源及其意義，因此，非語言交際一開始就伴隨著語言交際一起被納入CA研究范圍內(nèi)。當(dāng)時(shí)人們利用錄音、錄像設(shè)備對(duì)自然狀態(tài)下人們的日常交際行為進(jìn)行轉(zhuǎn)寫、分析，試圖發(fā)現(xiàn)人類（言語交際與具身行為）交際行為規(guī)律與模式，并揭示這些規(guī)律和模式背后的社會(huì)秩序。“會(huì)話分析研究基于的是言談應(yīng)對(duì)（talk-in-interaction） ，而不僅僅是語言”（于國棟，2017）。此外，CA強(qiáng)調(diào)以自然發(fā)生的真實(shí)交際活動(dòng)作為語料，“任何基于想象、實(shí)驗(yàn)、回憶及觀察的語料都被CA所排斥”（郭恩華，張德祿，2017）。這個(gè)階段可以粗略地看成CA的多模態(tài)起始階段。進(jìn)入二十一世紀(jì)后，由于計(jì)算機(jī)等相關(guān)技術(shù)大規(guī)模應(yīng)用，很多其他社會(huì)科學(xué)領(lǐng)域的多模態(tài)研究日益成為熱點(diǎn)，此時(shí)CA的研究者則更加重視多模態(tài)交際研究特別是對(duì)具身交際行為的分析。表現(xiàn)在人們“開始系統(tǒng)地考察非語言模態(tài)在自然交際中的組織程序;研究對(duì)象從言談應(yīng)對(duì)拓展為言身應(yīng)對(duì)（talk-and-body-in-interaction）”（郭恩華，張德祿，2017）。雖然前一階段對(duì)具身行為也有所涉及，但并未形成主流，在CA多模態(tài)研究形成潮流的階段，人們更加關(guān)注具身模態(tài)，更注重對(duì)具身行為刻錄視頻的研究。

2.多模態(tài)投射的語境依賴性及其心理學(xué)基礎(chǔ)

“投射”關(guān)注的是話輪、話輪構(gòu)建單元前件行為等如何預(yù)示、暗指或映射可能的后件行為，有時(shí)指對(duì)他人行為的后續(xù)干預(yù)以規(guī)避某些投射的可能（Schegloff， 1984：267）。由于多模態(tài)投射關(guān)涉具身行為，因此必須考慮具身行為的前、后件行為之間的相關(guān)性。那么，人類互動(dòng)時(shí)個(gè)體之間的具身互動(dòng)是如何產(chǎn)生的呢？現(xiàn)代心理學(xué)研究認(rèn)為，人類大腦皮層中的一種特殊的感覺—運(yùn)動(dòng)神經(jīng)元，即鏡像神經(jīng)元（mirror neurons，簡稱MN），（它能）將他人的動(dòng)作與個(gè)體自身的運(yùn)動(dòng)系統(tǒng)相匹配，以自身動(dòng)作的神經(jīng)環(huán)路對(duì)他人的動(dòng)作做出回應(yīng)，促進(jìn)了人際溝通與理解，因而成為社會(huì)溝通的“神經(jīng)橋梁”（葉浩生，2016）。MN最典型特征是在“動(dòng)作理解”與“動(dòng)作執(zhí)行”時(shí)都被激活。當(dāng)觀察到他人做出某一具身行為時(shí)，個(gè)體的神經(jīng)環(huán)路被激活，MN產(chǎn)生了具身模擬，使個(gè)體能夠理解他人動(dòng)作意圖并由此做出相應(yīng)的回應(yīng)。例如，手術(shù)中的主刀醫(yī)生只需伸出手掌，助理醫(yī)師就能理解其意圖并作出正確的回應(yīng)——遞上其所需器械、物品，這種默契無疑是建立在對(duì)醫(yī)生動(dòng)作意圖及手術(shù)流程理解基礎(chǔ)上的。SFL認(rèn)為，不考慮情景語境的表述是無意義的，又認(rèn)為語義是語言與社會(huì)語境或情景的交叉（胡壯麟，朱永生等。2017）?？梢哉f，以上“模態(tài)”只有置于特定語境之中才能解釋交際行為的意義。再例如，籃球比賽中的運(yùn)動(dòng)員傳球時(shí)需要隊(duì)友的配合，往往將目光投向籃板而無須任何言語便能使隊(duì)友瞬間領(lǐng)會(huì)自己傳球的意圖?！澳抗馔断蚧@板”這一具身行為只有在籃球競技中具有獨(dú)特意義，為同伴所識(shí)解。這種互動(dòng)的默契體現(xiàn)了具身動(dòng)作的前瞻性（forward-looking），本質(zhì)是在特定語境下互動(dòng)之間行為的準(zhǔn)備性，這種“特定語境”就是前件行為對(duì)后件行為的一種投射關(guān)系。CA視角的多模態(tài)研究的特點(diǎn)之一，是將話語考察置于動(dòng)態(tài)的互動(dòng)秩序之中，進(jìn)而發(fā)現(xiàn)互動(dòng)的規(guī)律。這些回應(yīng)其實(shí)就是“多模態(tài)投射”。由此可見，人類互動(dòng)時(shí)的多模態(tài)投射有深刻的心理學(xué)根源。

3.CA多模態(tài)研究的基本原則——序列組織

在純會(huì)話分析中，序列組織是言談應(yīng)對(duì)的基本組織方法，與話輪轉(zhuǎn)換強(qiáng)調(diào)簡單的時(shí)間先后順序不同，前者側(cè)重于先后序列的相關(guān)性，即序列的“鏈條”呈現(xiàn)某種因果聯(lián)系。在這種因果關(guān)系中，有一個(gè)重要概念是“毗鄰對(duì)”，被Schegloff等人視作序列組織的基本形式（1973）。毗鄰對(duì)本質(zhì)上是一種規(guī)約性結(jié)構(gòu)，包括前件和后件，如教師的提問與學(xué)生根據(jù)提問做出的回答。盡管人們最初提出“毗鄰對(duì)”主要用于分析會(huì)話（Schegloff & Sacks， 1973），但其應(yīng)用范圍并不限于話輪組織（Heritage，1989），還可以用來分析多模態(tài)交際行為（或稱“毗鄰行為”）。例如，母親發(fā)話要求孩子把鹽遞過來，孩子往往無需作答，只需做出相應(yīng)身體動(dòng)作——把鹽遞給母親即可。這種一一對(duì)應(yīng)的言談或言身應(yīng)對(duì)行為，構(gòu)建的就是一個(gè)最基本的序列組織—毗鄰對(duì)，也是CA多模態(tài)研究的基本原則。

4.CA多模態(tài)研究在話語分析中的優(yōu)勢及存在的問題

CA多模態(tài)研究實(shí)際上是微觀社會(huì)學(xué)與語言學(xué)特別是多模態(tài)研究的深度融合。首先，CA強(qiáng)調(diào)對(duì)大量真實(shí)的日常語言交際行為的細(xì)節(jié)轉(zhuǎn)寫。CA不僅關(guān)注語言，還重視語言交際現(xiàn)象細(xì)節(jié)，特別是人們?nèi)粘ｕr活的言談與言身應(yīng)對(duì)。Moore指出，CA中的所有“可被感知和觀察到的語言與非語言細(xì)節(jié)都是值得被記錄和分析的，如笑聲、呼吸氣、語速、停頓、音高等”。研究者要對(duì)這些大量真實(shí)的日常語料進(jìn)行處理（轉(zhuǎn)寫），特別是對(duì)序列呈現(xiàn)出來的所有細(xì)節(jié)進(jìn)行全面描寫，而不是先入為主地將研究者的主觀觀念或其他社會(huì)因素代入其中，恰恰符合語料庫驅(qū)動(dòng)的原則，即自下而上的歸納法。根據(jù)語料庫思想對(duì)大量真實(shí)的日常語料進(jìn)行處理才有可能發(fā)現(xiàn)某些交際規(guī)律，這表明起源于社會(huì)學(xué)的CA由于天然地需要研究大量真實(shí)的語料，因而能夠得到語言學(xué)特別是語料庫語言學(xué)的滋養(yǎng)。語料庫的出現(xiàn)，特別是多模態(tài)語料庫的逐步應(yīng)用有可能為論證某一微觀社會(huì)學(xué)問題提供客觀依據(jù)?？梢?，CA多模態(tài)互動(dòng)研究是社會(huì)學(xué)與語言學(xué)特別是與語料庫語言學(xué)的深度融合。

目前一個(gè)較為明顯的問題是，純粹會(huì)話分析的話輪在時(shí)間上的序列性幾乎是唯一維度，CA多模態(tài)互動(dòng)交際不但體現(xiàn)時(shí)間上的序列性，而且呈現(xiàn)空間上的共時(shí)性，因此在研究后者互補(bǔ)的各種模態(tài)資源共時(shí)構(gòu)建（具身）交際行為時(shí)，發(fā)現(xiàn)它們并“不是同步地占據(jù)交際序列組織中的某一個(gè)位置”（郭恩華，2017）。這就意味著在對(duì)具身交際行為進(jìn)行交際序列切分時(shí)，很難為不同的參與者的交際行為找到合適的起始點(diǎn)（Depperman，2013），這種因共時(shí)性帶來的切分難題在日常多模態(tài)互動(dòng)交際行為中幾乎無處不在。關(guān)于這一問題，國外學(xué)者Goodwin提出了“具身參與框架”理論，取得了較大進(jìn)展，但目前國內(nèi)關(guān)于這一點(diǎn)的研究較少，有待進(jìn)一步關(guān)注。

此外，由于多模態(tài)具身行為涉及參與者有社會(huì)意義的動(dòng)作與行為，必須從源頭上對(duì)言身應(yīng)對(duì)的發(fā)生機(jī)制進(jìn)一步探討，特別是鏡像神經(jīng)元與具身動(dòng)作之間的邏輯關(guān)系做深入研究。例如，根據(jù)Shegloff（1968）提出的投射所遵循的互動(dòng)基本原則——條件相關(guān)性有時(shí)存在“顯性缺失”，應(yīng)該從鏡像神經(jīng)元理論角度如何解釋？這一問題有待多模態(tài)研究進(jìn)一步關(guān)注行為心理學(xué)、語言學(xué)的交叉與融合。

結(jié)語

本文介紹了CA多模態(tài)互動(dòng)研究的一般發(fā)展歷程：會(huì)話分析從誕生之初就一直關(guān)注非語言交際行為，隨著研究的不斷深入，新的研究理論和方法不斷出現(xiàn)，人們對(duì)序列組織與序列分析中的焦點(diǎn)逐漸從言談應(yīng)對(duì)轉(zhuǎn)變?yōu)檠陨響?yīng)對(duì)。特別是隨著語料庫技術(shù)的不斷成熟與應(yīng)用，人們根據(jù)其提供的大量多模態(tài)資源，對(duì)CA多模態(tài)互動(dòng)研究分析某一微觀社會(huì)行為，往往可能得出較為客觀的結(jié)論。本文也提到了在言身應(yīng)對(duì)中具身活動(dòng)與多模態(tài)投射的心理學(xué)基礎(chǔ)，還分析了CA多模態(tài)互動(dòng)研究目前存在的具身交際行為的共時(shí)性問題。由于國內(nèi)在這方面的研究涉及甚少，我們應(yīng)該基于問題，尋找可能的學(xué)科交叉點(diǎn)，有可能為未來的進(jìn)一步研究提供某些生長空間。

參考文獻(xiàn)：

[1]Depperman? A.. Introduction：Multimodal Interaction From a Conversation Analytic Perspective[J]. Journal of Pragmatics， 2013（46）：1-7.

[2]Goodwin， C.. Action and Embodiment within Situated Human Interaction[J]. Journal of Pragmatics， 2000（32）：1489-1522.

[3]Heritage J.. Current Developments in Conversation Analysis[J]. In Roger D. & Peter B. （Eds）. Conversation： An Interdisciplinary Perspective[C]. Clevedon， Philadelphia：Muitilingual Matters， Ltd.， 1989：21-47.

[4]Mondada， L.. Challenges of Multimodality： Language and the Body in Social Interaction[J]. Journal of Sociolinguistics， 2016，20（3）：336-366.

[5]Moore， R. J.. Automated Transcription and Conversation Analysis[J]. Research on Language and Social Interaction， 2015， 48（3）：253-270.

[6]Schegloff， E. A.. On Some Gestures Relation to Talk[A]. In J. M. Atkinson&J. Heritage（Eds.）， Structures of Social Action. Cambridge， England： Cambridge University Press， 1984：266-295.

[7]Sacks， H. E. Schegloff & G. Jefferson. A Simplest Systemics for the Organization of Turning-Taking for Conversation [J]. Language， 1974， 50（4）： 696-735.

[8]Streeck， J. & Scott Jordan， J.. Projection and Anticipation： The Forward-Looking Nature of Embodied Communication[J]. Discourse Processes， 2009（46）（2-3）：93-102.

[9]Streeck， J.. Forward-Gesturing [J]. Discourse Processes， 2009（46）：161-179.

[10]Streeck， J.. On Projection [C]// E. Goody. Social Intelligence and Interaction. Cambridge：Cambridge University Press， 1995：87-110.

[11]馮德正，張德祿，Kay OHalloran.多模態(tài)語篇分析的進(jìn)展與前沿[J].當(dāng)代語言學(xué)，2014（1）：88-99.

[12]郭恩華.多模態(tài)投射的社會(huì)行為基礎(chǔ)——以兒童牙科醫(yī)患互動(dòng)為例[J].解放軍外國語學(xué)院學(xué)報(bào)，2018（2）：26-34.

[13]郭恩華，張德祿.基于會(huì)話分析的多模態(tài)交際研究探索——論序列分析在CA多模態(tài)交際研究中的應(yīng)用[J].北京第二外國語學(xué)院學(xué)報(bào)，2017（3）：31-45.

[14]胡壯麟，朱永生，等.系統(tǒng)功能語言學(xué)概論[M].北京：北京大學(xué)出版社，2017：19-20.

[15]靳晟.會(huì)話分析視角下的多模態(tài)協(xié)同研究[J].中國外語，2017（6）：35-42.

[16]梁茂成.什么是語料庫語言學(xué)[M].上海：上海外語教育出版社，2016：33-34.

[17]李戰(zhàn)子，陸丹云.多模態(tài)符號(hào)學(xué)：理論基礎(chǔ)、研究途徑與發(fā)展前景[J].外語研究，2012（2）：1-8.

[18]吳亞欣，于國棟.為會(huì)話分析正名[J].山西大學(xué)學(xué)報(bào)（哲學(xué)社會(huì)科學(xué)版），2017（1）：85-90.

[19]辛志英.話語分析的新發(fā)展——多模態(tài)話語分析[J].社會(huì)科學(xué)輯刊，2008（2）：208-211.

[20]葉浩生.“具身”涵義的理論辨析[J].心理學(xué)報(bào)，2014（7）：1032-1042.

[21]葉浩生.鏡像神經(jīng)元：認(rèn)知具身性的神經(jīng)生物學(xué)證據(jù)[J].心理學(xué)探新，2012（1）：3-7.

[22]葉浩生.鏡像神經(jīng)元的意義[J].心理學(xué)報(bào)，2016（4）：444-456.

[23]朱永生.多模態(tài)話語分析的理論基礎(chǔ)與研究方法[J].外語學(xué)刊，2007（5）：82-86.

[24]曾小榮.會(huì)話分析研究的歷史與現(xiàn)狀[J].黃岡師范學(xué)院學(xué)報(bào)，2014（5）：117-120.