江南大學

俞越聰 李健雪

?

《多模態(tài)入門》述評

江南大學

俞越聰 李健雪

《多模態(tài)入門》由Carey Jewitt、Jeff Bezemer和Kay O’Halloran合著，勞特利奇出版社于2016年出版。通過系統(tǒng)的理論對比和大量的實例論證，該書從多模態(tài)研究的概念、緣由、主要方法和研究設計等方面入手，對多模態(tài)研究進行了全局性剖析解讀，是從事多模態(tài)、符號學、話語分析、媒體與交際等研究的入門經(jīng)典。

多模態(tài)；話語分析；理論對比；設計

21世紀以來，“多模態(tài)”逐漸成為語言學研究的熱點話題之一。然而，由于研究視角多樣，尚未形成系統(tǒng)。2016年，Carey Jewitt、Jeff Bezemer和Kay O’ Halloran合著出版了《多模態(tài)入門》。該書統(tǒng)籌了多模態(tài)研究的各個視角，從“多元化領域概覽”“為什么進行多模態(tài)研究”“系統(tǒng)功能語言學”“社會符號學”“會話分析”“多模態(tài)研究的其他5種方法”“多模態(tài)研究設計”等7個方面進行剖析，為多模態(tài)研究做出了全局性理論闡釋和方法論啟示。

1.主要內容

全書共七章。

第一章“多元化領域概覽”從“什么是多模態(tài)”入手，指出“多模態(tài)”一詞的使用強調了兩個“認可”：對研究各種意義構建方式如何相結合構成多模態(tài)整體的需要性的認可；對每種模態(tài)在意義構建時都具有各自獨特的可能性和局限性的認可。作者提出多模態(tài)研究的3個前提：1)意義通過各種符號資源被構建，每種符號資源都有自身獨特的潛勢與局限；2)意義構建是多模態(tài)整體的產(chǎn)出；3)研究意義必須關注用于構建意義整體的所有符號資源。針對“什么是多模態(tài)研究”，作者區(qū)分了“做多模態(tài)研究”與“引用多模態(tài)概念”。前者中，“多模態(tài)”在研究目的、理論方法等方面處于中心地位；后者僅在研究設計時選擇性地使用多模態(tài)的相關概念。其中，“做多模態(tài)研究”主要有3種方法：系統(tǒng)功能語言學法、社會符號學法和會話分析法。

第二章“為什么進行多模態(tài)研究”反駁了最有爭議的兩個語言觀點：1)語言是資源最豐富、最重要、最被廣泛使用的模態(tài)；2)語言可被單獨研究。針對第一點，作者認為：首先，對語言的用途下普遍性定論須考慮對象與語境。將語言作為了解社會實踐的途徑會忽視該實踐的其他方面。而多模態(tài)會對各資源的重要性做出正確判定，有助于認識語言地位與功能的重要變化。其次，對其他模態(tài)的研究尚未達到語言研究的細致特征化階段，因此不能否定這些模態(tài)資源的豐富性，且許多“語言”原則實際是普遍的符號學原則。最后，作者反駁Katz(1972：19)的“可表達原則”，認為其他模態(tài)在不喪失準確性的前提下不可轉寫為語言。語言具有自身的局限性，較其他模態(tài)而言僅是資源和意義潛勢不同，而非資源更豐富或更具潛勢。因此，多模態(tài)研究的目的是確定各模態(tài)的特性和共性。針對第二點作者指出，人類所產(chǎn)出的意義單元幾乎都是多模態(tài)的，語言是意義整體中的一部分，與其他符號元素相互修飾；因此只有分析語篇中的多種模態(tài)，才可以集合資源更可靠地證明、解釋所發(fā)生的交際行為。

第三章是“系統(tǒng)功能語言學”。作者指出，系統(tǒng)功能理論對多模態(tài)研究的適用性在于其基本前提“符號資源是意義構建的工具”(Jewittetal.2016：33)。系統(tǒng)功能語言學指導下的多模態(tài)語篇分析(SF-MDA)關注各符號資源的語法、功能與符號資源在多模態(tài)現(xiàn)象中結合產(chǎn)生的意義。功能上，多模態(tài)符號可把不同的元功能意義構建能力進行整合以構建無法靠單一資源來構建的意義。系統(tǒng)上，每種符號都具有自己獨特的意義系統(tǒng)、分析單位和結構。多模態(tài)增加了可用的意義潛勢，但又由情景語境和文化語境決定實際上出現(xiàn)于社會實踐中的選擇結合。作者認為，多模態(tài)現(xiàn)象中各模態(tài)的結合需要聯(lián)系現(xiàn)有的社會實踐來解讀，多模態(tài)模式的建立具有文化性，任何多模態(tài)符號實例均由先前的選擇構型所決定。因而，SF-MDA旨在探究符號資源如何被組織構建意義，以及特定實例中意義構建的實際選擇方式，其目的在于將符號資源的意義潛勢建模為一系列相互關聯(lián)的系統(tǒng)，并根據(jù)語境分析多模態(tài)過程和語篇中符號間互動所產(chǎn)生的意義。作者總結了以下研究方法：1)根據(jù)元功能組織、建立系統(tǒng)；2)根據(jù)所選系統(tǒng)確定分析語篇；3)根據(jù)語域、語類解讀選擇的結合。

第四章是“社會符號學”。作者回顧了社會符號學的目的、基本假設、早期發(fā)展及其多模態(tài)轉向，并勾勒了各時期社會符號學視角下多模態(tài)研究的發(fā)展進程。作者重申了許多語言學原則的普遍性，指出“符號學原則”一詞應指代適用于所有模態(tài)的意義構建原則與特征，并論述了“符號構建者”“興趣”“動因符號”“符號資源”“模態(tài)”“模態(tài)動允性”“轉移”及“轉化”和“設計”等核心原則和概念在多模態(tài)意義構建中的重要作用。(Jewittetal.2016：67-73)社會符號學旨在分析人工產(chǎn)物中所呈現(xiàn)出來的社會世界。其方法論特征體現(xiàn)在：1)語料涵蓋日常、通俗的以及顯著、規(guī)范的人工產(chǎn)物；2)對模態(tài)特征的微觀觀察；3)對作品進行對比分析；4)探究人工產(chǎn)品的所有符號學方面；5)假設符號構建者已采用最合適的符號資源來表達意義；6)強調社會語境和意義構建的資源；7)關注人工產(chǎn)物中所有元素以期了解符號構建者的興趣。作者總結了以下基本研究思路：對人工產(chǎn)物進行概括描述，在交際和再現(xiàn)世界中對其進行定位；確定并描述所使用的模態(tài)，對每個模態(tài)的符號資源進行細致分析，包括構建它們所采用的原則與慣例、所采用的模態(tài)動允性；關注所用模態(tài)之間的組織、主導關系和連貫等。作者強調，要避免因系統(tǒng)程序化的方法而錯失研究語料的特性；社會符號學的解釋不是純粹的描述和特征之間的映射，它結合了概念和實證，要求分析者高度響應研究語料。

第五章是“會話分析”。作者介紹了會話分析研究的起源和對注視、手勢及其他互動資源的研究轉向，并指出該方法高度受數(shù)據(jù)驅使，分析須遵守兩個核心原則：不斷靠近所選語料，所得相關結論必須嚴格依據(jù)對互動的觀察；關注細節(jié)，同一互動片段慢速、多次觀察。作者論述了4個核心概念：1)相互闡述的符號資源：會話分析基于人們采用不同的符號資源來構建行為的觀點，認為不同資源具有不同屬性，且自身都是部分的、不完全的，在相互闡述的過程中構建成一個意義整體；2)行為的連續(xù)組織：意義不僅存在于行為的形式中，也存在于該行為在序列結構中的位置；3)行為的協(xié)調：強調會話者在環(huán)境中的定位，互動發(fā)生的地點環(huán)境也構成互動資源，影響行為的協(xié)調性；4)多活動：關注不同的行為如何相互連接，構成并存的行為進程。作者強調多模態(tài)轉寫的重要性，并介紹了兩種轉寫模式：基于言語轉寫，在與之相關處進行其他模態(tài)的轉寫；依據(jù)普遍轉寫慣例，對各模態(tài)都進行轉寫，以體現(xiàn)互動的順序展開和各模態(tài)的同時性。作者給出兩種語料片段的選擇方式：通過整體分析確定主要的“主題”和“類型”及其頻率，從中選擇一個進行細致化研究；選擇任何一個包含有趣現(xiàn)象的片段，從獨特中歸納普遍性。

第六章是“多模態(tài)研究的其他5種方法”。作者介紹了地理符號學、多模態(tài)互動分析、多模態(tài)人種志學、基于語料庫的多模態(tài)分析和多模態(tài)接受分析這5種混合型方法，包括各種方法的領域淵源、核心概念、研究范圍與目的、主要研究問題、數(shù)據(jù)收集方法和分析步驟等，并總結了它們對多模態(tài)研究發(fā)展的貢獻。作者強調，將前文論述的3種主要理論的概念與方法和其他研究范式相整合構建新框架時，須反思它們在意義的理論化、研究目的、實證焦點等方面的“兼容性”，其中明確界定了多模態(tài)在研究中至關重要的地位。

第七章是“多模態(tài)研究設計”。作者提出了8個步驟，即選擇理論方式、確定研究內容、形成研究問題、確定研究材料、收集研究材料、處理研究材料、轉寫研究材料和處理道德倫理問題。首先，對意義構建有明確的理論概念是研究的基礎，選擇研究方法即是確立了針對意義的理論立場。作者強調，理論方法指向相應的研究領域和內容，從而確定相應的研究問題。其次，研究材料應：1)根據(jù)研究方法和研究問題來確定材料范圍；2)在自然環(huán)境下收集，減少干預；3)收集的細致化程度應涵蓋材料的總體多模態(tài)特征，且滿足對各模態(tài)、模態(tài)間意義的探究；4)體現(xiàn)社會文化情景下的意義構建。再次，有效處理數(shù)據(jù)的方法包括：1)建立標記編碼對材料進行系統(tǒng)記錄；2)即時回顧以確保記錄所有細節(jié)；3)在回顧時對每個類型進行“數(shù)據(jù)日記”。同時，對材料進行多模態(tài)轉寫，通過實踐發(fā)現(xiàn)不同轉寫方式的潛能和局限。作者最后提出，應考慮研究材料的使用授權，并闡釋如何恰當?shù)卣鞯檬褂檬跈嗪筒扇C密性措施。

2.簡評

該書的主要貢獻如下：

第一，實現(xiàn)了對多模態(tài)研究的全局把握，確立了其獨立、完整的研究領域地位。全書從多模態(tài)的理解、多模態(tài)研究的淵源，到多模態(tài)研究的理論方法、多模態(tài)研究設計等，涵蓋了從事多模態(tài)研究的各個重要方面。尤其在理論方法上涵蓋了多種主流視角，并對每種方法的淵源、核心原則與概念、分析手段、適用領域、主要研究問題、數(shù)據(jù)收集方法、現(xiàn)有不足與發(fā)展方向等做出了詳細的論述，首次實現(xiàn)了對多模態(tài)各理論方法的梳理、對比與反思。通過對多模態(tài)研究的宏觀審視，該書體現(xiàn)了當下多模態(tài)研究視角的廣度，指出了其發(fā)展?jié)撃?，樹立了多模態(tài)研究的學術地位。

第二，深化了對“模態(tài)”和“多模態(tài)”的理解。“多模態(tài)”是個復雜的概念，不同理論方法對其理解、界定不同，表達方式也不同。如在會話分析中，“模態(tài)”一詞較少使用，而“多模態(tài)”體現(xiàn)行為的多樣性與“同時性”。該書統(tǒng)一保留“模態(tài)”一詞，不僅保證了全書術語的一貫性，也強調了將一個作為意義整體的互動事件分解開來分析的難度性。該書雖未對“模態(tài)”和“多模態(tài)”給出明確定義，但對它們的解讀超出了其外在呈現(xiàn)方式，突破了以往人們對“符號系統(tǒng)”和“感官系統(tǒng)”的論述(朱永生 2007：83； 韋琴紅 2009：55； 張德祿 2009：24)。模態(tài)可以是任何一種物理元素的呈現(xiàn)類型，包括環(huán)境因素；且無論以何種表層形式呈現(xiàn)，多模態(tài)認可每種參與意義構建的資源，且關注它們所構成的意義整體；否認語言模態(tài)的先進性，強調各模態(tài)的地位平等，且均具有獨特的潛勢和局限性。

第三，反思了多模態(tài)研究理論方法中的爭議問題。首先，作者認為系統(tǒng)功能語法不該作為系統(tǒng)選擇下意義構建的唯一模型，應避免語言學概念強加于其他符號系統(tǒng)的現(xiàn)象；不可局限于對多模態(tài)語篇建立系統(tǒng)性描述，而導致強調文本、脫離語境的后果。其次，社會符號學方法一直被批判在“動允性”命題上過于決斷，圖文過于二分。這種苛責實際是將韓禮德“意義是選擇”的社會符號學釋義簡化為“二選一”，且沒有正確認識到資源雖具有內在的、社會性的動允性，但也能突破其慣用方式而創(chuàng)新使用。此外，作者指出，社會符號學傾向于過度線性地描述符號交際的發(fā)展，而了解符號的變化應從社會、文化、技術變化相聯(lián)系的歷史角度進行，不能模糊技術與模態(tài)的復雜性和重合性；同時，要將社會符號學和社會學理論相結合，根據(jù)研究問題和研究重點確定所需的語境信息，確保結論反映文本與使用語境的緊密聯(lián)系。會話分析中，研究者們傾向于只關注互動中能體現(xiàn)出與交際者相關的社會類別與人工產(chǎn)物，而忽視了后人對互動進行重語境化時與之相關的其他方面。作者認為，從交際者身上獲得的背景信息在分析中十分有用，但卻不能根據(jù)其在互動中的機構角色形成高度推斷或假設；核心文本和相關語境的區(qū)分要以交際參與者為導向。

第四，豐富了多模態(tài)研究的實證方法。該書對“做多模態(tài)研究”和“引用多模態(tài)概念”的區(qū)分，是對多模態(tài)研究本質做出的明確界定。同時對研究語料的確定和收集給出了操作性建議，對分析步驟、研究階段做出了具體的劃分，使整個多模態(tài)研究過程更加清晰、規(guī)范，為開展多模態(tài)研究提供了重要指導。該書強調理論與方法論立場在多模態(tài)研究中的重要性、理論方法與研究問題之間的相適性，指出各理論方法具有其自身所側重的研究領域和研究目的，多模態(tài)研究要保持整個理論框架和研究實踐的一貫性。通過援引大量最新的優(yōu)秀研究實例，該書不僅為多模態(tài)實證研究提供了多元化范例，揭示了多模態(tài)的前沿近況，也為理論的發(fā)展提供了實證依據(jù)。該書提出的倫理道德問題，特別是對在公開場合流通的信息的正確使用，是當下國內研究實踐中易忽視的問題之一。書中提出的合理申請語料使用的授權、采取機密性措施、預備解決措施等建議具有重要啟示意義。

當然，該書也存在不足之處。首先，書中援引的實例側重定性研究，多為舉個別例子進行思辨性分析，未見大型統(tǒng)計論證。其次，多模態(tài)互動分析和多模態(tài)認知研究普遍被視為是多模態(tài)研究的主要方法之一(Djonov & Zhao 2014； Pinar Sanz 2015)，該書并沒有將其獨立成章進行系統(tǒng)詳細的對比論述，可謂略有遺憾。

總體來說，該書言必有物，綱舉目張，善用圖表，富于對比，且文后附有術語表和自學指導，可幫助學習者梳理重要概念并進行自學自測，是從事多模態(tài)、符號學、話語分析、媒體與交際等研究時不可多得的必讀經(jīng)典。

Djonov,E.& S.Zhao.2014.FromMultimodaltoCriticalMultimodalStudies[C].London: Routledge.

Jewitt,C.etal.2016.IntroducingMultimodality[M].London: Routledge.

Katz,J.J.1972.SemanticTheory[M].New York: Harper & Row.

Pinar Sanz,M.J.2015.MultimodalityandCognitiveLinguistics[C].Amsterdam/Philadelphia: John Benjamins Publishing Company.

韋琴紅.2009.論多模態(tài)話語中的模態(tài)、媒介與情態(tài) [J].外語教學 (4): 54-57.

張德祿.2009.多模態(tài)話語分析綜合理論框架探索 [J].中國外語 (1): 24-30.

朱永生.2007.多模態(tài)話語分析的理論基礎與研究方法 [J].外語學刊 (5): 82-86.

(責任編輯 馬應聰)

通訊地址：214122 江蘇省無錫市 江南大學外國語學院

H0-06

A

2095-5723(2017)02-0096-04

2017-03-01