羅 茜

(江西中醫(yī)藥大學 人文學院，江西 南昌 330004)

自20世紀50年代初美國結(jié)構(gòu)主義語言學家哈里斯(Z.S Harris)提出“話語分析”這一術(shù)語，它便作為現(xiàn)代語言學的專業(yè)術(shù)語被廣泛使用，國內(nèi)外學者圍繞語言符號系統(tǒng)的各個層面(如語法規(guī)律、篇章結(jié)構(gòu)、銜接與連貫等)對話語開展相應的研究。但隨著數(shù)字技術(shù)與多媒體的深入發(fā)展，屏幕(如電腦、電視、投影、手機)逐漸取代了書本的地位，傳統(tǒng)習慣中處于副語言的圖像、聲音和動作等符號成為重要的知識載體，與語言符號一起共同參與意義構(gòu)建。人們發(fā)現(xiàn)單純從語言的角度已經(jīng)無法對話語進行全面深入的分析和研究，20世紀90年代開始興起多模態(tài)話語研究，即把語言、圖像、顏色、聲音等多種符號資源作為研究對象，分析它們在意義建構(gòu)中的作用。國外多模態(tài)話語研究始于法國符號學家R.Barthes，他最早開始分析圖像在意義建構(gòu)上與語言的相互關系，并于1977年發(fā)表論文《圖像的修辭》[1]，之后Kress& van Leeuwen于1996年聯(lián)合出版論著Reading Images: The Grammar of Visual Design[2]183，他們以Halliday的功能語法理論為基礎，首創(chuàng)多模態(tài)話語概念，研究圖像、聲音和顏色等在語篇中的作用，為多模態(tài)話語的研究建立了較為完善的分析框架。國內(nèi)多模態(tài)話語的研究起步較晚，2003年李戰(zhàn)子教授發(fā)表論文《多模式話語的社會符號學分析》[3]，開創(chuàng)了國內(nèi)多模態(tài)話語分析理論研究的先河，但該話題并未引起國內(nèi)學者的足夠關注，2007年朱永生教授發(fā)表論文《多模態(tài)話語分析的理論基礎和分析方法》[4]，為國內(nèi)學者開展多模態(tài)話語的應用研究提供了路徑和思路，之后，國內(nèi)多模態(tài)語言的相關研究逐漸增多。

為掌握近年來國內(nèi)多模態(tài)話語的研究現(xiàn)狀、前沿熱點及發(fā)展趨勢，本研究采用Citespace軟件對相關文獻的發(fā)文作者、研究機構(gòu)、關鍵詞、文獻引用等方面進行可視化分析，希望能為豐富和完善國內(nèi)多模態(tài)話語研究提供參考，推動相關領域的深入探索。

一、數(shù)據(jù)來源與研究方法

英國著名文獻學家B.C.Bradford提出的文獻分散規(guī)律經(jīng)驗定律表明：大多數(shù)關鍵文獻通常會集中發(fā)表在少數(shù)核心期刊上[5]。因此，本研究的數(shù)據(jù)來源于北大中文核心期刊上發(fā)表的關于“多模態(tài)話語”的文獻，按照這一界定，結(jié)合本研究的研究目的，對符合研究需要的數(shù)據(jù)進行了查詢(見表1)

表1 本研究數(shù)據(jù)納入條件一覽表

本研究運用上述檢索方式，在CNKI數(shù)據(jù)庫共檢索到279篇文獻，隨后將數(shù)據(jù)進行手工篩選和清理，原則如下：1)清除公告，活動，書評等無效信息，如《本期話題：修辭問題研究之研究》，《韓里德/哈桑訪談解評》等；2)排除明顯不屬于本領域的文獻，如《古典舞媒介系統(tǒng)構(gòu)成探索》等，最后得到253篇有效文獻，每條題錄包括作者、機構(gòu)、摘要、關鍵詞等信息，將檢索數(shù)據(jù)的全記錄與引用的參考文獻以refwork形式導出，命名為“download-多模態(tài)話語”，再將數(shù)據(jù)導入Citespace軟件，利用軟件提供的數(shù)據(jù)格式轉(zhuǎn)化器轉(zhuǎn)化成默認的格式，并通過軟件計算，從年度發(fā)展趨勢、核心作者群體、期刊分布及高頻關鍵詞等內(nèi)容進行分析并繪制可視化知識圖譜，得到目前多模態(tài)話語領域的研究現(xiàn)狀、熱點與前沿[6]。

二、研究結(jié)果與分析

(一)文獻年度分布

衡量某個學術(shù)領域發(fā)展狀況的重要指標之一就是學術(shù)論文的數(shù)量變化，通過對文獻數(shù)量進行統(tǒng)計并繪制相應的增長曲線，對于評價該領域所處的階段及預測未來的發(fā)展趨勢具有重要意義[7]。如圖1所示，自2007年朱永生教授為多模態(tài)話語研究提供研究路徑和范式之后，2008～2013年間多模態(tài)話語的核心論文發(fā)文量成垂直上升趨勢，2013年核心期刊發(fā)文量達到頂峰值32篇，說明國內(nèi)學者對該領域關注度持續(xù)升溫，學者運用多模態(tài)話語理論對電影海報、外語教材、教學模式、手機廣告、影視字幕等多個領域開展研究，豐富了多模態(tài)話語的研究對象，這一時期可以稱為多模態(tài)話語研究的快速發(fā)展階段；2013年之后，多模態(tài)話語研究領域的論文數(shù)量呈現(xiàn)波浪式下降態(tài)勢，2018年核心論文發(fā)文量降至16篇，19年與18年持平，出現(xiàn)“多元讀寫能力”“多模態(tài)隱喻”“圖文關系”等比較新穎的切入角度，多模態(tài)話語研究更加多元和深入，這一時期可稱為多模態(tài)話語研究的穩(wěn)定發(fā)展階段。

圖1 2007-2019年國內(nèi)多模態(tài)話語核心論文統(tǒng)計

(二)學術(shù)期刊分布

為了更清晰地了解多模態(tài)話語領域在我國中文核心期刊的發(fā)文情況，對各核心期刊的載文量做了整理、統(tǒng)計與分析，發(fā)現(xiàn)253篇論文分布在85種北大核心期刊中，其中載文量在5篇以上的有12種刊物，占總刊物數(shù)的14.1%；載文量在1～4篇的有73種刊物，占總刊物數(shù)的85.9%，由此可以看出，刊載多模態(tài)話語研究論文的期刊比較分散，這與多模態(tài)話語涉及多學科存在一定關聯(lián)。

表2 2007～2019年刊載多模態(tài)話語論文數(shù)排名前十的刊物

表2匯總了刊載多模態(tài)話語研究論文數(shù)量排名前十的學術(shù)期刊，從載文量來看，《電影文學》載文量為23篇，排在第一，《外語教學》和《外語學刊》載文量均為19篇，并列第二。排名前十的學術(shù)刊物中，絕大多數(shù)屬于外國語言學來源期刊，表明目前關于多模態(tài)話語的相關研究主要還集中在外語學科，但值得一提的是，排名第一和第十的刊物分別是《電影文學》和《電影評介》，通過關鍵詞共現(xiàn)網(wǎng)絡分析，發(fā)現(xiàn)這兩個期刊側(cè)重于從多模態(tài)視角解析電影海報、電影視頻等的意義構(gòu)建，表明多模態(tài)理論與敘事學、文藝理論、修辭學等結(jié)合成為多模態(tài)研究的發(fā)展方向。隨著數(shù)字媒體技術(shù)的進一步發(fā)展，多模態(tài)理論對解析各種新媒體語篇的符號化過程提供了新穎的視角。

(三)科研機構(gòu)分布

將題錄數(shù)據(jù)導入Citespace軟件，時間設置為2006～2019年，參數(shù)設置中選擇Institutions、Links、Cosine，Selcetion Criteria中選擇Top 20 per slice(表示提取了每個時間切片排名前20的數(shù)據(jù)生成網(wǎng)絡)，選擇網(wǎng)絡路徑簡化采用尋徑算法，最后得到N=46，E=14，Density=0.0135(圖2)。每個節(jié)點代表一個機構(gòu)，節(jié)點之間的連線代表機構(gòu)之間的合作關系，圖譜表明2007～2019年，共有46家科研單位圍繞多模態(tài)話語發(fā)表論文，產(chǎn)生合作14次，快速聚類之后，Modularity=0.724 5，表明聚類有效性較高，Silhousette=0.200 1,由于聚類成員偏少，同質(zhì)性較低。

圖2 2007～2019多模態(tài)話語研究高產(chǎn)機構(gòu)合作知識圖譜

通過對253篇文獻的發(fā)文機構(gòu)進行統(tǒng)計分析，得出排名前五的分別是同濟大學(23篇)，香港理工大學(11篇)，廈門大學(9篇)，中國石油大學(8篇)和西安外國語大學(7篇)，數(shù)據(jù)表明多模態(tài)話語領域發(fā)文量較高的研究機構(gòu)均為高校，高校是多模態(tài)話語研究的主要陣地。另外，在排名前十的研究機構(gòu)中，絕大部分的研究力量均來自外國語學院，表明國內(nèi)多模態(tài)話語的研究人員學科分類比較單一，多模態(tài)研究的跨學科性還未得到充分的體現(xiàn)。

表3 多模態(tài)話語發(fā)文量排名前10位的機構(gòu)

(四)核心作者分布

將題錄數(shù)據(jù)導入Citespace，參數(shù)設置中選擇Author、Links、Cosine，Selection criteria中選擇Top 20 per slice(表示2007～2019年間發(fā)文量前20的作者)，生成多模態(tài)話語研究領域高產(chǎn)作者合作可視化圖譜(圖3)，其中N=40，表明文獻為40位作者所著，E=14表明這些作者之間進行了14次合作，Density=0.0179表明作者之間合作密度不高，比較松散。

圖3 2007～2019多模態(tài)話語研究高產(chǎn)作者合作知識圖譜

通過對高產(chǎn)作者合作知識圖譜的進一步分析，發(fā)現(xiàn)發(fā)文量排在前五位的分別是張德祿(24篇)，馮德正(12篇)，李戰(zhàn)子(5篇)，潘艷艷(4篇)和趙秀鳳(4篇)，且這些高產(chǎn)作者之間的合作比較緊密，其他作者則高度離散，呈現(xiàn)“一枝獨秀，百家齊放”的狀態(tài)。同濟大學張德祿教授在多模態(tài)話語領域深耕多年，形成了比較穩(wěn)定的研究團隊，幾乎每年都在核心期刊發(fā)表論文2～3篇，研究范圍涵蓋多模態(tài)外語教學、多模態(tài)教材、動態(tài)多模態(tài)語篇、多模態(tài)文體學、多元讀寫等諸多領域。香港理工大學馮德正教授作為后起之秀，在多模態(tài)隱喻及轉(zhuǎn)喻的符號學框架領域建樹頗多，以他為核心的研究團隊在核心期刊的發(fā)文頻率也比較高。

表4 多模態(tài)話語發(fā)文量排名前5位的作者

(五)研究熱點和前沿分析

關鍵詞是研究文獻的核心切入點，關鍵詞詞頻的變化可以反映出相關的研究熱點，關鍵詞共現(xiàn)形成的中介中心性則能揭示熱點之間的轉(zhuǎn)化關系[8]。將題錄數(shù)據(jù)導入Citespace，參數(shù)設置中選擇Keyword、Links、Cosine，時間切片設定為3年，網(wǎng)絡路徑選擇Path finding，運行軟件，生成多模態(tài)話語關鍵詞熱點聚類(圖4)，Modularity=0.773，表明聚類效果比較明顯。N=56，E=62，表明在253篇文獻中抓取56個關鍵詞，這些關鍵詞之間共有62次關聯(lián)，表明國內(nèi)學者對多模態(tài)話語進行了多角度的探索和研究，但研究體系還未成型，呈現(xiàn)多元化和寬泛化的態(tài)勢，這與多模態(tài)語篇具有天然的跨學科性質(zhì)密不可分。作為一門年輕的學科，多模態(tài)話語的很多理論(如視覺語法、多模態(tài)隱喻等)還不夠成熟，未來的研究需要通過語料和實驗等驗證并發(fā)展相關理論，同時結(jié)合傳統(tǒng)的文體學、敘事學，實現(xiàn)研究方法的創(chuàng)新，推動多模態(tài)話語領域向縱深發(fā)展。

圖4 多模態(tài)話語關鍵詞共現(xiàn)可視化圖譜

以共現(xiàn)頻次和中介中心性為指標，對關鍵詞進行整理，得出二者分別位居前十的關鍵詞列表(表5)。由表5可知，“多模態(tài)”共現(xiàn)頻次最高，共66次，其次是“多模態(tài)話語”，共現(xiàn)45次，另外，“多模態(tài)話語分析”的共現(xiàn)頻率也比較高。“概念隱喻”的中介中心性最高，為1.17，“多模態(tài)語篇分析”次之，為1.05，“系統(tǒng)功能語言學”和“圖像”等的中介中心性也比較高。高頻關鍵詞和高頻中介中心性關鍵詞并不存在嚴格的正相關關系，不過像“多模態(tài)話語分析”“多模態(tài)語篇分析”“多模態(tài)隱喻”“模態(tài)”等關鍵詞既具有較高的共現(xiàn)頻次，又具有較高的中介中心性，表明這些詞在多模態(tài)話語的知識演化中扮演了重要角色。

表5 高頻關鍵詞和高中介中心性關鍵詞

為了進一步了解多模態(tài)話語領域最新、最有發(fā)展?jié)摿Φ难芯恐黝}，在關鍵詞共現(xiàn)網(wǎng)絡基礎上，將Y值設置為0.7，對關鍵詞進行burstness檢測(突現(xiàn)指一個變量的值在短期內(nèi)有很大變化)[9]，共提取5個突現(xiàn)詞(圖5)，它們代表了多模態(tài)話語研究前沿領域的轉(zhuǎn)化。從變化時間上看，突變大致可以分成四個階段：2007～2008年集中在“多模態(tài)話語分析”，這兩年國內(nèi)的多模態(tài)話語研究剛剛起步，學者基本圍繞核心概念進行研究；2009～2010年社會符號學和符號突現(xiàn)明顯，學者更加關注從社會符號學角度切入多模態(tài)領域，并進行了大量研究；2011～2012年電影海報突現(xiàn)明顯，表明電影海報受到諸多關注，成為多模態(tài)話語領域的熱門研究對象；近三年中圖文關系突現(xiàn)明顯，有可能是多模態(tài)話語領域的新興趨勢。

圖5 突現(xiàn)值排名前5位的關鍵詞

三、結(jié) 論

本文利用Citespace軟件，以CIKI全文數(shù)據(jù)庫收錄的關于多模態(tài)話語領域的核心期刊文獻信息為研究對象，從文獻年度、學術(shù)期刊、研究機構(gòu)、核心作者及關鍵詞共現(xiàn)和突變等角度，對2007～2019年間國內(nèi)的多模態(tài)話語研究文獻進行了計量學分析。研究結(jié)論如下：

從文獻年度分布來看，國內(nèi)多模態(tài)話語可以分為三個階段：初級萌芽階段(2007～2008年)，這一階段主要集中在多模態(tài)話語的理論和方法引介；快速發(fā)展階段(2008～2013年)，這一階段學者運用多模態(tài)話語理論對電影海報、外語教材、教學模式、手機廣告、影視字幕等多個領域開展研究，豐富了多模態(tài)話語的研究對象；穩(wěn)定發(fā)展階段(2014-至今)，這一階段，發(fā)文量雖然有所下降，但學者的研究更加多元和深入，出現(xiàn)“多元讀寫能力”“多模態(tài)隱喻”“圖文關系”等比較新穎的切入角度，未來一段時間，多模態(tài)話語領域有望呈現(xiàn)更多的跨學科研究。

從學術(shù)期刊來源看，刊載多模態(tài)話語研究文獻的期刊比較分散，載文量前十的來源期刊中有八個為外語類期刊，說明多模態(tài)話語的相關研究主要還集中在外語學科，但由于多模態(tài)語篇天然的跨學科性質(zhì)，言語符號與圖片、手勢等非言語符號在交際和傳播中共同構(gòu)建意義，故電影文學類和新聞傳播類期刊也經(jīng)常可以看到多模態(tài)話語研究的相關成果。

從科研機構(gòu)分布看，國內(nèi)多模態(tài)話語研究的主要力量來自各大高校，主要機構(gòu)有同濟大學和香港理工大學，另外，在排名前十的研究機構(gòu)中，絕大部分的研究力量均來自外國語學院，表明國內(nèi)多模態(tài)話語的研究人員學科分類比較單一，多模態(tài)研究的跨學科性還未得到充分的體現(xiàn)。

從核心作者分布來看，張德祿、馮德正、李戰(zhàn)子等人發(fā)文相對較多，高產(chǎn)作者之間合作比較緊密，其他作者群體相對分散，合作不多。主要學術(shù)共同體有同濟大學外國語學院以張德祿教授為核心的研究團隊，以及香港理工大學人文學院以馮德正教授為核心的研究團隊。

從關鍵詞共現(xiàn)及突現(xiàn)來看，國內(nèi)多模態(tài)話語的研究主題從早期的多模態(tài)話語分析逐漸細分，衍生出多元讀寫能力、多模態(tài)隱喻、圖文關系、符號學等多個主題和電影海報、視覺詩、廣告、教材等多個研究切入點，未來的研究可能將更多地關注新媒體、新聞等復雜語篇的圖文關系解讀。

四、結(jié) 語

當前科學技術(shù)發(fā)展迅速，各種網(wǎng)絡媒體層出不窮，面對紛繁復雜的圖文世界，多模態(tài)話語是話語研究的必然要求。本研究基于CNKI核心數(shù)據(jù)庫，充分借助可視化工具citespace軟件挖掘文本信息，從多個方面系統(tǒng)考察國內(nèi)多模態(tài)話語的研究現(xiàn)狀、熱點及前沿趨勢，并對未來的研究提出了一些展望。但由于數(shù)據(jù)庫文獻收錄范圍有限，數(shù)據(jù)統(tǒng)計和分析存在一定局限，未來的研究還需要在更龐大的語料和更廣闊的視野上完善現(xiàn)有的研究發(fā)現(xiàn)。