張培佳 馮德正

(香港理工大學(xué)英文系，香港)

提 要 多模態(tài)語(yǔ)篇分析發(fā)展到今天，面臨的主要挑戰(zhàn)是缺乏基于大量語(yǔ)料的實(shí)證研究，尤其是對(duì)平面媒體圖文語(yǔ)篇的語(yǔ)料庫(kù)研究。究其原因是圖文語(yǔ)篇的多維特性導(dǎo)致多模態(tài)語(yǔ)料庫(kù)的標(biāo)注難度極大。而以修辭結(jié)構(gòu)理論為重要基礎(chǔ)的GeM模型是現(xiàn)有標(biāo)注圖文語(yǔ)料最系統(tǒng)的理論框架。本文以流程圖的方式展示了GeM模型的應(yīng)用步驟，以公共衛(wèi)生海報(bào)語(yǔ)料庫(kù)為例演示了修辭結(jié)構(gòu)的XML標(biāo)注，并介紹借助計(jì)算工具gem-tools實(shí)現(xiàn)自動(dòng)生成修辭結(jié)構(gòu)圖、統(tǒng)計(jì)語(yǔ)料庫(kù)數(shù)據(jù)、檢索修辭關(guān)系等多模態(tài)語(yǔ)料庫(kù)研究的基本方法，以期為國(guó)內(nèi)學(xué)者進(jìn)行多模態(tài)語(yǔ)料庫(kù)建設(shè)與實(shí)證研究提供有效的理論與方法。

一、 引 言

多模態(tài)語(yǔ)篇分析自20世紀(jì)90年代興起以來，研究者們已從社會(huì)符號(hào)學(xué)、互動(dòng)分析、會(huì)話分析、語(yǔ)用學(xué)等不同角度出發(fā)構(gòu)建理論框架和探索分析方法，但在理論建設(shè)和研究方法上仍有諸多局限，其面臨的主要挑戰(zhàn)是缺乏實(shí)證研究(Bateman 2014b；Batemanetal. 2017)。多模態(tài)語(yǔ)篇分析沿襲了語(yǔ)篇分析、會(huì)話分析等學(xué)科的理論驅(qū)動(dòng)的闡釋性方法(hermeneutic method)，而非語(yǔ)料驅(qū)動(dòng)的分析方法。研究者們通常是提出一個(gè)理論框架，然后選取幾個(gè)典型例子證明理論的可操作性，語(yǔ)料起輔助作用。但一方面理論需要在真實(shí)的語(yǔ)料中驗(yàn)證，另一方面質(zhì)性文本分析中語(yǔ)料的代表性與分析結(jié)論的普適性受到局限(Bateman 2014b：238)。Bateman(2014b：238)進(jìn)一步指出，在多模態(tài)理論創(chuàng)始階段，用個(gè)別例子演示分析框架是非常必要的。然而，隨著多模態(tài)研究的發(fā)展，研究者亟需通過大量真實(shí)的語(yǔ)料來驗(yàn)證、評(píng)估多模態(tài)理論是否具有普適性。從語(yǔ)用學(xué)的角度，黃立鶴(2017：27)同樣指出，多模態(tài)語(yǔ)料庫(kù)的方法可以為語(yǔ)用研究增加定量分析的客觀性，從較大程度上彌補(bǔ)傳統(tǒng)語(yǔ)用研究的不足。因此，只有更廣泛地引入語(yǔ)料庫(kù)方法，更充分地利用數(shù)據(jù)科學(xué)，才能對(duì)日趨復(fù)雜的多模態(tài)語(yǔ)篇進(jìn)行全面而深入的分析，保證多模態(tài)研究不斷向縱深發(fā)展。

多模態(tài)語(yǔ)料是指包含文字、圖像、副語(yǔ)言特征、表情、手勢(shì)等復(fù)雜表意的資源(詹姆斯·馬丁、米歇爾·扎帕維尼婭2018)，大致可分為實(shí)時(shí)性和非實(shí)時(shí)性(real-time/non-real-time)兩類(Matthiessen 2009)。國(guó)內(nèi)外多模態(tài)領(lǐng)域已認(rèn)識(shí)到系統(tǒng)化語(yǔ)料庫(kù)建設(shè)與研究的重要性，但很多研究只是解釋標(biāo)注方法，真正意義上的多模態(tài)語(yǔ)料庫(kù)標(biāo)注與研究寥寥無幾。同時(shí)，大部分研究關(guān)注的是視頻形式的實(shí)時(shí)性語(yǔ)料(自然會(huì)話/即席話語(yǔ))，從會(huì)話分析或語(yǔ)用學(xué)視角基于時(shí)間軸對(duì)語(yǔ)言、副語(yǔ)言特征、肢體語(yǔ)言等進(jìn)行標(biāo)注(Adolphs & Carter 2013；Allwoodetal. 2003)，而很少有對(duì)廣告、漫畫等具有明顯修辭設(shè)計(jì)的非實(shí)時(shí)性平面媒體語(yǔ)篇的實(shí)證分析。究其原因是實(shí)時(shí)性語(yǔ)料沿用了會(huì)話分析等學(xué)科對(duì)副語(yǔ)言特征、手勢(shì)等比較成熟的標(biāo)注方法(Goodwin 1981；Schegloff 1984)，而平面媒體的語(yǔ)篇特征，如語(yǔ)義關(guān)系、表達(dá)方式等，則沒有系統(tǒng)的標(biāo)注框架可以綜合分析。這方面，體裁與多模態(tài)(Genre and Multimodality，GeM)模型(Bateman 2008)作為第一個(gè)多層描述分析多模態(tài)語(yǔ)篇的框架，為標(biāo)注平面媒體語(yǔ)篇提供了有效工具。然而，該框架尚未被廣泛應(yīng)用于多模態(tài)語(yǔ)料庫(kù)研究。目前已建成的GeM標(biāo)注語(yǔ)料庫(kù)只有三例，即Thomas(2009)標(biāo)注的英國(guó)和中國(guó)臺(tái)灣的牙膏、洗發(fā)水等日用品包裝，Hiippala(2015b)標(biāo)注的赫爾辛基旅游宣傳冊(cè)與Zhang(2017)標(biāo)注的紐約和中國(guó)香港的公共衛(wèi)生海報(bào)。本文首先介紹GeM模型并討論為何修辭結(jié)構(gòu)的分析是多模態(tài)語(yǔ)料庫(kù)建設(shè)的重要層次，著重闡述如何將修辭結(jié)構(gòu)理論(Rhetorical Structure Theory，RST)(Mann et al. 1992；Mann & Thompson 1988)擴(kuò)展應(yīng)用于非實(shí)時(shí)性多模態(tài)語(yǔ)篇分析。隨后，本文以公共衛(wèi)生海報(bào)語(yǔ)料庫(kù)(Zhang 2017)為例，演示如何使用可擴(kuò)展標(biāo)記語(yǔ)言(eXtensible Markup Language，XML)標(biāo)注平面圖文語(yǔ)篇的修辭結(jié)構(gòu)、如何利用計(jì)算工具gem-tools(Hiippala 2015a)進(jìn)行GeM標(biāo)注語(yǔ)料庫(kù)研究。最后，本文在展示基于GeM模型應(yīng)用RST構(gòu)建多模態(tài)語(yǔ)料庫(kù)的基礎(chǔ)上，討論此類標(biāo)注語(yǔ)料庫(kù)對(duì)多模態(tài)研究的優(yōu)勢(shì)以及未來發(fā)展的挑戰(zhàn)。

二、 多模態(tài)語(yǔ)料庫(kù)建設(shè)：GeM模型與RST

John Bateman等人于1999至2002年期間在斯特靈大學(xué)和不萊梅大學(xué)成立GeM項(xiàng)目組，開發(fā)一個(gè)旨在從多模態(tài)體裁的角度來解釋多模態(tài)語(yǔ)篇視覺風(fēng)格(包括版式、排印等)上的一致性與多樣性的框架，即GeM模型。項(xiàng)目組假定體裁在多模態(tài)語(yǔ)篇的版式結(jié)構(gòu)、印刷式樣和空間布局等的選擇上有一定的制約，以及對(duì)語(yǔ)篇的修辭結(jié)構(gòu)和布局結(jié)構(gòu)之間的轉(zhuǎn)化有一定的影響(Bateman 2014a：32)。為論證這一假設(shè)，項(xiàng)目組采用語(yǔ)料庫(kù)驅(qū)動(dòng)的方法來設(shè)計(jì)GeM模型以支持實(shí)證研究。他們以插圖書籍、說明書、印刷版和網(wǎng)絡(luò)版報(bào)紙作為研究對(duì)象，探討這些非實(shí)時(shí)性語(yǔ)料的物質(zhì)載體(紙張或電腦屏幕)及所使用的符號(hào)資源(文字、照片、插圖 、圖表、表格、地圖等)等，并以此確定模型的必要分析層。

圖1 GeM模型應(yīng)用步驟(譯自Hiippala 2017：278)

鑒于符號(hào)模態(tài)(semiotic mode)種類繁多難以作出清晰的界定，Bateman(2008)區(qū)分了三類主要的模態(tài)：文本流(text-flow)、圖像流(image-flow)、頁(yè)面流(page-flow)。文本流以線性展開邏輯文本實(shí)體；圖像流以序列(sequence)連接相關(guān)元素，如由多個(gè)元素構(gòu)成的一個(gè)圖表、一幅漫畫等；頁(yè)面流以空間距離、元素群組(spatial proximity，grouping of elements)等統(tǒng)籌更多具有修辭功能的單位實(shí)現(xiàn)語(yǔ)篇的交際目的。根據(jù)這些定義，項(xiàng)目組選取的任何一個(gè)多模態(tài)頁(yè)面(如動(dòng)物圖鑒、電話機(jī)使用說明書等)，都可以視作是多種符號(hào)模態(tài)(如文本流、插圖、圖表等)相互協(xié)調(diào)與整合的多模態(tài)修辭結(jié)構(gòu)體。因此，與交際目的的實(shí)現(xiàn)緊密相關(guān)的修辭結(jié)構(gòu)、修辭潛勢(shì)的研究是多模態(tài)語(yǔ)篇分析的關(guān)鍵一環(huán)，也是GeM模型描述多模態(tài)語(yǔ)篇的重要組成部分。除此之外，該模型還涵蓋內(nèi)容層中各符號(hào)系統(tǒng)的體現(xiàn)形式如文字特征等。項(xiàng)目組共設(shè)置了四個(gè)必要分析層：基礎(chǔ)層、版式層、修辭層、導(dǎo)航層(詳細(xì)介紹見圖1)，并開發(fā)了第一套使用XML多層標(biāo)注非實(shí)時(shí)性語(yǔ)料的方案(Henschel 2003)。

其中，修辭層借助RST分析多模態(tài)語(yǔ)料的修辭結(jié)構(gòu)。以描寫語(yǔ)篇結(jié)構(gòu)為出發(fā)點(diǎn)旨在實(shí)現(xiàn)自然語(yǔ)篇的計(jì)算機(jī)生成，William C. Mann、Sandra A. Thompson和Christian M.I.M. Matthiessen于20世紀(jì)80年代初在南加州大學(xué)創(chuàng)立了RST。該理論從功能的角度解讀各小句、句子、段落等語(yǔ)篇單位，通過對(duì)各單位之間修辭關(guān)系的分析來解釋語(yǔ)篇的整體性、連貫性和層級(jí)性。RST一誕生就為語(yǔ)篇分析提供了可行的理論框架(Delin & Bateman 2002；Matthiessen & Thompson 1988)，也為語(yǔ)篇的自動(dòng)生成帶來了建模上的靈活性(Hovy 1993；Moore & Paris 1993)。盡管RST在語(yǔ)篇分析、生成等不同學(xué)科領(lǐng)域有相當(dāng)?shù)挠绊懥皬V泛的適用性(Taboada & Mann 2006)，但也有學(xué)者質(zhì)疑理論本身及其應(yīng)用，主要包括語(yǔ)篇單位的切分、核心單位的確定等(Fritz 2014；Stede 2008)。當(dāng)RST被擴(kuò)展應(yīng)用于多模態(tài)研究領(lǐng)域時(shí)，這兩個(gè)問題就顯得尤為突出。Bateman(2008：157-159)詳細(xì)闡釋了將RST應(yīng)用于多模態(tài)語(yǔ)篇分析時(shí)四項(xiàng)特別值得注意的問題：修辭單位的界定、修辭關(guān)系核心性(nuclearity)的確定、修辭單位間的空間鄰接性以及同一修辭單位的重用現(xiàn)象(the reuse of a span/segment)。

第一，RST的研究始于小句，逐步過渡到句子、段落和語(yǔ)篇；但在多模態(tài)研究領(lǐng)域，這一分析模式將被打破。多模態(tài)語(yǔ)篇的最小修辭單位可以是比小句更小的元素。GeM項(xiàng)目組界定了可滿足項(xiàng)目研究要求的基礎(chǔ)單位(Bateman 2008：111)。例如圖表或列表中的基礎(chǔ)單位包括圖、圖表標(biāo)題、圖表中的文字、列表起始句、列表?xiàng)l目。這其中不少基礎(chǔ)單位往往由小于小句的名詞短語(yǔ)甚至單詞構(gòu)成，但都是修辭單位并通過一定的關(guān)系被連接起來：圖表中的圖與標(biāo)題可構(gòu)成詳述(elaboration)、多核心重述(multi-nuclear restatement)、識(shí)別(identification)等關(guān)系；列表中的起始句與條目可構(gòu)成類別從屬(class-ascription)、屬性識(shí)別(property-ascription)等關(guān)系(Bateman 2008：160-163)。識(shí)別等關(guān)系是GeM項(xiàng)目組為處理多模態(tài)修辭現(xiàn)象而進(jìn)行的擴(kuò)展(馮德正等 2016：50)。RST最初定義了24種修辭關(guān)系(Mann & Thompson 1988)，但修辭關(guān)系集具有開放性。在多模態(tài)、多語(yǔ)種等研究領(lǐng)域，分析者可根據(jù)研究目的細(xì)化和補(bǔ)充關(guān)系集，例如Carlson等(2003)的樹庫(kù)團(tuán)隊(duì)設(shè)計(jì)了78種修辭關(guān)系。

第二，修辭關(guān)系核心性的確定。多模態(tài)語(yǔ)篇中的圖像往往極富視覺沖擊力，這也加大了判斷核心性的難度。例如當(dāng)圖像與文字構(gòu)成詳述關(guān)系時(shí)，很難判定哪一個(gè)是核心。在此類情況下，我們可以選擇多核心關(guān)系來避免判定的任意性(Bateman 2008：159；Matthiessen待發(fā)表)。圖2展示了兩個(gè)常見的標(biāo)志牌及多核心關(guān)系的RST圖式。圖2a提醒大眾在此區(qū)域禁止吸煙，禁煙圖標(biāo)和文字“no smoking”表達(dá)的意義一致，構(gòu)成多核心重述關(guān)系。圖2b提示道路使用者右側(cè)為公共入口，文字“public access”和右箭頭圖標(biāo)表達(dá)的意義相互疊加，共同預(yù)告入口設(shè)施及方位，構(gòu)成多核心增添關(guān)系(addition)。Matthiessen(1995、待發(fā)表)系統(tǒng)化重構(gòu)RST，對(duì)判斷修辭關(guān)系的核心性提出了核心性連續(xù)體(nuclearity cline)的概念。例如在漫畫、新聞等體裁中常見的投射關(guān)系(projection)，對(duì)于說話人(projecting)與說的話(projected)之間是否構(gòu)成單核心或多核心關(guān)系，構(gòu)成單核心關(guān)系的情況下哪個(gè)語(yǔ)篇單位為核心，Matthiessen(待發(fā)表)指出判斷核心性應(yīng)根據(jù)作者想要表達(dá)的交際效果，即不同的取向性(orientation)而定：若對(duì)說話人的表達(dá)更具主題性，說話人為核心(若更強(qiáng)調(diào)主題，即以說話人為核心)；若對(duì)說的話的表達(dá)更具表述性，則說的話為核心(若更強(qiáng)調(diào)話語(yǔ)表述的內(nèi)容，則以所說的話為核心)(可參閱Matthiessen & Teruya 2015)。

圖2 多核心修辭關(guān)系的示例(Matthiessen待發(fā)表)

第三，修辭單位間的非線性排列。傳統(tǒng)上，RST分析呈線性排列的句子及更高層次的語(yǔ)篇單位。但是，多模態(tài)語(yǔ)篇具有“多角度、多起點(diǎn)的特點(diǎn)，能夠從左到右、從上到下、從中心到邊沿組織信息，甚至是三種角度的結(jié)合，或者是相反的過程”(張德祿2012：126)。因此，修辭單位間的相互毗連，呈現(xiàn)二維甚至三維的空間排列，例如漫畫中的元素覆蓋(overlay)現(xiàn)象。Bateman(2008：158)認(rèn)為分析者可以遵循多方位鄰接原則(adjacent in any direction)來處理這一問題。

第四，同一修辭單位的重用現(xiàn)象。例如使用說明書中的插圖往往既可以呈現(xiàn)產(chǎn)品的某一特定部分來幫助使用者識(shí)別，又可以展示某一具體操作動(dòng)作。舉例來說，在iPhone使用手冊(cè)的“開始使用”部分，手機(jī)側(cè)邊的SIM卡托盤及回紋針這一圖例讓iPhone用戶一方面清楚該部分所在位置，另一方面了解如何安裝、取出或更換手機(jī)中的SIM卡。這一圖例因此可與多個(gè)修辭單位形成修辭關(guān)系。但在具體分析中，為維持修辭結(jié)構(gòu)的樹形層級(jí)性，Bateman(2008：159)不建議重復(fù)使用同一修辭單位。

三、 多模態(tài)語(yǔ)料庫(kù)建設(shè)：標(biāo)注、圖示及分析

1. 語(yǔ)料庫(kù)簡(jiǎn)介

本節(jié)以基于GeM模型多層標(biāo)注建立的CPHP(Corpus of Public Health Posters)(Zhang 2017)為例，演示基礎(chǔ)層和修辭層的標(biāo)注、圖示，并介紹基于CPHP的多模態(tài)修辭研究。CPHP分為兩個(gè)子語(yǔ)料庫(kù)，即CPHP-NYC和CPHP-HK，涵蓋選自紐約和中國(guó)香港的公共衛(wèi)生海報(bào)各30張。語(yǔ)料涉及健康飲食、體能活動(dòng)、非傳染病、傳染病、口腔衛(wèi)生、健康保險(xiǎn)、器官捐贈(zèng)、吸煙、吸毒、飲酒等20多個(gè)健康主題。本節(jié)選取CPHP-NYC中的一例海報(bào)NYC-2(見圖3)來作具體演示。NYC-2是Read’em Before You Eat’em公眾教育運(yùn)動(dòng)的海報(bào)之一，展示于紐約地鐵站等公共場(chǎng)所。2008年，紐約成為美國(guó)第一個(gè)強(qiáng)制要求連鎖餐廳在菜單上標(biāo)示卡路里的城市，并出臺(tái)了標(biāo)準(zhǔn)的菜單標(biāo)示法。該宣導(dǎo)活動(dòng)隨之產(chǎn)生，提醒消費(fèi)者用餐時(shí)查看卡路里含量并作出健康的選擇。

圖3 健康教育海報(bào)示例NYC-2

2. 語(yǔ)料庫(kù)標(biāo)注

語(yǔ)料庫(kù)標(biāo)注的第一步是確定、識(shí)別基礎(chǔ)單位(見圖1)，基本原則是相對(duì)最小性與客觀全面性?；A(chǔ)單位的最小性(atomicity)是相對(duì)于其他分析層的基本單位而言的，基礎(chǔ)單位是修辭單位等的組成基礎(chǔ)(Bateman 2008：111)。所有文字元素甚至可以以單詞為基礎(chǔ)單位進(jìn)行標(biāo)注，再在其他分析層進(jìn)行組合，但為了避免基礎(chǔ)層的代碼爆炸，一般研究都無須把單詞界定為最小元素。此外，利用功能、體裁等特征可方便辨認(rèn)及標(biāo)識(shí)基礎(chǔ)單位，但識(shí)別的客觀全面性要求分析者保持獨(dú)立判斷，免受任何影響(如視覺感知特性、與研究的相關(guān)程度)，不能過早組合或遺漏任何元素。所以NYC-2共包括14個(gè)基礎(chǔ)單位，并使用id屬性(u-02.01，u-02.02等)標(biāo)識(shí)每個(gè)基礎(chǔ)單位(見表1)。

labelbase unitlabel base unitu-02.012000 CALORIES A DAY IS ALL MOST ADULTS SHOULD EATu-02.08Logo: NYCu-02.02Photograph: A plateful of burrito with toppingsu-02.09Michael R. Bloomberg,u-02.03Flag label: Calorie postingu-02.10Mayoru-02.041170 CALORIESu-02.11Lineu-02.05Chicken burrito with all toppingsu-02.12Department of Health & Mental Hygieneu-02.06If this is lunch, is there room for din-ner?u-02.13Thomas R. Farley, M.D., M.P.H.,u-02.07Logo: Calorie Education Campaignu-02.14Commissioner

表1 NYC-2的基礎(chǔ)單位

那么，如何標(biāo)注這些復(fù)雜的基礎(chǔ)單位、修辭結(jié)構(gòu)呢？如何實(shí)現(xiàn)基礎(chǔ)單位在其他分析層的可重復(fù)性以保證各分析層的交互式參照？如何使數(shù)據(jù)的處理能力(如統(tǒng)計(jì)、可視化、檢索等)更強(qiáng)？如何使數(shù)據(jù)的修改、不同語(yǔ)料庫(kù)之間數(shù)據(jù)的交換等更方便？GeM項(xiàng)目組使用可擴(kuò)展標(biāo)記語(yǔ)言XML來滿足各類要求。限于篇幅，本文對(duì)XML的基礎(chǔ)知識(shí)、特點(diǎn)等不作具體介紹。XML允許用戶自行定義描述性的標(biāo)簽(tag)來標(biāo)識(shí)數(shù)據(jù)，項(xiàng)目組因此設(shè)計(jì)了一系列標(biāo)簽，例如基礎(chǔ)單位的標(biāo)簽為(見圖4)。利用XML編輯器，直接輸入文字?jǐn)?shù)據(jù)，起始標(biāo)簽和終止標(biāo)簽分別為；圖像等非文字?jǐn)?shù)據(jù)因不能被直接輸入，我們使用alt屬性提供文字說明。視覺效果被強(qiáng)化的文字(如海報(bào)標(biāo)題中的“A DAY”)等幾類元素被標(biāo)注為嵌入式基礎(chǔ)單位(embedded base units)(Henschel 2003：3-4)。

圖4 NYC-2的基礎(chǔ)層標(biāo)注

修辭層的標(biāo)注包括兩部分：修辭單位及修辭關(guān)系。不是所有的基礎(chǔ)單位都是修辭單位。嵌入式基礎(chǔ)單位、引導(dǎo)元素、某些圖案元素如分隔線等不視作修辭單位(Henschel 2003：17-18)；體裁的一些固定元素(如書信的稱呼和信尾敬辭等)也不計(jì)作修辭元素。因此，除去海報(bào)出版機(jī)構(gòu)的標(biāo)志組合(logo lockup)等元素，NYC-2共包括6個(gè)修辭單位：海報(bào)標(biāo)題、墨西哥卷餅圖片、熱量標(biāo)示、圖片小標(biāo)題、公眾教育運(yùn)動(dòng)標(biāo)志、反問句。如圖5所示，修辭單位的標(biāo)簽為，各修辭單位id屬性依次設(shè)置為s-02.01，s-02.02等，通過xref屬性對(duì)應(yīng)所指涉的基礎(chǔ)單位。分析修辭關(guān)系后，標(biāo)注各修辭關(guān)系。其中識(shí)別(identification)關(guān)系因類似于is-/has-從句的句內(nèi)關(guān)系，被標(biāo)注為。

圖5 NYC-2的修辭層標(biāo)注

3. 語(yǔ)料庫(kù)圖示與分析

標(biāo)注完成、驗(yàn)證后，利用計(jì)算工具gem-tools實(shí)現(xiàn)標(biāo)注的可視化(如圖6的修辭結(jié)構(gòu)圖)、統(tǒng)計(jì)語(yǔ)料庫(kù)數(shù)據(jù)(如修辭關(guān)系出現(xiàn)次數(shù)、不同模態(tài)的使用比重)、檢索模式(如RST圖式)等。這套gem-tools針對(duì)GeM標(biāo)注語(yǔ)料庫(kù)開發(fā)，用程式語(yǔ)言Python編寫代碼，在交互式筆記本Jupyter Notebook中運(yùn)行。Zhang(2017)在使用gem-tools過程中，發(fā)現(xiàn)、報(bào)告其缺陷，并協(xié)助Hiippala進(jìn)行修正和改善；對(duì)不同體裁的語(yǔ)料進(jìn)行反復(fù)測(cè)試后，gem-tools在體裁適用性、圖示高清度等方面已得到了顯著提高。運(yùn)行命令啟動(dòng)Notebook，在Jupyter界面導(dǎo)入NYC-2的基礎(chǔ)層、修辭層XML 文件，即刻輸出圖6。圖示修辭結(jié)構(gòu)可再次判定修辭關(guān)系分析的準(zhǔn)確性、驗(yàn)證代碼的有效性。相比之下，手動(dòng)繪圖費(fèi)時(shí)耗力，只適合個(gè)案研究(如馮德正等 2016)，RST繪圖軟件(如O’Donnell 1997的RST-Tool)既不如gem-tools快速便捷，也不具備合并不同層次結(jié)構(gòu)圖(如修辭結(jié)構(gòu)和版式結(jié)構(gòu))等功能。

圖6 NYC-2的修辭結(jié)構(gòu)圖

多層標(biāo)注60張海報(bào)后，利用gem-tools統(tǒng)計(jì)與修辭結(jié)構(gòu)分析相關(guān)的數(shù)據(jù)：29種修辭關(guān)系在CPHP中共出現(xiàn)了454次(見圖7)。其中，詳述、使能(enablement)、動(dòng)機(jī)(motivation)、多核心重述、準(zhǔn)備(preparation)等關(guān)系的出現(xiàn)頻率較高。運(yùn)用gem-tools搜索特定修辭關(guān)系，對(duì)比所選定關(guān)系RST圖式中的核心、衛(wèi)星單位，可以分析修辭關(guān)系在CPHP中的構(gòu)成特征。例如，在Jupyter界面中輸入“preparation”，準(zhǔn)備關(guān)系的RST圖式被突出顯示，搜索數(shù)據(jù)顯示其衛(wèi)星單位往往是醒目的海報(bào)標(biāo)題或/和視覺沖擊力強(qiáng)的圖像，這些衛(wèi)星單位單獨(dú)或共同在較短時(shí)間內(nèi)吸引觀賞者的注意力，并為整張海報(bào)的理解起準(zhǔn)備作用。因此，以標(biāo)注語(yǔ)料庫(kù)實(shí)證分析的統(tǒng)計(jì)、檢索信息為依據(jù)，結(jié)合對(duì)各符號(hào)資源的定性分析，可實(shí)現(xiàn)對(duì)不同修辭關(guān)系在檢索范圍內(nèi)的使用情況的全面研究。接下來我們通過檢索在CPHP中高頻出現(xiàn)的幾種修辭關(guān)系，簡(jiǎn)單討論公共衛(wèi)生海報(bào)的意義配置以及子語(yǔ)料庫(kù)中海報(bào)的構(gòu)意特征。

動(dòng)機(jī)與使能這一對(duì)修辭關(guān)系在公益海報(bào)中的高頻出現(xiàn)是可以預(yù)見的，但如何出現(xiàn)需要實(shí)證考察。輸入“motivation”，搜索發(fā)現(xiàn)CPHP中所有海報(bào)的call-to-action(CTA)，即動(dòng)機(jī)關(guān)系RST圖式的核心單位，幾乎一律使用祈使語(yǔ)氣，直接明確。例如NYC-1中的“CUT YOUR PORTIONS. CUT YOUR RISK.”和HK-17中的“記得醒目防曬！Be SunSmart!”。在子語(yǔ)料庫(kù)中分別輸入“enablement”，對(duì)比顯示在CPHP-NYC中仍大量以祈使語(yǔ)氣呈現(xiàn)相關(guān)資源，與CTA緊密呼應(yīng)且數(shù)量適中，例如NYC-1中的“Call 311 for your Healthy Eating Packet”。在CPHP-HK中相關(guān)信息卻幾乎以名詞短語(yǔ)的形式呈現(xiàn)，例如HK-17中的“免費(fèi)熱線 3656 0800 更多防曬貼士：www.cancer-fund.org/sunsmart”。CPHP-HK中的有些海報(bào)甚至逐條列出專題網(wǎng)站、健康教育熱線等相關(guān)資源。輸入“elaboration”，對(duì)比顯示詳述關(guān)系在CPHP-NYC中主要出現(xiàn)在文本流中，通過補(bǔ)充細(xì)節(jié)、提供實(shí)例等來進(jìn)一步闡釋與某一健康主題相關(guān)的知識(shí)及態(tài)度；在CPHP-HK中卻分別大比例地出現(xiàn)在圖像流、文本流中，或由海報(bào)標(biāo)題與最明顯的圖像流構(gòu)成。而CPHP-NYC中的海報(bào)標(biāo)題與相關(guān)圖像流往往構(gòu)成多核心重述關(guān)系，圖像本身易讀性也高，使得共同表達(dá)的含義更加清晰明了。此外，CPHP-HK中象征性圖像使用較頻繁，比CPHP-NYC中同類圖像的出現(xiàn)次數(shù)高出一倍多。因此初步分析表明，CPHP-NYC中的海報(bào)使人一目了然，CPHP-HK中的海報(bào)整體構(gòu)意不夠明確。這是否與海報(bào)設(shè)計(jì)者對(duì)公眾視覺能力(visual competence)、文化背景等要素的不同預(yù)設(shè)相關(guān)，還需結(jié)合社會(huì)心理學(xué)、傳播學(xué)、文化研究等理論進(jìn)一步實(shí)證分析。雖然已經(jīng)超出本文關(guān)注的范圍，但我們需要強(qiáng)調(diào)將文本分析置于社會(huì)文化背景中進(jìn)行闡釋的重要性。

圖7 CPHP的修辭關(guān)系統(tǒng)計(jì)圖

最后需要說明的是，GeM模型的設(shè)計(jì)初衷并非是分析修辭結(jié)構(gòu)，而是將多模態(tài)語(yǔ)篇視為多層次符號(hào)制品(multi-layered semiotic artefact)進(jìn)行多層描述分析(Bateman 2008：108)，如圖1所示。此外，根據(jù)系統(tǒng)功能語(yǔ)法(Halliday & Matthiessen 2014：26)，語(yǔ)言為四層次系統(tǒng)，即內(nèi)容層的語(yǔ)義層、詞匯語(yǔ)法層和表達(dá)層的音系、語(yǔ)音層或字系、字體層，而表達(dá)層的層次性對(duì)于多模態(tài)研究更為重要，因?yàn)槿藗冃枰辣磉_(dá)資源是如何與其他各層的系統(tǒng)相關(guān)聯(lián)及互動(dòng)的。所以，雖然修辭層是GeM模型的重要部分，但建庫(kù)分析更大的優(yōu)勢(shì)是依據(jù)各分析層的互相參照而全面、準(zhǔn)確闡釋多模態(tài)語(yǔ)篇的意義構(gòu)建。例如，修辭結(jié)構(gòu)與版式結(jié)構(gòu)之間的關(guān)系被認(rèn)為是對(duì)等的：修辭結(jié)構(gòu)中的特定構(gòu)型(configuration)會(huì)影響版式結(jié)構(gòu)的設(shè)計(jì)，反之亦然。CPHP也包括各海報(bào)版式層的標(biāo)注文件。通過對(duì)比修辭和版式結(jié)構(gòu)、對(duì)照修辭單位在版式層的區(qū)域模塊等，可以揭示不同語(yǔ)篇單位在設(shè)計(jì)、排印等方面的資源選擇，有助于進(jìn)一步分析多模態(tài)修辭潛勢(shì)。多層標(biāo)注的多模態(tài)語(yǔ)料庫(kù)也是進(jìn)一步研究多模態(tài)體裁、進(jìn)行跨文化或跨媒介對(duì)比研究的理想工具。雖然有諸多優(yōu)勢(shì)，GeM模型的標(biāo)注方案還需完善。版式層的標(biāo)注方案主要針對(duì)格狀基礎(chǔ)的設(shè)計(jì)(grid-based design)，如GeM項(xiàng)目組所選取的各類語(yǔ)料。對(duì)于不同設(shè)計(jì)的多模態(tài)語(yǔ)篇，我們無法依據(jù)現(xiàn)有的標(biāo)注方案確定各版式單位及版式單位群的空間位置信息。以polygon的方式進(jìn)行更靈活更精準(zhǔn)的三維定位可以解決這一問題(Zhang 2017)。此外，標(biāo)注方式的發(fā)展趨勢(shì)是從人工標(biāo)注到自動(dòng)標(biāo)注，應(yīng)盡快開發(fā)基于Web的自動(dòng)標(biāo)注工具以提高標(biāo)注的效率和精確度。

四、 結(jié) 語(yǔ)

作為語(yǔ)篇分析和生成的工具，RST已廣泛應(yīng)用于語(yǔ)言學(xué)、計(jì)算語(yǔ)言學(xué)、計(jì)量語(yǔ)言學(xué)、人工智能等領(lǐng)域及其交叉研究，但都只是對(duì)單一模態(tài)語(yǔ)篇的語(yǔ)篇結(jié)構(gòu)等進(jìn)行標(biāo)注的語(yǔ)料庫(kù)(Carlsonetal. 2002；Dasetal. 2015)。GeM模型則是唯一擴(kuò)展RST建設(shè)多模態(tài)語(yǔ)料庫(kù)的框架。本文展示了應(yīng)用GeM模型建庫(kù)的基本步驟，并演示了多模態(tài)語(yǔ)料庫(kù)的修辭結(jié)構(gòu)標(biāo)注、圖示及分析?？傊?，借鑒RST的GeM模型為多模態(tài)語(yǔ)料庫(kù)建設(shè)提出了可操作的理論與標(biāo)注方案，發(fā)展了多模態(tài)實(shí)證研究的技術(shù)方法；而基于此模型的標(biāo)注語(yǔ)料庫(kù)為更加系統(tǒng)、深入理解復(fù)雜多模態(tài)語(yǔ)篇的意義建構(gòu)、模態(tài)關(guān)系以及多模態(tài)體裁空間(genre space)等概念提供了有力的分析框架與實(shí)證基礎(chǔ)。事實(shí)上，從20世紀(jì)90年代多模態(tài)語(yǔ)篇的自動(dòng)生成(Batemanetal. 2001；Matthiessenetal. 1995)到本世紀(jì)初多模態(tài)語(yǔ)料庫(kù)的標(biāo)注構(gòu)建(Bateman 2008)，RST一直起著關(guān)鍵性的作用，在多模態(tài)研究領(lǐng)域具有不可替代的優(yōu)勢(shì)。作為語(yǔ)言學(xué)者，一方面，我們應(yīng)進(jìn)一步發(fā)展多模態(tài)修辭結(jié)構(gòu)理論、完善應(yīng)用此理論構(gòu)建多模態(tài)語(yǔ)料庫(kù)的模型，通過大量的實(shí)證分析，研究多模態(tài)語(yǔ)篇的內(nèi)容層、表達(dá)層等各個(gè)層次的特征、層次之間的關(guān)系，對(duì)比更多不同體裁的多模態(tài)語(yǔ)篇，據(jù)以加強(qiáng)多模態(tài)領(lǐng)域的理論建設(shè)。另一方面，我們應(yīng)通過完善實(shí)證分析的研究方法增進(jìn)與人工智能等領(lǐng)域的交流合作。例如為人工智能領(lǐng)域提供我們的語(yǔ)義標(biāo)注數(shù)據(jù)并探討各類數(shù)據(jù)的結(jié)合應(yīng)用。鑒于此，語(yǔ)言學(xué)領(lǐng)域自身也應(yīng)更廣泛地布局人工智能，研究者可以了解人工智能諸多流派的研究現(xiàn)狀、難題以及趨勢(shì)，解決語(yǔ)言學(xué)與多模態(tài)研究的新問題并為人工智能研究提供新的思路。