国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

語篇信息分析:多模態(tài)語篇分析難題的解決方法

2015-01-31 09:30:55杜金榜

語篇信息分析:多模態(tài)語篇分析難題的解決方法

杜金榜

(廣東外語外貿(mào)大學(xué) 國際商務(wù)英語學(xué)院, 廣州 510420)

摘要:多模態(tài)語篇分析正成為法律語篇研究的熱點(diǎn)之一,但是有關(guān)非語言模態(tài)信息與語言語篇信息的結(jié)合,研究者尚未找到有效的解決方法,這已經(jīng)成為多模態(tài)語篇分析的難題之一。本文嘗試采用法律語篇信息分析的方法,基于信息型語料庫技術(shù),對多模態(tài)信息進(jìn)行分析并將其與語言語篇信息整合。論述了多模態(tài)語篇信息分析的原則、多模態(tài)信息的語篇化處理、語篇信息的分析與標(biāo)注以及多模態(tài)信息的整合與調(diào)用,并采用非法律語篇實(shí)例進(jìn)行分析和操作。研究表明,從語篇信息角度進(jìn)行多模態(tài)語篇分析是一種可具操作性的方法。該方法除了應(yīng)用于法律語言學(xué)研究外,還可廣泛應(yīng)用于其他相關(guān)領(lǐng)域。

關(guān)鍵詞:多模態(tài)語篇信息分析;語篇化;信息型語料庫技術(shù);關(guān)聯(lián)點(diǎn)

收稿日期:2014-12-15

基金項(xiàng)目:國家社會(huì)科學(xué)基金項(xiàng)目(13BYY088);廣東省哲學(xué)社會(huì)科學(xué)“十二五”共建項(xiàng)目(GD11XWW09)

作者簡介:杜金榜(1953-),男,河南南陽人,教授,博士,主要研究方向?yàn)榉烧Z言學(xué)。

文章編號(hào):1671-6906(2015)02-0017-07

中圖分類號(hào):p15.9

文獻(xiàn)標(biāo)志碼:A

DOI:10.3969/j.issn.1671-6906.2015.02.005

Abstract:Multimodal discourse analysis has become one of the hot issues of discourse analysis. However, researchers have not found solutions to the problem concerning the integration of non-linguistic information and linguistic discourse information, which is one of the difficulties of multimodal discourse analysis. The present paper, by attempting the discourse information analysis (DIA) method, on the basis of information-oriented corpus techniques, analyzes multimodal information and integrates it with linguistic discourse information. The process of this study involves the explication of the principles of multimodal discourse information analysis (MDIA), discoursalization of multimodal information, analysis and tagging of discourse information, integration and retrieving of multimodal information. Examples are analyzed for demonstrating the method under discussion. This study shows that it is feasible to conduct multimodal discourse analysis from the perspective of discourse information. When combined with corpus techniques, this approach can be applied to teaching, comprehensive information processing and other pertinent fields.

人類社會(huì)交際離不開對不同模態(tài)信息的綜合運(yùn)用。隨著現(xiàn)代科技的發(fā)展,可用于日常交際的媒體手段日益豐富,單純從語言角度研究已不能有效解決交際問題。因此,多模態(tài)語篇分析自上世紀(jì)90年代在國外興起并逐漸受到重視,成為語篇分析領(lǐng)域的一個(gè)重要研究分支。近年來多模態(tài)語篇分析也得到中國學(xué)者的關(guān)注[1-8]。

多模態(tài)語篇分析的最大難題之一是在不同模態(tài)信息之間,尤其是語言模態(tài)信息與非語言模態(tài)信息之間建立關(guān)聯(lián)。目前人們對非語言模態(tài)信息的規(guī)律知之甚少。盡管有關(guān)視覺語法[9]、多模態(tài)轉(zhuǎn)寫[10]的嘗試有助于對非語言模態(tài)信息傳遞的了解,但由于多模態(tài)語篇變化十分豐富,因此它比語言語篇研究的難度更大,建立多模態(tài)信息間的關(guān)聯(lián)就成了困擾語言學(xué)家的一個(gè)難題。

語言在人類交際中常占據(jù)中心地位,人類交際的核心是傳遞信息、處理信息,因此,對語言研究者來說,從語言語篇出發(fā)研究多模態(tài)信息間的關(guān)聯(lián),可謂首選。本文采用法律語言學(xué)的語篇信息分析方法,闡述多模態(tài)信息間,特別是非語言模態(tài)信息與語言語篇信息之間的關(guān)系,通過普通語篇實(shí)例,提出多模態(tài)語篇信息分析的方法,展示具體的操作過程和廣闊的應(yīng)用空間。

1多模態(tài)語篇分析的難題及解決方法

1.1多模態(tài)語篇分析的難題

1.1.1多模態(tài)語篇的相關(guān)定義

由于多模態(tài)語篇分析尚處于初創(chuàng)時(shí)期,研究者對相關(guān)的術(shù)語尚未達(dá)成統(tǒng)一意見,以致形成混亂。這些術(shù)語中,模式(mode)、媒體(medium)、多模態(tài)(multimodal)、多模態(tài)性(multimodality)、多媒體(multimedia)的使用頻率最高,也最容易引起分歧。O’Halloran K L認(rèn)為,“……該研究領(lǐng)域被統(tǒng)稱為‘多模態(tài)’,‘多模態(tài)’主要是指多種模式(如口頭、書面、印刷和數(shù)字媒體、所體現(xiàn)的行為以及三維材料的物品和場所),通過這些,社會(huì)符號(hào)得以發(fā)生。”[11]多模態(tài)是指信息傳遞的方式,這一觀點(diǎn)見于諸多研究[12-15]。

O’Halloran K L將符號(hào)資源定義為“通過感官模態(tài)(如視覺、聽覺、觸覺、嗅覺、味覺、肌肉運(yùn)動(dòng)覺)在多模態(tài)文本、語篇和事件等所謂的多模態(tài)現(xiàn)象中整合的資源(或模式)(如語言、圖像、音樂、手勢、建筑)”[16]。此處O’Halloran K L特別強(qiáng)調(diào),多模態(tài)不僅包括不同模式,也包括各種感知渠道。這正好印證了Hurdley R和 Dicks B所說的情況,“符號(hào)學(xué)家開始從語言和穩(wěn)定的意義系統(tǒng)的核心旁移,而民族志研究者也日益清楚地認(rèn)識(shí)到非語言多感官現(xiàn)象的重要作用?!盵17]Peeters H認(rèn)為,“多模態(tài)產(chǎn)生于符號(hào)和感知域的交互”[18]。

根據(jù)研究者對多模態(tài)定義的不斷拓展,多模態(tài)指基于不同媒體、不同模式和感官渠道處理信息的過程。其中模式指交際的方式,如口頭、書面、手勢、身姿等;媒體指交際的物質(zhì)手段,如文字、圖像、音樂、建筑等;感官渠道指處理信息時(shí)所涉及的聽覺、視覺、觸覺、嗅覺、味覺等感官。

1.1.2多模態(tài)語篇分析的角度

截至目前,功能語言學(xué)角度的分析在多模態(tài)語篇研究中占主要地位,成果最為突出[9-10,12,15,19-20]。功能語言學(xué)角度的分析主要從語言的三大元功能(meta-function)出發(fā),偏重理論角度的論證,強(qiáng)調(diào)功能語言學(xué)在多模態(tài)分析中的有效性。

此外,多模態(tài)與技術(shù)[21]、多模態(tài)與認(rèn)知[22-23]、多模態(tài)與語用[24]、多模態(tài)與體裁分析[25]、多模態(tài)與語料庫語言學(xué)[26]等角度的研究也逐漸展開,使多模態(tài)語篇分析的理論視角和內(nèi)容更為豐富。

Bateman J A等提出,“此前的大多數(shù)分析均基于主觀印象,難以證實(shí)?!盵27]他們呼吁展開基于語料庫的多模態(tài)語篇分析。由于語料庫便于處理大量且種類不同的信息,因此受到特別關(guān)注。Blache P等從多模態(tài)角度報(bào)告了收集、標(biāo)注語料和使用對話語料庫的研究過程,涉及語音、詞素、句法、韻律、語篇和手勢等信息的處理和處理機(jī)制的建立[28]。Kipp M等收集的文章則覆蓋了多模態(tài)語料庫材料的收集和發(fā)布、標(biāo)注和分析、效度研究、跨文化角度研究以及語料瀏覽、標(biāo)注、交換所用的工具等[29],涉及技術(shù)相當(dāng)全面。

1.1.3局限性

目前,語言學(xué)領(lǐng)域的多模態(tài)研究尚未有系統(tǒng)的分析方法。視覺語法是一種比照語言語法分析的有益嘗試,但還不能有效描述比語言語法更為復(fù)雜多變的視覺語篇的“語法”結(jié)構(gòu)。社會(huì)符號(hào)學(xué)角度的多模態(tài)研究著重功能語言學(xué)理論的應(yīng)用,局限于理論思考和套用,還不能有效解決實(shí)際問題。

目前的多模態(tài)語篇分析的最大難題之一是非語言語篇與語言語篇如何建立聯(lián)系。非語言語篇如果不和語言語篇有效整合,相關(guān)信息往往無法有效處理。例如,在語言教學(xué)中如何有效地使用多模態(tài)資源,往往成為課程設(shè)計(jì)的難題。語篇間如何建立聯(lián)系以便整合非語言語篇和語言語篇,這一問題在多模態(tài)語篇與語料庫語言學(xué)的結(jié)合研究中得到了闡述,但尚未找到系統(tǒng)的方法。

1.2多模態(tài)語篇分析的解決方法

語篇信息理論[30-35]為多模態(tài)語篇分析提供了一種解決方法。該研究以法律語篇樹狀信息結(jié)構(gòu)模式(樹狀模式)[30]為基礎(chǔ)。信息是“能夠構(gòu)成用于交際的最小完整意義單位的命題”[36],一個(gè)命題就是一個(gè)信息單位。語篇中的所有信息構(gòu)成一個(gè)樹狀層級系統(tǒng),每個(gè)語篇只有一個(gè)核心命題,逐層發(fā)展,各層信息單位都與其上層信息單位具有某一方面的關(guān)系,如原因、依據(jù)、地點(diǎn)、時(shí)間等,這些關(guān)系稱作信息(節(jié))點(diǎn)。所有語篇中的信息點(diǎn)共15類,即何因、何據(jù)、何地、何時(shí)、何事、何事實(shí)、何推斷、何處置、何人、何方式、何效果、何條件、何態(tài)度、何變化、何結(jié)論。這是語篇的宏觀信息結(jié)構(gòu)。

相對于宏觀結(jié)構(gòu),語篇信息的微觀結(jié)構(gòu)是指信息單位的內(nèi)部結(jié)構(gòu)。一個(gè)信息單位可解析為三類信息成分:個(gè)體、過程和環(huán)境。每類信息成分有若干子類。在微觀信息結(jié)構(gòu)層次,每一信息單位均可進(jìn)行具體分析,還可以和語言表層聯(lián)接。

法律語言學(xué)領(lǐng)域的語篇信息研究近年來得到了持續(xù)發(fā)展,目前已有諸多理論模式推出,如上述的宏觀結(jié)構(gòu)模式、微觀結(jié)構(gòu)模式以及互動(dòng)模式[36]、隱性說服模式[37]、調(diào)解說服模式[34]、信息框架模式[33]、信息四橋模式[35]、多模態(tài)信息認(rèn)知教-學(xué)模式[7]等。

語篇信息理論認(rèn)為,語篇信息處于語篇語言表層和語篇認(rèn)知底層之間,上下通達(dá),而且具有相對穩(wěn)定和顯性的特點(diǎn),易于分析。其穩(wěn)定性能保證跨語篇、跨語言的分析;其顯性特點(diǎn)能為具體的分析和應(yīng)用提供便利,例如信息的內(nèi)容體現(xiàn)為具體且可計(jì)數(shù)的信息單位。

由于語言語篇和非語言語篇的最主要功能都是傳遞信息,從信息結(jié)構(gòu)入手,即可抓住這些語篇間的本質(zhì)聯(lián)系。以語言語篇為參照,以語篇信息為紐帶,多模態(tài)語篇分析就有規(guī)律可循,就有了堅(jiān)實(shí)的基礎(chǔ)。

2多模態(tài)信息的分析原則和語篇化處理

2.1多模態(tài)信息的分析原則

在多模態(tài)語篇信息分析中,需要堅(jiān)持信息主次劃分的原則。人們在社會(huì)交際中處理的語篇都是多模態(tài)的[21],但是在單位時(shí)間內(nèi),交際目標(biāo)和目的相對單一,因此,所處理的信息總是有主有次。例如,演講時(shí),演講人用口頭表達(dá)的信息是主體信息,而用手勢、表情、走動(dòng)、播放視頻等表達(dá)的信息則是次要的。用口頭表達(dá)的信息中,語言信息是主體信息,副語言和非語言信息則起輔助作用。不過,隨著臨時(shí)性交際目標(biāo)的調(diào)整,演講人也會(huì)根據(jù)特別需要提升某種信息的地位,使其成為主體信息。此外,還應(yīng)兼顧可能的信息主次轉(zhuǎn)化。

在進(jìn)行信息分析時(shí),需要遵守信息轉(zhuǎn)換和統(tǒng)一的原則。應(yīng)重視信息轉(zhuǎn)換的必然性和信息統(tǒng)一的必要性。信息在交際中不斷發(fā)生轉(zhuǎn)換,這一現(xiàn)象基于人們的認(rèn)知基礎(chǔ)和人類與世界事物的基本聯(lián)系。即使全采用非語言手段進(jìn)行交流,交際者在處理信息時(shí)仍然要訴諸于語言,對事物進(jìn)行解讀,將信息編織到語言語篇中。而在表達(dá)信息時(shí),會(huì)采用非語言方式。這些過程均涉及信息的轉(zhuǎn)換。信息的轉(zhuǎn)換源于交際的需要。

進(jìn)行多模態(tài)語篇信息分析應(yīng)堅(jiān)持信息分析的認(rèn)知原則。認(rèn)知是信息的基礎(chǔ)。在多模態(tài)語篇信息分析中,有些信息的變化較為復(fù)雜,需要依據(jù)認(rèn)知層面的分析才能把握信息的本質(zhì)特點(diǎn)和規(guī)律性。信息認(rèn)知過程研究、信息與心理研究、信息的社會(huì)認(rèn)知規(guī)律研究等,則直接需要認(rèn)知層面的分析。

進(jìn)行多模態(tài)語篇信息分析需兼顧實(shí)用性。多模態(tài)語篇信息分析目前的最大任務(wù)之一是為有效的多模態(tài)信息處理找到可行的方法,以便解決社會(huì)交往中的實(shí)際問題,提高信息處理的效率。

2.2多模態(tài)信息的語篇化處理

基于如上的宏觀思考,以下闡述多模態(tài)信息分析過程的各主要環(huán)節(jié),以一個(gè)電視節(jié)目片段的視頻作為例子。該片段是中國中央電視臺(tái)第10頻道《走近科學(xué)》欄目2011年7月22日播出的有關(guān)動(dòng)物保護(hù)的節(jié)目的引子,相對獨(dú)立于該節(jié)目的正文,可以看作一個(gè)獨(dú)立的語篇。

2.2.1多模態(tài)信息的類別劃分

多模態(tài)信息類別的劃分是語篇化處理的第一步。首先將每一獨(dú)立信息塊看作一個(gè)語篇,然后將所有信息劃分為有限的類別。劃分時(shí)需要區(qū)別主語篇與輔語篇、語言語篇與非語言語篇、單模態(tài)語篇與多模態(tài)語篇,以及所屬的具體模態(tài)類別。主、輔語篇?jiǎng)澐值囊罁?jù)是信息在交際中所起的作用,起主要作用的是主語篇,否則即為輔語篇。語言語篇指用語言形式表述信息,非語言語篇指用語言以外的其他形式表述信息。單模態(tài)語篇中僅涉及一種模態(tài)的信息,多模態(tài)語篇中包括兩個(gè)或多個(gè)模態(tài)的信息。多模態(tài)信息可按照聽覺、視覺、觸覺、嗅覺、味覺、運(yùn)動(dòng)覺劃分為6種。

以上分類以主輔語篇為主線,首先劃分主、輔語篇信息,再分別劃分語言語篇和非語言語篇信息,語言語篇和非語言語篇信息可分別再分為單模態(tài)語篇或多模態(tài)語篇信息,多模態(tài)語篇再分為聽、視等模態(tài)信息。上例中,電視節(jié)目由多模態(tài)信息塊組成,主持人講解內(nèi)容是主語篇,結(jié)構(gòu)完整、連貫,主題突出,沒有明顯的空白。視頻是起輔助作用的輔語篇,各部分內(nèi)容構(gòu)成一個(gè)整體,與講解內(nèi)容的時(shí)間同步。主語篇是語言語篇,輔語篇為非語言語篇;主語篇主要由聽覺模態(tài)構(gòu)成,輔語篇?jiǎng)t主要由視覺模態(tài)構(gòu)成。

2.2.2多模態(tài)信息的語篇化處理

多模態(tài)信息的語篇化處理主要是指將非語言信息作為語篇進(jìn)行結(jié)構(gòu)分析,側(cè)重的是信息內(nèi)部各種成分間的相互關(guān)系。根據(jù)如上分類,首先確定主語篇。如果主語篇是非語言語篇,則需確定是單模態(tài)或多模態(tài)語篇;如果主語篇是多模態(tài)語篇,需要確定其中何種模態(tài)是主模態(tài)。分析時(shí)一般按照主輔順序,但若主語篇是語言語篇時(shí),也可先初步分析輔語篇。

上例中,輔語篇的分析步驟如下:①確定語篇的主題(救治和喂養(yǎng)白鰭豚);②確定切入點(diǎn)(救治白鰭豚);③確定語篇中各個(gè)部分與主題的關(guān)系(湖邊救護(hù)、醫(yī)學(xué)救治、喂養(yǎng)、治療等構(gòu)成救治和喂養(yǎng)的主要環(huán)節(jié));④確定語篇中各個(gè)部分的相對順序(時(shí)間順序?yàn)橹?,空間次之);⑤確定語篇中所有部分的線性順序的排列方式(時(shí)間、空間、主次等);⑥用語言轉(zhuǎn)寫或標(biāo)注各個(gè)部分的具體內(nèi)容(如用CLIPS規(guī)范分析、標(biāo)注);⑦標(biāo)注各部分的質(zhì)量、強(qiáng)度等以及所占空間范圍及時(shí)間;⑧用語言語篇結(jié)構(gòu)形式表述該語篇的結(jié)構(gòu);⑨建立語言語篇與原模態(tài)材料的關(guān)聯(lián)(用CLIPS規(guī)范標(biāo)注視頻對應(yīng)的起始位置)。

多模態(tài)信息的語篇化需遵循如下原則:①語篇的統(tǒng)一性原則。即每個(gè)語篇僅確定一個(gè)主題,各部分信息均與主題有關(guān)。②客觀性原則。解讀信息應(yīng)保證普遍可接受性,遇到難題無法確定時(shí),應(yīng)通過實(shí)驗(yàn)、調(diào)查等方法確定。③自然順序原則。對于圖片等非線性視覺材料,由于視點(diǎn)不同,人們對各部分信息的安排順序看法也會(huì)不同,需要遵照普遍接受的自然順序確定順序的排列。上例中某些畫面,由于內(nèi)容較為豐富,按照時(shí)間尚不能確定順序,因此也遵照了自然順序原則,通過判斷主次確定了順序。④完整性原則。盡量對所有信息進(jìn)行解讀并標(biāo)示,避免遺漏,這有利于分析結(jié)果的廣泛應(yīng)用。

2.2.3多模態(tài)語篇間的信息關(guān)聯(lián)

所有模態(tài)信息的語篇化完成以后,即可著手建立語篇間的信息關(guān)聯(lián)。主語篇的信息結(jié)構(gòu)是建立語篇間信息關(guān)聯(lián)的依據(jù)。根據(jù)輔語篇與主語篇的基本關(guān)系,可以確定輔語篇與主語篇的主要信息關(guān)聯(lián),然后即可確定各輔語篇間的信息關(guān)聯(lián)。通過此分析,各個(gè)語篇可以整合到一個(gè)大的語篇中。

建立信息關(guān)聯(lián)需要具體考慮各語篇主題間的相互關(guān)系以及各輔語篇主題與主語篇主題的關(guān)系,即各語篇的內(nèi)容之間存在的必然聯(lián)系。由于各語篇的作用不同,輔語篇與主語篇的關(guān)聯(lián)程度不一,因此,所得到的關(guān)聯(lián)系統(tǒng)具有層級性。每一語篇的主體信息在此系統(tǒng)中需有明確的定位。做關(guān)聯(lián)分析時(shí),需要將各輔語篇與主語篇的關(guān)聯(lián)程度以及輔語篇間的相互關(guān)聯(lián)程度一一明確標(biāo)示??蓪㈥P(guān)聯(lián)程度分為若干層級,若輔語篇a的級別為1,標(biāo)示為a(1),表示該輔語篇與主語篇的關(guān)聯(lián)度最高,以此類推。例如,a(1)、b(2)、c(1)、d(2)、e(3)表示5個(gè)輔語篇,其中處于第一層級的有2個(gè),第二層級2個(gè),第三層級1個(gè)。關(guān)聯(lián)層級表示輔語篇相對于主語篇的重要性程度,但并不表示其語篇的長度、復(fù)雜度等。依據(jù)關(guān)聯(lián)層級可以確定輔語篇分析的先后順序,重要的輔語篇將優(yōu)先分析。本文所分析的例子中,輔語篇僅有1篇,因此僅有a(1)1個(gè)層級。

3語篇信息的分析與標(biāo)注

3.1主語篇的信息分析與標(biāo)注

如上所述,主語篇分為語言語篇以及由非語言信息或者涉及非語言信息的語篇處理而成的語篇。主語篇需要優(yōu)先分析,以方便輔語篇的準(zhǔn)確定位。根據(jù)語篇樹狀信息結(jié)構(gòu)模式[30,36],分析時(shí)需要對全篇的信息單位一一劃定,確定信息點(diǎn)類別,即信息單位相互之間的關(guān)系,然后在語篇信息結(jié)構(gòu)中予以體現(xiàn)。這與普通的語言語篇的信息分析和標(biāo)注基本相同,不同的是對經(jīng)處理得到的語篇需要加注多模態(tài)符號(hào)。

分析標(biāo)注主語篇時(shí)需要考慮插入點(diǎn),即需要插入輔語篇信息參數(shù)的位置。由于輔語篇尚未分析,輔語篇相關(guān)信息的具體值未知,所以此時(shí)考慮插入點(diǎn),主要是為了保證主語篇信息分析能兼顧輔語篇,也便于用輔語篇信息及時(shí)校正對主語篇的分析。如下所示:

上例中第一行尖括號(hào)內(nèi)的最后一個(gè)字符‘?’表示信息插入點(diǎn),輔語篇與此主語篇鏈接時(shí),輔語篇中對應(yīng)的信息標(biāo)識(shí)將取代該字符。

3.2輔語篇的信息分析與標(biāo)注

輔語篇信息的分析和標(biāo)注首先需要參照主語篇的分析結(jié)果,需要關(guān)照該語篇與主語篇的信息關(guān)聯(lián),并以此為主線劃分信息單位,確定信息點(diǎn)類別。輔語篇多由非語言信息轉(zhuǎn)換處理而來,模態(tài)信息豐富,分析的重點(diǎn)是模態(tài)信息的有效解釋和標(biāo)示,模態(tài)信息分析和處理需要與語篇間的信息關(guān)聯(lián)相符。

主語篇分析時(shí)所考慮的插入點(diǎn)對輔語篇信息單位和信息點(diǎn)分析具有指引作用。輔語篇信息分析需要考慮和兩個(gè)系統(tǒng)的關(guān)系,即具體信息在輔語篇內(nèi)部信息系統(tǒng)中的定位,及其如何融入主語篇信息系統(tǒng)。分析時(shí),尚需對主語篇中的插入點(diǎn)進(jìn)行校正,并要考慮輔語篇與主語篇的關(guān)聯(lián)點(diǎn)是否準(zhǔn)確。

3.3語篇間信息關(guān)聯(lián)的分析與標(biāo)注

通過對主語篇和輔語篇的信息分析,語篇的信息結(jié)構(gòu)以及主、輔語篇間的關(guān)聯(lián)便可建立。在信息關(guān)聯(lián)分析和標(biāo)注階段,這些關(guān)聯(lián)將得到細(xì)化和系統(tǒng)調(diào)整,并予以標(biāo)注。

信息關(guān)聯(lián)分析和標(biāo)注的步驟如下:①進(jìn)行主、輔語篇交叉分析,確定所有相關(guān)聯(lián)的信息點(diǎn);②羅列主語篇中的所有插入點(diǎn)和輔語篇中的所有關(guān)聯(lián)點(diǎn);③對插入點(diǎn)和關(guān)聯(lián)點(diǎn)進(jìn)行系統(tǒng)性調(diào)整和優(yōu)化;④在主語篇中標(biāo)注所有插入點(diǎn)及對應(yīng)的關(guān)聯(lián)點(diǎn)標(biāo)識(shí);⑤在輔語篇中標(biāo)注所有關(guān)聯(lián)點(diǎn)及對應(yīng)的插入點(diǎn)標(biāo)識(shí);⑥檢查主語篇中的插入點(diǎn)和輔語篇中的關(guān)聯(lián)點(diǎn)的對應(yīng)性。

在分析中會(huì)遇到一些困難。有時(shí),一個(gè)插入點(diǎn)可能有兩個(gè)或多個(gè)關(guān)聯(lián)點(diǎn)。這時(shí),需要首先確定這幾個(gè)關(guān)聯(lián)點(diǎn)的層級,屬于同一層級的關(guān)聯(lián)點(diǎn)是平行關(guān)聯(lián)點(diǎn)。平行關(guān)聯(lián)點(diǎn)可按時(shí)間、空間等排列先后順序。此時(shí),關(guān)聯(lián)點(diǎn)標(biāo)為同級,并附上序號(hào)。

關(guān)聯(lián)點(diǎn)與插入點(diǎn)匹配后,在新語篇中的位置與其在輔語篇中的位置有較大差別,如在輔語篇信息結(jié)構(gòu)中處于第三層級,而在匹配后處于新語篇的第五層級。這需要對輔語篇進(jìn)行重新校對或調(diào)整。信息關(guān)聯(lián)標(biāo)注完成后,主語篇中的內(nèi)容更為豐富,與標(biāo)注前不同,可以看作新生成的語篇。如下所示:

(

……)

注:尖括號(hào)內(nèi)“1,2,0:0:0,0:2:2;C.W.1001,0,1,1,2,0:0:44,0:0:50”開頭的“1,2”是本語篇所對應(yīng)的模態(tài)標(biāo)識(shí)(1為聽覺,即聲音;2為視覺;3為觸覺;4為嗅覺;5為味覺;6為運(yùn)動(dòng)覺)和模式類別標(biāo)識(shí)(如:1為音樂;2為語言;3為圖片;4為視頻;5為實(shí)物;等等),“0:0:0,0:2:2”是此信息單位對應(yīng)本語篇原始材料片段的時(shí)間始點(diǎn)(即“時(shí):分:秒”)和終點(diǎn),其余部分是輔語篇關(guān)聯(lián)點(diǎn)標(biāo)識(shí)?!癈.W.1001”是輔語篇索引號(hào),“0,1,1,2”是輔語篇中關(guān)聯(lián)點(diǎn)的層級索引號(hào),其后的“0:0:44,0:0:50”是對應(yīng)輔語篇視頻段的時(shí)間始點(diǎn)和終點(diǎn)。

上例中圓括號(hào)內(nèi)是輔語篇關(guān)聯(lián)點(diǎn)的實(shí)際內(nèi)容,在插入點(diǎn)插入關(guān)聯(lián)點(diǎn),就等于把輔語篇的這些相關(guān)內(nèi)容整合入主語篇,因此,經(jīng)過關(guān)聯(lián)標(biāo)注的主語篇實(shí)際上已經(jīng)成為新的語篇。

4多模態(tài)信息的整合與調(diào)用

4.1語篇信息結(jié)構(gòu)間的整合

語篇間信息的關(guān)聯(lián)建立后,尚需要對新語篇的信息結(jié)構(gòu)進(jìn)行梳理,并對此新結(jié)構(gòu)進(jìn)行分析,以便確定所有語篇間的關(guān)系是否完整、合理、清晰。新語篇不是一個(gè)單一的語篇,而是一個(gè)具有復(fù)雜結(jié)構(gòu)的復(fù)合語篇;新語篇所關(guān)聯(lián)的輔語篇可能自己又有輔語篇。因此,新語篇是一個(gè)語篇系統(tǒng),在此系統(tǒng)中,有些語篇通過自己的主語篇與新語篇的主語篇間接關(guān)聯(lián),有些則作為自己系統(tǒng)內(nèi)的主語篇與新語篇的主語篇直接關(guān)聯(lián)。這樣,在新語篇中追蹤單個(gè)信息單位,就會(huì)涉及來自多個(gè)語篇的若干層級的信息。

4.2信息單位的相互鏈接

整合到新語篇的信息單位,應(yīng)與新語篇的結(jié)構(gòu)有密切、合理的關(guān)系,因此需要對信息單位的相互鏈接情況進(jìn)行宏觀分析和微觀分析。宏觀分析主要側(cè)重于信息單位在語篇整體結(jié)構(gòu)中的位置。做微觀分析時(shí),不僅需要分析新語篇中的單個(gè)信息單位,而且需要分析與新語篇間接關(guān)聯(lián)的信息。

4.3整合后信息結(jié)構(gòu)的優(yōu)化

整合后應(yīng)對新語篇的信息結(jié)構(gòu)進(jìn)行全面優(yōu)化,這是多模態(tài)語篇信息實(shí)質(zhì)分析的最后環(huán)節(jié)。優(yōu)化內(nèi)容包括:主語篇與輔語篇的關(guān)聯(lián)、語篇間信息的關(guān)聯(lián)、新語篇的宏觀和微觀結(jié)構(gòu)、新語篇系統(tǒng)中各個(gè)語篇的所有參數(shù)等。分析過程中產(chǎn)生的記錄和描述也應(yīng)隨之更新。

4.4多模態(tài)信息分析結(jié)果的評價(jià)

為了保證分析的質(zhì)量,需要對分析結(jié)果進(jìn)行評價(jià)。評價(jià)可重點(diǎn)考慮效度和信度兩個(gè)指標(biāo)。前者指所做的分析是否真實(shí)反映了原有語篇的主要特點(diǎn)和規(guī)律,后者指所做分析的可靠性程度。效度分析的考察目標(biāo)主要是語篇的關(guān)聯(lián)類別、信息結(jié)構(gòu)的層級處理、信息有無不必要的變化(增加、遺漏、不對應(yīng)、重復(fù)等)、所使用的各種參數(shù)是否完整等。

信度分析主要依靠專家審核。對批量分析的結(jié)果,抽取適當(dāng)樣本,交由多位專家分別審核,并對專家意見與分析結(jié)果的差別進(jìn)行分析,確定分析的結(jié)果是否達(dá)到信度要求。

4.5多模態(tài)信息的調(diào)用

多模態(tài)信息的調(diào)用是對分析結(jié)果的具體應(yīng)用,涉及信息結(jié)構(gòu)的調(diào)用、主從信息調(diào)用、信息單位調(diào)用、信息點(diǎn)調(diào)用等。

調(diào)用新語篇的整個(gè)信息結(jié)構(gòu),需要確定結(jié)構(gòu)的細(xì)度,即主語篇的最低層級,以及各相關(guān)輔語篇的對應(yīng)層級。主從信息調(diào)用具有較重要的用途。根據(jù)主語篇的信息處理需求,用插入點(diǎn)的關(guān)聯(lián)信息參數(shù)可以將輔語篇關(guān)聯(lián)點(diǎn)的信息調(diào)出。一般情況下,在調(diào)用輔語篇關(guān)聯(lián)點(diǎn)信息時(shí),還需要同時(shí)調(diào)用輔語篇所對應(yīng)的原材料中的相關(guān)部分。

信息點(diǎn)調(diào)用主要是為了確定信息單位間的關(guān)系以及主語篇與輔語篇的信息關(guān)系。信息點(diǎn)調(diào)用主要涉及經(jīng)過語篇化的信息,未經(jīng)語篇化的信息也可連帶調(diào)用。例如,在CLIPS系統(tǒng)中,調(diào)用一個(gè)課件的主文檔,可以連帶調(diào)用視頻等資料,并按設(shè)定的方式自動(dòng)播放。調(diào)用信息點(diǎn)時(shí),可以遍歷新語篇系統(tǒng)中的所有信息樹;必要時(shí),可使用信息點(diǎn)所帶參數(shù)調(diào)用輔助性內(nèi)容。

5結(jié)語

本文針對多模態(tài)語篇分析的困難,分析論證了信息分析的方法。討論內(nèi)容包括信息分析的原則和語篇化處理、語篇信息的分析和標(biāo)注、多模態(tài)信息的整合等,覆蓋了多模態(tài)語篇信息分析的全過程。為了展示該方法的實(shí)用性,也討論了多模態(tài)信息的調(diào)用。有關(guān)具體的操作,提供了分析樣例。研究表明,信息分析是多模態(tài)語篇分析的有效方法,具有理論依據(jù)和可操作性。

語篇信息分析(DIA)是語篇分析(DA)的一個(gè)新視角,多模態(tài)語篇信息分析(MDIA)是這種新的理論視角在多模態(tài)分析方面的應(yīng)用。從以上的分析論證可以看到,該方法從語篇信息結(jié)構(gòu)分析入手處理多模態(tài)信息,依據(jù)語篇信息理論,將十分龐雜的多模態(tài)信息整合為有序的語篇信息系統(tǒng),可以解決多模態(tài)語篇分析的難題。同時(shí),采用信息型語料庫技術(shù),對信息要素進(jìn)行標(biāo)注,為隨時(shí)調(diào)取信息提供了條件,提高了語篇分析的實(shí)際應(yīng)用價(jià)值。

多模態(tài)語篇信息分析給語篇分析領(lǐng)域帶來了新的研究視點(diǎn),使語篇分析沖破了純語言研究的藩籬,得以和非語言研究,尤其是信息處理研究相結(jié)合。這也給語篇分析提出了新的研究任務(wù),諸如不同模態(tài)語篇特點(diǎn)研究、不同模態(tài)語篇信息的整合等,能推動(dòng)語篇分析的進(jìn)一步發(fā)展。

多模態(tài)語篇信息分析可操作性強(qiáng),適用于語篇分析、語言教學(xué)、信息處理等領(lǐng)域的研究和實(shí)踐,有廣闊的應(yīng)用空間。隨著豐富的媒體手段的運(yùn)用,教學(xué)活動(dòng)中涉及綜合信息處理的情況越來越多,多模態(tài)信息處理對于教學(xué),尤其是語言教學(xué)改革具有十分重要的作用。多模態(tài)語篇信息分析也可為綜合信息處理提供有效方法。

參考文獻(xiàn):

[1]顧曰國. 多媒體、多模態(tài)學(xué)習(xí)剖析[J]. 外語電化教學(xué), 2007(2): 3-12.

[2]朱永生. 多模態(tài)話語分析的理論基礎(chǔ)與研究方法[J]. 外語學(xué)刊, 2007(5): 82-86.

[3]王立非,文艷. 應(yīng)用語言學(xué)研究的多模態(tài)分析方法[J]. 外語電化教學(xué), 2008(3): 8-12.

[4]張德祿. 多模態(tài)話語理論與媒體技術(shù)在外語教學(xué)中的應(yīng)用[J]. 外語教學(xué), 2009(4): 15-20.

[5]胡壯麟. 多模態(tài)小品的問世和發(fā)展[J]. 外語電化教學(xué), 2010(4): 3-8.

[6]楊信彰. 多模態(tài)語篇分析與系統(tǒng)功能語言學(xué)[J]. 外語教學(xué), 2010(4): 11-14.

[7]袁傳有. 多模態(tài)信息認(rèn)知教-學(xué)模式初探[J]. 山東外語教學(xué), 2010(4): 10-18.

[8]Du Jinbang. Application of Multimodal Information Corpus Techniques[J]. International Journal of Law, Language & language & Discourse, 2012, 2(4): 19-38.

[9]Kress G, Van Leeuwen T. Reading Images: The Grammar of Visual Design [C]. London: Routledge, 2006.

[10]Baldry A, Thibault P J. Multimodal Transcription and Text Analysis[M]. London: Equinox, 2006.

[11]O’Halloran K L. Multimodal Analysis and Digital Technology [C]//Baldry A, Montagna E. Interdisciplinary Perspectives on Multimodality: Theory and Practice. Proceedings of the Third International Conference on Multimodality. Campobasso: Palladino, 2008: 1-26.

[12]Baldry A. Multimodality and Multimediality in the Distance Learning Age [C]. Campobasso, Italy: Palladino Editore, 2000.

[13]Cope B, Kalatzis M. Multiliteracies: Literacy Learning and the Design of Social Futures[C]. Melbourne: MacMillan, 2000.

[14]Jewitt C, Kress G. Multimodal Literacy [M]. New York: Peter Lang, 2003.

[15]Kress G, Van Leeuwen T. Multimodal Discourse: The Modes and Media of Contemporary Communication [M]. London: Arnold, 2001.

[16]O’Halloran K L. Multimodal Discourse Analysis[C]//Hyland K, Paltridge B. Companion to Discourse Analysis. London: Continuum, 2011: 120-137.

[17]Hurdley R, Dicks B. In-between Practice: Working in the “Third Space” of Sensory and Multimodal Methodology [J]. Qualitative Research, 2011 (3): 277-292.

[18]Peeters H. Multimodality and Its Modes in Novelizations [J]. Image & Narrative, 2010, 11 (1): 118-129.

[19]O’Halloran K L. Multimodal Discourse Analysis [M]. London/New York: Continuum, 2006.

[20]Bateman J A. Multimodality and Genre: A Foundation for the Systematic Analysis of Multimodal Documents[M]. Basingstoke UK/New York: Palgrave MacMillan, 2008.

[21]LeVine P, Scollon R. Discourse and Technology: Multimodal Discourse Analysis [C]. Washington D C: Georgetown University Press, 2004.

[22]Habel C, Acarturk C. Eye-tracking Evidence for Multimodal Language-graphics Comprehension: The Role of Integrated Conceptual Representations [C]//Navarretta C, Paggio P, Allwood J, et al. Proceedings of NODALIDA 2009: The Workshop on Multimodal Communication-from Human Behaviour to Computational Models (Vol. 6). Odense, Denmark: Northern European Association for Language Technology (NEALT), 2009: 9-14.

[23]Forceville C, Urios-Aparisi E. Multimodal Metaphor[M]. Berlin: Mouton de Gruyter, 2009.

[24]Hoye L F, Chan L S W. Pragmatics and Multimodal Discourse: The Verbal-visual Interface[C]//Proceedings of the 10th International Symposium on Social Communication. Santiago de Cuba: The Centre for Applied Linguistics, University of Santiago, 2007: 253-256.

[25]Allen P, Bateman J A, Delin J. Genre and Layout in Multimodal Documents: Towards An Empirical Account [C]//Richard Power, Donia Scott. Proceedings of the AAAI Fall Symposium on Using Layout for the Generation, Understanding or Retrieval of Documents. Massachusetts: AAAI Press, 1999: 27-34.

[26]Thomas M, Delin J, Waller R. A Framework for Corpus-based Analysis of the Graphicsignalling of Discourse Structure[C]. Paper Presented at Multidisciplinary Approaches to Discourse, Moissac, France, 2010.

[27]Bateman J A, Delin J, Henschel R. Multimodality and Empiricism: Preparing for A Corpus-based Approach to the Study of Multimodal Meaning-making [C]// Iventola E, Charles C, Kaltenbacher M. Perspectives on Multimodality. Amsterdam: John Benjamins, 2004: 65-87.

[28]Blache P, Bertrand R, Ferré G. Creating and Exploiting Multimodal Annotated Corpora: The ToMA Project [C]// Kipp M, Martin J C, Paggio P, et al. Multimodal Corpora: From Models of Natural Interaction to Systems and Applications, Tools for Browsing, Coding and Exchanging Data in Multimodal Corpora, Springer, 2009: 38-53.

[29]Kipp M, Martin J C, Paggio P, et al. Multimodal Corpora: From Models of Natural Interaction to Systems and Applications[C]. New York: Springer, 2009.

[30]杜金榜. 法律語篇樹狀信息結(jié)構(gòu)研究[J]. 現(xiàn)代外語, 2007(1): 40-50.

[31]杜金榜. 論語篇中的信息流動(dòng)[J]. 外國語, 2009(3): 36-43.

[32]潘小玨,杜金榜. 庭審問答過程控制中的信息流動(dòng)[J]. 外國語, 2011(2): 56-63.

[33]陳金詩.控辯審關(guān)系的建構(gòu)——法官庭審語篇處理的框架分析[M].北京:科學(xué)出版社, 2011.

[34]徐優(yōu)平. 語篇信息視角的中國法院調(diào)解說服實(shí)現(xiàn)研究[M].北京: 科學(xué)出版社,2013.

[35]趙軍峰. 法律語篇信息結(jié)構(gòu)及語言實(shí)現(xiàn)研究-漢英語篇對比分析[M].北京: 科學(xué)出版社,2011.

[36]杜金榜.從層級性信息的處理看法庭交互中態(tài)度指向的實(shí)現(xiàn)[J]. 解放軍外國語學(xué)院學(xué)報(bào), 2011(1): 7-12.

[37]杜金榜.司法語篇隱性說服研究[J]. 現(xiàn)代外語, 2008(3): 253-262.

(責(zé)任編輯:張同學(xué))

Discourse Information Analysis: A Solution to the Problem of

Multimodal Discourse Study

DU Jin-bang

(Guangdong University of Foreign Studies, Guangzhou 510420, China)

Key words:multimodal discourse information analysis; discoursalization; information-oriented corpus technique; connector

湟源县| 拜城县| 通化县| 三穗县| 财经| 容城县| 屏南县| 宁国市| 闻喜县| 广东省| 建阳市| 全椒县| 临沧市| 沂南县| 黄骅市| 崇信县| 广汉市| 合作市| 随州市| 刚察县| 读书| 晋中市| 南汇区| 固镇县| 宣恩县| 平远县| 比如县| 改则县| 荔浦县| 黑龙江省| 丰镇市| 环江| 洪雅县| 明水县| 淮南市| 革吉县| 项城市| 同仁县| 陈巴尔虎旗| 正阳县| 海城市|