摘 要 隨著信息和通信技術(shù)的發(fā)展以及數(shù)字媒體在辭書(shū)編纂中的運(yùn)用，多模態(tài)和融媒體詞典成為辭書(shū)界熱議的話題。但從發(fā)表的文章來(lái)看，它們大多模糊了媒體與模態(tài)的關(guān)系，所涉詞典并不具有真正的多模態(tài)特征。文章從紙質(zhì)辭書(shū)的困境與數(shù)字化辭書(shū)的必然性入手，從三個(gè)方面來(lái)探討如何在融媒體框架下設(shè)計(jì)多模態(tài)詞典文本，闡釋多模態(tài)元素的釋義功能，包括詞典從平面媒體向融媒體的進(jìn)化、融媒體框架下的媒體與模態(tài)的融合、多模態(tài)詞典文本的特征與數(shù)據(jù)結(jié)構(gòu)等。

關(guān)鍵詞 融媒體 多媒體詞典 多模態(tài)詞典文本 多模態(tài)釋義

詞典與新媒體的結(jié)合使詞典的查閱終端發(fā)生了很大變化，這種詞典表象的變化倒逼詞典文本結(jié)構(gòu)和釋義內(nèi)容不得不發(fā)生改變，因?yàn)樵~典只有多模態(tài)化和數(shù)據(jù)化才能適應(yīng)融媒體的技術(shù)需要，且其改變程度也決定著詞典滿足數(shù)字時(shí)代詞典用戶需求的程度。（章宜華2019）本文從融媒體視角探討（外語(yǔ)）語(yǔ)文學(xué)習(xí)詞典如何進(jìn)行模態(tài)與媒體的融合，并提出多模態(tài)釋義構(gòu)想。

一、 紙質(zhì)辭書(shū)的困境與數(shù)字化辭書(shū)的必然

詞典的核心問(wèn)題是釋義，這是國(guó)際辭書(shū)界的共識(shí)。但釋義是一個(gè)復(fù)雜的問(wèn)題，盡管詞典編者把主要精力都放在釋義上，但其問(wèn)題仍是層出不窮。在紙媒時(shí)代，詞典學(xué)家們?yōu)榱耸贯屃x準(zhǔn)確易懂，把使用了幾千年，但釋義模糊且容易引起循環(huán)釋義的同義對(duì)釋逐漸轉(zhuǎn)換成了“解述型”釋義，或以括注的形式對(duì)釋義詞進(jìn)行各種限制，并在學(xué)習(xí)詞典中推行控制性釋義詞匯（controlled defining vocabulary：2000—3000基本詞匯）。釋義方式經(jīng)歷了從詞匯對(duì)釋到短語(yǔ)釋義（phase definition），從短語(yǔ)釋義到句子釋義（sentence definition），又從句子釋義到情景釋義（situational definition）的過(guò)程;但循環(huán)釋義、內(nèi)涵不彰，或釋義龐雜（釋義夾雜各種注釋）、理解困難，以及注釋信息冗余與文化信息欠缺、釋義過(guò)度與釋義不足、概念模糊與用法不清等問(wèn)題同時(shí)存在。為此，詞典又增加了文化信息、用法說(shuō)明和語(yǔ)義辨析等附加內(nèi)容，百科性詞典和學(xué)習(xí)型詞典還引入了插圖。

但無(wú)論詞典學(xué)家如何努力，紙質(zhì)詞典的“進(jìn)化”變得越來(lái)越困難。譬如，“牛津”“朗文”等系列學(xué)習(xí)詞典雖然還在不斷修訂，但也僅是注釋方法的微調(diào)和注釋項(xiàng)目量的變化，難有大的提升，以致用戶對(duì)紙質(zhì)詞典的興趣逐年下降。作者在多年前的調(diào)查發(fā)現(xiàn)，在接受型的語(yǔ)言活動(dòng)中，大學(xué)生中使用電子詞典者居多，達(dá)52.23%。（章宜華2015）而近些年，隨著新媒體終端的普及，紙質(zhì)詞典的使用率已經(jīng)降至“冰點(diǎn)”。據(jù)張恒等（2017）118-120，155調(diào)查，經(jīng)常使用紙質(zhì)詞典的為4%，偶爾使用的占26%，極少使用的占51%，從不使用的有19%之多。而與此相反，91%的學(xué)生表示經(jīng)常使用電子詞典，極少或從不使用的只有3%。這些數(shù)據(jù)基本符合當(dāng)時(shí)辭書(shū)市場(chǎng)的現(xiàn)實(shí);事實(shí)上，現(xiàn)在基本100%的學(xué)生都使用詞典App，經(jīng)常使用紙質(zhì)詞典的人大致占10%。而筆者接觸到的詞典學(xué)碩士生許多都沒(méi)有紙質(zhì)學(xué)習(xí)詞典，需要參考時(shí)還要到資料室去借。在這種情況下，數(shù)字化就成為辭書(shū)發(fā)展的必然，也正是在2017年前后，我國(guó)專業(yè)辭書(shū)出版社開(kāi)始加快數(shù)字詞典的研發(fā)。

二、 詞典從平面媒體向融媒體的進(jìn)化

從信息技術(shù)角度講，當(dāng)代詞典的發(fā)展要經(jīng)歷從紙質(zhì)詞典到電子化，再到數(shù)字化的過(guò)程;前者指詞典承載方式由物理媒介向電子媒介轉(zhuǎn)化，后者指將詞典中的圖像、聲音、文字等模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)，是信息數(shù)據(jù)化和網(wǎng)絡(luò)化的技術(shù)保證。從辭書(shū)表征的視角講，詞典則由平面媒體向多媒體、多模態(tài)和融媒體方向發(fā)展，而媒體融合的對(duì)象就是詞典的多模態(tài)表征。

早在20世紀(jì)90年代，紙質(zhì)詞典電子化和網(wǎng)絡(luò)化已經(jīng)開(kāi)始。當(dāng)時(shí)，國(guó)內(nèi)市場(chǎng)上出現(xiàn)了一大批光盤(pán)詞典，如《康普頓交互式百科全書(shū)》《IBM智能詞典》《微軟書(shū)架》《韋氏新世界光盤(pán)詞典》《美國(guó)傳統(tǒng)有聲詞典》等，“牛津”“朗文”也先后推出了光盤(pán)和網(wǎng)絡(luò)詞典。盡管這些詞典大多是紙質(zhì)版的電子化，體例結(jié)構(gòu)與傳統(tǒng)詞典并無(wú)二致，但有的學(xué)者還是捕捉到了多媒體辭書(shū)的動(dòng)向，并認(rèn)識(shí)到多媒體有三個(gè)重要特性：用戶友好界面、查閱的交互性、信息的多樣性。（麥志強(qiáng)1994;夏南強(qiáng)2000）國(guó)內(nèi)在90年代中期也推出了網(wǎng)絡(luò)詞典（如洪恩在線，1996），《漢語(yǔ)大詞典》光盤(pán)版（1997）等。但進(jìn)入21世紀(jì)后，專業(yè)辭書(shū)出版社在“觸網(wǎng)”方面一直停滯不前，市場(chǎng)上流行的網(wǎng)絡(luò)詞典和詞典App大多出自IT公司，《金山詞霸》《有道》《海詞》《百度百科》等占據(jù)了在線詞典的主要市場(chǎng)份額。

《金山詞霸》（以下簡(jiǎn)稱《詞霸》）是一款比較經(jīng)典的電子詞典，最大的特點(diǎn)就是全文發(fā)音。最初同步發(fā)音效果并不理想，2005年引入英語(yǔ)培訓(xùn)品牌視頻詞庫(kù)，用戶可與教師“面對(duì)面”學(xué)習(xí)，練習(xí)聽(tīng)力、發(fā)音和語(yǔ)音語(yǔ)調(diào)等。2010年后，《詞霸》開(kāi)始整本內(nèi)置“牛津”和“柯林斯”等品牌詞典，但多媒體元素并沒(méi)有實(shí)質(zhì)性改變，基本不用圖形或視頻，詞典的查詢顯示仍是平面格式，只是在左邊加入一列選擇鏈接（釋義、例句、搭配、辨析等）。《有道》和《海詞》也都宣稱是面向?qū)W習(xí)者編寫(xiě)的，但在多媒體方面仍是以“讀音”為主?！队械馈返捏w例和結(jié)構(gòu)與《詞霸》類(lèi)似，也內(nèi)置了《柯林斯英漢雙解大詞典》和《牛津詞典》等內(nèi)容，在少量實(shí)物詞條（如anchor、animal、car、leapfrog等）中配有圖片（參見(jiàn)圖1）。《海詞》主要是自編內(nèi)容，沒(méi)有發(fā)現(xiàn)“插圖”，但每一詞條都提供了“釋義常用度分布圖”，在“欄目”設(shè)置和查詢選擇方面，可以通過(guò)選擇“詳盡釋義”“雙語(yǔ)釋義”“英英釋義”提取和顯示不同的釋義內(nèi)容。

總體來(lái)講，上述幾種“學(xué)習(xí)詞”主要是信息的堆積，并沒(méi)有突出的多媒體和多模態(tài)特征，且詞典信息項(xiàng)的表述方法和質(zhì)量都不太適合“學(xué)習(xí)”的需要。例如，《有道》和《海詞》都不分義項(xiàng)，把不同的意義混淆在一起，例如：《有道》的“l(fā)eapfrog v.玩跳背游戲;越級(jí)提升;超過(guò)，超越;跨越（障礙）”，《海詞》的“anchor v. 拋錨;停泊;用錨系住;擔(dān)任（廣播電視新聞節(jié)目）的主持人”等。此外，釋義和標(biāo)注錯(cuò)誤時(shí)有發(fā)生，如“cheerleader（啦啦隊(duì)員）”被釋為“啦啦隊(duì)長(zhǎng)”，“get on ones nerves（讓人厭煩）”被釋為“令人不安”，及物動(dòng)詞“consolidate（使加強(qiáng)）”后出現(xiàn)了“合計(jì)金額”的名詞性“對(duì)等詞”等?！队械馈返牟簧籴屃x是從網(wǎng)上提取的，錯(cuò)誤似乎更常見(jiàn)一些，如purple patch本來(lái)是“幸運(yùn)時(shí)刻”的意思，卻被釋為“辭藻華麗的段落”;purchase則釋為“……支點(diǎn);（地產(chǎn)的）年收益;緊握;起重裝置”等;boardroom則釋為：“會(huì)議室;交換場(chǎng)所”;更奇怪的是informations被立為詞目[1]，釋為“information的復(fù)數(shù)[2]”。這些詞典的一大特點(diǎn)是例證豐富，并且還做了分類(lèi)，但大多是從網(wǎng)上抓取的，未經(jīng)細(xì)致的篩選和區(qū)分，也無(wú)義項(xiàng)針對(duì)性，只是重復(fù)的堆積，對(duì)學(xué)習(xí)者的作用有限。

在學(xué)界，介紹和研究這類(lèi)詞典的文章也不少，在知網(wǎng)檢索到有關(guān)《詞霸》和《有道》的論文分別為107和20篇，但極少有人把它們作為多媒體詞典來(lái)研究，批評(píng)其編纂質(zhì)量的卻不少。從媒體性質(zhì)來(lái)講，含有文本、聲音和圖像等內(nèi)容的就可以叫作多媒體詞典，而上述詞典并沒(méi)有系統(tǒng)、平衡地運(yùn)用這些媒體，所以其多媒體特征不強(qiáng)。

然而，語(yǔ)言教學(xué)界對(duì)多媒體和多模態(tài)詞典的呼聲很高，這是因?yàn)椋?） 語(yǔ)言的自然習(xí)得和日常交流都發(fā)生在多模態(tài)場(chǎng)景;2） 通信技術(shù)的發(fā)展使人們的閱讀習(xí)慣發(fā)生了改變;3） 多元識(shí)讀與多模態(tài)語(yǔ)境被引入二語(yǔ)教學(xué)，對(duì)詞典提出了新的要求。近十年來(lái)，有關(guān)多模態(tài)詞典的研究引起學(xué)界重視，波蘭學(xué)者Lew（2010）提出了多模態(tài)詞典學(xué)（Multimodal Lexicography），黨軍（2010）也提出了“雙語(yǔ)詞典多模態(tài)化”。但他們的研究混淆了“媒體”與“模態(tài)”的概念，把復(fù)雜的模態(tài)簡(jiǎn)化為了媒體。之后一些研究（閆美榮2011;羅永勝2012，2015;陳維紅2015）大多也是這個(gè)路子，有些則從功能語(yǔ)言學(xué)的視角來(lái)談詞典的圖文和語(yǔ)義關(guān)系（楊信彰2012;張春燕，陳思一葉2016），有的從界面設(shè)置或插圖位置來(lái)談多模態(tài)電子詞典（錢(qián)亦斐2016），都沒(méi)有涉及多模態(tài)元素的性質(zhì)特征和語(yǔ)義表征機(jī)制。

那么，模態(tài)與媒體之間是什么樣的關(guān)系？模態(tài)的實(shí)質(zhì)特征是什么？多模態(tài)元素的語(yǔ)義機(jī)制和釋義方法是什么呢？我們將在融媒體的框架下來(lái)討論這些問(wèn)題。

三、 融媒體框架下的媒體與模態(tài)的融合

多模態(tài)源于系統(tǒng)功能語(yǔ)言學(xué)的多模態(tài)語(yǔ)篇分析，其主旨在于用各種語(yǔ)言和非語(yǔ)言符號(hào)來(lái)解釋語(yǔ)言的三大元功能：概念功能、人際功能和語(yǔ)篇功能，并指出不同模態(tài)可使用不同媒介來(lái)的表達(dá)。（Kress & van Leeuwen1990/2006;Martinec2005;Royce2007;Matthiessen2007）然而，盡管我們可以從功能的角度來(lái)研究詞典學(xué)（語(yǔ)篇詞典學(xué)），但詞典的語(yǔ)篇畢竟不同于自然語(yǔ)篇，當(dāng)然也不宜直接用功能語(yǔ)言學(xué)中的多模態(tài)方法來(lái)描述詞典中的模態(tài);因?yàn)樵~典組織“語(yǔ)篇”的方法與自然語(yǔ)篇有很大不同。前者是“從具體到抽象”，后者則是“由抽象到具體”的認(rèn)知過(guò)程。另一方面，詞典用戶是語(yǔ)言“學(xué)習(xí)者”，查閱詞典往往是任務(wù)驅(qū)動(dòng)，所以必須要結(jié)合詞典釋義的實(shí)際來(lái)談多模態(tài)，而不是純粹套用語(yǔ)篇分析的方法。

（一） 多模態(tài)的必要性與可行性

多模態(tài)語(yǔ)義表征方法比較適用于二語(yǔ)學(xué)習(xí)詞典，因?yàn)槌扇嗽趯W(xué)習(xí)二語(yǔ)前已經(jīng)具有比較成熟的母語(yǔ)知識(shí)系統(tǒng)，但缺乏或沒(méi)有二語(yǔ)的語(yǔ)感，離散的（不系統(tǒng)的）詞匯知識(shí)或孤立的解釋往往會(huì)受其母語(yǔ)負(fù)遷移或目的語(yǔ)規(guī)則過(guò)度泛化的影響，從而產(chǎn)生中介語(yǔ)偏誤。（章宜華2012）從這個(gè)角度講，二語(yǔ)學(xué)習(xí)者沒(méi)有一語(yǔ)自然習(xí)得的那種語(yǔ)言環(huán)境，這就需要我們?cè)谠~典中營(yíng)造一種學(xué)習(xí)者缺乏的自然語(yǔ)境，而多模態(tài)釋義就是營(yíng)造這種語(yǔ)境最有效的方法。多元識(shí)讀理論（New London Group1994，1996）的提出和多模態(tài)教學(xué)的實(shí)施從理論和實(shí)踐兩個(gè)方面證明了多模態(tài)詞典釋義的必要性和可行性。多元識(shí)讀就是對(duì)多媒體和多模態(tài)信息的解讀能力（Williamson2005），已經(jīng)被證明是一種二語(yǔ)習(xí)得的有效的學(xué)習(xí)方法（吳玲娟2013;張燕2018;高麗華2018），傳統(tǒng)的以讀寫(xiě)為主的識(shí)讀能力在多媒體時(shí)代已不夠用了（胡壯麟2007）。

實(shí)際上，多模態(tài)交際方式普遍存在于我們的日常生活，也就是說(shuō)，我們的任何交際都是多模態(tài)的，所以很容易被識(shí)讀和記憶。然而，傳統(tǒng)詞典受限于信息媒介的限制，只能是單媒體語(yǔ)境，查閱和理解有一定難度。進(jìn)入融媒體時(shí)代，信息技術(shù)和媒體融合技術(shù)為多模態(tài)在詞典中的運(yùn)用創(chuàng)造了條件，使各種模態(tài)可以與數(shù)字媒體有機(jī)結(jié)合起來(lái)，能大幅提升詞典釋義和使用效果。

（二） 多模態(tài)表征與承載形式

在詞典釋義中提供多模態(tài)語(yǔ)境或多模態(tài)元素有助于二語(yǔ)學(xué)習(xí)和用戶對(duì)詞典釋義的解讀。（楊信彰2012;錢(qián)亦斐2016）但模態(tài)的形成、承載和傳輸是一個(gè)復(fù)雜的語(yǔ)言認(rèn)知和信息處理過(guò)程，涉及媒體、多媒體、多模態(tài)、融媒體諸多要素。語(yǔ)言認(rèn)知始于感官（眼、耳、鼻、舌、身），通過(guò)光波、聲波、嗅覺(jué)傳感器、味覺(jué)傳感器和觸感傳感器獲得承載某種信息的圖形、聲音、氣味、口味、感應(yīng)等意象圖式，這就是模態(tài)——一種在大腦中形成的心理實(shí)體（mental entity）。如果要表達(dá)這些模態(tài)信息、讓他人知曉，就需要借助特定的媒體，包括邏輯媒介和物理媒介，前者包括文字、聲音、圖像、圖形、圖表、色彩、結(jié)構(gòu)、動(dòng)畫(huà)、視頻和音頻流等，后者包括紙張、磁盤(pán)、光盤(pán)、網(wǎng)絡(luò)、云平臺(tái)、電波，以及各種終端設(shè)備（平板電腦、手機(jī)、閱讀器等）。從詞典學(xué)的角度講，語(yǔ)義模態(tài)（詞典信息）需要邏輯媒介來(lái)承載，而邏輯媒介則需要物理媒體來(lái)承載和傳播。在融媒框架下，這些元素可以得到有效融合（見(jiàn)圖3）。模態(tài)因?yàn)橛忻襟w承載而具有一定的形式，而媒體則因?yàn)槌休d了模態(tài)才具有一定的意義。

（三） 多媒體與多模態(tài)的融合

總體來(lái)講，多模態(tài)首先是一個(gè)“感官模態(tài)系統(tǒng)”（sensory modalities）。（顧曰國(guó)2015）人們通過(guò)這些感官與客觀世界互動(dòng)，并由此產(chǎn)生對(duì)應(yīng)于多個(gè)感官的多模態(tài)心理意象，然后合成具有語(yǔ)言學(xué)意義的模態(tài)。具體地講，多模態(tài)是詞典用戶感知到的詞典信息與其指稱的實(shí)體發(fā)生映射而形成的心理意象，并觸發(fā)相應(yīng)的心理空間形成“新”“舊”知識(shí)的觸發(fā)和聯(lián)想，最終形成被釋義詞的概念圖式，以特定的語(yǔ)音、聲音、圖形、顏色、動(dòng)作、結(jié)構(gòu)等來(lái)表達(dá)。這個(gè)認(rèn)知融合過(guò)程（化學(xué)反應(yīng)）需有兩個(gè)條件或“催化劑”：邏輯媒體和物理媒體——媒體是外在形式，模態(tài)才是知識(shí)內(nèi)容，兩者需要有機(jī)融合（參見(jiàn)圖3）。

具體地講，概念圖式是抽象的、心理的，它需要用文字、聲音、圖像或音樂(lè)等來(lái)表達(dá)，通過(guò)網(wǎng)絡(luò)、電視、廣播等來(lái)傳輸。這就是模態(tài)與媒體融合的邏輯機(jī)制。這種融合機(jī)制可以有效幫助詞典編纂者建立多模態(tài)詞典釋義情景，特別是將來(lái)擬真模態(tài)和VR技術(shù)的運(yùn)用，它可以模擬一切人類(lèi)所擁有的感知功能，甚至連嗅覺(jué)和味覺(jué)也可以參與多模態(tài)釋義情景的構(gòu)建，使學(xué)習(xí)者用戶能有身臨其境的感覺(jué)，使詞典的查閱變得“輕松有趣”。

事實(shí)上，在多模態(tài)環(huán)境中，所有的模態(tài)都參與意義的構(gòu)建，（Kress & van Leeuwen1996/2006）因此可以有效提升二語(yǔ)學(xué)習(xí)者的識(shí)讀能力。在詞典查閱過(guò)程中，學(xué)習(xí)者從所指物→意象→圖式概念→文字的感知，要比從文字→意象→圖式概念→所指物的感知容易得多。譬如，一張企鵝在北極冰雪中的照片，或其行走姿態(tài)、鳴叫聲音比任何文字釋義的解釋都要清楚得多。中國(guó)文化特色詞，如“算盤(pán)”“旗袍”“二胡”“古箏”“秧歌舞”等，對(duì)于漢語(yǔ)二語(yǔ)學(xué)習(xí)者或母語(yǔ)初學(xué)者來(lái)說(shuō)，語(yǔ)言解釋再配上圖像，或集聲音、姿態(tài)于一體的動(dòng)態(tài)演示或演奏視頻，無(wú)疑會(huì)給用戶鮮明、深刻的印象（見(jiàn)圖4）。

四、 多模態(tài)詞典文本的特征與數(shù)據(jù)結(jié)構(gòu)

釋義是詞典編纂的核心內(nèi)容。如果我們認(rèn)可這種觀點(diǎn)，那么我們所做的一切工作（包括語(yǔ)料、信息提取、提煉，以及表述方法和組織形式）都要圍繞釋義這項(xiàng)核心工作來(lái)做。概括地講，詞典釋義一是要從語(yǔ)料中提煉出詞義的“不變量”（invariant）（Wierzbicka1996），二是要用多模態(tài)來(lái)表征語(yǔ)義，因?yàn)檫@種形式可以強(qiáng)化詞典查閱中的語(yǔ)言輸入，增加用戶對(duì)詞典信息的注意力和可理解度（intelligibility）。

（一） 詞典釋義中的多模態(tài)元素

多模態(tài)元素指詞典釋義所涉及的各種模態(tài)表征形式，是媒體融合的對(duì)象。Bernsen（2008）從信息處理角度來(lái)劃分模態(tài)，共4類(lèi)67種。Kress（2009，2010）從多元識(shí)讀的角度把模態(tài)概括為能夠產(chǎn)生意義的任何符號(hào)資源，如文字、圖像、顏色、版式、手勢(shì)、音樂(lè)、動(dòng)漫畫(huà)等。Lew（2010）從詞典編纂的角度分為文字模態(tài)、語(yǔ)音頻模態(tài)和非文字模態(tài)，后者又分為：非語(yǔ)言音頻、插圖、圖像、圖形和視頻片段。國(guó)內(nèi)的研究主要集中在對(duì)現(xiàn)有詞典所用媒體的分析上（見(jiàn)本文第二節(jié)）。從詞典釋義的角度講，語(yǔ)義表征所涉及的基本模態(tài)有視覺(jué)、聽(tīng)覺(jué)和（視）觸覺(jué)等模態(tài)元素，但這些基本模態(tài)各自又包含若干次模態(tài)，加之模態(tài)往往是以組合的形式出現(xiàn)，因此詞典釋義的模態(tài)表征還是很豐富的。例如，從視角上講有文字、符號(hào)、動(dòng)/靜態(tài)圖形、動(dòng)/靜態(tài)圖像，以及姿勢(shì)、動(dòng)作、顏色、結(jié)構(gòu)等;從聽(tīng)覺(jué)上講有語(yǔ)音、靜/動(dòng)態(tài)聲音、聲音符號(hào)等;從觸覺(jué)或視觸覺(jué)上講有動(dòng)/靜態(tài)觸覺(jué)、視觸覺(jué)，包括形態(tài)、溫度、質(zhì)感等其他通過(guò)肢體和視線接觸感知或體驗(yàn)到的事物。

（二） 詞典釋義中的模態(tài)融合

需要指出的是，在多模態(tài)詞典中，文字釋義在較長(zhǎng)一段時(shí)間內(nèi)仍然是釋義的主要內(nèi)容，但其他模態(tài)不再是文字的附加成分，所有的多模態(tài)元素都可以充當(dāng)被釋義詞的意義表征。很可能在將來(lái)的某一天，現(xiàn)在的圖解詞典會(huì)演化成以非文字模態(tài)為主的多模態(tài)詞典，多模態(tài)與VT技術(shù)的融合可能慢慢會(huì)“削弱”文字釋義的作用，成為釋義的重要元素。多模態(tài)詞典的核心內(nèi)涵就是多種模態(tài)在釋義中的交互融合，能在用戶大腦中產(chǎn)生模態(tài)之間的轉(zhuǎn)換，即一種感覺(jué)形態(tài)刺激引起另一種感覺(jué)形態(tài)，產(chǎn)生感官的互通和互補(bǔ)。用戶在解讀和接受釋義時(shí)調(diào)動(dòng)的感官越多，事物在心智中形成的意象就更趨于真實(shí)，解讀的效果就更好。此外，用戶在查閱中經(jīng)歷了多種媒體——模態(tài)的轉(zhuǎn)換和輸入，其記憶神經(jīng)元的刺激就更深刻，其學(xué)習(xí)興趣就會(huì)更加濃厚。

許多電子詞典用了插圖和語(yǔ)音等，但它們之間并沒(méi)有必要的模態(tài)融合，故最多只能算作是多媒體詞典。嚴(yán)格地講，文字與圖形、圖像、色彩等都屬于同一種模態(tài)，但這些次模態(tài)之間的結(jié)合與互動(dòng)、互補(bǔ)比單一的文字更能幫助用戶解讀語(yǔ)義。例如，由GOOCTO推出的視覺(jué)化詞庫(kù)（VISUWORDS），就是用思維導(dǎo)圖的方式構(gòu)成多種次模態(tài)的融合，實(shí)現(xiàn)了詞匯—語(yǔ)義關(guān)系的形象化、可視化（見(jiàn)圖5）。

這是一種在線圖解詞典，輸入單詞便可得到該詞的各種意義以及與其關(guān)聯(lián)的其他詞類(lèi)和概念，形成一個(gè)可視化詞匯—語(yǔ)義關(guān)系網(wǎng)絡(luò)。鼠標(biāo)指向其中任意節(jié)點(diǎn)，便可顯示出該節(jié)點(diǎn)詞的意義。如圖6所示，名詞borrow有7個(gè)義項(xiàng)或有此義的其他詞及詞類(lèi)，其中與borrow（動(dòng)詞）/borrower/borrowing等有派生關(guān)系;與get/acquired/accept/take等有上下義關(guān)系，與lend/loan是反義關(guān)系;borrower與recipient/receiver有上下義關(guān)系，與lender/loaner是反義關(guān)系等。圖6中的方框是鼠標(biāo)指向borrowing/adoptation節(jié)點(diǎn)顯示出的語(yǔ)義解釋。

這種以圖形、線條、形狀和色彩融合形成的“多模態(tài)”詞匯—語(yǔ)義網(wǎng)絡(luò)圖，既示出了語(yǔ)詞的義項(xiàng)、語(yǔ)義和義項(xiàng)關(guān)系，又說(shuō)明了該詞與相關(guān)詞項(xiàng)間的固有關(guān)系，為二語(yǔ)學(xué)習(xí)者提供了一個(gè)系統(tǒng)的學(xué)習(xí)語(yǔ)境。

（三） 多模態(tài)元素的釋義功能

1. 文字模態(tài)

在融媒體學(xué)習(xí)詞典中，無(wú)論是單語(yǔ)和雙解釋義，還是雙語(yǔ)詞典的譯義仍會(huì)將文字作為主要釋義形式，但限制釋義詞匯會(huì)使釋義的準(zhǔn)確性、辨義能力，以及簡(jiǎn)潔性都受到影響，無(wú)法揭示出語(yǔ)詞的細(xì)微含義;因此，文字與其他模態(tài)的結(jié)合就顯得尤為必要。如對(duì)文字難以表達(dá)的內(nèi)容可提供其他模態(tài)的支持，如以粗體字、背景色來(lái)凸顯釋義和例句中的核心成分，或與相關(guān)詞條的釋義或多模態(tài)信息項(xiàng)鏈接，用鼠標(biāo)指向某一句式或搭配可激活相應(yīng)的義項(xiàng)和例句等。還可以把釋義與語(yǔ)料庫(kù)鏈接起來(lái)，從中調(diào)取被釋義詞更多的真實(shí)用例，以幫助用戶理解和使用。

2. 語(yǔ)音模態(tài)

在紙質(zhì)詞典電子化過(guò)程中，語(yǔ)音使用比較廣泛，由初期的詞頭發(fā)音發(fā)展到全句朗讀和視頻朗讀。手持式電子詞典還設(shè)置了一些“聽(tīng)力練習(xí)”“跟讀練習(xí)”等動(dòng)態(tài)語(yǔ)音功能，但未做好互動(dòng)融合。在融媒體詞典中，語(yǔ)音模態(tài)表征的對(duì)象為詞目詞、例句和人人/機(jī)交互。在信息互動(dòng)方面，詞典可以語(yǔ)音領(lǐng)讀，用戶可以跟讀并錄音，做對(duì)比分析、糾正發(fā)音。語(yǔ)音還可與視覺(jué)模態(tài)相結(jié)合，在朗讀例句時(shí)相應(yīng)的閱讀部分有圖標(biāo)或色彩跟隨移動(dòng)，并與譯文關(guān)聯(lián)，讓聽(tīng)覺(jué)和視覺(jué)模態(tài)共同作用于用戶的信息解讀，以“語(yǔ)音—形態(tài)”的融合加深記憶。

3. 聲音模態(tài)

指語(yǔ)言以外的聲音，是某些詞的主要語(yǔ)義特征之一，如動(dòng)物、昆蟲(chóng)、鳥(niǎo)類(lèi)、禽類(lèi)、樂(lè)器、音樂(lè)、音頻信號(hào)、警示聲信號(hào)，機(jī)器和儀器的聲音，以及其他人造物聲音。聽(tīng)覺(jué)模態(tài)與視覺(jué)模態(tài)融合形成視頻，可以表征語(yǔ)義，如“虎嘯”“獅吼”“海豚音”等用文字難以描述，若配上“圖像+聲音”的視頻片段會(huì)給用戶深刻印象。像“琵琶、揚(yáng)琴、古箏、馬頭琴”等樂(lè)器，“西皮、二黃、慢板、快板”等京劇唱腔，“火車(chē)?guó)Q笛（起動(dòng)、停車(chē)、進(jìn)站等信號(hào)）”，像cackle、clank、clink、buzz等擬聲詞采用多模態(tài)融合釋義，不單是文字釋義的重復(fù)，更是認(rèn)知的深化。

4. 圖形模態(tài)

指各種非語(yǔ)言符號(hào)以及顏色和結(jié)構(gòu)等。視覺(jué)模態(tài)之于文字，如畫(huà)龍點(diǎn)睛，勝過(guò)千言萬(wàn)語(yǔ)。語(yǔ)言伴生符（字體、字號(hào)、粗細(xì)、顏色）與文字直觀融合，已在學(xué)習(xí)詞典中廣泛使用，體態(tài)符號(hào)（動(dòng)作、手勢(shì)、表情、視線、姿態(tài)等）往往以（連續(xù)）圖片、動(dòng)圖、動(dòng)畫(huà)和視頻片段來(lái)表示，動(dòng)作性符號(hào)、聲音符號(hào)、圖形/圖像符號(hào)等是真實(shí)的模擬，而目視符號(hào)（地圖、標(biāo)識(shí)等）則是概括的約定。須指出的是，圖形和圖像的功能和釋義效果是不一樣的，如鳥(niǎo)的照片反映的是其“原型”，但它也源自范疇成員，包括了很多個(gè)性細(xì)節(jié)（屬于意象），無(wú)法涵蓋其他范疇示例的特點(diǎn);而線條畫(huà)則是眾多鳥(niǎo)實(shí)例的抽象（屬于圖式），其釋義概括性更強(qiáng)（見(jiàn)圖7）。

在視覺(jué)模態(tài)的組織中，可運(yùn)用范疇化和格式塔心理學(xué)的方法，借助部分與整體關(guān)系來(lái)凸顯個(gè)體特征。例如，《牛津高階英漢雙解詞典》（光盤(pán)版）往往把同一范疇的插圖整合在一起，點(diǎn)擊圖中的單詞便可彈出其釋義窗口（見(jiàn)圖8）。這樣，通過(guò)同類(lèi)比較、總體把握與個(gè)別凸顯，可以提高用戶解讀的效果。但由于該詞典沒(méi)有真正從模態(tài)融合的角度考慮，文字與插圖相互獨(dú)立，檢索不到flower、bud、stalk等詞條與這個(gè)圖組的關(guān)聯(lián)。

5. 觸覺(jué)模態(tài)

指靜/動(dòng)態(tài)物理接觸感和視接觸發(fā)生的感應(yīng)模態(tài)。前者主要反映在詞典使用終端圖形用戶界面（GUI）上，通過(guò)鼠標(biāo)、手指和聲音來(lái)觸發(fā)詞典的查詢功能和詞匯—語(yǔ)義之間的鏈接，后者通過(guò)視線感知查詢顯示的內(nèi)容，包括物體狀態(tài)、溫度、質(zhì)感等內(nèi)容。詞典文本中所有的模態(tài)信息都在這個(gè)界面上交互和/或融合。因此，圖形用戶界面的構(gòu)建是詞典發(fā)揮多模態(tài)效用的關(guān)鍵。

（四） 融媒體詞典的特征和數(shù)據(jù)結(jié)構(gòu)

如果要真正做到媒體融合，多模態(tài)詞典就無(wú)法像紙質(zhì)詞典那樣有明確、固定的文本結(jié)構(gòu)，因?yàn)楦鞣N模態(tài)的編碼、存儲(chǔ)和表述方式不一樣，一個(gè)詞條的信息內(nèi)容復(fù)雜且信息量巨大，利用平面直觀的方式排列是不現(xiàn)實(shí)的。而現(xiàn)在的電子詞典只是載體發(fā)生了變化，其信息組織和呈現(xiàn)仍然是平面結(jié)構(gòu)，因此不能算作多模態(tài)詞典。下面我們談?wù)劵谌诿襟w技術(shù)的多模態(tài)詞典的特征和數(shù)據(jù)結(jié)構(gòu)。

1. 詞典的使用環(huán)境基礎(chǔ)

信息化時(shí)代，詞典用戶全民化、使用需求標(biāo)簽化、信息查閱碎片化、查閱路徑網(wǎng)絡(luò)化，用戶使用習(xí)慣的改變決定了詞典使用終端的電子化和多樣化，以便在任何時(shí)候、任何地方、用任何數(shù)據(jù)終端都能查閱，且能快速、準(zhǔn)確地獲得任何領(lǐng)域的內(nèi)容，滿足其不同語(yǔ)言活動(dòng)的需要。詞典使用終端不再是固定的，而是因時(shí)、因地、因人而異的，其載體可以是紙媒，也可以是電腦、平板電腦、手機(jī)或電子穿戴用品。

2. 詞典文本構(gòu)成要素

數(shù)字化時(shí)代，人們對(duì)信息的需求個(gè)性化、選擇豐富化。用戶這種需求的改變決定了詞典收詞和文本要素的改變，即收詞要規(guī)?；⒕C合化、系統(tǒng)化，詞典釋義成分多模態(tài)化，詞典信息的組織數(shù)據(jù)化。各種模態(tài)信息須高度融合，能跨媒體或全媒體傳播。轉(zhuǎn)化的核心就是詞典釋義元素——由單純是文字向多模態(tài)轉(zhuǎn)向，語(yǔ)音、聲音、圖形、圖像、色彩和感應(yīng)等都作為重要表征形式參與詞目詞的釋義。

3. 詞典文本結(jié)構(gòu)框架

融媒體時(shí)代，詞典文本元素和使用終端的多元化決定了詞典信息要集群化、融合化、生態(tài)化。集群化指要模糊類(lèi)型概念，逐步把各類(lèi)詞典集合在一起，為所有用戶提供個(gè)性化使用體驗(yàn);融合化指編纂主體融合、詞典資源融合、詞典類(lèi)型融合、多模態(tài)—多媒體融合;生態(tài)化指詞典各類(lèi)用戶可以根據(jù)自己的需求準(zhǔn)確、快速地獲取所需信息（不需要通篇瀏覽尋找），或與詞典文本或編者進(jìn)行互動(dòng)，模態(tài)與媒體、用戶與編者相互作用，形成相互依存、相互促進(jìn)的生態(tài)環(huán)境。

根據(jù)上述特征，融媒體詞典是運(yùn)用專門(mén)的工具，按多模態(tài)—多媒體融合和個(gè)性化查閱需求對(duì)詞典進(jìn)行數(shù)據(jù)化處理。具體編纂結(jié)構(gòu)有以下幾個(gè)特征：

1） 詞典編纂不再是以詞頭特定順序組織編寫(xiě)，而是借助計(jì)算機(jī)輔助編纂系統(tǒng)中的范疇化分類(lèi)模型來(lái)構(gòu)建任務(wù)分配體系，根據(jù)語(yǔ)詞的形態(tài)、詞族、概念、主題、語(yǔ)用，以及屬性、行為、事件和事物等范疇來(lái)組織宏觀結(jié)構(gòu)，運(yùn)用任務(wù)管理平臺(tái)按既定分類(lèi)進(jìn)行編纂，以及進(jìn)度和質(zhì)量監(jiān)控。

2） 詞典的基本編寫(xiě)單位不再是完整的詞條，而是詞典微觀信息項(xiàng)中的某一項(xiàng)或幾項(xiàng)數(shù)據(jù)內(nèi)容，如形態(tài)變化、語(yǔ)音、語(yǔ)法和句法注釋，義項(xiàng)確立、釋義、配例及例句翻譯，各種附加信息、模態(tài)信息等。一個(gè)編者可負(fù)責(zé)若干字母，甚至整部詞典全部詞條的某項(xiàng)或多項(xiàng)內(nèi)容。文字和符號(hào)、語(yǔ)音和聲音、圖形和圖像，以及動(dòng)畫(huà)和視頻片段等構(gòu)成不同的元數(shù)據(jù)，以便融合處理、組織成多模態(tài)語(yǔ)義表征。

3） 詞典信息不再是有限的、類(lèi)型分明的供給，而是模糊類(lèi)型、全面提供多模態(tài)信息，包括語(yǔ)言屬性、語(yǔ)域?qū)傩浴I(yè)屬性及其顯示度，盡力滿足各層次用戶或系統(tǒng)化，或碎片化的信息需求;從視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)的角度建立文字與聲音、文字與圖形、用戶與文字/圖形/聲音、用戶與編者、用戶與用戶等的互動(dòng)互補(bǔ)，從而在詞典中構(gòu)建多模態(tài)話語(yǔ)情景。

4） 詞典信息不再是按詞條完整呈現(xiàn)的平面文本結(jié)構(gòu)，而是按關(guān)系（SQL）或非關(guān)系型數(shù)據(jù)庫(kù)（NoSQL）結(jié)構(gòu)組織和存儲(chǔ)的多模態(tài)數(shù)據(jù)。同一詞條的信息項(xiàng)（如注音、屈折變化、基本注釋、釋義、例證等）要被切分成相對(duì)獨(dú)立但與詞目詞關(guān)聯(lián)的數(shù)據(jù)元，分別與同一詞典中其他詞條的同類(lèi)數(shù)據(jù)存儲(chǔ)在相應(yīng)的數(shù)據(jù)表格中，并自動(dòng)進(jìn)行特征標(biāo)注。每一個(gè)數(shù)據(jù)化的詞典信息項(xiàng)都被計(jì)算機(jī)賦予一個(gè)或若干個(gè)標(biāo)記，以便為各類(lèi)用戶提供個(gè)性化的精準(zhǔn)服務(wù)。

25. Martinec R. Topics in Multimodality. ∥Hasan R， Matthiessen C， Webster J.（eds.） Continuing Discourse on Language（Vol.1）. London & Oakville：Equinox， 2005：157-181.

26. Matthiessen C.The Multimodal Page：A Systemic Functional Exploration.∥Royce T D， Bowcher W.（eds.） New Directions in the Analysis of Multimodal Discourse. New Jerse & London：Lawrence Erlbaum Associates， 2007：1-62.

27. New London Group. A Pedagogy of Multiliteracies：Designing Social Futures. Harvard Educational Review 1996（4）：4-75.

28. Royce T. Intersemiotic Complementarity：A Framework for Multimodal Discourse Analysis.∥ Royce T， Bowcher W.（eds.） New Directions in the Analysis of Multimodal Discourse. New Jersey & London：Lawrence Erlbaum Associates， 2007：62-110.

29. Wierzbicka A. Semantics：Primes and Universals. Oxford：Oxford University Press， 1996： 258-270.

30. Williamson B. What Are Multimodality，Multisemiotics and Multi-Literacies：A Brief Guide to Some Jargon. NESTA Futurelab，2005.（Online. Accessed 23 Oct. 2015. http：∥www.Futurelab.org.uk/viewpoint/art49.htm.）

（廣東外語(yǔ)外貿(mào)大學(xué)文科基地/詞典學(xué)研究中心 廣州 510420）

（責(zé)任編輯 馬 沙）