文 / 石貞貞

符號(hào)學(xué)視域下多模態(tài)語(yǔ)言檔案建設(shè)研究

文 / 石貞貞

隨著民族融合趨勢(shì)的加強(qiáng)，越來(lái)越多民族語(yǔ)言瀕危滅絕，記錄民族語(yǔ)言工作刻不容緩?，F(xiàn)有語(yǔ)言檔案建設(shè)存在著搜索功能單一、缺少語(yǔ)音和圖像信息、資源不能共享、語(yǔ)言保真度低等問(wèn)題?；诜?hào)學(xué)理論建設(shè)多模態(tài)語(yǔ)言檔案，建設(shè)多模態(tài)語(yǔ)言檔案館，包含字、圖、聲三位一體數(shù)據(jù)庫(kù)，可以最大程度保護(hù)、傳播、開(kāi)發(fā)和利用瀕危語(yǔ)言。

符號(hào)學(xué)；多模態(tài)；語(yǔ)言檔案

一、多模態(tài)語(yǔ)言檔案的社會(huì)符號(hào)學(xué)

（一）目前語(yǔ)言檔案建設(shè)的概況

全球化背景下，中國(guó)的多元化語(yǔ)言日益趨于統(tǒng)一，眾多小語(yǔ)種瀕危。研究表明：“44種民族語(yǔ)言處于瀕危，9種已經(jīng)消亡?！盵1]但是目前關(guān)于保護(hù)瀕危語(yǔ)言的實(shí)踐活動(dòng)還不夠深入，僅僅停留在學(xué)術(shù)層面對(duì)相關(guān)語(yǔ)言檔案文字材料進(jìn)行撰寫(xiě)、翻譯、注釋以及記錄。在這種保護(hù)層面上，入手點(diǎn)通常是語(yǔ)音、語(yǔ)法或者詞匯等某一個(gè)方面，而在整體研究上存在缺失；語(yǔ)言體系各個(gè)部分缺少必要聯(lián)系，缺乏相關(guān)度和統(tǒng)一性；其研究范式多憑借錄音或者文字，保護(hù)效果差強(qiáng)人意。

上海語(yǔ)言資源有聲檔案庫(kù)中僅存在上海不同區(qū)域使用的幾十個(gè)單音字；在中國(guó)科學(xué)院的多民族語(yǔ)言資料庫(kù)中，雖然建立了漢語(yǔ)、蒙語(yǔ)、維語(yǔ)和藏語(yǔ)的平行語(yǔ)料庫(kù)和形態(tài)庫(kù)，但這些資料僅是由781篇文章構(gòu)成的文本信息?，F(xiàn)今國(guó)內(nèi)的語(yǔ)言檔案大多在不同程度上存在著語(yǔ)音原始情景信息的缺失，未曾嘗試用圖像或其它科技手段全方位地展示語(yǔ)言。就技術(shù)層而言，音頻和錄像等物理材料不夠理想，導(dǎo)致現(xiàn)存檔案保真度和清晰度還有待提升。

（二）多模態(tài)語(yǔ)言檔案的社會(huì)符號(hào)學(xué)定義

社會(huì)符號(hào)學(xué)認(rèn)為語(yǔ)言是一種聽(tīng)覺(jué)符號(hào)系統(tǒng)，是人類(lèi)在特定社會(huì)背景和歷史實(shí)踐中創(chuàng)造出來(lái)的富有獨(dú)特意義的表達(dá)系統(tǒng)。[2]因此，社會(huì)符號(hào)學(xué)認(rèn)為，對(duì)于語(yǔ)言的研究不能局限于詞匯本身，還應(yīng)當(dāng)囊括非語(yǔ)言符號(hào)的語(yǔ)法，包含書(shū)面語(yǔ)、口語(yǔ)、圖表、音樂(lè)、圖像和動(dòng)態(tài)影像等在內(nèi)的所有可以構(gòu)建語(yǔ)言符號(hào)的資源。在符號(hào)學(xué)視角下，多種模態(tài)并非互相割裂，每種模態(tài)都屬于符號(hào)資源，最終將發(fā)展成為有意義、互相連接的網(wǎng)絡(luò)。此種意義還具有選擇性，所有模態(tài)或者模態(tài)之間的互動(dòng)都可以表達(dá)獨(dú)特的意義。而這些多種模態(tài)的“符號(hào)語(yǔ)法”能夠使得人類(lèi)建立起基于現(xiàn)實(shí)的心理圖像，并更好理解周?chē)l(fā)生的以及自身內(nèi)部經(jīng)驗(yàn)。LIM認(rèn)為，圖像語(yǔ)法包括四級(jí)單位，即作品（work）、圖式（figure）、情節(jié)（episode）和成員（member）。[3]而這四級(jí)單位是以語(yǔ)言符號(hào)作為構(gòu)建的基礎(chǔ)。語(yǔ)言符號(hào)成為構(gòu)建一切社會(huì)現(xiàn)實(shí)的基礎(chǔ)。

（三）多模態(tài)語(yǔ)言檔案的特征

與傳統(tǒng)語(yǔ)言檔案相比，多模態(tài)語(yǔ)言檔案更加關(guān)注兩個(gè)問(wèn)題：不同模態(tài)話語(yǔ)中各成分關(guān)系，嘗試建立跨模態(tài)關(guān)系框架，并對(duì)其進(jìn)行分析；分析不同模態(tài)中的符號(hào)特征，并對(duì)不同模態(tài)中的語(yǔ)義進(jìn)行清晰描述。多模態(tài)語(yǔ)言檔案建立并分析跨模態(tài)關(guān)系，第一步就是要對(duì)這種跨模態(tài)關(guān)系進(jìn)行詳細(xì)統(tǒng)一的量化比較。通常而言，各模態(tài)符號(hào)特征的分析基礎(chǔ)往往是語(yǔ)義，如過(guò)程、情態(tài)等。

二、多模態(tài)語(yǔ)言檔案的建設(shè)與發(fā)展

（一）構(gòu)建多模態(tài)語(yǔ)言檔案數(shù)據(jù)庫(kù)的優(yōu)勢(shì)

多模態(tài)的語(yǔ)境決定了符號(hào)活動(dòng)語(yǔ)義選擇的多樣性。社會(huì)活動(dòng)在不同語(yǔ)境下產(chǎn)生不同的語(yǔ)義需要，最終體現(xiàn)出截然不同的表達(dá)形式。因此建立多模態(tài)語(yǔ)言檔案數(shù)據(jù)庫(kù)有助于發(fā)現(xiàn)符號(hào)的類(lèi)型規(guī)律，并據(jù)此改善話語(yǔ)行為：在一定語(yǔ)境下預(yù)測(cè)、引導(dǎo)并分析尚未出現(xiàn)的文化策略。另外，通過(guò)語(yǔ)音、圖像、文字等子數(shù)據(jù)庫(kù)建設(shè)，多模態(tài)語(yǔ)言檔案館可以完整、全面、立體呈現(xiàn)出該種語(yǔ)言特點(diǎn)，并深入挖掘此種語(yǔ)言背后的文化特征、社會(huì)意義。

與傳統(tǒng)數(shù)據(jù)庫(kù)不同，多模態(tài)語(yǔ)言檔案館所采集和保護(hù)的對(duì)象，將突破平面的紙質(zhì)文檔，試圖針對(duì)瀕危語(yǔ)言進(jìn)行全方面立體全息錄入。[4]語(yǔ)言檔案在歷史發(fā)展中經(jīng)歷了兩次轉(zhuǎn)型。19世紀(jì)末期采用“描述語(yǔ)言學(xué)”——直接通過(guò)翻譯、聽(tīng)寫(xiě)、筆記等方法大量記錄語(yǔ)言。此方法不僅不利于傳播，用戶在查閱時(shí)，還存在諸多不便；另外在紙質(zhì)端，還存在著破損、受潮、遺失等問(wèn)題，且保存成本高昂，需要投入巨大人力物力。這種文字檔案投入產(chǎn)出比較低，不利于常年實(shí)行。隨著科學(xué)技術(shù)的發(fā)展，人類(lèi)可以使用多媒體等現(xiàn)代化技術(shù)對(duì)語(yǔ)言進(jìn)行全面記錄，開(kāi)始從“描述語(yǔ)言學(xué)”演變?yōu)椤坝涗浾Z(yǔ)言學(xué)”：將資料集中于PC端——方便用戶在任何時(shí)間、地點(diǎn)進(jìn)行查閱，極大節(jié)省人力物力，并且資料不易遺失或損害。但現(xiàn)今對(duì)多媒體的利用還只停留在紙質(zhì)版的數(shù)字化，并沒(méi)有進(jìn)一步利用多媒體進(jìn)行語(yǔ)言資源的開(kāi)發(fā)和保護(hù)。

多模態(tài)語(yǔ)言檔案數(shù)據(jù)庫(kù)不僅包括最為基礎(chǔ)的紙質(zhì)文檔數(shù)字化，而且包括視頻圖像和語(yǔ)音信息。用戶在利用多模態(tài)語(yǔ)言檔案數(shù)據(jù)庫(kù)查閱有關(guān)資料時(shí)，可以得到聲音、圖像、文字三位一體的全面信息，這將有利于語(yǔ)言的傳播和保護(hù)，讓語(yǔ)言分析變得更清晰、直觀，極大減少了誤差。

（二）多模態(tài)語(yǔ)言檔案數(shù)據(jù)庫(kù)的構(gòu)建

多模態(tài)數(shù)據(jù)庫(kù)的建立是包括錄音、攝像等多個(gè)系統(tǒng)與維度的立體構(gòu)建過(guò)程。

1.調(diào)查設(shè)計(jì)材料。這一步驟中最為重要的是語(yǔ)言檔案數(shù)據(jù)庫(kù)的內(nèi)容選取。它必須選取具有代表性的語(yǔ)言或指定部分，概括出語(yǔ)音格局，在參考已有研究的基礎(chǔ)之上制定出每種語(yǔ)言特定的字表、詞表、句子和語(yǔ)篇。原則上所選的材料應(yīng)為自然語(yǔ)言。在設(shè)計(jì)字表時(shí)，需要分為聲調(diào)、元音和輔音三個(gè)部分，盡量用小的語(yǔ)料庫(kù)覆蓋全部的語(yǔ)音及聲調(diào)，縮小數(shù)據(jù)庫(kù)的冗雜。相較于字表的簡(jiǎn)單，詞表優(yōu)先選用復(fù)雜的雙音節(jié)詞，方便研究語(yǔ)言的變調(diào)；在句子和語(yǔ)篇設(shè)計(jì)方面有朗讀和表達(dá)部分。其中朗讀包括語(yǔ)言敘述的詩(shī)歌和民間故事；語(yǔ)篇部分要做好包括韻律、音段在內(nèi)的搭配，豐富句子多樣性；表達(dá)部分主要是“口述”，通過(guò)對(duì)一些常見(jiàn)話題的情景描述，記錄人與人交談或獨(dú)自表達(dá)時(shí)的語(yǔ)言數(shù)據(jù)。

2.建立發(fā)聲人信息檔案庫(kù)。這一步驟中最重要是要保證發(fā)聲人標(biāo)準(zhǔn)性。所采集的發(fā)聲人樣本應(yīng)是將研究語(yǔ)言視為母語(yǔ)的當(dāng)?shù)厝恕](méi)有長(zhǎng)時(shí)間外出接觸其它語(yǔ)言，所共同生活的人也應(yīng)使用同樣的語(yǔ)言，并且發(fā)聲人沒(méi)有患有影響聲音的疾病，聽(tīng)力和發(fā)音器官都正常。

3.語(yǔ)言檔案采集。這是最關(guān)鍵的一環(huán)。傳統(tǒng)模式聲像采集中往往會(huì)出現(xiàn)錄音質(zhì)量不佳，數(shù)據(jù)失真的情況。為解決這個(gè)問(wèn)題，錄音環(huán)境最好選在專(zhuān)業(yè)錄音棚，避免外界的干擾。另外，錄音還應(yīng)該配有攝像頭和呼吸袋。這樣，我們除了聲音之外，還能捕捉發(fā)聲人的面部表情和嘴唇發(fā)聲的韻律，可以更好地對(duì)語(yǔ)言檔案進(jìn)行采集。

4.語(yǔ)言檔案管理。對(duì)于龐雜的語(yǔ)料庫(kù)，管理需要經(jīng)過(guò)精心的設(shè)計(jì)；為了語(yǔ)音文件夾命名的規(guī)范化，我們可以進(jìn)行有規(guī)律的編號(hào)與排列，以方便保存、分管與處理。

5.語(yǔ)言檔案分析。在分析之前，先要對(duì)所采集的數(shù)據(jù)進(jìn)行過(guò)篩，如噪聲處理、長(zhǎng)靜音空白和咳嗽聲等。另外，每次采集數(shù)據(jù)完畢后，都應(yīng)該由發(fā)聲者或者另一位以研究語(yǔ)言為母語(yǔ)的人對(duì)錄音進(jìn)行檢查，進(jìn)行查漏補(bǔ)缺，隨后采用南開(kāi)大學(xué)所研發(fā)的“桌上語(yǔ)音工作室”進(jìn)行語(yǔ)音分析、測(cè)算和統(tǒng)計(jì)作圖。

（三）多模態(tài)語(yǔ)言檔案數(shù)據(jù)庫(kù)的基本結(jié)構(gòu)

相較于傳統(tǒng)的數(shù)據(jù)庫(kù)，多模態(tài)語(yǔ)言檔案數(shù)據(jù)庫(kù)不再局限于文本子數(shù)據(jù)庫(kù)，還包括語(yǔ)音子數(shù)據(jù)庫(kù)和圖像子數(shù)據(jù)庫(kù)兩個(gè)部分。

文本子數(shù)據(jù)庫(kù)為數(shù)據(jù)庫(kù)的基礎(chǔ)，主要目的是存放語(yǔ)言的字眼、詞句、段落等文本信息，并分析其屬性及相互之間的連接。

語(yǔ)音數(shù)據(jù)庫(kù)是數(shù)據(jù)庫(kù)最重要的部分，記錄了語(yǔ)言的語(yǔ)音信息及其語(yǔ)音屬性，涵括字眼、詞句、段落等的發(fā)音，以及在連讀情況下有無(wú)變調(diào)。語(yǔ)音特性比文本特性更為復(fù)雜，包括每一種語(yǔ)言獨(dú)特的音系特征、語(yǔ)調(diào)特征和字音特征。另外，在對(duì)語(yǔ)音數(shù)據(jù)庫(kù)分析后，人們可以通過(guò)語(yǔ)音進(jìn)行檢索，迅速地找出該研究語(yǔ)言的變調(diào)、韻律等語(yǔ)音特點(diǎn)，可以更好地對(duì)研究語(yǔ)言和普通話進(jìn)行雙向匹配。另外，語(yǔ)音檢索功能在數(shù)據(jù)庫(kù)的實(shí)際應(yīng)用中，可以實(shí)現(xiàn)更好的用戶交互與體驗(yàn)。

圖像子數(shù)據(jù)庫(kù)部分是對(duì)語(yǔ)音數(shù)據(jù)庫(kù)和文本數(shù)據(jù)庫(kù)的補(bǔ)充。通過(guò)發(fā)音人圖像的補(bǔ)充，可以使整個(gè)數(shù)據(jù)庫(kù)達(dá)到集成化效果。用戶在搜索數(shù)據(jù)庫(kù)中，不僅可以聽(tīng)到聲音，看到文字，還能觀察發(fā)聲人的面部表情、體態(tài)等方面的視覺(jué)特征。這種三位一體的呈現(xiàn)方式，可以更加原汁原味體現(xiàn)方言內(nèi)涵及特征，避免創(chuàng)建數(shù)據(jù)庫(kù)過(guò)程中語(yǔ)言的失真問(wèn)題，有效地對(duì)語(yǔ)言進(jìn)行保護(hù)、管理、整合與利用。

這三個(gè)子數(shù)據(jù)庫(kù)互相獨(dú)立又互相影響，構(gòu)成一個(gè)完整的、全新的數(shù)據(jù)庫(kù)。數(shù)據(jù)庫(kù)用戶可以分析、下載各類(lèi)文件，輸出各類(lèi)統(tǒng)計(jì)結(jié)果。

三、總結(jié)

總體而言，符號(hào)學(xué)視角下多模態(tài)語(yǔ)言檔案建設(shè)還處于探索階段，現(xiàn)階段多數(shù)檔案建設(shè)還止步于文字的記錄和描述。胡壯麟教授曾在第十二屆全國(guó)功能語(yǔ)言學(xué)研討會(huì)上指出，“多模態(tài)”不僅有“科技含量”，還極具“難度”，實(shí)踐者需要“語(yǔ)言之外的涵養(yǎng)”?？梢?jiàn)，現(xiàn)階段進(jìn)行多模態(tài)語(yǔ)言檔案的研究還存在著一定的難度。但是，在文化日益融合的今天，多模態(tài)語(yǔ)言檔案的建設(shè)是語(yǔ)言保護(hù)的必然趨勢(shì)。多模態(tài)語(yǔ)言檔案的研究不僅有助于瀕危語(yǔ)言的進(jìn)一步保護(hù)，而且是對(duì)該類(lèi)符號(hào)背后文化、意義、社會(huì)等人文核心問(wèn)題的再次認(rèn)知。構(gòu)建多模態(tài)語(yǔ)言檔案建設(shè)最終將對(duì)社會(huì)整體的良性發(fā)展大有裨益。

[1]徐越.“浙江方言音檔”的構(gòu)建及預(yù)期價(jià)值[J].浙江檔案,2012(1).

[2]李宇明.當(dāng)今人類(lèi)三大語(yǔ)言話題[J].云南師范大學(xué)學(xué)報(bào)(哲學(xué)社會(huì)科學(xué)版),2008(4).

[3]Spolsky,Bernard.Language Policy[M].Cambridge University Press,2004.

[4]張芳霖,湯曉良,謝雨菲.我國(guó)方言檔案式保護(hù)的SWOT分析[J].北京檔案,2016(2).

G270.7；H003

A

1005-9652（2017）04-0084-03

（責(zé)任編輯：虞志堅(jiān)）

石貞貞（1982-），女，河南南陽(yáng)人，南陽(yáng)師范學(xué)院環(huán)境科學(xué)與旅游學(xué)院，研究方向：檔案管理。