王浩威, 劉 洋

(湖北工業(yè)大學(xué)外國語學(xué)院，湖北 武漢 430068)

作為視聽翻譯(Audiovisual Translation)的一種重要形式，口述影像(Audio Description，AD)使用生動形象的語言為視障人士描述其無法感受的視覺影像信息，幫助其跨越視覺障礙，理解視覺影像信息傳遞的內(nèi)容，無障礙電影是其中的一種形式?？谑鲇跋窈卸嗄B(tài)信息如視覺信息、聽覺信息、文字符號信息等。多模態(tài)語料庫(multimodal corpus)集成了語料的音頻、視頻和文字等多種信息，可被用來加工、檢索、統(tǒng)計和分析語料的多模態(tài)特征?！癡+到+X”構(gòu)式因其豐富的表義功能，是現(xiàn)代漢語中相對常見的一種構(gòu)式[1]，本研究通過多層標注和數(shù)據(jù)統(tǒng)計方法，分析了“V+到+X”構(gòu)式的表征特征、“V”的語義特征和“X”的類型，并結(jié)合認知語言學(xué)理論進行了分析。

1 研究設(shè)計

1.1 語料來源

《冰雪奇緣》漢語口述影像版由上海電影評論學(xué)會制作出版。蜻蜓FM平臺播放該解說音頻，播放量為10.7萬次。

1.2 預(yù)處理

為了研究該視聽材料的多模態(tài)特征，本研究將該影片的口述影像音頻Wma格式和原影片Mpeg格式合并音軌，轉(zhuǎn)換成Mpeg格式版的口述影像。

1.3 語料元數(shù)據(jù)(Meta-data)的創(chuàng)建與導(dǎo)入

轉(zhuǎn)換完成后，導(dǎo)入《冰雪奇緣》漢語口述影像制作的年代、主題、語種、開發(fā)單位、字數(shù)以及其他元信息。元數(shù)據(jù)采用XML標簽直接對語料添加元數(shù)據(jù)的方法，例如采用來標注該口述影像的原文作者為上海電影評論學(xué)會。

1.4 研究工具

本文使用ELAN(Eudico Linguistic Annotator)多媒體轉(zhuǎn)寫、標注軟件建設(shè)《冰雪奇緣》漢語口述影像多模態(tài)語料庫，主要步驟為：

1)初步建層。根據(jù)研究需要，先建立轉(zhuǎn)寫層；

2)語料轉(zhuǎn)寫。語料轉(zhuǎn)寫指對口述影像的文字信息進行轉(zhuǎn)寫，不包含其中的語調(diào)(tone)、音高(pitch)、重音(stress)等信息，語料庫界面見圖1。

圖1 ELAN多模態(tài)語料庫界面

3)建庫。該口述影像多模態(tài)語料庫總時長為1200 s，4340字符。

4)語料分析。以“到”為搜索詞，手工排除不符合 “V+到+X”構(gòu)式的表達，如“受到驚嚇的馬”中的“受+到+馬”不符合“V+到+X”的構(gòu)式特點?！皣鹾屯鹾笥龅搅藦娏业娘L暴”中的“遇到風暴”雖然符合“V+到+X”的表征，但是“遇到”現(xiàn)在已經(jīng)成為一個詞[2]，所以不在統(tǒng)計范圍之內(nèi)。

5)二次建層。根據(jù)研究需要，在原來轉(zhuǎn)寫層的基礎(chǔ)上增加“V+到+X”構(gòu)式層、“V”層、“X”層3個文本層和表情層、身勢移動方向?qū)?個非言語行為模態(tài)信息層，總共建立6層信息。

6)語料統(tǒng)計。根據(jù)研究需要，使用ELAN軟件的提取和統(tǒng)計分析功能進行詞頻和詞語共現(xiàn)信息統(tǒng)計，獲得口述影像“V+到+X”構(gòu)式的定量和定性數(shù)據(jù)。

7)質(zhì)量監(jiān)控。在分析當中，采用兩人一組，合作互助的方法處理歧義。如果分析結(jié)果不一致，由第三位分析者進行仲裁并確定最終結(jié)果。

2 研究發(fā)現(xiàn)

2.1 “V+到+X”構(gòu)式特征

根據(jù)圖2，可以看出“V+到+X(受事)”構(gòu)式的基本組成為“(N施事)+V+到+X(受事)”?！癡+到+X”根據(jù)句法語義類型分為“V+到+X(受事)”和“V+到+X(處所)”兩種基本類型，分別表達“獲得義”和“位移義”。兩類構(gòu)式的分布相當，“V+到+X(處所)”略高于“V+到+X(受事)”，基本信息見表1。

表1 “V+到+X”構(gòu)式類型和分布

“V+到+X(受事)”構(gòu)式中“V”是施事通過“V”獲得受事“X”，這就使得“V”有[+取得]的含義，“V”的意義種類豐富，既包括行為動詞如“找”“看” “聽”等也包括表達“感受”“察覺”等心理思維活動的詞如“想”[3]。作為界標，“到”表示主語通過特定的動作行為引出其作用的對象。在結(jié)構(gòu)的劃分上，“V”與“到”構(gòu)成動補結(jié)構(gòu)[3]整個動補結(jié)構(gòu)作為一個整體再接后面的“X(受事)”?！癤”表示“V”達到的目的或得到的結(jié)果，通常為表示人或事物的名詞“N”或短語“NP”，分為體詞性和謂詞性兩種。

“V+到+X(處所)”構(gòu)式中“V”表示至某個地方，“到”的功能是引出動作或行為“V”抵達的目的地，“X”表示動作或行為V抵達的空間域的終點，這類構(gòu)式可以表達空間認知方向系統(tǒng)和位置系統(tǒng)(圖2)。與“V+到+X(受事)”構(gòu)式不同，在這類結(jié)構(gòu)劃分層次的時候，“到”與后面表示“X(處所)”的成分應(yīng)該被劃分在一起，使之成為一個有機整體，再與前面的“V”構(gòu)成動補關(guān)系[3]。

圖2 ELAN標注表格

2.2 “V+到+X(受事)”構(gòu)式

根據(jù)“V”的語義，本語料庫中“V”主要分為“動作行為類”和“心理感受類”[4]。不自主動詞“看”的比率最高(62.5%)，其次為“聽”(12.5%)?！靶睦砀惺茴悺眲釉~如“想”(6.25%)遠遠小于“動作行為類”動詞(93.75%)?！皠幼餍袨轭悺眲釉~和“心理感受類”動詞施事主動性較強，體現(xiàn)為一種主動獲取信息所形成的認知過程[5]，在執(zhí)行動作的過程中，“V” 的語義可由視覺、聽覺等感官的體驗投射進聽者的精神世界[5]。

表2 “V+到+X(受事)”構(gòu)式中“V”的分布

為了觀察“V”出現(xiàn)的時候口述影像呈現(xiàn)的多模態(tài)特征，本研究對“V+到+X(受事)”構(gòu)式中“V”出現(xiàn)時施事的表情模態(tài)進行了考察(圖3)。根據(jù)統(tǒng)計，施事的表情分為“驚訝”(37.5%)、“快樂”(25%)、“驚恐”(18.75%)、“零表情”(6.25%)、“驚慌”(6.25%)和“悲傷”(6.25%)6種。通過觀察，在表達“看+到+X”的時候，施事的“驚訝”表情出現(xiàn)的次數(shù)最高(5次)，動作“看”與表情“驚訝”具有高度的共現(xiàn)交互性，見表3。

圖3 “V”與表情模態(tài)交互情況

表3 “看”與“驚訝”共現(xiàn)情景

這類“V+到+X(受事)”構(gòu)式中，“X”主要為體詞性(87.5%)，謂詞性只有2例(雪寶看到安娜倒在地上；安娜看到漢斯王子舉起寶劍刺向癱坐在地上的艾莎)?！癤”作為受事，有受事是人和受事是事物兩類。

1)受事是人

例1 艾莎看到他，后悔道。

例2 安娜看到了不遠處的克斯托夫。

例3 漢斯王子也在冰雪中看到了艾莎。

在這類“V+到+X(受事)”構(gòu)式中，V的受事均為人(“他”“克斯托夫”“艾莎”)。例1-例3中的“看”單獨使用時，僅表示“視線觸及”這一動作，與“到”結(jié)合后，就表示“看”這一動作成功實現(xiàn)并有了結(jié)果，即施事“看”到了受事，而去掉“到”后，與“看”有無結(jié)果沒有關(guān)系[3]。

2)受事是事物

例4 安娜靈機一動，想到了一個好主意。

例5 艾莎聽到這句，睜開了眼睛。

例6 國王和王后在書架上找到一本古老的書。

在這類“V+到+X(受事)”構(gòu)式中，“V”的受事均為具體的事物，如“主意”(例4)、“眼睛”(例5)、“書”(例6)等。與“受事是人”類型一樣，這類中的“V”如果去掉，僅表示“想”“聽”“找”等動作本身，無法知曉它們是否成功達到了預(yù)想的結(jié)果。如果加上“到”，這種預(yù)想的結(jié)果也就是“X(受事)”得以成功實現(xiàn)。

2.3 “V+到+X(處所)”構(gòu)式

這類構(gòu)式基本形式為“N施事+V+到+X(處所)”。“V”的語義特征為[±自主][-抽象][+位移][±方向性]。表移動的“V”可以是自移動詞，如“來”“跑”“走”等，也可以是他移動詞，如“裝”“轉(zhuǎn)”等。這些位移動詞和人們的日常生活緊密相關(guān)，它們描述了我們賴以生存的環(huán)境中的各種事物或現(xiàn)象在形態(tài)和位置上的空間屬性關(guān)系，涉及人們對于空間的感知以及使用語言編碼對空間信息進行分析、處理和重新認識，包括對形狀、方位、距離和物體內(nèi)部空間組成關(guān)系的認知。這種認知框架是一種認知心理上的“填空”。比如人們聽到“跑”，頭腦中會構(gòu)建相應(yīng)的關(guān)于“跑”的認知心理模型和認知心理域，如“跑”的動作發(fā)出者是誰，“跑”的路徑是什么樣的，這種“獲取”“處理”“貯存”“傳遞”和“解釋”信息的過程構(gòu)成了關(guān)于“跑”的認知心理框架。

“到”后多接表處所或方位的名詞N或短語NP，它們是“V”的位移終點，可分為具體處所和抽象處所兩類，但在本語料庫中“處所”主要為具體處所，如“雪橇上”“大廳中”“門前”“小河邊”等?！暗健本哂衃+位移][±方向性][±有位移起點][+有位移終點]等語義特征，在移動路徑的方向上沒有特別的限制，具有泛向性[3]。結(jié)合圖2身勢移動方向多模態(tài)標注結(jié)果，可以發(fā)現(xiàn)“X”既有水平方向的移動(如“姐妹兩人歡快地跑下樓，來到大廳中”；“安娜再次來到艾莎房前”)，這種類型占47.4%，也有垂直方向上的移動(如“工人們把這些冰塊分割成小塊，裝到雪橇上”；“雪橇落到了萬丈深淵”)，這種類型占42.1%，第三種是既有水平方向也有垂直方向移動的(如“安娜蹦蹦跳跳來到她的床邊”)，這種占整體的10.5%?！暗健钡囊苿臃较蛉Q于兩個因素，一是“V”本身所隱含的方向性特征[3]，如“落”“滑”等動詞具有明顯的由上到下的垂直移動性，二是“到”后面所接的表處所的結(jié)構(gòu)中所隱含的方向性[3]，如“雪橇上”。

表4 “V+到+X(處所)”構(gòu)式中“V”的分布

這類構(gòu)式中，“X”通常是表示處所的空間方位結(jié)構(gòu)詞和短語，即身體周圍的三維位置圖示(前/后)，邊界圖示(口/旁邊)，它們展示在空間關(guān)系構(gòu)式當中常見的實體和參照物類別，可以確定兩種實體如何進行意義的確定和凸顯。在本語料庫中，“V+到+X(處所)”構(gòu)式中“X”主要分為三維位置詞如(如門前、城門前、姐姐背后等)和三維邊界詞(如壁爐邊、小河邊、門口、入口處、大廳中等)。結(jié)合多模態(tài)語料庫進行考察，如“安娜走到艾莎冰雪城堡的門口”和“他們來到城門前”這兩句雖然表示的都是在“門的前面”這樣一個概念，但“門口”相較“門前”的空間距離更近，通過這樣的語言描述出來的畫面可以為口述影像使用者的空間語義表達模式的心理認知過程和意義結(jié)構(gòu)提供論證。空間語言引導(dǎo)空間認知[6]，基于這些表達，口述影像使用者在使用語言編碼相關(guān)空間特征時更準確，其空間認知表現(xiàn)也會提高，從而彌補其在距離和知覺上發(fā)展的滯后[7]。但是，本語料庫中其他描述空間距離圖示[8](如表達高/低/遠/近等關(guān)系)和空間狀態(tài)圖示[8](如表達俯視/仰視/空/滿//淺/深等關(guān)系)的用詞較少。

3 結(jié)論

人類從一出生開始，就通過各種聯(lián)系方法體驗其周圍的環(huán)境。受事和空間連接作為物質(zhì)的重要存在形式，是人類賴以生存的環(huán)境，是人類認識事物的重要方面之一。人類如果要適應(yīng)環(huán)境，人際溝通能力和空間方位認知能力是必要的前提。通常來說，“V+到+X”與人、物、地點等信息高度相關(guān)，涉及多種語義角色，具有語義上的相鄰性、相關(guān)性、互補性和依賴性[9]，以這個構(gòu)式為參照點，來給信息定位，可以建立心理所及的認知框架和認知域，這樣相關(guān)的受事和空間位置概念容易被提取?？谑鲇跋窨梢該?jù)此建立與視障者的心理和認知聯(lián)系?！癡+到+X(受事)”構(gòu)式和“V+到+X(處所)”構(gòu)式作為認知上具有顯著性的構(gòu)式，其句法語義的互動研究有助于我們更好地認識口述影像文本的句法結(jié)構(gòu)的認知形成機制。在口述影像文本開發(fā)的時候要注意合理選用這種構(gòu)式，用構(gòu)式語言功能彌補口述影像使用者視覺經(jīng)驗的缺乏，從而幫助他們發(fā)展受事以及空間概念，增強其認識受事和空間的心理途徑，使口述影像使用者作為認知主體建立相關(guān)的認知主題背景和語言環(huán)境，使其具備受事和空間編碼和推理的認知基礎(chǔ)[8]，從而對受事和空間進行正確的解碼和認知。本文對于視聽翻譯多模態(tài)研究、開發(fā)口述影像版本具有參考意義。