楊煉　鐘鵬　鄭祖明　韓梅　李凱

摘 要：手語(yǔ)視頻數(shù)據(jù)庫(kù)以《計(jì)算機(jī)專(zhuān)業(yè)手語(yǔ)》為基礎(chǔ)，將視頻剪輯技術(shù)和數(shù)據(jù)庫(kù)技術(shù)相結(jié)合，為計(jì)算機(jī)專(zhuān)業(yè)手語(yǔ)教學(xué)的規(guī)范化研究提供數(shù)據(jù)支持；以中殘聯(lián)編著的《計(jì)算機(jī)專(zhuān)業(yè)手語(yǔ)》為基礎(chǔ)，建立計(jì)算機(jī)專(zhuān)業(yè)手語(yǔ)視頻數(shù)據(jù)庫(kù)。課題將視頻剪輯技術(shù)和數(shù)據(jù)庫(kù)技術(shù)相結(jié)合，為計(jì)算機(jī)專(zhuān)業(yè)手語(yǔ)教學(xué)的規(guī)范化研究提供數(shù)據(jù)支持；指導(dǎo)聾人高等工科教育中的手語(yǔ)教學(xué)，提高課堂手語(yǔ)教學(xué)的教學(xué)質(zhì)量。同時(shí)可為計(jì)算機(jī)手語(yǔ)語(yǔ)料庫(kù)的研究提供視頻數(shù)據(jù)的支持。

關(guān)鍵詞：手語(yǔ) ；視頻庫(kù)；語(yǔ)料庫(kù)

中圖分類(lèi)號(hào)：TP317 文獻(xiàn)標(biāo)識(shí)碼 A

Establishment and Study of Sign Language Video Library

YANG Lian， ZHANG Peng， ZHANG Zuming， HAN Mei， LI Kai

（Technical College for the Deaf， Tianjin University of Technology，Tianjin 300384，China）

Abstract： Based on the computer professional sign language， and combined with video clips and database technology， Sign language video database provides data support for the study on the standardization of computer professional sign language teaching； Taking “the computer professional sign language" as the foundation edited by CDPF， the establishment of computer professional sign language video database. The subject of the paper is to provide the data support for the standardization of sign language teaching in computer science. While the research of the sign language corpus can provide the support for the video data.

Key words： Sign Language； Video Library；Corpus

0引 言

目前我國(guó)許多聾人學(xué)校都開(kāi)設(shè)了信息技術(shù)課，許多面向聾人招生的高等教育學(xué)校，如：天津理工大學(xué)聾人工學(xué)院、北京聯(lián)合大學(xué)特教學(xué)院、重慶師范大學(xué)特殊教育學(xué)院，浙江廣播電視大學(xué)特殊教育學(xué)院等都開(kāi)設(shè)了計(jì)算機(jī)相關(guān)專(zhuān)業(yè)。日常手語(yǔ)的學(xué)習(xí)可參考《中國(guó)手語(yǔ)》[1]，計(jì)算機(jī)專(zhuān)業(yè)手語(yǔ)詞匯可以參考《計(jì)算機(jī)專(zhuān)業(yè)手語(yǔ)》[2]，這些可以作為健聽(tīng)人與聾人交往參考和高校教學(xué)的基礎(chǔ)資料，但紙質(zhì)的學(xué)習(xí)教材不夠形象，相關(guān)的視頻素材又產(chǎn)出匱乏，教師和聾生學(xué)習(xí)中困難較大。教師在教學(xué)上只是按自己的理解去打出計(jì)算機(jī)專(zhuān)業(yè)手語(yǔ)詞匯的手勢(shì)，全國(guó)各地聾校、甚至同一學(xué)校、不同教師對(duì)一個(gè)詞匯打出的手勢(shì)也不一樣，造成了健聽(tīng)人與聾人、聾人和聾人之間交流的障礙。因此制作計(jì)算機(jī)專(zhuān)業(yè)手語(yǔ)視頻學(xué)習(xí)庫(kù)，將專(zhuān)業(yè)手語(yǔ)的教學(xué)以視頻的形式展現(xiàn)出來(lái)，可以增加學(xué)習(xí)者的學(xué)習(xí)興趣，提升手語(yǔ)教學(xué)的效果水平，實(shí)現(xiàn)手語(yǔ)教學(xué)的統(tǒng)一化、標(biāo)準(zhǔn)化和規(guī)范化。本文即針對(duì)這一課題而展開(kāi)相應(yīng)的探討和研究。

目前我國(guó)手語(yǔ)視頻庫(kù)建設(shè)依然處于起步階段，應(yīng)用范圍還非常有限。從已出版發(fā)行的多本手語(yǔ)詞典或工具書(shū)，如《中國(guó)手語(yǔ)））和《計(jì)算機(jī)專(zhuān)業(yè)手語(yǔ)》等的編制運(yùn)作過(guò)程可知，其達(dá)成目標(biāo)的一般做法是召集一定數(shù)量的聾人，采取實(shí)驗(yàn)誘導(dǎo)法獲得所需視頻。該方法雖有利于編寫(xiě)工作的高效運(yùn)行，但存在的潛在風(fēng)險(xiǎn)是，手語(yǔ)的采集過(guò)程主要依靠聾人的內(nèi)省判斷，加之受試樣本容量大小不一，少數(shù)實(shí)例往往難以如實(shí)反映手語(yǔ)詞匯的真實(shí)性和復(fù)雜性。因此在建設(shè)過(guò)程中，應(yīng)當(dāng)注意到以下幾個(gè)問(wèn)題：（1）從研究者來(lái)看，最好為手語(yǔ)語(yǔ)言學(xué)專(zhuān)業(yè)出身，或?qū)κ终Z(yǔ)有較長(zhǎng)時(shí)間的接觸和學(xué)習(xí)。應(yīng)當(dāng)以科學(xué)的方法論思想指導(dǎo)視頻庫(kù)建設(shè)，切不可想當(dāng)然；（2）從視頻的均衡性來(lái)看，應(yīng)當(dāng)注意性別、地域和詞域的平衡；（3）從建設(shè)主體來(lái)看，我國(guó)的手語(yǔ)視頻庫(kù)大多數(shù)為國(guó)家出資建立，應(yīng)當(dāng)在此基礎(chǔ)上發(fā)動(dòng)各層面力量，提倡各個(gè)研究機(jī)構(gòu)和大學(xué)建立自己的視頻庫(kù)。目前國(guó)外較為通行的做法是，如科研人員可根據(jù)研究需要建立私人視頻庫(kù)，在一定范圍內(nèi)實(shí)現(xiàn)共享和交流[3]。

1 設(shè)計(jì)的意義

1.1手語(yǔ)語(yǔ)料庫(kù)的研究提供視頻數(shù)據(jù)支持

視頻庫(kù)是以電子計(jì)算機(jī)為載體承載的真實(shí)的實(shí)際使用并經(jīng)過(guò)加工（分析和處理）的語(yǔ)言材料。其使用標(biāo)志著語(yǔ)言方法論的重大轉(zhuǎn)變，可使語(yǔ)言研究者從傳統(tǒng)的直覺(jué)經(jīng)驗(yàn)方法轉(zhuǎn)向量化的統(tǒng)計(jì)方法，提高語(yǔ)言研究效率。通過(guò)視頻庫(kù)對(duì)手語(yǔ)詞匯進(jìn)行分析，得出詞頻及詞的搭配等統(tǒng)計(jì)規(guī)律，還可以大大縮短詞典的編寫(xiě)周期，使詞典的內(nèi)容充分反映語(yǔ)言的實(shí)際使用情況。

1.2為手語(yǔ)教學(xué)提供視頻素材

手語(yǔ)視頻庫(kù)作為以計(jì)算機(jī)為工具建立、存儲(chǔ)和使用的手語(yǔ)語(yǔ)言素材集合，可供使用者檢索、分析和處理之用。對(duì)視頻庫(kù)中豐富的手語(yǔ)素材進(jìn)行統(tǒng)計(jì)，得出手語(yǔ)的特征和規(guī)律，有助于扭轉(zhuǎn)以往教材大多依據(jù)聾人教師的直覺(jué)和教學(xué)經(jīng)驗(yàn)，缺少量化標(biāo)準(zhǔn)和科學(xué)依據(jù)的局面。視頻庫(kù)更可以直接為手語(yǔ)教材的編寫(xiě)提供真實(shí)性和客觀性頗佳的各類(lèi)素材，為手語(yǔ)課堂教學(xué)提供鮮活的案例。

1.3服務(wù)于國(guó)家語(yǔ)言規(guī)劃和語(yǔ)言政策的制定

我國(guó)政府長(zhǎng)期以來(lái)致力于手語(yǔ)通用語(yǔ)的制定，但標(biāo)準(zhǔn)一直是各方爭(zhēng)論的焦點(diǎn)。這主要是由于中國(guó)手語(yǔ)中也存在方言，并且受到漢語(yǔ)的影響。因此在手語(yǔ)視頻庫(kù)建設(shè)的過(guò)程中，采取一種描寫(xiě)的態(tài)度收集中國(guó)各個(gè)典型地區(qū)的自然手語(yǔ)方言，將所得視頻建成大型數(shù)據(jù)庫(kù)，比較、進(jìn)而量化其中的差異，提取合理的通用語(yǔ)選定標(biāo)準(zhǔn)，則可有效避免語(yǔ)感帶來(lái)的偏差。

2手語(yǔ)視頻庫(kù)素材的搜集

計(jì)算機(jī)專(zhuān)業(yè)手語(yǔ)視頻庫(kù)中的“素材”是指在與計(jì)算機(jī)專(zhuān)業(yè)相關(guān)的手語(yǔ)詞匯調(diào)查活動(dòng)中根據(jù)概率抽樣原則從調(diào)查對(duì)象的總體中抽取出來(lái)作為受試的那一部分人?！按硇浴笔侵高x取樣本所具有的特征可以說(shuō)明總體特征。為保證視頻庫(kù)中的樣本具有足夠的代表性，在計(jì)算機(jī)專(zhuān)業(yè)手語(yǔ)詞匯《計(jì)算機(jī)專(zhuān)業(yè)手語(yǔ)》的選取應(yīng)當(dāng)遵循一定的標(biāo)準(zhǔn)[4]?！队?jì)算機(jī)專(zhuān)業(yè)手語(yǔ)》在選詞方面考慮到不同程度學(xué)習(xí)者的需要，以使用頻率和在專(zhuān)業(yè)教學(xué)中的重要程度作為選詞的依據(jù)，確定將計(jì)算機(jī)常用術(shù)語(yǔ)作為主要業(yè)教學(xué)中的重要程序作為選詞的依據(jù)，以兼顧職業(yè)技術(shù)學(xué)校和高等院校聾人計(jì)算機(jī)教學(xué)的需要。如“任務(wù)欄”，在某個(gè)軟件主界面中常常出現(xiàn)的詞匯，教師在講授常用軟件時(shí)使用頻率很高的一個(gè)詞，在《計(jì)算機(jī)專(zhuān)業(yè)手語(yǔ)》沒(méi)有這個(gè)詞，在計(jì)算機(jī)手語(yǔ)中，即需根據(jù)字或詞在計(jì)算機(jī)中的真實(shí)詞義重新設(shè)計(jì)手勢(shì)，這個(gè)詞的含義不同于平時(shí)接受上級(jí)命令而去執(zhí)行的任務(wù)。本研究根據(jù)人們?cè)谑褂糜?jì)算機(jī)中的桌面時(shí)屏幕產(chǎn)生的變化，這樣設(shè)計(jì)手勢(shì)：（1）右手五指成“】”形，按向左肩上。（2）右手掌拍一下左肩，表示“任務(wù)”的意思。 雙手拇、食指分開(kāi)少許，指尖朝前，從中間向兩側(cè)移動(dòng)，表示“欄”的意思。類(lèi)似的，還有“菜單”、“遞歸”等其它的詞匯。

3手語(yǔ)視頻攝錄系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā)

3.1 設(shè)計(jì)要求

手語(yǔ)視頻庫(kù)的建立主要是收集各個(gè)地區(qū)的計(jì)算機(jī)專(zhuān)業(yè)手語(yǔ)詞匯視頻，相對(duì)現(xiàn)有的中國(guó)手語(yǔ)教程相比，視頻能夠通過(guò)表情，手勢(shì)和運(yùn)動(dòng)軌跡多個(gè)方面來(lái)描述相應(yīng)詞匯的手語(yǔ)打法。本系統(tǒng)從實(shí)用性、合理性、可靠性等方面提出如下要求：

（1）詞匯提示：在多媒體教室，聾人正對(duì)面約2米處應(yīng)放置一個(gè)大小適合的顯示器（29寸），主要用于顯示詞匯或圖片等相關(guān)信息，作為聾人打手語(yǔ)的詞匯提示器。

（2）詞匯管理：整理詞匯，并做成Word或Excel。

（3）視頻管理：包括視頻錄制，以及視頻回放和重新錄制功能，另外對(duì)視頻編號(hào)手動(dòng)命名，前四位由詞匯拼音首位字母，不足部分補(bǔ)0，視頻格式為avi，分辨率和幀頻可以自行設(shè)置。

3.2 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

3.2.1手語(yǔ)視頻攝錄

攝錄地點(diǎn)選定在機(jī)房和圖書(shū)館，環(huán)境布置采取如下形式：專(zhuān)用攝像機(jī)一臺(tái)，以及臺(tái)式計(jì)算機(jī)（帶雙顯示器）一臺(tái)。臺(tái)式機(jī)中的一個(gè)顯示器用作詞匯提示，擺放在手語(yǔ)模特的正前方約3米處，高度與肩平行。另一個(gè)則作為手語(yǔ)視頻攝錄系統(tǒng)的操作者攝錄使用。

3. 2. 2 軟件設(shè)計(jì)與開(kāi)發(fā)

將錄制后的文件進(jìn)行編輯，主要包括剪輯和編碼與文件導(dǎo)出。因此研究中運(yùn)用軟件Premiere Pro CS6來(lái)執(zhí)行相應(yīng)操作。

3.2.2.1 剪輯和編碼

剪裁素材可以通過(guò)刪除幀的方式來(lái)改變素材長(zhǎng)度，在“源素材”監(jiān)視器面板的編輯過(guò)程中，用戶(hù)可以對(duì)素材的開(kāi)始幀與結(jié)束幀進(jìn)行定義：開(kāi)始幀的位置可稱(chēng)為“入點(diǎn)”，結(jié)束幀的位置則稱(chēng)為“出點(diǎn)”。在自定義了素材的“入點(diǎn)”與“出點(diǎn)”后，“項(xiàng)目”面板中的素材長(zhǎng)度會(huì)發(fā)生改變。另外，在“節(jié)目”監(jiān)視器面板中也可以為素材設(shè)置“入點(diǎn)”與“出點(diǎn)”。

3.2.2.2 設(shè)置視頻導(dǎo)出方法

（1）視頻編解碼器

在該設(shè)置項(xiàng)的下拉列表中，可以選擇導(dǎo)出影片所使用的編解碼器。在一般情況下多是使用默認(rèn)的編解碼器，因?yàn)樵诟淖兙幗獯a器時(shí)會(huì)影響到其他的參數(shù)，從而影響到導(dǎo)出文件的整體質(zhì)量。

（2）基本視頻

品質(zhì)。在默認(rèn)的“視頻編解碼器”下并不需要設(shè)置這一選項(xiàng)，只是當(dāng)切換至其他一些支持其功能的視頻編解器時(shí)才能對(duì)其進(jìn)行設(shè)置，主要是實(shí)現(xiàn)對(duì)畫(huà)面質(zhì)量的預(yù)定設(shè)置。品質(zhì)參數(shù)越高，畫(huà)面越細(xì)膩、質(zhì)感越強(qiáng)；品質(zhì)越低，畫(huà)質(zhì)也就越差。

幀速率：這是設(shè)置每秒鐘的視頻幀數(shù)。幀數(shù)越多，畫(huà)面連貫性越強(qiáng)；幀數(shù)越少，則畫(huà)面連貫性越差，甚至?xí)霈F(xiàn)定格現(xiàn)象。

場(chǎng)類(lèi)型：一般情況下需要按照相關(guān)視頻硬件顯示奇偶場(chǎng)的順序進(jìn)行設(shè)置。通常有兩種選項(xiàng)，即有場(chǎng)和無(wú)場(chǎng)：選擇無(wú)場(chǎng)，就是按正常視頻輸出；選擇有場(chǎng)是在畫(huà)面的幀與幀之間再自動(dòng)添加一幀，如此可使畫(huà)面播放起來(lái)更顯流暢[5]，如圖 1所示。

4手語(yǔ)視頻基元的構(gòu)建和設(shè)計(jì)

4. 1手語(yǔ)詞匯基元的視頻數(shù)據(jù)庫(kù)模型

手語(yǔ)詞匯基元庫(kù)的構(gòu)建包括從計(jì)算機(jī)專(zhuān)業(yè)手語(yǔ)視頻源數(shù)據(jù)中提取手語(yǔ)詞匯基元和手語(yǔ)詞匯基元視頻數(shù)據(jù)庫(kù)模型的構(gòu)建。手語(yǔ)詞匯基元是在視頻切分軟件的鋪助下，人工定義和截取的手語(yǔ)詞匯最小語(yǔ)義單元的視頻。手語(yǔ)詞匯基元視頻數(shù)據(jù)庫(kù)模型通過(guò)為手語(yǔ)詞匯基元標(biāo)注手勢(shì)、體勢(shì)、韻律信息等來(lái)定義手語(yǔ)詞匯基元的語(yǔ)義，具體來(lái)說(shuō)，視頻數(shù)據(jù)庫(kù)模型的美容包括手型、胳膊的形態(tài)、基本詞義和情緒等信息，具體如圖2所示，重點(diǎn)是手形和胳膊形態(tài)的定義和標(biāo)記。

4.2 過(guò)渡基元的視頻數(shù)據(jù)庫(kù)模型

設(shè)計(jì)時(shí)，手語(yǔ)視頻中的圖像是按人體結(jié)構(gòu)來(lái)分為手、胳膊、頭和軀干4部分。如上的所有不同的形態(tài)組成了過(guò)渡基元數(shù)據(jù)庫(kù)如圖3所示。其中，手和胳膊作為手語(yǔ)運(yùn)動(dòng)的主要部分，對(duì)理解手語(yǔ)內(nèi)容和視覺(jué)影響有著非常重要的作用。因此，本文重點(diǎn)對(duì)其提出了不同的建庫(kù)和標(biāo)記方法[6]。

5 結(jié)束語(yǔ)

手語(yǔ)視頻庫(kù)的設(shè)計(jì)是手語(yǔ)語(yǔ)言學(xué)研究成果的一項(xiàng)具體應(yīng)用，文章對(duì)視頻的采集方法、轉(zhuǎn)寫(xiě)以及標(biāo)注進(jìn)行了探討，可以為手語(yǔ)語(yǔ)料庫(kù)的設(shè)計(jì)提供視頻數(shù)據(jù)的支持。手語(yǔ)視頻庫(kù)建設(shè)具有長(zhǎng)期性、復(fù)雜性和艱巨性，尤其是大型視頻庫(kù)的建設(shè)需要耗費(fèi)大量的人力、物力以及財(cái)力。在建設(shè)過(guò)程中需要國(guó)內(nèi)乃至國(guó)際學(xué)界的頻繁交流和通力合作，才能實(shí)現(xiàn)研究成果的不斷涌現(xiàn)和真正共享。

參考文獻(xiàn)：

[1] 中國(guó)聾人協(xié)會(huì).中國(guó)手語(yǔ)[M].北京：華夏出版社，2003.

[2]中國(guó)殘疾人聯(lián)合會(huì)教育就業(yè)部.中國(guó)聾人協(xié)會(huì).計(jì)算機(jī)專(zhuān)業(yè)手語(yǔ)[M].北京：華夏出版社， 2005：51-54

[3]李凱， 張書(shū)珍. 計(jì)算機(jī)專(zhuān)業(yè)詞匯手語(yǔ)手勢(shì)的表達(dá)設(shè)想[J]. 中國(guó)聽(tīng)力語(yǔ)言康復(fù)科學(xué)雜志， 2004（3）：36-37.

[4]李蘭曉. 面向手語(yǔ)視頻拼接的過(guò)渡視頻庫(kù)構(gòu)建方法研究[D]. 北京：北京工業(yè)大學(xué)。 2013.

[5]馬小龍，謝迪杰.Premiere Pro CS6 教程，北京：人民郵電出版社，XXX.

[6]王茹， 尹寶才，王立春，等.面向中國(guó)手語(yǔ)合成的視頻語(yǔ)義描述方法[J]. 北京工業(yè)大學(xué)學(xué)報(bào)，2012，38（5）：730-735..