，*

（1.湘潭大學(xué)計(jì)算機(jī)學(xué)院·網(wǎng)絡(luò)空間安全學(xué)院，湖南湘潭 411105；2.中國(guó)科學(xué)院計(jì)算技術(shù)研究所，北京 100190）

0 引言

隨著殘疾人信息無(wú)障礙建設(shè)的發(fā)展，自然手語(yǔ)和漢語(yǔ)互譯越發(fā)重要，手語(yǔ)合成旨在將漢語(yǔ)語(yǔ)句翻譯為符合手語(yǔ)語(yǔ)法的連續(xù)手語(yǔ)動(dòng)作視頻；而手語(yǔ)識(shí)別旨在將連續(xù)手語(yǔ)動(dòng)作視頻翻譯為通順可懂的漢語(yǔ)語(yǔ)句。手語(yǔ)識(shí)別面臨兩個(gè)難題：一是手語(yǔ)單詞的邊緣檢測(cè)和時(shí)域分割；二是識(shí)別結(jié)果的手語(yǔ)文本語(yǔ)義可懂度的提升。近年來(lái)第一個(gè)難題已經(jīng)得到有效解決，而第二個(gè)難題還處于探索階段，本文基于該難題展開(kāi)研究。

自然手語(yǔ)是一種視覺(jué)語(yǔ)言，有其自身的語(yǔ)法規(guī)則和特點(diǎn)。用自然手語(yǔ)表述事情時(shí)，通常把描述主體排在前面，然后再對(duì)主體進(jìn)行描述，即賓語(yǔ)前置，其語(yǔ)序和漢語(yǔ)語(yǔ)序完全不同。此外還存在否定詞后置、量詞省略、動(dòng)名詞一體，沒(méi)有“雙重否定”等規(guī)則［1］，如表1、2 所示。自然手語(yǔ)和漢語(yǔ)不同的語(yǔ)法規(guī)則使得連續(xù)手語(yǔ)識(shí)別結(jié)果的手語(yǔ)文本語(yǔ)義模糊，造成了健聽(tīng)人理解困難。此外，多數(shù)健聽(tīng)人和少數(shù)聽(tīng)障人掌握的手語(yǔ)為文法手語(yǔ)，即按照漢語(yǔ)語(yǔ)法順序表達(dá)手語(yǔ)單詞，這部分人對(duì)自然手語(yǔ)的理解也存在比較大的障礙。因此如何提高連續(xù)手語(yǔ)識(shí)別結(jié)果的可懂度，非常值得研究探討。

在連續(xù)手語(yǔ)識(shí)別領(lǐng)域，目前多數(shù)研究為對(duì)視頻的逐詞翻譯，得到的結(jié)果是不通順的語(yǔ)句，并且受限于手語(yǔ)的復(fù)雜性和多模態(tài)性，難以收集和注釋大規(guī)模的連續(xù)手語(yǔ)數(shù)據(jù)集。現(xiàn)今，國(guó)外連續(xù)手語(yǔ)的數(shù)據(jù)集以RWTH-Phoenix［2］為代表，其包含大約7 千條德國(guó)天氣預(yù)報(bào)句子；國(guó)內(nèi)連續(xù)手語(yǔ)的數(shù)據(jù)集為中國(guó)手語(yǔ)數(shù)據(jù)集（Chinese Sign Language，CLS）［3］，包含少量日常語(yǔ)句以及對(duì)應(yīng)的手語(yǔ)視頻。以上兩個(gè)數(shù)據(jù)集僅提供句子級(jí)注釋?zhuān)虼瞬⒉贿m合用來(lái)研究手語(yǔ)和傳統(tǒng)語(yǔ)言的端到端互譯問(wèn)題。數(shù)據(jù)集的缺乏阻礙了國(guó)內(nèi)外關(guān)于將連續(xù)手語(yǔ)動(dòng)作直接翻譯為傳統(tǒng)語(yǔ)言的研究。在2018 年，Camgoz 等［4］首次探討了這個(gè)問(wèn)題，并基于RWTH-Phoenix 重新構(gòu)建數(shù)據(jù)集，包含視頻切分、注釋以及對(duì)應(yīng)的德語(yǔ)文本單詞，利用機(jī)器翻譯的方法實(shí)現(xiàn)手語(yǔ)視頻到德語(yǔ)文本的端到端轉(zhuǎn)化，將手語(yǔ)翻譯上升到語(yǔ)義層次，而國(guó)內(nèi)尚未有關(guān)于這一問(wèn)題的專(zhuān)門(mén)研究。

表1 自然手語(yǔ)與漢語(yǔ)語(yǔ)序?qū)Ρ仁纠齌ab.1 Word order comparison between natural sign language andChinese

表2 自然手語(yǔ)省略詞示例Tab.2 Examples of word omitting in natural sign language

本文提出的方法將提高連續(xù)手語(yǔ)識(shí)別結(jié)果的可懂度轉(zhuǎn)化為兩種語(yǔ)言的翻譯問(wèn)題，直接對(duì)識(shí)別結(jié)果的手語(yǔ)文本進(jìn)行處理，將研究重點(diǎn)完全轉(zhuǎn)移到語(yǔ)言的處理上。由此，本文研究?jī)?nèi)容可闡述為：將連續(xù)手語(yǔ)識(shí)別結(jié)果的手語(yǔ)文本轉(zhuǎn)化成符合漢語(yǔ)語(yǔ)法的通順的漢語(yǔ)語(yǔ)句。

將不通順的語(yǔ)句調(diào)整為符合語(yǔ)法的語(yǔ)句，以及語(yǔ)句補(bǔ)全等任務(wù)屬于自然語(yǔ)言處理范疇，國(guó)內(nèi)外對(duì)此都進(jìn)行了許多研究。Yuan等［5］首次提出將神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯應(yīng)用于文本語(yǔ)法錯(cuò)誤糾正任務(wù)，利用翻譯模型對(duì)大約200 萬(wàn)條平行語(yǔ)句進(jìn)行訓(xùn)練，實(shí)現(xiàn)英文語(yǔ)法錯(cuò)誤糾正。由于神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯模型依賴(lài)于大規(guī)模標(biāo)注數(shù)據(jù)，難以應(yīng)用在缺乏相關(guān)數(shù)據(jù)集的領(lǐng)域。國(guó)內(nèi)Alibaba 的自然語(yǔ)言處理團(tuán)隊(duì)［6］在第八屆自然語(yǔ)言處理國(guó)際聯(lián)席會(huì)議（The 8th International Joint Conference on Natural Language Processing，IJCNLP 2017）共享任務(wù)中基于長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)結(jié)合條件隨機(jī)場(chǎng)（Long Short-Term Memory neural network and Conditional Random Field，LSTM-CRF）模型對(duì)漢語(yǔ)語(yǔ)句進(jìn)行錯(cuò)誤位置診斷，取得了綜合指標(biāo)第一名的成績(jī)，該任務(wù)診斷冗余詞（R）、缺詞（M）、用詞不當(dāng)（S）和亂序（W）四種類(lèi)型的語(yǔ)法錯(cuò)誤。第七屆CCF自然語(yǔ)言處理與中文計(jì)算國(guó)際會(huì)議（The Seventh CCF International Conference on Natural Language Processing and Chinese Computing，NLPCC-2018）提出中文語(yǔ)法錯(cuò)誤修正任務(wù)恰好彌補(bǔ)了上述IJCNLP 2017任務(wù)只診斷不糾正的不足，在該任務(wù)中，有道團(tuán)隊(duì)［7］利用Transformer 的翻譯模型取得了最好的結(jié)果。針對(duì)N-gram 模型依賴(lài)共現(xiàn)序列概率的缺點(diǎn)，Gubbins 等［8］以依存句法分析為基礎(chǔ)，訓(xùn)練節(jié)點(diǎn)之間的N-gram 模型來(lái)實(shí)現(xiàn)語(yǔ)句補(bǔ)全，相比傳統(tǒng)N-gram 模型提高了8.7%的準(zhǔn)確率。Park 等［9］通過(guò)微調(diào)單詞級(jí)循環(huán)神經(jīng)網(wǎng)絡(luò)模型的網(wǎng)絡(luò)結(jié)構(gòu)和超參數(shù)在微軟研究院句子補(bǔ)全挑戰(zhàn)中取得最好結(jié)果，但該工作略微缺乏在模型上創(chuàng)新。Islam 等［10］構(gòu)建了包含單詞排列錯(cuò)誤、單詞缺失的孟加拉語(yǔ)數(shù)據(jù)集，并利用LSTM 實(shí)現(xiàn)孟加拉語(yǔ)文本的校正和自動(dòng)補(bǔ)全，在測(cè)試集上的準(zhǔn)確度可達(dá)79%。

根據(jù)前文所述，在手語(yǔ)研究領(lǐng)域，國(guó)內(nèi)缺乏解決連續(xù)手語(yǔ)識(shí)別文本結(jié)果的語(yǔ)義模糊、語(yǔ)序不通順等問(wèn)題的相關(guān)研究；且在相似任務(wù)上，國(guó)內(nèi)外研究大多采用基于深度學(xué)習(xí)的方法，這些方法依賴(lài)于大規(guī)模標(biāo)注數(shù)據(jù)，而難以獲取和構(gòu)建相關(guān)標(biāo)注數(shù)據(jù)集正是阻礙國(guó)內(nèi)研究進(jìn)程的重要因素。針對(duì)這一問(wèn)題，本文提出一種利用現(xiàn)有少量標(biāo)注數(shù)據(jù)，將連續(xù)手語(yǔ)識(shí)別結(jié)果的手語(yǔ)文本轉(zhuǎn)換為通順漢語(yǔ)文本方法。

本文的主要工作如下：

1）設(shè)計(jì)轉(zhuǎn)換規(guī)則，基于規(guī)則和N-gram 模型將手語(yǔ)文本語(yǔ)序轉(zhuǎn)換為漢語(yǔ)文本語(yǔ)序，以此規(guī)避深度學(xué)習(xí)方法需要大量字符級(jí)標(biāo)注數(shù)據(jù)的問(wèn)題。

2）設(shè)計(jì)量詞定位和補(bǔ)全模型，解決手語(yǔ)表達(dá)中量詞省略的問(wèn)題。根據(jù)量詞的特性，利用序列標(biāo)注的方法對(duì)量詞的定位更準(zhǔn)確。

1 基于規(guī)則和N-gram模型實(shí)現(xiàn)文本調(diào)序

針對(duì)手語(yǔ)表達(dá)中賓語(yǔ)前置以及否定詞后置的特點(diǎn)，在N-gram 統(tǒng)計(jì)語(yǔ)言模型［11］的基礎(chǔ)上，引入自然手語(yǔ)語(yǔ)法規(guī)則作為約束，將自然手語(yǔ)文本語(yǔ)序轉(zhuǎn)換為漢語(yǔ)文本語(yǔ)序。

1.1 基于轉(zhuǎn)換規(guī)則的文本調(diào)序

參考國(guó)家通用手語(yǔ)語(yǔ)法［12］以及上海、福建自然手語(yǔ)協(xié)會(huì)整理的語(yǔ)法，制定出自然手語(yǔ)文本到漢語(yǔ)文本的轉(zhuǎn)換規(guī)則。調(diào)序流程如圖1所示。對(duì)輸入的自然手語(yǔ)文本進(jìn)行分詞、詞性標(biāo)注，分析出依存句法樹(shù)，然后檢測(cè)該文本是否符合規(guī)則庫(kù)中的轉(zhuǎn)換規(guī)則，若符合則根據(jù)相應(yīng)的自然手語(yǔ)規(guī)則進(jìn)行調(diào)序。自然手語(yǔ)文本與對(duì)應(yīng)的漢語(yǔ)文本的規(guī)則轉(zhuǎn)換示例如圖2所示。

圖1 調(diào)序流程Fig.1 Flowchat of ordering

圖2 規(guī)則轉(zhuǎn)換示例Fig.2 Example of rule transformation

1.2 基于N-gram模型的文本調(diào)序

基于N-gram 語(yǔ)言模型對(duì)文本進(jìn)行調(diào)序，處理規(guī)則轉(zhuǎn)換后的文本。利用語(yǔ)料庫(kù)訓(xùn)練出N-gram 語(yǔ)言模型的N元詞表，該詞表包含訓(xùn)練語(yǔ)料中的所有N元詞序列頻度，集束搜索（Beam Search）算法利用N元詞表對(duì)待調(diào)序的文本進(jìn)行搜索，依據(jù)概率選擇詞匯，由此生成基于訓(xùn)練語(yǔ)料的概率最大詞序列。如圖3所示。

N-gram 模型全稱(chēng)為N元語(yǔ)言模型，其假設(shè)第N個(gè)詞的出現(xiàn)只與前面N-1個(gè)詞相關(guān)，常見(jiàn)的有二元語(yǔ)言模型Bi-gram 以及三元語(yǔ)言模型Tri-gram。

假設(shè)S表示某一個(gè)有意義的句子，S=(w1，w2，…，wn)，其中wi是組成句子的詞語(yǔ)，n是整個(gè)句子中詞語(yǔ)的數(shù)量。則S出現(xiàn)的概率P(S)為：P(S)=P(w1，w2，…，wn)，利用條件概率公式則有：

其中：P(w1)表示第一個(gè)詞w1出現(xiàn)的概率；P(w2|w1)表示在w1出現(xiàn)時(shí)，w2出現(xiàn)的概率，以此類(lèi)推。二元語(yǔ)言模型即第N個(gè)詞的出現(xiàn)只與第N-1 個(gè)詞相關(guān)；三元語(yǔ)言模型即第N個(gè)詞的出現(xiàn)只與第N-1、N-2個(gè)詞相關(guān)，由此分別得出概率公式如下：

N-gram 的精確度依賴(lài)于語(yǔ)料庫(kù)的大小和質(zhì)量，若某些N元詞序列在訓(xùn)練的語(yǔ)料庫(kù)中從未出現(xiàn)，但實(shí)際是符合語(yǔ)法并且存在的，此時(shí)N-gram 將會(huì)面臨零概率問(wèn)題。為此需要進(jìn)行數(shù)據(jù)平滑，數(shù)據(jù)平滑的方法是重新分配整個(gè)概率空間，使所有的概率之和為1，并且使所有的概率都不為0。本文采用的是Add-one平滑模式，即讓所有的N元詞序列至少出現(xiàn)一次。

集束搜索（Beam Search）本質(zhì)上是貪心的思想［13］，不同于貪心搜索每一步只選擇概率最大的假設(shè)，集束搜索則是維護(hù)一個(gè)容量為K的搜索結(jié)果庫(kù)，第t步搜索結(jié)果庫(kù)記為Ht，容量K稱(chēng)為集束寬度（Beam Width）。

其中：第t步的每一個(gè)搜索結(jié)果記為i∈{1，2，…，K}在第t+1 步對(duì)于每一個(gè)搜索結(jié)果均產(chǎn)生K個(gè)搜索結(jié)果，共K2個(gè)結(jié)果，保留其中概率最大的K個(gè)結(jié)果，記為Ht+1；當(dāng)搜索到指定長(zhǎng)度后，選擇搜索結(jié)果庫(kù)中概率最大的搜索結(jié)果作為最終輸出。

圖4 為單詞序列“我”“愛(ài)”“北京”“天安門(mén)”的集束搜索示例，其中集束寬度為2。最終，以概率最大的“我愛(ài)/北京/天安門(mén)”這一序列作為最終結(jié)果。

圖4 Beam Search示例Fig.4 Example of Beam Search

此外，在自然語(yǔ)言處理中，分詞的準(zhǔn)確度很大程度上影響著模型的性能，分詞直接決定每個(gè)分詞單位的語(yǔ)義是否完整，也決定了詞表空間的構(gòu)成，在本文工作中也不例外。因此，為保證手語(yǔ)詞匯的語(yǔ)義完整，根據(jù)2019 年出版的《國(guó)家通用手語(yǔ)詞典》構(gòu)建的包含8 214 個(gè)手語(yǔ)詞匯的詞典，利用Hanlp 分詞工具，優(yōu)先使用該詞典進(jìn)行分詞。

2 基于Bi-LSTM對(duì)缺失量詞定位及補(bǔ)全

利用字符級(jí)雙向長(zhǎng)短期記憶（Bidirectional Long-Term Short-Term Memory，Bi-LSTM）模型對(duì)不包含量詞的文本序列進(jìn)行處理，預(yù)測(cè)出缺失量詞的位置以及正確填補(bǔ)該量詞。本文使用序列標(biāo)注任務(wù)［14］的思想來(lái)處理這一問(wèn)題，對(duì)于某一輸入序列X={x1，x2，…，xn}，其中xi表示該序列的第i個(gè)字符，預(yù)測(cè)序列的字符級(jí)標(biāo)簽L=(l1，l2，…，ln)。其中，li為量詞表中對(duì)應(yīng)的量詞標(biāo)簽或者非量詞標(biāo)簽。

Bi-LSTM 是LSTM 的一種變體［15］，它將兩個(gè)時(shí)間方向相反的LSTM 結(jié)構(gòu)連接到相同的輸出，以獲取歷史和未來(lái)的上下文信息，如圖5 所示。前向網(wǎng)絡(luò)接受輸入x1，x2…，xt，從第一時(shí)刻到第t時(shí)刻，計(jì)算隱狀態(tài)，反向網(wǎng)絡(luò)則接受輸入xt，xt-1…，x1，計(jì)算隱狀態(tài)，由此可獲取每個(gè)時(shí)刻的雙向特征yt：

其中：W1為前向網(wǎng)絡(luò)的權(quán)重矩陣；W2為反向網(wǎng)絡(luò)的權(quán)重矩陣；b是偏置。

圖5 Bi-LSTM 網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 Bi-LSTM network structure

圖6 為文本“我有三狗”的量詞標(biāo)注示例，在輸入層，將每個(gè)漢字映射成字嵌入即一個(gè)固定維數(shù)的多維向量，并依次輸入Bi-LSTM 進(jìn)行處理，構(gòu)造一個(gè)包含上下文信息的序列雙向表達(dá)，輸出經(jīng)過(guò)softmax層進(jìn)行分類(lèi)，映射到相應(yīng)的標(biāo)簽。

本文使用刪除量詞后的文本序列作為輸入，前置位缺失量詞的字符使用對(duì)應(yīng)量詞進(jìn)行標(biāo)注，其余字符都被標(biāo)注為非量詞標(biāo)記符“O”，由此訓(xùn)練模型后既可定位到量詞位置又可得到量詞本身。

圖6 量詞標(biāo)注示例Fig.6 Examples of quantifier annotation

3 實(shí)驗(yàn)驗(yàn)證與結(jié)果分析

3.1 數(shù)據(jù)集

文本調(diào)序采用的訓(xùn)練數(shù)據(jù)集是維基百科問(wèn)答語(yǔ)料［16］，該語(yǔ)料總共含有150 萬(wàn)條預(yù)先過(guò)濾過(guò)的、高質(zhì)量問(wèn)題和答案，每個(gè)問(wèn)題屬于一個(gè)類(lèi)別，總共有492 個(gè)類(lèi)別，其中頻率達(dá)到或超過(guò)10次的類(lèi)別有434個(gè)，語(yǔ)料內(nèi)容以日常交流用語(yǔ)為主，基本涵蓋了常見(jiàn)領(lǐng)域。本次實(shí)驗(yàn)對(duì)該語(yǔ)料截取50 萬(wàn)條數(shù)據(jù)并只保留“title”“desc”“answer”屬性的內(nèi)容進(jìn)行訓(xùn)練。測(cè)試數(shù)據(jù)是《中國(guó)手語(yǔ)日常會(huì)話》［17］的日常用語(yǔ)500 條，部分示例如表3所示。

量詞補(bǔ)全采用的訓(xùn)練數(shù)據(jù)是根據(jù)漢語(yǔ)常用量詞構(gòu)建的量詞標(biāo)注數(shù)據(jù)集，數(shù)據(jù)示例如表4 所示。此外，對(duì)所有數(shù)據(jù)都進(jìn)行了清洗、去停用詞等預(yù)處理。

表3 自然手語(yǔ)和對(duì)應(yīng)漢語(yǔ)的文本示例Tab.3 Examples of natural sign language and corresponding Chinese text

表4 量詞補(bǔ)全訓(xùn)練數(shù)據(jù)示例Tab.4 Training data examples of quantifier completion

比起單獨(dú)采用N-gram 模型，融合規(guī)則信息，實(shí)驗(yàn)結(jié)果的綜合指標(biāo)明顯提升，表明將規(guī)則融入N-gram 模型中是解決自然手語(yǔ)文本轉(zhuǎn)換漢語(yǔ)文本的實(shí)用手段。

表5 文本調(diào)序?qū)嶒?yàn)評(píng)估 單位：%Tab.5 Evaluation of text ordering experiment unit：%

為了驗(yàn)證Bi-LSTM 的有效性，量詞補(bǔ)全實(shí)驗(yàn)使用隱馬爾可夫模型（Hidden Markov Model，HMM）［19］、LSTM、Bi-LSTM、Bi-LSTM+CRF 四個(gè)模型進(jìn)行對(duì)比，并評(píng)估準(zhǔn)確率、召回率、F1分?jǐn)?shù)。HMM 是序列標(biāo)注任務(wù)中應(yīng)用較早的模型，一般作為基線模型。為了排除其他因素的影響，實(shí)驗(yàn)中LSTM 和Bi-LSTM模型的詞向量維度以及所有的超參數(shù)設(shè)置相同。

由于中文量詞具有同形詞特性，一般會(huì)干擾量詞定位，測(cè)試語(yǔ)句中包括了部分采用量詞同形詞的語(yǔ)句，如表6所示。

3.2 結(jié)果分析

雙語(yǔ)評(píng)估替換（BiLingual Evaluation Understudy，BLEU）是目前用于評(píng)價(jià)序列到序列任務(wù)的最流行的指標(biāo)之一，如文獻(xiàn)［2，4］均用BLEU 作為評(píng)估指標(biāo)。BLEU 采用一種N-gram 的匹配規(guī)則，計(jì)算出預(yù)測(cè)文本和真實(shí)文本間N元詞共現(xiàn)的占比并不能很好地反映語(yǔ)法結(jié)構(gòu)的調(diào)整［18］，因此不適合用于評(píng)估該文本調(diào)序?qū)嶒?yàn)。為了驗(yàn)證提出方法的有效性，本文設(shè)計(jì)用以下方法進(jìn)行評(píng)估：

1）絕對(duì)準(zhǔn)確率（Absolute ACcuracy，AAC）：預(yù)測(cè)語(yǔ)句與真實(shí)語(yǔ)句進(jìn)行漢字一一對(duì)比，若某個(gè)漢字位置不能對(duì)應(yīng)，則整句判定結(jié)果為錯(cuò)誤。

2）最長(zhǎng)正確子序列（Longest Correct Subsequence，LCS）匹配：將預(yù)測(cè)語(yǔ)句與真實(shí)語(yǔ)句進(jìn)行最長(zhǎng)子序列匹配，計(jì)算整個(gè)測(cè)試集最長(zhǎng)正確子序列的平均占比。

本次文本調(diào)序?qū)嶒?yàn)分別對(duì)Bi-gram、Tri-gram、4-gram、5-gram 模型進(jìn)行對(duì)比驗(yàn)證，設(shè)置集束寬度為20。文本調(diào)序的實(shí)驗(yàn)結(jié)果如表5 所示，只基于規(guī)則轉(zhuǎn)換絕對(duì)正確率達(dá)68.60%，表明轉(zhuǎn)換規(guī)則已經(jīng)可以正確處理多數(shù)語(yǔ)句；此外，從Bi-gram到4-gram，隨著上下文的依賴(lài)增長(zhǎng)，各項(xiàng)指標(biāo)均有所上升，說(shuō)明上下文信息有助于調(diào)整語(yǔ)句結(jié)構(gòu)。根據(jù)理論基礎(chǔ)，在Ngram 模型中，N越大，實(shí)驗(yàn)結(jié)果應(yīng)越好，但基于5-gram 模型的指標(biāo)卻不升反降。這是由于平均每條測(cè)試語(yǔ)句的詞匯約為4.9 個(gè)，當(dāng)N≥5 時(shí)，依據(jù)N-gram 原理，在訓(xùn)練語(yǔ)料有限的條件下，每條測(cè)試語(yǔ)句組成的N元詞序列頻度在訓(xùn)練好的N元詞表中將會(huì)隨著N的增大而減小，由此會(huì)影響模型的整體性能。此外，實(shí)驗(yàn)結(jié)果也表明，僅訓(xùn)練50 萬(wàn)條語(yǔ)料，4-gram 的模型大小和訓(xùn)練時(shí)長(zhǎng)均約為T(mén)ri-gram 的2倍。因此，對(duì)于小規(guī)模短序列數(shù)據(jù)集，并不是N越大，模型效果越好，需視情況擇優(yōu)選擇。

表6 包含量詞同形詞的語(yǔ)句Tab.6 Sentences containing quantifier homograph

量詞定位和補(bǔ)全的實(shí)驗(yàn)結(jié)果如表7 所示，實(shí)驗(yàn)結(jié)果表明LSTM 模型綜合指標(biāo)最低，Bi-LSTM 的綜合指標(biāo)優(yōu)于其他模型。HMM 是統(tǒng)計(jì)模型，其對(duì)轉(zhuǎn)移概率和表現(xiàn)概率直接建模，統(tǒng)計(jì)共現(xiàn)概率。在該量詞定位實(shí)驗(yàn)中，量詞位置具有明顯的特征，例如量詞通常跟在數(shù)詞或代詞后，并且每個(gè)量詞有相對(duì)固定的搭配如“一條狗，一只魚(yú)”，HMM 能很好地提取這一信息。而LSTM 雖能捕獲長(zhǎng)距離依賴(lài)，但其只能提取上文信息特征，無(wú)法利用下文信息特征，序列的特征抽取不夠充分，因此標(biāo)注效果不理想。相比之下，Bi-LSTM 解決了LSTM 的問(wèn)題，又得益于非線性的建模，所以取得更好的結(jié)果。另外，根據(jù)文獻(xiàn)［14］可知，Bi-LSTM+CRF 作為目前主流的序列標(biāo)注模型，其實(shí)驗(yàn)結(jié)果應(yīng)優(yōu)于Bi-LSTM，而本次實(shí)驗(yàn)訓(xùn)練數(shù)據(jù)為低維時(shí)序數(shù)據(jù)，且樣本量相對(duì)較小，這是造成Bi-LSTM+CRF 性能稍次于Bi-LSTM的主要原因。

表7 量詞標(biāo)注實(shí)驗(yàn)評(píng)估 單位：%Tab.7 Evaluation of quantifier annotation experiment unit：%

包含量詞同形詞的量詞定位和補(bǔ)全的準(zhǔn)確率、召回率、F1分?jǐn)?shù)分別為95.58%、94.56%、95.4%，表明該模型在有同形詞的情況下仍然能夠準(zhǔn)確、有效地定位量詞；但各項(xiàng)評(píng)估指標(biāo)對(duì)比無(wú)同形詞時(shí)有所下降，這是由于某些量詞同形詞也具有量詞的特征，即跟在數(shù)詞或代詞后，易以較大的概率被標(biāo)記為量詞。

4 結(jié)語(yǔ)

本文針對(duì)自然手語(yǔ)語(yǔ)法存在賓語(yǔ)前置、否定后置、省略量詞等特點(diǎn)，提出了兩步法來(lái)對(duì)連續(xù)手語(yǔ)識(shí)別結(jié)果的文本進(jìn)行語(yǔ)序調(diào)整以及量詞補(bǔ)全，生成符合漢語(yǔ)語(yǔ)法的通順語(yǔ)句。首先，基于自然手語(yǔ)和漢語(yǔ)的轉(zhuǎn)換規(guī)則以及N-gram 模型對(duì)連續(xù)手語(yǔ)識(shí)別結(jié)果進(jìn)行文本調(diào)序；然后，在此基礎(chǔ)上利用Bi-LSTM模型對(duì)缺失量詞的文本進(jìn)行量詞定位及補(bǔ)全；最終，將連續(xù)手語(yǔ)識(shí)別結(jié)果轉(zhuǎn)化為語(yǔ)義清晰、語(yǔ)序通順的漢語(yǔ)文本。實(shí)驗(yàn)結(jié)果表明，該方法可以有效提升連續(xù)手語(yǔ)識(shí)別結(jié)果的通暢度和可懂度。

此外，本文對(duì)基于視頻的連續(xù)手語(yǔ)識(shí)別的文本結(jié)果中存在動(dòng)名詞一體、雙重否定的現(xiàn)象未作處理，因此在接下來(lái)的工作中，需要進(jìn)一步挖掘文本的上下文信息，解決自然手語(yǔ)翻譯成漢語(yǔ)時(shí)的動(dòng)名詞一體問(wèn)題。