国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

統(tǒng)計機器翻譯刪詞問題研究

2014-02-27 06:33何燕龍朱靖波
中文信息學報 2014年5期
關鍵詞:源語言短語關鍵

李 強,何燕龍,欒 爽,肖 桐,4,朱靖波,4

(1. 東北大學 信息科學與工程學院,自然語言處理實驗室,遼寧 沈陽 110819;2. 中國民族語文翻譯中心,北京 100080;3. 遼寧大學 外國語學院,遼寧 沈陽 110036;4. 杭州雅拓網(wǎng)絡技術(shù)有限公司,浙江 杭州 310012)

1 簡介

基于短語的統(tǒng)計機器翻譯模型(Phrase-based SMT)廣泛地應用于當今真實的翻譯任務中[1-2]?;诙陶Z的統(tǒng)計機器翻譯模型具有翻譯模型原理簡單、翻譯性能優(yōu)異等諸多特點,受到研究與應用人員的廣泛青睞。短語翻譯系統(tǒng)使用短語對作為翻譯的基本單元。在短語對生成的過程中,傳統(tǒng)短語對抽取算法抽取所有與詞對齊保持一致的短語對[3]。在真實的自動詞對齊結(jié)果中,由于雙語語種間句子結(jié)構(gòu)的不同以及詞對齊的錯誤,很多源語言句子中的詞匯在目標語言句子中并沒有與之相對應詞對齊結(jié)果,本文將這種源語言詞匯定義為對空詞匯。在雙語訓練數(shù)據(jù)中,由于對空詞匯的存在,源語言的一個短語可能會有多個目標語言短語與之保持一致,反之亦然。由于詞對齊的錯誤,一些源語言詞匯被錯誤的對應到目標語言某個詞匯上。在翻譯過程中一旦選擇這一錯誤翻譯,從人工評價角度來看源語言詞匯未被翻譯,本文將這種源語言詞匯定義為錯譯詞匯。由對空詞匯或錯譯詞匯造成的源語言中某個詞匯未被翻譯的現(xiàn)象,本文定義為刪詞錯誤問題。

在人工對機器翻譯結(jié)果評價的過程中,刪詞錯誤現(xiàn)象會嚴重影響評價人員對機器翻譯結(jié)果的理解,與此同時,刪詞錯誤會嚴重影響句子的流暢度,對機器翻譯結(jié)果的可用性造成非常大的影響。例如,當翻譯“等待他搜集情報?!边@一句子時,如果機器翻譯系統(tǒng)給出“wait for it.”這樣的翻譯結(jié)果,而“搜集”與“情報”這兩個源語言關鍵詞匯沒有進行翻譯,那么用戶將無法理解原文的意思。在現(xiàn)有的統(tǒng)計機器翻譯架構(gòu)上,為了快速完成翻譯系統(tǒng)參數(shù)的優(yōu)化,研究人員使用自動評價的方式對系統(tǒng)翻譯性能進行評價,而這些自動評價指標沒有特殊考慮刪詞錯誤問題。刪詞問題的研究需要使用人工評價方式對源語言句子中未被翻譯的關鍵詞匯進行判斷,需要大量的人工操作,實驗的可重復性較低。因此,在當前廣泛應用、性能優(yōu)異的統(tǒng)計機器翻譯系統(tǒng)中,刪詞問題沒有得到充分的分析與研究。Vilar等人證實在漢英翻譯任務上,刪詞錯誤在所有翻譯錯誤類型中占有近30%的比例,但目前鮮有工作對這一問題提出較優(yōu)的解決方法[4]。

本文針對刪詞錯誤問題進行了深入研究,從人工評價的角度上將刪詞錯誤類型分成3類,即詞匯翻譯內(nèi)容選取錯誤、邊緣對空關鍵詞匯翻空以及中間對空關鍵詞匯翻空。在此基礎上,設計了一種簡單有效的方法對較為嚴重的刪詞錯誤類型進行求解。首先,給定一個源語言句子,本文將句子中出現(xiàn)的詞匯分成兩類,即: 關鍵詞匯與非關鍵詞匯。在這里,本文定義表達句子主要信息、不能譯空的詞匯為關鍵詞匯,其他詞匯為非關鍵詞匯。本文提出了兩種方法進行關鍵詞匯的自動識別,即基于頻次的方法與基于詞性標注的方法。繼而本文提出了一種受限的短語對抽取算法,即在短語對抽取的過程中,對邊緣對空的關鍵詞匯加以限制,以達到緩解刪詞錯誤的目的。最終,本文方法生成含有較少刪詞錯誤信息的短語翻譯表。本文將提出的方法應用到當前性能優(yōu)異的基于短語的統(tǒng)計機器翻譯系統(tǒng)中,人工評價和自動評價證實,在漢英翻譯任務和英漢翻譯任務中,與基線系統(tǒng)相比本文提出的方法在翻譯性能上有顯著的提高。與此同時,翻譯系統(tǒng)得到一個精簡的短語翻譯表。

2 本文方法

首先,本文通過對傳統(tǒng)的短語對抽取方法的分析來闡述刪詞錯誤問題。對于給定的一個句對,圖1中“傳統(tǒng)”一列顯示了傳統(tǒng)的短語對抽取方法可能抽取噪聲短語對的一個示例。在圖1中,源語言詞匯“孩子”在詞對齊中沒有與之對應的目標語詞匯,即該詞為對空詞匯。對于傳統(tǒng)的短語對抽取算法來說,源語言短語“屬于 孩子”有多個與之保持一致的目標語短語。在這些短語對中,包含噪聲短語對(屬于 孩子 ,belongsto),即“孩子”在對應的目標語短語中并沒有翻譯結(jié)果。在機器翻譯系統(tǒng)解碼過程中,一旦選擇了這一錯誤短語對,刪詞錯誤便隱含其中。

圖1 傳統(tǒng)短語對抽取方法與本文短語對抽取方法抽取的示例短語對

在短語對抽取的過程中,如果考慮關于源語言句子中詞匯更多相關的統(tǒng)計信息或語言學信息,上述問題可以得到緩解。表1中顯示圖1所示句對中示例詞匯在整個訓練語料中的對空占比及對應詞性情況。從 表1中 可 以 看 出,“孩 子” 的 對 空 占 比 為14.45%,也就是說,在絕大多數(shù)情況下,“孩子”被確定的翻譯為目標語言中的某個詞匯。與此同時,“孩子”的詞性為名詞,在一個好的翻譯結(jié)果中,名詞基本不可以被翻譯為空。通過對表1的觀察,“孩子”可以被定義為表達源語言句子信息的關鍵詞匯。通過對源語言關鍵詞匯進行識別后,可以在短語對抽取過程中對關鍵詞匯加以約束來緩解刪詞錯誤問題。

表1 示例詞匯對空占比與詞性統(tǒng)計

2.1 刪詞錯誤分類

本文的主要內(nèi)容是對刪詞問題進行分析與研究。通過使用人工評價的方式對真實機器翻譯結(jié)果刪詞錯誤現(xiàn)象進行分析,本文將刪詞錯誤類型分為以下3類。

1) 詞匯翻譯內(nèi)容選取錯誤。在這種錯誤類型中,源語言句子中詞匯在目標語中有對應的翻譯結(jié)果,但該翻譯結(jié)果并不是當前詞匯的正確翻譯。該錯誤由自動詞對齊錯誤造成,傳統(tǒng)短語對抽取的過程回避了這一錯誤,導致錯誤蔓延。從人工對翻譯結(jié)果進行評價的角度來看,源語言詞匯沒有被翻譯。

2) 邊緣對空關鍵詞匯翻空。在短語對抽取的過程中,一個與詞對齊保持一致的短語對的源語言短語的邊緣存在對空詞匯,而該詞匯為表達源語言句子句義信息的關鍵詞匯,該詞匯沒有進行翻譯,造成錯誤的刪詞現(xiàn)象。

3) 中間對空關鍵詞匯翻空。在短語對抽取的過程中,一個與詞對齊保持一致的短語對的源語言短語的中間某個詞匯對空,從該詞匯向兩邊擴展存在含有詞對齊信息的詞匯,同時該詞匯為關鍵詞匯,該詞匯沒有進行翻譯。

圖2 3種刪詞錯誤類型實際情況

圖2為3種刪詞錯誤類型的真實情況。在圖2(a)中,源語言短語中詞匯“首次”被錯誤的翻譯為“for”,該問題由于自動詞對齊的錯誤造成;在圖2(b)中,源語言短語中詞匯“差異”為短語“差異 ,”的邊緣對空關鍵詞匯,在目標語中沒有與之對應的翻譯結(jié)果;在圖2(c)中,源語言短語中關鍵詞匯“將”對空,同時該詞匯兩邊的詞匯在目標語中有對應翻譯結(jié)果,詞匯“將”沒有對應翻譯結(jié)果。

表2中顯示上文所列3種刪詞錯誤類型的錯誤分布情況。從表2中可以看出,在3種錯誤類型中,詞匯翻譯內(nèi)容選取錯誤與邊緣對空關鍵詞匯翻空錯誤總數(shù)占所有錯誤類型的98%以上。然而,詞匯翻譯內(nèi)容選取錯誤涉及到整個翻譯框架中的“擇詞”問題,該問題較為復雜,非傳統(tǒng)刪詞問題,本文不對這種錯誤類型進行討論。本文主要對圖2(b)情況進行分析與討論,繼而提出合理的緩解該類刪詞錯誤的解決方案。圖3中內(nèi)容為機器翻譯系統(tǒng)輸出的真實的刪詞錯誤示例。在圖3中,對于源語言短語“搜集 情報 .”,翻譯系統(tǒng)為其提供錯誤的翻譯結(jié)果“.”,而在使用的短語對(搜集 情報 . ,.)中,“搜集”和“情報”兩個詞匯并沒有詞對齊,即邊緣對空詞匯“搜集”與“情報”翻空造成了該類刪詞錯誤。

表2 三種刪詞錯誤類型錯誤分布統(tǒng)計

注: 錯誤統(tǒng)計數(shù)據(jù)來源于隨機選取的200行訓練數(shù)據(jù)

圖3 刪詞錯誤示例

2.2 關鍵詞匯與非關鍵詞匯

對于表達待翻譯文本關鍵信息、不能譯空的詞匯,本文稱之為“關鍵詞匯”,其他詞匯則為“非關鍵詞匯”。本文通過兩種方法對關鍵詞匯和非關鍵詞匯進行識別。

第一種方法為基于頻次的關鍵詞匯識別方法。受到Li等人相關工作的啟發(fā),本文使用源語言詞匯的對空占比作為指標來定義關鍵詞匯[5]。給定一個源語言詞匯w,該詞匯的對空占比定義如式(1)所示。

(1)

在式(1)中,count(wunalign)表示在雙語訓練數(shù)據(jù)中源語言詞匯w被對空的次數(shù),count(w)表示源語言詞匯在源語言數(shù)據(jù)中出現(xiàn)的次數(shù)。如果源語言詞匯w為關鍵詞匯,那么對空占比Pr(wunalign)應當小于等于閾值τ。相對頻率大于閾值τ的源語言詞匯被定義為非關鍵詞匯。表1中對一些示例詞匯的對空占比進行統(tǒng)計。從表1中可以看出,對于關鍵詞匯與非關鍵詞匯的識別,Pr(wunalign)是一個非常有效的指標。例如,中文詞匯“就”與英文詞匯“to”的對空占比很高(>35%),這兩個詞匯應該被定義為非關鍵詞匯。在本文工作中,τ值默認設置為0.2。

第二種方法為基于詞性標注的方法。表3為對不同詞性刪詞錯誤進行人工評價的統(tǒng)計情況。從表3中可以看出,在訓練數(shù)據(jù)中,名詞和動詞刪除錯誤所占比例超過80%。因此,本文定義源語言詞性為名詞或動詞的詞匯為關鍵詞匯,其他詞匯為非關鍵詞匯:

表3 不同詞性刪詞錯誤統(tǒng)計

注: 統(tǒng)計數(shù)據(jù)來源于訓練數(shù)據(jù)中隨機抽取的100個句子

在這里,KEY表示關鍵詞匯,USUAL表示非關鍵詞匯。

2.3 受限的短語對抽取方法

上文方法可以對源語言句子中關鍵詞匯與非關鍵詞匯進行識別,在本節(jié)中,通過使用源語言非關鍵詞匯列表對短語對的抽取過程加以限制,本文提出一種受限的短語對抽取算法,算法詳細內(nèi)容見圖4。算法內(nèi)容解釋如下: 給定雙語平行句對的詞對齊以及源語言的非關鍵詞匯列表SUEL,該方法抽取所有與詞對齊保持一致的短語對(圖4中行4),同時確保短語對中源語言短語邊緣對空詞匯在非關鍵詞列表SUEL中(圖4中行5)。圖1中“本文”一列顯示本文提出的方法抽取的示例短語對集合。如前文所述,(屬于 孩子,belongsto)是與詞對齊保持一致的短語對,但該短語對隱含刪詞錯誤。在使用受限的短語對抽取算法時,由于邊緣對空詞匯“孩子”沒有在本文定義的非關鍵詞匯列表SUEL中,該短語對不會被抽取。該算法的主要目的是在抽取與詞對齊保持一致的短語對的過程中,過濾掉可能隱含刪詞錯誤的短語對,從而緩解翻譯過程中的刪詞錯誤問題。

圖4 受限的短語對抽取算法

3 評價

本文使用NiuTrans開源統(tǒng)計機器翻譯系統(tǒng)中基于短語的統(tǒng)計機器翻譯模型構(gòu)建實驗平臺,方法的有效性在漢英翻譯任務與英漢翻譯任務上同時進行驗證[6]。

3.1 實驗設置

在漢英翻譯任務與英漢翻譯任務的實驗中,使用NIST MT 2008機器翻譯評測提供的4.46M雙語平行句對進行翻譯模型的訓練。使用GIZA++工具對雙語訓練數(shù)據(jù)進行雙向詞對齊,使用grow-diag-final-and啟發(fā)式算法對雙向詞對齊結(jié)果進行對稱化處理[7]。此外,兩個翻譯任務的實驗中分別使用使用GIGAWORD中英語、漢語的Xinhua部分和雙語數(shù)據(jù)的英語、漢語部分訓練5元語言模型。使用最小錯誤率訓練(MERT)方法對統(tǒng)計機器翻譯模型的系統(tǒng)參數(shù)進行優(yōu)化[8]。關于開發(fā)集和測試集,漢英翻譯任務使用NIST 2006 Newswire的測試集作為翻譯系統(tǒng)權(quán)重調(diào)優(yōu)的開發(fā)集(1 181句),將NIST 2004,2005和2008 Newswire的測試集進行合并,作為評價實驗系統(tǒng)翻譯性能的測試集(3 561句)。對于英漢翻譯任務,使用SSMT2007測試集作為翻譯系統(tǒng)參數(shù)優(yōu)化的開發(fā)集(995句),使用NIST 2008測試集作為評價機器翻譯系統(tǒng)翻譯性能的測試集(1 859句)。關于使用數(shù)據(jù)更多的信息詳見表4與表5。翻譯性能通過使用大小寫不敏感(case-insensitive)的IBM版本的BLEU以及翻譯錯誤率(TER)評價指標進行評價[9-10]。

表4 漢英翻譯任務使用數(shù)據(jù)

表5 英漢翻譯任務使用數(shù)據(jù)

3.2 實驗結(jié)果

表6和表7分別為漢英翻譯任務與英漢翻譯任務中,基線翻譯系統(tǒng)與使用本文方法的翻譯系統(tǒng)在開發(fā)集與測試集上的BLEU值和TER值。由于TER指標較好的體現(xiàn)了刪詞錯誤現(xiàn)象的嚴重程度,所以,本實驗的主要目的是保證BLEU值在不發(fā)生較大波動的情況下,翻譯結(jié)果在TER指標上的性能取得明顯的改善。在表6和表7中,“*”表示在p<0.05的情況下,顯著優(yōu)于基線系統(tǒng)的實驗結(jié)果。

表6 漢英翻譯任務中,短語翻譯表大小、BLEU4值以及TER值

表7 英漢翻譯任務中,短語翻譯表大小、基于字的BLEU5值以及TER值

在表6中,本文提出的基于頻次的方法在測試集上得到與基線系統(tǒng)可比的BLEU值;與此同時,在TER評價指標上,本文方法在測試集上翻譯結(jié)果質(zhì)量獲得顯著的改善,即取得1.21個TER點的下降(TER值越低,錯誤率越低,翻譯性能越好)。更有趣的是,與基線翻譯系統(tǒng)的短語翻譯表相比,基于頻次的方法可以有效的減小短語翻譯表的大小,即短語翻譯表的大小下降了26.31%。表6中“邊緣無對空詞匯”行實驗結(jié)果表明,有效的處理好邊緣對空詞匯是統(tǒng)計機器翻譯系統(tǒng)成功的關鍵之一。如果在短語對抽取的過程中,與詞對齊保持一致的短語對的源語言和目標語言的邊緣詞匯不允許對空,雖然短語翻譯表的大小可大幅度減小71.04%,但是在測試集上的翻譯性能下降了3.19個BLEU點。該實驗結(jié)果表明,允許源語言句子中某些詞匯翻空對于構(gòu)造好的機器翻譯結(jié)果來說非常必要。除此之外,表6中同樣給出基于詞性標注方法的實驗性能?;谠~性標注的方法與基線系統(tǒng)相比,短語翻譯表的大小下降了30.01%,同時翻譯結(jié)果在TER指標上獲得0.59個點的降低。

在英漢翻譯任務上,實驗結(jié)果與漢英翻譯任務類似,具體實驗結(jié)果見表7。在表7中,基于頻次的方法使用的短語翻譯表的大小相比基線翻譯系統(tǒng)減小16.83%,與此同時,在TER指標上獲得0.85個點的降低?;谠~性標注的方法使用的短語翻譯表的大小減小27.61%,同時獲得1.39個TER點的降低。邊緣無對空詞匯的方法短語翻譯表的大小大幅度減小了70.00%,但是在測試集上的翻譯性能下降了1.23個BLEU點。

在漢英翻譯任務以及英漢翻譯任務上,除使用BLEU和TER自動評價指標外,本文同時在100個隨機選取的句子中進行人工評價來證實本文方法的有效性。本文通過專業(yè)翻譯人員對機器翻譯結(jié)果進行打分來評價翻譯結(jié)果翻譯質(zhì)量的好壞。在人工評價的過程中,同時提供基線系統(tǒng)、基于頻次的方法、基于詞性標注的方法的翻譯結(jié)果,翻譯結(jié)果隱藏來源標簽。翻譯人員通過對翻譯結(jié)果的選詞準確度以及流暢度進行打分,分數(shù)范圍在0至10之間。如果翻譯結(jié)果與待翻譯句子完全不相關,則為0分;如果翻譯結(jié)果能夠如實的表達待翻譯文本的原意,同時在翻譯結(jié)果中覆蓋所有待翻譯句子中關鍵詞匯的內(nèi)容,則為10分。由于篇幅有限,這里對人工評價標準的具體細節(jié)不做介紹。在人工打分的過程中,同時對待翻譯句子中關鍵詞匯的刪詞現(xiàn)象進行標注,對于句子中的非關鍵詞匯,本文不做分析。表8中的人工評價結(jié)果表明,在人工評價分數(shù)以及刪詞錯誤個數(shù)的評價中,本文提出的方法優(yōu)于基線翻譯系統(tǒng)。表9中實驗結(jié)果顯示不同詞性刪詞錯誤的個數(shù)以及比例的統(tǒng)計。從表9中可以看出,與表3中結(jié)果相比,本文方法明顯降低了名詞和動詞刪詞錯誤的個數(shù)。

表8 漢英翻譯任務以及英漢翻譯任務中,人工打分及刪詞錯誤個數(shù)統(tǒng)計結(jié)果

表9 翻譯過程中,不同詞性的錯誤個數(shù)和百分比的統(tǒng)計結(jié)果?!硎九c表3中結(jié)果相比下降的個數(shù)

本文通過比較基線系統(tǒng)與本文方法的1-best翻譯結(jié)果的解碼路徑來說明本文方法之所以有效的原因。圖5給出基線系統(tǒng)與本文方法的一個真實的翻譯結(jié)果對比。在圖5(a)中,對源語言短語“搜集情報 .”來說,“搜集”和“情報”是源語言句子的邊緣對空詞匯,傳統(tǒng)的短語對抽取方法抽取(搜集 情報.,.)這一與詞對齊保持一致的短語對。在解碼過程中,針對源語言待翻譯短語“搜集 情報 .”,解碼器從眾多的短語對中選擇(搜集 情報.,.)這一短語對來進行翻譯,從而導致表達句義的關鍵詞匯“搜集”和“情報”在目標語中對應的翻譯結(jié)果不存在,造成了嚴重的刪詞錯誤問題。在圖5(b)中,由于邊緣對空關鍵詞匯“搜集”和“情報”不在本文方法定義的非關鍵詞列表SUEL中,所以短語對(搜集 情報.,.)并沒有被本文方法所抽取,在翻譯的過程中不存在這樣一條短語對供解碼器選擇,從而在源頭上避免了在翻譯過程中使用隱含刪詞錯誤的短語對。所以在針對源語言關鍵詞匯的刪詞錯誤問題上,本文方法明顯優(yōu)于基線翻譯系統(tǒng)。

圖5 基線系統(tǒng)(a)與本文方法(b)的1-best解碼路徑對比

上文提出的方法是對傳統(tǒng)短語翻譯表中隱含刪詞錯誤信息的短語對進行過濾,可稱上文方法為“硬約束”方法。使用硬約束方法有一個不可回避的問題,即在過濾噪聲短語對的同時,正確的短語對有可能被同時過濾。在這里,本文將提出的方法使用“軟約束”的方式進行實驗。為了達到軟約束的目的,在實驗的過程中通過在短語翻譯表中加入一個新的指示性特征,用以指示當前短語對是否可以被本文提出方法進行抽取。表10為本文方法在軟約束的實驗設置下得到的實驗結(jié)果,該組實驗在漢英翻譯任務上進行。與基線系統(tǒng)相比,基于詞性標注的軟約束方法在測試集上獲得1.26個TER點的降低,基于頻次的方法獲得0.35點的降低。基于頻次的軟約束方法從翻譯性能角度來看,效果不如硬約束方法;但是在基于詞性標注的方法中,軟約束方法的實驗性能明顯優(yōu)于硬約束的方法,在BLEU和TER指標上,分別獲得0.68點提高和0.67點的降低。從這組實驗結(jié)果來看,在基于詞性標注的方法中,硬約束方法過濾掉很多質(zhì)量較好的短語對。

表10 漢英翻譯任務中,軟約束方法實驗結(jié)果

4 相關工作

在機器翻譯任務中,刪詞問題的分析研究已經(jīng)取得了一些相關成果。例如,Zhang等在原始訓練語料中移除對空頻次較高的詞匯,使用處理后的語料進行模型的訓練[11]。雖然該方法簡單、易于實現(xiàn),但是該方法也同時向短語翻譯表中引入新的噪聲。Zhang等人的工作同時證明,在處理刪詞錯誤這類問題上,通過在短語對抽取的過程中過濾噪聲短語對的方法在效果上明顯優(yōu)于提高詞對齊質(zhì)量的方法[12-15]。Menezes和Quirk提出基于treelet翻譯方法的擴展,該方法在源語言中通過引入結(jié)構(gòu)化的詞匯插入和刪除的調(diào)序模板對刪詞問題進行討論[16]。Parton等人提出了一種混合的方法APES來解決翻譯結(jié)果充分性錯誤[17]。Li等人提出了3種方法來處理源語言中冗余的詞匯,使用多種方法對短語翻譯表中短語對的翻譯概率重新進行估計[5]。

雖然此前的工作提出了幾種方法來緩解機器翻譯任務中的刪詞錯誤問題,但是之前的工作沒有對刪詞錯誤造成的原因進行分類。本文將刪詞錯誤分為3類,即詞匯翻譯內(nèi)容選取錯誤、邊緣對空關鍵詞匯翻空和中間對空關鍵詞匯翻空。針對這3類刪詞錯誤類型,本文選擇較為嚴重的邊緣對空關鍵詞匯翻空進行解決,提出了針對這個問題一系列的解法,同時獲得較好的實驗結(jié)果。本文提出的方法與語言無關,可以將本文方法應用到任意語言對上來緩解刪詞錯誤問題。同時,在圖4提出的受限的短語對抽取算法中,可以同時加入目標語言非關鍵詞匯列表的約束,從而緩解翻譯過程中目標語言冗余詞匯的插入問題。本文提出的方法簡單且易于實現(xiàn),可有效緩解源語言句子中關鍵詞匯的刪除錯誤問題。

5 總結(jié)與展望

本文針對刪詞問題作了詳細的研究與分析。本文通過人工分析的方法將刪詞錯誤類型劃分為3類。針對3類刪詞錯誤問題,本文選擇較為嚴重的邊緣對空關鍵詞匯翻空進行解決。首先,本文提出兩種方法,即基于頻次的方法與基于詞性標注的方法,來對源語言句子中的關鍵詞匯與非關鍵詞匯進行識別;繼而,本文方法使用源語言非關鍵詞匯列表對短語對抽取的過程加以約束,提出受限的短語對抽取算法。本文方法同時在硬約束與軟約束條件下進行實驗,人工評價與自動評價均證實,本文提出的方法在漢英翻譯任務和英漢翻譯任務上,顯著的提高了機器翻譯系統(tǒng)的翻譯質(zhì)量,與此同時,硬約束的方法可以獲得一個精簡的短語翻譯表。本文提出的方法有效的緩解了刪詞錯誤問題。

在未來的工作中,我們還將研究更為有效的模型和方法來對源語言句子中關鍵詞匯與非關鍵詞匯進行識別,同時也將對獲取高質(zhì)量的短語翻譯表的短語對抽取算法進行研究,從而達到進一步緩解刪詞錯誤的目的。

[1] Philipp Koehn, Fran J Och, Daniel Marcu. Statistical phrase-based translation[C]//Proceedings of the 2003 Conference of the North American Chapter of the Association for Computational Linguistics on Human Language Technology-Volume 1. Association for Computational Linguistics, 2003: 48-54.

[2] Franz J Och, Heymann Ney. The alignment template approach to statistical machine translation[J]. Computational Linguistics, 2004, 30(4): 417-449.

[3] Franz J Och, Christoph Tillmann, Heymann Ney. Improved alignment models for statistical machine translation[C]//Proceedings of the 1999 Conference on Empirical Methods in Natural Language Processing. Association for Computational Linguistics, 1999: 20-28.

[4] David Vilar, Jia Xu, Luis Fernando D’Haro, et al. Error analysis of statistical machine translation output[C]//Proceedings of International Conference on Language Resources and Evaluation. 2006: 697-702.

[5] Chi-Ho Li, Dongdong Zhang, Mu Li, et al. An empirical study in source word deletion for phrase-based statistical machine translation[C]//Proceedings of the Third Workshop on Statistical Machine Translation. Association for Computational Linguistics, 2008: 1-8.

[6] Tong Xiao, Jingbo Zhu, Hao Zhang, et al. NiuTrans: an open source toolkit for phrase-based and syntax-based machine translation[C]//Proceedings of the ACL 2012 System Demonstrations. Association for Computational Linguistics, 2012: 19-24.

[7] Franz J Och, Hermann Ney. Improved statistical alignment models[C]//Proceedings of the 38thAnnual Meeting on Association for Computation Linguistics. Association for Computational Linguistics, 2000: 440-447.

[8] Franz J Och. Minimum error rate training in statistical machine translation[C]//Proceedings of the 41st Annual Meeting on Association for Computational Linguistics-Volume 1. Association for Computational Linguistics, 2003: 160-167.

[9] Kishore Papineni, Salim Roukos, Todd Ward, et al. BLEU: a method for automatic evaluation of machine translation[C]//Proceedings of the 40thAnnual Meeting on Association for Computational Linguistics. Association for Computational Linguistics, 2002: 311-318.

[10] Matthew Snover, Bonnie Dorr, Richard Schwartz, et al. A study of translation edit rate with targeted human annotation[C]//Proceedings of the 7thConference of the Association for Machine Translation in the Americas. 2006: 223-231.

[11] Yuqi Zhang, Evgeny Matusov, Hermann Ney. Are unaligned words important for machine translation?[C]//Proceedings of the 13thAnnual Conference of the EAMT. 2009: 226-233.

[12] Ulf Hermjakob. Improved word alignment with statistics and linguistic heuristics[C]//Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing. Association for Computational Linguistics, 2009: 229-237.

[13] Jingbo Zhu, Qiang Li, Tong Xiao. Improving syntactic rule extraction through deleting spurious links with translation span alignment[J]. Natural Language Engineering, 2013: 1-23.

[14] Yang Liu, Qun Liu, Shouxun Lin. Discriminative word alignment by linear modeling[J]. Computational Linguistics, 2010, 36(3): 303-339.

[15] Yonggang Deng, Bowen Zhou. Optimizing word alignment combination for phrase table training[C]//Proceedings of the ACL-IJCNLP 2009 Conference Short Papers. Association for Computational Linguistics, 2009: 229-232.

[16] Arul Menezes, Chiris Quirk. Syntactic Models for Structural Word Insertion and Deletion[C]//Proceedings of the Conference on Empirical Methods in Natural Language Processing. Association for Computational Linguistics, 2008: 735-744.

[17] Kristen Parton, Nizar Habash, Kathleen McKeown, et al. Can Automatic Post-Editing Make MT More Meaningful?[C]//Proceedings of the Conference on EAMT. 2012: 111-118.

猜你喜歡
源語言短語關鍵
硝酸甘油,用對是關鍵
新形勢下深化改革開放的關鍵一招
高考考好是關鍵
林巍《知識與智慧》英譯分析
淺析日語口譯譯員素質(zhì)
《健民短語》一則
以口譯實例談雙語知識的必要性
從目的論角度看《紅高粱》中文化負載詞的翻譯
生意無大小,關鍵是怎么做?
生意無大小,關鍵是怎么做?
周口市| 永仁县| 如皋市| 义马市| 揭东县| 汕头市| 将乐县| 普兰店市| 台安县| 中卫市| 兴业县| 梅河口市| 布尔津县| 禹州市| 瓮安县| 滦平县| 双辽市| 石首市| 佛山市| 岑溪市| 柳江县| 寻乌县| 靖宇县| 辽阳县| 五大连池市| 平南县| 阜阳市| 甘南县| 台东市| 和田市| 丘北县| 新兴县| 东乡县| 塘沽区| 洛阳市| 阿坝| 云和县| 富平县| 深泽县| 原平市| 隆回县|