馬 斌，蔡東風，季 鐸，葉 娜，吳 闖

(沈陽航空航天大學 人機智能研究中心，遼寧 沈陽 110136)

基于動態(tài)詞對齊的交互式機器翻譯

馬 斌，蔡東風，季 鐸，葉 娜，吳 闖

(沈陽航空航天大學 人機智能研究中心，遼寧 沈陽 110136)

在傳統(tǒng)的機器翻譯(machine translation，MT)與計算機輔助翻譯(computer aided translation，CAT)中，譯員與翻譯引擎之間的交互受到很大限制，于是產(chǎn)生了交互式機器翻譯(interactive machine translation，IMT)技術。但傳統(tǒng)的模型只考慮當前源語與部分翻譯的目標語的信息，沒有將用戶交互后的對齊信息加入到之后的預測模型中。該文基于詞預測交互式機器翻譯的研究思路，將用戶交互翻譯過程中的鼠標點選行為轉(zhuǎn)化為中間譯文的詞對齊信息，進而在翻譯交互過程中實現(xiàn)了對譯文的動態(tài)詞對齊標注，并在詞對齊信息和輸入譯文的約束下提高了傳統(tǒng)詞預測的準確性。

交互式機器翻譯；詞對齊；預測模型

Abstract: The traditional interactive machine translation (IMT) is focused on the current source language and the partial translation of the target language, neglecting the feedback from the translators to better predict the subsequent translations. This paper investigates the translation selection clicks, and proposes a dynamic word alignment model for the partial translation. Experiment indicates this method improves the word prediction accuracy during the interactive machine translation process.

Key words: interactive machine translation；word alignment；prediction model

收稿日期： 2015-09-26 定稿日期： 2015-12-20

基金項目： 國家自然科學基金(61403262，61402299)

1 引言

統(tǒng)計機器翻譯(statistical machine translation，SMT)技術的提出為機器翻譯技術走向?qū)嵱没蛳铝嘶A。但現(xiàn)有的自動翻譯的質(zhì)量還遠沒有達到人們的需求，不能完全取代人類[1-3]。計算機輔助翻譯(computer aided translation，CAT)的提出，為機器與人類譯員提供合作的平臺，由計算機完成翻譯過程中煩瑣而相對簡單的任務，由人類譯員完成相對重要的翻譯任務，有效提高了翻譯人員的工作效率。為進一步提高翻譯效率[4-5]，增大人類譯員在翻譯過程中的主導地位，提出了交互式機器翻譯(interactive machine translation，IMT)的概念，允許人類譯員在翻譯過程中對機器進行干預和指導，從而獲取較高質(zhì)量的譯文[6-8]。近年來，有研究人員將人機交互過程轉(zhuǎn)變?yōu)樵诜g記憶的參考譯文上進行后編輯[9-11](post-editing)。這種方法一方面比較依賴于翻譯資料中重復的內(nèi)容，另一方面也限制了人類譯員在翻譯過程中的交互。

為此，F(xiàn)oster等開展了一項有趣的研究工作，提出使用詞預測(word prediction)技術來實現(xiàn)在人機交互中的預測式交互翻譯(interactive-predictive machine translation , IPMT)，該方法將用戶的翻譯行為看作是一個順序的選詞過程，而系統(tǒng)需要在每一個翻譯選詞的過程中通過前綴不斷預測下一譯文，每次譯員的選擇都影響著下一次機器的推薦，真正實現(xiàn)了系統(tǒng)與用戶在翻譯過程中的深度交互，并在歐盟法案的翻譯中獲得成功應用。后來Foster[12-13]又進一步開展了面向短語和用戶詞典的IPMT技術完善工作，Alabau[14]于2012年通過改進IPMT的交互界面對IPMT和PE技術進行了比較分析，在真實的人工評測中，IPMT在翻譯效率和用戶滿意度兩個層面獲得了肯定。

IPMT的交互式翻譯過程如圖1所示[15-16]，初始時給定輸入原語句f，系統(tǒng)預測用戶的下一步的輸入e，而后用戶通過接受系統(tǒng)的預測或者輸入正確譯文k的方式與系統(tǒng)進行交互，與此同時系統(tǒng)將現(xiàn)有用戶的輸入ep作為約束，在用戶每次操作(單個字母的輸入)后動態(tài)產(chǎn)生更為符合用戶預期的預測。在翻譯的過程中，用戶與系統(tǒng)不斷交互，直到整個句子翻譯完成。

圖1 IPMT交互式翻譯過程 由西班牙語翻譯到英語，系統(tǒng)推薦為斜體字，用戶接受的為正常字體，用戶輸入為粗體字

從上述交互過程中可以看到IPMT在人工翻譯的基礎上，通過系統(tǒng)的預測自動或半自動地完成用戶譯文輸入，實現(xiàn)了翻譯效率的提高。因此，交互過程中用戶實際單詞輸入數(shù)量與原句子單詞總數(shù)的比(word stroke rate，WSR)也自然作為衡量IPMT技術的主要指標。

IPMT的研究工作主要集中在三個層面，首先從算法效率方面，Kern最早提出采用詞圖(word graph)的方法盡可能對翻譯候選進行優(yōu)化存儲，提高用戶每次操作的相應速度，Sanchis-Trilles[17]在2014年采用三種策略對詞圖進行了裁枝，在保證指標不變的情況下提升了系統(tǒng)的效率；與此同時，更多研究人員希望IPMT在一次操作中能夠提供更多的預測內(nèi)容，并將主要的預測單元從詞擴展到短語和句子，盡管后期的人工評價對此也給予了積極的評價，但由于更長的預測不僅使得相關模型更為復雜，影響了交互體驗，同時也給用戶理解機器的預測帶來了較多的困擾；為進一步豐富IPMT的交互方法，手寫、語音輸入等交互手段也被引入到IPMT系統(tǒng)中，在交互式機器學習(interactive machine learning)的理論框架中，既提高了相關輸入的識別準確率，又保證了用戶通過簡單的人機交互獲得更好的翻譯體驗。

然而從IPMT的技術發(fā)展來看，研究人員主要還是從用戶的輸入角度討論人機的翻譯交互，而忽略了其他的用戶交互行為對翻譯效率的影響，例如用戶利用鼠標完成的譯文點選、用戶視覺關注內(nèi)容及利用電子詞典的查詞行為等。本文基于詞預測交互式機器翻譯的研究思路，將用戶交互翻譯過程中的鼠標點選行為轉(zhuǎn)化為中間譯文的詞對齊信息，進而在翻譯交互過程中實現(xiàn)了對譯文的動態(tài)詞對齊標注，并在對齊信息和輸入譯文的約束下提高了傳統(tǒng)詞預測的準確性。

2 詞預測模型

2.1 傳統(tǒng)詞預測模型 翻譯交互過程中的上下文環(huán)境主要是由原語S=s1,s2,…,sn-1,sn以及p(x|S,T)部分的翻譯結(jié)果T=t1,t2,…,tk-2,tk-1構(gòu)成，則待預測譯文x的概率可轉(zhuǎn)化為條件概率。但由于S，T對于當前預測都為常量，因此Foster利用線性插值對其進行了近似求解，即：

(1)

由于輸入譯文是從左向右依次構(gòu)成的，隨著輸入的不斷增加，也導致語言模型p(x|T)在預測模型中的重要程度不同，因此λ(S,T)被定義為S和T的線性插值函數(shù)，用于調(diào)節(jié)在翻譯過程中的不同時期語言模型和翻譯模型的比重。

上式中p(x|T)為語言模型，由SRILM工具訓練得到；p(x|S)為翻譯模型，由詞典，雙語對齊語料及詞對齊關系訓練得到，其計算方法如式(2)。

(2)

其中l(wèi)s表示原語S的長度，si代表原語中第i個位置的單元，k代表譯文x所處的位置。p(x|si)為傳統(tǒng)的詞翻譯模型，a(i|k,ls)代表原語第i個位置與譯文第k個位置在原語ls條件下的對齊概率。

盡管用戶的輸入譯文T作為約束是交互翻譯的重要參考，但是上述模型中該約束僅用于語言模型，而在翻譯模型中未引入上述約束，并也由此導致其預測準確率不高。

2.2 基于詞對齊的詞預測模型

設A為原語S以及部分的翻譯結(jié)果T間的對齊關系，但由于T是不完整的譯文，因此從原語到目標語的對齊關系不完整。因此，本文將對齊關系設定為從目標語到原語，即(t,at)(以下用at表示)，at∈A代表目標語中第t個詞與原語第at個詞存在翻譯對齊關系。

待預測譯文x將被置于翻譯結(jié)果的第k個位置，其對齊關系為ak，則譯文x的預測概率可轉(zhuǎn)化為條件概率p(x,ak|S,A,T)。此時譯文的預測就變成對上述概率最大值的尋找，可以通過式(3)給出。

(3)

依據(jù)貝葉斯公式上述計算式(3)又可直接推導為：

(4)

其中，p(x|S,A,ak,T)為譯文x在對齊關系{ak}∪A的預測概率；p(ak|S,A,T)為對齊關系的預測概率。

有了部分對齊結(jié)果后，設{ak}∪A=A′，則，p(x|S,A,ak,T)=p(x|S,A′,T)，進一步利用貝葉斯公式可得到：

(5)

p(x|T)為語言模型，而p(S,A′|T,x)為詞對齊關系A′條件下，原語S以及部分的翻譯結(jié)果T,x=t1,t2,…，tk-2,tk-1,x的翻譯概率。本文采用IBM model3方法對翻譯概率進行求解，進一步我們將上述公式分解：

(6)

其中d(aj|aj-1,ls)為方向位變概率，是沿著翻譯方向構(gòu)造的，根據(jù)輸入詞的位置預測輸出詞的位置的概率分布；ng(φi|si)為繁衍概率，表示對于每個源語詞si通常被翻譯成多少個輸出單詞的概率分布。但與傳統(tǒng)的繁衍概率ng(φi|si)不同，由于交互翻譯中的譯文是部分的翻譯結(jié)果，導致依據(jù)當前對齊獲得的繁衍數(shù)量φi不準確，因此本文采用的繁衍概率為原語si繁衍數(shù)量大于φi的概率，可表示為：

(7)

在給定用戶輸入T的前提下

的數(shù)值可以近似為常量，因此：

(8)

2.3 算法實現(xiàn)

本文在生成預測模型前，使用Niutrans的GIZA++做詞對齊處理，得到詞對齊結(jié)果；使用SRILM工具得到語言模型。使用訓練語料訓練得到以下模型：

? 對齊概率模型，源語的某一位置對齊到目標語某一位置的概率模型，使用詞對齊結(jié)果統(tǒng)計得到；

? 方向位變概率模型，在當前翻譯位置的前詞所對齊的源語的位置條件下，源語的某一位置與當前翻譯位置的對齊概率模型，使用詞對齊結(jié)果統(tǒng)計得到；

? 翻譯概率模型，源語某詞翻譯到目標語某詞的概率模型，利用雙語詞典和詞對齊結(jié)果使用式(2)得到；

? 繁衍概率模型，源語某已經(jīng)翻譯過n次的詞再次被翻譯m次概率模型，使用雙語詞典和詞對齊結(jié)果統(tǒng)計得到。

將式(4)、式(5)、式(8)整合可以得到式(3)，將方向位變概率模型、繁衍概率模型、翻譯概率模型整合到一起，得到基于翻譯模型的條件概率p(x,ak|S,A,T)。通過式(1)使用8 000句開發(fā)集語料進行迭代，選出不同預測位置時能使正確答案平均排名最高的參數(shù)值，即得到線性插值參數(shù)λ(S,T)。

預測算法的偽代碼如下：

Step1: 載入雙語對齊的測試語料

(源語S長度為m，目標語T長度為n，提供h個候選)

Step2: 總預測數(shù)all=0,

正確預測數(shù)right=0翻譯正確標記tag=0

for i=0 to n-1 do

得到得分從大到小排序的

翻譯候選列表answer。

tag=0

all++

for j=0 to h do

if answer[0]==T[i]

tag=1

記錄對齊位置

break

else do

continue

if tag do

right++

更新預測模型

Step3: score=right/all

在翻譯目標語的每個詞后，會記錄其對齊關系，以及源語端的詞。通過這些信息，更新方向位變概率模型，語言模型，繁衍概率模型等，重新生成預測模型，進行下一位置的預測。

3 實驗

3.1 實驗設置 本文實驗是在英語到漢語的翻譯工作中做的。雙語平行語料是LDC2003E14的十萬句平行句對，使用Niutrans的GIZA++做詞對齊處理。單語語料為搜狗實驗室的SogouCA的150萬句中文新聞語料，并使用SRILM工具進行語言模型的訓練。所有中文語料使用中科院分詞工具對漢語進行分詞。

使用人工標注的1 000句雙語對齊語料進行測試。統(tǒng)計計算在不同候選數(shù)下的正確率。具體過程為：

本文采用n-best的推薦方式，根據(jù)提供的原語，系統(tǒng)在當前翻譯位置上給出n(n取1,3,5,10)個翻譯候選詞供用戶選擇，使用翻譯候選詞的正確率來評價模型，如式(9)所示。

(9)

其中，N表示譯文預測的總次數(shù)，Nc表示用戶使用的翻譯候選次數(shù)，即譯文預測正確的次數(shù)。

本文以Foster的線性插值方法作為Baseline同現(xiàn)有方法作比較。

3.2 實驗結(jié)果

圖2橫坐標為預測的候選數(shù)，縱坐標為Baseline和動態(tài)詞對齊方法DWA的預測正確率。

圖2 所有詞預測正確率

如圖2所示，隨著候選數(shù)的增加，兩種方法的正確率均有所提高，而DWA方法的正確率始終高于Baseline的方法。在1候選時DWA預測正確率為24.25%,Baseline的預測正確率為20.24%，此時DWA方法提升效果最明顯，提高了4.01%。

經(jīng)過實驗我們發(fā)現(xiàn)，該模型對實詞的預測提高較為明顯，以下我們從停用詞和實詞的角度研究了預測效果。

3.2.1 不同種類的預測分析

圖3為兩種方法下目標語中停用詞的預測正確率。停用詞約占目標語中詞匯的20%。

圖3 停用詞的預測正確率

如圖3所示，停用詞的預測正確率從第一候選開始就比較高。主要原因是，停用詞數(shù)目相對實詞來說很少，同時比較好預測，所以一開始候選數(shù)為1的時候停用詞的預測正確率就很高。

另外，隨著候選數(shù)的增大，提升效果有所提高。主要原因是，停用詞相對實詞數(shù)目少了很多，也較容易預測，隨著候選數(shù)的增大，停用詞在n-best 預測列表里數(shù)目越大，使預測準確率的提升增大。

圖4為兩種方法下目標語中實詞的預測正確率，雖然相對于圖2正確率下降很多，但是DWA方法相對于Baseline的提升也很大。當候選數(shù)為1時，DWA方法的正確率為19.36%，而Baseline的預測正確率為14.35%，高出了5.01%。從這一角度也體現(xiàn)出DWA模型對詞預測的提升有實質(zhì)性的提高。

圖4 實詞的預測正確率

另一方面，隨著候選數(shù)的增大，提升效果有所降低。主要原因是，當候選數(shù)增大時，數(shù)目少且較好預測的停用詞在翻譯候選中的比例增大，此時對實詞的預測受到影響，使實詞的預測準確率提升效果有所減低。

3.2.2 詞對齊關系對預測正確率的影響

為了進一步研究詞對齊結(jié)果對模型的影響，我們把正確的詞對齊結(jié)果加入到模型中。如圖5所示，在當前翻譯位置，給定上一翻譯的正確對齊位置后，得到DWA(Max)的預測正 確 率，從 圖5可 以 看出，DWA(Max)的預測正確率相對于DWA方法有所提升，主要原因是，在提供了正確的詞對齊關系后，模型的預測效果會達到最好。但是只提升了約0.7%的主要原因是，測試語料中的詞對齊結(jié)果是由GIZA++處理得到的，由于測試語料自身問題，其中有很多對空的情況，無法在每次預測時給出目標語前詞的對齊的位置。

圖5 不同詞對齊關系下的預測正確率

4 總結(jié)和展望

本文提出一種動態(tài)詞對齊的方法，在傳統(tǒng)交互式機器翻譯的基礎上，將用戶與翻譯引擎交互后的詞對齊信息加入到其后的預測模型中，減少了模型中的搜索空間，提高了模型的效率和預測準確率。為進一步分析模型的預測效果，加入了正確的詞對齊結(jié)果，并對最后預測效果進行分析。從實驗結(jié)果可以看出，詞對齊信息對預測效果有一定的影響，而且本文的動態(tài)詞對齊策略已經(jīng)接近人工指定的效果，相對于傳統(tǒng)方法正確率可提高4.01%。

下一步的研究工作的重點是優(yōu)化調(diào)序模型，同時在模型中加入短語的預測，減少用戶翻譯句子時的選擇操作，進一步提高模型的預測正確率，提升翻譯的工作效率。

[1] Kay M.The proper place of men and machines in language translation[J].machine translation,1997,12(1-2): 3-23.

[2] Och F J, Zens R, Ney H. Efficient search for interactive statistical machine translation[C] //Proceedings of the 10 Conference on European Chapter of the Association for Computational Linguistics-Volume 1. Association for Computational Linguistics, 2003: 387-393.

[3] Foster G, Isabelle P, Plamondon P. Target-text mediated interactive machine translation[J]. Machine Translation, 1997, 12(1-2): 175-194.

[4] Och F J, Ney H.Discriminative training and maximum entropy models for statistical machine translation[C]//Proceedings of the 40th Annual Meeting on Association for Computational Linguistics.Association for Computational Linguistics,2002: 295-302.

[5] Simard M, Foster G. Pepr: Postedit propagation using phrase-based statistical machine translation[C]//Proceedings of the XIV Machine Translation Summit, 2013: 191-198.

[6] Foster G,Isabelle P,Plamondon P.Target-text mediated interactive machine translation[J].Machine Translation,1997,12(1-2): 175-194.

[7] Alabau V, Leiva L A, Ortiz-Martnez D, et al. User evaluation of interactive machine translation systems[C]//Proceedings of the 16th EAMT,2012: 20-23.

[8] González-Rubio J, Ortiz-Martínez D, Casacuberta F. On the use of confidence measures within an interactive-predictive machine translation system[C]//Proceedings of the 14th EAMT,2010.

[9] Sanchis-Trilles G, Ortiz-Martnez D, Casacuberta F. Efficient wordgraph pruning for interactive translation prediction[C]//Proceedings of the 188Annual Conference of the European Association for Machine Translation(EAMT),2014.

[10] Och F J, Ney H. Discriminative training and maximum entropy models for statistical machine translation[C]//Proceedings of the 40th Annual Meeting on Association for Computational Linguistics. Association for Computational Linguistics, 2002: 295-302.

[11] Koehn P, Och F J, Marcu D. Statistical phrase-based translation[C]//Proceedings of the 2003 Conference of the North American Chapter of the Association for Computational Linguistics on Human Language Technology-Volume 1. Association for Computational Linguistics, 2003: 48-54.

[12] Arnold D. Why translation is difcult for computers[J]. Computers and Translation: A translator’s guide, Amsterdam and Philadelphia: John Benjamins, 2003: 119-42.

[13] Kay M. The proper place of men and machines in language translation[J]. machine translation, 1997, 12(1-2): 3-23.

[14] Alabau V,Leiva L A,Ortiz-Martinezz D,et al.User evaluation of interactive machine translation systems[C]//Proceedings of the 16th EAMT.2012: 20-23.

[15] Och F J, Ney H. Improved statistical alignment models[C]//Proceedings of the 38th Annual Meeting on Association for Computational Linguistics. Association for Computational Linguistics, 2000: 440-447.

[16] Ortiz-Martnez D, Garca-Varea I, Casacuberta F. Interactive machine translation based on partial statistical phrase-based alignments[C]//Proceedings of the RANLP 2009,Borvet: ACl,2009: 330.

[17] Langlais P, Foster G, Lapalme G. TransType: a computer-aided translation typing system [C]//Proceedings of the 2000 NAACL-ANLP Workshop on Embedded machine translation systems-Volume 5. Association for Computational Linguistics, 2000: 46-51.

[18] 劉群. 基于句法的統(tǒng)計機器翻譯模型與方法[J]. 中文信息學報, 2011, 25(6): 63-71.

馬斌(1990—)，碩士研究生，主要研究領域為自然語言處理，機器翻譯。

E-mail: bin371502@163.com

蔡東風(1958—)，博士，教授，主要研究領域為人工智能，自然語言處理。

E-mail: caidf @vip.163.com

季鐸(1981—)，碩士，副教授，主要研究領域為自然語言處理，機器翻譯。

E-mail: 18640037173@163.com

Interactive Machine Translation by Dynamic Word Alignment

MA Bin, CAI Dongfeng, JI Duo, YE Na, WU Chuang

(Human-Computer Intelligence Research Center, Shenyang Aerospace University, Shenyang, Liaoning 110136, China)

1003-0077(2017)04-0044-06

TP391

A