劉博佳 徐金安 陳鈺楓 張玉潔

?

基于字形與語音的音譯單元對齊方法

劉博佳 徐金安?陳鈺楓 張玉潔

北京交通大學(xué)計算與信息技術(shù)學(xué)院, 北京 100044; ?通信作者, E-mail: jaxu@bjtu.edu.cn

為了解決僅采用基于語音或基于字形的音譯方法造成的誤差過大問題, 以漢英音譯為主要研究對象, 運(yùn)用統(tǒng)計與規(guī)則的理論思想, 提出融合基于語音和字形的音譯單元對齊方法, 設(shè)計了4個實(shí)驗, 與傳統(tǒng)方法進(jìn)行對比。實(shí)驗結(jié)果顯示, 該方法能夠很好地提高機(jī)器音譯的準(zhǔn)確性。

機(jī)器音譯; 對齊; N-gram 模型; 基于語音的音譯方法; 基于字形的音譯方法

在自然語言處理應(yīng)用中, 機(jī)器音譯常被用于解決未登錄詞(out-of-vocabulary, OOV)的問題, 音譯結(jié)果的準(zhǔn)確度直接影響到實(shí)際應(yīng)用[1]。對于采用不同字母表和發(fā)音系統(tǒng)的不同語系之間(如英語與漢語, 英語與日語, 英語與阿拉伯語等), 機(jī)器音譯的難度往往很大。根據(jù)音譯的方向, 可以分為正向音譯(forward-transliteration)和反向音譯(backward-transliteration), 也可分為基于規(guī)則的方法和基于統(tǒng)計的方法。經(jīng)過歷年的發(fā)展, 音譯的主流方法經(jīng)歷了從基于規(guī)則到基于統(tǒng)計的發(fā)展過程[1]。根據(jù)音譯要素分類, 主要分為基于語音(phoneme-based)的音譯框架[2]和基于字形(grapheme-based)的音譯框架[3]。

基于規(guī)則的方法需要人工針對特定的語言對和音譯方向建立音譯規(guī)則[4]。Wan等[4]提出從英文到中文的基于規(guī)則的正向音譯方法, 該方法的思想被大量應(yīng)用在規(guī)則音譯系統(tǒng)中。蔣龍等[5]指出, 規(guī)則的音譯框架采用跨語言的語音對應(yīng)表, 這種方法的典型不足就是不能為表中的每一種對應(yīng)提供一個概率值, 以便排序選擇最優(yōu)翻譯。同時, 由于完備的規(guī)則系統(tǒng)需要完全通過手工撰寫語言規(guī)則, 需要很大的人力投入, 且獲取的規(guī)則不容易泛化。因此, 隨著NLP領(lǐng)域的發(fā)展, 機(jī)器音譯的方法逐漸向統(tǒng)計方法靠攏。

在基于統(tǒng)計方法的音譯中, 經(jīng)常使用對齊模型 IBM model 1-3和HMM[3]。GIZA++①是一個融合了IBM model 1-5 和 HMM 模型的開源對齊工具。很多音譯方法將一個音譯人名對看做SMT中的一個句子對[6], 將每個音譯單元看做句子中的單詞, 并直接使用 GIZA++進(jìn)行對齊, 取得較好的翻譯效果。

理論上, 基于語音的音譯框架能夠更好地提高準(zhǔn)確率。Gao等[7]在2004年提出一種不同于噪聲信道模型的基于音素的音譯模型, 直接使用源語言到目標(biāo)語言的生成概率計算音譯結(jié)果。但是, 由于一個音譯單元可能存在多種發(fā)音形式, 并且由于不同語系之間拼寫規(guī)則的不同, 從源語言的語音轉(zhuǎn)化成目標(biāo)語言語音的步驟之間存在很大誤差?；谧中蔚囊糇g框架能夠避免從字形轉(zhuǎn)換到語音, 從語音再還原成字形的音譯單元的誤差, 擺脫對發(fā)音規(guī)則的依賴。李海舟研究小組[6,8–9]在英到中的音譯中使用直接對齊, 采用基于噪聲信道模型進(jìn)行音譯, 取得較好的效果, 但是由于跳過了語音環(huán)節(jié), 會不可避免地產(chǎn)生信息丟失。

綜合考慮以上方法的優(yōu)缺點(diǎn), 本文在構(gòu)建基于統(tǒng)計機(jī)器音譯框架后, 引入音譯方法中的規(guī)則, 在使用基于字形的音譯框架的同時, 融合語音要素的音譯方法, 提出音譯單元的融合對齊方法。

1 流程描述

按本文方法構(gòu)建的音譯系統(tǒng)的流程如圖1所示, 主要包括數(shù)據(jù)前處理、訓(xùn)練音譯模型、解碼實(shí)驗及后處理4個部分。

首先, 在前處理階段, 數(shù)據(jù)來源分為訓(xùn)練語料與測試語料。將雙語平行訓(xùn)練語料分別按照基于字母的音節(jié)劃分規(guī)則和基于字形與字音并結(jié)合漢語與英語音節(jié)細(xì)劃分規(guī)則, 進(jìn)行音譯單元的粗劃分與細(xì)劃分。將測試語料也依據(jù)給出的音節(jié)劃分規(guī)則進(jìn)行相應(yīng)的音譯單元的劃分操作。第2步, 將已劃分好音譯單元的訓(xùn)練語料用提出的方法進(jìn)行雙語音譯單元對的對齊。第3步, 用已對齊的平行語料訓(xùn)練音譯模型。第4步, 對已劃分好音譯單元的源語言測試語料進(jìn)行解碼實(shí)驗。第5步, 將解碼實(shí)驗之后輸出的目標(biāo)語言音譯結(jié)果進(jìn)行還原操作, 主要是進(jìn)行音譯單元的還原與格式還原。同時, 倘若出現(xiàn)數(shù)據(jù)稀疏問題所造成的未登錄詞, 則引入維基百科的數(shù)據(jù), 用于解決未登錄詞的翻譯問題, 有效地緩解數(shù)據(jù)稀疏問題。

本文主要論述音譯系統(tǒng)中前處理、訓(xùn)練模型與解碼實(shí)驗的部分, 后處理部分只做簡單敘述。

2 數(shù)據(jù)前處理

前處理部分的重點(diǎn)在于對源語言語料與目標(biāo)語言語料進(jìn)行音譯單元的劃分。我們采取基于音節(jié)的音譯單元劃分規(guī)則, 將音譯單元的劃分過程分為粗劃分和細(xì)劃分兩個階段。

2.1 音譯單元粗劃分階段

英文名的音節(jié)劃分規(guī)則是按照文獻(xiàn)[5]給出的規(guī)則方法, 首先將英文26個字母進(jìn)行分類, 分類情況如表1所示。完成對英文字母的分類后, 按照表2所示的音節(jié)劃分規(guī)則進(jìn)行粗劃分。

表1 英文字母分類情況

表2 音譯單元粗劃分規(guī)則

2.2 音譯單元細(xì)劃分階段

根據(jù)以上粗劃分的結(jié)果, 我們發(fā)現(xiàn)劃分后的語料中存在一些不合理現(xiàn)象, 如音譯對“埃利歐/E LIOU”、“羅密歐/ROM MEO”、“阿布拉霍爾/A B RA HA L L”等, 通過日常的發(fā)音習(xí)慣可以清楚地分辨出, 此處出現(xiàn)的“歐”或單獨(dú)的“L”和“R”等均是用于輔助前一音節(jié)發(fā)音的作用, 此時將它們與前一音節(jié)合并為一個音節(jié)更符合發(fā)音規(guī)律。經(jīng)統(tǒng)計, 此種情況不在少數(shù)。

因此, 我們依照數(shù)據(jù)統(tǒng)計結(jié)果改良發(fā)音規(guī)則, 對粗劃分的劃分結(jié)果進(jìn)行細(xì)化, 如表3所示。例如, 對于給定英文名CHURTON, 它的音譯單元劃分過程如圖2所示。

表3 音譯單元細(xì)劃分規(guī)則

在以往的研究中, 對于音節(jié)的劃分方法常常局限在一個步驟上, 缺少相應(yīng)的細(xì)化過程, 會對后面步驟的效果產(chǎn)生影響。本文采用兩個階段的劃分過程, 經(jīng)實(shí)驗2和3 (見5.2節(jié))論證, 能夠更好地提升音譯效果。

3 音譯模型

3.1 規(guī)則與統(tǒng)計相結(jié)合的自動對齊方法

音譯單元等級自動對齊的主要目的在于使?jié)h英雙語名字各自的音譯單元相互對齊。例如上述例子“丘頓/CHUNTON”, 自動對齊的結(jié)果就是“丘/ CHUN”和“頓/TON”。在機(jī)器音譯中, 雙語音譯單元的對齊效果直接影響音譯結(jié)果的好壞, 同時由于在音譯過程中不存在音譯單元的調(diào)序問題, 通常情況下, 源語言音譯單元的對齊結(jié)果就是目標(biāo)語言相同序號的音譯單元。

由于在上一步分詞過程中常存在源語言與目標(biāo)語言劃分的音譯單元個數(shù)不同的情況, 一般的自動對齊常存在一對多與一對空的問題, 這樣的對齊結(jié)果往往不具有代表性, 對提升音譯效果起阻礙作用。因此, 自動對齊的難點(diǎn)在于選擇正確的音譯單元對, 盡量消除上述問題。我們采用基于規(guī)則的自動對齊算法, 具體步驟如下。

1)對于分詞后漢語與英語名字音譯單元個數(shù)相同的情況, 采取直接對齊的規(guī)則, 即將相同序號的音譯單元對齊, 形成音譯單元對, 例如: “歐文/ER WIN”。

2)對于分詞后漢語與英語名字音譯單元個數(shù)不相同的情況。

①首先將漢語名字分詞結(jié)果轉(zhuǎn)化成拼音的表示形式, 例如, “埃格德/AAGAARD”表示為“AI4 (1) GE2(2) DE2(3)/AA(1) GAA(2) R(3) D(4)”。

②根據(jù)音節(jié)首字母匹配規(guī)則, 以漢語的音譯單元首字母為準(zhǔn), 分別對應(yīng)英語的音節(jié)首字母, 即用A, G, D這3個字母, 將英文名字“AAGAARD”重新劃分成“AA”、“GAAR”和“D”三部分。同時根據(jù)漢英字母發(fā)音的規(guī)律, 按照文獻(xiàn)[4]中的權(quán)重分配規(guī)則, 將劃分方式進(jìn)一步細(xì)化。

③經(jīng)過上述步驟, 將得到一個英語名字的一種或幾種的劃分方式<,>i, (=1,2, …,)。

⑤計算第種劃分方式中, 單個音譯單元對<c,e>的概率:

其中, |<c,e>|與|<c>|表示該音譯單元對在所有對齊方式中的統(tǒng)計與在所有名字中對應(yīng)音譯單元的統(tǒng)計。

⑥計算第種劃分方式的概率:

比較種劃分方式的概率大小, 取概率值最大的劃分方式作為最終劃分方式。

3.2 N-gram音譯模型

對于漢英方向機(jī)器音譯, 假設(shè)中文名與英文名可以以字符序列的方式表示, 其中, 中文名表示為=123…x(表示中文名漢字?jǐn)?shù)), 英文名表示為123…y(表示英文名字母數(shù)), 經(jīng)過前處理與對齊的步驟后, 中、英人名對被分別表示為音譯單元的序列。

中文名字:=123…c;英文名字:123e。c和e(=1, 2, 3, …,=1, 2, 3, …)分別表示第或個中文或英文音譯單元, 即中英文音譯單元的數(shù)目相同。

由此, 中文音譯單元c與英文音譯單元e就形成對齊關(guān)系。與的對齊關(guān)系表示如下:

其中, 一個中文音譯單元中可能包含一個至多個漢字, 一個英文音譯單元中可能包含一個至多個英文字母。

根據(jù)上述,,的定義, 漢語到英語的音譯過程可以用下式推導(dǎo):

其中,(,,)表示,,的聯(lián)合概率。

經(jīng)過實(shí)驗對比, 我們采取N-gram的音譯模型, 其中=3, 式(3)重寫為

4 數(shù)據(jù)后處理

4.1 還原操作

經(jīng)過解碼實(shí)驗, 輸出的最優(yōu)結(jié)果是以音譯單元形式表示的目標(biāo)語言人名(本文研究的音譯方向為漢到英, 因此輸出的目標(biāo)語言為英語)的形式, 這并不是我們真正需要的音譯結(jié)果, 因此, 需要對該數(shù)據(jù)進(jìn)行還原處理, 我們主要進(jìn)行了兩個步驟的還原操作。

1)音譯單元還原操作。在音譯單元的劃分階段, 特別是在細(xì)劃分階段, 存在將鼻音{m, n}雙寫的情況, 所以在解碼實(shí)驗輸出結(jié)果的音譯單元中也存在這種情況。因此, 當(dāng)出現(xiàn)“mm”或“nn”時, 若其前后是被元音包圍的情況, 將其改為“m”或“n”。

2)格式還原操作。在實(shí)際音譯單元劃分過程中, 音譯單元與音譯單元之間是以空格區(qū)分的。因此, 此處的格式還原操作為去除音譯單元之間的分隔符, 將其還原為一個單詞的形式。

4.2 數(shù)據(jù)稀疏處理

在音譯過程中不可避免地會產(chǎn)生數(shù)據(jù)稀疏問題, 本研究使用維基百科的數(shù)據(jù)來緩解這一問題。主要方法是, 將出現(xiàn)數(shù)據(jù)稀疏問題的源語言人名再次進(jìn)行前處理操作, 同時從維基百科中抽取漢英人名對作為參考語料, 對其進(jìn)行與之前的訓(xùn)練語料相同的處理操作后, 利用式(1)和(2), 選取與問題人名中音譯單元對應(yīng)的概率最大的目標(biāo)語言音譯模型, 并將其作為新的解碼實(shí)驗的輸出結(jié)果, 再進(jìn)行還原操作。

5 實(shí)驗分析

實(shí)驗使用的雙語語料來自I2R2009的音譯數(shù)據(jù)[6,8–9]。該數(shù)據(jù)包含31961條惟一的英文詞條及其對應(yīng)的官方音譯結(jié)果, 各部分?jǐn)?shù)據(jù)的使用量如表4所示。

表4 實(shí)驗數(shù)據(jù)

5.1 實(shí)驗評價

對于本次實(shí)驗結(jié)果的評價方法, 采用的是PRF系統(tǒng)評測模型, 其中(Precision)為準(zhǔn)確率,(Recall)為召回率,值用于均衡準(zhǔn)確率與召回率的誤差。本次實(shí)驗中對準(zhǔn)確的定義是音譯結(jié)果與參考集中給定的參考結(jié)果完全一致。

5.2 實(shí)驗結(jié)果

為從整體上比較本文方法與只使用基于字形的音譯方法, 我們設(shè)計了以下4個實(shí)驗。

1)基線實(shí)驗。本文基線系統(tǒng)采用文獻(xiàn)[10]提出的方法, 以評價提出方法的性能。僅采用基于字形的音譯單元對齊方法, 對英文語料進(jìn)行簡單的按音節(jié)的音譯單元劃分方法, 對中文語料采取按空格音譯劃分方法, 并用GIZA++工具進(jìn)行音譯單元的對齊, 訓(xùn)練音譯模型并輸出最好的一個結(jié)果, 將其實(shí)驗結(jié)果作為對比參照。

2)粗劃分實(shí)驗。將訓(xùn)練語料只進(jìn)行音譯單元的粗劃分, 并用GIZA++工具進(jìn)行簡單的漢英音譯單元的對齊, 訓(xùn)練我們的音譯模型, 并輸出最好的一個結(jié)果。

3)雙重劃分實(shí)驗。將訓(xùn)練語料進(jìn)行音譯單元的粗劃分與細(xì)劃分, 并使用GIZA++工具進(jìn)行簡單的漢英音譯單元對齊, 訓(xùn)練我們的音譯模型, 并輸出最好的一個結(jié)果。

4)對齊改進(jìn)實(shí)驗。將訓(xùn)練語料進(jìn)行音譯單元的粗劃分與細(xì)劃分, 并使用我們提出的對齊改進(jìn)方法處理對齊結(jié)果, 用該數(shù)據(jù)訓(xùn)練我們的音譯模型, 并將Top1作為輸出結(jié)果。

與基線系統(tǒng)相比, 我們的系統(tǒng)得到較好的性能表現(xiàn)(表5), 分析如下。

1)單純的基于字形的音譯方法, 音譯效果不理想, 例如“斯滕尼/STENY”, 用該方法的輸出結(jié)果是“STENNY”, 而在其他兩個實(shí)驗中均能獲得正確結(jié)果。這種鼻音的單寫雙寫問題在現(xiàn)實(shí)應(yīng)用中并不少見, 因此該方法不能直接用于機(jī)器音譯中。

2)引入新的劃分步驟之后, 音譯單元的劃分更加準(zhǔn)確, 例如“斯托克邁/STOCKMAYER”, 在粗劃分時會被劃分成“斯托克邁/S TO C K MA YE R”, 英文音譯單元明顯劃分不夠準(zhǔn)確, 在經(jīng)過細(xì)劃分后, 成功地變?yōu)橐浴癝 TO CK MA YER”表示的更準(zhǔn)確的形式。音譯系統(tǒng)的準(zhǔn)確率、召回率與值均有提高, 足以證明該方法的可行性。

3)運(yùn)用我們提出的對齊方法后,,和值都有明顯提升, 進(jìn)一步驗證了字形與語音融合的音譯單元對齊方法既降低了語音轉(zhuǎn)換步驟中的誤差, 又減輕了僅采用基于字形的方法造成的信息對視問題。由此可以得出, 基于字形和語音的音譯單元對齊方法能夠提高音譯的效果。

6 總結(jié)及未來工作

本文提出一種新的融合的方法用于音譯單元的劃分與對齊過程。經(jīng)過實(shí)驗驗證得知, 我們提出的方法能夠很好地提高音譯的準(zhǔn)確率, 同時在解決音譯單元對齊的一對多與一對空問題方面表現(xiàn)較好。本研究有如下創(chuàng)新。

1)提出融合字形與語音的音譯單元對齊方法。在以往的研究成果中, 大部分的工作將關(guān)注點(diǎn)投放在字形或者語音音素一個縱向的方面。在本次研究中, 我們致力于將字形與語音的研究成果結(jié)合起來, 吸收兩者的優(yōu)點(diǎn), 彌補(bǔ)其中一方的缺點(diǎn), 更好地提升音譯效果。

2)結(jié)合規(guī)則與統(tǒng)計音譯方法各自的優(yōu)點(diǎn), 提出規(guī)則與統(tǒng)計相結(jié)合的音譯單元劃分與自動對齊的方法, 將其運(yùn)用在相應(yīng)過程中, 并通過實(shí)驗驗證了該方法的可行性。

但是, 對于來源不同的英、漢人名, 存在不同的音譯習(xí)慣, 在我們的音譯過程中并沒有很好地解決這個問題。下一步的工作將引入更多的音譯單元劃分規(guī)則與對齊規(guī)則, 同時更好地利用維基百科的數(shù)據(jù), 對來源不同的人名進(jìn)行不同處理, 希望能夠進(jìn)一步提高音譯的效果。

[1]李婷婷. 基于非參數(shù)貝葉斯學(xué)習(xí)的多語言人名音譯研究[D]. 哈爾濱: 哈爾濱工業(yè)大學(xué), 2013

[2]Lin Weihao, Chen Hsin-Hsi. Backward machine transliteration by learning phonetic similarity // Pro-ceedings of the 6th Conference on Natural Language Learning. Taipei, 2002: 1–7

[3]Zaidan O. Z-MERT: a fully configurable open source tool for minimum error rate training of machine translation systems. Prague Bulletin of Mathematical Linguistics, 2009, 91: 79–88

[4]Wan S, Verspoor C M. Automatic English-Chinese name transliteration for development of multilingual resources // Processing of the 17th ICCL. 1998: 1352–1356

[5]蔣龍, 周明, 簡立峰. 利用音譯和網(wǎng)絡(luò)挖掘翻譯命名實(shí)體. 中文信息學(xué)報, 2007, 21(1): 23–29

[6]Li Haizhou, Kumaran A, Zhang Min, et al. Whitepaper of NEWS 2009 machine transliteration shared task // Proceedings of the 2009 Named Entities Workshop: Shared Task on Transliteration. Singapore: Association for Computational Linguistics, 2009: 19–26

[7]Gao Wei, Wong Kam-Fai, Lam Wai. Phoneme-based transliteration of foreign names for OOV problem // Proceedings of the 1st International Joint Conference on Natural Language Proceedings, Lecture Notes in Computer Science. Hainan, 2004: 110–119

[8]Li H, Zhang M, Su J. A joint source-channel model for machine transliteration // Proceedings of the 42nd Annual Meeting on Association for Computational Linguistics. Barcelona, 2004: 1190–1194

[9]Zhang Min, Li Haizhou, Su Jian. Direct orthogra-phical mapping for machine transliteration // Proceed-ings of the 20th International Conference on Compu-tational Linguistics (COLING’04). Sydney, 2004: 716–722

[10]Wang Dandan, Yang Xiaohui, Xu Jin’an, et al. A hybrid transliteration model for Chinese/English named entities — BJTU-NLP Report for the 5th Named Entities Workshop. Beijin, 2015

Integrating of Grapheme-Based and Phoneme-Based Transliteration Unit Alignment Method

LIU Bojia, XU Jin’an?, CHEN Yufeng, ZHANG Yujie

School of Computer and Information, Beijing Jiaotong University, Beijing 100044; ? Corresponding author, E-mail: jaxu@bjtu.edu.cn

In order to solve the errors caused by only using the pheneme-based method or the grapheme-based method, applying the theory of statistics and rules, this paperproposes a new method for transliteration unit alignment which integrates the two main transliteration methods. Four experiments are designed to compare with the traditional methods. Experimental results show that proposed method outperforms other methods in terms of performance in machine transliteration.

machine transliteration; alignment; N-gram model; grapheme-based method; phoneme-based method

10.13209/j.0479-8023.2016.001

TP391

2015-06-18;

2015-08-16; 網(wǎng)絡(luò)出版日期: 2015-09-29

國家自然科學(xué)基金(61370130, 61473294)、中央高?；究蒲袠I(yè)務(wù)費(fèi)專項資金(2014RC040)和國家國際科技合作專項(2014DFA11350)資助

① http://www-i6.informatik.rwth-aachen.de/Colleagues/och/software/GIZA++.html