柳路芳，李 波，陳 鵬，周凌寒，王 兵

(1.華中師范大學(xué)計算機(jī)學(xué)院，湖北 武漢 430079；2.北京吉威時代軟件股份有限公司，北京100043)

1 引言

隨著世界經(jīng)濟(jì)一體化的持續(xù)推進(jìn)，不同國家和地區(qū)的人們交流日趨頻繁，跨語言交流中的語言不通問題亟待解決，而傳統(tǒng)的語言學(xué)習(xí)、翻譯方式越來越不能適應(yīng)當(dāng)今快節(jié)奏的生活。在這樣的背景下，利用計算機(jī)技術(shù)來進(jìn)行跨語言自然語言的自動處理研究變得愈發(fā)重要和有價值。在跨語言自然語言處理應(yīng)用中，雙語詞典是一項基本資源，具有極其重要的作用。傳統(tǒng)的人工方法或基于平行語料庫構(gòu)建雙語詞典的方法開銷較大，且構(gòu)建的雙語詞典在時效性和完整性方面不甚理想。近年來，使用計算機(jī)技術(shù)自動提取雙語詞典得到了許多研究人員的關(guān)注[1]。

一般而言，雙語詞典提取方法按照所使用的語料庫類型進(jìn)行劃分，可以分為以下兩類：

第一類為基于平行語料庫的方法。該方法將平行語料庫作為語料資源，利用平行語料庫中的文檔對齊信息來進(jìn)行雙語詞典提取[2]，平行語料庫有高質(zhì)量的互譯信息，故在構(gòu)建雙語詞典的過程中具有較好的提取效果。但平行語料庫存在構(gòu)建困難的不足，目前平行語料庫僅存在于少數(shù)語種和領(lǐng)域中，嚴(yán)重影響了該方法的推廣使用[3]。

第二類為基于可比語料庫的方法?？杀日Z料庫中含有大量交叉卻又非嚴(yán)格互譯的信息，這些互譯詞語基本出現(xiàn)在語義相近但語言不同的上下文環(huán)境中，這也是該抽取方法的基礎(chǔ)[4,5]?？杀日Z料庫易于獲取，覆蓋范圍廣泛，相較于基于平行語料庫的方法，在互聯(lián)網(wǎng)技術(shù)不斷發(fā)展的今天，具有更大的發(fā)展空間。

現(xiàn)階段，基于可比語料庫的雙語詞典抽取相關(guān)研究還不夠成熟，抽取算法的性能還不能滿足實際應(yīng)用的需求，且大部分研究都集中在特定領(lǐng)域的相關(guān)專業(yè)術(shù)語的抽取。因此，近來有許多學(xué)者對其進(jìn)行優(yōu)化改進(jìn)，尤其是最近神經(jīng)網(wǎng)絡(luò)算法被應(yīng)用在機(jī)器學(xué)習(xí)等相關(guān)領(lǐng)域并取得了非常好的效果，其在自然語言處理領(lǐng)域應(yīng)用的代表性成果之一——詞向量[6]，逐步被廣泛應(yīng)用在語義擴(kuò)展和情感分析等領(lǐng)域中，在單語種環(huán)境中可以對兩個詞語的詞向量直接計算相似度且兼顧平滑功能。鑒于此，本文提出了一種基于詞向量與可比語料庫的雙語詞典抽取方法，在一定程度上提升了雙語詞典的提取準(zhǔn)確率。

2 基本假設(shè)與相關(guān)研究

2.1 基本假設(shè)

Rapp等人[7]研究表明,在單語種文本中一個單詞盡管會出現(xiàn)在不同的文本中，但是與之共同出現(xiàn)的單詞集合是大體相同的，也就是說詞語之間的相關(guān)關(guān)系具有穩(wěn)定性，后來，有其他研究者將這種相關(guān)性擴(kuò)展到了多種語言中。因此，對于可比語料庫中單詞之間的相關(guān)性，本文做出以下假設(shè)：

(2)單詞之間的相關(guān)性具有對稱性。即單詞w1和單詞w2的相關(guān)度與單詞w2和單詞w1的相關(guān)度相同。

2.2 相關(guān)研究

目前，基于可比語料庫的雙語詞典抽取算法主要有以下幾種：

(1)Tanaka等人[8]提出的基于中間語言的算法。Tanaka等人提出了一種利用中間語言從可比語料庫中進(jìn)行雙語詞典提取的方法，其主要思想是通過一種相對通用的語言如英語等作為中間語言，然后利用這種中間語言的詞表將源語言的單詞轉(zhuǎn)換為中間語言，再將轉(zhuǎn)換后的單詞轉(zhuǎn)換到目標(biāo)語言，最終完成雙語詞典的提取。然而，這種方法是基于單個單詞的，其抽取效果受中間語言的詞表的影響較大，在實際應(yīng)用中，單個的單詞常常不能表達(dá)一個比較完整的含義，而是需要與其他單詞結(jié)合起來才能表達(dá)一個完整的含義，不同的單詞組合則表達(dá)不同的含義。因此，這種基于單詞表的抽取算法的抽取效果不甚理想。

(2)Rapp等人[9]提出的基于詞語關(guān)系矩陣的算法?；?.1節(jié)的假設(shè)，在單語環(huán)境中，單詞與單詞之間存在一定的相關(guān)性，因此可以通過先確定源語言語料中的單詞與種子詞典中源語言單詞之間的相關(guān)性以及目標(biāo)語言語料庫中的單詞與種子詞典中目標(biāo)語言單詞之間的相關(guān)性來間接確定源語言與目標(biāo)語言之間的相關(guān)性?；诖耍琑app等人提出了基于詞語關(guān)系矩陣的方法從可比語料庫中提取雙語詞典，其基本思想是通過構(gòu)建源語言和目標(biāo)語言的單詞共現(xiàn)矩陣，然后通過計算矩陣的相似度來得出源語言和目標(biāo)語言的相似度。

(3)Fung等人[10]提出的基于上下文空間模型的算法。Fung等人在上述Rapp等人的思想的基礎(chǔ)上通過向量空間模型完成了雙語詞典抽取工作。其基本思想是首先為兩種語言語料庫中的所有單詞構(gòu)建上下文向量，向量中包含了與該詞共同出現(xiàn)的單詞信息并且這里的上下文窗口大小不是固定的，它根據(jù)單詞出現(xiàn)的次數(shù)的不同而變化；然后根據(jù)一些已知的互譯詞對完成源語言向量到目標(biāo)語言向量的映射；接著在目標(biāo)語言向量空間中將轉(zhuǎn)換后的向量與目標(biāo)語言中所有單詞的向量計算相似度并排序；最終根據(jù)排序結(jié)果獲取候選翻譯，從而獲得雙語詞典。由于向量空間模型的原理較為簡單，因此許多研究者利用已知的多語種互譯詞對以及高可比性的語料等外部資源對該模型進(jìn)行了一系列的優(yōu)化和改進(jìn)，并將其應(yīng)用于各種特定的自然語言處理任務(wù)中。

(4)Mikolov等人[11]提出的基于詞向量的算法。Mikolov等人于2013年提出了一種將單詞進(jìn)行向量化表示的方式，具體做法是利用神經(jīng)網(wǎng)絡(luò)語言模型以及Google海量的語料庫將單詞訓(xùn)練成為一個低維的實數(shù)向量。同時，他利用這種方式將兩種語言的語料庫中的單詞分別表示成詞向量，從而構(gòu)成了源語言和目標(biāo)語言向量空間，并證明了兩個向量空間之間存在線性關(guān)系?；诖?，通過訓(xùn)練一個線性轉(zhuǎn)換矩陣實現(xiàn)了從源語言向量空間到目標(biāo)語言向量空間的轉(zhuǎn)換，最后計算詞向量之間的相似度通過相似度排名來完成雙語詞典的提取工作。實驗表明，與其他抽取算法相比，其抽取準(zhǔn)確率有了較大幅度的提升。

3 基于詞間關(guān)系的雙語詞典抽取

根據(jù)2.1節(jié)所描述的基本假設(shè)，我們將單詞之間的相關(guān)性作為區(qū)分單詞的重要特征，提出了一種基于詞向量利用詞語間關(guān)系進(jìn)行可比語料庫中雙語詞典抽取的方法。其基本思路是：

(1)將源語言和目標(biāo)語言語料庫中的詞語訓(xùn)練成詞向量；

(2)將(1)中轉(zhuǎn)換后得到的詞向量結(jié)合已知的種子詞典構(gòu)建詞間關(guān)系矩陣，從而使源語言與目標(biāo)語言關(guān)聯(lián)起來；

(3)計算(2)中源語言單詞與目標(biāo)語言單詞之間的詞間關(guān)系向量的相似度，獲得兩種語言中兩個單詞之間互譯程度的量化結(jié)果；

(4)對相似度進(jìn)行排序，選取相似度最大的前N個單詞作為源語言中該單詞的翻譯候選集合。

算法具體流程如圖1所示。

Figure 1 Bilingual lexicon extraction based on words’ correlation 圖1 基于詞間關(guān)系的雙語詞典抽取

如圖1所示，該抽取算法的具體步驟如下：

(1)從通用雙語詞典中抽取種子詞。設(shè)種子詞對的數(shù)量為n，則形成的種子集合表示為{wsi,wti},i∈{1,2,…,n}，ws為源語言單詞，wt為ws在目標(biāo)語言中對應(yīng)的翻譯，i為單詞ws在種子詞典中的索引。

(2)通過已構(gòu)建的源語言詞向量構(gòu)建源語言語料中每個單詞與種子詞典中源語言單詞的相關(guān)度。設(shè)種子詞典中的單詞對數(shù)目為k，源語言語料庫中單詞的詞向量為n維，則種子詞典中源語言單詞集合可表示為{ws1,ws2,…,wsk}，其對應(yīng)的詞向量表示為{vs1,vs2,…,vsk}，vsi∈Rm,i∈{1,2,…,k}。對于源語言語料庫中的某一個測試單詞wsx及其對應(yīng)的詞向量表示vsx(vsx∈Rm)，其與種子詞語集合中的每個詞語相關(guān)度量化表示如下:

M(vsx,vsi)=∑1

j∈{1,2,…,k}

(1)

其中，vsi∈{vs1,vs2,…,vsk}，vsxj和vsij分別表示詞向量vsx和vsi的第j維分量。

假設(shè)上述計算完成后得到的未知單詞wsx與種子詞語集合的相關(guān)度向量用vms表示，其中vms第j維分量的值即表示其與源語言種子詞語集合中下標(biāo)索引值為j的源語言詞語的相關(guān)度值，且vms∈Rk。

(3)通過已構(gòu)建的目標(biāo)語言詞向量構(gòu)建目標(biāo)語言語料中每個單詞與種子詞典中目標(biāo)語單詞的相關(guān)度。設(shè)與源語言使用相同的種子詞典，且目標(biāo)語言語料庫中單詞的詞向量為m維，則種子詞典中源語言單詞集合可表示為{wt1,wt2,…,wtk}，其對應(yīng)的詞向量表示為{vt1,vt2,…,vtk}，vti∈Rn,i∈{1,2,…,k}。對于目標(biāo)語言語料庫中的某一個未知單詞wtx及其對應(yīng)的詞向量vtx(vtx∈Rn)，其與種子詞語集合中的每個詞語相關(guān)度量化表示與源語言相同。

同樣假設(shè)計算后得到的未知詞語wtx與種子詞語集合的相關(guān)度向量用vmt表示，其中第j維分量的值即表示其與目標(biāo)語言種子詞語集合中下標(biāo)索引值為j的目標(biāo)語言詞語的相關(guān)度值，且vmt∈Rk。最終將目標(biāo)語言語料庫中的每個單詞都計算過后即可形成目標(biāo)語言詞間關(guān)系矩陣。

(4)根據(jù)(3)中得到的目標(biāo)語言詞間關(guān)系矩陣，計算源語言詞間關(guān)系向量vms與目標(biāo)語言詞間關(guān)系向量vmt的相似度。根據(jù)其相似度的大小來判斷二者之間是否為互譯關(guān)系，相似度越大，其被視為互為翻譯的可能性越大。本文采用了夾角余弦公式計算兩個向量之間的相似度，其計算公式如下：

(2)

其中,vmsi是指源語言單詞在第i維上的分量,vmti是指目標(biāo)語言單詞在第i維上的分量,m是指該源語言單詞與目標(biāo)語言單詞都有分量的維數(shù),n指源語言單詞有分量的維數(shù)。

《資治通鑒》選取史料固然嚴(yán)謹(jǐn)，但也存在瑕疵。如何決定材料與記錄的真實可靠，往往不可依據(jù)權(quán)威，而要看材料是否原始。如果有幾種相關(guān)紀(jì)錄，可以通過對照比勘看出問題。對于非正史材料，應(yīng)該謹(jǐn)慎地考察，沒有實據(jù)，不如用既有材料。唐史史料基本可以追索淵源，不必臆斷。在有確實可依的史料時，我們依據(jù)最初記錄，這是比較可靠的。

(5)對上述得到的相似度進(jìn)行排序，選取前N個詞語作為源語言單詞wsx的候選翻譯集合，最終完成雙語詞典的提取。

4 實驗與結(jié)果分析

4.1 實驗數(shù)據(jù)與設(shè)計

我們的實驗選擇英文和法文兩個語種，并將英文作為源語言，法文作為目標(biāo)語言?？紤]到語料收集的難度，我們使用跨語言信息檢索論壇(http://www.clef-campaign.org)上的相關(guān)信息作為實驗語料，語料庫的具體規(guī)模如表1所示。

此外，訓(xùn)練詞典也是本文實驗中的一項重要資源，本文實驗中使用的詞典來源于Google翻譯[12]，具體介紹如表2所示。

Table 1 Experimental corpus

Table 2 Training dictionary size

本文實驗首先需要對語料庫進(jìn)行預(yù)處理。其中主要的預(yù)處理工作包括：

(1)去除文本中無用的特殊符號；

(2)根據(jù)指定停用詞詞表去除文本中停用詞；

(3)因為本實驗只采用語料庫中特定詞性的單詞，因此需要對源語言和目標(biāo)語言語料庫中的所有詞語做詞根還原以及詞性標(biāo)注工作；

然后，需要對語料庫中的詞語構(gòu)建詞向量。本文首先將語料庫以句子為單位進(jìn)行切分整合，然后利用Mikolov等人[13]提出的Word2vec工具分別對兩種語言的詞語構(gòu)建詞向量。此外，為了得到更佳的詞向量訓(xùn)練效果，在構(gòu)建詞向量時，我們將源語言的詞向量空間和目標(biāo)語言詞向量空間設(shè)定不同的維度值，最終訓(xùn)練完成后得到兩種語言中詞語的詞向量。

最后，通過計算兩個向量之間的相似度，來得到對應(yīng)的兩個單詞之間的相關(guān)性程度。計算兩個K維向量空間中的詞向量vs和vt的相似度，在許多實際應(yīng)用中常常采用余弦夾角公式，假設(shè)使用vsi和vti表示詞向量vs和vt在第i維的分量，則其計算公式可以表示為:

(3)

同時，本文將傳統(tǒng)的向量空間模型VSM(Vector Space Model)與基于詞向量的詞間關(guān)系模型WVR(Word Vector Relation)進(jìn)行對比實驗。首先將兩種模型的整體抽取效果進(jìn)行了對比，然后分析了上下文窗口大小、詞典大小、詞頻等因素對兩種模型最終抽取準(zhǔn)確率的影響。

我們用P@N(前N個候選翻譯的準(zhǔn)確率)作為評價指標(biāo)，其計算公式如下:

(4)

其中,RT為抽取結(jié)果中源語言單詞的數(shù)目，即在實驗中表示的是測試詞典的大?。籘(wi)是指抽取算法在單詞wi上的抽取結(jié)果；d(wi)表示單詞wi在詞典中的翻譯集合?！琒‖是指集合S是否為空，為空則其值為0，否則其值為1。

4.2 實驗結(jié)果與分析

首先，本文實驗對比了VSM和WVR兩種模型的整體抽取效果，實驗過程中我們使用默認(rèn)參數(shù)(即上下文窗口取10，詞頻為全部詞語)，其實驗結(jié)果如圖2所示。

Figure 2 Extract results of VSM model and WVR model圖2 VSM模型和WVR模型的抽取結(jié)果

如圖2所示，當(dāng)使用默認(rèn)參數(shù)時，在不同N值下，WVR模型的準(zhǔn)確率相較于VSM模型均有一定的提升，如WVR的P@1約為7.5%，較VSM(3.1%)有著極大的優(yōu)勢。在實際應(yīng)用中，P@1的性能越好越有利于后續(xù)任務(wù)的推進(jìn)，也就具有更高的實際應(yīng)用意義。

除了整體準(zhǔn)確率的比較，我們通過對以往相關(guān)文獻(xiàn)的梳理和總結(jié)，發(fā)現(xiàn)上下文窗口大小、種子詞典、詞頻等因素都會對抽取結(jié)果產(chǎn)生一定的影響。因此，下面將對這幾個因素逐一進(jìn)行分析。

首先，對于上下文窗口而言，其主要影響的是單詞的表達(dá)形式及其有效性。比如在VSM模型中，窗口選擇太小會影響單詞的上下文環(huán)境，其上下文向量不能完整表達(dá)該單詞的語義特征；窗口選擇太大又會出現(xiàn)語義冗余，引入太多噪音產(chǎn)生了語義干擾；而對于WVR模型，窗口的大小不同會影響詞向量的表達(dá)形式，進(jìn)而影響詞語之間的相關(guān)性的量化。因此，將上下文窗口的大小作為變量，其他參數(shù)設(shè)為默認(rèn)參數(shù)(即N取20，詞頻為全部詞頻)，則上下文窗口對VSM和WVR兩種模型最終抽取準(zhǔn)確率的影響如圖3所示。

Figure 3 Effect of window size on the result of the extraction圖3 窗口大小對抽取結(jié)果的影響

如圖3所示，上下文窗口對詞典抽取的準(zhǔn)確率具有較大的影響。在初始階段，VSM和WVR模型的準(zhǔn)確率均隨著窗口的增大呈現(xiàn)增大的趨勢；當(dāng)窗口大小達(dá)到10之后，WVR的準(zhǔn)確率在最優(yōu)值附近波動，趨于穩(wěn)定狀態(tài)；而VSM的準(zhǔn)確率反而有所下降。造成這種情況的原因可能是VSM的窗口過大引入了過多無用信息，從而影響抽取的準(zhǔn)確率，而WVR中窗口大到一定程度后對其詞向量的表達(dá)影響變小。

其次，種子詞典是從源語言到目標(biāo)語言轉(zhuǎn)換的中間橋梁，其大小對抽取的準(zhǔn)確率也有著不容忽視的影響。實驗中將種子詞典按比例進(jìn)行劃分，其中0.1代表種子詞典的1/10，1.0則代表整個種子詞典。實驗結(jié)果如圖4所示。從圖4中可以看出，隨著詞典的增大，兩種模型的準(zhǔn)確率有著不同程度的提升，在種子詞典達(dá)到原始種子詞典的30%(大約3 000)時，WVR的抽取效果達(dá)到最優(yōu)值并趨于穩(wěn)定狀態(tài)，并且其最優(yōu)值明顯高于VSM的。由此可見，相較于VSM模型，WVR的抽取效果受種子詞典的影響更小，并且用一個較小的種子詞典便可完成跨語言空間的轉(zhuǎn)換，從而取得較好的抽取效果。

Figure 4 Effects of seed dictionary size圖4 種子詞典大小對抽取結(jié)果的影響

最后，為了評估詞頻對抽取效果的影響，本文將測試單詞按照詞頻大小分為高頻詞、中頻詞和低頻詞三個詞段。假設(shè)wTF表示詞頻，則具體劃分標(biāo)準(zhǔn)為：

如圖5所示，在低頻詞段VSM的抽取效果略好于WVR，但隨著詞頻的增大，WVR的抽取效果明顯比VSM更好，尤其在高頻詞段，WVR的抽取效果有顯著的提升，同時也表明WVR方法更適合運用于高頻詞的雙語詞典的抽取。

Figure 5 Effects of word frequency圖5 詞頻對抽取結(jié)果的影響

5 結(jié)束語

本文提出了一種基于可比語料庫與詞向量的雙語詞典抽取方法，該方法首先利用Word2vec工具從可比語料庫中構(gòu)建詞向量，然后以種子詞典為中間橋梁，構(gòu)建詞間關(guān)系矩陣，從而評估不同語種之間單詞的相關(guān)性，最終獲取雙語詞典。同時，本文將傳統(tǒng)的向量空間模型作為參考，進(jìn)行對比實驗，實驗表明，相較于基本模型，該算法的整體抽取效果在一定范圍內(nèi)有著較為顯著的提升。同時，還通過實驗分析了上下文窗口大小、種子詞典大小和詞頻對抽取效果的影響，我們發(fā)現(xiàn)，上下文窗口大小在一定程度上對兩種模型都有較大的影響，當(dāng)窗口達(dá)到一定值時，詞間關(guān)系模型的準(zhǔn)確率達(dá)到一個最優(yōu)值并趨于穩(wěn)定狀態(tài)；對于較高詞頻的單詞，詞間關(guān)系模型的抽取準(zhǔn)確率明顯高于基本模型；而種子詞典對兩種模型的影響也是不同的，當(dāng)詞典較小時，詞間關(guān)系模型就可以完成跨語言空間的轉(zhuǎn)換，從而獲取雙語詞典，其抽取效果明顯好于基本模型。雖然本文提出的模型在準(zhǔn)確率上有顯著的提升，但實驗過程中也發(fā)現(xiàn)了一些不足之處，如語料庫中無用信息過多等。因此，下一步研究方向?qū)⒓性谌绾潍@取具有高可比度的語料庫上，以進(jìn)一步提高雙語詞典的抽取效果。

[1] Miangah T M.Automatic term extraction for cross-language information retrieval using a bilingual parallel corpus[C]∥Proc of the 6th International Conference on Informatics and Systems Special Track on Natural Language Processing,2008:81-84.

[2] Veskis K. Generation of bilingual lexicons from a parallel corpus[J].Eesti Rakenduslingvistika Uhingu Aastaraamat,2007(3):355-372.

[3] Sun Le. Automatic extraction of bilingual term lexicon from parallel corpora[J].Journal of Chinese Information Processing,2000,14(6):33-39.(in Chinese)

[4] Tamura A, Watanabe T,Sumita E.Bilingual lexicon extraction from comparable corpora using label propagation[C]∥Proc of Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning,2012:24-36.

[5] Fung P, Mckeown K.Finding terminology translations from non-parallel corpora[C]∥Proc of Annual Workshop on Very Large Corpora,1997:192-202.

[6] Turian J, Ratinov L,Bengio Y.Word representations:A simple and general method for semi-supervised learning[C]∥Proc of the 48th Annual Meeting of the Association for Computational Linguistics,2010:384-394.

[7] Rapp R. Identifying word translations in non-parallel texts[C]∥Proc of the 33rd Annual Meeting on Association for Computational Linguistics,1995:320-322.

[8] Tanaka K,Umemura K.Construction of a bilingual dictionary intermediated by a third language[C]∥Proc of the 15th Conference on Computational Linguistics，1994:297-303.

[9] Rapp R.Automatic identification of word translations from unrelated English and German corpora[C]∥Proc of the 37th Annual Meeting of the Association for Computational Linguistics on Computational Linguistics,1999:519-526.

[10] Fung P.Compiling bilingual lexicon entries from a non-parallel English-Chinese corpus[C]∥Proc of the 3rd Workshop on Very Large Corpora,2010:173-183.

[11] Mikolov T, Le Q V,Sutskever I.Exploiting similarities among languages for machine translation[J].arXiv preprint arXiv,2013:1309-4168.

[12] http://translate.google.cn/.

[13] Mikolov T.Word2vec project[EB/OL].[2014-11-10].https://code.google.com/p/ word2vec/.

附中文參考文獻(xiàn)：

[3] 孫樂.平行語料庫中雙語術(shù)語詞典的自動抽取[J].中文信息學(xué)報,2000,14(6):33-39.