王 星,單力秋，侯 磊，于濟(jì)凡，陳 吉，陶明陽

(1. 遼寧工程技術(shù)大學(xué) 電子與信息工程學(xué)院，遼寧 葫蘆島 125105；2. 清華大學(xué) 計算機(jī)科學(xué)與技術(shù)系，北京 100084；3. 清華大學(xué) 人工智能研究院知識智能研究中心，北京 100084；4. 清華大學(xué) 北京信息科學(xué)與技術(shù)國家研究中心，北京 100084)

0 引言

隨著信息技術(shù)的飛速發(fā)展，不同國家和地區(qū)之間的交流日趨頻繁，這使得跨語言自然語言處理顯得愈發(fā)的有價值。在跨語言自然語言處理中，雙語詞典是一項非常重要的資源，其可以提供詞匯語義的跨語言等價信息[1]，對許多跨語言自然語言處理任務(wù)很有幫助，例如，跨語言信息檢索[2]、機(jī)器翻譯[3]、跨語言標(biāo)注投射[4]等。

隨著社會的發(fā)展，新的概念、術(shù)語層出不窮，專業(yè)領(lǐng)域新詞不斷涌現(xiàn)，手工編纂雙語詞典的方法已經(jīng)無法及時滿足需求[5]。近年來，使用計算機(jī)技術(shù)自動提取雙語詞典的方法得到了許多研究人員的關(guān)注[6]。一般來說，使用計算機(jī)技術(shù)自動提取雙語詞典的方法按照語料庫的不同分為基于平行語料庫的方法和基于可比語料庫的方法[7]。但是這兩種方法往往會因為沒有足夠多對應(yīng)的雙語語料，以至于無法提取出新詞或者某些技術(shù)術(shù)語[8-9]。Nagata等人[9]在2001年指出，對于某些技術(shù)術(shù)語，可以從部分雙語數(shù)據(jù)中獲得其雙語信息。例如，在日語中，當(dāng)引入眾所周知的詞(如技術(shù)術(shù)語或名稱)時，通常在第一次使用后在括號中添加與之等價的英文。不僅僅是日語，在中文中也常會出現(xiàn)這種情形，例如，在“姚明”的百科信息中，就存在“姚明(Yao Ming)，男，漢族”的信息，名詞“姚明”的后面就是括號和姚明的英文?；诖耍現(xiàn)rancis Bond[8]在2008年提出了一種在部分雙語語料中提取雙語術(shù)語的方法，但由于該方法的語料庫為論文集、期刊文章以及IT新聞中的文本，故該方法缺少對文本內(nèi)容以外部分的提取。

針對此類不足，本文以中英文兩種語言為例，提出了一種基于百科語料的中英文雙語詞典提取方法。網(wǎng)上的資源豐富、種類繁雜，而且更新很快，幾乎所有新出現(xiàn)的概念或術(shù)語都會在網(wǎng)上有所論述[10]，而在線百科是對這些資源的匯總，故對在線百科進(jìn)行專門的雙語詞典提取能夠提取出新詞和技術(shù)術(shù)語。本方法在一定程度上彌補(bǔ)了基于平行語料庫和基于可比語料庫兩種方法的不足，同時相比于只從部分雙語語料文本內(nèi)容里提取雙語信息的方法，本方法結(jié)合了在線百科特有的結(jié)構(gòu)特點，多提取到了一倍多的雙語信息。但也由于在線百科是不斷更新的，我們的語料庫是離線的源代碼，可能會出現(xiàn)術(shù)語覆蓋不全面的情況，因此我們的語料庫也需要定期的更新。

本方法一共分為兩大模塊，分別對百科語料進(jìn)行了五種不同的提取方法，其中第一模塊的三種提取方法的成功率都達(dá)到了98%以上，五種提取方法提取到的雙語信息進(jìn)行綜合查重后的數(shù)量為969 308條。與其他方法不同，由于本方法所使用的語料庫是其他方法沒有使用過的百科語料，故本方法的評價指標(biāo)是總的提取數(shù)量和提取的成功率。綜上所述，本文的貢獻(xiàn)主要體現(xiàn)在以下三點： 一是本文提出了一種對新詞和技術(shù)術(shù)語有很好的提取效果的雙語詞典的提取方法；二是首次直接使用了百科語料作為語料庫進(jìn)行雙語詞典的提?。蝗潜痉椒ㄏ啾然诓糠蛛p語語料文本內(nèi)容的方法、在百科語料的數(shù)據(jù)集上對雙語信息的提取效果有顯著提升。

1 相關(guān)研究

目前，提取雙語詞典的方法有基于平行語料庫的方法、基于可比語料庫的方法和基于部分雙語語料的方法。

基于平行語料庫的方法是利用平行語料庫中的高質(zhì)量的雙語文檔對齊信息來進(jìn)行雙語詞典提取的[11-12]。這種方法以孫樂等人[11]在2000年完成的基于中英文平行語料庫的雙語詞典自動抽取的工作為代表，他們首先對平行語料進(jìn)行句子對齊，其次對英語語料進(jìn)行詞性標(biāo)注，對中文語料進(jìn)行切分并做詞性標(biāo)注，統(tǒng)計名詞和名詞短語生成候選術(shù)語集、計算中英文的翻譯概率，最后通過設(shè)定閾值來選取中文翻譯，得到雙語詞典。平行語料庫是由同一個文件的兩種或者多種不同的語言表達(dá)所產(chǎn)生的語料組成，所以利用該方法來構(gòu)建雙語詞典具有很好的提取效果。但平行語料庫的構(gòu)建比較困難，僅存于少數(shù)語種和少數(shù)的領(lǐng)域之中，不利于該方法的推廣使用。相比之下，基于可比語料庫的方法則解決了這一問題。

基于可比語料庫的方法是利用可比語料庫中大量交叉但不是嚴(yán)格互相翻譯的雙語信息進(jìn)行雙語詞典的提取[13-14]，這些互譯的雙語信息詞語基本出現(xiàn)在內(nèi)容、語域、交際環(huán)境等方面相近的不同語言文本上下文環(huán)境中。1995年，Rapp[15]發(fā)現(xiàn)： 在單語種文本中，一個單詞會出現(xiàn)在不同的文本中，而且與這個單詞共同出現(xiàn)的單詞集合是基本一樣的，說明單詞的共現(xiàn)關(guān)系具有穩(wěn)定性，這種規(guī)律也被推廣到了多語言中。基于此，Rapp[16]在1999年提出了基于詞語關(guān)系矩陣從可比語料庫中提取雙語詞典的方法；張永臣等人[17]在2006年提出了基于Web數(shù)據(jù)的特定領(lǐng)域雙語詞典抽取。近年來，基于神經(jīng)網(wǎng)絡(luò)的方法得到的詞向量[18]被廣泛應(yīng)用于各個領(lǐng)域，這種詞向量表示也為雙語詞典構(gòu)建的方法打開了新思路。一部分基于詞向量的方法首先把兩種語言的每個詞表示成詞向量[19-25]，然后為兩種語言的向量空間建立聯(lián)系，得到共有的雙語詞向量空間；另一部分基于詞向量的方法是直接訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型得到共有的雙語詞向量空間[26-29]，這些方法的共同點是在得到共有的雙語詞向量空間之后，在雙語詞向量空間中進(jìn)行查找，獲取雙語詞典。與平行語料相比，可比語料更容易獲得，且存在于大量的語種和領(lǐng)域中，便于推廣使用。但是這兩種方法在提取新詞或者某些技術(shù)術(shù)語時都存在雙語資源匱乏的問題，對此，衍生出來了一種基于部分雙語語料的方法。

基于部分雙語語料的方法可以從部分雙語數(shù)據(jù)(又稱“主要使用一種語言的數(shù)據(jù)”)中提取出雙語詞典。Nagata等人[9]指出，對于某些技術(shù)術(shù)語，可以從部分雙語數(shù)據(jù)中獲得雙語信息，這種部分雙語數(shù)據(jù)通常是來自新聞或者一些領(lǐng)域內(nèi)的文章，故此類方法對新詞和一些技術(shù)術(shù)語的雙語信息有很好的提取效果。這種方法主要以Francis Bond[8]的工作為代表，其方法是通過使用部分雙語數(shù)據(jù)中明確的提示(括號中的單詞)來提高精度，查找出所有出現(xiàn)的“詞(翻譯)”，并將其編譯為詞典;Cao等人于2018年提出了一種基于超鏈接的半監(jiān)督雙語詞典提取方法[30]，這兩種方法給我們提供了啟發(fā)。

2 方法描述

為提取到所有新詞和技術(shù)術(shù)語，本方法對所有的百度百科詞條源代碼進(jìn)行了提取。在Francis Bond[8]的思想基礎(chǔ)上，本方法融合了基于在線百科特有的基本信息框提取和基于Web標(biāo)簽特有的超鏈接提取，在一定程度上提高了雙語詞典的提取效果。

本方法的原理框圖如圖1所示，首先對百度百科詞條的源代碼進(jìn)行預(yù)處理，并把百度百科詞條分成三個部分，分別是詞條摘要、基本信息框和正文內(nèi)容；然后分別對這三個部分進(jìn)行對應(yīng)的五種不同方法的提取，得到對應(yīng)的提取結(jié)果；最后進(jìn)行綜合查重，把這五種提取方法的提取結(jié)果按照不同的權(quán)重綜合到一個雙語詞典之中。

圖1 基于百科語料的中英文雙語詞典提取原理框圖把百度百科詞條分成詞條摘要、基本信息框和正文內(nèi)容三個部分，分別對這三個部分進(jìn)行對應(yīng)的五種不同方法的提取，對提取結(jié)果進(jìn)行綜合查重并融合到一個雙語詞典之中，其中基于詞條摘要、基于基本信息框和基于詞條正文的三種提取方法組成了基于單百科詞條的雙語詞典提取模塊，基于超鏈接和基于正則匹配括號的兩種提取方法組成了基于多百科詞條的雙語詞典提取模塊。

根據(jù)使用百科詞條數(shù)量的不同，本方法分為基于單百科詞條的雙語詞典提取和基于多百科詞條的雙語詞典提取兩大模塊，一共五種提取方法，其中： ①基于基本信息框的提取方法利用了基本信息框中結(jié)構(gòu)化的數(shù)據(jù)，因結(jié)構(gòu)化的數(shù)據(jù)置信度高，數(shù)據(jù)的質(zhì)量也比較可靠[31]，所以非常適合提取雙語信息；②基于超鏈接的提取方法利用了Web標(biāo)簽的性質(zhì)，每一條超鏈接都有可能代表著一個新詞或者技術(shù)術(shù)語；③基于詞條摘要、基于正文及基于正則匹配括號這三種提取方法，由于語料均可以視為部分雙語語料的文本內(nèi)容，故用到了Francis Bond[8]的提取思想，即利用部分雙語語料中的特殊字符進(jìn)行提取，比如在文本中提到某些新詞或者技術(shù)術(shù)語時，有的會有一個括起來的英語解釋，這種提取方法就是利用此線索來提取出雙語信息，不同的是，百度百科中括號里面可能會有部分中文信息，例如，“英文： ”“英語： ”“學(xué)名： ”等，本文方法是在匹配到這些中文信息之后先將中文信息剔除，再進(jìn)行英文信息提取。

2.1 基于單百科詞條的雙語詞典提取模塊

單個百度百科詞條的內(nèi)容通常由三個部分組成，分別是詞條摘要(詞條簡介)、基本信息框和詞條的正文部分，所以基于單百科詞條的雙語詞典的提取模塊分別對這三部分進(jìn)行提取。首先對百度百科源代碼進(jìn)行預(yù)處理，取出詞條名稱、詞條摘要和詞條正文的文字部分，對詞條摘要和詞條正文進(jìn)行詞條名稱的正則匹配，做對應(yīng)的基于部分雙語語料的提取，對于基本信息框部分則保留其原本的代碼形態(tài)，我們可以使用專門的方法來對其進(jìn)行提取。

2.1.1 基于詞條摘要的雙語詞典提取方法

有些詞條的詞條摘要部分會出現(xiàn)該詞條的名稱及其對應(yīng)的英文，并會用全角或者半角的小括號括起來。例如，如圖2所示，“數(shù)據(jù)挖掘”的百度百科詞條中，詞條摘要的第一句話就是“數(shù)據(jù)挖掘(Data mining)又譯為資料探勘、數(shù)據(jù)采礦。”我們可以用正則來檢索詞條摘要里是否有詞條名稱“數(shù)據(jù)挖掘”和其后面是括號英文，如果有再用正則提取出括號里的內(nèi)容，從這個詞條摘要中我們就抽取出來了“數(shù)據(jù)挖掘”及英文“Data mining”這一對雙語信息。

圖2 “數(shù)據(jù)挖掘”百科詞條中摘要部分出現(xiàn)了該詞條的雙語信息

2.1.2 基于基本信息框的雙語詞典提取方法

有些詞條摘要的下面可能擁有該詞條的基本信息框。如圖3所示，“數(shù)據(jù)挖掘”的百度百科詞條的詞條摘要下面就存在這樣的信息框，信息框中的外文名屬性對應(yīng)的屬性值即為該詞條的英文信息，從這個基本信息框的源代碼中我們先檢索屬性是否為外文名，如果是就提取出它屬性值里的文字，即“Data mining”這一英文信息，與詞條名稱結(jié)合，形成一對雙語信息。

圖3 “數(shù)據(jù)挖掘”百科詞條中基本信息框部分出現(xiàn)了該詞條的英文信息

2.1.3 基于詞條正文的雙語詞典提取方法

有些詞條的摘要部分可能不存在該詞條的雙語信息，但是其正文部分可能存在該詞條的雙語信息。例如，如圖4(a)所示，“蓮花灘鄉(xiāng)”這個百度百科詞條中，其摘要部分并沒有該詞條的雙語信息，而圖4(b)中，“蓮花灘鄉(xiāng)”百科頁面中的正文部分卻出現(xiàn)了“蓮花灘鄉(xiāng)(Lianhuatan Xiang)”這一雙語信息，為了提高雙語詞典的提取效果，正文這部分的雙語信息也要提取出來，其提取方法與詞條摘要的提取方法類似，也可以用正則檢索到詞條正文里是否有詞條名稱并且其后面是括號英文，再用正則提取出括號里的內(nèi)容，與詞條名稱結(jié)合，成為一對雙語信息。

2.2 基于多百科詞條的雙語詞典提取模塊

在某詞條的正文部分，可能會出現(xiàn)其他詞條的雙語信息，例如，在“數(shù)據(jù)挖掘”的百科詞條的正文部分，就出現(xiàn)了如圖5所示的內(nèi)容，其中“分類(Classification)”“估計(Estimation)”等都不是該百度百科詞條名稱對應(yīng)的雙語信息，但卻是各自對應(yīng)的百度百科詞條的雙語信息，例如，“分類”就對應(yīng)著如圖6所示的百科信息，對于這種在某詞條的正文部分出現(xiàn)的其他百度百科詞條雙語信息，也要提取出來備用。針對這一種情況，本方法進(jìn)行了基于多百科詞條(跨百度百科)的雙語詞典的提取，基于多百科詞條的雙語詞典提取模塊分為基于超鏈接和基于正則匹配括號這兩種提取方法。

圖4 “蓮花灘鄉(xiāng)”百科詞條的信息

圖5 “數(shù)據(jù)挖掘”百科詞條中的正文部分出現(xiàn)了其他雙語信息

圖6 “分類”的百科詞條的摘要部分信息

2.2.1 基于超鏈接的雙語詞典提取方法

跨百度百科進(jìn)行提取最直觀的方法就是查找詞條全文所有的超鏈接，因為在所有在線百科詞條的內(nèi)容中，每一個超鏈接都對應(yīng)著其他的百科詞條，如果該超鏈接是圖7中“統(tǒng)計”所示的可以點擊的超鏈接，后面是“(Statistics)”這樣的英文，這里就是一對雙語信息，而且這種雙語信息的準(zhǔn)確率非常高，這里的提取方法利用了href標(biāo)簽的特性。

圖7 “數(shù)據(jù)挖掘”百科詞條的正文部分的超鏈接出現(xiàn)了雙語信息

2.2.2 基于正則匹配括號的雙語詞典提取方法

沒有超鏈接的詞語也有可能是其他百度百科的詞條名稱，如圖5中的“分類(Classification)”，沒有超鏈接，但卻是百度百科詞條的雙語信息。而且網(wǎng)絡(luò)上的詞語更新速度非?？?，現(xiàn)在不是百科詞條名稱的詞語以后也有可能成為百科詞條名稱，所以也要把這些雙語信息提取出來。對此本文提出一種基于正則匹配括號的提取方法，該方法首先對百度百科的源代碼進(jìn)行預(yù)處理，取出全文的內(nèi)容，然后把內(nèi)容進(jìn)行反向處理，再匹配反向全文的所有括號，提取出括號前的K個字符，并對這K個字符按順序進(jìn)行下面兩種不同方法的提取。

(1) 首先在百科語料中提取出百度百科所有的詞條名稱，用文件的形式進(jìn)行保存，然后用這個詞條名稱文件對這K個字符進(jìn)行檢索，如果檢索出了詞條名稱且恰好該詞條名稱在K個字符的末尾，則意味著這個詞條名稱及其后面括號里的英文是一對雙語信息，提取出這一對雙語信息；若檢索時發(fā)現(xiàn)多個詞條名稱都在這K個字符的末尾，則以長度更長的詞條名稱為主。此方法使用了Zhang等人快速匹配的方法[32]，加快了程序運行的速度。

(2) 對于那些沒有檢索出詞條名稱或者檢索出來了但沒恰好在末尾的這K個字符，我們把它添加到一個列表中，若再遇到相同的情況且是相同的英文，也把它的前K個字符放入該列表中，最后對這個列表取公共的后綴，并提取出該公共后綴和這個英文，作為一對雙語信息。實驗中將K設(shè)置為25，在實驗部分會詳述這樣設(shè)置的原因。

3 實驗

3.1 實驗語料及評估標(biāo)準(zhǔn)

本實驗選擇了中文和英文兩個語種，實驗中所使用的語料庫為百度百科詞條的源代碼，該語料庫可以通過爬蟲爬取得到，本實驗用到的百度百科詞條的源代碼一共9 133 651條。在基于正則匹配括號的提取方法中，使用了所有的百度百科詞條的名稱文件，這個文件需要對所有百度百科詞條源代碼進(jìn)行對應(yīng)提取才能得到，由于很多詞條的名稱是重復(fù)的，所以最終提取到的百度百科詞條的名稱一共8 169 135個。此外，并非所有的百度百科詞條都擁有雙語信息，故我們手動標(biāo)注了以擁有基本信息框為主要條件的1 000個百度百科詞條的源代碼，用以測試各個提取方法的成功率。

本實驗的實驗評估標(biāo)準(zhǔn)為總的提取數(shù)量和提取的成功率，其中總的提取數(shù)量是所有提取方法的提取結(jié)果綜合查重后的數(shù)量，提取成功率(extraction success rate，ESR)的計算方法如式(1)所示。

其中，SEN為成功提取的雙語信息數(shù)量，TN為標(biāo)注的總數(shù)量。

3.2 實驗結(jié)果

通過對本方法提取出來的雙語信息進(jìn)行檢查，我們發(fā)現(xiàn)這些雙語信息中大部分的質(zhì)量較高，但語料庫中存在少量的噪聲數(shù)據(jù)，例如，這五種提取方法都有可能提取出同一個中文的英文信息，但這些英文信息可能是不完全相同的，如表1中的“蓮花灘鄉(xiāng)”雙語信息中，基于摘要和超鏈接的方法沒有提取到雙語信息，其余三種方法卻找到了兩種不同的信息。

表1 “蓮花灘鄉(xiāng)”雙語信息表

在百科語料中，基本信息框?qū)儆诘湫偷慕Y(jié)構(gòu)化數(shù)據(jù)，結(jié)構(gòu)化數(shù)據(jù)的置信度高，數(shù)據(jù)質(zhì)量可靠，所以基于基本信息框方法提取下來的數(shù)據(jù)也作為了本次提取的雙語詞典的基礎(chǔ)，即Top 1，然后依次是基于超鏈接、摘要、正文和正則匹配括號的四種方法，這四種方法提取出來的結(jié)果在基于基本信息框方法提取結(jié)果的基礎(chǔ)上進(jìn)行綜合。

我們對每一種方法所提取到的雙語詞典進(jìn)行了長度測量，各方法雙語信息的數(shù)量如表2所示，對于1 000個手動標(biāo)注的數(shù)據(jù)，標(biāo)注的數(shù)量、各個提取方法實際提取到的數(shù)量和提取的成功率如表3所示，其中基于超鏈接和基于正則匹配括號的兩種方法為基于多百科詞條的方法，每個百科詞條內(nèi)容中可能會出現(xiàn)數(shù)個符合條件的詞， 故其標(biāo)注的數(shù)量可能會超過標(biāo)注的數(shù)據(jù)數(shù)量。由表2、表3可知，基于基本信息框的提取方法比較適合在線百科語料庫，也適合所有擁有基本信息框的語料，且該提取方法可以將大部分的雙語信息提取出來。

表2 每一種方法提取到的雙語信息數(shù)量以及綜合查重后的雙語信息總數(shù)量

表3 每種方法的提取成功率

3.3 對比實驗

為了驗證本文方法的有效性，本文設(shè)計了對比實驗，即基于部分雙語語料文本內(nèi)容的方法與本實驗基于部分雙語語料百科的方法進(jìn)行了比較。表4為兩種方法查重后的雙語信息數(shù)量，由表4可知在百科語料庫中本方法提取出來的雙語信息數(shù)量遠(yuǎn)遠(yuǎn)超過基于文本內(nèi)容的方法提取出來的雙語信息數(shù)量；表5為兩種方法提取出來的部分詞語的英文信息， 由兩種方法提取出來的雙語信息情況的對比可知，本方法所提取出來的雙語信息更加準(zhǔn)確。

表5 兩種方法提取出英文信息的對比

3.4 實驗參數(shù)分析及錯誤分析

對于基于正則匹配括號的提取方法中的參數(shù)K=25，這里給予解釋。圖8顯示了百度百科詞條的名稱中各個長度的數(shù)量，由圖可知，當(dāng)詞條名稱的長度超過25之后，名稱的數(shù)量較少，長度在1～25之間的名稱數(shù)量更是占據(jù)了總數(shù)量的99.5%；當(dāng)參數(shù)小時，錯誤率會非常大；當(dāng)參數(shù)大時，如圖9所示，提取到的雙語信息數(shù)量卻又會下降，其原因是正則表達(dá)式在匹配的過程中，覆蓋了想要提取的詞。在使用基于正則匹配括號的提取方法中的第二個方法時，例如，原文本是“數(shù)據(jù)挖掘(Data mining)是數(shù)據(jù)庫知識發(fā)現(xiàn)中的一個步驟，數(shù)據(jù)挖掘(Data mining)通常與計算機(jī)科學(xué)有關(guān)...”目標(biāo)是提取出{‘?dāng)?shù)據(jù)挖掘’:Data mining}，即把這個雙語信息放在列表的第0位置。若取小參數(shù)，例如10，則可以正常提取，即列表的第0位置為“掘挖據(jù)數(shù)”；若取大參數(shù)，例如50，正則表達(dá)式會優(yōu)先匹配第一個括號，而后指針向后挪動50位，這樣就會覆蓋住相同的信息，導(dǎo)致提取失敗，這時列表的第0位置就變成了“掘挖據(jù)數(shù)，驟步個一的中現(xiàn)發(fā)識知庫據(jù)數(shù)是)”，明顯這不是我們所需信息。綜合以上兩點，最終確定了25為最后的參數(shù)。

圖8 百科詞條中各個名稱長度所擁有的名稱數(shù)量

圖9 隨機(jī)10 000條數(shù)據(jù)各個參數(shù)的提取數(shù)量

經(jīng)過對各個提取方法出現(xiàn)的錯誤進(jìn)行分析，我們總結(jié)出了以下三點：

(1) 超鏈接準(zhǔn)確率低于95%，其原因是實驗時所用的百度百科源代碼是一年前爬取下來的，但是標(biāo)注的時候使用的是現(xiàn)在的百度百科，超鏈接的更新很快，現(xiàn)在有很多以前所沒有的超鏈接，這就降低了此模塊的實際成功率，為反映真實情況，我們在爬取下來的部分源代碼上進(jìn)行了標(biāo)注，如表3基于超鏈接方法的括號內(nèi)容所示，其成功率達(dá)到了97.08%。

(2) 基于正則匹配括號的提取方法的成功率為54.46%，其主要原因是這種提取方法的特點是： 語料的數(shù)量越多，所能提取的雙語信息的數(shù)量越多，而如果語料數(shù)量少則表現(xiàn)欠佳，為此我們提出了新的測量方式，即先用此方法在全部數(shù)據(jù)中匹配，再在結(jié)果中抽樣進(jìn)行人工判斷，如表3基于正則匹配括號方法的括號內(nèi)容所示，其成功率達(dá)到了63%。

(3) 基于詞條摘要、基本信息框和正文的這三種提取方法的成功率比較高，錯誤可能是人工標(biāo)注時的錯誤或者一部分百度百科的更新導(dǎo)致的。

4 結(jié)論與展望

雙語詞典是跨語言自然語言處理中一項非常重要的資源。隨著社會的發(fā)展，新詞以及具體的技術(shù)術(shù)語不斷涌現(xiàn)，某些新詞或技術(shù)術(shù)語可以通過基于部分雙語語料的方法提取出來，而目前基于部分雙語語料的方法主要集中在對文本內(nèi)容的提取上。針對此不足，本文提出了一種基于百科語料的中英文雙語詞典的提取方法，本方法分為兩大模塊，共用五種不同的方法對百科語料進(jìn)行提取，其中第一模塊的三種提取方法的成功率都達(dá)到了98%以上，最終的結(jié)果是對這五種方法的提取結(jié)果進(jìn)行綜合查重后的雙語詞典，查重后雙語信息的提取數(shù)量為969 308條。與以往的基于部分雙語語料的方法不同，本方法在對文本內(nèi)容的提取基礎(chǔ)上融合了基于在線百科特有的基本信息框提取和基于Web標(biāo)簽特有的超鏈接提取，在一定程度上提升了雙語詞典的提取效果。

在實驗過程中我們也發(fā)現(xiàn)了一些不足之處，例如存在選取大參數(shù)導(dǎo)致有些雙語信息提取不出來以及成功率低的問題。因此，下一步的研究方向?qū)⒓性谌绾卧趨?shù)選取最大值的情況下依然不干擾雙語信息的提取上，并尋找方法解決第五種方法成功率低的問題，以提高最終的雙語詞典的提取效果。