那順烏日?qǐng)D

(內(nèi)蒙古大學(xué) 蒙古學(xué)學(xué)院，內(nèi)蒙 呼和浩特 010021)

1 引言

建立一個(gè)較為完整的、能夠?yàn)樽匀徽Z言處理系統(tǒng)提供知識(shí)支撐的語言知識(shí)庫(kù)是蒙古文信息處理當(dāng)務(wù)之急。其具體內(nèi)容包括： (1)整理和完善現(xiàn)有資源。將蒙古文信息處理字、詞處理階段所建立的較為零亂的、面向某一個(gè)具體應(yīng)用系統(tǒng)的知識(shí)資源整合成一個(gè)完整的體系，即系統(tǒng)化的知識(shí)資源；(2)根據(jù)機(jī)器翻譯、語料庫(kù)加工等工作的實(shí)際需求，構(gòu)建包括蒙古語語法知識(shí)、語義知識(shí)和語用知識(shí)的綜合性語言知識(shí)庫(kù)，同時(shí)制定面向信息處理的蒙古語各類規(guī)范、標(biāo)準(zhǔn)；(3)建立知識(shí)資源管理平臺(tái)，將已有的知

識(shí)資源用統(tǒng)一規(guī)格集成在一個(gè)平臺(tái)上，使之更有效地為語言信息處理服務(wù)。

近幾年我們把現(xiàn)有知識(shí)庫(kù)和規(guī)范、標(biāo)準(zhǔn)應(yīng)用在語料庫(kù)加工、文字識(shí)別、機(jī)器翻譯等具體系統(tǒng)上，通過運(yùn)行、調(diào)試，不斷進(jìn)行調(diào)整和完善。例如，“現(xiàn)代蒙古語文數(shù)據(jù)庫(kù)”的詞性標(biāo)注和詞法標(biāo)注；“蒙古語語法信息詞典”的擴(kuò)充和完善以及管理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)；對(duì)蒙古語詞語進(jìn)行語義分類并制定相關(guān)標(biāo)記集；“蒙古語語義信息詞典”的框架設(shè)計(jì)及部分分庫(kù)的構(gòu)建；“蒙古語謎語數(shù)據(jù)庫(kù)”、“蒙古語熟語數(shù)據(jù)庫(kù)”的構(gòu)建及其管理軟件的研發(fā)；面向信息處理的蒙古語詞語短語和語義標(biāo)記集的制定；蒙古語樹庫(kù)的構(gòu)建等工作。

2 蒙古語語言知識(shí)庫(kù)的主要結(jié)構(gòu)和內(nèi)容

2.1 語法知識(shí)庫(kù)

(1) “蒙古語語法信息詞典”的建立。我們構(gòu)建了包括傳統(tǒng)蒙古文正字法，蒙古語常用詞語的詞性、形態(tài)、功能，蒙古語構(gòu)形附加成分的功能和用法，蒙古文標(biāo)點(diǎn)符號(hào)的使用規(guī)則等文字學(xué)、語法學(xué)知識(shí)的，結(jié)構(gòu)較為完整、信息較為翔實(shí)的一個(gè)語法知識(shí)庫(kù)—“蒙古語語法信息詞典”。目前該詞典已基本成形，建成包括一個(gè)總庫(kù)和19個(gè)分庫(kù)的詞典數(shù)據(jù)庫(kù)，并開發(fā)了其管理平臺(tái)，制定了相關(guān)規(guī)范。目前“總庫(kù)”詞條達(dá)到38 000余個(gè)，總信息量達(dá)到270多萬條。該詞典在蒙古文機(jī)器翻譯、蒙古文文檔識(shí)別、蒙古語語料庫(kù)標(biāo)注與對(duì)齊、蒙古文農(nóng)業(yè)專家系統(tǒng)等應(yīng)用系統(tǒng)中發(fā)揮著重要作用。

(2) “現(xiàn)代蒙古語固定短語語法信息詞典”的構(gòu)建。針對(duì)自動(dòng)處理固定短語的類型、意義、屬性等特征，已構(gòu)建了包含12 000余條常用固定短語的“固定短語語法信息詞典”。該詞典數(shù)據(jù)庫(kù)設(shè)置了17項(xiàng)語法屬性字段，詳細(xì)描述了其各種語法屬性，并研制了蒙古語固定短語自動(dòng)識(shí)別系統(tǒng)。

(3) 詞法分析系統(tǒng)、生成規(guī)則庫(kù)的構(gòu)建。1)通過開發(fā)漢蒙機(jī)器翻譯系統(tǒng)，研制了“蒙古語語言模型”、“蒙古語生成規(guī)則庫(kù)”、“漢語-蒙古語轉(zhuǎn)換規(guī)則庫(kù)”和雙語機(jī)器詞典等，詳細(xì)描述了蒙古語詞語、短語的語法屬性和各種語法形式的生成規(guī)則等。2)為了解決蒙古語詞語標(biāo)注和編碼轉(zhuǎn)換等問題，我們采用基于規(guī)則和基于統(tǒng)計(jì)的方法研發(fā)了具有蒙古文編碼轉(zhuǎn)換和切分還原、詞性標(biāo)注等功能的詞法分析器。該軟件能夠切分蒙古文詞語、還原詞干和識(shí)別附加成分，分析詞干詞性和附加成分歸類，從而確定整詞的詞性。并且實(shí)現(xiàn)了各種蒙古文編碼的相互轉(zhuǎn)換，將非標(biāo)準(zhǔn)編碼文本轉(zhuǎn)換成符合蒙古文編碼國(guó)際標(biāo)準(zhǔn)的文本。3)在構(gòu)建漢蒙雙語平行語料庫(kù)時(shí)，漢蒙詞語對(duì)齊的基本框架中需要蒙古語文本的詞法分析和標(biāo)注。針對(duì)這種需求，我們研發(fā)了基于詞典和規(guī)則的蒙古語詞法分析系統(tǒng)。該系統(tǒng)的詞典部分是“蒙古語語法信息詞典”的“總庫(kù)”和“構(gòu)形附加成分分庫(kù)”，規(guī)則部分是蒙古語詞語切分還原規(guī)則。目前，在漢蒙詞語對(duì)齊技術(shù)研究中充分發(fā)揮了該詞法分析器的作用。

(4) 不論從蒙古語句子的自動(dòng)分析，還是從蒙古語短語和句子的結(jié)構(gòu)關(guān)系看，提供蒙古語短語結(jié)構(gòu)規(guī)則是進(jìn)行蒙古語句法分析不可缺少的必要條件。為了滿足這種需求，我們研發(fā)了“現(xiàn)代蒙古語名詞、動(dòng)詞短語結(jié)構(gòu)規(guī)則庫(kù)”。蒙古語名詞、動(dòng)詞短語作為蒙古語短語的兩大重要類型，其結(jié)構(gòu)規(guī)則庫(kù)的構(gòu)建會(huì)促進(jìn)整個(gè)蒙古語句法分析研究的深化。

2.2 語義知識(shí)庫(kù)

(1) “蒙古語語義信息詞典”的研發(fā)

我們正在構(gòu)建詳細(xì)描述蒙古語常用詞語的語義分類、語義搭配、價(jià)質(zhì)價(jià)量等信息的語義知識(shí)庫(kù)—“蒙古語語義信息詞典”，初步完成了詞典的框架設(shè)計(jì)和名詞、形容詞語義信息庫(kù)。

(2) “蒙古語格框架綜合知識(shí)庫(kù)”的研發(fā)

為了充分利用蒙古語格框架知識(shí)資源，我們?cè)谡Z料分析的基礎(chǔ)上初步構(gòu)建了包含“格框架ID”、“格框架類型”、“語義格”、“格標(biāo)”、“謂語部分”主要信息的“蒙古語格框架綜合知識(shí)庫(kù)”。它對(duì)蒙古語詞語的語義分析，句法分析等自動(dòng)處理中提供語義格框架與模型。

(3) “蒙古文同形詞知識(shí)庫(kù)”的構(gòu)建

為解決自然語言的歧義問題，我們研制了“蒙古文同形詞知識(shí)庫(kù)”及相關(guān)軟件： 包括“同形詞信息詞典”，100萬詞現(xiàn)代蒙古語同形詞標(biāo)注語料庫(kù)，“同形詞搭配庫(kù)”、“共現(xiàn)庫(kù)”、“類語庫(kù)”及“‘同形詞信息詞典’管理與維護(hù)工具”，“共現(xiàn)成分統(tǒng)計(jì)工具”，“同形同音同類詞識(shí)別與標(biāo)注工具”等。

(4) “蒙古語多義詞詞典”的研發(fā)

我們針對(duì)蒙古文信息處理中文本校對(duì)、詞法、句法消歧等需求，研發(fā)了按蒙古語常用詞語的義項(xiàng)作為詞條的“面向信息處理的蒙古語多義詞詞典”。目前，該詞典的規(guī)模已達(dá)到18 223詞條，涵蓋蒙古語多義名詞、多義形容詞、多義副詞等9個(gè)詞類。

(5) “蒙古語連接形式知識(shí)庫(kù)”的構(gòu)建

為自動(dòng)識(shí)別自然語言句子中連接形式及其結(jié)構(gòu)、功能和位置等特征，開發(fā)了詳細(xì)描述蒙古語連接形式詞法、句法和語義特征的《蒙古語連接形式信息詞典》，并在此基礎(chǔ)上構(gòu)建了“蒙古語連接形式規(guī)則庫(kù)”，實(shí)現(xiàn)了“蒙古語連接形式自動(dòng)識(shí)別程序”。

2.3 語言規(guī)范標(biāo)準(zhǔn)

(1) 詞語分類及其標(biāo)記集的制定

通過十幾年的知識(shí)積累和自然語言處理經(jīng)驗(yàn)，已制定“信息技術(shù) 信息處理用蒙古文詞語標(biāo)記集”，同時(shí)，把它應(yīng)用到100萬詞“現(xiàn)代蒙古語文數(shù)據(jù)庫(kù)”的詞性標(biāo)注，20萬“現(xiàn)代蒙古語文數(shù)據(jù)庫(kù)”的詞法標(biāo)注，“蒙古語語法信息詞典”的分類標(biāo)注等研究領(lǐng)域，這個(gè)標(biāo)記集目前已頒布成國(guó)家標(biāo)準(zhǔn)(GB/T 26235—2010)。

(2) 語義分類及其標(biāo)記集的制定

為了順利進(jìn)行“蒙古語語義信息詞典”的開發(fā)和滿足語義分析、生成的需求，我們初步研制了蒙古語詞語語義分類體系及其標(biāo)記集。目前已完成蒙古語名詞、形容詞、動(dòng)詞“語義分類體系及其標(biāo)記集”的研制工作，已應(yīng)用到“蒙古語語義信息詞典”的“名詞、形容詞、動(dòng)詞分庫(kù)”中。

(3) 短語分類及其標(biāo)記集的制定

這是一個(gè)由蒙古語各類短語的邊界劃分規(guī)則和統(tǒng)計(jì)模型組成的知識(shí)庫(kù)。它不僅對(duì)一般短語標(biāo)注提供基本信息，而且對(duì)解決短語劃分中的歧義問題起決定性的作用。目前，將蒙古語短語分類及其標(biāo)記集集成到“信息技術(shù) 信息處理用蒙古文詞語標(biāo)記”的同時(shí)以此作為基準(zhǔn)進(jìn)行蒙古語語料庫(kù)短語標(biāo)注。短語標(biāo)注語料庫(kù)已達(dá)到100萬詞規(guī)模。

2.4 蒙古語標(biāo)注語料庫(kù)

我們已對(duì)100萬詞級(jí)“現(xiàn)代蒙古語文數(shù)據(jù)庫(kù)”進(jìn)行詞性標(biāo)注和詞法標(biāo)注，這個(gè)語料庫(kù)已經(jīng)從原來單純的數(shù)據(jù)資源逐步過渡到知識(shí)資源。

2.5 各類電子詞典

(1) 我們已輸入了近3 000條的“蒙古語人名詞典”，1 500條的“蒙古語地名詞典”，1 300余組類語的“蒙古語類語詞典”，正在輸入30 000余詞條的“蒙古語熟語詞典”。下一步我們將這些詞典填加到數(shù)據(jù)庫(kù)中，并設(shè)置一些屬性字段進(jìn)行詞義描述。這些資源將對(duì)蒙古語語料庫(kù)的深層加工起到很大的推進(jìn)作用。

(2) 為了更加系統(tǒng)地了解詞語的各種義項(xiàng)，我們以內(nèi)蒙古大學(xué)《蒙漢詞典》為藍(lán)本，在原詞典數(shù)據(jù)庫(kù)的基礎(chǔ)上擴(kuò)充了西里爾蒙古文屬性字段，編制成詞條總量達(dá)53 660條，約119萬字的傳統(tǒng)蒙古文、西里爾蒙古文與漢文對(duì)照的綜合性電子詞典，詞典由詞典數(shù)據(jù)庫(kù)及用戶界面組成。詞典可以顯示傳統(tǒng)蒙古文、西里爾蒙古文及漢文釋義、同時(shí)實(shí)現(xiàn)了蒙古文模糊查詢和例句自動(dòng)抽取功能。

(3) 為使蒙古族兒童在寓教于樂中掌握母語知識(shí)，幫助開發(fā)他們的智力，同時(shí)將已建知識(shí)資源在不同領(lǐng)域發(fā)揮更大的作用，我們構(gòu)建了“達(dá)日罕謎語數(shù)據(jù)庫(kù)”。數(shù)據(jù)庫(kù)中收錄了1 120個(gè)謎語，編寫了《達(dá)日罕謎語系統(tǒng)》專門程序，使它成為游戲型的問答系統(tǒng)。目前，該問答系統(tǒng)正準(zhǔn)備通過網(wǎng)絡(luò)平臺(tái)，投入應(yīng)用。

2.6 管理平臺(tái)

在已建立蒙古語語言知識(shí)庫(kù)的基礎(chǔ)上開發(fā)相應(yīng)的管理平臺(tái)是有必要的。蒙古語語言知識(shí)庫(kù)管理平臺(tái)是擴(kuò)充、管理和共享知識(shí)庫(kù)的技術(shù)基礎(chǔ)。該數(shù)據(jù)庫(kù)管理軟件是在Visual Studio 2005 的編程環(huán)境中用Visual C#.NET語言設(shè)計(jì)實(shí)現(xiàn)的。為了更好地管理并補(bǔ)充和完善蒙古語語言知識(shí)庫(kù)中的詞法、句法、語義信息的統(tǒng)一性和完整性，管理平臺(tái)對(duì)各個(gè)資源庫(kù)設(shè)計(jì)了若干個(gè)MDI 子節(jié)點(diǎn)窗體，分別實(shí)現(xiàn)了添加、修改、刪除、查詢、瀏覽和校對(duì)等功能。與此同時(shí)為了保證各個(gè)知識(shí)庫(kù)之間的一致性，實(shí)現(xiàn)了一系列連貫操作。

3 蒙古語語言知識(shí)庫(kù)的應(yīng)用

這些知識(shí)庫(kù)作為蒙古自然語言處理的主要知識(shí)資源，正在或即將在蒙古文各種應(yīng)用系統(tǒng)中發(fā)揮重要作用。

(1) 將語言知識(shí)資源建設(shè)與工程技術(shù)研發(fā)有機(jī)結(jié)合，是本知識(shí)庫(kù)的主要宗旨。無論是蒙古語“語法信息詞典”、“語義信息詞典”和規(guī)則庫(kù)，并不僅僅是一些理論性基礎(chǔ)研究的成果，而是與資源建設(shè)及系統(tǒng)開發(fā)相輔相成的、重要的基礎(chǔ)工程。例如，語料庫(kù)深層標(biāo)注、語言模型的研制、OCR的編碼轉(zhuǎn)換等都得益于該知識(shí)庫(kù)。

(2) 在語言資源建設(shè)中制定和應(yīng)用一系列規(guī)范、標(biāo)準(zhǔn)，使得各個(gè)知識(shí)庫(kù)之間的屬性設(shè)置互相對(duì)應(yīng)，是各類資源統(tǒng)一管理和實(shí)現(xiàn)共享的基本保障。譬如，蒙古語詞語標(biāo)記集作為蒙古語語料庫(kù)建設(shè)的基礎(chǔ)標(biāo)準(zhǔn)，貫穿于整個(gè)知識(shí)體系和數(shù)據(jù)資源，向不同的應(yīng)用系統(tǒng)提供規(guī)范、可信的語言知識(shí)。

(3) 知識(shí)庫(kù)管理平臺(tái)將有效解決語法知識(shí)、語義知識(shí)和語用知識(shí)的融合，提高語料庫(kù)建設(shè)和應(yīng)用系統(tǒng)開發(fā)的速度與質(zhì)量。

(4) 隨著電子詞典、機(jī)器翻譯系統(tǒng)趨于實(shí)用化，為各級(jí)政府部門、企事業(yè)單位的翻譯人員和廣大用戶提供文字翻譯的便利，這將對(duì)民族文字電子政務(wù)、電子商務(wù)、移動(dòng)通信、網(wǎng)絡(luò)媒體等相關(guān)產(chǎn)業(yè)的發(fā)展起到積極作用。而各種語料庫(kù)、謎語數(shù)據(jù)庫(kù)、熟語數(shù)據(jù)庫(kù)……將對(duì)中小學(xué)教育提供知識(shí)資源，使教育教學(xué)的現(xiàn)代化和數(shù)字化具有實(shí)際意義。所以這項(xiàng)工作對(duì)保持我國(guó)在蒙古語語言資源開發(fā)和構(gòu)建方面的主導(dǎo)地位有深遠(yuǎn)意義，同時(shí)會(huì)帶來很大的社會(huì)效益和潛在的經(jīng)濟(jì)效益。

(5) “蒙古語語法信息詞典”已得到一定程度上的應(yīng)用，并向國(guó)內(nèi)外的一些公司和研究機(jī)構(gòu)轉(zhuǎn)讓使用權(quán)許可，取得了顯著的經(jīng)濟(jì)效益和社會(huì)效益。100萬詞現(xiàn)代蒙古語語料庫(kù)、6萬句對(duì)漢蒙平行語料庫(kù)、“CWMT2009”漢蒙翻譯評(píng)測(cè)的開發(fā)集和測(cè)試集已放在CLDC(中文語言資源聯(lián)盟)上，為廣大用戶提供資源共享。中央民族語文翻譯局等專業(yè)翻譯部門、不少個(gè)人用戶都在試用我們研發(fā)的機(jī)器翻譯系統(tǒng)，而電子詞典的用戶更多。蒙古國(guó)有關(guān)研究機(jī)構(gòu)、教學(xué)單位對(duì)蒙古文機(jī)器翻譯技術(shù)和漢蒙雙語對(duì)照語料庫(kù)建設(shè)非常關(guān)注，已提出合作開發(fā)或技術(shù)轉(zhuǎn)讓的意愿。除此之外，與國(guó)內(nèi)外諸多單位合作開展的一系列工作，例如，“農(nóng)業(yè)專家系統(tǒng)”的開發(fā)，“多字體印刷蒙古文(混排漢英)文檔識(shí)別系統(tǒng)”的開發(fā)，能夠充分體現(xiàn)出這些成果的實(shí)際應(yīng)用價(jià)值和所帶來的直接經(jīng)濟(jì)效益。

(6) 在研制該知識(shí)庫(kù)十幾年的過程中的我們培養(yǎng)了近十名博士生、20余名碩士生，并形成了一個(gè)由語言學(xué)專家和計(jì)算機(jī)專家組成的科研團(tuán)隊(duì)。北京大學(xué)、中國(guó)科學(xué)院計(jì)算技術(shù)研究所、內(nèi)蒙古大學(xué)的20余名博士、碩士生都以蒙古語語言資源開發(fā)與建設(shè)的理論研究和技術(shù)設(shè)計(jì)作為學(xué)位論文，獲得博士、碩士學(xué)位。

內(nèi)蒙古大學(xué)與中國(guó)科學(xué)院、北京大學(xué)、清華大學(xué)等單位在蒙古語語言知識(shí)庫(kù)、機(jī)器翻譯、語料庫(kù)加工等方面有了一個(gè)較為默契的、既有分工又有互補(bǔ)的合作機(jī)制。

4 尚待解決的問題

(1) 語法知識(shí)資源方面，雖然“蒙古語語法信息詞典”已初具規(guī)模，并向國(guó)內(nèi)外用戶進(jìn)行轉(zhuǎn)讓，取得一定的經(jīng)濟(jì)效益，但尚待進(jìn)行擴(kuò)充、完善，實(shí)現(xiàn)產(chǎn)品化。

(2) 語義知識(shí)資源方面，在“蒙古語語義信息詞典”現(xiàn)有框架的基礎(chǔ)上，需要逐步擴(kuò)充和完善各個(gè)分庫(kù)，同時(shí)把它們集成在統(tǒng)一管理平臺(tái)上，拓展其應(yīng)用范圍。

(3) 語用知識(shí)資源方面，目前在詞語搭配詞典、語用規(guī)則庫(kù)的建設(shè)方面只有一些前期積累，仍需要進(jìn)一步的實(shí)質(zhì)性開發(fā)。

(4) 語言規(guī)范標(biāo)準(zhǔn)方面，目前所制定的規(guī)范、標(biāo)準(zhǔn)尚未實(shí)現(xiàn)系統(tǒng)化，與全方位國(guó)際接軌相差甚遠(yuǎn)，所以在制定標(biāo)準(zhǔn)方面需要不懈的努力。

[1] 俞士汶. 計(jì)算語言學(xué)概論[M].北京： 商務(wù)印書館，2003.

[2] 馮志偉.計(jì)算語言學(xué)探索[M].哈爾濱： 黑龍江教育出版社，2001.

[3] 詹衛(wèi)東.面向中文信息處理的現(xiàn)代漢語短語結(jié)構(gòu)規(guī)則研究[M].北京： 清華大學(xué)出版社，南寧： 廣西科學(xué)技術(shù)出版社，2000.

[4] 那順烏日?qǐng)D.蒙古語語言資源平臺(tái)架構(gòu)設(shè)想，中國(guó)語言資源論叢(一)[M].北京： 商務(wù)印書館，2009， 236-248.

[5] 平?jīng)g洋一,電脳意味論[M].おうふう,東京,2001.

[6] 児玉徳見,意味論の対象と方法[M],くろしお出版,2002.

[7] N.Kwon,M.Fleischman,E.Hovy.Senseval automatic labeling of semantic roles using Maximum Entropy models[C]//R.Mihalcea,P.Edmond(Editor),Senseval-3： Third International Workshop on the Evaluation of Systems for the Semantic Analysis of Text, Barcelona, Spain： Association for Computational Linguistics, 2004: 129-132.

[8] 那順烏日?qǐng)D.關(guān)于面向信息處理的蒙古語語義研究[J].內(nèi)蒙古大學(xué)學(xué)報(bào)，2002,(5): 16-23.

[9] 那順烏日?qǐng)D.在編制“蒙古語語法信息詞典”時(shí)遇到的理論與實(shí)踐問題[J].內(nèi)蒙古大學(xué)學(xué)報(bào)(蒙古文版),2002,(4): 18-22.

[10] Nasun-urt.Mongolian Knowledge base and Mongolian Information Processing[C]//The 17th International Conference KOREA and MONGOLIA, Seoul, 2004, 51-58.

[11] New requirement and tendency of Mongolian semantic research[C]//Works in research, Volume Ⅹ(238),Ulaanbaatar,2004: 93-102.

[12] Nasun-urt.Exploitation and application of the Mongolian linguistic Knowledge Resource[C]//Proceeding of the International conference of Chinese Computing 2005 (ICCC2005), Published by COLIPS Publication,2005.3,Singapore: 213-218.

[13] Hai yin-hua Nasun-urt Wang Sirguleng. New progress of “Mongolian Grammatical Information Dictionary” [C]//Proceedings of Mongolian Academy of Sciences,2008, (4): 75-84.