李國(guó)佳　趙瑩地　郭鴻奇

摘 要：詞義消歧是自然語(yǔ)言處理領(lǐng)域的基本任務(wù)。在詞語(yǔ)詞向量表示的基礎(chǔ)上，計(jì)算獲得多義詞語(yǔ)上下文窗口的向量表示。利用統(tǒng)計(jì)的多義詞及詞義個(gè)數(shù)，基于K-means算法聚類文本語(yǔ)料集中多義詞的上下文窗口表示，在原始文本語(yǔ)料集中對(duì)多義詞語(yǔ)根據(jù)聚類類別進(jìn)行標(biāo)記。在標(biāo)記的文本語(yǔ)料集上，訓(xùn)練獲得多義詞語(yǔ)每個(gè)詞義的向量表示。對(duì)句子中的多義詞語(yǔ)，給出了一種基于多義詞向量表示的詞義消歧方法，實(shí)驗(yàn)結(jié)果顯示該方法有效可行。

關(guān)鍵詞：多義詞向量表示； K-means； 詞義消歧

Abstract： Word sense disambiguation is a basic task in natural language process. To the original text corpus， the vector representation of polysemous word context window is calculated based on vector representation. Using statistical polysemy and the numbers of word sense， the vector representation of polysemy context window is clustered based on K-means， and the polysemous words are marked in the original text corpus. On the marked text corpus， the vector representation of polysemy' word sense is trained by using neural network language model. A word sense disambiguation method based on polysemy vector representation is presented. The experimental results show that the method is effective and feasible.

Key words： polysemy vector representation； K-means； word sense disambiguation

引言

詞義消歧（Word Sense Disambiguation）在機(jī)器翻譯、信息檢索、主題分析和文本分類中具有廣泛的應(yīng)用。多義詞語(yǔ)在不同上下文環(huán)境下對(duì)應(yīng)的具體詞義不同，對(duì)句子中的多義詞語(yǔ)，通過(guò)詞義消歧獲得詞語(yǔ)在上下文中特定語(yǔ)義，能提高詞語(yǔ)表示的準(zhǔn)確性。

詞義消歧主要方法有2類，分別是：基于外部知識(shí)資源方法和基于語(yǔ)料庫(kù)的方法。其中，基于外部知識(shí)資源方法，利用人工的字典或詞典來(lái)獲得詞語(yǔ)語(yǔ)義間的關(guān)系，通過(guò)將這些關(guān)系量化后再進(jìn)行詞義消歧，準(zhǔn)確率一般要高于基于語(yǔ)料庫(kù)的方法，但構(gòu)建字典、詞典需要耗費(fèi)大量的人力、物力。高雪霞等人使用外部詞匯資源中同義詞、上義詞和下義詞3個(gè)語(yǔ)義關(guān)系，利用Jaccard系數(shù)相似度量方法，來(lái)計(jì)算最佳詞義[1]?；谡Z(yǔ)料庫(kù)的方法，以語(yǔ)料庫(kù)為知識(shí)資源，通過(guò)自動(dòng)或半自動(dòng)的學(xué)習(xí)確定詞語(yǔ)在給定上下文下的具體詞義，從而實(shí)現(xiàn)詞義消歧，但語(yǔ)料庫(kù)的規(guī)模和領(lǐng)域影響詞義消歧的效果[2]。楊陟卓提出一種自動(dòng)生成有標(biāo)注語(yǔ)料的方法，采用機(jī)器翻譯系統(tǒng)將訓(xùn)練實(shí)例的上下文進(jìn)行翻譯生成偽訓(xùn)練實(shí)例，同時(shí)采用訓(xùn)練實(shí)例和偽訓(xùn)練實(shí)例構(gòu)建貝葉斯消歧模型實(shí)現(xiàn)詞義消歧[3]。張春祥等人將歧義詞匯左右鄰接的4個(gè)詞匯單元的多種語(yǔ)言學(xué)知識(shí)作為消歧特征，利用貝葉斯分類器和最大熵分類器確定歧義詞匯的語(yǔ)義類別，結(jié)合大量無(wú)標(biāo)注語(yǔ)料使用Co-Training算法提高詞義消歧分類器的性能[4]。楊安等人利用無(wú)標(biāo)注的原始語(yǔ)料構(gòu)建詞向量模型，結(jié)合特定領(lǐng)域關(guān)鍵詞信息及WordNet資源，設(shè)計(jì)一套打分系統(tǒng)，選擇得分最高所對(duì)應(yīng)的詞義作為詞義消歧的結(jié)果[5]。

針對(duì)多義詞語(yǔ)的表示問(wèn)題，Reisinger 等人提出多原型向量空間模型，其中每個(gè)詞語(yǔ)的上下文表示將聚類為簇，通過(guò)對(duì)聚類簇內(nèi)詞語(yǔ)所有的上下文向量表示進(jìn)行平均生成詞語(yǔ)不同的原型向量[6]。Huang等人基于神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型，結(jié)合詞語(yǔ)全局語(yǔ)義信息，利用K-means算法聚類每個(gè)詞語(yǔ)的上下文表示，并在原始文本語(yǔ)料庫(kù)中將每個(gè)詞語(yǔ)的出現(xiàn)情況標(biāo)記為其所關(guān)聯(lián)的聚類類別，訓(xùn)練獲得多義詞語(yǔ)的詞向量表示[7]。

本文利用原始文本語(yǔ)料集，訓(xùn)練得到詞語(yǔ)的詞向量表示，結(jié)合多義詞詞典統(tǒng)計(jì)獲得多義詞詞義的個(gè)數(shù)，基于K-means聚類獲得多義詞語(yǔ)上下文窗口表示的聚類類別，在原始文本語(yǔ)料集中將多義詞標(biāo)記為不同類別，訓(xùn)練獲得多義詞各個(gè)詞義的向量表示，進(jìn)而給出了一種基于多義詞向量表示的詞義消歧方法，實(shí)驗(yàn)結(jié)果驗(yàn)證了該方法是有效可行的。

1 多義詞語(yǔ)的向量表示

1.1 詞語(yǔ)的向量化表示

在自然語(yǔ)言處理領(lǐng)域的各項(xiàng)任務(wù)中，詞語(yǔ)是最小的處理單元。常用的詞語(yǔ)表示方法是將詞語(yǔ)處理為向量的形式。一般的詞語(yǔ)表示是將每個(gè)詞語(yǔ)表示為一個(gè)向量，向量的維數(shù)是詞典的大小，這種形式稱為詞語(yǔ)的向量化表示。一種簡(jiǎn)單的詞語(yǔ)向量化表示方法是One-hot Representation，將每個(gè)詞語(yǔ)表示為一個(gè)長(zhǎng)的向量，其中一個(gè)維度的值為1，表示當(dāng)前詞語(yǔ)，其它維度值為零。由于語(yǔ)言中詞語(yǔ)數(shù)量及增長(zhǎng)變化，容易造成計(jì)算上的維度災(zāi)難，并且這種表示對(duì)任意2個(gè)詞表示是孤立的，無(wú)法體現(xiàn)詞語(yǔ)之間的語(yǔ)義關(guān)系。

2003年，Bengio等人提出利用神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型訓(xùn)練獲得詞語(yǔ)的向量化表示[8]，也稱為詞嵌入（Word Embedding）或詞向量（Word Representation）。通過(guò)對(duì)海量文本的訓(xùn)練學(xué)習(xí)，將詞語(yǔ)表示為稠密連續(xù)的低維度向量，避免了傳統(tǒng)詞語(yǔ)表示的維數(shù)災(zāi)難和數(shù)據(jù)稀疏問(wèn)題，也反映了詞語(yǔ)語(yǔ)義之間的聯(lián)系。在自然語(yǔ)言處理領(lǐng)域的多項(xiàng)任務(wù)中，具有較好的效果。

近年來(lái)，許多學(xué)者利用基于神經(jīng)網(wǎng)絡(luò)的語(yǔ)言模型來(lái)訓(xùn)練獲得詞語(yǔ)的向量化表示，基本思路是通過(guò)無(wú)監(jiān)督方式在大規(guī)模的文本數(shù)據(jù)集上訓(xùn)練學(xué)習(xí)得到詞語(yǔ)的詞向量表示。

1.2 多義詞向量表示

詞語(yǔ)詞向量表示（Word Embedding）將每一個(gè)詞語(yǔ)對(duì)應(yīng)唯一的向量表示。在實(shí)際語(yǔ)言現(xiàn)象中，一個(gè)詞語(yǔ)在不同的上下文語(yǔ)境中可能具有多種語(yǔ)義的情況，也就是一詞多義現(xiàn)象。詞向量表示不能區(qū)分表示多義詞語(yǔ)的不同詞義，對(duì)于多義詞語(yǔ)，不同的詞義需要對(duì)應(yīng)特定的向量表示，以獲得更精確的詞義表示。

多義詞向量表示，對(duì)每個(gè)多義詞的不同詞義，都對(duì)應(yīng)一個(gè)向量表示，能夠區(qū)別表示不同詞義。在詞語(yǔ)詞向量表示的基礎(chǔ)上，利用外部知識(shí)庫(kù)，根據(jù)多義詞語(yǔ)在文本語(yǔ)料集中的上下文環(huán)境，使用聚類算法對(duì)上下文窗口表示聚類，將聚類結(jié)果標(biāo)記到文本語(yǔ)料集中，在標(biāo)記的文本語(yǔ)料集上訓(xùn)練獲得多義詞向量表示。

2 基于K-means聚類的多義詞向量表示

2.1 多義詞語(yǔ)的上下文表示

多義詞語(yǔ)的上下文表示，一種簡(jiǎn)單的表示方法是基于多義詞語(yǔ)的上下文窗口，利用窗口內(nèi)的詞語(yǔ)來(lái)表示，也可以融合多義詞語(yǔ)所在句子或所在段落及文檔的主題之間關(guān)聯(lián)性，綜合計(jì)算獲得多義詞語(yǔ)的上下文表示。多義詞語(yǔ)的上下文窗口，是指句子中與多義詞語(yǔ)左右鄰接的多個(gè)詞語(yǔ)，窗口大小為鄰接詞語(yǔ)數(shù)量。

對(duì)句子中多義詞語(yǔ)，上下文的窗口大小設(shè)為k，表示左右鄰接詞匯的數(shù)量。對(duì)于多義詞語(yǔ)左、右鄰接詞語(yǔ)小于k的情況，分別獲取左、右鄰接的全部詞語(yǔ)作為上下文窗口內(nèi)的詞語(yǔ)。

利用多義詞語(yǔ)的上下文窗口，由窗口中詞語(yǔ)的詞向量進(jìn)行綜合計(jì)算獲得多義詞語(yǔ)的上下文表示，數(shù)學(xué)計(jì)算公式可表述為：

2.2 結(jié)合多義詞詞典的K-means聚類

K-means算法是常用的文本聚類算法之一，通過(guò)計(jì)算樣本和目標(biāo)類別之間的距離，使相似的樣本歸為同一類，不同類別之間的距離要盡可能大，類別內(nèi)部的距離要盡可能小。K-means算法實(shí)現(xiàn)簡(jiǎn)單，適用范圍較廣，但需要事先確定聚類類別的數(shù)目，即K的大小。

一般來(lái)說(shuō)，多義詞語(yǔ)的具體詞義由上下文語(yǔ)言環(huán)境體現(xiàn)，因此對(duì)多義詞語(yǔ)的上下文進(jìn)行聚類，能夠獲得不同詞義的聚類簇。將聚類簇樣本作為原始文本語(yǔ)料集，利用神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型，可以訓(xùn)練獲得多義詞的向量表示。

在實(shí)際的語(yǔ)言環(huán)境中，不同多義詞語(yǔ)包含的詞義數(shù)目是有差異的。借助外部知識(shí)庫(kù)，統(tǒng)計(jì)獲得常用多義詞語(yǔ)及詞義個(gè)數(shù)作為多義詞詞典，以多義詞詞典中詞義個(gè)數(shù)作為K-means聚類算法的初始K值，在此基礎(chǔ)上，實(shí)現(xiàn)基于多義詞詞典的K-means聚類算法，研發(fā)得到的算法設(shè)計(jì)過(guò)程如下。

輸入：文本語(yǔ)料集中多義詞的上下文表示Cw[N]（N表示樣本總數(shù)），多義詞及詞義個(gè)數(shù)K。

輸出：每個(gè)聚類簇中樣本個(gè)數(shù)n[j]，每個(gè)聚類簇中樣本C[j]及聚類簇質(zhì)心。

Step 1 隨機(jī)選擇K個(gè)樣本點(diǎn)作為初始質(zhì)心，記為Ct[j]。

Step 2 對(duì)每一個(gè)樣本Cw[i]，計(jì)算樣本Cw[i]和每個(gè)質(zhì)心Ct[j]之間的距離dis[j]，將Cw[i]聚類到距離最近的質(zhì)心Ct[j]，形成K個(gè)聚類簇C[j][n[j]]；重新計(jì)算每個(gè)簇的質(zhì)心Ct[k]。

Step 3 重復(fù)執(zhí)行Step 2，直到聚類簇質(zhì)心不再發(fā)生變化或達(dá)到最大迭代次數(shù)。

2.3 多義詞向量表示的訓(xùn)練過(guò)程

對(duì)文本語(yǔ)料集中的每個(gè)多義詞語(yǔ)，基于K-means算法對(duì)多義詞語(yǔ)在原始文本語(yǔ)料集中所有樣本的上下文窗口表示進(jìn)行聚類，得到K個(gè)聚類簇。在文本語(yǔ)料集中按照K個(gè)類別對(duì)多義詞語(yǔ)做出標(biāo)記，不同的聚類類別代表多義詞語(yǔ)不同的詞義。在標(biāo)記的文本語(yǔ)料集上基于神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型訓(xùn)練詞語(yǔ)詞向量，得到詞語(yǔ)在不同上下文中表達(dá)不同詞義的向量表示。多義詞向量表示的訓(xùn)練過(guò)程可描述為：

Step 1 利用外部知識(shí)庫(kù)構(gòu)建多義詞詞典，統(tǒng)計(jì)多義詞語(yǔ)及其詞義的個(gè)數(shù)。

Step 2 獲取詞語(yǔ)在文本語(yǔ)料集中的上下文窗口表示。

Step 3 結(jié)合多義詞詞典基于K-means算法聚類多義詞語(yǔ)的上下文窗口表示，得到詞語(yǔ)上下文表示的聚類簇。

Step 4 按照聚類簇類別在文本語(yǔ)料集中進(jìn)行標(biāo)記，多義詞語(yǔ)根據(jù)聚類類別標(biāo)記為多個(gè)詞義表示。

Step 5 在標(biāo)記的文本語(yǔ)料集上利用神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型訓(xùn)練獲得多義詞語(yǔ)的向量表示。

3 詞義消歧

基于多義詞語(yǔ)的向量表示，對(duì)語(yǔ)句中的多義詞語(yǔ)，通過(guò)計(jì)算多義詞語(yǔ)的上下文窗口表示和在文本語(yǔ)料集中對(duì)應(yīng)的聚類簇質(zhì)心間的相似度，來(lái)獲得多義詞語(yǔ)在上下文中特定詞義的詞向量表示，進(jìn)行詞義消歧。對(duì)這一內(nèi)容可闡釋分述如下。

3.1 相似度計(jì)算

多義詞語(yǔ)上下文窗口表示和聚類簇質(zhì)心間的相似度，使用2個(gè)向量的夾角余弦值來(lái)度量。具體計(jì)算公式可表示為：

其中，Sim表示多義詞語(yǔ)上下文窗口表示和聚類簇質(zhì)心點(diǎn)的相似度；vec1是多義詞語(yǔ)上下文窗口的向量表示；vec2是多義詞語(yǔ)聚類簇質(zhì)心點(diǎn)的向量表示。

3.2 基于多義詞向量表示的詞義消歧

根據(jù)詞語(yǔ)的語(yǔ)義由其上下文決定的思想，多義詞語(yǔ)在上下文中特定語(yǔ)義，可以通過(guò)計(jì)算多義詞語(yǔ)的上下文窗口表示和在文本語(yǔ)料集中對(duì)應(yīng)的聚類簇質(zhì)心間的相似度來(lái)獲得，將最大相似度值所對(duì)應(yīng)的詞向量表示作為多義詞語(yǔ)在上下文中特定語(yǔ)義的詞向量表示，計(jì)算方法的數(shù)學(xué)公式可寫(xiě)作如下形式：

以句子中多義詞語(yǔ)的詞義消歧為例，利用詞語(yǔ)的上下文信息，本文給出的詞義消歧方法包含3個(gè)步驟，設(shè)計(jì)論述可詳見(jiàn)如下。

Step 1 識(shí)別句子中多義的詞語(yǔ)。

Step 2 計(jì)算多義詞語(yǔ)的上下文窗口表示。

Step 3 計(jì)算句子中多義詞語(yǔ)的上下文窗口表示和在文本語(yǔ)料集中對(duì)應(yīng)的聚類簇質(zhì)心間的相似度，將最大相似度值所對(duì)應(yīng)的詞向量表示作為多義詞語(yǔ)在上下文中特定語(yǔ)義的詞向量表示。

詞語(yǔ)的上下文窗口表示由2.1節(jié)的公式（1）計(jì)算得到。在公式（1）中，若wi也是多義詞語(yǔ)，則vecwi為該詞語(yǔ)在文本語(yǔ)料集中最常出現(xiàn)的語(yǔ)義所對(duì)應(yīng)的詞向量，最常出現(xiàn)的語(yǔ)義可以由文本語(yǔ)料集中該詞語(yǔ)語(yǔ)義樣本出現(xiàn)的次數(shù)來(lái)運(yùn)算確定。

多義詞語(yǔ)有2個(gè)及以上的詞向量表示，不同的詞義對(duì)應(yīng)不同的向量表示，可以識(shí)別出句子中的多義詞語(yǔ)。根據(jù)詞語(yǔ)詞義數(shù)量的多少，依照先少后多的順序依次對(duì)多義詞語(yǔ)進(jìn)行消歧。

4 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)設(shè)計(jì)流程主要包含2部分：首先訓(xùn)練獲得多義詞的詞向量表示，然后基于多義詞向量表示進(jìn)行詞義消歧。

4.1 實(shí)驗(yàn)參數(shù)

訓(xùn)練獲得多義詞的詞向量表示，原始文本語(yǔ)料集采用維基中文百科文本語(yǔ)料（文本大小約為1.9 GB）和搜狐新聞?wù)Z料集（文本大小約為680 MB），實(shí)驗(yàn)用多義詞詞典根據(jù)現(xiàn)代漢語(yǔ)多義詞詞典，由人工統(tǒng)計(jì)部分常用多義詞語(yǔ)及詞義個(gè)數(shù)。采用Google的Word2Vec模型來(lái)進(jìn)行詞向量的訓(xùn)練，向量維度設(shè)為150（一般為100～300），訓(xùn)練模型使用CBOW，其它設(shè)置均選擇默認(rèn)。多義詞語(yǔ)的上下文窗口大小設(shè)為3（一般為3～5），中文分詞選用jieba分詞工具。

基于多義詞向量表示的詞義消歧，測(cè)試數(shù)據(jù)集使用SemEval-2007國(guó)際語(yǔ)義測(cè)評(píng)任務(wù)中SemEval-2007 task5，該任務(wù)的測(cè)試集包含40個(gè)多義詞語(yǔ)，分為名詞和動(dòng)詞兩大類，多義詞語(yǔ)的上下文窗口大小為3。詞語(yǔ)上下文窗口出現(xiàn)的未登錄詞不參與計(jì)算。

詞義消歧的實(shí)驗(yàn)結(jié)果采用準(zhǔn)確率來(lái)進(jìn)行評(píng)價(jià)，計(jì)算公式即如式（4）所示：

由表1、表2中可以看出，名詞性多義詞語(yǔ)進(jìn)行詞義消歧的準(zhǔn)確率要高于動(dòng)詞性多義詞語(yǔ)。一般來(lái)說(shuō)，在上下文環(huán)境中，名詞的詞義更加明確，也更加容易區(qū)分，訓(xùn)練得到的名詞性多義詞語(yǔ)的向量表示，更能較好地區(qū)別表示名詞性多義詞語(yǔ)的不同詞義。

從整體上來(lái)看，單字的多義詞消歧正確率一般低于雙字的多義詞，在多義詞語(yǔ)向量表示的訓(xùn)練過(guò)程中，需要對(duì)語(yǔ)料集文本進(jìn)行分詞，分詞的粒度和準(zhǔn)確性會(huì)影響分詞的效果，而對(duì)于單字的多義詞來(lái)說(shuō)，分詞后的樣本較少，訓(xùn)練得到的單字多義詞的向量表示不能做到準(zhǔn)確區(qū)分表示詞義，例如動(dòng)詞“出”，習(xí)慣用法是與其它詞語(yǔ)組合，共同作為一個(gè)詞語(yǔ)來(lái)加以使用。

整體詞義消歧的平均準(zhǔn)確率為52%，由于語(yǔ)料庫(kù)規(guī)模的限制，影響多義詞上下文窗口表示的聚類效果，降低了訓(xùn)練獲得的多義詞向量表示的準(zhǔn)確性。受限于語(yǔ)言學(xué)的知識(shí)，人工編制的多義詞詞典，未能收錄全部的多義詞，多義詞詞義的個(gè)數(shù)的統(tǒng)計(jì)也存在誤差，因而也在一定程度上降低了多義詞上下文窗口表示的聚類效果及標(biāo)記準(zhǔn)確性。

5 結(jié)束語(yǔ)

針對(duì)多義詞詞義消歧的問(wèn)題，利用人工構(gòu)建的多義詞詞典，在K-means聚類多義詞語(yǔ)上下文窗口表示的基礎(chǔ)上，訓(xùn)練獲得多義詞語(yǔ)的向量表示，給出了一種基于多義詞向量表示的詞義消歧方法，對(duì)句子中的多義詞語(yǔ)進(jìn)行詞義消歧。實(shí)驗(yàn)結(jié)果表明，詞義消歧方法具備良好實(shí)效及操作可行性。后續(xù)工作中，亟待進(jìn)一步研究的問(wèn)題主要有：多義詞詞典的持續(xù)完善，語(yǔ)料庫(kù)的規(guī)模和質(zhì)量影響多義詞向量表示的精度，詞義消歧的準(zhǔn)確性也依賴中文分詞的粒度和準(zhǔn)確性以及詞語(yǔ)上下文窗口的表示方法。

參考文獻(xiàn)

[1] 高雪霞，炎士濤. 基于WordNet詞義消歧的語(yǔ)義檢索研究[J]. 湘潭大學(xué)自然科學(xué)學(xué)報(bào)，2017， 39（2）：118-121.

[2] 郭鴻奇，李國(guó)佳. 一種基于詞語(yǔ)多原型向量表示的句子相似度計(jì)算方法[J]. 智能計(jì)算機(jī)與應(yīng)用，2018，8（2）：38-42.

[3] 楊陟卓. 基于上下文翻譯的有監(jiān)督詞義消歧研究[J]. 計(jì)算機(jī)科學(xué)，2017，44（4）：252-255，280.

[4] 張春祥，徐志峰，高雪瑤. 一種半監(jiān)督的漢語(yǔ)詞義消歧方法[J]. 西南交通大學(xué)學(xué)報(bào)，2018，3（2）： http：//kns.cnki.net/kcms/detail/51.1277.U.20180306.1913.006.html.

[5] 楊安，李素建，李蕓. 基于領(lǐng)域知識(shí)和詞向量的詞義消歧方法[J]. 北京大學(xué)學(xué)報(bào)（自然科學(xué)版），2017，53（2）：204-210.

[6] REISINGER J， MOONEY R J. Multi-prototype vector-space models of word meaning [C] // Proceedings of the 11th Annual Conference of the North American Chapter of the Association for Computational Linguistics （NAACL-2010）. Los Angeles： ACL， 2010：109-117.

[7] HUANG E H， SOCHER R， MANNING C D， et al. Improving word representations via global context and multiple word prototypes [C] //Meeting of the Association for Computational Linguistics. Korea Jeju Island：ACM，2012：873-882.

[8] BENGIO Y， DUCHARME R， VINCENT P， et al. A neural probabilistic language model[J] . Journal of Machine Learning Research， 2003， 3 （6）： 1137-1155.