周 祺， 陶 皖

(安徽工程大學 計算機與信息學院，安徽 蕪湖 241000)

0 引 言

在自然語言處理(Natural Language Processing，NLP)中，實體分類是指為每一個實體分配一個指定的標簽，這是一項非常重要而又基礎的工作，在知識圖譜的構建中扮演著重要的角色，作為構建知識圖譜的基礎性工作，實體分類的質量好壞直接影響整個知識圖譜的可信度和可用性。傳統(tǒng)的命名實體識別[1](Name Entity Recognition，NER)作為實體抽取的子任務為后續(xù)的工作奠定了堅實的基礎，即將文本中的指稱(即實體在具體上下文中的一段指代)抽取出來，并判斷其在上下文中的類型為人、位置、組織、其他等粗粒度類型的過程。近年來，傳統(tǒng)的命名實體識別被擴展到更深層次的細粒度實體類型。由于上游分配粗粒度的實體類型，后續(xù)選取實體間的候選關系就會復雜，相應的關系抽取任務會變得愈加困難，于是就促進了細粒度實體分類任務的研究。通過細粒度實體分類概念的引入，有效地將粗粒度的實體類型標簽細化、層次化，從而使得下游任務(關系抽取、事件抽取、問答系統(tǒng)、實體推薦等)的工作效率降低，提高工作效率。

細粒度實體分類[2](Fine-grained Entity Typing，FET)在給定實體指稱的情況下，依據其上下文給實體指稱賦予一個或多個實體類型。在FET中，能夠對目標實體類型進行更細致地劃分，同時保證類型之間存在一定的層次關系。細粒度的實體類型表示可以為其他 NLP 任務提供更多的語義信息，有助于增強后續(xù)關系抽取和事件抽取等任務的指示性，提高問答系統(tǒng)、實體推薦等下游任務的工作效率。

傳統(tǒng)的FET任務通常采用人工標注語料的方式，費時費力。隨著實體類型數據集的不斷增大，人工標注類型標簽的難度增加、代價高昂，而且容易出錯。為此將深度學習中的神經網絡方法[3-5]運用到細粒度實體分類領域，可充分利用深度學習方法從大量訓練語料中學習不同語料的語義特征，代替人工標注，從而提高細粒度實體分類的準確率。然而現有的基于神經網絡的細粒度實體分類模型大多需要遠程監(jiān)督[6](Distant Supervision)的參與，由于遠程監(jiān)督鏈接到知識庫中實體指稱的所有標簽，召回過程不可避免地會引入噪聲問題，但過多的噪聲使得訓練模型性能變差，影響分類精度。為了緩解噪聲標簽產生的負面影響，有學者提出細粒度實體分類的標簽噪聲處理方法，如剪枝噪聲標簽[7]、劃分數據集[8]等，能夠有效地改善FET任務處理噪聲標簽的魯棒性，促進了細粒度實體分類的進一步研究。

1 細粒度實體分類

Lee等[9]首次在問答系統(tǒng)中對細粒度命名實體識別任務進行處理，提出利用條件隨機場(Conditional Random Field，CRF)檢測命名實體的邊界，并使用最大熵(Maximum Entropy，ME)對實體進行分類，同時他們定義了147種細粒度的命名實體類型。但對于細粒度的語義命名實體識別與分類還沒有系統(tǒng)的研究，因此Ekbal等[10]依賴大型文本語料庫，獲取細粒度的語義類型和實例，構建了細粒度命名實體識別與分類的數據集。為了擴展命名實體類型表示，Sekine[11]使用日本百科全書的知識創(chuàng)建了200種擴展命名實體類型，其中包含了擴展命名實體的豐富描述以及一系列的屬性設計。與上述工作不同的是，Ling等[2]針對細粒度實體分類任務，創(chuàng)建了經典數據集FIGER，將本來只劃分為5～6種類型的實體擴展到112種類型標簽，通過遠程監(jiān)督的方式，獲取維基百科詞條中的實體類型信息，并根據CRF劃分實體邊界，最終由感知機算法完成多類別多標簽任務，開辟了針對細粒度實體分類領域的新方法，為后續(xù)的研究工作提供了便捷。針對FIGER數據集中類型數量相對較少，一個實體通常只映射到一個類型的問題，Yosef等[12]提出了在不同層次、數百種類型的基礎上，利用層次分類法對來自WordNet中的大量實體類型自動計算擴展實體指稱的類型，得到了非常精細的505種實體類型，形成了一個多標簽的分級分類系統(tǒng)HYENA。略顯不足的是，HYENA中的類型均來自WordNet中的子集，缺少重要的實體類型。為了彌補這一缺陷，FINET[13]不再限制實體類型，提取整個WordNet中超過16 000種類型，其中包括個人、組織和位置等。以往的研究大多依賴于人工標注的特征，而Dong等[14]首次采用深度學習的方式，使用詞嵌入作為特征，通過監(jiān)督方法將網頁中的內容提取與現有知識庫中的先驗知識相融合，能夠有效地提高識別實體類型的準確率。上述工作均為細粒度實體分類領域的研究奠定了基礎，證實了其存在價值及重要意義，并為后續(xù)實驗創(chuàng)建了基礎實驗數據集。

2 基于神經網絡的細粒度實體分類

由于實體指稱在知識庫中所對應的類型較多，一般采用人工標注的方式保證樣本的準確率，但這樣人工成本耗費過多。隨著知識庫規(guī)模的急速增長，人工標注的方式已經無法跟上數據更新的速度，因此使用神經網絡方法代替部分人工過程，以便提高細粒度實體分類的準確率和召回率。

2.1 基于卷積神經網絡的細粒度實體分類

卷積神經網絡(Convolutional Neural Network, CNN)[3]通常由輸入層、隱藏層和輸出層組成。首先在輸入層處理多維數據，其次在隱藏層中可以利用卷積層、池化層和全連接層對輸入數據進行特征提取、特征選擇以及信息過濾，最后在輸出層使用邏輯函數或softmax函數輸出分類標簽。

為提取實體信息用于知識庫補全領域，Jia等[15]提出一種學習實體指稱及其上下文聯合表示的卷積神經網絡聯合模型(Convolutional Neural Network Joint Model, CNNJM)，在詞嵌入平均化的基礎上進行一層卷積，通過最大池化操作獲得最重要的特征，類似思想也用于句子分類[16]、事件抽取[17]領域中，CNNJM更關注于實體本身的特征信息。然而實體指稱的上下文蘊含著更豐富的信息，于是Murty等[18]通過對實體指稱的上下文及位置信息進行卷積操作，之后進行最大池化處理，提取更多的上下文特征信息，有利于提高細粒度實體分類的準確率。

2.2 基于循環(huán)神經網絡的細粒度實體分類

考慮CNN網絡層次之間的關聯性不強，且無法很好地學習自然語言數據的長距離依賴和結構化語法特征，因此卷積神經網絡在后期自然語言處理中的應用要少于循環(huán)神經網絡(Recurrent Neural Network，RNN)[4]。RNN以序列數據為輸入，在序列的演進方向進行遞歸操作，將所有循環(huán)單元按鏈式連接，主要包括輸入層、隱藏層和輸出層，隱藏層中添加了記憶細胞模塊。與CNN有所不同的是，CNN隱藏層之間的節(jié)點是無連接的，而RNN會對前面的信息進行記憶并應用于當前輸出的計算中，即隱藏層之間的節(jié)點是有連接的。

研究證明，RNN對符合時間順序、邏輯順序等序列特性的數據十分有效，能挖掘數據中的時序信息以及語義信息，但是由于權重累加過大，無法進行長期記憶的學習，可能導致結果失真、運算效率降低，因此長短期記憶(Long Short-Term Memory，LSTM)[5]網絡應運而生。LSTM網絡通過精妙的輸入門、遺忘門和輸出門控制將短期記憶與長期記憶結合起來，選擇性地記錄或遺忘輸入的信息，有利于提取重要的特征信息，得到更好的實驗結果。

為了達到更高精度識別實體、細化實體類型的效果， Shimaoka等[19]創(chuàng)新地使用LSTM學習實體指稱的上下文表示，同時引入注意力機制，為雙向長短期記憶網絡(Bi-directional LSTM，BiLSTM)編碼的上下文序列計算注意力權重，識別更具表達類型標簽的信息，并使分類行為更具可解釋性。隨后，Shimaoka等[20]將先前未考慮到的人工標注特征與模型學習到的特征結合在一起形成互補的信息，再次提高細粒度實體分類任務的準確率和召回率。根據知識庫(Knowledge Base，KB)中有關實體的豐富信息，Xin等[21]提出了基于知識庫的注意力神經網絡模型。該模型將實體指稱的上下文向量投入BiLSTM，通過計算注意力權重，輸出上下文表示。與此同時，還將注意力機制運用到實體指稱表示和來自知識庫的實體表示，既考慮了實體指稱與上下文的關系，也能夠把實體指稱與知識庫中相關實體的關系代入其中。鑒于FIGER、OntoNotes中的實體類型仍不夠精細，Choi等[22]提出了超細粒度實體分類(Ultra-Fine Entity Typing，UFET)，采用兩層獨立的BiLSTM處理上下文，并通過注意力機制和多層感知機(Multi-layer Perceptron，MLP)算法生成實體指稱的上下文表示，有效地改進了細粒度實體分類的效果。同時創(chuàng)建了三層的超細粒度實體類型數據集UFET，包括9種通用類型、121種細粒度類型和10 201種超細粒度類型。

由于LSTM的強大功能，將其應用到自然語言處理領域的效果良好，此后的細粒度實體分類任務大多采用LSTM處理實體指稱的上下文向量，以獲取重要的上下文語義特征，為實體指稱分配細粒度實體類型提供指示性信息。

3 基于噪聲處理的細粒度實體分類

現有的大多數細粒度實體分類模型采用基于神經網絡的實體分類模型，利用遠程監(jiān)督方法首先將語句中的實體指稱鏈接到知識庫中的實體，再把KB中實體的所有類型標簽分配給實體指稱的候選類型集。由于采用遠程監(jiān)督方法，分配類型標簽時未考慮實體指稱的上下文，會將無關的實體類型標簽引入訓練數據中，把這些無關的類型標簽視為標簽噪聲。遠程監(jiān)督在對實體指稱進行細粒度實體分類時會受到標簽噪聲和相關類型的限制，從而加大了后續(xù)分類模型對實體指稱進行正確分類的難度，嚴重影響了細粒度實體分類模型的準確性和可信性。因此，對標簽噪聲進行有效處理，能凈化訓練數據集，使分類模型訓練時能夠高效學習實體類型標簽，優(yōu)化分類模型的準確性。本節(jié)介紹基于噪聲處理的細粒度實體分類，主要分為基于規(guī)則劃處理數據集、優(yōu)化損失函數兩部分。

3.1 基于規(guī)則處理數據集

由于FIGER[2]和HYENA[12]的訓練集和測試集都是從Wikipedia中利用遠程監(jiān)督自動獲取的，未經過任何的過濾和挑選。因此Gillick等[7]通過在訓練集上采用啟發(fā)式剪枝的方法來解決訓練數據中出現的多余標簽，用于完善訓練數據的啟發(fā)式方法刪除了與單個實體關聯的同級類型，僅保留了父類型；刪除與在該類型集上訓練的標準粗粒度類型分類器的輸出不一致的類型；刪除出現次數少于文檔中的最小次數的類型。經過啟發(fā)式規(guī)則能有效地改善人工標注數據的性能。但通過啟發(fā)式規(guī)則剪枝噪聲，會導致訓練數據樣本量減少，影響模型的整體性能，因此Ren等[8]提出自動細粒度實體分類模型(Automatic Fine-grained Entity Typing，AFET)，對帶有正確類型標簽的實體指稱和帶有噪聲標簽的實體指稱分別進行建模訓練，另外還設計了一種新的部分標簽損失算法，能利用噪聲候選類型集中與實體指稱相關的候選類型建模真實類型，并利用為指稱所提取的各種文本特征逐步估計出最佳類型。然而，去噪過程和訓練過程沒有統(tǒng)一，這可能會導致誤差傳播，帶來更多的復雜性。于是Zhang等[23]提出一種基于路徑的注意力神經網絡模型( Path-based Attention Neural Model，PAN )可以選擇與每種實體類型相關的語句，動態(tài)減少訓練期間每種實體類型的錯誤標記語句的權重，通過端到端的過程有效地減少類型標簽噪聲，并能在有噪聲的數據集上實現更好的細粒度實體分類性能。為進一步改進噪聲數據處理的效果，Abhishek等[24]參考AFET，構建了AAA模型，將訓練數據分為干凈集和噪聲集，若訓練數據實體的多個標簽屬于同一類別將其分為到干凈集，反之則劃分到噪聲集。同時能聯合學習實體指稱及其上下文表示，并且在訓練數據時使用變形的非參變量鉸鏈損失函數，還運用遷移學習提高模型的有效性。

3.2 優(yōu)化損失函數

3.2.1 鉸鏈損失函數

鉸鏈損失(Hinge Loss)函數是機器學習領域中的一種損失函數，可用于“最大間隔(Max-margin)”分類，經典公式如下：

L(y,y′)=max(0,marg in+y′-y)

(1)

其中，y是正例標簽的得分，y′是負例標簽的得分，兩者間的差值用來預測兩種預測結果的相似關系。

以往對細粒度實體分類中訓練數據的噪聲進行處理時將其剪枝或劃分為不同的數據集，但是未充分考慮到細粒度實體分類系統(tǒng)處理噪聲數據時的魯棒性。于是Yogatama等[25]在WSABIE[26]的基礎上，提出了學習特征和標簽聯合表示的模型K-WSABIE，將特征向量和標簽映射到同一低維空間，學習特征和標簽的聯合表示。與此同時，在K-WSABIE中引入鉸鏈損失函數，如下：

L(y,y′)=R(rank(y))max(0,1-y+y′)

(2)

其中，y和y′含義如上，R(rank(y))使得正例標簽的得分高于負例標簽，彼此之間不產生競爭，有效提高模型應對噪聲數據的魯棒性。

為減少與上下文無關的噪聲標簽影響，Dai等[27]利用實體鏈接[28-29]改進細粒度實體分類模型，根據上下文、指稱的字符以及用實體鏈接從知識庫中獲得的類型信息結合在一起靈活地預測類型標簽，同時設計了一個變形的鉸鏈損失函數防止訓練后的模型過擬合弱標記數據，如下：

L(y,y′)=max(0,1-y)+λ·max(0,1+y′)

(3)

其中，y和y′含義如上，λ為超參數，靈活地調整對負例標簽的懲罰。

由于以往方法對實體指稱獨立建模，僅依據上下文分配實體類型標簽，可能會妨礙信息跨越句子邊界傳遞信息，為此Ali等[30]提出了一個基于邊緣加權的注意力圖卷積網絡(Fine-Grained Named Entity Typing with Refined Representations，FGET-RR)。FGET-RR不僅分析具體的上下文信息，還側重于對語料庫中特定標簽的上下文進行分析。另外，對于干凈數據和含噪聲數據分別設計鉸鏈損失函數，如下：

Lclean=ReLU(1-y)+ReLU(1+y′)

(4)

Lnoisy=ReLU(1-y*)+ReLU(1+y′)

y*=arg maxy

(5)

3.2.2 交叉熵損失函數

交叉熵損失函數(Cross Entropy Loss)在機器學習中主要用于衡量真實概率分布與預測概率分布之間的差異性，交叉熵的損失值越小，代表模型的預測效果就越好，如下：

(6)

其中，p為真實概率分布，q為預測概率分布。

與前人不同的是，Xu等[31]對原本細粒度實體分類的多標簽分類問題，轉換為單標簽分類問題，并且使用變形的交叉熵損失函數和分層損失函數來分別處理無關噪聲標簽以及過于具體的標簽。變形的交叉熵損失函數根據實體指稱的上下文自動過濾不相關的類型，如下：

(7)

其中，N為實體指稱的數量，p(yi)為預測的概率分布，當實體指稱對應多個類型標簽時，只選取具有最高概率的標簽。分層損失函數能調整預測相關類型的步驟，使模型了解實體類型的層次結構，預測真實類型的父類型會比其他不相關的類型效果好，從而減輕過于具體標簽的消極影響。

在NFETC[31]的基礎上，為避免文獻[8、24、31]中使用部分標簽損失的確認誤差累積影響，Chen等[32]提出使用壓縮隱空間簇(NFETC-Compact Latent Space Clustering，NFETC-CLSC)來規(guī)范遠程監(jiān)督模型。對于干凈的數據，壓縮相同類型的表示空間；對于有噪聲的數據，通過標簽傳播和候選類型約束來推斷它們的類型分布，激發(fā)出更好的分類性能。以KL散度計算遠程監(jiān)督損失值，如下：

(8)

其中，B為干凈數據訓練時的批大小，J為目標類型數，yij為預測類型分布。

針對文獻[31]將細粒度實體分類轉化為單標簽分類問題，此方法未必完全正確，于是Zhang等[33]提出了一種統(tǒng)一處理所有訓練樣本的基于概率自動重標記的方法(NFETC-Automatic Relabeling，NFETC-AR)。在訓練過程中為每個樣本分配所有候選標簽上的連續(xù)標簽分布，并且將連續(xù)標簽分布作為訓練參數的一部分通過反向傳播算法進行更新，達到預測分布與偽真標簽分布之間的最小化KL散度(Kullback-Leibler Divergence)的目的，最后取偽真標簽分布中值最大的標簽作為唯一的偽真標簽，具體KL散度如下：

(9)

其中，N為實體指稱的數量，T為類型數，pij為連續(xù)標簽分布。

不僅要考慮標簽的層次結構，Xin等[34]從語言角度提出了以無監(jiān)督的方式，運用標簽含義衡量上下文句子與每個遠程監(jiān)督獲得的標簽之間的兼容性，將模型分為兩部分：實體分類模型(Entity Typing Module，ET)和語言增強模型(Language Model Enhancement， LME)。ET 通過交叉熵函數，最小化真實類型概率與預測類型概率的差異，如下：

(10)

LME利用一個語言模型和一組標簽嵌入來判斷標簽與上下文句子之間的兼容性，減少由遠程監(jiān)督產生的噪聲。

(11)

4 常用數據集及評價指標

在本節(jié)將詳細描述細粒度實體分類任務中所用到的實驗數據集、評價指標以及部分文獻的實驗結果對比。

4.1 常用數據集

在細粒度實體分類任務中，主要用到以下3個數據集：FIGER[2]、OntoNotes[7]、BBN[37]。其中FIGER和BBN為2層數據集，OntoNotes為3層數據集，其他數據如表1所示。

表1 細粒度實體分類中常用的數據集

4.2 評價指標

評價細粒度實體分類任務沿用Ling等[2]提出的3個指標：準確率(Accuracy，Acc)、宏觀平均F1值(Macro-averaging F1-Measure，Macro F1)以及微觀平均F1值(Micro-averaging F1-Measure，Micro F1)：

(12)

宏觀平均F1值是宏觀精確率(Macro Precision，Pma)和宏觀召回率(Macro Recall，Rma)的平均值。

(13)

(14)

微觀平均F1值是微觀精確率(Micro Precision，Pmi)和微觀召回率(Micro Recall，Rmi)的平均值。

(15)

(16)

4.3 細粒度實體分類方法的對比研究

為比較以上細粒度實體分類方法的性能表現，本文在相同數據集上將各種方法的實驗結果列出進行對比研究，如表2所示。選取的細粒度實體分類方法有以下幾類：經典方法FIGER[2]、HYENA[12]；基于RNN的細粒度實體分類方法Attentive[19]；對于噪聲處理方面，選取啟發(fā)式剪枝噪聲方法CFGET[7]，根據規(guī)則劃分數據集方法AFET[8]和AAA[24]，優(yōu)化鉸鏈損失函數方法FGET-RR[30]，優(yōu)化交叉熵損失函數方法NFETC[31]、CLSC[32]、AR[33]和LME[34]進行對比分析。

由表2可以看出，早期提出的經典細粒度實體方法(如FIGER、HYENA)主要集中在將原始的粗粒度的命名實體類型擴展到細粒度的實體類型識別上，因此在3個數據集上的性能表現較差，特別是HYENA將所有實體類型劃分為9層、共計505種的細粒度類別，難度大，因此最終的準確率、Macro F1值和Micro F1值相對較低。引入神經網絡模型后，Attentive創(chuàng)新性地使用LSTM和注意力機制，使得模型的性能表現有大幅提高，在FIGER數據集上，準確率提高約12%，Macro F1值提高約10%，Micro F1值提高約10%；在OntoNotes數據集上，準確率能夠提升近15%，Macro F1值提高近14%，Micro F1值提高近7%。在處理標簽噪聲方面，CFGET采用剪枝訓練集噪聲的方法，但由于訓練集規(guī)模的減小，在數據集上的表現較差，與FIGER實驗結果相近。而AFET和AAA根據類型路徑劃分干凈數據集和含噪聲數據集，能夠有效地提高實體分類的準確率、Macro F1值和Micro F1值，尤其是AAA加入注意力機制，提取更為重要的特征信息，在3個數據集上表現良好，與Attentive相比，在FIGER數據集上，準確率提高約6%，Macro F1值提高約2%，Micro F1值提高約2%；在BBN數據集上，準確率能夠提升近12%，Macro F1值提高近1%，Micro F1值提高近3%。FGET-RR采用圖卷積網絡分析上下文信息，并對干凈數據和含噪聲數據分別設計損失函數，在FIGER、BBN、OntoNotes數據集上的性能能夠得到顯著的提升。CLSC、AR都是在NFETC的基礎上做出相應改進，實驗結果表明AR對所有標簽通過最小化預測標簽與偽真標簽之間的KL散度進行概率更新，最終在FIGER數據集上，較NFETC準確率提高約2%，Macro F1值提高約2%，Micro F1值提高約1%；在BBN數據集上,較NFETC準確率提高約4%，Macro F1值提高約2%，Micro F1值提高約3%。LME從語義角度，主要考慮了語言增強模型，未對預測分類模型做出改進，因此LME在3個數據集上的性能表現不如NFETC。

表2 細粒度實體分類性能比較

因此，由上述分析可以看出，在細粒度實體分類領域中采用BiLSTM處理實體指稱上下文，并通過注意力機制提取更為重要的特征，同時利用ELMo、BERT等大規(guī)模的預訓練模型代替原有的詞嵌入，有助于提高分類的準確率。另外，為規(guī)避遠程監(jiān)督產生的噪聲問題，以無監(jiān)督的方式，選取偽真標簽中最大值的標簽，也能顯著改善分類效果。

5 研究展望

對現有的細粒度實體分類方法以及基于噪聲標簽處理的方法進行了詳細介紹，下面對未來細粒度實體分類的發(fā)展趨勢和研究熱點進行探討，主要包括以下兩個方面。

(1) 目前，基于神經網絡的細粒度實體分類大多數都是監(jiān)督學習，少部分以無監(jiān)督的方式也取得良好的實驗結果。未來以半監(jiān)督方式，通過訓練有標注數據，在驗證集上驗證無標注數據以獲得偽標簽數據，將標簽數據與偽標簽數據結合再次進行訓練或以無監(jiān)督方式，不斷優(yōu)化相似類型標簽之間的距離都是可研究的方向。

(2) 對于細粒度實體分類的噪聲處理，大多利用遠程監(jiān)督的方法，使得模型關注于實體指稱及其上下文，并采用詞嵌入、BiLSTM處理指稱和上下文向量。LSTM的變體GRU利用更新門和重置門控制輸入值、記憶值和輸出值，結構較LSTM更為簡單，能夠簡化神經網絡，因此利用GRU處理實體指稱或上下文的實驗有待嘗試。另外，利用大規(guī)模的預訓練模型ELMo、BERT等增強原有處理上下文的BiLSTM方法?，F在可挖掘其他大型語料庫的信息作為原來只基于實體指稱上下文方法的一種補充，提取更優(yōu)價值的信息，有利于提高實體分類模型的準確率。

本文對細粒度實體分類方法進行了詳細敘述，介紹了現有的基于不同神經網絡的細粒度實體分類方法以及基于噪聲處理的細粒度實體分類方法，并對常用的數據集、評價指標和細粒度實體分類方法的性能表現進行了整理歸納，同時分析了未來發(fā)展趨勢和研究熱點。