張森，張攀

（1.四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065；2.四川大學(xué)視覺合成圖形圖像技術(shù)國家級(jí)重點(diǎn)實(shí)驗(yàn)室，成都610065）

0 引言

近年來，隨著知識(shí)圖譜（Knowledge Graph，KG）技術(shù)的不斷發(fā)展，其易擴(kuò)展、表達(dá)友好等特性越來越被認(rèn)可。KG 常見的知識(shí)組織形式有RDF（Resource Description Framework）、RDFS（Resource Description Framework Schema）和OWL（Web Ontology Language）。不同的知識(shí)組織形式也催生出了不同的KG，其中常見的有Freebase[1]、WikiData[2]、DBpedia[3]和YAGO[4]等。KG 作為一個(gè)知識(shí)庫被廣泛的應(yīng)用在需要先驗(yàn)知識(shí)的智能系統(tǒng)之中，例如：用戶興趣推薦系統(tǒng)、精準(zhǔn)搜索和問答系統(tǒng)。其中問答系統(tǒng)就是利用自然語言處理技術(shù)對(duì)問句進(jìn)行語義與語法分析，理解用戶問句中表達(dá)的含義，隨后結(jié)合知識(shí)庫搜索出用戶想要的答案。

常見的KG 大多以RDF 三元組的形式表示知識(shí)，三元組通?？梢员硎緸槿缦滦问剑海糴h,r,et＞其中eh代表頭實(shí)體，r表示實(shí)體之間的關(guān)系，et代表尾實(shí)體。而基于知識(shí)庫問答系統(tǒng)的工作原理為首先分析確定問句中的eh和r，然后利用正確的eh和r到知識(shí)庫中查詢到對(duì)應(yīng)的et。在自然語言式的問句中得到eh的過程稱之為實(shí)體對(duì)齊，解析出r的過程稱之為關(guān)系檢測(cè)或者關(guān)系抽取。

實(shí)體對(duì)齊主要分為兩部分：命名實(shí)體識(shí)別（Named Entity Recognition，NER）和實(shí)體鏈接（Entity Linking）。命名實(shí)體識(shí)別主要將問句中的實(shí)體名（通常包含人名、地名、機(jī)構(gòu)名等）標(biāo)注出來。通常短文本的NER 效果很好，因此實(shí)體對(duì)齊重點(diǎn)往往聚焦于實(shí)體鏈接部分。

在KG 中可能存在多個(gè)實(shí)體名字相同或者相似的情況，但是每個(gè)實(shí)體有唯一的ID 進(jìn)行辨識(shí)。其中實(shí)體名相似或相同的實(shí)體集合稱之為實(shí)體候選集，而實(shí)體鏈接就是從實(shí)體候選集中選出正確的實(shí)體。

1 相關(guān)工作

實(shí)體鏈接本質(zhì)上是一個(gè)實(shí)體消歧的過程，實(shí)體消歧根據(jù)不同類型的數(shù)據(jù)有不同的消歧的手段。在面向單條短問句的實(shí)體消歧過程中，常見的方法主要有兩種：基于實(shí)體顯著性和基于實(shí)體上下文相似度[5]。實(shí)體顯著性描述的是實(shí)體固有的屬性，通過對(duì)實(shí)體顯著性的統(tǒng)計(jì)從候選集篩選出顯著性最高的實(shí)體從而完成消歧的過程。通常實(shí)體顯著性的各種指標(biāo)均為手工定義的規(guī)則或范式，因此不具有泛化性，并且顯著性特征定義的好壞會(huì)直接影響實(shí)體消歧的結(jié)果。相比顯著性統(tǒng)計(jì)，上下文相似度的方法具有了更大的靈活性并且考慮到了實(shí)體語義層面的含義。常見的上下文相似度方法有：分類法[6]、聚類法[7]、主題法[8]、概率語言模型法[9]。隨著深度學(xué)習(xí)的興起，上下文相似度出現(xiàn)了新的度量方式[10-15]，通常該類方法將文本嵌入到一個(gè)低維的分布式向量空間，運(yùn)用不同的網(wǎng)絡(luò)模型提取語義特征，根據(jù)語義相似度最終完成實(shí)體消歧。

雖然實(shí)體鏈接方法眾多，但是針對(duì)簡單問句的實(shí)體鏈接仍然具有很大的挑戰(zhàn)性，其主要的困難主要包含以下幾點(diǎn)：

（1）簡單問句中實(shí)體名稱不規(guī)范，可能出現(xiàn)縮寫、別名以及拼寫錯(cuò)誤等情況；

（2）簡單問句上下文不豐富，對(duì)實(shí)體消歧起到的作用微小甚至無用；

（3）知識(shí)庫中實(shí)體的描述信息不充分甚至缺乏，導(dǎo)致比對(duì)候選實(shí)體上下文相似度無法進(jìn)行。

針對(duì)上述問題，本文提出了一種多維度匹配方法。該方法是實(shí)體顯著性與深度學(xué)習(xí)的組合。其中，文本維度匹配較大程度保證實(shí)體名不規(guī)范等情況；統(tǒng)計(jì)維度匹配能在不需要問句上下文的情況下完成實(shí)體鏈接；最后實(shí)體屬性匹配利用實(shí)體屬性信息進(jìn)一步修正實(shí)體鏈接結(jié)果。該方法在合適的組合方式下能達(dá)到較高的實(shí)體鏈接準(zhǔn)確度。

2 本文方法

實(shí)體對(duì)齊分為命名實(shí)體識(shí)別與實(shí)體鏈接兩個(gè)過程。命名實(shí)體識(shí)別在簡短式的問句中通常表現(xiàn)很好，本文主要聚焦于實(shí)體鏈接這個(gè)過程。

2.1 多維度匹配的總體設(shè)計(jì)

實(shí)體鏈接主要從文本匹配、統(tǒng)計(jì)匹配和實(shí)體屬性匹配這三個(gè)維度展開，其過程如圖1 所示。

圖1 多維度匹配總設(shè)計(jì)

其中文本維度匹配主要功能是產(chǎn)生一個(gè)合理大小的實(shí)體候選集c1，統(tǒng)計(jì)維度匹配利用實(shí)體的一些顯著性指標(biāo)（例如：實(shí)體熱度）完成候選集重排序，得到新的候選集c2。實(shí)體屬性匹配利用實(shí)體屬性（例如：實(shí)體關(guān)系、實(shí)體類型）進(jìn)一步修正實(shí)體候選集的排序，得到最終候選集c3。

2.2 文本維度匹配

問句中實(shí)體名稱由命名實(shí)體識(shí)別得到，要將其鏈接到知識(shí)庫中一個(gè)正確的實(shí)體上，首先應(yīng)該進(jìn)行文本維度匹配篩選出實(shí)體候選集。實(shí)體名稱的文本相似度可以采用編輯距離來衡量。編輯距離是指將字符串a(chǎn)轉(zhuǎn)化為字符串b 最小操作次數(shù)。其遞推過程如式（1）所示。

其中LDa,b(i,j)表示字符串a(chǎn) 的前i 個(gè)字符子串轉(zhuǎn)化到字符串b 前j 個(gè)字符子串所需的最少操作次數(shù)。得到編輯距離LDa,b后，再根據(jù)字符串a(chǎn)，b 的長度La與Lb，即可通過式（2）計(jì)算出相似度Ra,b。

不難看出，實(shí)體候選集為了盡可能地覆蓋到正確答案就必須采用較小的相似度R，但是過小的R可能導(dǎo)致實(shí)體候選集過大同樣也會(huì)影響實(shí)體鏈接的最終效果。通常R≥0.8 表示有微小的拼寫錯(cuò)誤，而R＜0.8 則表明實(shí)體名拼寫完全錯(cuò)誤不予識(shí)別。

由于實(shí)體名拼寫是否規(guī)范，通常與實(shí)體名本身復(fù)雜程度有關(guān)，針對(duì)簡單且易于拼寫的實(shí)體名而言，如果固定的閾值R太小，導(dǎo)致實(shí)體候選集過大，相反，復(fù)雜不易拼寫的實(shí)體名，如果R太大，則實(shí)體候選集過小?？梢?，固定R很難獲得一個(gè)合理大小的候選集，從而間接影響最終實(shí)體鏈接效果。因此，本文采用一種多級(jí)閾值的方法生成實(shí)體候選集。即設(shè)置一組從大到小的閾值依次進(jìn)行匹配，其中本文設(shè)置三級(jí)閾值分別為：精確匹配閾值（R=1.0）；較精確匹配閾值（R≥0.9）；一般匹配閾值（R≥0.8）。其中下一級(jí)閾值只在上一級(jí)閾值沒有匹配到實(shí)體的情況下生效。

2.3 統(tǒng)計(jì)維度匹配

文本維度匹配生成實(shí)體候選集，在統(tǒng)計(jì)維度匹配中利用實(shí)體顯著性特征對(duì)進(jìn)行實(shí)體候選集進(jìn)行重排序。其中統(tǒng)計(jì)維度匹配主要是統(tǒng)計(jì)實(shí)體熱度，然后根據(jù)熱度對(duì)初始候選集進(jìn)行重排序。

在Freebase 知識(shí)庫中，每條知識(shí)按照三元組（＜eh,r,et＞）方式組織。因此，實(shí)體熱度大小用該實(shí)體在知識(shí)庫中r的數(shù)量表示，r的數(shù)量越多熱度越高。反之越低。其中實(shí)體作為eh出現(xiàn)，那么所有r的數(shù)量總和稱為出度。實(shí)體作為et出現(xiàn)，那么所有r的數(shù)量總和稱為入度。通常出、入度之和代表實(shí)體熱度。但是本文只用出度代表實(shí)體熱度。其第i 個(gè)實(shí)體熱度得分scoreh(i)由熱度值hoti歸一化得到，其計(jì)算方式如式（3）所示：

其中maxi、mini為最大與最小熱度值，ε參數(shù)為防止下溢，本文取0.001。

2.4 實(shí)體屬性維度匹配

在統(tǒng)計(jì)維度匹配后，可以根據(jù)實(shí)體排名先后選出top-1 或者top-k 的實(shí)體作為最終鏈接結(jié)果。但是實(shí)體熱度高不一定是鏈接的目標(biāo)實(shí)體，因此為進(jìn)一步提高鏈接準(zhǔn)確度，再利用關(guān)系屬性對(duì)實(shí)體候選集進(jìn)行新一輪排序。

在Freebase 知識(shí)庫中實(shí)體一般包含多種關(guān)系，不同實(shí)體由于類型不同包含的關(guān)系也不同。例如針對(duì)于“蘋果”這一詞，在知識(shí)庫中與之對(duì)應(yīng)的可能是水果也可能是公司，但是對(duì)于問句“蘋果現(xiàn)在的市值是多少？”可以得到其實(shí)體為“蘋果”，預(yù)測(cè)的關(guān)系為“股票總市值”，而水果類型的蘋果肯定不包含“股票總市值”這一關(guān)系，因此通過實(shí)體關(guān)系是可以達(dá)到區(qū)分實(shí)體的目的。

實(shí)體類型預(yù)測(cè)作為一種分類任務(wù)，其采用整個(gè)問句作為預(yù)測(cè)上下文，即從問句完成到實(shí)體關(guān)系的一個(gè)分類過程。為了達(dá)到更好的預(yù)測(cè)效果，本文提出了一種基于Transformer[16]的關(guān)系預(yù)測(cè)模型。其模型架構(gòu)如圖2 所示。該模型為一個(gè)典型的編碼器（Encoder）-解碼器（Decoder）結(jié)構(gòu)，其左邊為編碼器部分，右邊為解碼器部分。

圖2 Transformer關(guān)系預(yù)測(cè)模型

該模型的編碼器部分主要由兩部分組成，第一部分為輸入預(yù)處理部分，完成對(duì)問句的詞嵌入（Questions Word Embedding）與位置編碼（Positional Encoding）任務(wù)。第二部分為問句編碼部分，主要有三個(gè)模塊：多頭注意力（Multi-Head Attention）模塊；層歸一化（Norm）模塊；全連接前饋神經(jīng)網(wǎng)絡(luò)模塊（Feed Forward）。此外，每進(jìn)行一次多頭注意力或全連接前饋神經(jīng)網(wǎng)絡(luò)模塊都會(huì)進(jìn)行一次殘差連接。

解碼器部分與編碼器類似，主要包括三個(gè)部分。第一個(gè)部分為輸入預(yù)處理，該輸入是針對(duì)實(shí)體類型進(jìn)行的，其中實(shí)體類型的詞嵌入（Entity Types Word Em?bedding）與編碼器中問句的詞嵌入共享參數(shù)。第二部分解碼部分，解碼器進(jìn)行了兩次多頭注意力模塊的計(jì)算，第一次多頭注意力機(jī)制是對(duì)實(shí)體類型進(jìn)行的，第二次多頭注意力機(jī)制是對(duì)問句與實(shí)體類型共同進(jìn)行的。最后為輸出預(yù)測(cè)部分，通過一個(gè)單向的GRU 得到一個(gè)全局的語義表示，該層是為了進(jìn)一步提升語義抽取與位置信息表達(dá)的能力，最后通過一個(gè)線性映射和Soft?max 層輸出某種實(shí)體關(guān)系。

由于關(guān)系預(yù)測(cè)總會(huì)存在錯(cuò)誤，因此本文額外選取了top3 實(shí)體預(yù)測(cè)關(guān)系進(jìn)行候選集匹配，其第i個(gè)實(shí)體得分scorer(i)計(jì)算如式（4）-（5）所示。

其中α為權(quán)重參數(shù)，rx表示第x個(gè)預(yù)測(cè)關(guān)系，vx則為對(duì)應(yīng)關(guān)系權(quán)重，Ri為第i個(gè)實(shí)體所有關(guān)系集合。

3 實(shí)驗(yàn)

本節(jié)主要驗(yàn)證本文提出的多維度匹配方法在實(shí)體鏈接中的有效性，以及多維度相比單維度的提升效果。因此，實(shí)驗(yàn)主要包含統(tǒng)計(jì)維度匹配實(shí)驗(yàn)，以及實(shí)體屬性匹配中的關(guān)系預(yù)測(cè)實(shí)驗(yàn)。

3.1 實(shí)驗(yàn)數(shù)據(jù)

本文實(shí)驗(yàn)選取的數(shù)據(jù)集為SimpleQuestions[17]，它是一個(gè)基于Freebase 知識(shí)庫的問答數(shù)據(jù)集，其訓(xùn)練集與測(cè)試集樣本數(shù)分別為75910、21687 條，其樣本如表1所示。

表1 原始數(shù)據(jù)集

Freebase 在2016 年停止運(yùn)維，因此本實(shí)驗(yàn)采用Freebase 的子集FB2M[17]作為知識(shí)庫，由于原始的Sim?pleQuestions 數(shù)據(jù)集某些樣本的實(shí)體無法識(shí)別以及無法在FB2M 中查詢到，因此經(jīng)過整理后其數(shù)據(jù)信息如表2 所示。

表2 數(shù)據(jù)信息

此外，由于SimpleQuestions 數(shù)據(jù)集只包含真實(shí)的實(shí)體ID，沒有對(duì)應(yīng)的實(shí)體候選集，因此需要根據(jù)實(shí)體ID 在FB2M 中查詢出該實(shí)體名稱，利用文本維度匹配方法，即在知識(shí)庫中篩選出所有與該實(shí)體名稱相似的所有實(shí)體ID，生成初始的實(shí)體候選集。其數(shù)據(jù)如表3所示。

表3 實(shí)體鏈接數(shù)據(jù)集

3.2 統(tǒng)計(jì)維度匹配實(shí)驗(yàn)

（1）實(shí)驗(yàn)設(shè)計(jì)

首先文本維度匹配生成對(duì)應(yīng)的實(shí)體候選集，在統(tǒng)計(jì)維度匹配中，統(tǒng)計(jì)出實(shí)體熱度，然后根據(jù)式（3）算出scoreh，利用scoreh大小對(duì)候選集重排序，最后選出得分最高的實(shí)體作為最終鏈接結(jié)果，其中評(píng)價(jià)標(biāo)準(zhǔn)采用準(zhǔn)確率（Accuracy，ACC）。

（2）實(shí)驗(yàn)結(jié)果與分析

實(shí)體熱度采用入度、出度、入度+出度分別進(jìn)行實(shí)驗(yàn)，其實(shí)驗(yàn)結(jié)果如表4 所示。

表4 統(tǒng)計(jì)維度匹配結(jié)果

從實(shí)驗(yàn)結(jié)果可以得知，采用出度+入度的方式能達(dá)到最佳效果，但是三種衡量實(shí)體熱度的實(shí)驗(yàn)結(jié)果差異不大，尤其是在只用出度表示實(shí)體熱度時(shí)。因此，只用出度代表實(shí)體熱度時(shí)，不僅不會(huì)造成準(zhǔn)確度大幅下降，而且還能很大程度減少統(tǒng)計(jì)時(shí)間，尤其是在知識(shí)庫體量很大時(shí)，效果提升明顯。為此，本文額外采用了一個(gè)Freebase 的子集FB5M[17]作為對(duì)比，它包含比FB2M 更多的實(shí)體與關(guān)系，并在測(cè)試集下進(jìn)行時(shí)間統(tǒng)計(jì)測(cè)試，其結(jié)果如表5 所示。

表5 統(tǒng)計(jì)耗時(shí)對(duì)比

3.3 實(shí)體屬性匹配實(shí)驗(yàn)

該實(shí)驗(yàn)分為兩部分，首先利用基于圖2 所示的關(guān)系預(yù)測(cè)模型對(duì)實(shí)體關(guān)系進(jìn)行預(yù)測(cè)，其次利用預(yù)測(cè)關(guān)系對(duì)候選集進(jìn)行匹配，最終得到實(shí)體鏈接結(jié)果。

（1）關(guān)系預(yù)測(cè)實(shí)驗(yàn)設(shè)計(jì)

關(guān)系預(yù)測(cè)即利用問句與實(shí)體類型預(yù)測(cè)出對(duì)應(yīng)的問句中包含的關(guān)系。此外，為了緩解關(guān)系預(yù)測(cè)錯(cuò)誤帶來的影響，本實(shí)驗(yàn)同時(shí)預(yù)測(cè)出top-1 與top-3 的實(shí)體關(guān)系，其中衡量指標(biāo)仍采用ACC，最后為了驗(yàn)證模型有效性，實(shí)驗(yàn)同時(shí)還構(gòu)建了BiLSTM[18]、BiGRU[19]、Transformer共3 種關(guān)系預(yù)測(cè)模型作為對(duì)比研究。

（2）關(guān)系預(yù)測(cè)實(shí)驗(yàn)結(jié)果與分析

關(guān)系預(yù)測(cè)實(shí)驗(yàn)采用GloVe 作為預(yù)訓(xùn)練詞向量，優(yōu)化器采用Adam，同時(shí)為了防止過擬合引入了Dropout，其模型主要配置參數(shù)如表6 所示。

表6 Transformer 關(guān)系預(yù)測(cè)模型主要參數(shù)

關(guān)系預(yù)測(cè)模型實(shí)驗(yàn)結(jié)果如表7 所示。

表7 關(guān)系預(yù)測(cè)結(jié)果

通過表6 可知，基于Transformer 的關(guān)系預(yù)測(cè)模型無論是在top-1 還是top-3 上都表現(xiàn)更好。其次相比于top-1，top-3 能明顯提高正確關(guān)系的覆蓋率。

（3）關(guān)系匹配實(shí)驗(yàn)設(shè)計(jì)

實(shí)體關(guān)系匹配利用預(yù)測(cè)出的實(shí)體關(guān)系對(duì)實(shí)體候選集進(jìn)行再次重排序。該實(shí)驗(yàn)分別對(duì)第一個(gè)預(yù)測(cè)關(guān)系（top-1 rel）和前3 個(gè)預(yù)測(cè)關(guān)系集合（top-3 rels）進(jìn)行候選集匹配，同時(shí)加入正確的關(guān)系（true rel）進(jìn)行對(duì)照。

（4）關(guān)系匹配實(shí)驗(yàn)結(jié)果與分析

該實(shí)驗(yàn)中的top-1 rel 與true rel 方案只包含一個(gè)關(guān)系，因此從實(shí)體候選集選出scoreh值最大，并且包含該關(guān)系的實(shí)體即為最終結(jié)果，而top-3 rels 則是根據(jù)式（4）-（5）計(jì)算出關(guān)系得分scorer，然后將scorer值最大的實(shí)體作為最終結(jié)果。該實(shí)驗(yàn)最終實(shí)體鏈接結(jié)果如表8所示。

表8 實(shí)體屬性維度匹配結(jié)果

利用true rel 進(jìn)行實(shí)體候選集匹配，其最終實(shí)體鏈接準(zhǔn)確度能達(dá)到85.64%，相比只用統(tǒng)計(jì)維度實(shí)體鏈接準(zhǔn)確度（76.75%）有了明顯提升，證明實(shí)體關(guān)系能修正實(shí)體鏈接結(jié)果，同時(shí)多維度匹配的有效組合能大幅度提高實(shí)體鏈接準(zhǔn)確度。此外，對(duì)比top1 rel 與top3 rels實(shí)驗(yàn)，說明選取top3 實(shí)體關(guān)系提升了實(shí)體鏈接效果，其主要原因是緩解了實(shí)體關(guān)系預(yù)測(cè)錯(cuò)誤而造成的錯(cuò)誤累計(jì)問題。

此外本文還對(duì)比了state-of-the-art 方法，其結(jié)果如表9 所示。值得一提的是，本文前面的工作提前對(duì)不能識(shí)別出實(shí)體的樣本做了預(yù)處理，因此為了更加客觀公正地做出對(duì)比，實(shí)驗(yàn)數(shù)據(jù)將不做預(yù)處理（測(cè)試集樣本數(shù)由21334 重新調(diào)整為21687）。

表9 實(shí)體鏈接方法對(duì)比

從表9 可知，本文提出的多維度匹配方法更能改善實(shí)體鏈接效果，并且方法中每個(gè)維度的匹配都為最后實(shí)體鏈接起到積極作用。此外，在不做預(yù)處理的情況下本文方法的ACC 下降到84.09%，說明預(yù)處理能提升最終實(shí)體鏈接效果，尤其是在噪聲很大的數(shù)據(jù)集上。

4 結(jié)語

本文針對(duì)簡單問句因?qū)嶓w名不規(guī)范、缺乏上下文等問題，提出了一種多維度匹配的方案。實(shí)驗(yàn)表明文本匹配維度的多級(jí)閾值方法能較大程度上緩解實(shí)體名不規(guī)范問題，統(tǒng)計(jì)匹配維度能大幅度提高實(shí)體對(duì)齊效果，實(shí)體屬性匹配維度利用有限的問句上下文信息進(jìn)一步修正了實(shí)體對(duì)齊的結(jié)果。最終多個(gè)維度組合能大幅度提高實(shí)體對(duì)齊準(zhǔn)確度。

其次，為了避免流水線方式帶來的錯(cuò)誤累計(jì)，每個(gè)維度匹配僅進(jìn)行重排序，而維度疊加可以有權(quán)重系數(shù)控制每個(gè)維度重要性，從而到達(dá)最佳的實(shí)體對(duì)齊結(jié)果。其中最為核心的關(guān)系預(yù)測(cè)模塊，采用基于Trans?former 的預(yù)測(cè)模型，實(shí)驗(yàn)表明相比其他關(guān)系預(yù)測(cè)模型該模型擁有更好的語義抽取能力，同時(shí)采取top-3 rels 的手段也能有效緩解關(guān)系預(yù)測(cè)錯(cuò)誤帶來的影響。

最后，本文通過對(duì)實(shí)驗(yàn)結(jié)果的分析發(fā)現(xiàn)，一些不能對(duì)齊的實(shí)體大多是由于實(shí)體名拼寫不規(guī)范以及實(shí)體不具有顯著性（實(shí)體熱度、關(guān)系都相同或相近）。因此，針對(duì)于以上問題將來的工作主要是解決實(shí)體名糾錯(cuò)，以及引入額外知識(shí)增加實(shí)體顯著性。