汪雨竹,彭 濤,2,朱蓓蓓,崔 海

(1.吉林大學 計算機科學與技術學院,長春 130012; 2.吉林大學 符號計算與知識工程教育部重點實驗室,長春 130012)

隨著互聯(lián)網(wǎng)技術的高速發(fā)展,如何表示、存取和使用知識已成為亟待解決的問題,而作為結構化語義知識庫,知識圖譜的相關研究也在不斷發(fā)展和完善.知識圖譜是由語義網(wǎng)絡演化而來的.語義網(wǎng)絡[1]作為知識表示的一種方法,其是由表達信息的節(jié)點及表示節(jié)點之間關系的有向直線連接而成的結構化知識圖,本質是建立開放數(shù)據(jù)之間的鏈接.作為Web3.0時代的特征之一,它是理解詞語、概念及其之間邏輯關系的智能網(wǎng)絡,可提高互聯(lián)網(wǎng)信息交互效率.知識圖譜用可視化技術描述知識資源及其載體[2],挖掘、分析、構建、繪制和顯示知識及其之間的相互聯(lián)系,并利用可視化的圖譜形象地展示學科的核心結構、發(fā)展歷史、前沿領域以及整體知識架構,達到多學科融合的目的[3],能為學科研究提供切實有價值的參考[4].知識圖譜由大量描述客觀事實及其關系的結構化三元組構成,圖中節(jié)點表示實體或概念,有向邊表示實體與概念之間的語義關系,并且已經(jīng)廣泛應用于智能檢索、推薦與問答、機器翻譯、金融風控和智慧城市等領域.

現(xiàn)實中多數(shù)大規(guī)模知識圖譜是稀疏的,需要補充隱含信息或添加新的三元組使其更完整,這樣的工作稱為知識圖譜補全(KGC).知識圖譜補全可分為實體預測、關系預測和鏈路預測3個子問題,目前大多數(shù)研究都只適用于其中一個子問題,也有少數(shù)方法同時進行3個任務.按能否處理新實體和新關系,可分為靜態(tài)知識圖譜補全和動態(tài)知識圖譜補全.靜態(tài)知識圖譜補全是基于圖中現(xiàn)有的實體補充其間的隱含關系,僅能處理實體以及關系都是固定的場景,擴展性較差.動態(tài)知識圖譜補全引入新實體或新關系擴大知識圖譜的規(guī)模,更具現(xiàn)實意義[5].按照缺失的部分進行分類,可分為對頭實體、對關系和對尾實體的預測.但知識圖譜中存在部分長尾關系,即當關系出現(xiàn)頻率較低時,對應的實體數(shù)量較少,針對上述問題的KGC任務稱為小樣本知識圖譜補全.

隨著知識圖譜的不斷發(fā)展,應用范圍逐漸廣泛,而大規(guī)模知識圖譜比較稀疏,其中關系的長尾分布較普遍,為應對出現(xiàn)頻率不高的關系數(shù)量較多的問題,研究人員開始關注小樣本知識圖譜補全任務[6].本文提出一個融合了元學習思想,應用Transformer解決小樣本知識圖譜補全問題的模型——Meta-TKGC(基于元學習和Transformer的知識圖譜補全模型).該模型提出一個基于卷積神經(jīng)網(wǎng)絡(CNN)的關系元嵌入學習器,從任務關系的參考實體對中捕獲關系信息; 應用元學習的思想,將參考集中關系特定的元信息遷移至查詢集中,將公共關系信息從已知的真實三元組轉移到不完整的三元組,在框架Meta-TKGC中,關系元是連接頭尾實體關系的高階表示; 利用基于Transformer的編碼器在預測過程顯式建模查詢集及其負例的頭尾實體嵌入,實現(xiàn)不完全三元組更好的匹配.

1 相關工作

目前解決知識圖譜補全問題的方法包括基于嵌入的方法、小樣本關系學習方法、關系路徑推理方法[7]、基于強化學習的方法[8]、三元組分類方法以及基于規(guī)則推理的方法[9],本文主要應用前兩種方法.

1.1 基于嵌入的方法

基于嵌入的方法關注如何學習實體及關系嵌入,主要包括以下3類:

1) 張量分解模型是將整個知識圖譜中三元組視為一個三階鄰接矩陣,之后對其降維,轉化為頭實體、關系和尾實體的拼接; RESCAL[10]將實體與實體之間的關系描述為一個三維矩陣,然后分解為實體的潛在語義表示和非對稱關系矩陣的組合,但該模型不適用于大規(guī)模知識圖譜,隨著關系矩陣的維度增加,復雜度增加,易出現(xiàn)過擬合; DistMult[11]針對上述問題,將關系矩陣簡化為對角矩陣,但無法解決非對稱關系相應的預測問題.

2) 在幾何模型中,純翻譯模型以TransE[12]及其擴展的TransH[13],TransR[14]為代表,這類模型利用實體與關系之間的距離衡量三元組的合理性; 由于大部分基于嵌入的模型并未考慮到實體和關系的雙向作用,使用額外信息的翻譯模型將知識圖譜中的輔助信息融合到實體及關系嵌入[15]; 旋轉翻譯模型可以正確推斷上述算法無法建模的對稱關系、反對稱關系、反演關系和合成關系.

3) 基于深度神經(jīng)網(wǎng)絡的模型,為處理大規(guī)模知識圖譜中參數(shù)規(guī)模與過擬合之間的矛盾,ConvE[16]應用二維卷積,保證模型訓練速度的同時可達到較好的實驗效果; 但在ConvE中,對實體和關系嵌入的重構和聚合不能充分表達圖中的信息,而同樣基于CNN的CTKGC[17]通過在元素層次上融合實體嵌入和關系嵌入構造一個便于二維卷積的矩陣,模型架構簡單且可解釋性較強.

1.2 基于元學習的方法

為應對大規(guī)模知識圖譜中三元組中關系的長尾分布現(xiàn)象,本文模型引入元學習[18]的方法解決小樣本問題,元學習偏重于任務和數(shù)據(jù)的雙重采樣,適合于小樣本學習,它將訓練集和測試集分為若干個訓練任務和測試任務,面向多個任務聯(lián)合訓練,利用前面任務的經(jīng)驗指導新任務的學習,使機器具備適應每個具體任務的能力.目前基于元學習的方法包含以下三類.

1) 基于度量學習的方法: 度量學習廣泛應用于圖像處理中,根據(jù)目標的某些核心特征得到衡量特定任務的距離度量函數(shù).Prototypical Network[19]選取Bregman散度中的平方歐氏距離作為距離度量方式完成了小樣本分類任務,模型策略簡單且效果較好.

2) 模型表示增強方法: 這類算法的目的是提高樣本的表示能力,LaSO[20]從圖像中學習到隱式的語義信息,相當于對數(shù)據(jù)集進行了數(shù)據(jù)增強,拓展了特征空間包含的信息,因此可用于解決小樣本的多標簽分類問題.

3) 基于參數(shù)優(yōu)化的方法: 這類方法[21]主要為了學習模型對各種任務的初始參數(shù),通過幾個迭代步驟即可獲得優(yōu)異的泛化性能.MAML具備無模型限制、元學習和快速適應的特性,能在少量樣本、有限迭代次數(shù)條件下快速適應新的任務并完成參數(shù)的優(yōu)化,適用于多種網(wǎng)絡模型和任務類型.

1.3 小樣本知識圖譜補全模型

由于長尾關系的特殊性,上述方法并不完全適用于小樣本知識圖譜補全場景.首先,對于單樣本知識圖譜補全問題,以圖卷積網(wǎng)絡(GCN)為基礎的GMatching[22]由鄰居編碼器和匹配處理器組成,鄰居編碼器捕獲一跳鄰域信息得到實體和關系嵌入,并應用長短期記憶網(wǎng)絡(LSTM)進行參考實體對、查詢實體對的多步匹配得到相似性得分,選取最佳候選實體作為預測結果.MetaR[23]以元學習為核心思想,包含一個關系元編碼器和一個嵌入學習器,關系元編碼器利用支持集中的實體對獲取任務關系元信息,將其轉移至查詢集中,應用嵌入學習器區(qū)分查詢集中的正負例完成對缺失實體的預測.上述方法只是假設所有鄰居對實體嵌入的貢獻相等,或者為鄰居分配靜態(tài)的注意力權重,得到的是靜態(tài)實體表示,而FAAN[24]提出了動態(tài)屬性的概念,設計了應用Transformer的自適應注意力網(wǎng)絡用于獲取參考實體對的動態(tài)自適應表示,以及一個基于注意力的聚合器用于表示查詢集的缺失三元組.

2 問題定義

知識圖譜可表示為三元組的集合τ={(h,r,t)}?E×R×E,其中h,r,t分別表示頭實體、關系和尾實體,E和R分別表示實體集和關系集.知識圖譜補全任務分為(?,r,t),(h,?,t),(h,r,?)三類任務,本文研究對尾實體的預測,例如對(珠峰計劃,創(chuàng)辦時間,?)中尾實體的預測.將元學習的思想應用到小樣本知識圖譜補全中,按關系分類,將每類關系對應的不完全三元組的預測視為一個任務,因此訓練集Ttrain={Dtr}和測試集Ttest={Dte}都是若干個任務的集合,Dtr,Dte是訓練任務和測試任務,分別表示為Dtr={Sr,Qr}和Dte={Sr′,Qr′},其中Sr,Qr分別表示每個任務r對應的支持集和查詢集,r′表示訓練集中未出現(xiàn)過的新關系.Sr,Qr的定義如下: 對于特定關系任務,將關系r對應的K個頭尾實體對稱為支持集,表示為Sr={(hr,tr)|(hr,r,tr)∈G},且|Sr|=K為樣本數(shù)量,其中G表示背景知識圖譜,類似于由任務關系“創(chuàng)辦時間”對應的三元組中(國際滑冰聯(lián)盟,創(chuàng)辦時間,1892年)的頭尾實體(國際滑冰聯(lián)盟,1892年)構成的K個實體對的集合.從支持集中提取信息轉移至對應的查詢集Qr={(hi,r,ti)|ti∈Chi,r},其中Chi,r表示待預測三元組中頭實體hi對應的候選尾實體集合.最終預測任務可描述為完成測試集Qr′={(hi,r′,ti)|ti∈Chi,r}中對候選尾實體的排序.

3 基于元學習的小樣本知識圖譜補全模型

3.1 總體框架

Meta-TKGC由關系元學習器、Transfomer編碼器[25]和匹配處理器三部分組成.圖1為模型的整體架構,圖2為關系元學習器的實現(xiàn)過程.基于CNN的關系元學習器根據(jù)參考實體對獲取任務關系嵌入; 將初始化后的任務關系表示、查詢集和查詢集負例拼接成三元組,分別和它們的位置信息結合,輸入Transfomer編碼器中,得到查詢集及其負例的嵌入; 將任務關系嵌入遷移到查詢部分,在匹配處理器中,計算前兩部分得到的頭尾實體和關系特征表示間的相似度得分,完成小樣本知識圖譜補全任務.

圖1 模型的整體架構Fig.1 Overall architecture of model

圖2 關系元學習器Fig.2 Relation-meta learner

3.2 關系元學習器

關系元學習器作為兩層前饋神經(jīng)網(wǎng)絡,由卷積層和全連接層建模實體和關系之間的相互作用.首先,把支持集的頭尾實體拼接,輸入到二維卷積層中,經(jīng)過激活和最大池化后,重構為一個融合參考集實體和關系信息交互的三階張量:

(1)

其中Sh和St分別表示支持集頭尾實體的嵌入,ω為卷積層的濾波器,σ表示ReLU激活函數(shù).再輸入到一個線性層,進行批量歸一化:

(2)

其中W和b表示可學習參數(shù).其次,對由K個參考集實體對獲取的關系表示求平均,得到可遷移至查詢集的任務關系嵌入Rs:

(3)

3.3 Transfomer編碼器

由于現(xiàn)有的嵌入模型總需要足夠多的訓練數(shù)據(jù)對任務關系建模,但實際應用中可依據(jù)的相關信息較少,很難獲取到小樣本關系的有效表示.受翻譯距離模型的啟發(fā),基于平移假設,由h+r=t得到r=t-h,因此由支持集的頭尾實體嵌入計算任務關系的原始嵌入R0為

R0=St-Sh,

(4)

其中Sh和St分別表示支持集頭尾實體的嵌入.對于查詢集及其負例的頭尾實體,將對應的預訓練嵌入和三元組位置嵌入相加,得到實體和關系的位置信息融合嵌入:

hi=h0+hpos,

(5)

ti=t0+tpos,

(6)

其中h0,t0分別表示頭尾實體的原始嵌入,hpos,tpos分別表示頭尾實體的位置嵌入.獲取實體嵌入后,與上個模塊得到的關系元嵌入拼接成三元組嵌入,從而實現(xiàn)了參考集信息和查詢集信息的有效結合,然后輸入L層Transformer中:

(7)

(8)

3.4 匹配處理器

根據(jù)純翻譯模型TransE中的得分函數(shù)h+r=t,計算衡量三元組準確度的得分函數(shù):

φ(Hj,Rs,Tj)=Hj+Rs-Tj,

(9)

其中: 應用的關系元Rs為模型第一部分的結果,即由支持集獲得的關系元嵌入; 實體嵌入Hj,Tj是由L層Transformer編碼器計算得到的.模型的損失函數(shù)定義為

(10)

4 實 驗

4.1 數(shù)據(jù)集及評價指標

本文選取數(shù)據(jù)集NELL-One和Wiki-One進行實驗,它們是在NELL[26]和Wiki[27]的基礎上移除自反關系,并保留三元組數(shù)量為50～500的關系構建而成的,數(shù)據(jù)集的具體信息及任務劃分列于表1.

表1 數(shù)據(jù)集統(tǒng)計結果及劃分

選擇平均倒數(shù)排名(MRR)、Hits@5和Hits@1作為評價指標,其中MRR是預測結果中真實匹配的文本排序位置平均值的倒數(shù),Hits@k表示預測結果排在序列前k的個數(shù)占全部預測結果的比例,上述幾個評價指標數(shù)值越大表示預測結果越好.

4.2 基線算法

選擇基于嵌入的模型TransE和DistMult及小樣本關系學習算法GMatching和MetaR與Meta-TKGC進行比較,衡量本文算法的有效性.TransE利用實體和關系之間的距離衡量三元組的合理性,RESCAL先將實體與實體之間的關系描述為一個三維矩陣,再分解為實體的潛在語義表示和非對稱關系矩陣的組合表示,DistMult將RESCAL中的關系矩陣簡化為對角矩陣,并且由于GMatching是針對單樣本知識圖譜補全設計的模型,每個任務關系只有一個相關聯(lián)的參考實體對,因此通過對模型中的參考實體對分別應用平均池化和最大池化,使其適用于小樣本學習場景,使用GMatching進行K-樣本知識圖譜補全問題的實驗(K=5).

4.3 參數(shù)設置

將在數(shù)據(jù)集NELL-One和Wiki-One上的嵌入維度分別設為100和50,Transformer的層數(shù)和多頭注意力頭的數(shù)量均設為2,為避免過擬合,關系元學習器和Transformer中Dropout取值分別為0.8和0.4.在訓練過程中,應用小批量梯度下降更新模型的網(wǎng)絡參數(shù),批量大小為128,損失函數(shù)中邊界值為0.5.此外,本文使用Adam優(yōu)化器作為優(yōu)化器,初始學習率為5×10-5.在每1 000個訓練步的驗證集上評估本文模型,并在MRR在1 000步內達到最高值時保存最佳模型.

4.4 實驗結果

表2列出了在數(shù)據(jù)集NELL-One和Wiki-One上基線算法和Meta-TKGC模型在選取的3個評價指標上的性能.由表2可見,本文模型優(yōu)于所選取的基線算法.實驗結果證明了應用元學習的有效性,表明考慮查詢集及查詢集負例中頭尾實體的嵌入并結合Transformer可以更好地實現(xiàn)不完全三元組和候選實體間的匹配.與基于嵌入的方法相比,本文模型將由參考集計算得到的關系嵌入遷移到查詢集中,并應用Transformer計算實體和關系嵌入,實現(xiàn)了實體、關系以及它們在知識圖譜中的交互更充分的表達.與小樣本關系學習模型的實驗結果相比,Meta-TKGC的效果更好,進一步驗證了Tranformer的有效性,而GMatching和MetaR中并未實現(xiàn)對不完全三元組中實體的有效表示,證明了實體嵌入對最終預測的重要性.

4.5 消融實驗

為檢驗模型兩個主要模塊的有效性,即驗證使用CNN建模支持集中實體和關系的信息交互,以及利用Transformer強化查詢集及其負例的嵌入表示是否對最終結果產(chǎn)生影響,設計如下兩個模型變體與本文的Meta-TKGC模型進行比較,在數(shù)據(jù)集NELL-One上對應的MRR,Hits@1值列于表3.

1) 移除關系元學習器模塊(變體1): 將僅由支持集的頭尾實體計算出的任務關系嵌入和待預測頭尾實體對拼接成三元組,用匹配處理器衡量其準確度.

2) 去掉Transformer編碼器部分(變體2): 在匹配處理器部分,直接使用查詢集和負例集實體的原始嵌入,與模型第一部分生成的關系元嵌入共同輸入匹配處理器中.

表3 數(shù)據(jù)集NELL-One上不同模型的實驗結果

由表3可見,Meta-TKGC在數(shù)據(jù)集NELL-One上的性能優(yōu)于上述兩個變體模型,同時實驗結果表明,Transformer編碼器對預測結果的影響更大,證明了考慮優(yōu)化查詢集及其負例的有效性.

綜上所述,本文簡要分析了用于解決知識圖譜補全問題的各類方法,如基于嵌入的方法、基于規(guī)則推理的方法、基于強化學習的方法以及三元組分類的方法,總結了各類方法的特點,并對比分析了一些具有表示性的模型.在此基礎上提出了一個結合元學習和Transformer編碼器,用實體與關系的相關性建模任務關系,優(yōu)化不完全三元組中的實體嵌入以完成最終預測的模型——Meta-TKGC.在數(shù)據(jù)集NELL-One和Wiki-One上的實驗結果表明,本文模型在各評價指標上都有良好的性能.模型在架構簡單的基礎上,訓練速度較快,并且可以實現(xiàn)高效且較準確的預測.消融實驗也驗證了模型的關系元學習器和Transformer編碼器對最終結果都有貢獻.