彭晏飛,張睿思,王瑞華,郭家隆
遼寧工程技術(shù)大學(xué) 電子與信息工程學(xué)院,遼寧 葫蘆島125100
知識圖譜(knowledge graph,KG)用結(jié)構(gòu)化的形式描述客觀世界中概念、實(shí)體及其關(guān)系,它將互聯(lián)網(wǎng)的信息表達(dá)成更接近人類認(rèn)知世界的形式,提供了一種更好地組織、管理和理解互聯(lián)網(wǎng)海量信息的能力[1]。知識圖譜以三元組的形式(頭實(shí)體,關(guān)系,尾實(shí)體)存儲知識和事件,以網(wǎng)絡(luò)的形式作為展示,在網(wǎng)絡(luò)中每個節(jié)點(diǎn)代表實(shí)體,節(jié)點(diǎn)之間相互連接的邊代表關(guān)系。目前一些大規(guī)模知識圖譜NELL(never-ending language learner)[2]、Wikidate[3]、YAGO(yet another great ontology)[4]等被廣泛應(yīng)用于各種自然語言處理任務(wù)中,例如語義搜索[5]、智能問答[6-7]、推薦系統(tǒng)[8-9]等。
盡管知識圖譜中有著大量的實(shí)體、關(guān)系、三元組,但是現(xiàn)有的大部分知識圖譜都是不完整的,具體體現(xiàn)在一些實(shí)體之間缺少對應(yīng)的關(guān)系,一些頭實(shí)體和關(guān)系間缺少對應(yīng)的尾實(shí)體。知識圖譜補(bǔ)全任務(wù)(knowledge graph completion,KGC)旨在學(xué)習(xí)知識圖譜中現(xiàn)有的實(shí)體關(guān)系三元組,進(jìn)而推斷出知識圖譜缺失的實(shí)體或關(guān)系。
知識圖譜嵌入(knowledge graph embedding,KGE)旨在將實(shí)體和關(guān)系嵌入到潛在的低維數(shù)字表示中[10]。在過去幾年,KGE 方法被證明在KGC 任務(wù)上是有效的[11-12],并且許多KGE方法已經(jīng)應(yīng)用于KGC任務(wù),其中包括TransE(translating embedding)[13]、ComplEx(complex embeddings)[14]和ConvE(convolutional 2D knowledge graph embeddings)[12]等方法。但是目前的這些方法都假設(shè)KG包含足夠的實(shí)體和關(guān)系數(shù)據(jù),然而在KG 中少樣本關(guān)系數(shù)據(jù)是廣泛存在的,例如Wikidate 中大約有10%的關(guān)系只有不超過10 個三元組實(shí)例[3]。此外,在實(shí)際應(yīng)用的過程中,社交媒體或推薦系統(tǒng)產(chǎn)生的KG,會隨著時間的流動進(jìn)行動態(tài)更新,更新后的新關(guān)系通常只有少量的三元組實(shí)例。這種情況會導(dǎo)致大部分KGC 方法的效果下降,因?yàn)檫@些方法都要求擁有足夠的訓(xùn)練實(shí)例[15],所以在只擁有少數(shù)三元組實(shí)例的情況下,如何完成知識圖譜補(bǔ)全任務(wù)是重要且具有挑戰(zhàn)性的。
鑒于上述問題,Xiong等人[16]在2018年第一次定義少樣本知識圖譜補(bǔ)全概念,并提出Gmatching 模型用來解決FKGC(few-shot knowledge graph completion)任務(wù)。這也是少樣本學(xué)習(xí)[17]在知識圖譜補(bǔ)全上的第一項(xiàng)研究,之前少樣本學(xué)習(xí)的研究主要集中在計(jì)算機(jī)視覺[18]、情感分析[19]和文本分類[20]等領(lǐng)域上。近年來,學(xué)者們也提出了很多解決FKGC 任務(wù)的方法[21],然而FKGC模型仍然面臨著FKGC補(bǔ)全程度不高、無法很好利用KG中的結(jié)構(gòu)信息、太過依賴于實(shí)體的鄰域信息[22]等問題。本文將現(xiàn)有的FKGC 方法作為研究對象,整理并歸納FKGC經(jīng)典方法以及最新研究成果,總結(jié)目前研究面臨的挑戰(zhàn),并對未來的研究趨勢進(jìn)行展望。本文的主要貢獻(xiàn)如下:
(1)對目前FKGC 方法進(jìn)行全面分類,以解決問題的方法作為分類依據(jù),分為基于度量學(xué)習(xí)的方法、基于元學(xué)習(xí)的方法以及基于其他模型的方法。
(2)詳細(xì)闡述了每種FKGC 模型的思想,歸納并分析每種模型的核心、模型思路、特點(diǎn)和局限性;最后從方法分類、發(fā)表年份、數(shù)據(jù)集、評價指標(biāo)、模型優(yōu)缺點(diǎn)和模型思路上對FKGC方法進(jìn)行橫縱比較。
(3)列出常用的FKGC 數(shù)據(jù)集;對FKGC 中常用的評價指標(biāo)進(jìn)行說明;以NELL-One 和Wiki-One 數(shù)據(jù)集為例,在不同數(shù)據(jù)集上比較各個模型間的性能差異并進(jìn)行分析。
(4)討論了目前FKGC 任務(wù)的難點(diǎn)問題,展望了FKGC方法未來值得關(guān)注的發(fā)展方向。
知識圖譜G表示為三元組{(h,r,t)}?E×R×E的集合,其中E和R是實(shí)體集合和關(guān)系集合。每個三元組都由一個關(guān)系r∈R和兩個實(shí)體h,t∈E組成,它們之間可以表示為頭實(shí)體h到尾實(shí)體t有一條有向邊r連接。
在知識圖譜中,知識圖譜補(bǔ)全任務(wù)分為兩種:一種是在已知兩個實(shí)體(h,?,t)的情況下,預(yù)測其中的關(guān)系r;另一種是在已知頭部實(shí)體和關(guān)系(h,r,?)的情況下,預(yù)測尾部實(shí)體t。目前研究者更專注于后一種研究。
少樣本知識圖譜補(bǔ)全任務(wù)考慮了實(shí)際場景,與知識圖譜補(bǔ)全中假設(shè)每個關(guān)系都有足夠的實(shí)體對不同。該任務(wù)只擁有少數(shù)與關(guān)系r相關(guān)的三元組作為參考集,需要預(yù)測查詢集中潛在的尾實(shí)體t。
對于該任務(wù)而言,少樣本知識圖譜補(bǔ)全方法的目標(biāo)是在給定參考集S的情況下,查詢集Q正確尾實(shí)體ttrue的排名要高于其他錯誤尾實(shí)體。
對于FKGC任務(wù)而言,一些當(dāng)前領(lǐng)域的相關(guān)內(nèi)容如下:
背景知識圖譜G′:是當(dāng)前知識圖譜G的一個子集,其中包含和任務(wù)關(guān)系r相關(guān)的三元組。
實(shí)體的一跳鄰居集合Ne:一般在FKGC任務(wù)中Ne也被稱為實(shí)體e的鄰域,它是由背景知識圖譜G′產(chǎn)生,其中包含所有與實(shí)體e相連接的關(guān)系r和尾實(shí)體t。
少樣本關(guān)系的鄰域:針對少樣本關(guān)系r而言,它自身的鄰域可以被定義為{h,t,Nh,Nt},其中h、t是頭實(shí)體和尾實(shí)體,它們和關(guān)系r可以構(gòu)成一個三元組(h,r,t);Nh、Nt是頭實(shí)體和尾實(shí)體的一跳鄰居集合。
2018 年Xiong 等人[16]提出了少樣本知識圖譜補(bǔ)全的任務(wù),并利用基于匹配網(wǎng)絡(luò)的模型Gmatching試圖對少樣本三元組進(jìn)行少樣本關(guān)系學(xué)習(xí)來解決這一問題。由此少樣本知識圖譜補(bǔ)全任務(wù)受到學(xué)者們的廣泛關(guān)注,目前現(xiàn)有的FKGC方法按照解決問題的方法分類可以分為基于度量學(xué)習(xí)的方法[16,23-34]、基于元學(xué)習(xí)的方法[35-45]以及基于其他模型的方法[46-63]。
度量學(xué)習(xí)的方法一般是從一組待訓(xùn)練的任務(wù)中學(xué)習(xí)到可概括的距離公式和相應(yīng)的匹配函數(shù),進(jìn)而推廣到新出現(xiàn)的任務(wù)中[20],此類方法大多采用深度孿生網(wǎng)絡(luò)中所提出的通用匹配框架Matching Nets[64]。在KGC中,很多KGC模型在訓(xùn)練過程中都需要大量的數(shù)據(jù)作為支撐,如果在FKGC任務(wù)中使用,就會面對性能受限制或者沒有足夠數(shù)據(jù)支持的問題。針對這種情況,學(xué)者們結(jié)合度量學(xué)習(xí)的思想,提出了若干模型。
Gmatching 模型[16]是由Xiong 等人在2018 年提出,該模型的核心是利用實(shí)體嵌入信息和局部圖結(jié)構(gòu)來構(gòu)建匹配度量函數(shù)。模型思想是針對當(dāng)前任務(wù)的關(guān)系r,計(jì)算查詢實(shí)體對與參考實(shí)體對的相似度,排序得到正確尾實(shí)體ttrue的排名。
如圖1 所示,Gmatching 模型由鄰居編碼器和匹配處理器構(gòu)成,在鄰居編碼器部分,為了得到實(shí)體e的鄰域表示f(Ne),首先將實(shí)體e相連接的每一個關(guān)系和尾實(shí)體拼接,得到關(guān)系實(shí)體對的嵌入信息將每個關(guān)系實(shí)體對的嵌入信息合并:
圖1 Gmatching模型結(jié)構(gòu)Fig. 1 Gmatching model structure
其中,vrk、vek分別是關(guān)系實(shí)體對(rk,ek)中關(guān)系和實(shí)體的嵌入信息,⊕表示拼接操作,σ為激活函數(shù)tanh,Wc是權(quán)重參數(shù)。在匹配處理器中,為了得到ttrue排名,分別將參考集實(shí)體對(h0,t0) 和查詢集實(shí)體對(hi,tij)的鄰域表示拼接后得到對應(yīng)的參考集關(guān)系向量s和查詢集關(guān)系向量q;最后利用式(2)求出所有查詢集與參考集的關(guān)系相似度得分。
其中,hk、ck是LSTM(long short-term memory)網(wǎng)絡(luò)的隱藏狀態(tài)和單元狀態(tài),k是超參數(shù)。
作為少樣本知識圖譜補(bǔ)全任務(wù)的開山之作,Gmatching模型提出了一種基于關(guān)系學(xué)習(xí)的框架,與傳統(tǒng)的知識圖譜補(bǔ)全方法相比,該模型可以對任何關(guān)系進(jìn)行預(yù)測,處理新添加的關(guān)系時也無需重新訓(xùn)練模型,而之前的方法通常需要微調(diào)模型以適應(yīng)新關(guān)系。
雖然Gmatching模型的整體結(jié)構(gòu)簡單,但是每個部分都有各自的作用,其中鄰居編碼器利用局部的圖結(jié)構(gòu)更好地表示了實(shí)體信息,匹配處理器利用多步循環(huán)對兩個集合的信息進(jìn)行打分。在基于Wiki-One 數(shù)據(jù)集的實(shí)驗(yàn)中,該模型性能比TransE 在MRR(mean reciprocal rank)指標(biāo)上提高12.8%,具有較好的實(shí)驗(yàn)效果。然而,此模型也存在一定缺點(diǎn),由于鄰居編碼器在獲取實(shí)體的鄰域表示時,平等地集合鄰域中的不同信息,忽略了無效實(shí)體對模型產(chǎn)生的影響,導(dǎo)致模型效果降低。
為彌補(bǔ)Gmatching 模型的缺點(diǎn),Zhang 等人[23]在2020 年提出FSRL(few-shot relation learning)模型。該模型的核心是利用異構(gòu)鄰居解碼器分配給鄰域信息不同的權(quán)重,并在參考三元組集合中集成了來自多個三元組的信息,而在Gmatching中僅將單個三元組用于FKGC。如圖2 所示,F(xiàn)SRL 模型提出了異構(gòu)鄰居解碼器模塊和聚合模塊,在異構(gòu)鄰居編碼器中,實(shí)體e的鄰域表示f(Ne)不再采用集合所有嵌入信息的計(jì)算方式,而是為每個嵌入信息賦予一個權(quán)重αi,具體公式如下:
圖2 FSRL模型結(jié)構(gòu)Fig. 2 FSRL model structure
與Gmatching 模型相比,F(xiàn)SRL 模型的異構(gòu)鄰居編碼器彌補(bǔ)了Gmatching模型平等分配權(quán)重的缺點(diǎn),新增的聚合模塊增加了三元組間的交互。實(shí)驗(yàn)結(jié)果表明,在Wiki-One 和NELL-One 數(shù)據(jù)集上,該模型的性能比Gmatching模型分別提高了0.08、0.04,這足以證明它的改進(jìn)是有效的。此外,F(xiàn)SRL還通過實(shí)驗(yàn)證明在訓(xùn)練過程中參考集的大小會影響參考集嵌入的質(zhì)量,為后續(xù)FKGC的研究提供了支撐。
盡管FSRL模型根據(jù)不同實(shí)體提供不同權(quán)重,在一定程度上降低了無效實(shí)體對模型的影響,但其賦予權(quán)重的方式仍是靜態(tài)的,2020年Sheng等人[24]提出FAAN(novel adaptive attentional network)模型,該模型的核心是使用了實(shí)體和關(guān)系的動態(tài)屬性[65]。之前的模型大多關(guān)注于實(shí)體和關(guān)系的靜態(tài)信息,而忽略了它們的動態(tài)信息,例如實(shí)體在不同關(guān)系下的含義可能有所不同。為此FAAN模型提出自適應(yīng)注意力[66]鄰居編碼器和Transformer[67]編碼器來捕捉實(shí)體與關(guān)系的動態(tài)信息。
如圖3 所示,在自適應(yīng)注意力鄰居編碼器部分,由任務(wù)關(guān)系嵌入r和鄰接關(guān)系嵌入rk求得權(quán)重αk,實(shí)體對嵌入信息為尾實(shí)體嵌入信息的集合,最后利用頭實(shí)體嵌入h和實(shí)體對嵌入得到鄰域表示f(Ne)。公式如下所示:
圖3 FAAN模型結(jié)構(gòu)Fig. 3 FAAN model structure
其中,qr為查詢集關(guān)系嵌入表示,sk為參考集關(guān)系嵌入表示。
與當(dāng)時其他模型不同,F(xiàn)AAN模型提出了一種新的范式,并且在鄰居編碼器部分將任務(wù)關(guān)系與鄰接關(guān)系結(jié)合,這些改進(jìn)不僅為鄰域表示加入了更多的細(xì)粒度信息,也提供了一種計(jì)算相似度得分的新方法。在FKGC數(shù)據(jù)集上,F(xiàn)AAN模型的實(shí)驗(yàn)結(jié)果優(yōu)于當(dāng)時其他的FKGC方法,其他實(shí)驗(yàn)證明FAAN模型獲取動態(tài)屬性的方法提升了模型效果并且針對不同的任務(wù)關(guān)系具有良好的魯棒性。但是FAAN 模型在鄰居編碼器部分,只是針對實(shí)體的動態(tài)信息進(jìn)行改進(jìn),并沒有建立參考集三元組間的聯(lián)系,忽略了三元組間的交互信息。
現(xiàn)有的大多數(shù)基于度量學(xué)習(xí)的方法,都忽略了三元組內(nèi)部和三元組間的實(shí)體交互,因?yàn)檫@些模型都是針對實(shí)體對表示進(jìn)行相似度匹配。為探索這種交互信息在FKGC 中的作用,Liang 等人[25]在2022 年提出TransAM(transformer appending matcher)模型,他們認(rèn)為這些實(shí)體的交互信息可以提供有價值的顆粒度語義表示。該模型的核心是將參考實(shí)體對和查詢實(shí)體對作為序列以捕捉三元組內(nèi)和三元組間實(shí)體的交互信息。具體過程為,將參考集和查詢集實(shí)體化為一個序列sq,sq=[[CLS],h1,t1,…,hK,tK,hq,tq],其中hK、tK是參考集實(shí)體對的頭實(shí)體和尾實(shí)體,hq、tq是查詢集的頭實(shí)體和尾實(shí)體;再通過實(shí)體編碼器和實(shí)體鄰域得到每個實(shí)體的最終表示xe,即:
與其他模型相比,TransAM模型利用旋轉(zhuǎn)操作編碼每個實(shí)體對的頭尾實(shí)體,這種操作使得模型學(xué)習(xí)到了更多的結(jié)構(gòu)化信息(即對稱和反對稱信息)。為了使三元組內(nèi)部交互,TransAM構(gòu)建了塊注意掩碼矩陣來約束每個實(shí)體,使它只關(guān)注于自身三元組。此外,Liang 等人為了保留三元組結(jié)構(gòu)的同時分離實(shí)體信息和三元組位置信息,設(shè)計(jì)了一種分離三元組位置信息的編碼方式。上述的這些方法使TransAM模型成為了目前最先進(jìn)的方法之一,但是TransAM 的局限性在于模型過多地關(guān)注實(shí)體信息,而三元組內(nèi)的關(guān)系信息只用于貢獻(xiàn)權(quán)重,導(dǎo)致模型不能處理復(fù)雜的少樣本關(guān)系,今后可以在這一方向上進(jìn)一步研究。
表1匯總了本節(jié)所提到的基于度量學(xué)習(xí)的FKGC方法,可以看出度量學(xué)習(xí)的方法在逐步完善缺點(diǎn)的同時也在尋找更適合的匹配方法,但是復(fù)雜的少樣本關(guān)系不僅是少樣本知識圖譜補(bǔ)全所遇到的問題,也是目前知識圖譜補(bǔ)全存在的難點(diǎn)。
表1 度量學(xué)習(xí)方法匯總Table 1 Summary of measurement learning methods
根據(jù)對現(xiàn)有的基于度量學(xué)習(xí)的少樣本知識圖譜補(bǔ)全方法的整理,可以發(fā)現(xiàn):目前的模型一方面在探索如何通過實(shí)體的鄰域信息,獲得更加豐富的關(guān)系嵌入表示,如FSRL、FAAN 等;另一方面受到當(dāng)前自然語言處理中預(yù)訓(xùn)練語言模型的影響,探索如何構(gòu)建一種匹配方法,能夠更好地求出參考集與查詢集的相似度得分,如TransAM等。
元學(xué)習(xí)就是學(xué)會學(xué)習(xí)的學(xué)習(xí)[68],其特點(diǎn)是只使用少量的訓(xùn)練樣本,也能快速學(xué)習(xí)新的概念或知識[69]。在FKGC的研究中,基于元學(xué)習(xí)的方法旨在學(xué)習(xí)訓(xùn)練任務(wù)中的關(guān)聯(lián)三元組特征,從而在新的任務(wù)上進(jìn)行泛化,其中比較有代表性的方法有MetaR(meta relational learning)模型[35]、Meta-KGR(meta-based multi-hop reasoning)模型[36]、GANA(gated and attentive neighbor aggregator)模型[37]、Meta-iKG模型[38]。
MetaR 模型[35]是由Chen 等人在2019 年提出的,該模型是第一個將元學(xué)習(xí)應(yīng)用于FKGC 上的方法。MetaR 模型的核心是利用關(guān)系元信息和梯度元信息來加速模型的更新迭代與完成FKGC任務(wù)。
如圖4 所示,首先聚合所有實(shí)體對的關(guān)系表示R(hi,ti),計(jì)算得到關(guān)系元信息RTr:
圖4 MetaR模型結(jié)構(gòu)Fig. 4 MetaR model structure
在得到當(dāng)前任務(wù)Tr的關(guān)系元信息后,通過損失函數(shù)生成梯度元信息GTr:
其中,||x||代表向量x的L2 范數(shù),s(hi,ti)是利用了TransE中的思想得到的評分函數(shù),它假設(shè)頭實(shí)體嵌入h、關(guān)系嵌入r、尾實(shí)體嵌入t滿足h+r=t,L(Sr)是模型的損失函數(shù),γ是超參數(shù),L(Sr)代表損失函數(shù)的梯度。之后利用GTr對關(guān)系元信息的更新進(jìn)行加速:
作為第一個將元學(xué)習(xí)應(yīng)用于FKGC 的方法,MetaR模型不僅融合了TransE模型的思想,還證明了將關(guān)系特定的元信息從參考集轉(zhuǎn)移到查詢集的方法,在FKGC 任務(wù)上是有效的。同時,在基于Wiki-One 和NELL-One 數(shù)據(jù)集的實(shí)驗(yàn)中,無論是1-shot 還是5-shot的結(jié)果,都比當(dāng)時的其他模型效果更好。但是MetaR模型的局限性在于計(jì)算關(guān)系元信息時,認(rèn)為所有實(shí)體對的貢獻(xiàn)相同,忽略了參考集中三元組對關(guān)系表示的不同影響。
Meta-KGR 模型[36]是由Lv 等人在2019 年提出的,該模型的核心是將強(qiáng)化學(xué)習(xí)(reinforcement learning,RL)[70]與元學(xué)習(xí)結(jié)合。該模型將具有相同關(guān)系r的三元組查詢都視為一項(xiàng)任務(wù),對每個任務(wù)先利用RL 訓(xùn)練一個代理,目的是搜索目標(biāo)尾實(shí)體和推理路徑,其中該模型為了使用決策的歷史信息使用LSTM網(wǎng)絡(luò)對搜索路徑進(jìn)行編碼,訓(xùn)練過程中,此部分的損失函數(shù)定義為:
其中,r是查詢關(guān)系,D是查詢關(guān)系的三元組集合,es、eo代表頭實(shí)體和目標(biāo)尾實(shí)體,ai是動作,R(sT|es,r)是RL 中的獎勵機(jī)制。在得到參考集合DS的參數(shù)θ后,為了使其包含不同任務(wù)的共同特征,達(dá)到能夠快速適應(yīng)少樣本任務(wù)的效果,該模型利用元學(xué)習(xí)的思想,通過每個任務(wù)的查詢集合DQ對θ進(jìn)行更新,更新公式如下:
Meta-KGR 模型作為一種基于元學(xué)習(xí)的多跳推理模型,與之前的多跳推理模型相比,Meta-KGR 模型在FKGC 任務(wù)上更有優(yōu)勢。與其他FKGC 方法相比,Meta-KGR 模型能提供多跳的解釋路徑,而大多數(shù)方法都是缺乏可解釋性的。此外,在基于FB15k-237 和NELL-995 數(shù)據(jù)集的少樣本實(shí)驗(yàn)中,該模型效果均優(yōu)于當(dāng)時最先進(jìn)的多跳推理方法,并且實(shí)驗(yàn)還證明了模型具有魯棒性,即可以推廣到不同類型的知識圖譜。但是由于該模型的推理每一步都要求有對應(yīng)的路徑進(jìn)行搜索查找,當(dāng)出現(xiàn)沒有路徑的答案時,模型效果就大大降低。
在少樣本知識圖譜補(bǔ)全過程中,如果當(dāng)前鄰域過于稀疏,那么在構(gòu)建鄰域表示時鄰域中的噪音信息會被放大,從而影響模型效果。為解決該問題,Niu等人[37]在2021年提出了GANA模型,該模型的核心是通過門控網(wǎng)絡(luò)和圖注意力機(jī)制[71]過濾鄰域中的噪音信息,找到鄰域中最有價值的信息。為了確定實(shí)體鄰域的范圍進(jìn)而減少實(shí)體鄰域中噪音信息的影響,GANA 模型首先拼接與實(shí)體相連接的每個關(guān)系嵌入和尾實(shí)體嵌入得到ci,同時賦予每個ci對應(yīng)的權(quán)重αi:
其中,g是門值,它的目的是自動確定實(shí)體鄰域的范圍,進(jìn)而利用圖注意力機(jī)制賦予權(quán)重,得到噪音信息更少的實(shí)體鄰域表示e′,即:
其中,ve是當(dāng)前實(shí)體的嵌入信息,W是權(quán)重參數(shù)。對于當(dāng)前三元組(h,r,t)而言,將頭實(shí)體鄰域表示h′和尾實(shí)體鄰域表示t′拼接就得到了減少噪音信息后的三元組關(guān)系鄰域表示s。此外,GANA模型為了對復(fù)雜關(guān)系進(jìn)行建模,提出了MTransH 方法,這種方法將TransH[72]作為評分函數(shù)與元學(xué)習(xí)進(jìn)行結(jié)合,與MetaR模型相比,這種結(jié)合效果更好,因?yàn)門ransH模型相對于TransE 模型可以更好地模擬三元組中的復(fù)雜關(guān)系。GANA 模型在基于Wiki-One 和NELL-One 數(shù)據(jù)集的實(shí)驗(yàn)中,與MetaR模型相比,MRR指標(biāo)分別提升8%、5%。在針對復(fù)雜關(guān)系建模的實(shí)驗(yàn)中,GANA 模型也證明了自身在處理1-N、N-1上的優(yōu)勢,這說明將元學(xué)習(xí)與TransH結(jié)合的方法在對復(fù)雜關(guān)系建模時是有效的。但是實(shí)驗(yàn)同時也暴露出GANA在N-N上的效果不佳,這也和N-N 的情況下,F(xiàn)KGC 任務(wù)難度增加有關(guān)。
Meta-iKG 模型[38]是Zheng 等人在2022 年提出的,該模型的核心是利用局部子圖傳輸特定子圖信息。該模型將FKGC任務(wù)轉(zhuǎn)換為子圖建模問題,將相同關(guān)系的三元組查詢視為一個任務(wù)。在特定關(guān)系學(xué)習(xí)模塊利用GNN網(wǎng)絡(luò)[73]圍繞特定關(guān)系的子圖學(xué)習(xí)到參數(shù)θ,再構(gòu)建元學(xué)習(xí)器模塊,從θ中提取出不同任務(wù)中的相同特征,最終達(dá)到快速適應(yīng)少樣本和多樣本任務(wù)的目的。
與其他元學(xué)習(xí)模型相比,Meta-iKG 模型在傳統(tǒng)元學(xué)習(xí)的基礎(chǔ)上,引入了多樣本關(guān)系的更新過程,使其能夠很好地對少樣本關(guān)系進(jìn)行泛化,基于FB15k-237 數(shù)據(jù)集的實(shí)驗(yàn)也證明了這一觀點(diǎn)。同時因?yàn)槟P椭荒芴崛∽訄D的結(jié)構(gòu)語義,而子圖是一個有向圖結(jié)構(gòu),這就導(dǎo)致模型不能很好地解決反對稱關(guān)系的三元組類型。
表2 匯總了本節(jié)所提到的基于元學(xué)習(xí)的FKGC方法,MetaR模型[35]、Meta-KGR模型[36]、GANA模型[37]、Meta-iKG 模型[38]都在元學(xué)習(xí)的方法中具有代表性,同時它們都能夠較好地適用于FKGC任務(wù),只是每個模型的側(cè)重點(diǎn)不同。MetaR 模型側(cè)重于利用元學(xué)習(xí)來解決少樣本問題,Meta-KGR 模型側(cè)重于將RL 和元學(xué)習(xí)結(jié)合,GANA 模型側(cè)重于使用門控網(wǎng)絡(luò)和圖注意力來消除噪音,Meta-iKG 側(cè)重于利用局部子圖來傳輸特定的子圖信息。
表2 元學(xué)習(xí)方法匯總Table 2 Summary of meta learning methods
整體而言,基于元學(xué)習(xí)的方法更關(guān)注于關(guān)系信息的獲取,模型整體結(jié)構(gòu)一般分成兩部分:第一部分負(fù)責(zé)融合信息,獲取到任務(wù)關(guān)系的表示;第二部分負(fù)責(zé)利用元學(xué)習(xí)加速更新過程,達(dá)到快速適應(yīng)新關(guān)系的目的。在這個過程中,研究者為了達(dá)到更好的效果,一般將元學(xué)習(xí)的方法與其他方法進(jìn)行結(jié)合,例如Meta-KGR 模型中結(jié)合RL,GANA 模型中結(jié)合圖注意力網(wǎng)絡(luò),Meta-iKG模型中結(jié)合GNN網(wǎng)絡(luò)等。
除了上述兩種主流方法外,還有少數(shù)研究者正在拓展其他方法的研究,但是由于這些方法之間理論不同,又無法匯總出一個新的類別,只能暫時將它們歸為基于其他模型的方法。雖然這些研究并不一定有突破的進(jìn)展,但是為后續(xù)的研究者提供了一條新的思路。本節(jié)將介紹一些其中典型的方法,例如基于雙重過程理論的模型CogKR(cognitive knowledge graph reasoning)[46]、基于知識協(xié)同微調(diào)方法的模型(knowledge coordination fine-tuning,KnowCo-Tuning)[47]、基于對抗遷移學(xué)習(xí)的模型wRAN(weighted relation adversarial network)[48]和基于注意力機(jī)制的模型[49]。
雙重過程理論[74]認(rèn)為人類的推理系統(tǒng)由兩種不同形式的系統(tǒng)組成:一個系統(tǒng)是無意識且隱藏的,它負(fù)責(zé)檢索大腦中的信息;另一個系統(tǒng)是有意識且可控的,它負(fù)責(zé)將收集到的信息進(jìn)行推理?;诖死碚摚珼u 等人[46]在2019 年提出了CogKR 模型,該模型的思路是首先在摘要模塊中通過實(shí)體對(h,t)得到潛在關(guān)系表示ωh,t:
其中,Ne是實(shí)體e的鄰域,ve、vr是實(shí)體和關(guān)系的嵌入表示,W是權(quán)重參數(shù),ωe是實(shí)體的信息表示。之后給定一個頭實(shí)體h^,與人類的推理過程類似,模型通過對認(rèn)知圖譜的迭代更新,最終預(yù)測出正確的尾實(shí)體t^,這個過程結(jié)合了隱式搜索和可控推理。
與其他方法相比,認(rèn)知圖譜的使用具有兩個優(yōu)勢:一是圖結(jié)構(gòu)的數(shù)據(jù)更加靈活;二是搜索效率更高,因?yàn)閭鹘y(tǒng)的嵌入方法完成一次查詢需要遍歷整個實(shí)體集合,而CogKR 模型依靠局部結(jié)構(gòu)大大降低了時間復(fù)雜度,所以CogKR 可以更容易地擴(kuò)展到大型知識圖譜上。在FKGC 的數(shù)據(jù)集上,CogKR 模型與Gmatching模型相比,MRR指標(biāo)提高了5.0%,但是在長路徑的推理上,Gmatching 模型更占優(yōu)勢,尤其是一些沒有路徑的答案,這與CogKR 模型結(jié)構(gòu)模擬了推理系統(tǒng)的搜索與推理有關(guān),導(dǎo)致路徑越長找到答案的概率就越小,在后續(xù)的研究中,可以將更多的信息融入到模型中,進(jìn)而加強(qiáng)長路徑上的推理能力。
預(yù)訓(xùn)練語言模型已經(jīng)在自然語言處理的各個領(lǐng)域取得了優(yōu)異的結(jié)果[75],研究者最近的工作是研究如何利用提示對下游任務(wù)進(jìn)行微調(diào),以更好地利用預(yù)訓(xùn)練語言模型。提示包含兩部分:一是模板,它由自然語言組成用來提示模型的輸出;二是提示詞,它表示如何將模型輸出的詞匯轉(zhuǎn)換為每一個類別的分?jǐn)?shù)。因此,在FKGC 任務(wù)中,如何結(jié)合知識圖譜的顯示知識和預(yù)訓(xùn)練語言模型的隱式知識成為了一個問題。針對此問題,文獻(xiàn)[47]提出了一種知識協(xié)同微調(diào)模型(KnowCo-Tuning),該模型的核心是通過協(xié)同微調(diào)算法來學(xué)習(xí)最優(yōu)的模板和標(biāo)簽。具體過程如下:
首先基于知識圖譜的結(jié)構(gòu)化知識為FKGC 任務(wù)生成模板τ:
其中,XS、XO分別是頭實(shí)體和尾實(shí)體。
其次使用一對多的映射函數(shù)M(yj)=={v1,v2,…,vk},v∈V來表示標(biāo)簽的語義信息特點(diǎn),其中v表示語言模型字典中的字或詞。
最后KnowCo-Tuning 模型的標(biāo)簽概率組合為如下形式:
其中,h[MASK]是τ中[MASK]位置對應(yīng)的特征向量,wM(y)是標(biāo)簽詞匯對應(yīng)的特征矩陣,兩者相乘最終得到匹配概率。
與其他FKGC模型相比,KnowCo-Tuning模型不僅是一種新穎的基于預(yù)訓(xùn)練語言模型的微調(diào)范式,而且模型訓(xùn)練過程簡單、有效,同時KnowCo-Tuning模型具有拓展到其他任務(wù)的能力。與常規(guī)的Fine-Tuning模型相比,KnowCo-Tuning模型能夠更好地利用模型中存儲的外部信息,這是因?yàn)槠渥陨頉]有引入新的網(wǎng)絡(luò)框架和其他參數(shù)并且將微調(diào)和預(yù)訓(xùn)練統(tǒng)一進(jìn)行。在FKGC 的實(shí)驗(yàn)中,其性能優(yōu)于傳統(tǒng)的TransE[13]、TransH[72]等模型。但是在模板τ中,頭尾實(shí)體被直接使用,由于實(shí)體在不同情況下,它的含義可能是不相同的,而通過實(shí)體的鄰域可以得到更多的實(shí)體信息,KnowCo-Tuning模型忽略了實(shí)體的鄰域信息。
對抗遷移學(xué)習(xí)指通過對抗性學(xué)習(xí)提取域的不變特征以完成遷移學(xué)習(xí),一般從一個領(lǐng)域的多資源數(shù)據(jù)中學(xué)習(xí)特征,用于不同但相關(guān)的領(lǐng)域中,通常應(yīng)用于少樣本領(lǐng)域[76]。受到對抗遷移學(xué)習(xí)的啟發(fā),Zhang等人[48]在2020 年提出了wRAN 模型,模型核心是在特征遷移的過程中,通過選取無關(guān)樣本減少負(fù)遷移的影響。首先利用卷積神經(jīng)網(wǎng)絡(luò)將三元組編碼成向量,其次利用對抗遷移學(xué)習(xí)框架區(qū)分不同關(guān)系的分布,最后為了識別不相關(guān)的樣本并降低它們的權(quán)重,該模型提出了一種關(guān)系門控機(jī)制成功解決負(fù)遷移問題。作為第一個將對抗遷移學(xué)習(xí)應(yīng)用于FKGC 任務(wù)的wRAN 模型,不僅可以將FKGC 任務(wù)和關(guān)系提取任務(wù)相結(jié)合,而且在FKGC和關(guān)系提取的少樣本數(shù)據(jù)集上都超過了當(dāng)時的模型。但是wRAN模型在識別不相關(guān)樣本時,會對語義相似樣本給予不正確的權(quán)重,這也影響了模型的最終結(jié)果,在未來的研究中,可以將注意力機(jī)制引入到模型中,與關(guān)系門控機(jī)制一起合理分配權(quán)重。
現(xiàn)如今,注意力機(jī)制已經(jīng)被廣泛應(yīng)用于各個領(lǐng)域中。Xie 等人在2019 年提出了一種基于注意力機(jī)制的模型(因?yàn)樵闹胁]有給出模型名稱,所以下文皆用AMmodel代表此模型)[49],與FAAN 模型獲取關(guān)系嵌入信息相比,該模型直接利用注意力機(jī)制構(gòu)建了一種新的匹配函數(shù)。首先將Gmatching 模型的1-shot匹配處理器升級成為少樣本匹配處理器;接著利用注意力機(jī)制對隱藏層狀態(tài)進(jìn)行處理,這樣的操作為模型引入了更多的信息;最后集合所有少樣本信息得到相似度分?jǐn)?shù)。與其他模型相比,新的匹配函數(shù)不僅可以獲取到更為豐富的關(guān)系表示,還在訓(xùn)練的過程中減少了大量的參數(shù)。在基于Nell-One 的實(shí)驗(yàn)中,該模型與Gmatching 相比,性能提高了0.03。但是由于該模型在獲取關(guān)系實(shí)體對的嵌入信息時,只是單純地將實(shí)體關(guān)系信息拼接,沒有考慮到鄰域中的噪音信息。
表3匯總了本節(jié)所提到的基于其他模型的FKGC方法,可以看出CogKR模型[46]、Know-CoTuning模型[47]、wRAN模型[48]、AMmodel模型[49]分別在搜索和推理效率、結(jié)合預(yù)訓(xùn)練語言模型、降低不相關(guān)信息權(quán)重、減少參數(shù)和優(yōu)化匹配函數(shù)等方面都發(fā)揮了各自的優(yōu)勢,提高FKGC方法的效果。但是由于它們都來源于不同的理論方法,它們的局限性也互不相同,例如CogKR模型的理論源自推理模型,從數(shù)學(xué)角度分析,路徑越長推理出結(jié)果的概率就越小,因此CogKR 模型在長路徑的推理上效果不好;wRAN模型的理論源自對抗遷移學(xué)習(xí),對于對抗網(wǎng)絡(luò)而言,語義相似但是字符不同的語句就是不相同的兩句話,這樣就會導(dǎo)致wRAN 模型初始在語義相似樣本上的效果不好??傮w來說,這些模型的提出不僅推動了FKGC領(lǐng)域的進(jìn)步,還豐富了FKGC 方法的研究,為后續(xù)的研究者提供了廣泛的思路。
表3 其他方法匯總Table 3 Summary of other methods
本章介紹了在少樣本知識圖譜補(bǔ)全任務(wù)中常使用的數(shù)據(jù)集,介紹了實(shí)驗(yàn)中常用的評價指標(biāo),對上述模型的常用數(shù)據(jù)集、評價指標(biāo)、模型特點(diǎn)和實(shí)驗(yàn)結(jié)果進(jìn)行了總結(jié)歸納。最后以NELL-One 和Wiki-One 數(shù)據(jù)集為例,展示了上述模型在少樣本知識圖譜補(bǔ)全任務(wù)上的實(shí)驗(yàn)結(jié)果。
隨著研究者對少樣本知識圖譜補(bǔ)全任務(wù)的探索,逐漸出現(xiàn)了一些針對少樣本知識圖譜補(bǔ)全任務(wù)的數(shù)據(jù)集,其中Xiong 等人構(gòu)建的兩個數(shù)據(jù)集NELL-One和Wiki-One頻繁被用于少樣本知識圖譜補(bǔ)全任務(wù)。
NELL-One和Wiki-One分別源自NELL和Wikidata數(shù)據(jù)集。NELL數(shù)據(jù)集[2]是一個通過閱讀網(wǎng)絡(luò)持續(xù)收集結(jié)構(gòu)化知識的數(shù)據(jù)集,而NELL-One數(shù)據(jù)集刪除了NELL中的反向關(guān)系并篩選出其中擁有少于500個大于50個的實(shí)體關(guān)系三元組。但是NELL-One數(shù)據(jù)集不能測試出模型在大規(guī)模KG 上運(yùn)行的能力,同時,Xiong等人也希望有足夠多數(shù)據(jù)可以對此進(jìn)行評估,因此他們用同樣的方法構(gòu)建一個基于Wikidata[3]的FKGC數(shù)據(jù)集Wiki-One。從表4中可知,就實(shí)體和三元組的數(shù)量而言,Wiki-One數(shù)據(jù)集比NELL-One數(shù)據(jù)集都要大一個數(shù)量級。
表4 少樣本知識圖譜補(bǔ)全常用數(shù)據(jù)集Table 4 Often-used datasets of FKGC
除了上述兩種經(jīng)常被使用的數(shù)據(jù)集外,還有一些在FKGC 任務(wù)中使用過的數(shù)據(jù)集,其中包括具有多種關(guān)系類別的Umls[77]數(shù)據(jù)集、基于WordNet[78]的WN18RR 數(shù)據(jù)集、基于Freebase[79]的FB15K-237 數(shù)據(jù)集和基于NELL的NELL-995數(shù)據(jù)集。本文收集了出現(xiàn)在FKGC 任務(wù)中的數(shù)據(jù)集,總共6 個,每個數(shù)據(jù)集的實(shí)際數(shù)據(jù)見表4。
目前針對少樣本知識圖譜補(bǔ)全算法,還沒有特定的評價指標(biāo),而是使用傳統(tǒng)的知識圖譜補(bǔ)全算法的評價指標(biāo)MRR 以及Hits@n,其中MRR 是每個少樣本知識圖譜補(bǔ)全算法普遍使用的評價指標(biāo),此外,不同的少樣本知識圖譜補(bǔ)全算法也會采用不同的Hits@n指標(biāo)。
(1)MRR
MRR指標(biāo)代表在所有預(yù)測的三元組中正確實(shí)體在預(yù)測結(jié)果中的平均排名的倒數(shù),該指標(biāo)數(shù)值越大代表正確實(shí)體的排名越靠前,是評價少樣本知識圖譜補(bǔ)全算法的重要指標(biāo)。
(2)Hits@n
Hits@n指標(biāo)代表在所有預(yù)測的三元組中正確的缺失實(shí)體排名在前n名的概率,例如Hits@1 代表正確的缺失實(shí)體在所有預(yù)測結(jié)果中排名第一的概率。該指標(biāo)的數(shù)值越大代表少樣本知識圖譜補(bǔ)全算法的性能越好,常見的指標(biāo)參數(shù)為Hits@10、Hits@3 和Hits@1。
本文將FKGC方法分為三類,并針對每種方法所述模型,從方法分類、發(fā)表年份、數(shù)據(jù)集、評價指標(biāo)、模型優(yōu)點(diǎn)、局限性和模型思路上進(jìn)行比較,具體的比較結(jié)果見表5。
表5 少樣本知識圖譜補(bǔ)全模型比較Table 5 Comparison of FKGC models
從論文的發(fā)表時間可以看出,自從FKGC任務(wù)在2018 年被提出后,有越來越多的研究者開始探索如何完善FKGC 方法或者是提出新的方法來完成FKGC任務(wù);從數(shù)據(jù)集的使用上可以看出,NELL-One和Wiki-One 數(shù)據(jù)集是FKGC 任務(wù)中的常用數(shù)據(jù)集,但是隨著時間的發(fā)展,一些新的數(shù)據(jù)集也被用于此任務(wù),例如2022年KnowCo-Tuning[47]模型使用umls、WN18RR、FB15K-237(mini)數(shù)據(jù)集,這些數(shù)據(jù)集第一次出現(xiàn)在FKGC任務(wù)中;從評價指標(biāo)的使用上可以看出,MRR、Hits@n已經(jīng)成為FKGC方法通用的評價指標(biāo),但是一些模型也在使用新的評價指標(biāo),這些新出現(xiàn)的評價指標(biāo)也可能成為以后的通用評價指標(biāo);從模型的局限性分析,可以看出早期模型的局限性問題已經(jīng)被新的模型所解決,但是對于最新的模型來說,少樣本中復(fù)雜的關(guān)系、對稱與反對稱問題一直是一個難點(diǎn)。
為了加深對FKGC方法的理解,本節(jié)匯總了上述模型在NELL-One 和Wiki-One 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果。此外,為了與傳統(tǒng)的KGC方法進(jìn)行比較,表中還加入了TransE 模型、TransH 模型、DisMult 模型等經(jīng)典的傳統(tǒng)KGC模型結(jié)果。為了保證實(shí)驗(yàn)結(jié)果的公平和客觀,本文只選用了這些模型中在NELL-One 和Wiki-One 數(shù)據(jù)集上的結(jié)果,并保證它們在訓(xùn)練時的嵌入維度分別是100和50。
傳統(tǒng)KGC方法的最佳參數(shù)源自相關(guān)文獻(xiàn)[26,37];FSRL模型中LSTM層隱藏狀態(tài)維度為200和100,匹配網(wǎng)絡(luò)的遞歸步數(shù)為2;FAAN 模型中transformer 層數(shù)為3和4;GANA模型中BiLSTM層數(shù)為2;TransAM模型中transformer層數(shù)為3和4(其中傳統(tǒng)KGC方法實(shí)驗(yàn)結(jié)果來自文獻(xiàn)[26]和文獻(xiàn)[37],Gmatching 模型、MetaR模型、FSRL模型、GANA模型結(jié)果來自文獻(xiàn)[37],其余模型結(jié)果均源自相關(guān)文獻(xiàn)。表6、表7 中加粗為最好結(jié)果,下劃線為次好結(jié)果,“—”代表此模型并沒有相關(guān)的實(shí)驗(yàn)結(jié)果)。
表6 在NELL-One數(shù)據(jù)集上FKGC實(shí)驗(yàn)結(jié)果Table 6 Experimental results of FKGC on NELL-One dataset
表7 在Wiki-One數(shù)據(jù)集上FKGC實(shí)驗(yàn)結(jié)果Table 7 Experimental results of FKGC on Wiki-One dataset
從表6可以看出,在NELL-One數(shù)據(jù)集上,F(xiàn)KGC的方法在5-shot 的條件下,每個指標(biāo)都優(yōu)于傳統(tǒng)的KGC模型,在其他shot的條件下,大多數(shù)指標(biāo)都優(yōu)于傳統(tǒng)的KGC 模型,這證明了FKGC 方法在FKGC 任務(wù)上的優(yōu)越性;在基于度量的方法中,1-shot 的條件下,TransAM的效果最好,其MRR指標(biāo)優(yōu)于其他的方法;整體而言,GANA 模型的效果最好,因?yàn)槠浯蟛糠种笜?biāo)都是最好的結(jié)果,只有3-shot 條件下,Hits@5的結(jié)果是次好結(jié)果。
從表7 可以看出,在Wiki-One 數(shù)據(jù)集上,F(xiàn)KGC方法的指標(biāo)沒有全部優(yōu)于傳統(tǒng)的KGC 模型,這是因?yàn)閃iki-One 數(shù)據(jù)集比NELL-One 數(shù)據(jù)集大一個數(shù)量級,使得傳統(tǒng)的KGC 模型學(xué)習(xí)到了更多的信息。在基于其他模型的方法中,CogKR模型的效果在1-shot的條件下最好;在基于度量學(xué)習(xí)的方法中,TransAM模型的效果在1-shot 的條件下最好;整體而言,GANA模型的效果要優(yōu)于其他FKGC模型。
本文對目前FKGC任務(wù)的研究現(xiàn)狀進(jìn)行了闡述,對目前FKGC 領(lǐng)域中經(jīng)典的模型和最新的成果進(jìn)行了總結(jié)和歸納。本章討論了目前FKGC 研究的難點(diǎn)問題,并對少樣本知識圖譜補(bǔ)全技術(shù)的發(fā)展方向進(jìn)行了展望。
基于各種方法的FKGC 任務(wù)雖然已經(jīng)取得了一些成果,但是依然面臨著一些問題:
一是鄰域信息的使用和去噪。目前大部分的FKGC 方法都是集合實(shí)體的鄰域信息得到關(guān)系表示最終完成任務(wù),這就導(dǎo)致在集合實(shí)體鄰域信息的過程中,很多方法只選用了實(shí)體的一階鄰居信息,而忽略了三元組周圍的高階鄰域信息。其次,在集合實(shí)體鄰域信息時,有些實(shí)體并沒有很多鄰居信息,但是伴隨編碼范圍的擴(kuò)大,就需要引入很多無關(guān)的信息甚至是噪音信息,這就導(dǎo)致得到的實(shí)體鄰域信息質(zhì)量不高甚至嚴(yán)重影響最終模型效果。目前研究者已經(jīng)開始研究如何獲取和使用更高階的鄰域信息同時降低鄰域信息中的噪音,例如GANA 模型中使用門控網(wǎng)絡(luò)處理了一部分的噪音信息并取得了很好的效果。后續(xù)的研究者還需要探索更好的方法。
二是復(fù)雜的關(guān)系。對于三元組的關(guān)系而言,可分為1-1、1-N、N-1 以及N-N 的關(guān)系;對于模型而言,越復(fù)雜的關(guān)系越需要更多的樣本來學(xué)習(xí),但是少樣本知識圖譜補(bǔ)全任務(wù)又無法提供大量的樣本,這就導(dǎo)致了復(fù)雜的關(guān)系對于所有FKGC 方法而言都是困難且充滿挑戰(zhàn)的。因此如何設(shè)計(jì)一種針對復(fù)雜關(guān)系的表示方法,讓模型在少量樣本下也能識別出復(fù)雜關(guān)系,仍是今后研究難點(diǎn)。
隨著FKGC技術(shù)的不斷發(fā)展,越來越多的研究者開始關(guān)注此任務(wù),未來的發(fā)展方向可以從以下幾方面考慮:
一是少樣本時序知識圖譜的補(bǔ)全?,F(xiàn)有的大多數(shù)知識圖譜都是靜態(tài)的圖結(jié)構(gòu)[81],但在實(shí)際使用的過程中,知識圖譜的圖結(jié)構(gòu)往往會伴隨著時間而發(fā)生變化,例如增加實(shí)體或者刪除實(shí)體之間的關(guān)系。這種結(jié)構(gòu)變化雖然短時間內(nèi)對全局影響不大,但在長期的改變下,為了靜態(tài)圖而研究的方法無法適用于動態(tài)的變化。文獻(xiàn)[82]提供了一種新穎的思路,利用自我注意力機(jī)制來編碼實(shí)體間的時序信息,通過一次性學(xué)習(xí)框架來完成少樣本時序知識圖譜的補(bǔ)全任務(wù)。除此之外,還有很多少樣本時序知識圖譜的補(bǔ)全方法[83-84]。因此如何對少樣本時序知識圖譜進(jìn)行補(bǔ)全具有較大的顯示意義和應(yīng)用價值,同時可能也是未來的研究方向之一。
二是知識圖譜嵌入方法的結(jié)合。知識圖譜嵌入的方法被廣泛應(yīng)用在FKGC 的方法中,例如:Gmatching模型[16]中利用知識圖譜嵌入的各種方法作為預(yù)訓(xùn)練得到實(shí)體和關(guān)系的嵌入信息;MetaR 模型[35]中利用TransE[13]的思想求出梯度元信息,并對最終的結(jié)果進(jìn)行打分;GANA模型[25]在局部階段將TransH[72]與元學(xué)習(xí)結(jié)合建模復(fù)雜的關(guān)系信息。知識圖譜嵌入方法的質(zhì)量對FKGC方法的效果具有顯著的影響[22],因此研究FKGC 中如何更好地結(jié)合知識圖譜嵌入方法具有重要的意義。
三是對零樣本方法的研究。零樣本學(xué)習(xí)[85-86]的目的在于預(yù)測出沒有在訓(xùn)練數(shù)據(jù)中出現(xiàn)的數(shù)據(jù)。在現(xiàn)實(shí)生活中,知識圖譜每次更新都有可能加入新的數(shù)據(jù),那么這些沒有被模型見過的數(shù)據(jù),會影響到模型的實(shí)際效果[86-87],如文獻(xiàn)[88]利用GAN(generative adversarial networks)的思想,創(chuàng)建了一種生成類的零樣本學(xué)習(xí)框架,對不可見數(shù)據(jù)進(jìn)行預(yù)測以完成零樣本知識圖譜補(bǔ)全任務(wù)。因此,對零樣本知識圖譜補(bǔ)全任務(wù)的關(guān)注和研究也具有一定的意義。此外,為了更加有效地評估零樣本知識圖譜補(bǔ)全方法,根據(jù)具體的任務(wù)定義,制作通用的數(shù)據(jù)集和評價指標(biāo)也有著一定的必要性[89]。