孫水發(fā)，李小龍，李偉生，雷大江，李思慧，楊 柳，吳義熔

1.智慧醫(yī)療宜昌市重點(diǎn)實(shí)驗(yàn)室，湖北宜昌443002

2.三峽大學(xué)計(jì)算機(jī)與信息學(xué)院，湖北宜昌443002

3.三峽大學(xué)經(jīng)濟(jì)與管理學(xué)院，湖北宜昌443002

4.重慶郵電大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，重慶400065

5.北京師范大學(xué)心理學(xué)部，廣東珠海519087

6.北京師范大學(xué)人文和社會(huì)科學(xué)高等研究院，廣東珠海519087

知識(shí)圖譜（knowledge graph，KG）最早可以追溯到Richens[1]在1956 年提出的以圖結(jié)構(gòu)進(jìn)行知識(shí)表示的語(yǔ)義網(wǎng)絡(luò)（semantic net）。隨后，語(yǔ)義網(wǎng)絡(luò)經(jīng)過(guò)了本體論（ontology）、萬(wàn)維網(wǎng)（Web）、語(yǔ)義網(wǎng)（semantic Web）、鏈接數(shù)據(jù)（linked data）等一系列發(fā)展[2]。直到2012 年，谷歌正式提出知識(shí)圖譜，并將知識(shí)圖譜的知識(shí)定義為由實(shí)體、關(guān)系和語(yǔ)義描述組成的結(jié)構(gòu)化三元組事實(shí)，其中實(shí)體代表現(xiàn)實(shí)世界中的對(duì)象或者是抽象的概念，關(guān)系是定義的類型或者屬性，用來(lái)表示實(shí)體之間的關(guān)聯(lián)或者實(shí)體屬性。知識(shí)圖譜技術(shù)已迅速成為數(shù)據(jù)挖掘、數(shù)據(jù)庫(kù)和人工智能等領(lǐng)域的研究熱點(diǎn)[3]。

知識(shí)圖譜推理（下述簡(jiǎn)稱“知識(shí)推理”，knowledge graph reasoning）即面向知識(shí)圖譜的知識(shí)推理，它是從已有的知識(shí)出發(fā)，推斷出新的或未知的知識(shí)，從而拓展、補(bǔ)充和豐富知識(shí)庫(kù)，最早可以追溯到1959年Newell 等人[4]提出的一般問(wèn)題解決庫(kù)（general problem solver）。隨著知識(shí)圖譜構(gòu)建技術(shù)的不斷發(fā)展、規(guī)模的不斷擴(kuò)大、應(yīng)用場(chǎng)景的不斷推廣以及深度學(xué)習(xí)和自然語(yǔ)言處理技術(shù)的不斷成熟，知識(shí)推理技術(shù)也在不斷演變創(chuàng)新，學(xué)術(shù)界和工業(yè)界對(duì)知識(shí)推理領(lǐng)域進(jìn)行了大量深入研究，也有較多關(guān)于知識(shí)推理的綜述文獻(xiàn)。相關(guān)綜述文獻(xiàn)可以歸納為三類（如表1）：第一類是關(guān)于知識(shí)推理任務(wù)類的綜述文獻(xiàn)，包括“知識(shí)圖譜補(bǔ)全任務(wù)[2,5-9]”“知識(shí)推理問(wèn)答任務(wù)[10-11]”和“知識(shí)圖譜推薦系統(tǒng)任務(wù)[12-16]”等，該類綜述側(cè)重利用知識(shí)推理方法解決某一類具體任務(wù)；第二類是關(guān)于知識(shí)圖譜領(lǐng)域應(yīng)用類的綜述文獻(xiàn)，包括從臨床醫(yī)療[17-19]、風(fēng)險(xiǎn)管理[20]、智能制造[21]、安全情報(bào)[22]等方面的應(yīng)用進(jìn)行綜述，側(cè)重討論將知識(shí)推理方法應(yīng)用于某一類領(lǐng)域的研究綜述；第三類是知識(shí)推理方法類的綜述文獻(xiàn)[3,23-29]等，該類綜述側(cè)重對(duì)知識(shí)推理原理的分析，以及方法的解讀、分類和改進(jìn)。

表1 知識(shí)圖譜推理綜述文獻(xiàn)分類（近三年）Table 1 Classification of knowledge graph reasoning survey articles(the latest three years)

綜上所述，關(guān)于知識(shí)推理的綜述文獻(xiàn)要么是基于知識(shí)推理某一類任務(wù)或某領(lǐng)域應(yīng)用類的綜述，要么是基于知識(shí)圖譜推理方法類的綜述。這些綜述主要是基于傳統(tǒng)算法、深度學(xué)習(xí)或強(qiáng)化學(xué)習(xí)算法的知識(shí)圖譜綜述，而基于最新相關(guān)研究方法的知識(shí)推理類綜述文章還相當(dāng)缺乏。

近年來(lái)，圖神經(jīng)網(wǎng)絡(luò)（graph neural network，GNN）因其對(duì)圖結(jié)構(gòu)數(shù)據(jù)強(qiáng)大的編碼能力，被廣泛用于知識(shí)圖譜的構(gòu)建。知識(shí)圖譜以節(jié)點(diǎn)和邊的圖結(jié)構(gòu)存儲(chǔ)數(shù)據(jù)，圖神經(jīng)網(wǎng)絡(luò)可以有效整合知識(shí)圖譜結(jié)構(gòu)特征及屬性特征[30]，通過(guò)節(jié)點(diǎn)的鄰域信息聚合并更新節(jié)點(diǎn)，利用其強(qiáng)大的信息傳播能力學(xué)習(xí)數(shù)據(jù)間的語(yǔ)義關(guān)系和潛在信息[16]，使其可以很好地學(xué)習(xí)知識(shí)圖譜中的節(jié)點(diǎn)信息、節(jié)點(diǎn)間關(guān)系信息以及全局結(jié)構(gòu)信息。由于準(zhǔn)確地學(xué)習(xí)知識(shí)圖譜中有效的語(yǔ)義信息和結(jié)構(gòu)信息是開(kāi)展知識(shí)推理的關(guān)鍵[31]，圖神經(jīng)網(wǎng)絡(luò)在知識(shí)圖譜數(shù)據(jù)加載、數(shù)據(jù)處理，特別是在知識(shí)推理上都具有明顯的優(yōu)勢(shì)。盡管已有諸多的知識(shí)推理方法類綜述文獻(xiàn)，但仍缺乏對(duì)將知識(shí)推理和圖神經(jīng)網(wǎng)絡(luò)相結(jié)合的研究進(jìn)行系統(tǒng)梳理和總結(jié)的文獻(xiàn)。與現(xiàn)有綜述類工作相比，本文的創(chuàng)新主要體現(xiàn)在以下三方面：

（1）對(duì)知識(shí)推理文獻(xiàn)進(jìn)行了系統(tǒng)的分類整理，類別包括基于邏輯規(guī)則、基于表示學(xué)習(xí)、基于神經(jīng)網(wǎng)絡(luò)和基于圖神經(jīng)網(wǎng)絡(luò)的推理，闡述并比較了不同知識(shí)推理方法的原理及優(yōu)缺點(diǎn)。

（2）調(diào)研了基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)推理相關(guān)文獻(xiàn)，總結(jié)了基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)推理的最新研究進(jìn)展，首次將基于圖自編碼網(wǎng)絡(luò)和基于時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)的知識(shí)推理進(jìn)行了綜述分析。

（3）總結(jié)了基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)推理方法在理論、算法和應(yīng)用方面的現(xiàn)狀、問(wèn)題和未來(lái)發(fā)展前景。

1 知識(shí)推理研究進(jìn)展

1.1 知識(shí)圖譜

知識(shí)圖譜是一種比較通用的語(yǔ)義知識(shí)的形式化描述框架，用節(jié)點(diǎn)表示語(yǔ)義符號(hào)，用邊表示符號(hào)之間的語(yǔ)義關(guān)系，形式化的表述用事實(shí)三元組（頭實(shí)體，關(guān)系，尾實(shí)體）來(lái)記錄[32]。相比傳統(tǒng)的語(yǔ)義網(wǎng)絡(luò)，知識(shí)圖譜因?yàn)楹?jiǎn)易的數(shù)據(jù)表征方式、多樣化的知識(shí)表示和多層次的語(yǔ)義表達(dá)等優(yōu)點(diǎn)，使得其能夠在數(shù)據(jù)量大、場(chǎng)景復(fù)雜的情況下有效運(yùn)用于挖掘關(guān)聯(lián)知識(shí)和復(fù)雜關(guān)系。

然而，由于結(jié)構(gòu)化的知識(shí)僅僅在特定的時(shí)間段內(nèi)成立，時(shí)序信息是非常重要的，而事實(shí)的演化也會(huì)遵循一個(gè)時(shí)間序列。時(shí)序知識(shí)圖譜除了描述語(yǔ)義關(guān)系外，還需要考慮與時(shí)間關(guān)系的描述。它不單單是一個(gè)“增強(qiáng)型”的開(kāi)放域知識(shí)圖譜，而是需要結(jié)合業(yè)務(wù)場(chǎng)景和領(lǐng)域知識(shí)，并針對(duì)時(shí)序知識(shí)自身的特點(diǎn)，對(duì)知識(shí)的概念、實(shí)體和關(guān)系進(jìn)行語(yǔ)義化和時(shí)空化拓展。因此，把提供了關(guān)于事實(shí)何時(shí)成立的時(shí)序信息嵌入在事實(shí)三元組中，將三元組拓展成時(shí)序四元組（頭實(shí)體，關(guān)系，尾實(shí)體，時(shí)序），這種帶有時(shí)序信息的知識(shí)圖譜被稱為“時(shí)序知識(shí)圖譜（temporal knowledge graph，TKG）[33]”。而現(xiàn)有的知識(shí)圖譜研究大多數(shù)都關(guān)注的是靜態(tài)知識(shí)圖譜。

1.2 知識(shí)推理

知識(shí)推理就是根據(jù)初步構(gòu)建的知識(shí)圖譜中實(shí)體和關(guān)系所蘊(yùn)含的信息，利用相關(guān)算法，推理出知識(shí)圖譜中缺失的實(shí)體或者缺失的關(guān)系。本質(zhì)上就是利用已經(jīng)存在的知識(shí)推出未知的或者新知識(shí)的過(guò)程[26]，其核心都是針對(duì)三元組中的實(shí)體和關(guān)系進(jìn)行預(yù)測(cè)，具體可分為實(shí)體預(yù)測(cè)和關(guān)系預(yù)測(cè)。實(shí)體預(yù)測(cè)是指利用已有事實(shí)的關(guān)系及一個(gè)實(shí)體，推理出另一個(gè)實(shí)體并由此構(gòu)成完整三元組；關(guān)系預(yù)測(cè)是推理給定的頭尾實(shí)體之間的關(guān)系[34]。無(wú)論實(shí)體預(yù)測(cè)還是關(guān)系預(yù)測(cè)，最后都轉(zhuǎn)化為選擇與給定元素更有可能形成有效三元組的實(shí)體或關(guān)系，并將其作為推理預(yù)測(cè)結(jié)果，這種有效性可以通過(guò)規(guī)則的方式推理或通過(guò)基于特定假設(shè)的得分函數(shù)計(jì)算得到[35]。從結(jié)構(gòu)上講，知識(shí)推理工作主要包括局部任務(wù)和全局任務(wù)。局部任務(wù)即節(jié)點(diǎn)分類、鏈接預(yù)測(cè)、知識(shí)補(bǔ)全等任務(wù)；全局任務(wù)即子圖匹配、子圖分類、圖趨勢(shì)預(yù)測(cè)等[36]。子圖匹配簡(jiǎn)單來(lái)說(shuō)就是給定一個(gè)查詢圖Q，在數(shù)據(jù)圖G 中找到與圖Q 結(jié)構(gòu)相同的圖；子圖分類是指給定多張圖以及每張圖對(duì)應(yīng)的標(biāo)簽，通過(guò)學(xué)習(xí)得出一個(gè)由圖到相應(yīng)標(biāo)簽的圖分類模型；圖趨勢(shì)預(yù)測(cè)是通過(guò)現(xiàn)有圖譜，有效挖掘、預(yù)測(cè)數(shù)據(jù)中的規(guī)律和知識(shí)[37]。

目前，關(guān)于知識(shí)推理方法類的綜述較多（如表1），但大多都只包括了部分推理方法和有限的文獻(xiàn)調(diào)研，尤其是對(duì)于近年興起的基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)推理內(nèi)容缺少梳理，還沒(méi)有專門(mén)基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)推理的綜述。因此，本文總結(jié)了當(dāng)前與知識(shí)圖譜和圖神經(jīng)網(wǎng)絡(luò)相關(guān)的研究，在Chen 等人[23]提出的框架和基礎(chǔ)上，將知識(shí)推理方法分為基于邏輯規(guī)則、基于表示學(xué)習(xí)、基于神經(jīng)網(wǎng)絡(luò)和基于圖神經(jīng)網(wǎng)絡(luò)四大類（如表2），并對(duì)各類知識(shí)推理方法進(jìn)行簡(jiǎn)明闡述和對(duì)比，在此基礎(chǔ)上重點(diǎn)總結(jié)了基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)推理的最新研究進(jìn)展。

表2 知識(shí)推理方法分類和典型算法Table 2 Classification of KG reasoning methods and their typical algorithms

（1）基于邏輯規(guī)則的推理。早期的知識(shí)推理主要是基于邏輯規(guī)則的推理，其基本思想是借鑒傳統(tǒng)知識(shí)推理中的規(guī)則推理方法，在知識(shí)圖譜上運(yùn)用簡(jiǎn)單規(guī)則或統(tǒng)計(jì)特征進(jìn)行推理。主要包括基于一階謂詞邏輯[38-40]、基于規(guī)則[41-46]、基于本體[47-49]和基于隨機(jī)游走算法[50-52]?；谶壿嬕?guī)則的推理算法優(yōu)點(diǎn)是：有堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)，可解釋性強(qiáng)；當(dāng)結(jié)合大規(guī)模解析語(yǔ)料庫(kù)和背景知識(shí)時(shí)，可模擬人類的推理能力，捕捉知識(shí)圖譜中隱藏的語(yǔ)義信息，這使得結(jié)合先驗(yàn)知識(shí)來(lái)輔助推理成為可能。然而，知識(shí)圖譜中的節(jié)點(diǎn)往往服從長(zhǎng)尾分布，即只有少數(shù)實(shí)體和關(guān)系的出現(xiàn)頻率較高，而大多數(shù)實(shí)體和關(guān)系出現(xiàn)的頻率較低，故基于邏輯規(guī)則的推理無(wú)法解決數(shù)據(jù)稀疏性問(wèn)題，無(wú)法很好處理多跳推理問(wèn)題，也嚴(yán)重影響推理性能；加之基于邏輯規(guī)則的推理對(duì)邏輯背景知識(shí)和規(guī)則定義的依賴度較高，因此泛化能力十分有限，并不適用于包含大量潛在推理模式的大規(guī)模知識(shí)圖譜（表3）。

（2）基于表示學(xué)習(xí)的推理?；诒硎緦W(xué)習(xí)推理算法的中心思想是找到一種映射函數(shù)，將語(yǔ)義網(wǎng)絡(luò)中的實(shí)體、關(guān)系和屬性映射到低維實(shí)值向量空間以獲得分布式表示，進(jìn)而捕獲實(shí)體和關(guān)系之間的隱式關(guān)聯(lián)。研究人員提出了大量基于表示學(xué)習(xí)的推理方法，包括基于張量分解[53-56]、距離模型[57-66]、語(yǔ)義匹配[67-70]和多元信息模型[71-74]。表示學(xué)習(xí)發(fā)展迅速，在大規(guī)模知識(shí)圖的知識(shí)表示和推理中顯示出巨大的潛力。該算法可以解決基于邏輯規(guī)則算法無(wú)法解決的數(shù)據(jù)稀疏性問(wèn)題，具有較強(qiáng)的泛化能力，且能在大規(guī)模知識(shí)圖譜上取得一定的效果。但也存在實(shí)體和關(guān)系向量值缺乏明確的物理意義及可解釋性較差的問(wèn)題。另外，基于表示學(xué)習(xí)的推理只考慮滿足知識(shí)圖譜事實(shí)的約束，沒(méi)有考慮更深層次的成分信息，限制了其推理能力（表3）。

（3）基于神經(jīng)網(wǎng)絡(luò)的推理。深度學(xué)習(xí)模型的構(gòu)建一定程度上參考了人類大腦多層生物神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，模擬人腦通過(guò)對(duì)低層特征進(jìn)行組合以形成更加抽象的高層特征?；谏窠?jīng)網(wǎng)絡(luò)的推理具備更強(qiáng)的泛化能力和學(xué)習(xí)能力，將前文所述的表示學(xué)習(xí)方法通過(guò)多個(gè)非線性表示層組合起來(lái)，再對(duì)其深度特征進(jìn)行表示，進(jìn)而開(kāi)展知識(shí)推理。主要包括基于卷積神經(jīng)網(wǎng)絡(luò)[75-79]、基于循環(huán)神經(jīng)網(wǎng)絡(luò)[80-82]和基于強(qiáng)化學(xué)習(xí)[83-87]的神經(jīng)網(wǎng)絡(luò)?；谏窠?jīng)網(wǎng)絡(luò)的知識(shí)圖譜推理可以把已有的知識(shí)圖譜中存在的關(guān)系保存到神經(jīng)網(wǎng)絡(luò)中。因此，基于神經(jīng)網(wǎng)絡(luò)的方法具備更高的學(xué)習(xí)能力、推理能力和泛化能力，不僅能夠?qū)W習(xí)海量的文本語(yǔ)料，緩解大規(guī)模知識(shí)圖譜帶來(lái)的數(shù)據(jù)爆炸問(wèn)題，并且可以直接建模知識(shí)圖譜事實(shí)元組，降低了計(jì)算難度，甚至還能通過(guò)合理設(shè)計(jì)和使用輔助存儲(chǔ)單元，在一定程度上模擬人腦推理和思考問(wèn)題的過(guò)程。但隨著模型復(fù)雜度相對(duì)較高，也導(dǎo)致了可解釋性較差的問(wèn)題（表3）。

表3 各類知識(shí)圖譜推理方法的原理、優(yōu)勢(shì)及不足Table 3 Principles,advantages and disadvantages of KG reasoning methods

（4）基于圖神經(jīng)網(wǎng)絡(luò)的推理。隨著知識(shí)圖譜規(guī)模的不斷擴(kuò)大和應(yīng)用場(chǎng)景的不斷深化，傳統(tǒng)的基于邏輯規(guī)則、基于表示學(xué)習(xí)的模型始終存在效率低下、規(guī)則覆蓋率低的問(wèn)題，無(wú)法滿足對(duì)大規(guī)模知識(shí)圖譜進(jìn)行推理的要求；基于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的推理技術(shù)則欠缺解釋性。以上大多數(shù)模型的核心都在提高圖譜語(yǔ)義信息獲取能力，較少考慮圖譜的結(jié)構(gòu)信息。

圖神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)在于：一是圖神經(jīng)網(wǎng)絡(luò)采用圖數(shù)據(jù)的表征方式，這與知識(shí)圖譜圖數(shù)據(jù)結(jié)構(gòu)相契合；二是圖神經(jīng)網(wǎng)絡(luò)在信息傳播和計(jì)算過(guò)程中是在已有圖的節(jié)點(diǎn)和關(guān)系上進(jìn)行優(yōu)化計(jì)算，不再添加新的信息節(jié)點(diǎn)；三是雖然圖上的計(jì)算量也較大，但是相比線性神經(jīng)網(wǎng)絡(luò)中的計(jì)算傳導(dǎo)，這使得計(jì)算的傳播更具針對(duì)性；四是節(jié)點(diǎn)上的信息計(jì)算方式考慮了該節(jié)點(diǎn)的隱層信息和鄰節(jié)點(diǎn)信息及圖數(shù)據(jù)所攜帶的結(jié)構(gòu)信息，在預(yù)測(cè)過(guò)程中也更具解釋性（表3）。因此，基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)推理，可以較好地將知識(shí)圖譜語(yǔ)義信息和結(jié)構(gòu)信息同時(shí)考慮，尤其是能夠捕捉知識(shí)圖譜的結(jié)構(gòu)信息，已逐漸成為當(dāng)下主流的研究方法。

2 基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)推理研究

近年來(lái)，人們對(duì)深度學(xué)習(xí)方法在圖上的擴(kuò)展越來(lái)越感興趣。在多方因素的成功推動(dòng)下，研究人員借鑒了卷積網(wǎng)絡(luò)、循環(huán)網(wǎng)絡(luò)和深度自動(dòng)編碼器的思想，定義和設(shè)計(jì)了用于處理圖數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)——圖神經(jīng)網(wǎng)絡(luò)（GNN）。圖神經(jīng)網(wǎng)絡(luò)是一組復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型，可用于多類任務(wù)[37]。圖1 為圖神經(jīng)網(wǎng)絡(luò)基本模型，主要包括輸入層、圖卷積層、激活函數(shù)層和輸出層。圖卷積層通過(guò)聚合相鄰節(jié)點(diǎn)的特征信息得到每個(gè)節(jié)點(diǎn)的隱藏表示，然后通過(guò)激活函數(shù)層進(jìn)行非線性變換，得到新的圖的表示，通過(guò)多次圖卷積層和激活函數(shù)層，得到每個(gè)節(jié)點(diǎn)的最終表示?；趫D神經(jīng)網(wǎng)絡(luò)的知識(shí)推理，可以較好地將知識(shí)圖譜語(yǔ)義信息和結(jié)構(gòu)信息同時(shí)考慮，尤其是能夠捕捉知識(shí)圖譜的結(jié)構(gòu)信息，已逐漸成為知識(shí)推理熱門(mén)研究方法。在輸入上，基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)推理模型將圖形結(jié)構(gòu)和節(jié)點(diǎn)內(nèi)容信息作為輸入。在訓(xùn)練框架上，可以在端到端學(xué)習(xí)框架內(nèi)以（半）監(jiān)督或無(wú)監(jiān)督的方式訓(xùn)練，具體取決于學(xué)習(xí)任務(wù)和可用的標(biāo)簽信息。在輸出上，可以根據(jù)不同推理任務(wù)來(lái)制定輸出機(jī)制，通過(guò)激活函數(shù)將知識(shí)圖譜節(jié)點(diǎn)的表示作為輸出，可以執(zhí)行知識(shí)推理的節(jié)點(diǎn)分類、節(jié)點(diǎn)標(biāo)簽預(yù)測(cè)等節(jié)點(diǎn)級(jí)任務(wù)（如圖1）。同理，將GNN 中兩個(gè)節(jié)點(diǎn)的隱藏表示作為輸出，可利用相似性函數(shù)或神經(jīng)網(wǎng)絡(luò)來(lái)預(yù)測(cè)邊的標(biāo)簽或連接強(qiáng)度等，執(zhí)行邊分類和鏈接預(yù)測(cè)等任務(wù)（如圖2）。通過(guò)在模型中加入多層感知器和Softmax 層，可處理圖分類、子圖匹配、圖趨勢(shì)預(yù)測(cè)等知識(shí)推理全局任務(wù)（如圖3）。

圖1 圖神經(jīng)網(wǎng)絡(luò)模型Fig.1 Graph neural network model

圖2 基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)推理模型（邊級(jí)任務(wù)）Fig.2 GNN based KG reasoning model(side-level task)

圖3 基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)推理模型（全局任務(wù)）Fig.3 GNN based KG reasoning model(global task)

現(xiàn)有的基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)推理文獻(xiàn)較少，且一般只概述了遞歸圖神經(jīng)網(wǎng)絡(luò)（recurrent graph neural networks，RecGNN）和卷積圖神經(jīng)網(wǎng)絡(luò)（convolutional graph neural networks，ConvGNN）相關(guān)內(nèi)容，缺少對(duì)圖自編碼網(wǎng)絡(luò)（graph auto-encoders，GAE）和時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)（spatial-temporal graph neural network，STGNN）在知識(shí)推理中應(yīng)用的歸納。圖自編碼網(wǎng)絡(luò)和時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)已廣泛用于知識(shí)推理任務(wù)中，故本文結(jié)合最新的算法更新和領(lǐng)域應(yīng)用，在Wu等人[37]對(duì)圖神經(jīng)網(wǎng)絡(luò)分類的基礎(chǔ)上，將基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)推理分為基于遞歸圖神經(jīng)網(wǎng)絡(luò)[88-91]、卷積圖神經(jīng)網(wǎng)絡(luò)[92-100]、圖自編碼網(wǎng)絡(luò)[101-107]和時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)[108-112]的知識(shí)推理，全面總結(jié)了基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)推理最新進(jìn)展。表4 為各類基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)圖譜推理方法的原理、優(yōu)勢(shì)及不足。本文也是首次嘗試將基于圖自編碼網(wǎng)絡(luò)和基于時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)納入知識(shí)推理中進(jìn)行綜述。

表4 各類基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)推理方法對(duì)比Table 4 Comparison of GNN based KG reasoning methods

2.1 基于遞歸圖神經(jīng)網(wǎng)絡(luò)RecGNN 的知識(shí)推理

遞歸圖神經(jīng)網(wǎng)絡(luò)（RecGNN）是圖神經(jīng)網(wǎng)絡(luò)的先驅(qū)（如表5）。RecGNN 的目標(biāo)是學(xué)習(xí)遞歸神經(jīng)架構(gòu)的節(jié)點(diǎn)表示，通過(guò)圖中節(jié)點(diǎn)不斷地與其鄰接交換信息，直到達(dá)到穩(wěn)定的平衡。遞歸圖神經(jīng)網(wǎng)絡(luò)的概念最早由Gori 等人[113]于2005 年提出，Scarselli 等人[88]對(duì)此模型進(jìn)行了更詳細(xì)的闡述，每個(gè)節(jié)點(diǎn)的定義是由該節(jié)點(diǎn)的屬性特征（或標(biāo)簽特征）以及鄰接節(jié)點(diǎn)來(lái)共同表示（如圖4），參數(shù)函數(shù)fw稱為局部變換函數(shù)，描述了頂點(diǎn)n和其鄰域頂點(diǎn)的依賴性。gw稱為局部輸出函數(shù)，刻畫(huà)了輸出值的生成過(guò)程。

表5 基于遞歸圖神經(jīng)網(wǎng)絡(luò)的知識(shí)推理算法歸納Table 5 RecGNN based KG reasoning algorithms

圖4 圖和節(jié)點(diǎn)的鄰域Fig.4 Domains of graphs and nodes

其中，ln、lco[n]、xne[n]、lne[n]分別表示頂點(diǎn)n的屬性、關(guān)聯(lián)邊的屬性、所有鄰接節(jié)點(diǎn)的狀態(tài)和屬性，因此，每個(gè)節(jié)點(diǎn)n的狀態(tài)xn∈Rs，該狀態(tài)xn包含節(jié)點(diǎn)n的鄰域所包含的信息。RecGNN 的目標(biāo)是通過(guò)不斷迭代傳播鄰接節(jié)點(diǎn)信息fw，直到模型達(dá)到穩(wěn)定狀態(tài)，進(jìn)而得到節(jié)點(diǎn)的最終表示gw[114]。

Scarselli 等人[88]提到GNN 可以直接處理大多數(shù)現(xiàn)實(shí)世界中的圖問(wèn)題，包括有向、無(wú)向、循環(huán)和非循環(huán)的圖，且成功實(shí)現(xiàn)了將圖數(shù)據(jù)映射到幾何空間，并開(kāi)展了子圖匹配、化合物誘變活性分析和網(wǎng)頁(yè)排序等任務(wù)，這是首次利用圖神經(jīng)網(wǎng)絡(luò)處理圖數(shù)據(jù)推理任務(wù)——子圖匹配。其實(shí)驗(yàn)結(jié)果表明GNN 對(duì)于結(jié)構(gòu)化數(shù)據(jù)的建模十分有效，但也存在著數(shù)據(jù)計(jì)算量大、迭代效率低等諸多的不足。Li 等人[90]提出了GGNN（gated graph neural network），GGNN 是基于GRU（gated recurrent unit）的經(jīng)典空間域模型，可以理解為GNN+Gate。相比GNN，GGNN 的特點(diǎn)在于使用了GRU 單元更新節(jié)點(diǎn)狀態(tài)，解決了過(guò)深層的圖神經(jīng)網(wǎng)絡(luò)導(dǎo)致過(guò)度平滑的問(wèn)題。但由于在每個(gè)時(shí)間步都需要展開(kāi)圖中所有的節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)還需要使用向量進(jìn)行表示，當(dāng)圖很大且向量表示維度很高時(shí)，模型的效率會(huì)出現(xiàn)較大問(wèn)題。GGNN 實(shí)際上是以損失圖中較長(zhǎng)路徑信息的代價(jià)換取了模型可建模的問(wèn)題空間。

在此基礎(chǔ)上，Dai 等人[91]提出了SSE（stochastic steady-state embedding）算法。SSE 算法提出了一種隨機(jī)學(xué)習(xí)框架，可有效利用學(xué)習(xí)算法中的模型參數(shù)，其主要思想是隨機(jī)采樣一批節(jié)點(diǎn)用于狀態(tài)更新，隨機(jī)采樣一批節(jié)點(diǎn)用于梯度計(jì)算，以隨機(jī)和異步的方式周期性更新節(jié)點(diǎn)隱藏狀態(tài)。由于算法是隨機(jī)訓(xùn)練的，在收斂速度和執(zhí)行時(shí)間方面對(duì)于大規(guī)模圖是非常有效的，且在多個(gè)知識(shí)推理任務(wù)中得到了驗(yàn)證。

綜上所述，RecGNN 旨在學(xué)習(xí)具有遞歸神經(jīng)架構(gòu)的節(jié)點(diǎn)表示。它們假設(shè)圖中的節(jié)點(diǎn)不斷與其鄰接（包括鄰接節(jié)點(diǎn)和關(guān)聯(lián)邊）交換信息，直到達(dá)到穩(wěn)態(tài)。RecGNN 在理論上很重要，它啟發(fā)了后來(lái)學(xué)者們對(duì)卷積圖神經(jīng)網(wǎng)絡(luò)的研究，基于空間的卷積圖神經(jīng)網(wǎng)絡(luò)繼承了信息傳遞的思想。

2.2 基于卷積圖神經(jīng)網(wǎng)絡(luò)ConvGNN 的知識(shí)推理

卷積圖神經(jīng)網(wǎng)絡(luò)（ConvGNN）將卷積運(yùn)算從網(wǎng)格數(shù)據(jù)（歐幾里德數(shù)據(jù)，如圖像數(shù)據(jù)）推廣到了圖形數(shù)據(jù)（非歐幾里德數(shù)據(jù)，如知識(shí)圖譜）。2013 年，Bruna等人[92]提出了基于譜域的圖卷積網(wǎng)絡(luò)（spectral-based GCN）和基于空間域的圖卷積網(wǎng)絡(luò)（spatial-based GCN）兩種模型，開(kāi)創(chuàng)性地引入傅里葉變換，將圖結(jié)構(gòu)信息由拉普拉斯矩陣特征向量表示，可以理解為第一代卷積圖神經(jīng)網(wǎng)絡(luò)。表6 對(duì)上述兩類卷積神經(jīng)圖網(wǎng)絡(luò)進(jìn)行了比較分析?；诳臻g域的圖卷積網(wǎng)絡(luò)直接對(duì)圖的鄰接節(jié)點(diǎn)進(jìn)行聚合，可以較好反映圖數(shù)據(jù)的結(jié)構(gòu)關(guān)系，更適合處理有向圖和大型圖數(shù)據(jù)。因此，目前利用卷積圖神經(jīng)網(wǎng)絡(luò)的知識(shí)推理方法都是基于空間域方法進(jìn)行研究。

與RecGNN 不同，基于空間的ConvGNN 通過(guò)多層卷積來(lái)得到高階節(jié)點(diǎn)表示，進(jìn)而通過(guò)這些表示特征對(duì)圖數(shù)據(jù)進(jìn)行節(jié)點(diǎn)分類、鏈接預(yù)測(cè)、圖分類等任務(wù)。Henaff 等人[115]在文獻(xiàn)[92]的基礎(chǔ)上定義了核，利用局部連接來(lái)減少學(xué)習(xí)參數(shù)，將卷積圖神經(jīng)網(wǎng)絡(luò)擴(kuò)展到大規(guī)模圖數(shù)據(jù)分類問(wèn)題上。Defferrard 等人[116]設(shè)計(jì)了圖的快速局部卷積濾波器，其大大降低了計(jì)算復(fù)雜度和學(xué)習(xí)復(fù)雜度，可以被運(yùn)用到任何圖結(jié)構(gòu)數(shù)據(jù)，可以理解為第二代卷積圖神經(jīng)網(wǎng)絡(luò)。在此基礎(chǔ)上，Levie 等人[117]設(shè)計(jì)了更高效的卷積濾波器。為了減少計(jì)算量并提高性能，研究者們探索出了不同的鄰域聚合方法，如均勻鄰接采樣[93]、頂點(diǎn)重要性采樣[118]和基于隨機(jī)行走的重要性采樣[119]。Kipf 和Welling[120]提出的GCN（graph convolutional network）利用Chebyshev 多項(xiàng)式擬合卷積核，可以學(xué)習(xí)圖上局部結(jié)構(gòu)特征并進(jìn)行編碼，較好地解決半監(jiān)督任務(wù)，可理解為第三代卷積圖神經(jīng)網(wǎng)絡(luò)（如圖5）。圖5（a）是用于半監(jiān)督學(xué)習(xí)的多層卷積圖神經(jīng)網(wǎng)絡(luò)（GCN）示意圖，輸入通道為C，輸出層為F特征圖。圖結(jié)構(gòu)（邊顯示為黑線）在層上共享，標(biāo)簽用Yi表示。圖5（b）為兩層GCN 在Cora 數(shù)據(jù)集上訓(xùn)練的隱藏層激活的可視化，不同顏色表示不同標(biāo)簽類型。

圖5 卷積圖神經(jīng)網(wǎng)絡(luò)（ConvGNN）Fig.5 Convolutional graph neural networks(ConvGNN)

卷積圖神經(jīng)網(wǎng)絡(luò)傳播規(guī)則可表示為：

2.2.1 基于空間域的卷積圖神經(jīng)網(wǎng)絡(luò)

基于空間域的ConvGNN 的知識(shí)推理，將知識(shí)圖譜視作無(wú)向圖，利用ConvGNN 分析拓?fù)浣Y(jié)構(gòu)，實(shí)現(xiàn)鄰域向中心實(shí)體的語(yǔ)義聚合，典型方法包括Graph-SAGE（graph sample and aggregate）[93]、R-GCN（relational graph convolutional network）[94]、SACN（structureaware convolutional networks）[96]、RGHAT（relational graph neural network with hierarchical attention）[15]、HGCN（hierarchical graph convolutional network）[122]等（如表7）。

表7 基于空間域的卷積圖神經(jīng)網(wǎng)絡(luò)的知識(shí)推理算法Table 7 Spatial domain based GCN network KG reasoning algorithms

GCN[120]的基本思想是把圖數(shù)據(jù)中節(jié)點(diǎn)的高維鄰接信息降維到低維的向量表示，其本質(zhì)是“直推式（transductive learning）”，即需要知道圖數(shù)據(jù)的全部信息進(jìn)行訓(xùn)練，且模型無(wú)法快速得到新節(jié)點(diǎn)的表示。GraphSAGE[93]提出了一種新的方法，相比GCN 捕捉圖的全局信息、保存映射結(jié)果的方法，該算法屬于“歸納式（inductive learning）”，即聚合鄰接信息得到圖數(shù)據(jù)表示的映射函數(shù)，因此也可以對(duì)圖譜中新增的節(jié)點(diǎn)進(jìn)行表示（如圖6）。因此，GraphSAGE 更具有泛化能力，也解決了GCN 模型訓(xùn)練節(jié)點(diǎn)時(shí)必須知道全部數(shù)據(jù)且訓(xùn)練出來(lái)的表示唯一的短板。Graph-SAGE 實(shí)現(xiàn)了在大型圖數(shù)據(jù)上的歸納表示學(xué)習(xí)，可擴(kuò)展性更強(qiáng)，對(duì)于節(jié)點(diǎn)分類和鏈接預(yù)測(cè)問(wèn)題的表現(xiàn)也比較突出。

圖6 GraphSAGE 核心思想Fig.6 Core idea of GraphSAGE

在知識(shí)圖譜實(shí)體分類或鏈接預(yù)測(cè)任務(wù)中，許多丟失的信息都可能存在于鄰域結(jié)構(gòu)編碼的圖中，即可以通過(guò)三元組中的任意兩個(gè)推測(cè)出第三個(gè)元素。據(jù)此，Schlichtkrull 等[94]提出了R-GCN，R-GCN 為圖譜中的實(shí)體生成隱性特征表示，可理解為知識(shí)圖譜中的實(shí)體屬性標(biāo)簽，并將其應(yīng)用于兩個(gè)任務(wù)中。對(duì)于實(shí)體分類任務(wù)，R-GCN 參考GCN[120]算法，對(duì)圖中的每個(gè)節(jié)點(diǎn)使用Softmax 分類器進(jìn)行節(jié)點(diǎn)分類；對(duì)于關(guān)系預(yù)測(cè)任務(wù)，R-GCN 提取每個(gè)節(jié)點(diǎn)的表示，通過(guò)兩個(gè)節(jié)點(diǎn)的表示來(lái)預(yù)測(cè)節(jié)點(diǎn)間關(guān)系。R-GCN 的主要貢獻(xiàn)在于：顯示了GCN 的框架可以應(yīng)用于關(guān)系數(shù)據(jù)建模，特別是關(guān)系預(yù)測(cè)和實(shí)體分類任務(wù)；引入了參數(shù)共享和實(shí)現(xiàn)稀疏約束的技術(shù)，并將其應(yīng)用于具有大量關(guān)系的多圖分析中。

Vashishth 等人[95]設(shè)計(jì)了一種針對(duì)多關(guān)系有向圖的圖神經(jīng)網(wǎng)絡(luò)CompGCN（composition-based multirelational graph convolutional networks）來(lái)同時(shí)學(xué)習(xí)節(jié)點(diǎn)和關(guān)系的表示。另外，為了降低大量不同類型關(guān)系帶來(lái)的大量參數(shù)的影響，設(shè)計(jì)了一種分解操作，將所有關(guān)系都用一組基的加權(quán)組合來(lái)表示。模型在多個(gè)數(shù)據(jù)集上進(jìn)行了鏈路預(yù)測(cè)、節(jié)點(diǎn)分類、子圖分類等實(shí)驗(yàn)，驗(yàn)證了CompGCN 的有效性。為解決知識(shí)圖譜中三元組不完整問(wèn)題，Shang 等人[96]結(jié)合加權(quán)卷積圖神經(jīng)網(wǎng)絡(luò)（weighted graph convolutional neural network，WGCN）和Conv-TransE 兩個(gè)模塊，提出了SACN（structure-aware convolutional network）模型。模型使用WGCN 作為編碼器，將節(jié)點(diǎn)結(jié)構(gòu)、節(jié)點(diǎn)屬性、關(guān)系類型作為輸入，WGCN 中的可學(xué)習(xí)權(quán)值有助于從相鄰圖節(jié)點(diǎn)中收集自適應(yīng)量的信息；將Conv-TransE作為解碼器，在Conv-TransE 的節(jié)點(diǎn)嵌入表示保留了實(shí)體和關(guān)系之間屬性信息，并可以較好用于知識(shí)圖譜補(bǔ)全任務(wù)。SACN 通過(guò)WGCN 來(lái)建模KG 中的實(shí)體和關(guān)系，提取實(shí)體特征，然后輸入至Conv-TransE中使實(shí)體滿足KG 三元組約束，得到實(shí)體的嵌入表示，進(jìn)而開(kāi)展知識(shí)圖譜補(bǔ)全任務(wù)（如圖7）。

圖7 知識(shí)推理局部任務(wù)（SACN）Fig.7 Knowledge reasoning local task(SACN)

2.2.2 基于圖注意力機(jī)制的卷積圖神經(jīng)網(wǎng)絡(luò)

2017 年，Veli?kovi? 等人[97]提出了GAT（graph attention network），GAT 是一種基于空間結(jié)構(gòu)的圖神經(jīng)網(wǎng)絡(luò)，在聚合鄰域特征信息時(shí)，通過(guò)注意力機(jī)制確定采樣節(jié)點(diǎn)權(quán)重信息，比GCN多了一個(gè)自適應(yīng)的邊權(quán)重系數(shù)[123]，從而實(shí)現(xiàn)鄰域?qū)χ行呢暙I(xiàn)程度的自適應(yīng)調(diào)節(jié)。GAT 無(wú)需提前知道整個(gè)網(wǎng)絡(luò)的結(jié)構(gòu)，即可通過(guò)局部信息獲取到網(wǎng)絡(luò)的整體信息，避免了大量矩陣運(yùn)算。本質(zhì)上，GAT 是將原本GCN 的標(biāo)準(zhǔn)化函數(shù)替換為使用注意力權(quán)重的鄰接節(jié)點(diǎn)特征聚合函數(shù)。因此模型可以直接應(yīng)用到歸納推理的問(wèn)題中，包括知識(shí)圖譜的節(jié)點(diǎn)分類、鏈接預(yù)測(cè)等任務(wù)。典型方法包括MGAT（multi-view graph attention network）[124]、TGAT（temporal graph attention）[125]、NAKGR（neighborhood attention knowledge graph reasoning）[100]等，圖8 為利用MGAT算法開(kāi)展鏈接預(yù)測(cè)和節(jié)點(diǎn)分類模型框架圖。

圖8 MGAT 模型框架圖Fig.8 Framework of MGAT model

2019 年Nathani 等人[126]提出了基于圖注意力網(wǎng)絡(luò)（GAT）的知識(shí)圖譜關(guān)系推理模型KBGAT（knowledge bases GAT），該模型使用多頭注意力機(jī)制來(lái)進(jìn)行目標(biāo)節(jié)點(diǎn)周圍信息的收集，以解決隱藏信息獲取困難的問(wèn)題，提升了關(guān)系預(yù)測(cè)的準(zhǔn)確率。Zhang 等人[98]提出了基于門(mén)控注意力機(jī)制的GaAN（gated attention networks）模型，不同于傳統(tǒng)的多頭注意機(jī)制（均衡地消耗所有的注意頭），門(mén)控注意機(jī)制可以通過(guò)引入的門(mén)控單元來(lái)調(diào)節(jié)參與內(nèi)容的數(shù)量，使用一個(gè)卷積子網(wǎng)絡(luò)來(lái)控制每個(gè)注意頭的重要性。由于在門(mén)控單元的構(gòu)造中只引入了一個(gè)簡(jiǎn)單的、輕量級(jí)的子網(wǎng)，計(jì)算開(kāi)銷可以忽略不計(jì)，而且模型易于訓(xùn)練。Zhang等人[7]提出了一個(gè)用于知識(shí)圖譜補(bǔ)全任務(wù)的具有分層注意的關(guān)系圖神經(jīng)網(wǎng)絡(luò)Encoder-Decoder 框架。Xu 等人[127]提出DPMPN（dynamically pruned message passing networks）模型，以同時(shí)編碼完整的圖數(shù)據(jù)表示和由注意力模塊學(xué)習(xí)的局部圖數(shù)據(jù)表示，實(shí)現(xiàn)推理過(guò)程中子圖的動(dòng)態(tài)構(gòu)建。Xie 等人[128]提出ReInceptionE（relation-aware inception network with joint localglobal structural information for knowledge graph embedding）模型，結(jié)合ConvE 和KBGAT[127]，利用關(guān)系感知注意力（relation-aware attention，RAATT）機(jī)制實(shí)現(xiàn)對(duì)圖譜結(jié)構(gòu)信息的深入理解。康世澤等人[129]提出HE-GAN（heterogeneous information network embedding framework via graph attention network）模型，通過(guò)堆疊圖注意力網(wǎng)絡(luò)，有效學(xué)習(xí)實(shí)體的高階鄰接特征，實(shí)現(xiàn)對(duì)知識(shí)圖譜語(yǔ)義的完整表達(dá)[130]。已有較多的模型較好地將基于GAT 的圖神經(jīng)網(wǎng)絡(luò)引入到知識(shí)圖譜領(lǐng)域，并開(kāi)展節(jié)點(diǎn)分類、關(guān)系預(yù)測(cè)等推理任務(wù)[131-133]（表8）。

表8 基于GAT 的卷積圖神經(jīng)網(wǎng)絡(luò)的知識(shí)推理算法Table 8 Graph attention mechanism based GCN reasoning algorithms

2.3 基于圖自動(dòng)編碼GAE 的知識(shí)推理

圖自動(dòng)編碼神經(jīng)網(wǎng)絡(luò)是一種無(wú)監(jiān)督的學(xué)習(xí)框架，它將節(jié)點(diǎn)/圖編碼到潛在向量空間中，并從編碼的信息中重建圖數(shù)據(jù)。GAE[103]用于學(xué)習(xí)網(wǎng)絡(luò)嵌入和生成新的圖形（如圖9）。編碼器使用圖卷積層來(lái)獲得每個(gè)節(jié)點(diǎn)的網(wǎng)絡(luò)嵌入表示，解碼器計(jì)算給定網(wǎng)絡(luò)嵌入的成對(duì)距離。在應(yīng)用非線性激活函數(shù)后，解碼器重建圖鄰接矩陣。網(wǎng)絡(luò)通過(guò)真實(shí)鄰接矩陣與重構(gòu)鄰接矩陣之間的最小化差異來(lái)訓(xùn)練。圖自動(dòng)編碼網(wǎng)絡(luò)又分為基于網(wǎng)絡(luò)嵌入的圖自動(dòng)編碼方法和基于圖生成的圖自動(dòng)編碼方法?；诰W(wǎng)絡(luò)嵌入的圖自編碼方法利用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)將圖的頂點(diǎn)表示為低維向量，可以用于知識(shí)圖譜節(jié)點(diǎn)分類或鏈接預(yù)測(cè)任務(wù)[104]；基于圖生成的圖自動(dòng)編碼方法是在給定一組觀察到的圖的情況下生成新的圖，可以很好地應(yīng)用到知識(shí)推理的知識(shí)補(bǔ)全任務(wù)中。

圖9 GAE 模型Fig.9 GAE model

2.3.1 基于網(wǎng)絡(luò)嵌入的圖自編碼方法

基于網(wǎng)絡(luò)嵌入的圖自動(dòng)編碼方法的目的是利用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)將圖的節(jié)點(diǎn)映射到潛在空間特征表示為低維向量，并從潛在的表示中解碼圖形信息，進(jìn)而開(kāi)展節(jié)點(diǎn)分類、鏈接預(yù)測(cè)等任務(wù)。在網(wǎng)絡(luò)嵌入方法中，GAE 通過(guò)重構(gòu)鄰接矩陣等圖結(jié)構(gòu)信息來(lái)學(xué)習(xí)潛在節(jié)點(diǎn)表示，它保留了節(jié)點(diǎn)的結(jié)構(gòu)信息。圖自編碼器的挑戰(zhàn)是鄰接矩陣的稀疏性，這使得解碼器的正條目數(shù)遠(yuǎn)遠(yuǎn)小于負(fù)條目數(shù)。典型的解決方案是利用多層感知機(jī)作為編碼器來(lái)獲取節(jié)點(diǎn)嵌入，利用解碼器重建節(jié)點(diǎn)的鄰域統(tǒng)計(jì)信息[134-135]。利用網(wǎng)絡(luò)嵌入的圖自編碼方法開(kāi)展知識(shí)推理的典型方法包括DNGR（deep neural networks for learning graph representation）[101]、SDNE（structural deep network embedding）[102]、VGAE（variational graph auto-encoder）[103]和ARVGA（adversarially regularized variational graph autoencoder）[104]等（表9）。

表9 基于網(wǎng)絡(luò)嵌入的圖自編碼網(wǎng)絡(luò)知識(shí)推理算法Table 9 Network embedding based graph auto-encoders network KG reasoning algorithms

DNGR 用深度神經(jīng)網(wǎng)絡(luò)的隨機(jī)沖浪（random surfing model）替代采樣（conventional sampling）的方式為每個(gè)頂點(diǎn)生成一個(gè)低維向量表示，方便更準(zhǔn)確、快速獲取圖的結(jié)構(gòu)信息，進(jìn)而開(kāi)展下游任務(wù)。SDNE用一階、二階相似度有效捕獲高度非線性網(wǎng)絡(luò)局部特征和全局特征，實(shí)驗(yàn)表明，所得到的表示可以有效地作用于節(jié)點(diǎn)分類等下游任務(wù)。但DNGR 和SDNE只考慮節(jié)點(diǎn)結(jié)構(gòu)信息，即節(jié)點(diǎn)之間的連通性，忽略了節(jié)點(diǎn)可能包含描述節(jié)點(diǎn)本身屬性的特征信息。Kipf等人[103]結(jié)合圖數(shù)據(jù)結(jié)構(gòu)的特點(diǎn)，參考自編碼器（autoencoders，AE）和變分自動(dòng)編碼器（variational autoencoders，VAE），提出了圖自動(dòng)編碼器（GAE）和變分圖自動(dòng)編碼器VGAE。VGAE 是基于VAE 的無(wú)監(jiān)督學(xué)習(xí)圖結(jié)構(gòu)數(shù)據(jù)的框架，該模型利用了潛在變量學(xué)習(xí)無(wú)向圖的潛在表示，在鏈接預(yù)測(cè)任務(wù)上取得了較好的效果。Pan 等人[104]提出的ARGA（adversarially regularized graph autoencoder）和ARVGA 算法將生成對(duì)抗網(wǎng)絡(luò)（generative adversarial network，GAN）加入到GAT 中。網(wǎng)絡(luò)主要分為三部分：編碼器（生成）、解碼器和判定器。判定器的任務(wù)就是訓(xùn)練一個(gè)二分類器，使它能夠判別模型的輸入到底是真實(shí)分布還是虛假分布。而編碼部分則作為生成，其目的是要騙過(guò)判定器，由此循環(huán)迭代，就使得編碼器的輸出能夠盡可能地接近真實(shí)分布。

2.3.2 基于圖生成的圖自編碼方法

基于圖生成的圖自動(dòng)編碼方法是在給定一組觀察到的圖的情況下，使用圖神經(jīng)網(wǎng)絡(luò)來(lái)表示圖的節(jié)點(diǎn)和邊之間的依賴關(guān)系生成新的圖，構(gòu)建圖生成模型。在自然語(yǔ)言處理中，生成語(yǔ)義圖或知識(shí)圖譜通常以給定的句子為條件，生成新的圖。通過(guò)將給定條件下的新生成圖與原圖進(jìn)行對(duì)比，即可開(kāi)展知識(shí)推理的知識(shí)補(bǔ)全任務(wù)，如實(shí)體分類、關(guān)系預(yù)測(cè)等。通過(guò)設(shè)計(jì)合理的推薦條件或問(wèn)答條件，新生成的圖可用于開(kāi)展知識(shí)推理的知識(shí)推薦和知識(shí)問(wèn)答任務(wù)[136]。利用網(wǎng)絡(luò)嵌入的圖自編碼方法開(kāi)展知識(shí)推理的典型方法包括DGMG（deep generative models of graphs）[105]、GraphRNN（graph recurrent neural network）[137]、NetGAN（generating graphs via random walk）[106]和M2GNN（mixed-curvature multi-relational graph neural network）[107]等（表10）。

表10 基于圖生成的圖自編碼網(wǎng)絡(luò)的知識(shí)推理算法Table 10 Graph generation based graph auto-encoders networks KG reasoning algorithms

Li 等人[105]提出了DGMG，利用基于空間的卷積圖神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)對(duì)現(xiàn)有圖的隱藏表示。DGMG 生成節(jié)點(diǎn)和邊的決策過(guò)程是以整個(gè)圖的表示為基礎(chǔ)的，具體取決于由RecGNN 更新的生長(zhǎng)圖的節(jié)點(diǎn)狀態(tài)和圖狀態(tài)。DGMG 遞歸地在一個(gè)圖中產(chǎn)生一個(gè)節(jié)點(diǎn)，在添加新節(jié)點(diǎn)后的每一步，DGMG 通過(guò)做出一系列決策來(lái)生成圖，即是否添加節(jié)點(diǎn)、添加哪個(gè)節(jié)點(diǎn)、是否添加邊以及哪個(gè)節(jié)點(diǎn)連接到新節(jié)點(diǎn)，因此，可以利用DGMG 模型開(kāi)展知識(shí)圖譜的節(jié)點(diǎn)分類和鏈接預(yù)測(cè)任務(wù)。You 等人[137]提出的GraphRNN 是兩級(jí)（圖級(jí)和邊級(jí)）循環(huán)神經(jīng)網(wǎng)絡(luò)的深度圖生成模型。圖級(jí)的RNN 每次向節(jié)點(diǎn)序列添加一個(gè)新節(jié)點(diǎn)，而邊級(jí)的RNN 生成一個(gè)二進(jìn)制序列，為新添加的節(jié)點(diǎn)生成邊。Bojchevski等人[106]提出的NetGAN將LSTM（long short-term memory network）與Wasserstein-GAN 結(jié)合在一起，使用基于隨機(jī)行走的方法來(lái)捕獲圖的拓?fù)浣Y(jié)構(gòu)（如圖10）。GAN 框架由兩個(gè)模塊組成，一個(gè)生成器和一個(gè)鑒別器。生成器盡最大努力在LSTM 網(wǎng)絡(luò)中生成合理的隨機(jī)行走序列，而鑒別器則試圖區(qū)分偽造的隨機(jī)行走序列和真實(shí)的隨機(jī)行走序列。訓(xùn)練完成后，對(duì)一組隨機(jī)行走中節(jié)點(diǎn)的共現(xiàn)矩陣進(jìn)行正則化，可以得到一個(gè)新的圖，可以用于知識(shí)圖譜的鏈接預(yù)測(cè)任務(wù)。

圖10 NetGAN 模型Fig.10 NetGAN model

2.4 基于時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)STGNN的知識(shí)推理

一般的GCN 方法可以較好地捕捉知識(shí)圖譜中節(jié)點(diǎn)之間的連接關(guān)系，保留網(wǎng)絡(luò)中的空間關(guān)系的信息，但缺乏捕捉時(shí)間關(guān)系的能力。時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)（STGNN）[109]將卷積圖神經(jīng)網(wǎng)絡(luò)擴(kuò)展到時(shí)空?qǐng)D模型，旨在從時(shí)空?qǐng)D中學(xué)習(xí)隱藏模式，其基本假設(shè)是節(jié)點(diǎn)的未來(lái)信息取決于其歷史信息及其鄰接的歷史信息，其核心思想是同時(shí)考慮空間依賴和時(shí)間依賴。時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)中的空間依賴關(guān)系即對(duì)應(yīng)知識(shí)圖譜的拓?fù)浣Y(jié)構(gòu)信息，時(shí)間依賴即對(duì)應(yīng)知識(shí)圖譜的時(shí)序信息，節(jié)點(diǎn)的信息即為實(shí)體屬性信息。例如，在交通網(wǎng)絡(luò)中，每個(gè)傳感器連續(xù)記錄道路的交通速度作為頂點(diǎn)，傳感器對(duì)之間的距離作為交通網(wǎng)絡(luò)的邊。將交通網(wǎng)絡(luò)看作一個(gè)時(shí)序知識(shí)圖譜，節(jié)點(diǎn)的屬性即為路口的交通速度，邊即表示不同路口的距離信息，節(jié)點(diǎn)的屬性隨時(shí)間的變化而變化，也會(huì)受其他節(jié)點(diǎn)和邊的影響。

傳統(tǒng)時(shí)序知識(shí)圖譜推理往往是對(duì)一般知識(shí)推理模型的擴(kuò)展，將時(shí)間信息嵌入到關(guān)系信息中，這些方法往往很難捕獲遠(yuǎn)距離依賴關(guān)系，對(duì)潛在實(shí)體和關(guān)系的表現(xiàn)較差，也難以有效編碼時(shí)序知識(shí)圖譜復(fù)雜的時(shí)空關(guān)系?；跁r(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)的時(shí)空預(yù)測(cè)方法，通過(guò)將節(jié)點(diǎn)在圖結(jié)構(gòu)上進(jìn)行時(shí)空關(guān)系的模擬，較好地保留了圖數(shù)據(jù)的空間關(guān)系（拓?fù)浣Y(jié)構(gòu)）和時(shí)間關(guān)系，與時(shí)序知識(shí)圖譜的知識(shí)推理任務(wù)不謀而合，在復(fù)雜的空間關(guān)系中，能取得比傳統(tǒng)方法更好的預(yù)測(cè)效果。

圖11 描述了一種時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)模型，圖卷積層后是一維CNN 層。圖卷積層對(duì)時(shí)序知識(shí)圖譜A進(jìn)行運(yùn)算捕捉知識(shí)的空間相關(guān)性（圖數(shù)據(jù)的拓?fù)浣Y(jié)構(gòu)關(guān)系），一維CNN 層沿著時(shí)間軸變化來(lái)捕捉知識(shí)的時(shí)間相關(guān)性。輸出層通過(guò)多層感知機(jī)的線性變換，為每一個(gè)節(jié)點(diǎn)生成預(yù)測(cè)，比如下個(gè)時(shí)間步長(zhǎng)內(nèi)的節(jié)點(diǎn)值，進(jìn)而可以有效開(kāi)展時(shí)序知識(shí)圖譜的知識(shí)推理任務(wù)。目前，利用時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)主要集中在開(kāi)展知識(shí)發(fā)現(xiàn)相關(guān)任務(wù)，較多的時(shí)序知識(shí)圖譜推理任務(wù)主要集中在基于時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)的交通流預(yù)測(cè)以及軍事領(lǐng)域，未來(lái)也一定會(huì)擴(kuò)展到更多領(lǐng)域。

圖11 時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)模型Fig.11 Spatial-temporal graph neural networks model

基于時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)開(kāi)展知識(shí)推理的典型方法包括DCRNN（diffusion convolutional recurrent neural network）[108]、ST-GCN（spatio-temporal graph convolutional network）[109]、GWN（graph wavenet）[110]、T-GCN（temporal graph convolutional network）[138]、GCRN（graph convolutional recurrent network）[139]、ASTGCN（attention based spatial-temporal graph convolutional network）[140]、MTGNN（multivariate time series forecasting with graph neural network）[141]和TFGAN（traffic forecasting using generative adversarial network）[112]等（表11）。Wu 等人[110]提出了一種新的用于時(shí)空?qǐng)D建模的圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)GWN。它可以自適應(yīng)依賴矩陣并通過(guò)節(jié)點(diǎn)嵌入進(jìn)行學(xué)習(xí)，故可以捕獲數(shù)據(jù)中隱藏的空間依賴。GWN 具有一個(gè)堆疊的可擴(kuò)展的一維卷積組件，整個(gè)框架以端到端的方式學(xué)習(xí)，其感受野隨著層數(shù)的增加呈指數(shù)增長(zhǎng)，能夠有效處理大型時(shí)序知識(shí)圖譜。T-GCN 圖形卷積網(wǎng)絡(luò)除了能夠捕獲交通信息和屬性之間的知識(shí)結(jié)構(gòu)和語(yǔ)義關(guān)系之外，還能夠捕獲交通的時(shí)空特征。

表11 基于時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)的知識(shí)推理算法Table 11 Spatial-temporal graph neural networks based KG reasoning algorithms

圖卷積網(wǎng)絡(luò)用于捕獲道路網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，以對(duì)空間依賴性進(jìn)行建模。門(mén)控遞歸單元用于捕獲道路上交通數(shù)據(jù)的動(dòng)態(tài)變化，以模擬時(shí)間相關(guān)性。受最近生成對(duì)抗網(wǎng)絡(luò)（GAN）和圖卷積網(wǎng)絡(luò)（GCN）在處理非歐數(shù)據(jù)方面發(fā)展的啟發(fā)，Khaled 等人[112]提出了一種對(duì)抗多卷積圖神經(jīng)網(wǎng)絡(luò)模型，命名為T(mén)FGAN（如圖12）。圖12（a）為T(mén)FGAN 生成器結(jié)構(gòu)，圖12（b）為T(mén)FGAN 判別器結(jié)構(gòu)，圖12（c）為T(mén)FGAN 模型框架。TFGAN 模型將非監(jiān)督模型的彈性優(yōu)勢(shì)與監(jiān)督訓(xùn)練提供的監(jiān)督優(yōu)勢(shì)相結(jié)合，以幫助GAN 生成器模型生成準(zhǔn)確的流量預(yù)測(cè)。為了改進(jìn)表示并有效地對(duì)隱式相關(guān)性建模，在生成器內(nèi)構(gòu)建多個(gè)GCN。同時(shí)，在每個(gè)圖之后應(yīng)用GRU 和自我注意力機(jī)制來(lái)捕獲跨節(jié)點(diǎn)的動(dòng)態(tài)時(shí)間依賴性。該算法對(duì)六個(gè)真實(shí)世界的交通數(shù)據(jù)集的三個(gè)交通變量（交通流量、速度和旅行時(shí)間）進(jìn)行實(shí)驗(yàn)，結(jié)果表明，TFGAN 優(yōu)于相關(guān)的最新模型，并取得了顯著的推理效果。

圖12 TFGAN 網(wǎng)絡(luò)模型Fig.12 TFGAN network model

3 基于圖神經(jīng)網(wǎng)絡(luò)知識(shí)推理的應(yīng)用

描述常識(shí)和事實(shí)的知識(shí)圖譜是學(xué)術(shù)界和工業(yè)界廣泛使用的知識(shí)表示方式，采用圖構(gòu)建知識(shí)和數(shù)據(jù)之間的關(guān)聯(lián)，是一種直接且有效的將知識(shí)和數(shù)據(jù)結(jié)合的方式。受益于圖神經(jīng)網(wǎng)絡(luò)技術(shù)在信息傳播和推理上的優(yōu)勢(shì)，知識(shí)圖譜中的先驗(yàn)知識(shí)被有效地引入到應(yīng)用任務(wù)中。知識(shí)圖譜是互聯(lián)網(wǎng)世界的數(shù)據(jù)基石，其高效的數(shù)據(jù)整合能力和數(shù)據(jù)關(guān)聯(lián)能力使其在眾多領(lǐng)域展示出越來(lái)越豐富的實(shí)際應(yīng)用價(jià)值。目前，基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)推理技術(shù)主要集中在常用的FB15K、YAGO、WN18、NELL-995、Cora、Citeseer、Pubmed、BlogCatalog 等知識(shí)圖譜數(shù)據(jù)集上開(kāi)展，但也逐漸應(yīng)用于醫(yī)療、智能制造、軍事、交通、金融風(fēng)險(xiǎn)等眾多生產(chǎn)生活實(shí)際領(lǐng)域中。

3.1 醫(yī)學(xué)領(lǐng)域

在醫(yī)學(xué)領(lǐng)域，隨著醫(yī)學(xué)信息系統(tǒng)和醫(yī)學(xué)大數(shù)據(jù)的發(fā)展，醫(yī)院積累了海量的醫(yī)療數(shù)據(jù)，如何從這些異構(gòu)數(shù)據(jù)中篩選提煉信息，并加以整合、共享及應(yīng)用，是推進(jìn)智能醫(yī)療的關(guān)鍵問(wèn)題。Vretinaris 等人[142]對(duì)圖神經(jīng)網(wǎng)絡(luò)（GNN）模型進(jìn)行了改進(jìn)，將來(lái)自醫(yī)學(xué)知識(shí)庫(kù)的領(lǐng)域知識(shí)引入到查詢圖中，并在負(fù)采樣過(guò)程引入了生成對(duì)抗網(wǎng)絡(luò)（GAN），以避免梯度消失的問(wèn)題，從而獲得更好的性能，有效解決了醫(yī)學(xué)領(lǐng)域的實(shí)體分類和實(shí)體消岐問(wèn)題；Agrawal 等人[143]利用R-GCN[94]模型作為編碼器，并使用張量分解作為解碼器，使用知識(shí)圖譜推理的方法來(lái)推斷藥物-蛋白質(zhì)、蛋白質(zhì)-蛋白質(zhì)、藥物-藥物、藥物-副作用等方面的相互作用；Ioannidis等人[144]將蛋白質(zhì)函數(shù)預(yù)測(cè)看作多關(guān)系圖上的半監(jiān)督學(xué)習(xí)任務(wù)，并采用圖神經(jīng)網(wǎng)絡(luò)（GNN）方法進(jìn)行求解，利用圖神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了蛋白質(zhì)功能預(yù)測(cè)任務(wù)。

目前，基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)圖譜推理在醫(yī)學(xué)領(lǐng)域的探索和工作還不夠深入。文獻(xiàn)[7]總結(jié)了醫(yī)學(xué)知識(shí)推理目前面對(duì)的一些挑戰(zhàn)和重要問(wèn)題，并展望了其發(fā)展前景和研究趨勢(shì)，推進(jìn)知識(shí)圖譜、知識(shí)推理在醫(yī)療領(lǐng)域尤其是臨床決策支持[5]、醫(yī)療智能語(yǔ)義檢索[6]、醫(yī)療推薦[145]等方面的應(yīng)用已成為了人們迫切的需求。

3.2 智能制造領(lǐng)域

在智能制造領(lǐng)域，數(shù)據(jù)和知識(shí)是實(shí)現(xiàn)制造業(yè)與新一代信息技術(shù)融合的基礎(chǔ)，是實(shí)現(xiàn)智能制造的保障。知識(shí)圖譜本質(zhì)上是基于語(yǔ)義網(wǎng)絡(luò)的思想，可以實(shí)現(xiàn)對(duì)現(xiàn)實(shí)世界的事物及其相互關(guān)系的形式化描述。該技術(shù)為智能制造領(lǐng)域數(shù)據(jù)及知識(shí)的關(guān)聯(lián)性表達(dá)和相關(guān)性搜索推理問(wèn)題的解決帶來(lái)了可能性[9]。由于知識(shí)圖譜具有強(qiáng)大的知識(shí)表示和推理能力，知識(shí)推理作為流程工業(yè)知識(shí)處理的重要環(huán)節(jié)一直備受關(guān)注[146]。黃超[147]利用Graph SAGE 結(jié)合多頭注意力機(jī)制方法開(kāi)展知識(shí)推理任務(wù)，完成了石墨烯知識(shí)圖譜補(bǔ)全和關(guān)系預(yù)測(cè)等任務(wù)。Ma等人[148]探索了電子自動(dòng)化設(shè)計(jì)（electronic design automation，EDA）中應(yīng)用R-GCN[94]的場(chǎng)景，利用知識(shí)圖譜推理技術(shù)提升智能化管理水平?；趫D時(shí)空神經(jīng)網(wǎng)絡(luò)的知識(shí)推理對(duì)于智能制造的人機(jī)協(xié)同交互、物流配送、在線監(jiān)控等方面也有較好的契合，未來(lái)定將在智能制造中扮演著越來(lái)越重要的角色。

3.3 軍事領(lǐng)域

構(gòu)建基于軍事信息庫(kù)的知識(shí)圖譜，可以為作戰(zhàn)指揮人員提供更加精確的情報(bào)，極大地提高部隊(duì)作戰(zhàn)效率。基于軍事知識(shí)圖譜，建立軍事武器問(wèn)答系統(tǒng)和聯(lián)合作戰(zhàn)信息服務(wù)系統(tǒng)，可以實(shí)現(xiàn)軍事輔助決策[149]。張清輝等人[150]定義了模型中概念之間的語(yǔ)義關(guān)系和時(shí)序關(guān)系，提出了軍事信息服務(wù)知識(shí)推理方法，為任務(wù)驅(qū)動(dòng)的軍事信息服務(wù)領(lǐng)域知識(shí)的推理提供了理論基礎(chǔ)。隨著信息化戰(zhàn)爭(zhēng)加速向智能化戰(zhàn)爭(zhēng)演化，如何系統(tǒng)規(guī)范地存儲(chǔ)和表示作戰(zhàn)知識(shí)，使無(wú)人系統(tǒng)能夠根據(jù)高層任務(wù)指令自主完成任務(wù)規(guī)劃，并基于不斷更新的戰(zhàn)場(chǎng)知識(shí)進(jìn)行重規(guī)劃和智能決策，也是一個(gè)新的研究領(lǐng)域[151]。未來(lái)，軍事知識(shí)圖譜以及高效能的知識(shí)推理技術(shù)能夠提供大規(guī)模自主知識(shí)約束空間內(nèi)的解決方案及智慧指揮決策解決方案，在虛擬情報(bào)參謀、隱含知識(shí)發(fā)現(xiàn)、情報(bào)智能關(guān)聯(lián)等場(chǎng)景中發(fā)揮重要作用，提升部隊(duì)作戰(zhàn)能力。

3.4 交通領(lǐng)域

隨著時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)（STGNN）的快速發(fā)展，將圖卷積網(wǎng)絡(luò)擴(kuò)展到時(shí)空?qǐng)D模型，能從時(shí)空?qǐng)D中學(xué)習(xí)隱藏模式[109-110,141]。交通知識(shí)圖譜可以實(shí)現(xiàn)交通流量分析建模、航空交通管理以及公共場(chǎng)景挖掘等。交通知識(shí)圖譜可以實(shí)現(xiàn)同乘人員識(shí)別提取、公交站點(diǎn)群出行量和運(yùn)力挖掘、最大公交客流提取識(shí)別、線路站點(diǎn)上下車客流提取等，為公共交通領(lǐng)域提供了有效的決策和參考?；跁r(shí)序知識(shí)圖譜和時(shí)空模型，有學(xué)者提出了動(dòng)態(tài)時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)的知識(shí)推理。例如，文獻(xiàn)[152]設(shè)計(jì)了一個(gè)動(dòng)態(tài)圖遞歸卷積神經(jīng)網(wǎng)絡(luò)（dynamic graph recurrent convolutional neural network，Dynamic-GRCNN）用于城市交通客流量的預(yù)測(cè)任務(wù)。動(dòng)態(tài)自我注意力網(wǎng)絡(luò)（dynamic self-attention network，DySAT）[153]在結(jié)構(gòu)鄰域和時(shí)間動(dòng)力學(xué)兩個(gè)維度聯(lián)合自我注意力來(lái)生成動(dòng)態(tài)節(jié)點(diǎn)表示，實(shí)現(xiàn)了鏈路預(yù)測(cè)的功能?；趧?dòng)態(tài)時(shí)空?qǐng)D神經(jīng)演化的圖卷積網(wǎng)絡(luò)（evolving graph convolutional network，EvolveGCN）[154]模型，使用RNN 演化GNN 參數(shù)來(lái)捕獲圖序列的動(dòng)態(tài)性。其將時(shí)間信息引入交通領(lǐng)域知識(shí)圖譜[111-112,142]，并融合深度學(xué)習(xí)技術(shù)，整合多源數(shù)據(jù)的語(yǔ)義相關(guān)性，實(shí)現(xiàn)更貼合需求的智能化知識(shí)服務(wù)模型，在交通預(yù)測(cè)時(shí)空知識(shí)推理上將大有可為。

3.5 其他領(lǐng)域

除此以外，知識(shí)圖譜在教育、通信等領(lǐng)域也有廣泛應(yīng)用，比如學(xué)科問(wèn)答機(jī)器人、通信故障定位分析、網(wǎng)絡(luò)安全監(jiān)測(cè)等。趙振兵等人[155]運(yùn)用基于門(mén)控圖神經(jīng)網(wǎng)絡(luò)（GGNN）[90]的知識(shí)圖譜推理，完成了輸電線路螺栓缺陷分類任務(wù)。Wang 等人[156]將知識(shí)推理與圖像識(shí)別相結(jié)合，探討了一個(gè)有趣的社交關(guān)系推理問(wèn)題。該方法訓(xùn)練了一個(gè)圖推理模型（graph reasoning model，GRM），該模型結(jié)合GGNN[90]可以對(duì)照片中人物的社會(huì)關(guān)系進(jìn)行推理。另外，一種新的模型SRGNN（session-based recommendation with graph neural networks）[157]將會(huì)話序列建模為有向會(huì)話圖，通過(guò)門(mén)控圖神經(jīng)網(wǎng)絡(luò)獲得每個(gè)圖中所有節(jié)點(diǎn)的潛在向量。接著，每個(gè)會(huì)話用一個(gè)注意力網(wǎng)絡(luò)表示為全局偏好和當(dāng)前興趣的組合，最后預(yù)測(cè)每個(gè)項(xiàng)目在一次會(huì)話中成為下次點(diǎn)擊的概率。從知識(shí)圖譜應(yīng)用發(fā)展趨勢(shì)來(lái)看，當(dāng)前正值通用知識(shí)圖譜應(yīng)用轉(zhuǎn)向領(lǐng)域知識(shí)圖譜應(yīng)用的階段。目前，大規(guī)模知識(shí)圖譜在智能語(yǔ)義搜索、知識(shí)問(wèn)答、演化分析、對(duì)話理解等方面的應(yīng)用處于初級(jí)階段，潛在應(yīng)用領(lǐng)域廣泛，推廣前景廣闊[130]。

4 總結(jié)與展望

4.1 總結(jié)

知識(shí)圖譜推理的核心是針對(duì)三元組中的實(shí)體和關(guān)系進(jìn)行預(yù)測(cè)，因此，需要對(duì)圖數(shù)據(jù)的結(jié)構(gòu)信息以及實(shí)體的屬性信息進(jìn)行表示，進(jìn)而開(kāi)展推理任務(wù)。GNN 依靠其強(qiáng)大的點(diǎn)和邊來(lái)對(duì)非歐幾里德數(shù)據(jù)建模，高效地解決了在實(shí)際應(yīng)用中遇到的圖結(jié)構(gòu)數(shù)據(jù)問(wèn)題。圖神經(jīng)網(wǎng)絡(luò)可以很好地學(xué)習(xí)知識(shí)圖譜中的節(jié)點(diǎn)信息、節(jié)點(diǎn)間關(guān)系信息以及全局結(jié)構(gòu)信息，本文分別從遞歸圖神經(jīng)網(wǎng)絡(luò)、卷積圖神經(jīng)網(wǎng)絡(luò)、圖自編碼網(wǎng)絡(luò)和時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)等方面對(duì)基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)推理的研究進(jìn)行了綜述，介紹了各類圖神經(jīng)網(wǎng)絡(luò)的原理、特點(diǎn)及優(yōu)勢(shì)，并就基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)推理在醫(yī)學(xué)、智能制造、軍事、交通等領(lǐng)域的應(yīng)用進(jìn)行了歸納。

基于RecGNN 的知識(shí)推理通過(guò)不斷地迭代傳播鄰接節(jié)點(diǎn)信息，得到圖譜中節(jié)點(diǎn)的最終表示，進(jìn)而開(kāi)展知識(shí)推理。相比傳統(tǒng)算法，模型同時(shí)考慮知識(shí)圖譜的語(yǔ)義信息和結(jié)構(gòu)信息，具備更好的可解釋性和更強(qiáng)的推理能力；但由于在每個(gè)時(shí)間步都需要展開(kāi)圖中所有的節(jié)點(diǎn)，使得模型的收斂速度和效率較差?；贑onvGNN 的知識(shí)推理通過(guò)中心節(jié)點(diǎn)與鄰接節(jié)點(diǎn)之間的卷積來(lái)表示節(jié)點(diǎn)間信息。模型可以通過(guò)節(jié)點(diǎn)采樣技術(shù)提高效率；通過(guò)注意力機(jī)制可實(shí)現(xiàn)鄰域?qū)χ行呢暙I(xiàn)程度的自適應(yīng)調(diào)節(jié)，實(shí)現(xiàn)了在大型知識(shí)圖譜上開(kāi)展推理任務(wù)；但淺層的網(wǎng)絡(luò)結(jié)構(gòu)往往使得推理的能力受到限制，不同模型的泛化能力也相對(duì)較差?；贕AE 的知識(shí)推理利用多層感知機(jī)作為編碼器，以獲得節(jié)點(diǎn)的低維表示，然后利用解碼器重構(gòu)節(jié)點(diǎn)的鄰域信息，進(jìn)而開(kāi)展知識(shí)推理任務(wù)；但受限于無(wú)監(jiān)督學(xué)習(xí)的應(yīng)用場(chǎng)景，整體性能有待提升?；赟TGNN 的知識(shí)推理引入了時(shí)間序列特征，同時(shí)考慮知識(shí)圖譜的空間信息（結(jié)構(gòu)信息）和時(shí)序信息，可用于開(kāi)展時(shí)序知識(shí)圖譜推理任務(wù)。但模型復(fù)雜程度較高，且在時(shí)間序列中的應(yīng)用效果有待提升。

總體而言，基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)推理可以較好地將知識(shí)圖譜語(yǔ)義信息和結(jié)構(gòu)信息同時(shí)考慮，尤其是能夠捕捉知識(shí)圖譜的結(jié)構(gòu)信息。圖神經(jīng)網(wǎng)絡(luò)的信息傳播機(jī)制相較傳統(tǒng)深度學(xué)習(xí)模型更具有可解釋性，利用圖神經(jīng)網(wǎng)絡(luò)模型在知識(shí)圖譜中實(shí)現(xiàn)知識(shí)推理，從而顯式地生成基于知識(shí)圖譜的推理路徑，或許可以期待打開(kāi)深度學(xué)習(xí)的黑盒。

4.2 展望

未來(lái)面向圖神經(jīng)網(wǎng)絡(luò)的知識(shí)推理方法仍將以各類知識(shí)圖譜下游任務(wù)作為依托，可應(yīng)用到眾多場(chǎng)景中。與此同時(shí)，知識(shí)推理需要向自動(dòng)化、智能化發(fā)展，需要關(guān)注大規(guī)模（時(shí)序）知識(shí)圖譜中知識(shí)推理的可擴(kuò)展性，大數(shù)據(jù)流處理中的推理效率、自動(dòng)或半自動(dòng)的推理實(shí)現(xiàn)。最后從以下幾個(gè)重點(diǎn)技術(shù)展望未來(lái)基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)推理的發(fā)展前景。

一是融合多源信息和多種方法的知識(shí)推理技術(shù)。隨著文本、視頻、音頻數(shù)據(jù)的大量出現(xiàn)，眾多知識(shí)以不同的形式被表達(dá)，因此基于多模態(tài)的知識(shí)推理技術(shù)將應(yīng)運(yùn)而生。從不同類型的數(shù)據(jù)中推理獲得關(guān)聯(lián)更符合客觀世界規(guī)律的模型，也更容易被各類工業(yè)任務(wù)所應(yīng)用。融合基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)推理與其他方法的知識(shí)推理，通過(guò)在更深層次混合，實(shí)現(xiàn)優(yōu)勢(shì)互補(bǔ)，提升推理性能將成為未來(lái)研究的熱點(diǎn)。

二是動(dòng)態(tài)知識(shí)推理技術(shù)。目前，GNN 處理的圖結(jié)構(gòu)基本上都是靜態(tài)圖，基于時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)模型雖然能處理時(shí)序知識(shí)圖譜，目前針對(duì)GNN 處理動(dòng)態(tài)圖結(jié)構(gòu)的研究還比較少。傳統(tǒng)基于靜態(tài)圖譜的推理技術(shù)不能很好地表達(dá)時(shí)序信息，在眾多工業(yè)應(yīng)用場(chǎng)景中無(wú)法進(jìn)行動(dòng)態(tài)建模，也無(wú)法對(duì)時(shí)序信息進(jìn)行處理。隨著算力水平的提升，利用圖時(shí)空神經(jīng)網(wǎng)絡(luò)，將時(shí)序信息加入知識(shí)推理技術(shù)將逐漸成為未來(lái)研究方向之一。

三是面向大規(guī)模知識(shí)圖譜的快速推理。信息時(shí)代，隨著數(shù)據(jù)的增長(zhǎng)，知識(shí)圖譜的規(guī)模越來(lái)越大將成為未來(lái)的發(fā)展趨勢(shì)，致使圖中的節(jié)點(diǎn)數(shù)量變得巨大，這就給圖神經(jīng)網(wǎng)絡(luò)的計(jì)算帶來(lái)了不小的挑戰(zhàn)。因此，如何充分發(fā)揮圖神經(jīng)網(wǎng)絡(luò)在知識(shí)推理中快速捕捉語(yǔ)義和結(jié)構(gòu)信息的優(yōu)勢(shì)，優(yōu)化推理模型，提高推理速度，擴(kuò)展到大規(guī)模知識(shí)圖譜，保證推理的時(shí)效性，將成為未來(lái)需要致力解決的問(wèn)題。針對(duì)將圖神經(jīng)網(wǎng)絡(luò)應(yīng)用到大規(guī)模圖上的研究同樣是將來(lái)研究的熱點(diǎn)問(wèn)題，在這方面，引入摘要數(shù)據(jù)結(jié)構(gòu)，構(gòu)造局部圖數(shù)據(jù)，并能適當(dāng)?shù)厝诤暇植繄D結(jié)構(gòu)，形成整體圖神經(jīng)網(wǎng)絡(luò)的表示是可能的途徑之一。

四是開(kāi)發(fā)有效的深度圖神經(jīng)網(wǎng)絡(luò)。GNN 的本質(zhì)是通過(guò)聚合鄰接節(jié)點(diǎn)信息來(lái)表征中心節(jié)點(diǎn)，現(xiàn)有的圖神經(jīng)網(wǎng)絡(luò)模型大多還是只限于淺層的結(jié)構(gòu)。一般來(lái)講，深度圖神經(jīng)網(wǎng)絡(luò)能更加捕獲知識(shí)圖譜的全局信息和結(jié)構(gòu)信息，但當(dāng)構(gòu)造多層的神經(jīng)網(wǎng)絡(luò)之后，中心節(jié)點(diǎn)和鄰接節(jié)點(diǎn)的差異就會(huì)變得微乎其微，實(shí)驗(yàn)結(jié)果反而變差，這是由過(guò)平滑現(xiàn)象造成的。如何解決深度圖神經(jīng)網(wǎng)絡(luò)過(guò)平滑現(xiàn)象，使圖神經(jīng)網(wǎng)絡(luò)能夠應(yīng)用于更多層的結(jié)構(gòu)，從而發(fā)揮出深度學(xué)習(xí)與圖神經(jīng)網(wǎng)絡(luò)的強(qiáng)大優(yōu)勢(shì)，構(gòu)建更深的圖神經(jīng)網(wǎng)絡(luò)模型仍是值得深入研究的問(wèn)題。

五是挖掘和探索知識(shí)圖譜中更多有用的信息。在當(dāng)前對(duì)于圖神經(jīng)網(wǎng)絡(luò)模型的研究中，諸多學(xué)者將較多的精力放在了圖數(shù)據(jù)中節(jié)點(diǎn)之間有無(wú)連接這一拓?fù)浣Y(jié)構(gòu)信息（即知識(shí)圖譜關(guān)系信息）。但知識(shí)圖譜除了節(jié)點(diǎn)間關(guān)系信息，里面還涉及較多的實(shí)體信息、實(shí)體屬性信息，以及距離中心節(jié)點(diǎn)的遠(yuǎn)近不同的關(guān)系信息對(duì)中心節(jié)點(diǎn)的影響程度等。如果能夠探索出知識(shí)圖譜中更多有用信息的表示和利用，必會(huì)將基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)推理性能提升一個(gè)層次。

六是圖神經(jīng)網(wǎng)絡(luò)的工業(yè)落地。當(dāng)前基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)圖譜研究大多還只停留在理論層面，亦或者在實(shí)驗(yàn)數(shù)據(jù)集、公開(kāi)知識(shí)圖譜數(shù)據(jù)等進(jìn)行測(cè)試驗(yàn)證，實(shí)際應(yīng)用還非常有限。雖然基于圖神經(jīng)網(wǎng)絡(luò)的知識(shí)推理在部分領(lǐng)域（如醫(yī)學(xué)領(lǐng)域、智能制造領(lǐng)域、軍事領(lǐng)域、交通領(lǐng)域等）已有一小部分的實(shí)際應(yīng)用，但遠(yuǎn)沒(méi)有達(dá)到大規(guī)模應(yīng)用的程度。任何研究只有真正地在工業(yè)界落地，才能發(fā)揮它的應(yīng)用價(jià)值，反之也會(huì)促進(jìn)其進(jìn)一步的研究發(fā)展。盡快將圖神經(jīng)網(wǎng)絡(luò)應(yīng)用到實(shí)際的工業(yè)場(chǎng)景中是一個(gè)亟需解決的問(wèn)題。