王健宗，孔令煒，黃章成，肖 京

（平安科技（深圳）有限公司聯(lián)邦學(xué)習(xí)技術(shù)部，廣東深圳 518063）

0 概述

近年來，深度學(xué)習(xí)技術(shù)逐漸成為人工智能領(lǐng)域的研究熱點(diǎn)和主流發(fā)展方向，主要應(yīng)用于高維特征規(guī)則分布的非歐幾里德數(shù)據(jù)處理中，并且在圖像處理、語音識別和語義理解［1］等領(lǐng)域取得了顯著成果。圖的概念起源于18 世紀(jì)著名的柯尼斯堡七橋問題，到20 世紀(jì)中期擬陣?yán)碚?、超圖理論和極圖理論等研究蓬勃發(fā)展，使得圖論［2］在電子計(jì)算誕生前已成為重要的數(shù)學(xué)研究領(lǐng)域。作為一種關(guān)系型數(shù)據(jù)結(jié)構(gòu)，圖在深度學(xué)習(xí)中的應(yīng)用在近年來受到越來越多的關(guān)注，圖的演進(jìn)歷程被分為數(shù)學(xué)起源、計(jì)算應(yīng)用和神經(jīng)網(wǎng)絡(luò)延伸3 個(gè)階段。隨著計(jì)算機(jī)的出現(xiàn)和機(jī)器計(jì)算時(shí)代的到來和發(fā)展，圖作為一種能夠有效且抽象地表達(dá)信息和數(shù)據(jù)中的實(shí)體以及實(shí)體之間關(guān)系的重要數(shù)據(jù)結(jié)構(gòu)得到了廣泛應(yīng)用，圖數(shù)據(jù)庫有效解決了傳統(tǒng)的關(guān)系型數(shù)據(jù)結(jié)構(gòu)面對大量復(fù)雜數(shù)據(jù)存在的建模缺陷多、計(jì)算速度慢等問題，圖數(shù)據(jù)庫也成為熱門的研究方向。圖結(jié)構(gòu)［3］可以將結(jié)構(gòu)化數(shù)據(jù)點(diǎn)通過邊的形式，依照數(shù)據(jù)間的關(guān)系將不同類型和結(jié)構(gòu)的數(shù)據(jù)節(jié)點(diǎn)相連接，因此被廣泛地應(yīng)用在數(shù)據(jù)存儲、檢索以及計(jì)算中?；趫D結(jié)構(gòu)數(shù)據(jù)，知識圖譜［4-7］可以通過點(diǎn)和邊的語義關(guān)系精確地描述現(xiàn)實(shí)世界中實(shí)體之間的關(guān)聯(lián)關(guān)系，包括知識抽取、知識推理、知識圖譜可視化等研究方向。圖計(jì)算具有數(shù)據(jù)規(guī)模量大、局部性低、計(jì)算性能高等特性，圖計(jì)算算法［8-9］主要分為路徑搜索算法、中心性算法、社群發(fā)現(xiàn)算法3 類，其在關(guān)系復(fù)雜的大規(guī)模數(shù)據(jù)上具有時(shí)效性強(qiáng)和準(zhǔn)確度高的性能表現(xiàn)，并且在社交網(wǎng)絡(luò)、團(tuán)體反欺詐和用戶推薦等領(lǐng)域具有重要的應(yīng)用。

圖神經(jīng)網(wǎng)絡(luò)的研究主要集中于相鄰節(jié)點(diǎn)信息的傳播與聚合。2013 年，BRUNA 等人提出的基于圖論的圖神經(jīng)網(wǎng)絡(luò)［10］和DEFFERRARD 等人提出的頻域圖卷積神經(jīng)網(wǎng)絡(luò)［11］受到了業(yè)界的廣泛關(guān)注。2018年，BATTAGLIA 等人［12］在關(guān)系歸納偏置和深度學(xué)習(xí)技術(shù)的基礎(chǔ)上，提出面向關(guān)系推理的圖網(wǎng)絡(luò)概念，以期將深度學(xué)習(xí)的端到端學(xué)習(xí)方式與圖結(jié)構(gòu)的關(guān)系歸納推理理論相結(jié)合，解決深度學(xué)習(xí)無法處理的關(guān)系推理問題。2019 年，ZHANG 等人［13］從半監(jiān)督和無監(jiān)督角度對基于圖結(jié)構(gòu)的深度學(xué)習(xí)技術(shù)進(jìn)行綜述，ZHOU 等人［14］從傳播規(guī)則和網(wǎng)絡(luò)結(jié)構(gòu)等角度分析圖神經(jīng)網(wǎng)絡(luò)模型及其應(yīng)用，WU 等人［15］對比了時(shí)域和空間域的圖卷神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。針對圖神經(jīng)網(wǎng)絡(luò)存在的其他問題，研究人員給出了很多解決方案，隨著對圖神經(jīng)網(wǎng)絡(luò)領(lǐng)域更加深入的研究與探索，人工智能領(lǐng)域的版圖將得到更大擴(kuò)展。本文分析并比較6 種圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)劣，重點(diǎn)討論基于不同信息聚合方式的圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及5 種圖神經(jīng)網(wǎng)絡(luò)的研究領(lǐng)域，并對未來的發(fā)展方向進(jìn)行展望。

1 圖結(jié)構(gòu)

1.1 圖結(jié)構(gòu)定義

圖神經(jīng)網(wǎng)絡(luò)處理的數(shù)據(jù)是在歐氏空間內(nèi)特征表示為不規(guī)則網(wǎng)絡(luò)的圖結(jié)構(gòu)數(shù)據(jù)，基本的圖結(jié)構(gòu)定義為：

其中，圖G由數(shù)據(jù)節(jié)點(diǎn)集合vi∈V、連接節(jié)點(diǎn)集合eij=(vi,vj)∈E組成，其映射到高維特征空間fG→f*所得到的鄰接矩陣表示為AN×N。

1.2 圖結(jié)構(gòu)分類

對于圖的構(gòu)成而言，可以從空間和時(shí)間兩個(gè)角度出發(fā)進(jìn)行分析。從空間角度，圖結(jié)構(gòu)的變化可以通過節(jié)點(diǎn)和邊進(jìn)行區(qū)分，如邊異構(gòu)的有向圖、權(quán)重圖、邊信息圖及節(jié)點(diǎn)異構(gòu)圖。從時(shí)間角度，引入節(jié)點(diǎn)在時(shí)序變化中的差異形成時(shí)空圖結(jié)構(gòu)。5 種典型的圖結(jié)構(gòu)示例如圖1 所示，不同圖結(jié)構(gòu)的結(jié)構(gòu)特征、圖模型和應(yīng)用場景如表1 所示，具體描述如下：

1）有向圖是指在圖結(jié)構(gòu)中連接節(jié)點(diǎn)之間的邊包含指向性關(guān)系，即節(jié)點(diǎn)之間的關(guān)聯(lián)就包含了方向的傳遞性關(guān)系，對于圖神經(jīng)網(wǎng)絡(luò)而言，這種傳遞關(guān)系和基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)神經(jīng)元中信號傳遞的結(jié)構(gòu)近似，有向圖的輸入是各個(gè)節(jié)點(diǎn)所對應(yīng)的參數(shù)。針對單向圖的處理方式，MATHIAS 等人［16］提出適用于單向圖的無監(jiān)督節(jié)點(diǎn)標(biāo)簽判斷方式。對于有向圖中可能存在的雙向關(guān)系，KAMPFFMEYER 等人［17］提出通過雙向權(quán)重對應(yīng)的雙向鄰接矩陣表示雙向關(guān)系的模型ADGPM，利用知識圖譜解決零樣本學(xué)習(xí)問題，實(shí)現(xiàn)對神經(jīng)網(wǎng)絡(luò)傳遞更多的信息。

2）權(quán)重圖是指圖結(jié)構(gòu)中的邊包含權(quán)重信息，可以有效地描述節(jié)點(diǎn)之間相互作用的可靠程度，定量表示關(guān)系的連接程度。對于權(quán)重圖的處理，DUAN 等人［18］通過對動態(tài)權(quán)重有向圖進(jìn)行歸一化處理，利用節(jié)點(diǎn)之間的關(guān)聯(lián)關(guān)系權(quán)重動態(tài)實(shí)現(xiàn)信息挖掘。

3）邊信息圖是指對于存在不同結(jié)構(gòu)邊的圖結(jié)構(gòu)，節(jié)點(diǎn)之間的關(guān)聯(lián)關(guān)系可以包含權(quán)重、方向以及異構(gòu)的關(guān)系，如在一個(gè)復(fù)雜的社交網(wǎng)絡(luò)圖中，節(jié)點(diǎn)之間的關(guān)聯(lián)關(guān)系既可以是單向的關(guān)注關(guān)系，也可以是雙向的朋友關(guān)系。對于包含復(fù)雜邊信息的圖結(jié)構(gòu)而言，復(fù)雜的關(guān)聯(lián)關(guān)系不能直接通過簡單的權(quán)重約束來表示，BECK 等人［19］提出一種將原始圖轉(zhuǎn)換成二分圖的模型G2S，在處理自然語言處理任務(wù)時(shí)，將每一個(gè)詞節(jié)點(diǎn)之間的關(guān)聯(lián)關(guān)系采用獨(dú)立編碼方式，大幅提升了語義理解效率。

4）節(jié)點(diǎn)異構(gòu)圖是指在圖G中的節(jié)點(diǎn)屬于多個(gè)不同類型的圖結(jié)構(gòu)，這種圖結(jié)構(gòu)通常根據(jù)異構(gòu)節(jié)點(diǎn)類型對節(jié)點(diǎn)進(jìn)行向量表示，也可以通過獨(dú)熱編碼等編碼方式實(shí)現(xiàn)節(jié)點(diǎn)的向量表示。ZHANG 等人［20］提出一種通過元路徑對異構(gòu)圖結(jié)構(gòu)的文本進(jìn)行編碼的方法，該方法根據(jù)異構(gòu)節(jié)點(diǎn)類型對鄰居節(jié)點(diǎn)進(jìn)行分組，適用于節(jié)點(diǎn)分類［21］、文本向量化表示以及相似度搜索等任務(wù)。

5）時(shí)空圖是一種屬性圖結(jié)構(gòu)，其特點(diǎn)是高維特征空間f*中的特征矩陣X會隨時(shí)間變化，本文將其定義為G*=(V，E，A，X)。圖結(jié)構(gòu)隨著時(shí)間序列的引入，可以有效處理包含動態(tài)和時(shí)序關(guān)系類型的任務(wù)，YAN 等人［22］提出一種基于時(shí)空圖卷積神經(jīng)網(wǎng)絡(luò)的骨架運(yùn)動檢測方法，YOU 等人［23］基于視頻標(biāo)簽節(jié)點(diǎn)之間鄰接關(guān)系的相似度，提出一種利用多標(biāo)簽視頻分類的圖神經(jīng)網(wǎng)絡(luò)方法。

圖1 5 種典型的圖結(jié)構(gòu)示例圖Fig.1 Example graphs of five typical graph structures

表1 5 種典型的圖結(jié)構(gòu)對比Table 1 Comparison of five typical graph structures

2 圖神經(jīng)網(wǎng)絡(luò)

圖神經(jīng)網(wǎng)絡(luò)對于非歐幾里德數(shù)據(jù)在深度學(xué)習(xí)中的應(yīng)用具有重要作用，尤其是利用圖結(jié)構(gòu)在傳統(tǒng)貝葉斯因果網(wǎng)絡(luò)上可解釋的特點(diǎn)，對于定義深度神經(jīng)網(wǎng)絡(luò)關(guān)系可推理、因果可解釋的問題有較大的研究意義，因此如何利用深度學(xué)習(xí)技術(shù)對圖結(jié)構(gòu)的數(shù)據(jù)進(jìn)行分析和推理引起了學(xué)者們的廣泛關(guān)注。本文對現(xiàn)有的圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行總結(jié)與歸納，給出一個(gè)通用的圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如圖2 所示，將圖神經(jīng)網(wǎng)絡(luò)推理過程通過圖節(jié)點(diǎn)預(yù)表示、圖節(jié)點(diǎn)采樣、子圖提取、子圖特征融合、圖神經(jīng)網(wǎng)絡(luò)的生成和訓(xùn)練子過程進(jìn)行表示，具體步驟如下：

1）圖節(jié)點(diǎn)預(yù)表示：通過圖嵌入方式對圖中每一個(gè)節(jié)點(diǎn)進(jìn)行嵌入表示。

2）圖節(jié)點(diǎn)采樣：對圖中每個(gè)節(jié)點(diǎn)或存在的節(jié)點(diǎn)對的正負(fù)樣本進(jìn)行采樣。

3）子圖提?。禾崛D中每一個(gè)節(jié)點(diǎn)的鄰節(jié)點(diǎn)構(gòu)建n階子圖，其中n表示第n層的鄰節(jié)點(diǎn)，從而形成通用的子圖結(jié)構(gòu)。

4）子圖特征融合：對每一個(gè)輸入神經(jīng)網(wǎng)絡(luò)的子圖進(jìn)行局部或全局的特征提取。

5）圖神經(jīng)網(wǎng)絡(luò)生成和訓(xùn)練：定義網(wǎng)絡(luò)層數(shù)和輸入輸出參數(shù)，并對圖數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練。

圖2 圖神經(jīng)網(wǎng)絡(luò)通用結(jié)構(gòu)Fig.2 General structure of graph neural networks

本文將從頻域和空間域角度研究圖卷積網(wǎng)絡(luò)（Graph Convolutional Network，GCN），對比多種圖卷積神經(jīng)網(wǎng)絡(luò)［21］的發(fā)展歷程，介紹門控圖神經(jīng)網(wǎng)絡(luò)［24］、圖注意力網(wǎng)絡(luò)［25］、圖自動編碼器網(wǎng)絡(luò)［26］、空圖神經(jīng)網(wǎng)絡(luò)［27］和圖嵌入網(wǎng)絡(luò)［28］的模型結(jié)構(gòu)和實(shí)現(xiàn)方式，并從聚合方式、網(wǎng)絡(luò)結(jié)構(gòu)和應(yīng)用優(yōu)勢的角度對比分析上述圖神經(jīng)網(wǎng)絡(luò)模型的差異。

2.1 圖卷積神經(jīng)網(wǎng)絡(luò)

深度學(xué)習(xí)技術(shù)的流行與卷積神經(jīng)網(wǎng)絡(luò)的廣泛應(yīng)用密不可分，圖卷積神經(jīng)網(wǎng)絡(luò)從特征空間來看可以分為頻域和空間域兩類。圖卷積神經(jīng)網(wǎng)絡(luò)將原始圖結(jié)構(gòu)的數(shù)據(jù)G=(V，E)映射到一個(gè)新的特征空間fG→f*。以單層前向傳播圖卷積神經(jīng)網(wǎng)絡(luò)為例，第i層神經(jīng)網(wǎng)絡(luò)的特征用ωi表示，在計(jì)算圖結(jié)構(gòu)中的每一個(gè)節(jié)點(diǎn)vi時(shí)，每一層神經(jīng)網(wǎng)絡(luò)的輸出Hl+1都可以通過非線性函數(shù)f(?， ?)表示為Hl+1=f(Hl，A)，其中A為特征鄰接矩陣。通過非線性激活函數(shù)ReLU=σ(?)實(shí)現(xiàn)圖卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，其分層傳播規(guī)則如下：

2.1.1 基于頻域的圖卷積神經(jīng)網(wǎng)絡(luò)

頻域的圖卷積神經(jīng)網(wǎng)絡(luò)基于圖信號處理［29］，將圖神經(jīng)網(wǎng)絡(luò)的卷積層定義為一個(gè)濾波器，即通過濾波器去除噪聲信號從而得到輸入信號的分類結(jié)果。在實(shí)際應(yīng)用中只能用于處理無向且邊上無信息的圖結(jié)構(gòu)。將輸入信號的圖定義為可特征分解的拉普拉斯矩陣，進(jìn)行歸一化和特征分解后可以表示為通用結(jié)構(gòu)UAUT，對角矩陣A由特征值λi按序排列組成。BRUNA 等人［10］提出頻域圖卷積神經(jīng)網(wǎng)絡(luò)，并定義卷積層函數(shù)。假設(shè)頻域圖卷積神經(jīng)網(wǎng)絡(luò)為圖信號處理中的濾波器，特征分解需要至少O(n3)的計(jì)算復(fù)雜度和O(n2)的存儲空間，當(dāng)輸入圖數(shù)據(jù)為稀疏矩陣時(shí)，可以通過隨機(jī)特征分解等方法在保證精度的情況下將時(shí)間復(fù)雜度降至O(n2r+r3)，其中r為近似矩陣的秩，遠(yuǎn)小于n。

HENAFF 等人［30］提出基于插值內(nèi)核的圖卷積神經(jīng)網(wǎng)絡(luò)。在頻域卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上構(gòu)建無監(jiān)督和有監(jiān)督推理預(yù)測方案，從圖神經(jīng)網(wǎng)絡(luò)通用結(jié)構(gòu)中可以看出，圖節(jié)點(diǎn)預(yù)表示可以根據(jù)數(shù)據(jù)預(yù)測相似性矩陣，該方法也適用于大規(guī)模圖像和文本分類等問題中。

DEFFERRARD 等人［11］提出基于切比雪夫多項(xiàng)式的頻域卷積濾波器ChebNet，其中切比雪夫多項(xiàng)式是由特征值對角矩陣的項(xiàng)所組成，通過將切比雪夫展開式Ti(x)替換原始GCN 中通用頻域卷積濾波器gθ的特征分解部分，從而有效避免特征分解的計(jì)算部分，將計(jì)算復(fù)雜度從O(n3)降低至O(LE)，其中，E為輸入圖G中邊的數(shù)量，L為多項(xiàng)式階數(shù)且與圖的大小成正比。一階切比雪夫圖卷積神經(jīng)網(wǎng)絡(luò)［27］則是利用一階切比雪夫展開更好地提升了網(wǎng)絡(luò)的計(jì)算效率。針對包含復(fù)雜屬性的節(jié)點(diǎn)異構(gòu)圖，可以通過圖卷積神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)節(jié)點(diǎn)的聚類。為提升屬性圖的信息提取性能和模型效果，ZHANG 等人［31］提出AGC 自適應(yīng)圖卷積方法，利用高階圖卷積獲取全局聚類結(jié)構(gòu)來定義k階圖卷積，從而實(shí)現(xiàn)對于復(fù)雜異質(zhì)圖的處理。

2.1.2 基于空間域的圖卷積神經(jīng)網(wǎng)絡(luò)

與深度學(xué)習(xí)中卷積神經(jīng)網(wǎng)絡(luò)對圖像的像素點(diǎn)進(jìn)行卷積運(yùn)算類似，基于空間的圖卷積神經(jīng)網(wǎng)絡(luò)通過計(jì)算中心單一節(jié)點(diǎn)與鄰節(jié)點(diǎn)之間的卷積來表示鄰節(jié)點(diǎn)間信息的傳遞和聚合，從而生成新的特征域節(jié)點(diǎn)表示。SCARSELLI 等人［32］提出一種利用基于相同圖卷積結(jié)構(gòu)的循環(huán)函數(shù)，遞歸地實(shí)現(xiàn)空間圖卷積神經(jīng)網(wǎng)絡(luò)的收斂方法，該方法可以支持節(jié)點(diǎn)和邊上分別包含特定屬性的異構(gòu)圖，是契合傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)基本思想的方法。DAI 等人［33］提出隨機(jī)穩(wěn)態(tài)圖神經(jīng)網(wǎng)絡(luò)迭代算法SSE，對于每個(gè)擁有不同數(shù)量鄰節(jié)點(diǎn)的節(jié)點(diǎn)，在每次卷積迭代過程中利用雙向權(quán)重矩陣W1、W2更新節(jié)點(diǎn)的特征表示。

隨機(jī)穩(wěn)態(tài)圖神經(jīng)網(wǎng)絡(luò)不支持邊上包含的信息，通過兩個(gè)權(quán)重函數(shù)分別對全部的節(jié)點(diǎn)集合v∈VN和包含信息的節(jié)點(diǎn)集合v∈VM進(jìn)行卷積處理，從而使得圖卷積神經(jīng)網(wǎng)絡(luò)的迭代效率得到提升。圖結(jié)構(gòu)數(shù)據(jù)中的節(jié)點(diǎn)存在極多的關(guān)系導(dǎo)致參數(shù)數(shù)量過多，在此情況下，引入基礎(chǔ)分解和塊對角分解兩種方式可以有效解決過擬合問題。關(guān)系圖卷積神經(jīng)網(wǎng)絡(luò)可以應(yīng)用于以節(jié)點(diǎn)為中心的實(shí)體分類問題和以邊為中心的鏈接預(yù)測問題中。

ATWOOD 等人［34］提出基于圖結(jié)構(gòu)的深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Neural Network，DCNN），通過卷積傳播方式擴(kuò)散性地掃描圖結(jié)構(gòu)中的每一個(gè)頂點(diǎn)，替代了一般圖卷積神經(jīng)網(wǎng)絡(luò)基于矩陣特征的卷積形式，DCNN 的參數(shù)是由搜索深度而不是節(jié)點(diǎn)在圖結(jié)構(gòu)中的位置決定，可以用于節(jié)點(diǎn)、邊以及圖結(jié)構(gòu)等多種分類任務(wù)，但由于計(jì)算轉(zhuǎn)移概率的時(shí)間復(fù)雜度較高，并且不適用于大規(guī)模的圖結(jié)構(gòu)數(shù)據(jù)，因此ZHUANG 等人［35］在傳播和鄰接矩陣兩種卷積結(jié)構(gòu)的基礎(chǔ)上提出一種雙路圖卷積神經(jīng)網(wǎng)絡(luò)，將半監(jiān)督圖卷積［29］和轉(zhuǎn)移概率的正逐點(diǎn)互信息（Positive Pointwise Mutual Information，PPMI）矩陣作為卷積運(yùn)算鄰接矩陣來更好地提升模型的信息抽取效果［36-37］。

表2 從頻域和空間域角度對圖卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分析對比，其中，√表示具備可擴(kuò)展性，×表示不具備可擴(kuò)展性。頻域圖卷積神經(jīng)網(wǎng)絡(luò)主要依賴頻域矩陣的特征分解，對比網(wǎng)絡(luò)包括Spectral Network［26］、ChebNet［29］、1stChebNet［20］、AGCN［38］和AGC［31］，而空間域圖卷積神經(jīng)網(wǎng)絡(luò)主要借助鄰節(jié)點(diǎn)特征信息的聚合來定義圖數(shù)據(jù)上的卷積運(yùn)算，對比網(wǎng)絡(luò)包括GNN［32］、DCNN［34］、MGCN［39］、SSE［33］、DGCN［35］、PinSage［40］、MPNN［37］、GraphSage［36］和Fast-GCN［41］。同時(shí)，關(guān)于圖卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化方式的研究也有很多，針對高階圖卷積在空間域圖卷積中性能較差的問題，引入稀疏鄰域來替代頻域圖卷積的MixHop［42］。

表2 圖卷積神經(jīng)網(wǎng)絡(luò)對比Table 2 Comparison of graph convolutional neural networks

2.2 門控圖神經(jīng)網(wǎng)絡(luò)

目前，基于門控機(jī)制的遞歸神經(jīng)網(wǎng)絡(luò)的研究也得到學(xué)者們的廣泛關(guān)注，例如基于門控循環(huán)單元（Gated Recurrent Unit，GRU）的門控圖神經(jīng)網(wǎng)絡(luò)（Gated Graph Neural Network，GGNN）［43］通過GRU 控制網(wǎng)絡(luò)傳播過程中固定步數(shù)的迭代循環(huán)來實(shí)現(xiàn)GGNN 結(jié)構(gòu)，利用節(jié)點(diǎn)來建立鄰節(jié)點(diǎn)之間的聚合信息，然后基于循環(huán)門控單元實(shí)現(xiàn)遞歸過程中每個(gè)節(jié)點(diǎn)隱藏狀態(tài)的更新。

TAI 等人［44］提出基于子節(jié)點(diǎn)的樹狀長短時(shí)記憶網(wǎng)絡(luò)（Tree-LSTM）用于處理圖神經(jīng)網(wǎng)絡(luò)中的語義表示問題。門控圖神經(jīng)網(wǎng)絡(luò)除了基于門控循環(huán)單元和LSTM 的基礎(chǔ)模型外還有很多變種，例如：YOU 等人［45］利用分層循環(huán)遞歸網(wǎng)絡(luò)分別生成新的節(jié)點(diǎn)和節(jié)點(diǎn)對應(yīng)的邊，從而將圖遞歸神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖生成問題；PENG 等人［46］提出利用不同的權(quán)重矩陣來表示不同標(biāo)簽的圖長短時(shí)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；MA 等人［47］將時(shí)間感知LSTM 與圖神經(jīng)網(wǎng)絡(luò)相結(jié)合，利用LSTM來更新兩個(gè)關(guān)聯(lián)節(jié)點(diǎn)和對應(yīng)的鄰居節(jié)點(diǎn)的表示，提出動態(tài)圖神經(jīng)網(wǎng)絡(luò)，更好地解決傳播效應(yīng)問題。

2.3 圖注意力網(wǎng)絡(luò)

對于圖神經(jīng)網(wǎng)絡(luò)中的注意力機(jī)制，借助于注意力模塊取代一般圖卷積神經(jīng)網(wǎng)絡(luò)中的卷積激活器，在不同方法中結(jié)合門控信息來提升注意力機(jī)制感受域的權(quán)重參數(shù)，達(dá)到更好的推理和應(yīng)用性能。

圖卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了對圖結(jié)構(gòu)數(shù)據(jù)的節(jié)點(diǎn)分類，而注意力機(jī)制目前在自然語言處理領(lǐng)域有著非常好的效果和表現(xiàn)。對于圖注意力機(jī)制［25，48］而言，鄰居節(jié)點(diǎn)的特征累加求和過程與圖卷積神經(jīng)網(wǎng)絡(luò)完全不同，通過全局注意力機(jī)制替代卷積分層傳遞的固化操作，可以有效選擇在圖結(jié)構(gòu)中更為重要的節(jié)點(diǎn)、子圖、模型、路徑分配更大的注意力權(quán)重［48］。

圖注意力網(wǎng)絡(luò)中的注意力權(quán)重被表示為，對于第l層網(wǎng)絡(luò)而言，定義節(jié)點(diǎn)為=Wlhi，其中，hi是注意力模型中的節(jié)點(diǎn)向量，Wl表示為一個(gè)可變化的線性變換參數(shù)，那么節(jié)點(diǎn)間的注意力分?jǐn)?shù)就會根據(jù)注意力權(quán)重的不同進(jìn)行迭代。與圖卷積神經(jīng)網(wǎng)絡(luò)的分層傳播規(guī)則不同，圖注意力網(wǎng)絡(luò)將原有的常數(shù)參數(shù)替換為表示鄰節(jié)點(diǎn)權(quán)重的注意力參數(shù)。

ZHANG等人［49］提出一種通過卷積子網(wǎng)絡(luò)來控制分配權(quán)重的自我注意力機(jī)制，利用循環(huán)門控單元解決流量速度預(yù)測問題。LEE等人［50］提出結(jié)合LSTM與注意力機(jī)制的圖節(jié)點(diǎn)分類方法。ABU-EL-HAIJA等人［42］提出一種注意力游走方法，將圖注意力機(jī)制應(yīng)用于節(jié)點(diǎn)嵌入中。

在現(xiàn)實(shí)世界中信息在被表示成節(jié)點(diǎn)和邊構(gòu)成的拓?fù)浣Y(jié)構(gòu)時(shí)通常是異構(gòu)的，廣義上被定義為異構(gòu)信息網(wǎng)絡(luò)（Heterogeneous Information Network，HIN）［51］，而現(xiàn)階段的圖神經(jīng)網(wǎng)絡(luò)多數(shù)聚焦于同構(gòu)圖的處理分析，對于節(jié)點(diǎn)異構(gòu)和邊異構(gòu)的圖結(jié)構(gòu)而言，巨大的信息量和復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)帶來了更大的挑戰(zhàn)和研究價(jià)值。WANG 等人［52］提出一種基于注意力機(jī)制的異構(gòu)圖注意力網(wǎng)絡(luò)，將節(jié)點(diǎn)和邊的異構(gòu)性表達(dá)為不同類型的語義信息，通過節(jié)點(diǎn)層的注意力來判斷相同屬性鄰節(jié)點(diǎn)的重要性，同時(shí)利用語義層的注意力選擇有意義的元路徑，節(jié)點(diǎn)層利用注意力來表示不同節(jié)點(diǎn)的重要性。圖注意力網(wǎng)絡(luò)的研究還集中于圖像語義推理、上下文推理等方面。具體地，YANG 等人［53］在處理利用自然語言來表示圖像中的描述對象問題時(shí)，通過抽取圖像中對象之間的語義關(guān)系建立關(guān)聯(lián)圖結(jié)構(gòu)，借助動態(tài)圖注意力網(wǎng)絡(luò)（DGA）來實(shí)現(xiàn)更好的語義推理能力。

2.4 圖自動編碼器網(wǎng)絡(luò)

自動編碼器是深度神經(jīng)網(wǎng)絡(luò)中常用的一種無監(jiān)督學(xué)習(xí)方式，對于圖結(jié)構(gòu)數(shù)據(jù)而言，自動編碼器可以有效處理節(jié)點(diǎn)表示問題。最早的圖自動編碼器是由TIAN 等人［26］于2014 年提出的稀疏自動編碼器（SAE），通過將圖結(jié)構(gòu)的鄰接矩陣表示為原始節(jié)點(diǎn)特征，利用自動編碼器將其轉(zhuǎn)化為低維的節(jié)點(diǎn)表示。稀疏自動編碼問題被轉(zhuǎn)化為反向傳播的最優(yōu)解問題，即最小化原始傳輸矩陣和重建矩陣之間的最優(yōu)解問題。在結(jié)構(gòu)深度網(wǎng)絡(luò)嵌入方法［54-55］中，將損失函數(shù)表達(dá)為鄰接矩陣的形式，證明了兩個(gè)具有相似鄰節(jié)點(diǎn)的節(jié)點(diǎn)有相似的潛在特征表示，并且結(jié)構(gòu)深度網(wǎng)絡(luò)嵌入方法引入類似拉普拉斯特征映射來替代目標(biāo)函數(shù)。變分圖自動編碼器（VGAE）［56］將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖自動編碼器結(jié)構(gòu)，對于非概率變體的圖自動編碼器，定義由隨機(jī)隱藏變量zi組成的矩陣Z，那么編碼器可以表示為Z=GCN(X，A)。結(jié)合結(jié)構(gòu)深度網(wǎng)絡(luò)嵌入的方法，ZHU 等人［57］提出利用高斯分布進(jìn)行節(jié)點(diǎn)表示的方法，并選擇EM 距離作為目標(biāo)損失函數(shù)，能夠有效地反映距離信息特征。

2.5 時(shí)空圖神經(jīng)網(wǎng)絡(luò)

時(shí)空圖神經(jīng)網(wǎng)絡(luò)作為一種引入了時(shí)間序列特征的屬性圖網(wǎng)絡(luò)，可以同時(shí)獲取圖結(jié)構(gòu)中時(shí)間和空間域的特征信息，每一個(gè)節(jié)點(diǎn)的特征都會隨著時(shí)間的變化而變化。本文主要討論在空間域采用圖卷積來提取空間特征依賴的時(shí)空圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，主要分為傳統(tǒng)卷積網(wǎng)絡(luò)、門控循環(huán)網(wǎng)絡(luò)和圖卷積網(wǎng)絡(luò)3 種時(shí)域特征獲取方法。圖3 給出了圖卷積神經(jīng)網(wǎng)絡(luò)、圖自動編碼器網(wǎng)絡(luò)（以變分圖卷積自動編碼器為例）和時(shí)空圖神經(jīng)網(wǎng)絡(luò)（以1D-CNN+GCN 結(jié)構(gòu)為例）的網(wǎng)絡(luò)結(jié)構(gòu)對比，3 種網(wǎng)絡(luò)結(jié)構(gòu)的構(gòu)建基礎(chǔ)均為圖卷積計(jì)算單元，其中，φ為矩陣Z和ZT之間的元素距離，MLP 全連接表示多層感知機(jī)全連接神經(jīng)網(wǎng)絡(luò)。

圖3 圖卷積神經(jīng)網(wǎng)絡(luò)、圖自動編碼器網(wǎng)絡(luò)和時(shí)空圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對比Fig.3 Structure comparison of graph convolutional neural network，graph autoencoder network and spatiotemporal graph neural network

YU 等人［58］在實(shí)時(shí)交通預(yù)測問題中，利用時(shí)空圖的特性解決交通流的高度非線性和復(fù)雜性問題，提出一種時(shí)空圖神經(jīng)網(wǎng)絡(luò)，采用一維卷積神經(jīng)網(wǎng)絡(luò)（1D-CNN）沿時(shí)間序列X[i，：，：]∈?T×N×D傳播聚合時(shí)域特征，其中，T為時(shí)間步長，N為節(jié)點(diǎn)數(shù)量，D為節(jié)點(diǎn)向量維度。同時(shí)圖卷積神經(jīng)網(wǎng)絡(luò)作為每個(gè)時(shí)間點(diǎn)上的空間信息聚合器，構(gòu)成如圖3（c）所示的時(shí)空圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。HUANG 等人［27］提出擴(kuò)散遞歸卷積神經(jīng)網(wǎng)絡(luò)，采用門控圖神經(jīng)網(wǎng)絡(luò)中的門控遞歸單元獲取時(shí)域依賴性。為結(jié)合循環(huán)單元GRU 獲取的時(shí)間序列異步信息及圖卷積神經(jīng)網(wǎng)絡(luò)捕獲的空間鄰節(jié)點(diǎn)信息，SIMONYAN 等人［59］設(shè)計(jì)一種改進(jìn)的擴(kuò)散卷積門控遞歸單元（DCGRU）結(jié)構(gòu)來更好地提升時(shí)空特征的依賴性。

YAN 等人［60］將事件流擴(kuò)展為圖結(jié)構(gòu)中的邊信息，通過圖卷積神經(jīng)網(wǎng)絡(luò)模型同時(shí)提取時(shí)域和空間域中的信息特征，將運(yùn)動過程中人體抽象的骨節(jié)作為節(jié)點(diǎn)進(jìn)行檢測，并且其延續(xù)了文獻(xiàn)［29］的定義，將分層傳播規(guī)則延伸為時(shí)空圖神經(jīng)網(wǎng)絡(luò)的輸入和輸出，從而基于邊信息的提取實(shí)現(xiàn)時(shí)域和空間域信息的提取和學(xué)習(xí)。

2.6 圖嵌入網(wǎng)絡(luò)

圖結(jié)構(gòu)中的每一個(gè)節(jié)點(diǎn)和邊對于深度神經(jīng)網(wǎng)絡(luò)而言都是不規(guī)則的抽象數(shù)據(jù)，而通過圖嵌入方法對節(jié)點(diǎn)和邊賦予數(shù)值張量，能將圖結(jié)構(gòu)類比于深度神經(jīng)網(wǎng)絡(luò)所處理的圖像數(shù)據(jù)，賦予的數(shù)值就如同圖像中像素?cái)?shù)量和像素對應(yīng)的值。在實(shí)現(xiàn)圖嵌入網(wǎng)絡(luò)的算法中，最基礎(chǔ)的算法就是深度隨機(jī)游走算法［61］，其將語言模型的語義理解任務(wù)經(jīng)過文本分詞后得到的詞視為圖結(jié)構(gòu)中的節(jié)點(diǎn)，而連接節(jié)點(diǎn)的邊則通過隨機(jī)游走實(shí)現(xiàn)。每一次隨機(jī)游走所連接的節(jié)點(diǎn)形成的路徑就是由單詞所構(gòu)成的隨機(jī)句子，這樣的隨機(jī)圖結(jié)構(gòu)網(wǎng)絡(luò)可以通過N維矩陣的形式進(jìn)行表示。在深度隨機(jī)游走網(wǎng)絡(luò)中，隨機(jī)游走長度通常是需要人為確定的超參數(shù)，為解決這一問題，ABU-EL-HAIJA 等人［62］基于深度學(xué)習(xí)理念，提出基于反向傳播的可學(xué)習(xí)超參數(shù)，并引入基于轉(zhuǎn)移矩陣冪級數(shù)的圖注意力網(wǎng)絡(luò)結(jié)構(gòu)，通過對上層目標(biāo)函數(shù)的分析來優(yōu)化超參數(shù)的選擇，從而實(shí)現(xiàn)超參數(shù)的可學(xué)習(xí)性。

現(xiàn)階段的空間圖卷積神經(jīng)網(wǎng)絡(luò)受限于網(wǎng)絡(luò)復(fù)雜度和節(jié)點(diǎn)表示效果，一般只能用于處理同構(gòu)圖［15］，而直接將異構(gòu)關(guān)系抽象為同構(gòu)圖后會損失較多的特征信息。對于屬性多元異構(gòu)網(wǎng)絡(luò)嵌入，CHEN 等人［63］提出的HGR 模型有效提取了視頻文本匹配任務(wù)中圖數(shù)據(jù)的全局和局部特征，并且適用于抽象場景圖。

表3 從圖結(jié)構(gòu)和性能優(yōu)劣勢角度，對7 種圖神經(jīng)網(wǎng)絡(luò)進(jìn)行了分析和對比。

表3 圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對比Table 3 Structure comparison of graph neural networks

3 圖神經(jīng)網(wǎng)絡(luò)研究領(lǐng)域

3.1 圖生成和圖對抗

圖生成的目標(biāo)是基于一組可觀察圖來生成圖，其中的很多網(wǎng)絡(luò)均為領(lǐng)域特定，例如：在分子圖生成方面，一些研究將分子圖的表征建模為字符串［64-65］；在自然語言處理方面，生成語義圖或知識圖通常需要一個(gè)給定的句子［66-67］。最近，研究人員提出了一些通用方法，例如將圖生成過程看成節(jié)點(diǎn)或邊的形成［68］，使用生成對抗網(wǎng)絡(luò)實(shí)現(xiàn)生物分子圖的訓(xùn)練［69］和基于隨機(jī)游走的圖生成網(wǎng)絡(luò)［70］。

圖對抗網(wǎng)絡(luò)的研究主要集中于圖網(wǎng)絡(luò)的可靠性和安全性方面，盡管圖神經(jīng)網(wǎng)絡(luò)模型取得了一定的研究進(jìn)展，但通常缺乏可解釋性和穩(wěn)健性，尤其是通過領(lǐng)域特征的聚合方式進(jìn)行網(wǎng)絡(luò)構(gòu)建時(shí)需要利用節(jié)點(diǎn)敏感信息，因此存在被攻擊的風(fēng)險(xiǎn)［71-72］。

3.2 圖強(qiáng)化學(xué)習(xí)

在圖強(qiáng)化學(xué)習(xí)中，學(xué)習(xí)控制問題通常采用馬爾科夫決策過程（Markov Decision Process，MDP）［73］估計(jì)長期回報(bào)問題。根據(jù)圖中節(jié)點(diǎn)所表述的決策狀態(tài)，利用轉(zhuǎn)移概率矩陣表示相似性矩陣。通過使用可學(xué)習(xí)的表示來實(shí)現(xiàn)線性逼近值函數(shù)，其近似值函數(shù)為狀態(tài)圖上第一個(gè)拉普拉斯特征映射的線性組合。

DONNAT等人［74］提出的方法基于以節(jié)點(diǎn)為中心的譜圖小波的擴(kuò)散來學(xué)習(xí)節(jié)點(diǎn)表示。MADJIHEUREM等人［75］在表示策略迭代（Representation Policy Iteration，RPI）［76］階段使用原始數(shù)據(jù)集構(gòu)建無向加權(quán)圖。利用有限數(shù)量的樣本構(gòu)造圖結(jié)構(gòu)，其派生的原始值函數(shù)不一定能夠反映基礎(chǔ)狀態(tài)空間，但可以通過函數(shù)來測量圖函數(shù)的全局平滑度。當(dāng)來自平滑函數(shù)的值vi、vj駐留在兩個(gè)連接良好的節(jié)點(diǎn)上時(shí)，則預(yù)期它們之間的距離較小，即圖函數(shù)具有較高的平滑度。

3.3 圖遷移學(xué)習(xí)

遷移學(xué)習(xí)是運(yùn)用已有知識對相關(guān)領(lǐng)域問題進(jìn)行求解的一種機(jī)器學(xué)習(xí)方法。BOSCAINI 等人［77］提出的局部SCNN 模型方法可以提取可變形狀的屬性。BRUNA 等人［10］提出的圖卷積結(jié)構(gòu)是廣義SCNN 模型圖遷移學(xué)習(xí)框架的關(guān)鍵組成部分，其借鑒傅里葉變換思想將網(wǎng)格域中的CNN 應(yīng)用于圖結(jié)構(gòu)域。

LEE 等人［78］提出的圖遷移學(xué)習(xí)方法由5 個(gè)步驟組成，前3 個(gè)步驟根據(jù)輸入生成圖，并從圖結(jié)構(gòu)中識別結(jié)構(gòu)特征，后2 個(gè)步驟是基于特征學(xué)習(xí)和圖相似性應(yīng)用遷移學(xué)習(xí)進(jìn)行分類和推薦等任務(wù)的推理。PAN 等人［79］指出在遷移學(xué)習(xí)環(huán)境中的域由特征空間和概率分布組成，對于給定域可以通過任務(wù)來表示具有標(biāo)簽的空間和訓(xùn)練數(shù)據(jù)預(yù)測函數(shù)。在兩個(gè)圖域相似的情況下，在遷移圖中學(xué)習(xí)到的內(nèi)在幾何信息可以通過快速建立遷移學(xué)習(xí)模型，并利用來自異構(gòu)數(shù)據(jù)集的圖譜特征，大幅提升學(xué)習(xí)效率。

3.4 神經(jīng)任務(wù)圖

任務(wù)圖［80］通過表示任務(wù)的組成與時(shí)序來有效執(zhí)行任務(wù)。神經(jīng)任務(wù)圖網(wǎng)絡(luò)［81］將任務(wù)圖與神經(jīng)網(wǎng)絡(luò)相結(jié)合，能夠更加高效地調(diào)度與學(xué)習(xí)任務(wù)。通過視覺模擬學(xué)習(xí)方法，神經(jīng)任務(wù)圖網(wǎng)絡(luò)將組合任務(wù)引入中間任務(wù)的表示和策略中，在照片渲染的模擬環(huán)境和現(xiàn)實(shí)世界的視頻數(shù)據(jù)集中，神經(jīng)任務(wù)圖的表現(xiàn)比非結(jié)構(gòu)化表示方法以及人工設(shè)計(jì)的分層結(jié)構(gòu)化表示方法效果更好。神經(jīng)任務(wù)圖顯著提高了復(fù)雜任務(wù)的運(yùn)行效率，通過神經(jīng)任務(wù)圖的組合實(shí)現(xiàn)從原始視頻數(shù)據(jù)到復(fù)雜任務(wù)的仿真，并在神經(jīng)任務(wù)圖訓(xùn)練過程中利用節(jié)點(diǎn)的嵌入表示解決動作模擬任務(wù)中缺少訓(xùn)練數(shù)據(jù)的問題。

3.5 圖零樣本學(xué)習(xí)

圖神經(jīng)網(wǎng)絡(luò)在零樣本學(xué)習(xí)的圖像和視頻分類任務(wù)中具有廣泛應(yīng)用，通過借助圖結(jié)構(gòu)中節(jié)點(diǎn)之間的強(qiáng)關(guān)聯(lián)性，可以有效泛化樣本缺乏情況下需要生成預(yù)測新類別的問題?；谥R圖的零樣本學(xué)習(xí)是利用現(xiàn)有知識庫或者知識圖譜中結(jié)構(gòu)化的關(guān)系信息，在未知任何樣本數(shù)據(jù)的情況下進(jìn)行推理學(xué)習(xí)解決樣本分類的問題。

WANG 等人［82］提出基于圖卷積神經(jīng)網(wǎng)絡(luò)的零樣本圖像分類方法，通過圖卷積處理未知權(quán)重信息的知識圖。對于圖神經(jīng)網(wǎng)絡(luò)而言，在解決零樣本學(xué)習(xí)問題的過程中，當(dāng)知識傳播層數(shù)較高時(shí)會降低處理效率。LEE 等人［83］提出同時(shí)預(yù)測多個(gè)未知標(biāo)簽的零樣本學(xué)習(xí)方法，有效地解決了多樣本分類問題。

表4 對圖神經(jīng)網(wǎng)絡(luò)的研究領(lǐng)域進(jìn)行簡要的概述和總結(jié)。

表4 圖神經(jīng)網(wǎng)絡(luò)的研究領(lǐng)域總結(jié)Table 4 Summary of research fields of graph neural networks

4 圖神經(jīng)網(wǎng)絡(luò)應(yīng)用方向

圖神經(jīng)網(wǎng)絡(luò)在不同任務(wù)和所處的時(shí)間、空間或頻域中均具有廣泛應(yīng)用，主要分為文本處理、圖像處理、圖系統(tǒng)、動作檢測4 個(gè)應(yīng)用方向。

4.1 圖神經(jīng)網(wǎng)絡(luò)在文本處理中的應(yīng)用

對于文本向量化表示而言，圖神經(jīng)網(wǎng)絡(luò)可以對句子和詞級別的文本進(jìn)行處理，文獻(xiàn)［25］通過密集圖傳播模塊來實(shí)現(xiàn)距離較遠(yuǎn)的文本節(jié)點(diǎn)的關(guān)聯(lián)關(guān)系表示。文獻(xiàn)［61-62］則通過圖嵌入的方式來實(shí)現(xiàn)節(jié)點(diǎn)的向量化表示，用于文本詞向量和句向量的推理。

在文本分類領(lǐng)域，文獻(xiàn)［84］利用基于雙向圖長短時(shí)記憶網(wǎng)絡(luò)，實(shí)現(xiàn)了每個(gè)文本詞向量的雙向狀態(tài)表示，從而達(dá)到了更好的文本分類效果。文獻(xiàn)［85］通過遞歸正則化的方式，更有效地獲取非連續(xù)語義和長距離語義。

圖神經(jīng)網(wǎng)絡(luò)也可以應(yīng)用于文本的序列標(biāo)注。對于文本圖結(jié)構(gòu)的詞節(jié)點(diǎn)而言，每個(gè)節(jié)點(diǎn)的序列生成可以通過圖生成網(wǎng)絡(luò)的方式來實(shí)現(xiàn)，文獻(xiàn)［83］通過節(jié)點(diǎn)對象強(qiáng)化的圖生成網(wǎng)絡(luò)OR-GAN 進(jìn)行序列生成。文獻(xiàn)［86］利用圖長短時(shí)記憶網(wǎng)絡(luò)對句法信息中文本節(jié)點(diǎn)間的關(guān)聯(lián)關(guān)系進(jìn)行建模，得到每個(gè)詞節(jié)點(diǎn)的潛在特征用于序列標(biāo)注。

關(guān)系推理［87］是指從復(fù)雜的語義信息中推理出文字節(jié)點(diǎn)之間的關(guān)聯(lián)關(guān)系。文獻(xiàn)［19］通過關(guān)系圖卷積R-GCN 來完成文本實(shí)體間關(guān)系的抽取和屬性分類。文獻(xiàn)［46］利用圖長短時(shí)記憶網(wǎng)絡(luò)構(gòu)建文本序列中跨多個(gè)句子時(shí)的N元關(guān)系，通過上下文中文本實(shí)體之間的關(guān)系進(jìn)行任務(wù)推理。

4.2 圖神經(jīng)網(wǎng)絡(luò)在圖像處理中的應(yīng)用

在圖像分類的任務(wù)中，零樣本和少樣本學(xué)習(xí)的任務(wù)通常需要借助知識圖譜的先驗(yàn)知識來提升識別效果。圖神經(jīng)網(wǎng)絡(luò)有效提升了知識圖譜的推理效率。文獻(xiàn)［17］通過深度圖傳播方法將異構(gòu)圖結(jié)構(gòu)用于知識推理，利用中間節(jié)點(diǎn)的特征信息來優(yōu)化知識的稀疏度。文獻(xiàn)［85］借助圖神經(jīng)網(wǎng)絡(luò)將少樣本學(xué)習(xí)的任務(wù)轉(zhuǎn)化為可以端到端訓(xùn)練的監(jiān)督學(xué)習(xí)任務(wù)。

4.3 圖神經(jīng)網(wǎng)絡(luò)在圖系統(tǒng)中的應(yīng)用

對于推薦系統(tǒng)而言，用戶與項(xiàng)目的關(guān)系可以構(gòu)成二部圖，用戶與用戶之間可以構(gòu)成社交網(wǎng)絡(luò)，項(xiàng)目與項(xiàng)目則可以構(gòu)建知識圖譜和異構(gòu)圖，通過圖神經(jīng)網(wǎng)絡(luò)可以為用戶進(jìn)行商品推薦。文獻(xiàn)［78］利用基于上下文的圖自注意力網(wǎng)絡(luò)實(shí)現(xiàn)了高效的會話推薦。

如何構(gòu)建和提升知識圖譜的應(yīng)用效果一直是圖領(lǐng)域備受關(guān)注的研究方向。文獻(xiàn)［21］利用知識圖譜實(shí)現(xiàn)了基于知識遷移的圖小樣本學(xué)習(xí)方法。文獻(xiàn)［82-83］均通過知識圖譜的推理來實(shí)現(xiàn)和完成圖零樣本學(xué)習(xí)任務(wù)。文獻(xiàn)［88］介紹了如何挖掘知識圖譜以實(shí)現(xiàn)大規(guī)模企業(yè)級應(yīng)用。

作為生物學(xué)的研究領(lǐng)域，分子的構(gòu)成是天然的圖結(jié)構(gòu)。文獻(xiàn)［20］利用端到端的圖卷積網(wǎng)絡(luò)實(shí)現(xiàn)了圓形指紋的分子特征提取方法。文獻(xiàn)［39］進(jìn)一步將圖卷積方法應(yīng)用于生物分子圖領(lǐng)域。文獻(xiàn)［69］提出基于圖生成網(wǎng)絡(luò)的分子圖生成方法，可以有效模擬化學(xué)分子的合成。

4.4 圖神經(jīng)網(wǎng)絡(luò)在動作檢測中的應(yīng)用

通過視頻序列來實(shí)現(xiàn)任務(wù)預(yù)測是時(shí)序圖領(lǐng)域的重要應(yīng)用方向之一。文獻(xiàn)［77］提出基于共軛任務(wù)圖結(jié)構(gòu)的策略生成方法，實(shí)現(xiàn)了基于給定的演示視頻推理完成未知的任務(wù)。文獻(xiàn)［89］提出視覺空間注意力機(jī)制的圖卷積方法來完成視覺理解任務(wù)中人與對象交互定位HOI 的任務(wù)。文獻(xiàn)［22］通過時(shí)空圖神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了基于骨節(jié)運(yùn)動的動作檢測。

表5 對圖神經(jīng)網(wǎng)絡(luò)的應(yīng)用方向進(jìn)行簡要的概述和總結(jié)。

表5 圖神經(jīng)網(wǎng)絡(luò)的應(yīng)用方向總結(jié)Table 5 Summary of application directions of graph neural networks

5 未來發(fā)展與展望

隨著圖神經(jīng)網(wǎng)絡(luò)研究和應(yīng)用的不斷深入，其發(fā)展方向主要包括網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化、理論可解釋性強(qiáng)化及數(shù)據(jù)結(jié)構(gòu)豐富化，具體內(nèi)容為：

1）與傳統(tǒng)深度學(xué)習(xí)相比，圖神經(jīng)網(wǎng)絡(luò)的研究和應(yīng)用方向有較大的拓展空間，由于其對于知識圖譜、推薦系統(tǒng)等大規(guī)模系統(tǒng)性應(yīng)用具備遷移性、可強(qiáng)化性等特點(diǎn)，并且對于動態(tài)任務(wù)具有泛化能力，因此能夠?qū)D神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)實(shí)現(xiàn)有效關(guān)聯(lián)，更高效地利用圖結(jié)構(gòu)數(shù)據(jù)。

2）深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的本質(zhì)是對數(shù)據(jù)不斷提取高維的抽象特征，將圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的關(guān)聯(lián)性特征與傳統(tǒng)貝葉斯因果關(guān)系網(wǎng)絡(luò)相結(jié)合，以期實(shí)現(xiàn)對深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的可解釋性證明。

3）現(xiàn)階段有關(guān)圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的研究多數(shù)受限于關(guān)系型結(jié)構(gòu)在高維空間中的特征可解釋性，而對于提升圖神經(jīng)網(wǎng)絡(luò)深度的研究較少，深度學(xué)習(xí)的巨大成功得益于其深層的網(wǎng)絡(luò)結(jié)構(gòu)能提取更高維度的特征信息。圖神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上對特征信息進(jìn)行抽象概括的同時(shí)，需要探索加深網(wǎng)絡(luò)結(jié)構(gòu)的方式，以增強(qiáng)其對于高維特征信息的提取能力，進(jìn)一步提高網(wǎng)絡(luò)性能。

4）擴(kuò)大圖神經(jīng)網(wǎng)絡(luò)的感受野能有效提升圖神經(jīng)網(wǎng)絡(luò)的推理性能。神經(jīng)元感受野可使網(wǎng)絡(luò)輸出的特征值更好地歸納局部和全局特征，從而實(shí)現(xiàn)更快的學(xué)習(xí)收斂速度和更好的網(wǎng)絡(luò)預(yù)測效果。

5）在網(wǎng)絡(luò)節(jié)點(diǎn)中引入更多的數(shù)據(jù)類型，突破通過節(jié)點(diǎn)先驗(yàn)信息決定圖神經(jīng)網(wǎng)絡(luò)的最終學(xué)習(xí)效果。將定性、離散或概率型數(shù)據(jù)以圖的形式引入到圖神經(jīng)網(wǎng)絡(luò)中，增強(qiáng)圖網(wǎng)絡(luò)模型對真實(shí)數(shù)據(jù)分布的刻畫能力。

6）提升圖神經(jīng)網(wǎng)絡(luò)的動態(tài)性和異質(zhì)性，對于具有復(fù)雜圖結(jié)構(gòu)的異質(zhì)圖和結(jié)合時(shí)序性的動態(tài)圖具有更豐富的應(yīng)用場景。

6 結(jié)束語

本文回顧圖神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程，分析并比較基于不同信息聚合方式的圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，討論圖神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)技術(shù)相結(jié)合的研究領(lǐng)域，并對圖神經(jīng)網(wǎng)絡(luò)的應(yīng)用方向進(jìn)行闡述。后續(xù)將從圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的深度和復(fù)雜度、異質(zhì)圖的高效分析與處理以及利用節(jié)點(diǎn)和邊信息的傳遞實(shí)現(xiàn)圖神經(jīng)網(wǎng)絡(luò)的可解釋性等方面做進(jìn)一步探索，以期優(yōu)化圖神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)結(jié)構(gòu)、提升算法性能及增強(qiáng)理論可解釋性。