樓嘉琪 葉海良 楊 冰 李 明 曹飛龍

圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Networks, GNNs)[1]是一類有效處理圖結(jié)構(gòu)數(shù)據(jù)的方法，現(xiàn)已成為推薦系統(tǒng)[2]、計(jì)算機(jī)視覺[3]、交通預(yù)測[4]和生物醫(yī)學(xué)[5]等諸多領(lǐng)域中廣泛使用的工具之一.特別地，通過借鑒卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)[6]的思想，Bruna等[7]構(gòu)造圖上的卷積操作，將卷積運(yùn)算從歐氏空間數(shù)據(jù)推廣至非歐圖結(jié)構(gòu)數(shù)據(jù).之后，學(xué)者們又提出一系列基于圖卷積的神經(jīng)網(wǎng)絡(luò)模型[8-9].這些方法的主要目標(biāo)是通過卷積操作聚合圖中節(jié)點(diǎn)及其鄰居節(jié)點(diǎn)的信息，為圖數(shù)據(jù)的每個(gè)節(jié)點(diǎn)學(xué)習(xí)一個(gè)低維的表示向量.之后，該節(jié)點(diǎn)表示向量可應(yīng)用于圖上的諸多下游任務(wù)，如節(jié)點(diǎn)分類[10]、節(jié)點(diǎn)補(bǔ)全[11]、圖分類[12]、鏈接預(yù)測[13]等.

事實(shí)上，圖卷積網(wǎng)絡(luò)(Graph Convolutional Net-work, GCN)可分為兩類：基于頻域的譜圖卷積和基于空域的空間圖卷積.譜圖卷積操作通常在傅里葉空間完成，通過傅里葉變換將圖信號(hào)從空域轉(zhuǎn)化到頻域.為了減少圖卷積的計(jì)算量，Defferrard等[14]提出使用Chebyshev算子代替原始的卷積核.之后，為了適應(yīng)圖上的半監(jiān)督學(xué)習(xí)任務(wù)，Kipf等[15]進(jìn)一步限制鄰域?qū)挾炔⑦\(yùn)用歸一化技巧，提出圖卷積網(wǎng)絡(luò).Li等[16]分析現(xiàn)有圖卷積的局限性，提出圖高斯卷積網(wǎng)絡(luò)(Graph Gaussian Convolution Networks, G2CN)，其中的3個(gè)屬性解耦使網(wǎng)絡(luò)結(jié)構(gòu)變得更靈活，適用于不同的圖數(shù)據(jù).

雖然上述圖神經(jīng)網(wǎng)絡(luò)取得一定效果，但淺層架構(gòu)的特點(diǎn)限制其從高階鄰居節(jié)點(diǎn)中獲取信息的能力.而深度圖神經(jīng)網(wǎng)絡(luò)可利用節(jié)點(diǎn)較遠(yuǎn)的聚合范圍，提取相對豐富的高階語義特征.然而，簡單疊加多個(gè)圖卷積層的深度網(wǎng)絡(luò)往往存在一些固有的缺陷,如產(chǎn)生過平滑現(xiàn)象[21].過平滑現(xiàn)象是指圖節(jié)點(diǎn)信息經(jīng)過多次圖卷積操作后會(huì)趨于一致，喪失節(jié)點(diǎn)特征多樣性.He等[22]利用深度殘差網(wǎng)絡(luò)(Deep Residual Network),解決計(jì)算機(jī)視覺中的網(wǎng)絡(luò)退化問題，有效提升訓(xùn)練深層網(wǎng)絡(luò)的可行性.基于該工作，Kipf等[15]在GCN中引入殘差連接，一定程度上緩解過平滑現(xiàn)象.進(jìn)一步，Rong等[23]使用隨機(jī)丟棄部分節(jié)點(diǎn)之間的邊(DropEdge),減輕過平滑現(xiàn)象的影響.

盡管隨著網(wǎng)絡(luò)深度的增加，上述2種方法都可延緩性能下降，但對于半監(jiān)督的節(jié)點(diǎn)分類任務(wù)，深層模型的性能仍不如某些淺層模型.為此，在網(wǎng)絡(luò)架構(gòu)層面，Chen等[24]對GCN進(jìn)行兩個(gè)有效的修改，即引入恒等映射和初始?xì)埐钸B接，設(shè)計(jì)GCNII(GCN with Initial Residual and Identity Mapping)，使深層模型的性能超越淺層模型.

在圖卷積操作層面，Zhu等[25〗使用改進(jìn)的馬爾可夫擴(kuò)散核構(gòu)造GCN的變體——S2GC(Simple Spectral Graph Convolution)，捕獲節(jié)點(diǎn)的局部與全局上下文信息，進(jìn)而限制過平滑現(xiàn)象的產(chǎn)生.此外，Chamberlain等[26]將圖深度學(xué)習(xí)作為一個(gè)連續(xù)擴(kuò)散過程，并將圖神經(jīng)網(wǎng)絡(luò)視為基礎(chǔ)偏微分方程的離散化情形，提出GRAND(Graph Neural Diffusion).進(jìn)一步，Thorpe等[27]提出GRAND++(Graph Neural Diffu-sion with a Source Term)，用于低標(biāo)簽率的圖深度學(xué)習(xí).作為一類新式的GNN，圖神經(jīng)擴(kuò)散也能在一定程度上緩解過平滑現(xiàn)象.

盡管上述方法增加圖卷積網(wǎng)絡(luò)的深度，但忽略圖卷積操作固有的缺陷：基于GCN學(xué)習(xí)的節(jié)點(diǎn)表示往往會(huì)破壞原始特征空間的節(jié)點(diǎn)相似性[28].事實(shí)上，節(jié)點(diǎn)相似性在許多場景中發(fā)揮至關(guān)重要的作用，這一結(jié)果會(huì)大幅影響捕獲的節(jié)點(diǎn)表示的有效性，并阻礙其下游任務(wù)的性能.此外，真實(shí)世界中的圖結(jié)構(gòu)數(shù)據(jù)往往存在長尾分布的現(xiàn)象，即圖中的大多數(shù)節(jié)點(diǎn)只存在少量的鄰居節(jié)點(diǎn)，這些尾節(jié)點(diǎn)往往不能在聚合操作時(shí)獲得足夠的信息，這一現(xiàn)象影響網(wǎng)絡(luò)獲取節(jié)點(diǎn)表示的準(zhǔn)確性.

因此，本文提出雙分支多交互的深度圖卷積網(wǎng)絡(luò)，有效改善節(jié)點(diǎn)分類任務(wù)的性能.首先，利用K近鄰算法對圖數(shù)據(jù)結(jié)構(gòu)進(jìn)行重構(gòu)，學(xué)習(xí)具有節(jié)點(diǎn)相似性的重構(gòu)圖，由于重構(gòu)的圖結(jié)構(gòu)中節(jié)點(diǎn)具有較平衡的鄰居數(shù)量，可避免長尾分布帶來的影響.然后，利用原始圖和重構(gòu)圖構(gòu)造雙分支深度圖卷積網(wǎng)絡(luò)，既保留原始圖的結(jié)構(gòu)信息，又考慮節(jié)點(diǎn)間的相似性信息，充分提取高階語義特征.設(shè)計(jì)通道信息交互機(jī)制，建立對不同分支信息的多次交互，增加特征的多樣性，進(jìn)一步增強(qiáng)網(wǎng)絡(luò)獲取高階語義特征的能力，避免過平滑現(xiàn)象.最后，將不同分支的特征進(jìn)行融合以獲得分類結(jié)果.實(shí)驗(yàn)表明本文網(wǎng)絡(luò)在多個(gè)數(shù)據(jù)集上取得較優(yōu)性能.

1 相關(guān)工作

對于一個(gè)無向圖G=(V,E,X)，其中V={v1,v2,…,vn}為n個(gè)節(jié)點(diǎn)的集合，E={e1,e2,…,em}為m條邊的集合，X={x1,x2,…,xn}∈Rn×d為節(jié)點(diǎn)特征矩陣，d為每個(gè)節(jié)點(diǎn)的特征維數(shù)，A∈{0,1}n×n為大小為n×n的鄰接矩陣，D為A的對角度矩陣.

為添加自連接的鄰接矩陣，In為n階單位矩陣，

節(jié)點(diǎn)標(biāo)簽表示為一組one-hot向量.

Kipf等[15]提出用于半監(jiān)督節(jié)點(diǎn)分類的GCN,只考慮一階鄰居，GCN的特征提取過程可表示為

其中,Hl為第l層的輸出，H0=X，Wl為第l層的權(quán)重矩陣，σ(·)為激活函數(shù)，通常取修正線性單元(Rectified Linear Unit, ReLU)，即

σ(x)=max(0,x).

最近，Chen等[24]指出，上述GCN固定的多項(xiàng)式系數(shù)限制其加深網(wǎng)絡(luò)深度的表達(dá)能力，導(dǎo)致過平滑現(xiàn)象的產(chǎn)生.若要將網(wǎng)絡(luò)擴(kuò)展到深層，需要GCN能使用任意系數(shù)表示的K階多項(xiàng)式濾波器.這可由兩個(gè)簡單的操作實(shí)現(xiàn)：初始?xì)埐钸B接和恒等映射.為此，Chen等[24]提出GCNII，特征提取過程可表示為

其中

α>0,βl>0為超參數(shù).注意，初始?xì)埐钸B接借鑒APPNP(Approximate Personalized Propagation of Neural Predictions)[29]，融合部分初始特征信息.之后又借鑒深度殘差網(wǎng)絡(luò)[22]加入恒等映射，即在參數(shù)Wl和In之間進(jìn)行加權(quán)求和，比例系數(shù)βl隨著層數(shù)的加深而減少.通過該恒等映射可加快網(wǎng)絡(luò)收斂速度，減少有效信息的損失.

2 雙分支多交互的深度圖卷積網(wǎng)絡(luò)

2.1 網(wǎng)絡(luò)架構(gòu)

本文設(shè)計(jì)雙分支多交互的深度圖卷積網(wǎng)絡(luò)，具體框架如圖1所示.網(wǎng)絡(luò)可分為4部分：初始特征變換、基于圖結(jié)構(gòu)信息的深度圖卷積網(wǎng)絡(luò)分支、基于節(jié)點(diǎn)相似性信息的深度圖卷積網(wǎng)絡(luò)分支、特征融合.

圖1 雙分支多交互的深度圖卷積網(wǎng)絡(luò)框架圖

H0=σ(f1(X))，H′0=σ(f2(X))，

其中f1(·)、f2(·)為兩個(gè)線性變換.這是由于圖節(jié)點(diǎn)的特征維度往往較大，若不對其進(jìn)行限制，會(huì)大幅增加網(wǎng)絡(luò)的參數(shù)量，影響計(jì)算效率.通過非線性變換層可將初始特征X的維度壓縮到一個(gè)較小的值，在不影響分類精度的前提下，大幅減少網(wǎng)絡(luò)的參數(shù)量.

其次，構(gòu)造雙分支網(wǎng)絡(luò)，分別為基于圖結(jié)構(gòu)信息的深度圖卷積網(wǎng)絡(luò)分支與基于節(jié)點(diǎn)相似性信息的深度圖卷積網(wǎng)絡(luò)分支.顯然，想要獲得精確的節(jié)點(diǎn)表示，不僅需要考慮圖的結(jié)構(gòu)信息，也需要注重圖中節(jié)點(diǎn)的特征信息.為此:基于圖結(jié)構(gòu)信息的分支，利用原始圖的鄰接矩陣A，通過深度圖卷積操作，充分提取高階語義特征；節(jié)點(diǎn)相似度信息的分支利用新構(gòu)造的鄰接矩陣A′，彌補(bǔ)原始結(jié)構(gòu)信息分支中可能存在的高階鄰居信息提取不充分的問題.此外，針對過平滑現(xiàn)象，為每個(gè)分支加入殘差連接及恒等映射.同時(shí)，為了增加節(jié)點(diǎn)特征的多樣性，設(shè)計(jì)通道信息交互機(jī)制，對不同分支進(jìn)行多次交互.最終形成雙分支多交互網(wǎng)絡(luò).相比相同深度的單通道深度圖卷積網(wǎng)絡(luò)，能有效提取更豐富的高階語義特征，并進(jìn)一步降低過平滑問題的風(fēng)險(xiǎn).

最后，在經(jīng)過雙分支多交互的深度圖卷積操作后，獲得兩組新的節(jié)點(diǎn)表示，進(jìn)行特征融合，得到最終的節(jié)點(diǎn)表示，再利用softmax函數(shù)對節(jié)點(diǎn)進(jìn)行分類.

2.2 圖結(jié)構(gòu)重構(gòu)

GCN、GCNII等方法僅考慮圖的拓?fù)浣Y(jié)構(gòu)，往往存在一些缺陷,即圖中的許多節(jié)點(diǎn)是低維度的.這意味著它只有很少的鄰居節(jié)點(diǎn)，在特征聚合過程中無法得到足夠的信息，導(dǎo)致獲取的節(jié)點(diǎn)表示不理想.另一方面，受限于圖卷積操作低通濾波器的特點(diǎn)，在經(jīng)過多次圖卷積操作后，相似節(jié)點(diǎn)之間的結(jié)構(gòu)信息被破壞，這可能導(dǎo)致節(jié)點(diǎn)屬性趨于一致，喪失節(jié)點(diǎn)特征的多樣性.因此，本文考慮利用節(jié)點(diǎn)自身的特征，重新構(gòu)造圖的鄰接矩陣.利用K近鄰算法，根據(jù)節(jié)點(diǎn)特征之間的相似度，判定相似的節(jié)點(diǎn)連接.

事實(shí)上，有許多不同的相似度計(jì)算方式，考慮到節(jié)點(diǎn)特征的性質(zhì)，本文選擇余弦相似度作為衡量指標(biāo).具體流程如下：對于圖上的一個(gè)節(jié)點(diǎn)vi(i=1,2,…,n)，其與另一節(jié)點(diǎn)vj(j=1,2,…,i-1,i+1,…,n)的原始節(jié)點(diǎn)特征xi與xj之間的余弦相似度為

每個(gè)節(jié)點(diǎn)都會(huì)與其最相似的k個(gè)節(jié)點(diǎn)連接，可得到一個(gè)新的圖結(jié)構(gòu)，鄰接矩陣可表示為A′.

原始圖結(jié)構(gòu)的鄰接矩陣A和新構(gòu)造的鄰接矩陣A′將分別用于兩個(gè)不同的網(wǎng)絡(luò)分支.利用A′，節(jié)點(diǎn)相似度信息分支彌補(bǔ)原始圖結(jié)構(gòu)信息分支在經(jīng)過深度圖卷積操作后節(jié)點(diǎn)相似性被破壞的問題，允許網(wǎng)絡(luò)擴(kuò)展到更深的層次，提取更高階的語義特征，得到更精確的節(jié)點(diǎn)表示.

2.3 通道信息交互機(jī)制

圖信號(hào)經(jīng)過一次圖卷積操作后會(huì)更平滑，在進(jìn)行多次圖卷積操作后，圖信號(hào)會(huì)越來越趨同，導(dǎo)致節(jié)點(diǎn)的區(qū)分性越來越差，喪失節(jié)點(diǎn)特征的多樣性.為了保持節(jié)點(diǎn)特征的多樣性，本文提出通道信息交互機(jī)制.引入分支間的殘差連接，每次圖卷積操作不僅獲取原分支的初始圖信號(hào)，也會(huì)獲取另一分支的初始圖信號(hào)，增強(qiáng)不同分支特征的交互.注意到，此處的初始圖信號(hào)并非原始特征，而是2.1節(jié)中提到的H0和H′0.在總層數(shù)為L的網(wǎng)絡(luò)中，第l(l=1,2,…,L)層的具體操作如下：

其中,

α為初始?xì)埐钸B接系數(shù)，β為通道信息交互系數(shù)，這兩個(gè)超參數(shù)可在一個(gè)經(jīng)驗(yàn)性的范圍內(nèi)通過網(wǎng)格搜索得到,γ1為隨網(wǎng)絡(luò)層數(shù)遞增的一個(gè)參數(shù)，

θ為超參數(shù)，用于控制γ1遞增的速度，經(jīng)驗(yàn)性地取0.5.

D′為A′對應(yīng)的度矩陣,Wl與W′l分別為兩個(gè)分支中第l層的權(quán)重矩陣.

在深度圖卷積網(wǎng)絡(luò)中，低層次的特征更具有多樣性，而高層次的特征聚合更多高階鄰居的特征.本文在雙分支網(wǎng)絡(luò)中，每次圖卷積操作都加入通道信息交互機(jī)制，允許網(wǎng)絡(luò)在充分提取高階語義特征的同時(shí)保持特征的多樣性，得到更精確的節(jié)點(diǎn)表示.值得注意的是，在本文網(wǎng)絡(luò)下，令β=0，則每個(gè)分支退化成GCNII，因此，本文網(wǎng)絡(luò)是GCNII的進(jìn)一步推廣.

2.4 通道特征融合

經(jīng)過雙分支深度圖卷積網(wǎng)絡(luò)后，可得到兩組基于不同圖結(jié)構(gòu)聚合方式的節(jié)點(diǎn)特征，為了更合理地融合代表兩種信息的特征，本文設(shè)計(jì)線性特征融合方式，將兩組特征分別經(jīng)過一個(gè)線性變換后進(jìn)行相加.通過此方式，網(wǎng)絡(luò)可自適應(yīng)地將結(jié)構(gòu)信息特征與相似性信息特征融合為新的節(jié)點(diǎn)表示.整個(gè)過程的表達(dá)式為

out=f3(HL)+f4(H′L)，

其中f3(·)和f4(·)為兩個(gè)線性變換.

2.5 損失函數(shù)

本文的目的是從測試集中預(yù)測未標(biāo)記節(jié)點(diǎn)的類別，通過softmax函數(shù)獲得模型的輸出向量：

其中，NT為用于訓(xùn)練的節(jié)點(diǎn)，yi為真實(shí)節(jié)點(diǎn)標(biāo)簽.

3 實(shí)驗(yàn)及結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境

各網(wǎng)絡(luò)均在NVIDIA RTX 2080Ti GPU上訓(xùn)練，使用PyTorch[31]實(shí)現(xiàn).使用Adam(Adaptive Moment Estimation)[32]優(yōu)化算法進(jìn)行訓(xùn)練，設(shè)置初始學(xué)習(xí)率為0.01，權(quán)重衰減為0.01，丟棄率為0.6，訓(xùn)練輪數(shù)為1 500，同時(shí)設(shè)置訓(xùn)練的耐心值為100，即當(dāng)訓(xùn)練損失在100次循環(huán)后都未下降時(shí)，停止訓(xùn)練.其它對比方法涉及到的超參數(shù)，如學(xué)習(xí)率和丟棄率等，都取自相應(yīng)文章或代碼中默認(rèn)使用的值.

對于超參數(shù)α和β的選取，本文使用網(wǎng)格搜索的方法，經(jīng)驗(yàn)性地定在[0,0.2]區(qū)間內(nèi)，選取其中表現(xiàn)最好的一組以確定α和β的取值.

此外，參照文獻(xiàn)[23]、文獻(xiàn)[24]、文獻(xiàn)[32]等的設(shè)置，重復(fù)多次實(shí)驗(yàn)，選取其中最優(yōu)結(jié)果作為最終結(jié)果.本文網(wǎng)絡(luò)的各層參數(shù)如表1所示，表中N表示圖節(jié)點(diǎn)個(gè)數(shù)，F(xiàn)表示節(jié)點(diǎn)特征的維度.

表1 網(wǎng)絡(luò)各層參數(shù)設(shè)置

本文選取Cora、PubMed、CiteSeer這3個(gè)標(biāo)準(zhǔn)的引文網(wǎng)絡(luò)數(shù)據(jù)集[33]作為實(shí)驗(yàn)數(shù)據(jù)集，表2為數(shù)據(jù)集具體信息.在Cora、CiteSeer數(shù)據(jù)集上，節(jié)點(diǎn)對應(yīng)論文，邊對應(yīng)論文的引用，節(jié)點(diǎn)特征是每篇論文的詞袋表示，使用0、1表示論文有無此主題.在PubMed數(shù)據(jù)集上，節(jié)點(diǎn)特征為論文中每個(gè)單詞的詞頻-逆文檔頻率(Term Frequency-Inverse Document Fre-quency, TF-IDF).

表2 實(shí)驗(yàn)數(shù)據(jù)集

本文遵循廣泛使用的半監(jiān)督學(xué)習(xí)設(shè)置[15,24-25]，對3個(gè)數(shù)據(jù)集采用標(biāo)準(zhǔn)固定的訓(xùn)練集、驗(yàn)證集、測試集，從每類中選取20個(gè)帶標(biāo)簽的節(jié)點(diǎn)(其余節(jié)點(diǎn)僅使用特征信息)用于訓(xùn)練，500個(gè)節(jié)點(diǎn)用于驗(yàn)證，1 000個(gè)節(jié)點(diǎn)用于測試.

3.2 分類性能對比

本文選擇如下對比網(wǎng)絡(luò)：GCN[15]、GAT[18]、GCNII[24]、 S2GC[25]、 GRAND[26]、 GRAND++[27]、APPNP[29]、DGCN(Dual Graph Convolutional Net-works)[34]、 JK-Nets(Jumping Knowledge Networks)[35].

各網(wǎng)絡(luò)在3個(gè)數(shù)據(jù)集上的最高分類精度如表3所示，表中括號(hào)里的數(shù)字對應(yīng)模型的層數(shù).

表3 各網(wǎng)絡(luò)在3個(gè)數(shù)據(jù)集上的分類精度

由表3可看出，在Cora、CiteSeer數(shù)據(jù)集上，本文網(wǎng)絡(luò)的分類精度最高，相比GCN等淺層模型，本文網(wǎng)絡(luò)的分類精度提升超過5.5%，這主要是因?yàn)殡p分支深度網(wǎng)絡(luò)具有更大的聚合范圍，可獲得更豐富的高階語義特征.相比GCNII等深層模型，本文網(wǎng)絡(luò)至少提升1.1%的分類精度，并且分類精度可憑借相對較淺的層數(shù)超越對比方法更深層數(shù)的結(jié)果.這得益于多分支的信息交互機(jī)制，在同樣的網(wǎng)絡(luò)深度下，本文網(wǎng)絡(luò)可獲取更高階的語義特征，進(jìn)一步避免出現(xiàn)過平滑現(xiàn)象.在PubMed數(shù)據(jù)集上，本文網(wǎng)絡(luò)同樣取得最優(yōu)結(jié)果，對比次優(yōu)的GCNII、S2GC，在相同的網(wǎng)絡(luò)深度下仍有0.5%的提升.上述結(jié)果皆證實(shí)本文網(wǎng)絡(luò)可提取更充分高階語義特征，獲得更精確的節(jié)點(diǎn)表示.

3.3 不同層數(shù)下的分類性能對比

各網(wǎng)絡(luò)在不同層數(shù)下的分類精度對比如表4所示，表中黑體數(shù)字表示最優(yōu)值.

表4 各網(wǎng)絡(luò)在不同層數(shù)下的分類精度

在Cora、CiteSeer數(shù)據(jù)集上，本文網(wǎng)絡(luò)在各層數(shù)都達(dá)到最優(yōu)值，隨著深度的增加，本文網(wǎng)絡(luò)的分類精度也在不斷提高.在PubMed數(shù)據(jù)集上，本文網(wǎng)絡(luò)在8層及更高的層數(shù)上都取得最優(yōu)值，并且隨著深度的增加仍保持良好性能.上述結(jié)果主要?dú)w因于通道信息交互機(jī)制及雙分支網(wǎng)絡(luò)結(jié)構(gòu)，同時(shí)本文網(wǎng)絡(luò)緩解原始圖數(shù)據(jù)中存在的長尾分布問題，使所有節(jié)點(diǎn)都能獲取足夠的語義特征.另一方面，GCN在深度增加時(shí)，分類精度出現(xiàn)迅速下降，JK-Nets在一定程度上抑制過平滑，但深度模型的性能仍不如淺層模型，這意味著這些方法仍存在過平滑問題.這主要是由于節(jié)點(diǎn)的相似性信息在圖卷積操作時(shí)遭到破壞.

總之，由于設(shè)計(jì)的信息交互機(jī)制及網(wǎng)絡(luò)結(jié)構(gòu)，本文網(wǎng)絡(luò)可通過深度圖卷積網(wǎng)絡(luò)提取更充分的高階語義特征，并防止過平滑現(xiàn)象.

3.4 超參數(shù)分析

本節(jié)討論3個(gè)重要超參數(shù)：重構(gòu)圖結(jié)構(gòu)時(shí)k近鄰的數(shù)量，控制初始?xì)埐钸B接權(quán)重的α、β.其它實(shí)驗(yàn)設(shè)置在測試時(shí)保持不變.

首先，通過實(shí)驗(yàn)判斷不同數(shù)量的鄰居個(gè)數(shù)的影響.鄰居數(shù)量k=2,4,8,16,32,64.k不同時(shí)本文網(wǎng)絡(luò)在3個(gè)數(shù)據(jù)集上的平均分類精度如表5所示，表中黑體數(shù)字表示最優(yōu)值.由表可看出，在Cora、PubMed數(shù)據(jù)集上，隨著k的增加，分類精度總體呈上升趨勢.在CiteSeer數(shù)據(jù)集上，當(dāng)k=4時(shí)取得最優(yōu)值，而k繼續(xù)增大時(shí)沒有進(jìn)一步的提升.總之，k值會(huì)影響分類精度，本文網(wǎng)絡(luò)在Cora、CiteSeer、PubMed數(shù)據(jù)集上最優(yōu)的鄰居數(shù)量k分別為64，4，64.由于Cora、PubMed數(shù)據(jù)集上節(jié)點(diǎn)的特征維度相對較低，需要聚合更多的鄰居以獲取充足的信息，而CiteSeer數(shù)據(jù)集上節(jié)點(diǎn)的特征維度相對較高，無需大量的鄰居也能獲得足夠信息.

表5 k不同時(shí)本文網(wǎng)絡(luò)的分類精度

下面驗(yàn)證α、β對分類精度的影響.α、β取值不同時(shí)，本文網(wǎng)絡(luò)在3個(gè)數(shù)據(jù)集上的分類精度如圖2所示，同時(shí)控制每個(gè)數(shù)據(jù)集上表現(xiàn)最優(yōu)的鄰居數(shù)量k的選取.選取具有代表性的層數(shù)：2層、64層，分別表示淺層網(wǎng)絡(luò)及深層網(wǎng)絡(luò).當(dāng)α或β為0時(shí)，分別表示未使用初始?xì)埐钸B接和通道信息交互.由圖2可見，對于淺層網(wǎng)絡(luò)，分類精度總體表現(xiàn)出“邊緣低中心高”的特點(diǎn)，這表明當(dāng)α和β在合理范圍內(nèi)時(shí)，通過本文網(wǎng)絡(luò)可得到更好的節(jié)點(diǎn)表示.而對于深層網(wǎng)絡(luò)，當(dāng)α或β趨向于0時(shí)，分類精度嚴(yán)重下滑，原因是此時(shí)出現(xiàn)過平滑現(xiàn)象，這表明通過本文網(wǎng)絡(luò)可有效防止過平滑現(xiàn)象.

圖2 α、 β不同時(shí)本文網(wǎng)絡(luò)的分類精度

總之，本文網(wǎng)絡(luò)中α、β的取值都在0.1左右時(shí)取得相對較高的精度，這是因?yàn)檫^小的取值會(huì)抑制通道交互，出現(xiàn)過平滑現(xiàn)象，而過大的取值會(huì)影響聚合高階語義特征的效率，導(dǎo)致網(wǎng)絡(luò)在相同的深度下獲取更少的信息.

3.5 消融實(shí)驗(yàn)結(jié)果

在本文網(wǎng)絡(luò)中，有兩個(gè)核心模塊：通道信息交互機(jī)制以及圖結(jié)構(gòu)重構(gòu).為了評估模塊的有效性，設(shè)計(jì)如下的消融實(shí)驗(yàn).1)網(wǎng)絡(luò)A：本文網(wǎng)絡(luò)，即同時(shí)應(yīng)用通道信息交互機(jī)制及重構(gòu)圖結(jié)構(gòu).2)網(wǎng)絡(luò)B：無通道信息交互機(jī)制的網(wǎng)絡(luò).3)網(wǎng)絡(luò)C：未使用重構(gòu)的結(jié)構(gòu)的網(wǎng)絡(luò).不同模塊對分類精度的影響如表6所示，各網(wǎng)絡(luò)均使用3.4節(jié)中最佳超參數(shù)設(shè)置.由表可得：

表6 不同模塊對分類精度的影響

1)由于通道信息交互機(jī)制具有保持節(jié)點(diǎn)特征多樣性的特點(diǎn)，當(dāng)沒有采樣通道信息交互機(jī)制時(shí)，分類性能在3個(gè)數(shù)據(jù)集上都會(huì)下降，這說明通道信息交互機(jī)制的有效性.

2)由余弦相似度構(gòu)造的重構(gòu)圖結(jié)構(gòu)在Cora、CiteSeer數(shù)據(jù)集上對節(jié)點(diǎn)分類起到重要作用，這表明余弦相似度更有利于詞袋屬性數(shù)據(jù)集上的節(jié)點(diǎn)分類.而在PubMed數(shù)據(jù)集上網(wǎng)絡(luò)A同樣在16層時(shí)取得最高的分類精度，這表明本文網(wǎng)絡(luò)可充分提取高階語義特征.此外，由于重構(gòu)的圖結(jié)構(gòu)中每個(gè)節(jié)點(diǎn)都具有數(shù)量相似的鄰居節(jié)點(diǎn)，降低原始圖結(jié)構(gòu)中長尾分布帶來的負(fù)面影響.總之，上述實(shí)驗(yàn)結(jié)果皆驗(yàn)證本文網(wǎng)絡(luò)的有效性.

3.6 可視化分析

t-SNE(t-Distributed Stochastic Neighbor Embe-dding)[36]是一種高維數(shù)據(jù)可視化的工具，本文以Cora數(shù)據(jù)集為例，對單支網(wǎng)絡(luò)(GCNII)、雙分支無交互網(wǎng)絡(luò)、雙分支通道交互網(wǎng)絡(luò)輸出進(jìn)行可視化，結(jié)果如圖3所示.由圖可看到，3種設(shè)置都具有可觀的分類效果，但雙分支通道交互網(wǎng)絡(luò)明顯具有更精確的聚類效果.由于網(wǎng)絡(luò)獲得更準(zhǔn)確的節(jié)點(diǎn)表示，同類的樣本點(diǎn)之間更緊湊，而通道信息交互機(jī)制帶來的特征多樣性又能使不同類別的節(jié)點(diǎn)更有區(qū)分性，具體表現(xiàn)為圖中不同類別的樣本點(diǎn)更分離、邊界更分明.這也進(jìn)一步說明本文的雙分支結(jié)構(gòu)及通道信息交互機(jī)制能明顯改善分類結(jié)果.

圖3 t-SNE可視化結(jié)果

4 結(jié) 束 語

本文提出雙分支多交互的深度圖卷積網(wǎng)絡(luò).核心思想在于設(shè)計(jì)通道信息交互的機(jī)制，構(gòu)造采用多鄰接矩陣的雙分支網(wǎng)絡(luò)結(jié)構(gòu).通過通道信息交互機(jī)制，節(jié)點(diǎn)特征的多樣性得到增強(qiáng)，網(wǎng)絡(luò)得以擴(kuò)展到更深的層次，并進(jìn)一步解決過平滑問題.另一方面，利用節(jié)點(diǎn)特征相似度重構(gòu)圖結(jié)構(gòu)，可同時(shí)考慮圖的結(jié)構(gòu)信息與節(jié)點(diǎn)相似度信息，解決圖卷積操作后節(jié)點(diǎn)特征相似性被破壞的問題.基于這兩個(gè)核心思想，在相同的深度下，本文網(wǎng)絡(luò)可提取更充分的高階語義特征.實(shí)驗(yàn)表明，本文網(wǎng)絡(luò)有效提高半監(jiān)督節(jié)點(diǎn)分類精度，并抑制過平滑問題的出現(xiàn).

總之，本文網(wǎng)絡(luò)能學(xué)習(xí)到一組準(zhǔn)確的節(jié)點(diǎn)表示并用于下游任務(wù).針對不同數(shù)據(jù)集的特性，后續(xù)工作可設(shè)計(jì)更多相似度計(jì)算方式，構(gòu)造更多不同的圖結(jié)構(gòu)，在更多數(shù)據(jù)集上獲得更優(yōu)結(jié)果.另一方面，本文的圖結(jié)構(gòu)重構(gòu)相當(dāng)于提取圖的部分先驗(yàn)信息.因此，后續(xù)可嘗試對節(jié)點(diǎn)標(biāo)簽極少的圖數(shù)據(jù)開展節(jié)點(diǎn)分類任務(wù).