陳天超

(蘭州職業(yè)技術(shù)學(xué)院 信息工程學(xué)院, 甘肅蘭州730070)

隨著信息技術(shù)的廣泛應(yīng)用,真實(shí)世界的許多應(yīng)用場(chǎng)景都可使用網(wǎng)絡(luò)進(jìn)行建模,網(wǎng)絡(luò)表示學(xué)習(xí)隨之成為網(wǎng)絡(luò)研究的熱點(diǎn)之一。異構(gòu)信息網(wǎng)絡(luò)比同構(gòu)網(wǎng)絡(luò)具有更加豐富的信息,能夠靈活地建立各個(gè)領(lǐng)域的異構(gòu)數(shù)據(jù),直觀清晰地描述節(jié)點(diǎn)類型及其關(guān)系的多樣性。緣于以上優(yōu)勢(shì),異質(zhì)圖分析也迅速成為機(jī)器學(xué)習(xí)、信息檢索等領(lǐng)域的研究熱點(diǎn)。隨之,如何挖掘異質(zhì)圖中所蘊(yùn)含的豐富的異構(gòu)信息亦成為一項(xiàng)新的挑戰(zhàn)。

為了捕獲存在于異構(gòu)圖中豐富的語義信息,實(shí)現(xiàn)網(wǎng)絡(luò)節(jié)點(diǎn)的精確表示,學(xué)者們提出了很多經(jīng)典的方法,代表性模型如DeepWalk[1]。其中,有些方法利用網(wǎng)絡(luò)模式的元路徑來分析、理解異質(zhì)圖中對(duì)象和關(guān)系的語義。有文獻(xiàn)提出使用元路徑指導(dǎo)的隨機(jī)游走和異構(gòu)Skip-Gram來學(xué)習(xí)異構(gòu)信息網(wǎng)絡(luò)的語義信息[2]。有文獻(xiàn)指出利用元路徑信息將異質(zhì)圖轉(zhuǎn)換為同質(zhì)網(wǎng)絡(luò),并應(yīng)用 DeepWalk來學(xué)習(xí)節(jié)點(diǎn)表示[3]。有文獻(xiàn)提出一種基于對(duì)抗解耦器的異質(zhì)圖表示框架,使用元路徑解耦器將每個(gè)元路徑下的節(jié)點(diǎn)表示分別映射至固有和特有空間中[4]。以上各種方法的元路徑均為預(yù)先指定,不能保證窮盡所有可能的元路徑,會(huì)造成信息損失。因此,有研究人員提出了一種基于多視角嵌入融合的推薦模型,分別從同質(zhì)關(guān)聯(lián)和異質(zhì)關(guān)聯(lián)來挖掘異構(gòu)信息網(wǎng)絡(luò)的深層潛在特征并加以融合[5]。為了能夠更好地捕捉非線性關(guān)系,有些行業(yè)和領(lǐng)域開始利用深度模型來對(duì)異質(zhì)圖進(jìn)行建模。有文獻(xiàn)指出使用一個(gè)自動(dòng)編碼器結(jié)構(gòu)來同時(shí)優(yōu)化一階和二階相似度,學(xué)習(xí)得到的向量表示能夠保留局部和全局結(jié)構(gòu),并且對(duì)稀疏網(wǎng)絡(luò)具有魯棒性[6]。有文獻(xiàn)借助對(duì)抗生成網(wǎng)絡(luò)或者對(duì)抗生成網(wǎng)絡(luò)加注意力機(jī)制的方式實(shí)現(xiàn)了異構(gòu)信息網(wǎng)絡(luò)的嵌入學(xué)習(xí)[7-8]。然而這些方法沒有充分考慮鄰域信息,或者沒有將鄰域信息與元路徑信息聚合獲取更豐富的語義特征。

針對(duì)以上問題,筆者提出一種基于圖神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制的異質(zhì)圖嵌入模型,分別從同質(zhì)和異質(zhì)兩種視角挖掘異質(zhì)圖的深層特征,學(xué)習(xí)節(jié)點(diǎn)嵌入。具體將從以下兩點(diǎn)做起:從同質(zhì)關(guān)聯(lián)出發(fā),挖掘有用的元路徑模式,并生成節(jié)點(diǎn)序列,過濾與初始節(jié)點(diǎn)類型不同的節(jié)點(diǎn),學(xué)習(xí)節(jié)點(diǎn)基于元路徑的嵌入;從異質(zhì)關(guān)聯(lián)出發(fā),構(gòu)建二部圖,提取節(jié)點(diǎn)的多階鄰域,使用圖神經(jīng)網(wǎng)絡(luò)聚合節(jié)點(diǎn)的多階領(lǐng)域信息,獲得節(jié)點(diǎn)基于領(lǐng)域的表征。最后,有效整合上述兩種嵌入得到最終的網(wǎng)絡(luò)表示。

一、知識(shí)準(zhǔn)備

(一)符號(hào)說明與問題定義

輸入:異質(zhì)圖G=(V,E)。

輸出:(1)元路徑集合{P1,P2,…PM};(2)映射函數(shù),將每個(gè)節(jié)點(diǎn)投影到Rd中的一個(gè)低維向量,其中d表示向量的維度,滿足d?|v|。

(二)基于GNN和注意力的異質(zhì)圖嵌入模型

HeteRep模型的框架圖如圖1所示,該模型分為三個(gè)步驟,在下面將進(jìn)行詳細(xì)描述。

圖1 HeteRep模型框架

二、HeteRep模型

給定異質(zhì)圖G=(V,E),目標(biāo)是為每個(gè)節(jié)點(diǎn)v∈V學(xué)習(xí)一個(gè)低維表示u,使得u能夠高度總結(jié)異質(zhì)圖中節(jié)點(diǎn)所蘊(yùn)含的信息特征。

(一)基于元路徑的嵌入

(1)

由于異質(zhì)圖圖中存在大量跨多個(gè)節(jié)點(diǎn)類型的語義關(guān)系,它們攜帶的語義也存在差異,故不同的元路徑包含了不同的語義信息。另外,注意力機(jī)制用于自動(dòng)學(xué)習(xí)和計(jì)算輸入數(shù)據(jù)對(duì)輸出數(shù)據(jù)的貢獻(xiàn)程度,因此,在上述模型中引入注意力機(jī)制,讓模型學(xué)習(xí)并感知有用元路徑序列中哪些是更重要的,哪些是不那么重要的,從而有選擇地學(xué)習(xí)到更有價(jià)值的語義信息。

設(shè)第i條元路徑Pi指導(dǎo)下的向量表示u(pi)的注意力得分?i,其計(jì)算方式如公式(2)所示:

ai=qTtanh(V×u(pi)+v)

(2)

(3)

其中V和v為注意力網(wǎng)絡(luò)中的投影參數(shù),q為注意力查詢向量,m元路徑的條數(shù)?；谠窂降淖罱K嵌入qp為各條元路徑向量表示的加權(quán)和。

(4)

優(yōu)化過程如公式(5)所示

(5)

其中l(wèi)ogPr表示對(duì)數(shù)概率,f(v)是將頂點(diǎn)映射為嵌入向量的映射函數(shù),對(duì)于圖中每個(gè)頂點(diǎn)v,定義Ns(v)為通過采樣策略采樣出的頂點(diǎn)v的近鄰頂點(diǎn)集合。如此便可以學(xué)習(xí)到節(jié)點(diǎn)在不同元路徑下的向量表示集合E={u(p1),u(p2),…,u(pm)}。

(二)基于鄰域的嵌入

基于元路徑的隨機(jī)游走生成節(jié)點(diǎn)序列,然后過濾掉與起始節(jié)點(diǎn)不同類型的節(jié)點(diǎn),會(huì)導(dǎo)致信息缺失,因此本節(jié)考慮添加節(jié)點(diǎn)的二階鄰居表示。

在推薦場(chǎng)景中,“用戶—項(xiàng)目交互”可以很容易地表示為具有兩種類型節(jié)點(diǎn)的二部圖。從異質(zhì)圖中提取出“用戶—項(xiàng)目”二部圖,根據(jù)“用戶—項(xiàng)目”二部圖找到節(jié)點(diǎn)的一階鄰居和二階鄰居,應(yīng)用二部圖卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)表示。

以用戶類型的節(jié)點(diǎn)u為例,二部圖卷積神經(jīng)網(wǎng)絡(luò)對(duì)第一層到二層的鄰居進(jìn)行采樣后,通過圖卷積迭代聚合兩跳鄰域信息,對(duì)用戶節(jié)點(diǎn)和項(xiàng)目節(jié)點(diǎn)進(jìn)行編碼。每個(gè)用戶u和項(xiàng)目m都學(xué)習(xí)了初始嵌入eu和em。目標(biāo)用戶u的第一層嵌入的表示如公式(6)所示:

(6)

其中eu是初始用戶嵌入,Con表示拼接操作,σ(.)是tanh的激活函數(shù),是跨所有用戶節(jié)點(diǎn)共享的第k層轉(zhuǎn)換權(quán)重矩陣。學(xué)習(xí)到的鄰域嵌入,其計(jì)算過程如公式(7)所示:

(7)

其中em是初始項(xiàng)目嵌入AGG表示聚合器,一般采用均值聚合器,N(u)表示用戶u鄰居。

以上操作便可以聚合到用戶的一階鄰居,下面以迭代的方式聚合二階鄰居,如公式(8)和(9)所示:

(8)

(9)

(三)信息整合

至此,我們得到了目標(biāo)節(jié)點(diǎn)在兩個(gè)視角下的節(jié)點(diǎn)表示qp和qn,這兩部分信息對(duì)于節(jié)點(diǎn)的深層特征表示都尤為重要,將其拼接得到節(jié)點(diǎn)最終的向量表示向量u。

u=[qp,qn]

(10)

項(xiàng)目節(jié)點(diǎn)的向量表示,其過程與上述用戶節(jié)點(diǎn)的向量表示生成過程完全相同。

三、實(shí)驗(yàn)和結(jié)果分析

本文將通過大量實(shí)驗(yàn)來驗(yàn)證HeteRep模型的性能。

(一)數(shù)據(jù)集

我們使用兩個(gè)廣泛使用的公測(cè)數(shù)據(jù)AMiner和DBIS構(gòu)建異構(gòu)的協(xié)作網(wǎng)絡(luò)。其中,AMiner數(shù)據(jù)集包括1,693,531名作者,來自3883個(gè)計(jì)算機(jī)科學(xué)場(chǎng)所的3,194,405篇論文;DBIS數(shù)據(jù)集涵蓋了464個(gè)場(chǎng)所,前5000名作者,以及相應(yīng)的72,902份出版物。

(二)評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)選取廣泛使用的受試者工作特征曲線下的面積(Area Under Curve, AUC)、平均倒數(shù)排名(Mean Reciprocal Rank, MRR)和歸一化累積增益(Normalized Discounted Cumulative Gain, NDCG)作為異質(zhì)圖嵌入表示任務(wù)的評(píng)價(jià)指標(biāo)。

(三)基線方法

為評(píng)估本文方法的性能,選取以下五種方法作為基線方法,具體描述如下:

DeepWalk:該模型使用截?cái)嚯S機(jī)游走獲得局部信息,通過將游走序列視為句子的等價(jià)物來學(xué)習(xí)潛在表示[1]。

HIN2Vec:該框架利用節(jié)點(diǎn)之間不同類型的關(guān)系來捕獲嵌入在HINs中的豐富語義,學(xué)習(xí)HIN中節(jié)點(diǎn)和元路徑的潛在向量[3]。

HetGNN:該方法采用圖神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),保持了一階和二階接近性[10]。

MAGNN: 該模型設(shè)計(jì)候選編碼器函數(shù)從集合實(shí)例中提取信息,提出新的元路徑聚合方法用于異質(zhì)圖的嵌入學(xué)習(xí)[11];

HEAD:該模型提出基于對(duì)抗解耦器的異質(zhì)圖嵌入框架,使用元路徑解耦器將每個(gè)元路徑下的節(jié)點(diǎn)表示分別映射至固有和特有空間中[6]。

(四)實(shí)驗(yàn)結(jié)果與分析

1.與基線方法的性能對(duì)比

表1和表2列出了在AMiner數(shù)據(jù)集和DBIS數(shù)據(jù)集上分類結(jié)果的實(shí)驗(yàn)。從實(shí)驗(yàn)結(jié)果可以看出,本文的HeteRep方法在Macro-F1和Micro-F1兩個(gè)指標(biāo)下的表現(xiàn)明顯優(yōu)于其他四個(gè)對(duì)比方法。為會(huì)議節(jié)點(diǎn)預(yù)測(cè)類別信息,當(dāng)給定較小規(guī)模的訓(xùn)練數(shù)據(jù)集時(shí),HeteRep方法的優(yōu)勢(shì)十分明顯。例如,當(dāng)給定30%的節(jié)點(diǎn)作為訓(xùn)練數(shù)據(jù)集時(shí),HeteRep方法與DeepWalk、HIN2Vec、GraphSAGE、HetGNN、MAGNN、HEAD相比較,可得在Macro-F1指標(biāo)下有了0.01-0.63的提高,而在Micro-F1指標(biāo)下有了0.01-0.59的提高?？偟膩碚f,HeteRep方法能夠更好地學(xué)習(xí)異構(gòu)節(jié)點(diǎn)嵌入,原因在于它不僅通過元路徑學(xué)習(xí)了節(jié)點(diǎn)的語義信息,而且聚合了二階鄰居信息,這樣便可以全面地學(xué)習(xí)到節(jié)點(diǎn)的向量表示。此外,本文所提出的HeteRep方法結(jié)果均高于其他方法。

表1 在AMiner數(shù)據(jù)集上多類別會(huì)議節(jié)點(diǎn)分類結(jié)果

表2 在DBIS數(shù)據(jù)集上多類別會(huì)議節(jié)點(diǎn)分類結(jié)果

2.消融實(shí)驗(yàn)

為了說明HeteRep方法各個(gè)組成部分的重要性,構(gòu)建了HeteRep方法的兩種變體:

(1) HeteRep-m:僅考慮通過元路徑信息學(xué)習(xí)網(wǎng)絡(luò)表示;

(2) HeteRep-n:僅考慮領(lǐng)域信息學(xué)習(xí)網(wǎng)絡(luò)表示;

(3) HeteRep:考慮元路徑信息和領(lǐng)域信息。

從圖2和圖3可以看出,完整的HeteRep方法始終優(yōu)于其他幾種去除任意一個(gè)組件的變體。HeteRep-m和HeteRep-n的性能比較差,說明僅考慮通過元路徑生成路徑序列或者僅考慮聚合鄰居信息不能提供足夠的信息,無法得到高質(zhì)量的向量表示。與HeteRep-m和HeteRep-n相比,HeteRep方法的性能有顯著提升。

圖2 AMiner 數(shù)據(jù)集上的消融實(shí)驗(yàn)

圖3 DBIS數(shù)據(jù)集上的消融實(shí)驗(yàn)

3.超參數(shù)敏感度實(shí)驗(yàn)

本實(shí)驗(yàn)主要針對(duì)HeteRep模型的超參數(shù)進(jìn)行敏感性分析,圖4的曲線圖顯示了實(shí)驗(yàn)結(jié)果。

圖4 向量維度d性能的影響

如圖所示,通過評(píng)估維度對(duì)向量表示的影響,d(向量維度)分別取25,50,75,100,125,150,175,200,225。通過精確度對(duì)向量表示進(jìn)行評(píng)估,可以看出d取150時(shí),表示學(xué)習(xí)效果最好。

四、結(jié)語

本文基于現(xiàn)有方法提出了基于圖神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制的異質(zhì)圖嵌入模型。該方法分別從同質(zhì)關(guān)聯(lián)視角和異質(zhì)關(guān)聯(lián)視角將基于元路徑的鄰居信息和基于鄰域信息的節(jié)點(diǎn)特征進(jìn)行整合,有效地學(xué)習(xí)了節(jié)點(diǎn)表征。在真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,本文所提出的方法可以有效地改善節(jié)點(diǎn)表示。