陳 潔，陳嘉琳，趙 姝+，張燕平

1.安徽大學(xué) 計(jì)算智能與信號(hào)處理教育部重點(diǎn)實(shí)驗(yàn)室，合肥 230601

2.安徽大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，合肥 230601

網(wǎng)絡(luò)嵌入（network embedding，NE）是一種旨在學(xué)習(xí)網(wǎng)絡(luò)節(jié)點(diǎn)的低維向量表示的方法，使其保留網(wǎng)絡(luò)的重要性質(zhì)，如反映節(jié)點(diǎn)間相似性的網(wǎng)絡(luò)結(jié)構(gòu)、節(jié)點(diǎn)屬性等，所得向量表示可用以解決基于圖的各種下游任務(wù)，如分類[1]、聚類、鏈路預(yù)測(cè)和個(gè)性化推薦[2]等。通過網(wǎng)絡(luò)嵌入將異質(zhì)信息投影到同一個(gè)低維空間，能夠更好地捕捉到網(wǎng)絡(luò)中復(fù)雜的結(jié)構(gòu)和豐富的語義信息，具有重要意義。

近年來，研究者們提出各種網(wǎng)絡(luò)嵌入方法，學(xué)習(xí)圖的結(jié)構(gòu)或節(jié)點(diǎn)之間的鄰接關(guān)系，將所有節(jié)點(diǎn)映射為等維度的向量，學(xué)習(xí)網(wǎng)絡(luò)中節(jié)點(diǎn)的低維表示。實(shí)際上，除結(jié)構(gòu)信息，網(wǎng)絡(luò)節(jié)點(diǎn)上的屬性信息，如文本、標(biāo)簽、得分等，也是網(wǎng)絡(luò)嵌入需保留的重要信息。目前網(wǎng)絡(luò)嵌入主要可以分為三類：第一類網(wǎng)絡(luò)嵌入只考慮網(wǎng)絡(luò)的結(jié)構(gòu)信息；第二類網(wǎng)絡(luò)嵌入不但考慮網(wǎng)絡(luò)的結(jié)構(gòu)信息，還考慮網(wǎng)絡(luò)節(jié)點(diǎn)的屬性信息；第三類屬于有監(jiān)督學(xué)習(xí)，在網(wǎng)絡(luò)嵌入時(shí)，引入標(biāo)簽的監(jiān)督作用，綜合考慮網(wǎng)絡(luò)的結(jié)構(gòu)信息、節(jié)點(diǎn)的屬性信息以及標(biāo)簽信息。

現(xiàn)實(shí)中，許多網(wǎng)絡(luò)節(jié)點(diǎn)不僅具有標(biāo)簽信息，而且標(biāo)簽具有豐富的層次結(jié)構(gòu)，圖1 列出了ACM 計(jì)算分類體系（computing classification system，CCS）中的部分層次化標(biāo)簽。一篇論文分配標(biāo)簽時(shí)，首先被分配到葉子節(jié)點(diǎn)，然后可以使用從頂層標(biāo)簽到葉子標(biāo)簽的路徑中涉及的所有標(biāo)簽進(jìn)行分層標(biāo)記。由圖1 可知，一篇關(guān)于機(jī)器翻譯（machine translation）的論文和一篇關(guān)于信息提取（information extraction）的論文具有兩個(gè)不同的標(biāo)簽，這兩個(gè)標(biāo)簽位于分類樹的第四層（根節(jié)點(diǎn)為第0 層）。但從第三層次來看，這兩類論文是相似的，因?yàn)樗鼈兌紝儆谧匀徽Z言處理（natural language processing，NLP）這個(gè)共同的父節(jié)點(diǎn)。由此可以看出，不同層次的標(biāo)簽揭示不同粒度的相似性。層次標(biāo)簽以最簡潔的方式展示了數(shù)據(jù)不同粒度的特征，通過層次結(jié)構(gòu)展示了多視角下的分類結(jié)果[3-4]。

Fig.1 Part of ACM computing classification system圖1 部分ACM 計(jì)算分類體系

然而，現(xiàn)有基于標(biāo)簽的屬性網(wǎng)絡(luò)嵌入方法大都未曾考慮標(biāo)簽信息的層次性，只使用單一粒度層面的標(biāo)簽信息。因此，如何引入分層標(biāo)簽信息進(jìn)行監(jiān)督學(xué)習(xí)，指導(dǎo)網(wǎng)絡(luò)嵌入是本文研究的要點(diǎn)。本文將從以下兩方面進(jìn)行研究：首先研究如何利用層次標(biāo)簽信息指導(dǎo)屬性網(wǎng)絡(luò)嵌入，生成多層次嵌入結(jié)果；再研究如何基于不同層次標(biāo)簽之間的關(guān)聯(lián)關(guān)系進(jìn)行嵌入向量的融合。

通過對(duì)上述兩個(gè)問題的研究，本文提出一種新的網(wǎng)絡(luò)嵌入框架，基于層次標(biāo)簽的屬性網(wǎng)絡(luò)嵌入框架（hierarchical labels guided attributed network embedding framework，HLANE）。該框架在多個(gè)標(biāo)簽層次上進(jìn)行網(wǎng)絡(luò)嵌入，充分考慮層次標(biāo)簽之間的關(guān)聯(lián)關(guān)系，獲得不同層次下的節(jié)點(diǎn)向量表示。本文的主要貢獻(xiàn)包括：

（1）針對(duì)現(xiàn)有網(wǎng)絡(luò)嵌入方法未考慮標(biāo)簽的層次性這一問題，提出基于層次標(biāo)簽的屬性網(wǎng)絡(luò)嵌入框架。利用標(biāo)簽的層次信息，指導(dǎo)屬性網(wǎng)絡(luò)嵌入，獲得更有效的節(jié)點(diǎn)向量表示。

（2）提出基于層次標(biāo)簽的屬性網(wǎng)絡(luò)嵌入框架HLANE，利用節(jié)點(diǎn)層次標(biāo)簽指導(dǎo)網(wǎng)絡(luò)嵌入，學(xué)習(xí)有效的節(jié)點(diǎn)嵌入表示。通過構(gòu)建層次注意力層，基于屬性信息建立層次標(biāo)簽之間的關(guān)聯(lián)關(guān)系。

（3）實(shí)驗(yàn)結(jié)果表明了HLANE 框架的有效性。HLANE 框架有效提高了基準(zhǔn)網(wǎng)絡(luò)嵌入算法在分類任務(wù)上的性能。

1 相關(guān)工作

本章從基于結(jié)構(gòu)的網(wǎng)絡(luò)嵌入、屬性網(wǎng)絡(luò)嵌入和基于標(biāo)簽的屬性網(wǎng)絡(luò)嵌入三方面介紹網(wǎng)絡(luò)嵌入的相關(guān)研究現(xiàn)狀，其中基于結(jié)構(gòu)的網(wǎng)絡(luò)嵌入是指網(wǎng)絡(luò)嵌入時(shí)僅考慮網(wǎng)絡(luò)的結(jié)構(gòu)信息；屬性網(wǎng)絡(luò)嵌入指網(wǎng)絡(luò)嵌入時(shí)考慮網(wǎng)絡(luò)的結(jié)構(gòu)信息和節(jié)點(diǎn)的屬性信息；基于標(biāo)簽的屬性網(wǎng)絡(luò)嵌入指網(wǎng)絡(luò)嵌入時(shí)綜合考慮網(wǎng)絡(luò)的結(jié)構(gòu)信息、屬性信息以及標(biāo)簽信息。

1.1 基于結(jié)構(gòu)的網(wǎng)絡(luò)嵌入方法

基于結(jié)構(gòu)的網(wǎng)絡(luò)嵌入方法只考慮網(wǎng)絡(luò)的結(jié)構(gòu)信息，忽略節(jié)點(diǎn)屬性。這類網(wǎng)絡(luò)嵌入的常用算法有Deep-Walk[5]、Node2Vec[6]、LINE（large-scale information network embedding）[7]、NetMF（network embedding as matrix factorization）[8]和NECS（network embedding with community structural information）[9]等。Deep-Walk、Node2Vec 和LINE 這三種算法均基于隨機(jī)游走或邊緣采樣獲取節(jié)點(diǎn)的鄰域信息生成向量，該類方法首先利用Skip-gram[10]進(jìn)行節(jié)點(diǎn)嵌入，然后通過矩陣分解近似求解；NetMF 是一個(gè)統(tǒng)一的矩陣因式分解框架，從理論上理解和改進(jìn)了DeepWalk 和LINE；NECS 算法通過發(fā)現(xiàn)網(wǎng)絡(luò)中的社區(qū)結(jié)構(gòu)保留節(jié)點(diǎn)間的高階近似性，從而學(xué)習(xí)節(jié)點(diǎn)的向量表示。這些方法以低維向量表示節(jié)點(diǎn)，保留原有的網(wǎng)絡(luò)結(jié)構(gòu)信息。

1.2 屬性網(wǎng)絡(luò)嵌入方法

屬性網(wǎng)絡(luò)的嵌入要求生成的節(jié)點(diǎn)向量不僅包含網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)信息，還要保持節(jié)點(diǎn)屬性信息。目前常見的算法有TADW（text-associated DeepWalk）[11]、ANRL（attributed network representation learning）[12]、STNE（self-translation network embedding）[13]、CAN（co-embedding model for attributed networks）[14]和DANE（deep attributed network embedding）[15]等。TADW 算法通過矩陣分解將節(jié)點(diǎn)的文本特征融入到網(wǎng)絡(luò)表征學(xué)習(xí)中，實(shí)現(xiàn)對(duì)屬性網(wǎng)絡(luò)的嵌入；ANRL 算法使用鄰居增強(qiáng)自編碼器對(duì)節(jié)點(diǎn)屬性信息進(jìn)行建模，并使用Skip-gram 模型捕獲網(wǎng)絡(luò)結(jié)構(gòu)；STNE 模型將節(jié)點(diǎn)屬性和網(wǎng)絡(luò)結(jié)構(gòu)信息融合，通過LSTM（long short-term memory）網(wǎng)絡(luò)學(xué)習(xí)節(jié)點(diǎn)的高階鄰近性；CAN 方法在同一語義空間中同時(shí)實(shí)現(xiàn)屬性和節(jié)點(diǎn)的網(wǎng)絡(luò)嵌入，從而有效度量屬性和節(jié)點(diǎn)之間的相似性；DANE 算法首先獲取網(wǎng)絡(luò)結(jié)構(gòu)和節(jié)點(diǎn)屬性的多階相似性，通過融合多階相似性構(gòu)建屬性網(wǎng)絡(luò)的矩陣表示。此外，研究者們還對(duì)異構(gòu)信息網(wǎng)絡(luò)的表示學(xué)習(xí)進(jìn)行探索，用以求解異構(gòu)網(wǎng)絡(luò)問題[16]。HERec（heterogeneous information network based recommendation）[17]算法基于元路徑的隨機(jī)游走構(gòu)造節(jié)點(diǎn)序列，再分別學(xué)習(xí)同構(gòu)序列的向量表示，最后根據(jù)具體任務(wù)學(xué)習(xí)融合方法，獲得統(tǒng)一的網(wǎng)絡(luò)嵌入；GATNE（general attributed multiplex heterogeneous network embedding）[18]模型實(shí)現(xiàn)了多重異構(gòu)網(wǎng)絡(luò)的表示學(xué)習(xí)。上述方法有效地融合節(jié)點(diǎn)屬性信息和網(wǎng)絡(luò)的結(jié)構(gòu)信息，實(shí)現(xiàn)屬性網(wǎng)絡(luò)的節(jié)點(diǎn)向量表示。

1.3 基于標(biāo)簽的網(wǎng)絡(luò)嵌入方法

基于標(biāo)簽的網(wǎng)絡(luò)嵌入方法利用現(xiàn)有的標(biāo)簽信息來指導(dǎo)網(wǎng)絡(luò)嵌入。該類常規(guī)方法屬于有監(jiān)督學(xué)習(xí)，在網(wǎng)絡(luò)嵌入中引入標(biāo)簽的監(jiān)督作用。如TriDNR（triparty deep network representation）[19]獲取了網(wǎng)絡(luò)中結(jié)構(gòu)信息、屬性信息和標(biāo)簽這三種信息，利用Skip-gram模型實(shí)現(xiàn)三者的信息融合；LANE（label informed attributed network embedding）[20]將屬性網(wǎng)絡(luò)及其相關(guān)標(biāo)簽映射到一個(gè)統(tǒng)一的向量空間中，保持它們之間的相關(guān)性。

基于圖神經(jīng)網(wǎng)絡(luò)的方法是監(jiān)督或半監(jiān)督的，其利用標(biāo)簽信息學(xué)習(xí)節(jié)點(diǎn)向量表示。GCN（graph convolutional networks）[21]使用卷積將鄰居節(jié)點(diǎn)的特征表示融合到自身的特征表示中；GraphSAGE（graph sample and aggregate）[22]方法同時(shí)利用節(jié)點(diǎn)屬性信息和結(jié)構(gòu)信息得到映射函數(shù)，可擴(kuò)展性更強(qiáng)；H-GCN（hierarchical graph convolutional networks）[23]首先對(duì)結(jié)構(gòu)相似的節(jié)點(diǎn)進(jìn)行聚合形成超點(diǎn)，構(gòu)造粗粒度圖，然后細(xì)化回原圖，還原每個(gè)節(jié)點(diǎn)的表示；GWNN（graph wavelet neural network）[24]利用圖小波變換克服傅里葉變換的不足，同時(shí)圖小波變換不需要進(jìn)行運(yùn)算開銷很大的矩陣特征分解，有良好的可解釋性。上述方法均可用以帶標(biāo)簽的屬性網(wǎng)絡(luò)的嵌入，同時(shí)兼顧結(jié)構(gòu)、屬性和標(biāo)簽信息，然而這些方法都忽略了標(biāo)簽的層次性，沒有考慮具有層次標(biāo)簽的網(wǎng)絡(luò)的多層次特征。

2 問題定義

下面給出本文所提問題定義及使用的符號(hào)定義。設(shè)G=(V,E,X)為屬性網(wǎng)絡(luò)，其中V表示|V|個(gè)節(jié)點(diǎn)集合，E為|E|條邊的集合。X∈R|V|×q是包含所有節(jié)點(diǎn)屬性信息的矩陣，其中q表示屬性的個(gè)數(shù)，xv∈R1×q表示節(jié)點(diǎn)v相關(guān)的屬性向量。

定義1（網(wǎng)絡(luò)嵌入[5]）給定網(wǎng)絡(luò)G=(V,E)，通過學(xué)習(xí)得到映射函數(shù)f:G→Z∈R|V|×d，可以將網(wǎng)絡(luò)中每個(gè)節(jié)點(diǎn)v∈V表示為一個(gè)低維向量zv，其中d?|V|。映射函數(shù)f有效保留網(wǎng)絡(luò)的重要屬性。

定義2（層次標(biāo)簽）層次標(biāo)簽是一種樹型結(jié)構(gòu)，可定義為T=(T(0),T(1),…,T(|T|))，其中T(|T|)表示第|T|層的節(jié)點(diǎn)的標(biāo)簽，T(0)表示樹的根。

例如，在圖1 中，T(0)={CCS（計(jì)算分類體系）}，T(2)={Discrete Mathematics（離散數(shù)學(xué)），Information Theory（信息理論），AI（人工智能），Machine Learning（機(jī)器學(xué)習(xí)）}。

問題定義基于層次標(biāo)簽的屬性網(wǎng)絡(luò)嵌入給定一個(gè)網(wǎng)絡(luò)及其層次標(biāo)簽(G,T)，通過學(xué)習(xí)獲得映射函數(shù)f:(G,T)→H∈R|V|×d，將網(wǎng)絡(luò)中每個(gè)節(jié)點(diǎn)v∈V表示為低維向量hv，所得節(jié)點(diǎn)表示向量hv即為基于層次標(biāo)簽的屬性網(wǎng)絡(luò)嵌入。

3 算法描述

本文提出了一種基于層次標(biāo)簽的屬性網(wǎng)絡(luò)嵌入（HLANE)框架。圖2 給出了HLANE 框架的具體架構(gòu)，由三層網(wǎng)絡(luò)構(gòu)成：初始化層、標(biāo)簽-屬性注意力層和分層嵌入層。

3.1 初始化層

對(duì)于給定的屬性網(wǎng)絡(luò)G=(V,E,X)，層次標(biāo)簽T，初始化層用以初始化網(wǎng)絡(luò)嵌入Z∈R|V|×d：

這里的嵌入函數(shù)Nembed(?)可以是目前流行的任一嵌入方法，如基于結(jié)構(gòu)的圖嵌入方法DeepWalk 等或者屬性網(wǎng)絡(luò)的圖嵌入方法STNE 等。

層次標(biāo)簽樹T的編碼可以表示為L=(L(1),L(2),…,L(|T|))，其中L(t)表示以s(t)為長度編碼的第t層的層次標(biāo)簽。層次標(biāo)簽通常采用onehot編碼、標(biāo)簽路徑或其他編碼方法進(jìn)行編碼。

3.2 標(biāo)簽-屬性注意力層

標(biāo)簽-屬性注意力層利用層次標(biāo)簽指導(dǎo)屬性網(wǎng)絡(luò)嵌入，對(duì)初始網(wǎng)絡(luò)嵌入Z進(jìn)行更新，根據(jù)不同層次標(biāo)簽生成一系列屬性網(wǎng)絡(luò)嵌入H(1),H(2),…,H(|T|)。每個(gè)層次的屬性網(wǎng)絡(luò)嵌入包含對(duì)應(yīng)層次的標(biāo)簽信息和節(jié)點(diǎn)屬性信息。

由于層次標(biāo)簽樹有|T|層，該層有|T|個(gè)標(biāo)簽-屬性注意力單元（label-attribute attention，LA-Att)，通過學(xué)習(xí)各層標(biāo)簽與節(jié)點(diǎn)屬性之間的權(quán)重，實(shí)現(xiàn)層次標(biāo)簽之間的信息融合與傳遞。為了表示節(jié)點(diǎn)的每個(gè)標(biāo)簽和每個(gè)屬性之間的重要性，使用注意力機(jī)制來獲取標(biāo)簽-屬性權(quán)重矩陣，第t層節(jié)點(diǎn)v的注意力權(quán)重矩陣為：

Fig.2 Framework of proposed HLANE圖2 HLANE 算法框架

其中，第t-1 層標(biāo)簽j是第t層的標(biāo)簽i的父節(jié)點(diǎn)，*表示哈達(dá)瑪積。層次標(biāo)簽樹的第1 層中，標(biāo)簽沒有父標(biāo)簽信息，第1 層的注意力權(quán)重A(1)=A′(1)。

通過對(duì)父標(biāo)簽權(quán)重的繼承，可以有效實(shí)現(xiàn)層次標(biāo)簽間的信息融合。每個(gè)LA-Att 單元的標(biāo)簽-屬性權(quán)重將統(tǒng)一進(jìn)行標(biāo)準(zhǔn)化。

其中，avg(?)是第t層上標(biāo)簽的平均值函數(shù)。

如圖2 所示的第1 層節(jié)點(diǎn)，使用初始網(wǎng)絡(luò)嵌入Z來指導(dǎo)生成這一層的嵌入:

最后，使用全連接層來保持H(t)的有效特征，并將每一層維度降為d維。

標(biāo)簽-屬性注意力層著力于將層次標(biāo)簽信息和屬性信息集成到初始網(wǎng)絡(luò)嵌入中，并考慮層次間關(guān)聯(lián)關(guān)系。以此實(shí)現(xiàn)基于層次標(biāo)簽的屬性網(wǎng)絡(luò)嵌入方法。

3.3 分層嵌入層

通過多層標(biāo)簽-屬性注意力單元LA-Att，可獲得每層的標(biāo)簽-屬性網(wǎng)絡(luò)嵌入向量，分別對(duì)應(yīng)于每一層的標(biāo)簽。分層嵌入層采用混合生成方法來生成最終的嵌入結(jié)果，并捕獲整個(gè)層次標(biāo)簽樹的信息。首先對(duì)于層次嵌入結(jié)果H(1),H(2),…,H(|T|)，將學(xué)習(xí)到的嵌入向量連接為特定語義的嵌入：

為了保留有效的特征，H′由全連接層降為d維：

采用σ激活函數(shù)生成網(wǎng)絡(luò)的最終嵌入：

由此，HLANE 將節(jié)點(diǎn)屬性、網(wǎng)絡(luò)結(jié)構(gòu)和層次標(biāo)簽信息保存在一個(gè)統(tǒng)一的框架中。節(jié)點(diǎn)向量的初始嵌入在每一層中不斷更新，每層嵌入均繼承父標(biāo)簽的信息。

下面給出HLANE 框架的具體算法：

算法1HLANE

下面對(duì)HLANE 算法進(jìn)行時(shí)間復(fù)雜度分析。對(duì)于第t層中每個(gè)節(jié)點(diǎn)v，注意力權(quán)重矩陣計(jì)算階段（第5 行）的時(shí)間復(fù)雜度為O(|T(t)|×q)，標(biāo)簽-屬性向量生成階段（第6～7 行）的時(shí)間復(fù)雜度為O(|V|×|T(t)|×q2)，層次嵌入生成階段（第9～13 行）的時(shí)間復(fù)雜度為O(|V|×d)。最終嵌入向量生成階段（第15～16 行）的時(shí)間復(fù)雜度為O(d2)+O(|V|×d)。因此，算法HLANE在最差情況下，時(shí)間復(fù)雜度為其中|T|為層次數(shù)，|T(t)|為第t層標(biāo)簽數(shù)，|V|為節(jié)點(diǎn)數(shù)，q為特征數(shù)，d為向量維度。

4 實(shí)驗(yàn)分析

下面給出節(jié)點(diǎn)分類任務(wù)上的對(duì)比實(shí)驗(yàn)結(jié)果及分析，驗(yàn)證HLANE處理節(jié)點(diǎn)分類的有效性，其中節(jié)點(diǎn)分類任務(wù)是現(xiàn)有網(wǎng)絡(luò)嵌入方法評(píng)估中常用的下游任務(wù)。

4.1 數(shù)據(jù)集

本文共使用四個(gè)公用數(shù)據(jù)集：Cora、Citeseer、Paper和Patent。

（1）Cora[25]是一個(gè)包含2 708 篇機(jī)器學(xué)習(xí)論文的引文網(wǎng)絡(luò)，分為7 個(gè)研究領(lǐng)域。引文網(wǎng)絡(luò)共5 278 條邊，表示論文（節(jié)點(diǎn)）之間的引文關(guān)系。每篇論文均包含標(biāo)題和摘要內(nèi)容。該數(shù)據(jù)集只有單層標(biāo)簽信息，實(shí)驗(yàn)完成單標(biāo)簽分類任務(wù)。

（2）Citeseer[25]是一個(gè)引文網(wǎng)絡(luò)數(shù)據(jù)集。它包含6個(gè)研究領(lǐng)域的3 312 篇研究論文，含有4 660 條邊。每篇論文均包含標(biāo)題和摘要內(nèi)容。該數(shù)據(jù)集只有單層標(biāo)簽信息，實(shí)驗(yàn)也是完成單標(biāo)簽分類任務(wù)。

（3）Paper數(shù)據(jù)集是由ACM 數(shù)字圖書館提供的由計(jì)算機(jī)科學(xué)論文組成的數(shù)據(jù)集（https://libraries.acm.org/）。每篇論文至少有一個(gè)標(biāo)簽，這些標(biāo)簽均是CCS分類樹中的節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)的標(biāo)簽層次不固定。提取1980—2017 年的論文數(shù)據(jù)中標(biāo)簽層次|T|為2，3，4的所有論文。數(shù)據(jù)集共提取了28 450 篇論文，每篇論文有10 條語義鏈接邊。每篇論文均有標(biāo)題和摘要內(nèi)容。該數(shù)據(jù)集標(biāo)簽具有層次性，實(shí)驗(yàn)完成多標(biāo)簽分類任務(wù)。

（4）Patent 數(shù)據(jù)集是一個(gè)由USPTO 提供的專利數(shù)據(jù)集（https://www.uspto.gov/patent）。每個(gè)專利至少被標(biāo)記為一個(gè)合作專利分類方案（cooperative patent classification，CPC）號(hào)，CPC 分類是一種具有樹狀結(jié)構(gòu)的分類方案。由于CPC 分類樹葉子節(jié)點(diǎn)過多，選取CPC 號(hào)前3 層，即|T|=3 作為層次標(biāo)簽。首先提取2016—2018 年的專利數(shù)據(jù)，隨后從第二層的每個(gè)標(biāo)簽下包含的專利中隨機(jī)抽取20%數(shù)據(jù)組成本文實(shí)驗(yàn)數(shù)據(jù)集Patent。Patent 數(shù)據(jù)集包括112 065 項(xiàng)授權(quán)的美國專利，使用專利的標(biāo)題和摘要作為屬性。與Paper 數(shù)據(jù)集類似，Patent 數(shù)據(jù)集中每篇專利有10 條語義鏈接邊。該數(shù)據(jù)集上的實(shí)驗(yàn)完成多標(biāo)簽分類任務(wù)。

數(shù)據(jù)集具體信息如表1、表2 所示。表2 給出具有層次標(biāo)簽的數(shù)據(jù)集Paper 和Patent 每個(gè)層次標(biāo)簽的詳細(xì)信息。

Table 1 Information statistics of datasets表1 數(shù)據(jù)集信息統(tǒng)計(jì)

Table 2 Statistics of each layer information of datasets表2 數(shù)據(jù)集單層信息統(tǒng)計(jì)

4.2 對(duì)比算法

為了證明HLANE 框架的有效性，本文選取的對(duì)比算法分為以下三組：

（1）基于結(jié)構(gòu)的網(wǎng)絡(luò)嵌入方法。這類對(duì)比算法只考慮網(wǎng)絡(luò)的結(jié)構(gòu)信息，忽略節(jié)點(diǎn)屬性和標(biāo)簽。如DeepWalk 和Node2Vec 算法，采用隨機(jī)游走生成節(jié)點(diǎn)序列，然后將節(jié)點(diǎn)序列輸入Skip-gram 模型學(xué)習(xí)潛在的節(jié)點(diǎn)表示。

（2）屬性網(wǎng)絡(luò)嵌入方法。這類方法的主要目的是保持原有網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和節(jié)點(diǎn)屬性的相似性。如CAN 算法將屬性和節(jié)點(diǎn)映射到相同的語義空間，學(xué)習(xí)節(jié)點(diǎn)的低維向量表示，從而有效度量節(jié)點(diǎn)之間的相似性；DANE 算法關(guān)注于網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和節(jié)點(diǎn)屬性的高度非線性關(guān)系；STNE 算法通過序列模型融合了結(jié)構(gòu)和屬性信息；ANRL算法對(duì)節(jié)點(diǎn)屬性信息建模，提出基于屬性增強(qiáng)的Skip-gram模型獲取網(wǎng)絡(luò)結(jié)構(gòu)表示。

（3）標(biāo)簽監(jiān)督的屬性網(wǎng)絡(luò)嵌入方法。這類方法利用單層的標(biāo)簽信息進(jìn)行網(wǎng)絡(luò)嵌入。對(duì)于具有層次標(biāo)簽信息的Paper 和Patent 數(shù)據(jù)集，這類方法忽略標(biāo)簽的層次關(guān)系。如LANE 算法將屬性網(wǎng)絡(luò)及其相關(guān)標(biāo)簽映射到一個(gè)統(tǒng)一的嵌入空間中，以保持標(biāo)簽、屬性和網(wǎng)絡(luò)結(jié)構(gòu)的相關(guān)性；H-GCN 算法是利用半監(jiān)督節(jié)點(diǎn)分類的深度層次圖卷積網(wǎng)絡(luò)。

本文將上述三類方法學(xué)習(xí)所得的嵌入向量應(yīng)用于節(jié)點(diǎn)分類任務(wù)，從而對(duì)各類方法的有效性進(jìn)行評(píng)價(jià)。在獲得節(jié)點(diǎn)表示后，均使用邏輯回歸分類器測(cè)試性能。所得實(shí)驗(yàn)結(jié)果均重復(fù)五次，取平均結(jié)果。除了H-GCN 算法，所有的對(duì)比算法在Cora、Citeseer和Paper 數(shù)據(jù)集中設(shè)定維數(shù)d=128，Patent 數(shù)據(jù)集中設(shè)定維數(shù)d=256。對(duì)于需要進(jìn)行Random walk[26]的算法，游走節(jié)點(diǎn)數(shù)和步長設(shè)為10。實(shí)驗(yàn)選取數(shù)據(jù)集的80%用于訓(xùn)練，20%用于測(cè)試，所有的對(duì)比算法均使用原論文提供的源代碼實(shí)現(xiàn)，并進(jìn)行了尋優(yōu)。表3所列HLANE 框架結(jié)果是在初始化層使用one-hot 方法對(duì)分層標(biāo)簽進(jìn)行編碼的結(jié)果。

4.3 實(shí)驗(yàn)結(jié)果

本節(jié)共設(shè)置了兩組實(shí)驗(yàn)來證明HLANE 框架的有效性。在這兩組實(shí)驗(yàn)中，Paper 和Patent 數(shù)據(jù)集使用多個(gè)標(biāo)簽，包含了從葉子標(biāo)簽到根節(jié)點(diǎn)路徑上的每一層標(biāo)簽，進(jìn)行多標(biāo)簽預(yù)測(cè)。表3 給出了所有算法實(shí)驗(yàn)結(jié)果的Micro-F1 指標(biāo)。

從表3 可以看出，本文提出的HLANE 框架在所列方法中性能最好。H-GCN 算法在Paper 和Patent數(shù)據(jù)集上出現(xiàn)損失爆炸，因此并未列出對(duì)應(yīng)實(shí)驗(yàn)結(jié)果，其原因可能是由于數(shù)據(jù)的層次結(jié)構(gòu)和標(biāo)簽類別過多造成。HLANE 框架利用標(biāo)簽-屬性注意力單元LA-Att 建立了標(biāo)簽和屬性之間的關(guān)聯(lián)，從而提高了分類性能，即使在沒有層次標(biāo)簽的Cora 和Citeseer 數(shù)據(jù)集上，與對(duì)比算法相比，HLANE 框架仍然取得更好的分類效果。此外，HLANE_flat模型是HLANE 模型的變體，其屏蔽了標(biāo)簽-屬性的注意力權(quán)重在層級(jí)間的傳遞，以驗(yàn)證不同層次標(biāo)簽間信息傳遞對(duì)于該模型的影響。對(duì)比HLANE 和HLANE_flat 模型的實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)，在具有層次標(biāo)簽的Paper 和Patent數(shù)據(jù)集上HLANE 框架的性能明顯更優(yōu)，這是由于HLANE 將父標(biāo)簽的信息傳遞給子標(biāo)簽，實(shí)現(xiàn)了層級(jí)間信息的關(guān)聯(lián)，在嵌入時(shí)充分考慮了標(biāo)簽的層次性。

Table 3 Micro-F1 performance of node classification表3 節(jié)點(diǎn)分類的Micro-F1 指標(biāo)結(jié)果

表4 展示了HLANE 框架對(duì)現(xiàn)有網(wǎng)絡(luò)嵌入方法DeepWalk、Node2Vec、CAN、DANE、STNE 和ANRL的增強(qiáng)效果。從表4 可以看出，不同基本嵌入方法下HLANE 框架在不同數(shù)據(jù)集上均提升了性能指標(biāo)。表4 第一列中的DeepWalk、Node2Vec、CAN、DANE、STNE 和ANRL 算法是指不使用HLANE 框架的原算法；HLANE（DW）、HLANE（NV）、HLANE（CAN）、HLANE（DANE）、HLANE（STNE）和HLANE（ANRL）算法是指使用括號(hào)內(nèi)的不同嵌入方法進(jìn)行初始化的HLANE 框架算法。表4 給出了不同嵌入方法初始化的HLANE 框架實(shí)驗(yàn)結(jié)果，并在括號(hào)內(nèi)標(biāo)明相比原始算法改進(jìn)的百分比。可以看出，對(duì)于未考慮節(jié)點(diǎn)屬性信息的方法（DeepWalk、Node2Vec），在Cora 和Citeseer數(shù)據(jù)集上應(yīng)用HLANE 框架得到顯著提升，這正說明在網(wǎng)絡(luò)嵌入中考慮節(jié)點(diǎn)屬性信息能得到更優(yōu)的節(jié)點(diǎn)嵌入。對(duì)比屬性網(wǎng)絡(luò)嵌入方法（CAN、DANE 等），HLANE 框架使用層次標(biāo)簽進(jìn)行網(wǎng)絡(luò)嵌入，使得學(xué)習(xí)到的節(jié)點(diǎn)嵌入具有更強(qiáng)的識(shí)別性。

Table 4 Effect enhancement of different network embedding after applying HLANE framework表4 采用HLANE 框架的不同嵌入方法性能提升

4.4 分層效果分析

為了更好分析層次標(biāo)簽的嵌入效果，HLANE 框架在Paper 和Patent 數(shù)據(jù)集上為每一層標(biāo)簽生成層次嵌入結(jié)果，并使用每層嵌入結(jié)果進(jìn)行多標(biāo)簽分類，所得Micro-F1 結(jié)果如圖3 所示。在Paper 數(shù)據(jù)集的第3層和第4 層進(jìn)行實(shí)驗(yàn)時(shí)，部分?jǐn)?shù)據(jù)的標(biāo)簽層級(jí)不足則不列入測(cè)試集，只考察具有該層標(biāo)簽的測(cè)試數(shù)據(jù)的正確率。從圖3 可以看出，HLANE 框架在所有標(biāo)簽層上的表現(xiàn)均優(yōu)于其他對(duì)比算法。從表2 中可以看出，標(biāo)簽的數(shù)量隨著層級(jí)變深而迅速增加；相應(yīng)地，圖3 中的Micro-F1 指標(biāo)值也隨著層級(jí)變深有下降的趨勢(shì)。

Fig.3 Hierarchical classification results圖3 分層分類結(jié)果

即使分類結(jié)果在葉子標(biāo)簽層級(jí)上不夠理想，也不影響下一個(gè)（或更高)層次對(duì)有效信息的利用和正確預(yù)測(cè)。為了更好體現(xiàn)標(biāo)簽層級(jí)的重要性，圖3 所示實(shí)驗(yàn)中給出了HLANE 框架的變型HLANE_flat 算法進(jìn)行對(duì)比。HLANE_flat 算法把不同層次的標(biāo)簽都看作單層的標(biāo)簽，然后進(jìn)行實(shí)驗(yàn)。如圖3 所示，HLANE框架比HLANE_flat 算法效果更好，這充分說明了HLANE 框架嵌入時(shí)考慮標(biāo)簽層次性，繼承父標(biāo)簽的信息，所得節(jié)點(diǎn)向量表示質(zhì)量更佳。

5 結(jié)束語

本文研究基于層次標(biāo)簽的屬性網(wǎng)絡(luò)嵌入，提出基于層次標(biāo)簽的屬性網(wǎng)絡(luò)嵌入框架HLANE。該框架充分考慮了標(biāo)簽的層次信息，建立了層次標(biāo)簽層之間的關(guān)聯(lián)關(guān)系，將父標(biāo)簽信息繼承到子標(biāo)簽中。再設(shè)計(jì)標(biāo)簽-屬性注意力單元（LA-Att)來學(xué)習(xí)每個(gè)屬性對(duì)每個(gè)標(biāo)簽的重要性，進(jìn)一步加強(qiáng)標(biāo)簽、屬性以及結(jié)構(gòu)之間的聯(lián)系，生成基于層次標(biāo)簽的屬性網(wǎng)絡(luò)嵌入結(jié)果。在四個(gè)真實(shí)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，HLANE 框架可以有效提高基本網(wǎng)絡(luò)嵌入方法的嵌入質(zhì)量。