王宏琳 楊 丹 聶鐵錚 寇 月

1(遼寧科技大學(xué)計(jì)算機(jī)與軟件工程學(xué)院 遼寧鞍山 114051) 2(東北大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 沈陽(yáng) 110169)

網(wǎng)絡(luò)嵌入由于其自身良好的有效性和靈活性，不僅可以解決數(shù)據(jù)稀疏[1]等網(wǎng)絡(luò)數(shù)據(jù)存在的問(wèn)題，在各種下游任務(wù)中也已經(jīng)取得顯著的成果，如節(jié)點(diǎn)分類[2]、鏈路預(yù)測(cè)[3]、節(jié)點(diǎn)聚類[4]、網(wǎng)絡(luò)可視化[5]以及推薦[6].

基于網(wǎng)絡(luò)嵌入的推薦算法根據(jù)網(wǎng)絡(luò)中存在節(jié)點(diǎn)類型的數(shù)量與邊類型的數(shù)量分為基于同構(gòu)信息網(wǎng)絡(luò)嵌入的推薦算法與基于異構(gòu)信息網(wǎng)絡(luò)嵌入的推薦算法2種.針對(duì)同構(gòu)信息網(wǎng)絡(luò)的網(wǎng)絡(luò)嵌入已經(jīng)有許多經(jīng)典的算法，如文獻(xiàn)[7-8]；針對(duì)異構(gòu)信息網(wǎng)絡(luò)的網(wǎng)絡(luò)嵌入也有許多經(jīng)典的算法，如文獻(xiàn)[9-10]等.

Fig. 1 An example of attributed heterogeneous information network composed of users and products圖1 用戶與商品組成的屬性異構(gòu)信息網(wǎng)絡(luò)示例圖

然而現(xiàn)實(shí)存在的網(wǎng)絡(luò)節(jié)點(diǎn)與邊不但分為多種類型，每個(gè)節(jié)點(diǎn)還擁有自己的屬性信息.比如在一個(gè)商品推薦網(wǎng)絡(luò)中，節(jié)點(diǎn)類型分為用戶和商品2種，用戶有年齡、性別等屬性信息，商品有種類、價(jià)格等屬性信息，用戶與商品之間的關(guān)系分為瀏覽、加入購(gòu)物車和購(gòu)買3種.用戶在選擇商品時(shí)考慮商品不同的屬性信息，這也意味著不同的屬性信息對(duì)推薦結(jié)果有不同程度的影響，用戶和商品之間不同類型的邊關(guān)系也意味著用戶對(duì)商品不同程度的偏好.但是現(xiàn)有的網(wǎng)絡(luò)嵌入方法更關(guān)注單一邊類型的網(wǎng)絡(luò)結(jié)構(gòu)，不但忽略了網(wǎng)絡(luò)中的邊分為多種類型，還忽略了節(jié)點(diǎn)的屬性信息與節(jié)點(diǎn)的屬性信息對(duì)推薦結(jié)果的影響.

將擁有多種類型的節(jié)點(diǎn)與邊且節(jié)點(diǎn)擁有屬性信息的網(wǎng)絡(luò)稱為屬性異構(gòu)信息網(wǎng)絡(luò)，如圖1所示的是一個(gè)由用戶與商品組成的屬性異構(gòu)信息網(wǎng)絡(luò).處理屬性異構(gòu)信息網(wǎng)絡(luò)的嵌入方法為屬性異構(gòu)信息網(wǎng)絡(luò)嵌入.在處理屬性異構(gòu)信息網(wǎng)絡(luò)時(shí)會(huì)面臨一些特別的挑戰(zhàn)：

1) 豐富的屬性信息.屬性異構(gòu)信息網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)都擁有自己豐富的屬性信息，而且用戶在選擇項(xiàng)目時(shí)會(huì)考慮項(xiàng)目不同的屬性信息，如何在考慮不同屬性信息對(duì)推薦結(jié)果影響的同時(shí)，學(xué)習(xí)屬性嵌入表示是屬性異構(gòu)信息網(wǎng)絡(luò)嵌入面臨的一大挑戰(zhàn).

2) 網(wǎng)絡(luò)異構(gòu)性.現(xiàn)實(shí)網(wǎng)絡(luò)中的節(jié)點(diǎn)與節(jié)點(diǎn)之間的邊分為多種類型，不同類型的邊意味著用戶對(duì)商品不同程度的偏好，如何在學(xué)習(xí)每種邊類型對(duì)推薦結(jié)果影響的同時(shí)，為在每種邊關(guān)系情況下的節(jié)點(diǎn)學(xué)習(xí)統(tǒng)一的嵌入表示是一大挑戰(zhàn).

3) 融合節(jié)點(diǎn)屬性嵌入與節(jié)點(diǎn)結(jié)構(gòu)嵌入.在網(wǎng)絡(luò)嵌入中引入屬性信息解決推薦問(wèn)題時(shí)，如何融合學(xué)習(xí)到的節(jié)點(diǎn)屬性嵌入與節(jié)點(diǎn)結(jié)構(gòu)嵌入，學(xué)習(xí)節(jié)點(diǎn)統(tǒng)一低維的嵌入表示是一大挑戰(zhàn).

除這3種屬性異構(gòu)信息網(wǎng)絡(luò)嵌入所要面臨的挑戰(zhàn)外，在使用網(wǎng)絡(luò)嵌入解決推薦問(wèn)題時(shí)，現(xiàn)有的網(wǎng)絡(luò)嵌入方法大多采用點(diǎn)積方法作為匹配函數(shù)計(jì)算匹配分?jǐn)?shù)，然后根據(jù)匹配分?jǐn)?shù)進(jìn)行商品排序從而得到商品推薦列表.但是點(diǎn)積方法在解決推薦問(wèn)題時(shí)表現(xiàn)力和求取低秩關(guān)系的能力較弱，降低了推薦性能.而基于匹配函數(shù)學(xué)習(xí)的推薦方法相比于學(xué)習(xí)節(jié)點(diǎn)表示更注重如何有效學(xué)習(xí)匹配函數(shù)，這就導(dǎo)致了學(xué)習(xí)節(jié)點(diǎn)表示能力的不足.

為了解決上述問(wèn)題，本文提出一個(gè)自注意力機(jī)制的屬性異構(gòu)信息網(wǎng)絡(luò)嵌入的商品推薦(attributed heterogeneous information network embedding with self-attention mechanism for product recommendation, AHNER)框架.該框架基于自注意力機(jī)制利用屬性異構(gòu)信息網(wǎng)絡(luò)嵌入學(xué)習(xí)用戶嵌入表示與商品嵌入表示，并結(jié)合深度神經(jīng)網(wǎng)絡(luò)(deep neural network, DNN)學(xué)習(xí)高效的匹配函數(shù)用于解決商品推薦問(wèn)題.

AHNER在獲取節(jié)點(diǎn)豐富的屬性信息的同時(shí)，考慮到不同的屬性信息對(duì)推薦結(jié)果有不同程度的影響，AHNER引入自注意力機(jī)制學(xué)習(xí)每個(gè)屬性信息的權(quán)重，并為每個(gè)屬性信息學(xué)習(xí)統(tǒng)一低維的屬性嵌入表示.由于屬性異構(gòu)信息網(wǎng)絡(luò)擁有多種類型的邊關(guān)系，所以在學(xué)習(xí)節(jié)點(diǎn)的結(jié)構(gòu)嵌入時(shí)，AHNER在每種邊類型情況下為每個(gè)節(jié)點(diǎn)學(xué)習(xí)嵌入表示，然后引入自注意力機(jī)制學(xué)習(xí)每種邊類型之間的相互影響，并融合每種邊類型情況下的節(jié)點(diǎn)嵌入學(xué)習(xí)最后的節(jié)點(diǎn)結(jié)構(gòu)嵌入.最后通過(guò)融合機(jī)制將學(xué)習(xí)到的屬性嵌入與結(jié)構(gòu)嵌入融合成統(tǒng)一低維的嵌入表示，并將學(xué)習(xí)到的節(jié)點(diǎn)嵌入應(yīng)用在基于DNN的匹配函數(shù)學(xué)習(xí)模型中，學(xué)習(xí)匹配分?jǐn)?shù)解決推薦問(wèn)題.

本文的主要工作概括為4個(gè)方面：

1) 強(qiáng)調(diào)屬性信息在學(xué)習(xí)節(jié)點(diǎn)嵌入時(shí)的重要性，引入屬性信息學(xué)習(xí)節(jié)點(diǎn)更有效的嵌入表示，并在學(xué)習(xí)節(jié)點(diǎn)屬性信息時(shí)，引入自注意力機(jī)制學(xué)習(xí)節(jié)點(diǎn)屬性的權(quán)重系數(shù).

2) 詳細(xì)闡述屬性異構(gòu)信息網(wǎng)絡(luò)嵌入的學(xué)習(xí)過(guò)程，考慮到不同類型的邊關(guān)系反映用戶對(duì)商品不同程度的偏好，引入自注意力機(jī)制學(xué)習(xí)每種邊關(guān)系的權(quán)重，并融合網(wǎng)絡(luò)結(jié)構(gòu)信息與節(jié)點(diǎn)屬性信息學(xué)習(xí)更有效的、統(tǒng)一的、低維的用戶嵌入表示與商品嵌入表示.

3) 提出一個(gè)推薦框架AHNER用于解決商品推薦問(wèn)題，并克服傳統(tǒng)點(diǎn)積方法在屬性異構(gòu)信息網(wǎng)絡(luò)嵌入解決推薦問(wèn)題時(shí)的局限性，提高推薦算法的性能.

4) 在3個(gè)公共數(shù)據(jù)集上進(jìn)行大量的實(shí)驗(yàn)，并完成Top-K推薦任務(wù)與鏈路預(yù)測(cè)任務(wù).實(shí)驗(yàn)結(jié)果表明，所提出的框架AHNER的性能優(yōu)于其他方法的性能.

1 相關(guān)工作

本文的相關(guān)工作主要包括基于網(wǎng)絡(luò)嵌入的推薦技術(shù)、基于屬性網(wǎng)絡(luò)嵌入的推薦技術(shù)、基于異構(gòu)信息網(wǎng)絡(luò)嵌入的推薦技術(shù)與基于匹配函數(shù)學(xué)習(xí)的推薦技術(shù)這4方面.

1.1 基于網(wǎng)絡(luò)嵌入的推薦技術(shù)

現(xiàn)有的基于網(wǎng)絡(luò)嵌入的推薦技術(shù)大致分為基于矩陣分解的網(wǎng)絡(luò)嵌入推薦技術(shù)[11]、基于深度學(xué)習(xí)的網(wǎng)絡(luò)嵌入推薦技術(shù)、基于隨機(jī)游走的網(wǎng)絡(luò)嵌入推薦技術(shù)3種.早期針對(duì)基于矩陣分解的網(wǎng)絡(luò)嵌入推薦技術(shù)研究較多，但是由于對(duì)深度神經(jīng)網(wǎng)絡(luò)持續(xù)的研究發(fā)現(xiàn)，深度神經(jīng)網(wǎng)絡(luò)可以為網(wǎng)絡(luò)嵌入尋求一個(gè)有效的非線性函數(shù)學(xué)習(xí)模型，如文獻(xiàn)[12-14].與此同時(shí)，還發(fā)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)非常適合學(xué)習(xí)推薦問(wèn)題中復(fù)雜的匹配函數(shù)，因?yàn)樗鼈兡軌虮平魏芜B續(xù)函數(shù)[15].例如，文獻(xiàn)[16]使用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)匹配函數(shù)；文獻(xiàn)[17]采用表示學(xué)習(xí)和多層感知機(jī)(multilayer perceptron, MLP)，從用戶和項(xiàng)目的輸入特征和分類特征中學(xué)習(xí)匹配函數(shù).基于隨機(jī)游走的網(wǎng)絡(luò)嵌入推薦技術(shù)的思想是通過(guò)鄰域的嵌入表示學(xué)習(xí)推薦網(wǎng)絡(luò)中節(jié)點(diǎn)的嵌入表示，并利用節(jié)點(diǎn)的嵌入表示解決推薦問(wèn)題.例如，word2vec[18]是一種通過(guò)鄰域詞的向量構(gòu)建出中心詞的向量的網(wǎng)絡(luò)嵌入方法.專家發(fā)現(xiàn)可以利用word2vec根據(jù)用戶前后交互的內(nèi)容推測(cè)用戶的興趣，并學(xué)習(xí)推薦系統(tǒng)中用戶、項(xiàng)目的嵌入表示，如文獻(xiàn)[19-20]就是使用word2vec的方法解決推薦問(wèn)題.Deepwalk[7]通過(guò)游走策略隨機(jī)選擇游走路徑，并將隨機(jī)路徑看作一個(gè)句子，將節(jié)點(diǎn)看作一個(gè)詞學(xué)習(xí)節(jié)點(diǎn)的嵌入表示.node2vec[8]通過(guò)使用廣度優(yōu)先(breadth-first search, BFS)和深度優(yōu)先(depth-first search, DFS)遍歷探索不同的鄰居節(jié)點(diǎn)，從而進(jìn)一步擴(kuò)充了Deepwalk.LINE[21]是一種能夠處理大規(guī)模網(wǎng)絡(luò)的利用鄰域相似假設(shè)的嵌入方法.基于隨機(jī)游走的網(wǎng)絡(luò)嵌入推薦技術(shù)通過(guò)利用word2vec，Deepwalk等基于隨機(jī)游走的網(wǎng)絡(luò)嵌入方法解決推薦問(wèn)題.

1.2 基于屬性網(wǎng)絡(luò)嵌入的推薦技術(shù)

屬性網(wǎng)絡(luò)[22]除了網(wǎng)絡(luò)的結(jié)構(gòu)信息外，還包括節(jié)點(diǎn)的屬性信息.屬性網(wǎng)絡(luò)嵌入會(huì)將節(jié)點(diǎn)的屬性信息作為另一種信息源將其映射到一個(gè)聯(lián)合的低維向量空間中學(xué)習(xí)節(jié)點(diǎn)的嵌入表示.MMDW[23]是一種利用節(jié)點(diǎn)標(biāo)記信息的半監(jiān)督網(wǎng)絡(luò)嵌入方法，它基于深度游走矩陣分解與支持向量機(jī)[24]結(jié)合節(jié)點(diǎn)的標(biāo)簽信息學(xué)習(xí)節(jié)點(diǎn)表示.TADW[25]是一種基于深度游走矩陣分解結(jié)合網(wǎng)絡(luò)結(jié)構(gòu)與文本信息學(xué)習(xí)節(jié)點(diǎn)嵌入表示的方法，但是它的計(jì)算成本高，節(jié)點(diǎn)屬性也只是簡(jiǎn)單地合并為無(wú)序特征，失去了大量的語(yǔ)義信息.文獻(xiàn)[26]將文本內(nèi)容視為一種特殊的節(jié)點(diǎn)，并構(gòu)建一個(gè)增強(qiáng)網(wǎng)絡(luò)使用邏輯回歸(logistic)函數(shù)學(xué)習(xí)節(jié)點(diǎn)表示.文獻(xiàn)[27]基于光譜技術(shù)將標(biāo)簽信息引入到屬性網(wǎng)絡(luò)嵌入中學(xué)習(xí)節(jié)點(diǎn)嵌入表示.文獻(xiàn)[28]提出一個(gè)可以融合結(jié)構(gòu)信息與屬性信息的社交網(wǎng)絡(luò)通用框架.文獻(xiàn)[29]在使用鄰居增強(qiáng)自動(dòng)編碼器建模節(jié)點(diǎn)屬性信息的同時(shí)使用跳字模型(skip-gram)匯集鄰居節(jié)點(diǎn)的特征來(lái)學(xué)習(xí)節(jié)點(diǎn)表示.文獻(xiàn)[30]利用文本信息學(xué)習(xí)網(wǎng)絡(luò)節(jié)點(diǎn)表示.

1.3 基于異構(gòu)信息網(wǎng)絡(luò)嵌入的推薦技術(shù)

基于異構(gòu)信息網(wǎng)絡(luò)嵌入的推薦技術(shù)將用戶不同類型的偏好集成到同一公共空間中學(xué)習(xí)節(jié)點(diǎn)統(tǒng)一低維的嵌入表示.例如，metapath2vec[9]通過(guò)圖上的采樣路徑自動(dòng)利用鄰居結(jié)構(gòu).文獻(xiàn)[31]提出一個(gè)推薦系統(tǒng)，它通過(guò)獲取異構(gòu)信息網(wǎng)絡(luò)中的用戶隱式偏好進(jìn)行推薦.文獻(xiàn)[32]利用user,meta_path,item三元組將基于上下文的元路徑合并到交互模型中，并通過(guò)MLP對(duì)項(xiàng)目進(jìn)行打分完成Top-K推薦任務(wù).文獻(xiàn)[33]通過(guò)基于元路徑的交互矩陣和注意力機(jī)制來(lái)識(shí)別不同的語(yǔ)義信息并推薦.基于異構(gòu)信息網(wǎng)絡(luò)嵌入的推薦技術(shù)在推薦效果、多樣性等性能都有優(yōu)秀的表現(xiàn)，但是基于異構(gòu)信息網(wǎng)絡(luò)嵌入的推薦技術(shù)也存在2點(diǎn)不足：1)忽略屬性信息與不同屬性信息對(duì)推薦結(jié)果的影響；2)較少考慮用戶與項(xiàng)目之間不同的交互行為對(duì)推薦結(jié)果的影響.

1.4 基于匹配函數(shù)學(xué)習(xí)的推薦技術(shù)

基于匹配函數(shù)學(xué)習(xí)的推薦技術(shù)更注重學(xué)習(xí)有效、準(zhǔn)確的匹配函數(shù)來(lái)解決推薦問(wèn)題.例如，NeuMF[16]利用神經(jīng)網(wǎng)絡(luò)代替香草矩陣分解中使用的點(diǎn)積來(lái)學(xué)習(xí)匹配函數(shù)，還將矩陣分解與多層感知機(jī)結(jié)合在一個(gè)模型中解決推薦問(wèn)題.文獻(xiàn)[34]是NeuMF的一個(gè)變體，它以用戶鄰居和項(xiàng)目鄰居作為輸入解決推薦問(wèn)題.文獻(xiàn)[35]使用外部產(chǎn)品操作，以便能夠更好地學(xué)習(xí)推薦系統(tǒng)中用戶與項(xiàng)之間的相關(guān)性.文獻(xiàn)[36]使用基于神經(jīng)網(wǎng)絡(luò)的分解機(jī)(factorization machines, FM)來(lái)避免人工特征工程，解決推薦問(wèn)題.

基于屬性網(wǎng)絡(luò)嵌入的推薦技術(shù)大多局限在同構(gòu)信息網(wǎng)絡(luò)中學(xué)習(xí)節(jié)點(diǎn)嵌入表示；基于異構(gòu)信息網(wǎng)絡(luò)嵌入的推薦技術(shù)不僅忽略了節(jié)點(diǎn)豐富的屬性信息與不同屬性信息對(duì)推薦結(jié)果的不同影響，還忽略了節(jié)點(diǎn)之間不同類型的邊對(duì)推薦結(jié)果的影響.為了解決上述問(wèn)題，本文使用基于自注意力機(jī)制的屬性異構(gòu)信息網(wǎng)絡(luò)嵌入學(xué)習(xí)節(jié)點(diǎn)的嵌入表示，并為了克服點(diǎn)積方法在推薦問(wèn)題中存在的局限性，將屬性異構(gòu)信息網(wǎng)絡(luò)嵌入與DNN結(jié)合起來(lái)，提出一個(gè)通用的推薦框架，在引入節(jié)點(diǎn)屬性信息的同時(shí)學(xué)習(xí)異構(gòu)信息網(wǎng)絡(luò)中節(jié)點(diǎn)的嵌入表示，并通過(guò)DNN學(xué)習(xí)高效的匹配函數(shù)解決推薦問(wèn)題.

2 預(yù)備知識(shí)與問(wèn)題定義

一個(gè)網(wǎng)絡(luò)通常定義為G=(V，E).其中，V表示節(jié)點(diǎn)的集合，且V={v1,v2,…,vn}，n表示節(jié)點(diǎn)總數(shù)；E表示邊的集合.本文符號(hào)具體如表1所示:

Table 1 Symbols and Their Definitions表1 符號(hào)及其含義

定義1.異構(gòu)信息網(wǎng)絡(luò).一個(gè)異構(gòu)信息網(wǎng)絡(luò)定義為G=(V，E，O，R).節(jié)點(diǎn)與邊分別關(guān)聯(lián)一個(gè)類型映射函數(shù)Φ：V→O與Ψ：E→R，其中O表示節(jié)點(diǎn)類型的集合，R表示邊類型的集合.如果一個(gè)網(wǎng)絡(luò)中的|O|+|R|>2，則此網(wǎng)絡(luò)為異構(gòu)信息網(wǎng)絡(luò)，否則為同構(gòu)信息網(wǎng)絡(luò).

3 推薦框架

本節(jié)將詳細(xì)描述提出的推薦框架AHNER，框架結(jié)構(gòu)如圖2所示.該框架主要包含2部分：1)基于商品推薦的屬性異構(gòu)信息網(wǎng)絡(luò)嵌入；2)基于DNN的匹配函數(shù)學(xué)習(xí)模型.

Fig. 2 Overview of AHNER圖2 AHNER總體框架圖

3.1 基于商品推薦的屬性異構(gòu)信息網(wǎng)絡(luò)嵌入

3.1.1 商品推薦屬性異構(gòu)信息網(wǎng)絡(luò)的構(gòu)建

構(gòu)建基于商品推薦的屬性異構(gòu)信息網(wǎng)絡(luò)時(shí)，節(jié)點(diǎn)類型分為用戶與商品2種.AHNER使用用戶信息作為網(wǎng)絡(luò)中用戶節(jié)點(diǎn)的屬性信息，如性別、年齡等，使用商品信息作為網(wǎng)絡(luò)中商品節(jié)點(diǎn)的屬性信息，如種類、價(jià)格等；又從用戶的交互信息中得到節(jié)點(diǎn)間的邊關(guān)系，其中用戶與商品之間的邊關(guān)系分為3種，分別是瀏覽、加入購(gòu)物車與購(gòu)買.通過(guò)使用2組節(jié)點(diǎn)集合(即用戶和商品)和節(jié)點(diǎn)間不同的邊關(guān)系來(lái)連接節(jié)點(diǎn)，從而得到屬性異構(gòu)信息網(wǎng)絡(luò).

3.1.2 基于自注意力機(jī)制的屬性嵌入表示學(xué)習(xí)

在實(shí)際推薦問(wèn)題中，網(wǎng)絡(luò)中的節(jié)點(diǎn)屬性信息是多種多樣的，不同的屬性信息對(duì)推薦結(jié)果產(chǎn)生不同程度的影響.比如，在用戶選擇商品時(shí)，除考慮商品本身的特征外，還要考慮商品的價(jià)格.在2個(gè)商品本身特征相似的情況下，大部分用戶會(huì)選擇優(yōu)惠力度比較大或價(jià)格更便宜的那一個(gè)商品.為了建模不同屬性信息對(duì)推薦結(jié)果不同程度的影響，AHNER引入自注意力機(jī)制來(lái)學(xué)習(xí)每個(gè)屬性的權(quán)重系數(shù)，并學(xué)習(xí)統(tǒng)一的節(jié)點(diǎn)屬性嵌入.具體的基于自注意力機(jī)制的屬性嵌入結(jié)構(gòu)如圖3所示：

Fig. 3 The architecture of attributed embedding based on self-attention mechanism圖3 基于自注意力機(jī)制的屬性嵌入結(jié)構(gòu)圖

假設(shè)一個(gè)節(jié)點(diǎn)vi共有τ個(gè)屬性信息，使用word2vec方法將節(jié)點(diǎn)vi的每個(gè)屬性信息表示成初始的屬性向量，作為基于自注意力機(jī)制的屬性嵌入的輸入數(shù)據(jù)，具體表示為

(1)

1) 通過(guò)一層全連接層學(xué)習(xí)輸入數(shù)據(jù)的隱藏狀態(tài)H=(h1,h2,…,hτ)，其中ht表示第t層隱藏層學(xué)習(xí)到的隱藏狀態(tài).H的具體表示為

H=σ(WA(vi)+b),

(2)

其中，H是維度為d1×τ的矩陣，W與b是模型的參數(shù)，σ是激活函數(shù).

2) 通過(guò)注意力打分函數(shù)和softmax函數(shù)為節(jié)點(diǎn)vi的每個(gè)屬性信息計(jì)算權(quán)重系數(shù).在AHNER中采用加性注意力作為注意力打分函數(shù)[37].節(jié)點(diǎn)vi的每個(gè)屬性信息的權(quán)重系數(shù)表示為

(3)

(4)

3) 通過(guò)全連接層將節(jié)點(diǎn)vi的每個(gè)屬性信息的屬性嵌入連接到一起，并輸出到輸出層得到節(jié)點(diǎn)vi的所有屬性信息的屬性嵌入表示.

3.1.3 節(jié)點(diǎn)結(jié)構(gòu)嵌入表示學(xué)習(xí)

ρ:V1→V2→…→Vt→…→Vl.

基于元路徑的隨機(jī)游走方法產(chǎn)生的游走流取決于預(yù)定義的元路徑，預(yù)定義的長(zhǎng)度決定游走流的長(zhǎng)度.在游走后，會(huì)得到每一種邊類型情況下的基于不同元路徑的節(jié)點(diǎn)序列.隨機(jī)游走的轉(zhuǎn)移概率表示為

(5)

其中，vi∈Vt，Ni,r表示節(jié)點(diǎn)vi在邊的類型為r的情況下的鄰居節(jié)點(diǎn)集合，Er表示邊類型為r的邊集合.

(6)

其中，aggregator表示聚合函數(shù).

聚合函數(shù)有2種計(jì)算方法[38]，分別是平均池化和最大池化，AHENR采用平均池化的方法進(jìn)行計(jì)算，變換后的節(jié)點(diǎn)嵌入表示為

(7)

其中，σ表示激活函數(shù)，Wk表示權(quán)重矩陣.

每個(gè)邊嵌入的維度為z，邊類型的總數(shù)為m.連接不同邊類型下的節(jié)點(diǎn)vi的嵌入表示得到維度z×m的矩陣Mi：

Mi=(ei,1,ei,2,…,ei,m).

(8)

由于不同類型的邊反映用戶不同的偏好程度，所以引入自注意力機(jī)制捕捉不同邊類型之間的影響因素，學(xué)習(xí)每種邊類型下各個(gè)邊嵌入的權(quán)重系數(shù)αi,r：

(9)

其中，wr和Wr是模型訓(xùn)練得到的參數(shù).

最后節(jié)點(diǎn)vi的結(jié)構(gòu)嵌入表示為

(10)

其中，δr是邊嵌入在整個(gè)節(jié)點(diǎn)嵌入中重要性的超參數(shù)，Hr是維度為z×d的可訓(xùn)練的轉(zhuǎn)換矩陣，gi是節(jié)點(diǎn)vi的拓?fù)淝度?，拓?fù)淝度胧翘崛【W(wǎng)絡(luò)中的基礎(chǔ)結(jié)構(gòu)形成的嵌入表示，它會(huì)在每個(gè)邊嵌入中共享.

3.1.4 節(jié)點(diǎn)嵌入表示學(xué)習(xí)

AHNER采用融合節(jié)點(diǎn)結(jié)構(gòu)嵌入與屬性嵌入的融合機(jī)制學(xué)習(xí)節(jié)點(diǎn)統(tǒng)一的低維嵌入表示，具體結(jié)構(gòu)如圖4所示:

Fig. 4 The architecture of fusion mechanism圖4 融合機(jī)制結(jié)構(gòu)圖

輸入層的輸入數(shù)據(jù)是節(jié)點(diǎn)的屬性嵌入表示a與節(jié)點(diǎn)的結(jié)構(gòu)嵌入表示s，具體表示為

(11)

通過(guò)輸入層將數(shù)據(jù)送入隱藏層中，每個(gè)隱藏層表示為h(1),h(2),…,h(z)，具體定義為

h(t)=θt(Wtht-1+bt),t=1,2,…,z，

(12)

其中，t代表隱藏層的層數(shù)，Wt與bt分別表示第t層的權(quán)重矩陣與偏置向量，θt表示第t層的激活函數(shù).

經(jīng)過(guò)z個(gè)隱藏層，輸出層得到最后的節(jié)點(diǎn)表示為

(13)

其中，Do是節(jié)點(diǎn)vi的特征轉(zhuǎn)換矩陣，o是節(jié)點(diǎn)的類型，βr是系數(shù).節(jié)點(diǎn)vi的拓?fù)淝度雊i由節(jié)點(diǎn)的屬性嵌入通過(guò)融合機(jī)制學(xué)到的轉(zhuǎn)化函數(shù)fo進(jìn)行計(jì)算.

3.1.5 屬性異構(gòu)信息網(wǎng)絡(luò)嵌入優(yōu)化

假設(shè)P=(v1,v2,…,vl)是在邊類型為r的情況下得到的長(zhǎng)度為l的游走序列，其中(vt-1,vt)∈Er,t=2,3,…,l.

通過(guò)基于元路徑的隨機(jī)游走得到的節(jié)點(diǎn)vt的上下文節(jié)點(diǎn)集合定義為

C={vk|vk∈P,|k-1|≤c,t≠k},

(14)

其中，vk是游走序列P中的節(jié)點(diǎn)，c是上下文窗口的范圍.

給定一個(gè)節(jié)點(diǎn)和元路徑，可以得到在固定大小窗口中的基于共現(xiàn)概率的鄰居節(jié)點(diǎn)，則優(yōu)化目標(biāo)是最小化式(15)：

(15)

其中，η表示所有可優(yōu)化的參數(shù)，C表示上下文節(jié)點(diǎn)集合.

遵循metapath2vec采用異構(gòu)softmax函數(shù)計(jì)算Pη(vj|vi)，具體表示為

(16)

其中，xk表示節(jié)點(diǎn)vk的上下文嵌入表示.

為了高效優(yōu)化，引入負(fù)采樣方法近似-logPη(vj|vi)并得到最終的目標(biāo)函數(shù)表示為

(17)

3.2 基于DNN的匹配函數(shù)學(xué)習(xí)模型

為了克服傳統(tǒng)點(diǎn)積方法在網(wǎng)絡(luò)嵌入中求取低秩關(guān)系的局限性，AHNER提出基于DNN的匹配函數(shù)學(xué)習(xí)模型，用于學(xué)習(xí)高效的匹配函數(shù)，從而提升推薦性能，具體結(jié)構(gòu)如圖5所示.

Fig. 5 The architecture of matching function learning model based on DNN圖5 基于DNN的匹配函數(shù)學(xué)習(xí)模型結(jié)構(gòu)圖

輸入層的輸入數(shù)據(jù)是用戶與商品形成的交互矩陣和通過(guò)屬性異構(gòu)信息網(wǎng)絡(luò)嵌入學(xué)習(xí)到的用戶嵌入表示與商品嵌入表示.基于DNN的匹配函數(shù)學(xué)習(xí)模型的輸入層定義為

(18)

其中，pu表示用戶u的嵌入表示，qp表示商品p的嵌入表示.

通過(guò)輸入層將數(shù)據(jù)送入隱藏層中，經(jīng)過(guò)多個(gè)隱藏層學(xué)習(xí)匹配函數(shù)，每個(gè)隱藏層表示為h(1),h(2),…,h(z)，具體定義為

(19)

其中，Wt和bt分別表示第t層感知器的權(quán)重矩陣與偏置向量，θt表示第t層的激活函數(shù)，隱藏層的激活函數(shù)采用ReLU函數(shù).

最后學(xué)習(xí)到的匹配函數(shù)公式為

(20)

其中，σ是激活函數(shù)sigmoid，W表示權(quán)重矩陣.

4 實(shí)驗(yàn)評(píng)價(jià)與分析

本節(jié)首先介紹實(shí)驗(yàn)數(shù)據(jù)集、對(duì)比方法和評(píng)價(jià)指標(biāo)，然后根據(jù)實(shí)驗(yàn)數(shù)據(jù)說(shuō)明AHNER的性能.本節(jié)實(shí)驗(yàn)是在Intel?Xeon?E5-2620 v4@2.10 GHz的硬件環(huán)境下，基于python3.6的Keras與TensorFlow實(shí)現(xiàn).

4.1 實(shí)驗(yàn)數(shù)據(jù)集

AHNER在3個(gè)公開(kāi)數(shù)據(jù)集Retailrocket,Amazon Product,YouTube上完成Top-K推薦任務(wù)與鏈路預(yù)測(cè)任務(wù)的性能評(píng)價(jià).表2是3個(gè)實(shí)驗(yàn)數(shù)據(jù)集的統(tǒng)計(jì)數(shù)據(jù)：

Table 2 Statistics of Datasets表2 數(shù)據(jù)集的統(tǒng)計(jì)信息

Retailrocket數(shù)據(jù)集是從一個(gè)真實(shí)的電子商務(wù)網(wǎng)站中收集的數(shù)據(jù).其中：包含“用戶”“商品”2種節(jié)點(diǎn)類型；節(jié)點(diǎn)之間的邊類型分為“購(gòu)買”“加入購(gòu)物車”“瀏覽”3種；商品節(jié)點(diǎn)包括“種類”“價(jià)格”等屬性信息.

Amazon Product數(shù)據(jù)集提供Amazon的產(chǎn)品評(píng)論和元數(shù)據(jù).由于Amazon的產(chǎn)品分為多種類別，每種類別的產(chǎn)品數(shù)量都很大，所以在實(shí)驗(yàn)中只使用電子類產(chǎn)品的元數(shù)據(jù).其中：節(jié)點(diǎn)類型只有“產(chǎn)品”1種；節(jié)點(diǎn)間的邊關(guān)系分為“共同瀏覽”“共同購(gòu)買”2種；產(chǎn)品節(jié)點(diǎn)包括“價(jià)格”“銷售排行”“品牌”“種類”等屬性信息.

YouTube數(shù)據(jù)集的節(jié)點(diǎn)類型只有“用戶”1種；邊的類型分為“聯(lián)系人”“共享好友”“共享訂閱”“共享訂閱者”“用戶之間共享最喜歡的視頻”5種.

4.2 對(duì)比方法

實(shí)驗(yàn)針對(duì)AHNER中的屬性異構(gòu)信息網(wǎng)絡(luò)嵌入和匹配函數(shù)學(xué)習(xí)模型選擇不同的對(duì)比方法.針對(duì)屬性異構(gòu)信息網(wǎng)絡(luò)嵌入，本節(jié)選擇網(wǎng)絡(luò)嵌入的方法進(jìn)行對(duì)比實(shí)驗(yàn).針對(duì)匹配函數(shù)學(xué)習(xí)模型，采用點(diǎn)積方法作為匹配函數(shù)進(jìn)行對(duì)比實(shí)驗(yàn).

4.2.1 屬性異構(gòu)信息網(wǎng)絡(luò)嵌入的對(duì)比實(shí)驗(yàn)

選擇網(wǎng)絡(luò)嵌入對(duì)比方法時(shí)，考慮到網(wǎng)絡(luò)結(jié)構(gòu)的不同，分別選擇基于同構(gòu)信息網(wǎng)絡(luò)的嵌入方法與基于異構(gòu)信息網(wǎng)絡(luò)的嵌入方法.針對(duì)同構(gòu)信息網(wǎng)絡(luò)，選擇Deepwalk,node2vec,LINE作為對(duì)比方法.針對(duì)異構(gòu)信息網(wǎng)絡(luò)，選用metapath2vec作為對(duì)比方法.除此之外，選擇AHNER方法的變形——AHNER-NS驗(yàn)證AHNER基于自注意力機(jī)制學(xué)習(xí)屬性嵌入的必要性.下面逐一介紹各方法.

1) Deepwalk.在網(wǎng)絡(luò)圖上分離出不同邊種類的子圖，為每個(gè)子圖使用隨機(jī)游走和skip-gram分析節(jié)點(diǎn)結(jié)構(gòu)關(guān)系并學(xué)習(xí)節(jié)點(diǎn)的向量表示.

2) node2vec.設(shè)計(jì)了一種二階隨機(jī)游走策略對(duì)鄰域節(jié)點(diǎn)進(jìn)行采樣，在BFS和DFS之間平滑插入.在本節(jié)實(shí)驗(yàn)中，參數(shù)p=2，參數(shù)q=0.5.

3) LINE.該方法是一種運(yùn)用一階相似度與二階相似度學(xué)習(xí)節(jié)點(diǎn)嵌入表示的同構(gòu)網(wǎng)絡(luò)嵌入方法.在本節(jié)實(shí)驗(yàn)中，節(jié)點(diǎn)嵌入表示的維度設(shè)置為100.

4) metapath2vec.該方法能夠處理網(wǎng)絡(luò)中節(jié)點(diǎn)的異構(gòu)性.但是當(dāng)網(wǎng)絡(luò)節(jié)點(diǎn)只有一種時(shí)，方法會(huì)退化為Deepwalk.由于Amazon Product,YouTube數(shù)據(jù)集的節(jié)點(diǎn)類型都為1種，所以metapath2vec在這2個(gè)數(shù)據(jù)集中退化為Deepwalk.在Retailrocket數(shù)據(jù)集上，節(jié)點(diǎn)類型包括用戶U和項(xiàng)目I，元路徑在實(shí)驗(yàn)中設(shè)置為U—I—U和I—U—I.

5) AHNER-NS.該方法是AHNER的一種變形.在對(duì)比實(shí)驗(yàn)中使用該方法時(shí)，處理離散類型的屬性信息使用one-hot方法，處理連續(xù)型屬性信息使用word2vec方法.AHNER-NS與AHNER的主要區(qū)別是當(dāng)AHNER-NS學(xué)習(xí)屬性嵌入時(shí)，不使用自注意力機(jī)制.

4.2.2 匹配函數(shù)學(xué)習(xí)的對(duì)比實(shí)驗(yàn)

針對(duì)匹配函數(shù)學(xué)習(xí)的對(duì)比，使用AHNER-ND作為對(duì)比方法.

1) AHNER-ND.該方法是AHNER方法的一種變形，在實(shí)驗(yàn)中使用傳統(tǒng)的點(diǎn)積作為匹配函數(shù)代替提出的基于DNN的匹配函數(shù)學(xué)習(xí)模型.通過(guò)該方法作為對(duì)比方法，可以根據(jù)實(shí)驗(yàn)結(jié)果觀察到AHNER在為匹配函數(shù)學(xué)習(xí)做出改進(jìn)的重要性.

2) AHNER.該方法是本文提出的商品推薦的方法.在實(shí)驗(yàn)中為了公平性，使用與metapath2vec相同的元路徑方案U—I—U和I—U—I.節(jié)點(diǎn)嵌入維度d設(shè)置為200，邊嵌入維度z設(shè)置為10.每個(gè)節(jié)點(diǎn)的隨機(jī)游走次數(shù)設(shè)置為20，隨機(jī)游走的長(zhǎng)度設(shè)置為10，窗口大小設(shè)置為5，用于生成節(jié)點(diǎn)上下文.每個(gè)訓(xùn)練對(duì)的負(fù)樣本數(shù)設(shè)置為5，訓(xùn)練skip-gram模型的迭代次數(shù)設(shè)置為100，epoch設(shè)置為50，每個(gè)邊類型下的系數(shù)δr和βr都設(shè)置為1.AHNER在TensorFlow中使用Adam優(yōu)化器的默認(rèn)設(shè)置，學(xué)習(xí)速率設(shè)置為0.001.

在實(shí)現(xiàn)對(duì)比方法時(shí)，對(duì)比方法中的參數(shù)設(shè)置與AHNER中的參數(shù)設(shè)置相同.

4.3 任務(wù)與評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)通過(guò)完成Top-K推薦任務(wù)與鏈路預(yù)測(cè)任務(wù)來(lái)測(cè)試AHNER的性能.在完成Top-K推薦任務(wù)時(shí)，根據(jù)當(dāng)前和以前會(huì)話中用戶已購(gòu)買、加入購(gòu)物車和瀏覽的商品來(lái)預(yù)測(cè)用戶在當(dāng)前會(huì)話中下一個(gè)瀏覽的商品，并選取2個(gè)廣泛使用的命中率(hit ratio,HR)和歸一化折損累計(jì)增益(normalized discounted cumulative gain,NDCG)作為Top-K推薦任務(wù)的評(píng)價(jià)指標(biāo)，并以10作為推薦列表的截至數(shù)量來(lái)評(píng)估提出推薦框架的推薦性能.HR評(píng)估測(cè)試集中的商品是否在所得推薦列表的前10個(gè)商品中，HR的值越高說(shuō)明推薦性能越好；NDCG評(píng)估的是排名質(zhì)量，NDCG的值越高說(shuō)明推薦性能越好.在鏈路預(yù)測(cè)任務(wù)中，評(píng)價(jià)指標(biāo)為常用的受試者工作特征曲線下的面積(area under curve,AUC)，AUC的值越大說(shuō)明預(yù)測(cè)效果越好.在本節(jié)中，隨機(jī)選取3次實(shí)驗(yàn)的實(shí)驗(yàn)數(shù)據(jù)，計(jì)算它們的平均數(shù)作為本節(jié)統(tǒng)計(jì)的實(shí)驗(yàn)數(shù)據(jù).

4.4 實(shí)驗(yàn)結(jié)果分析

在實(shí)驗(yàn)中，按照90%，7%，3%的比例隨機(jī)選擇訓(xùn)練集、測(cè)試集與驗(yàn)證集.在完成Top-K推薦任務(wù)時(shí)，為了更方便地觀察AHNER的性能，在實(shí)現(xiàn)Deepwalk，node2vec，LINE，metapath2vec，AHNER-NS時(shí)，將這5種方法學(xué)習(xí)到的嵌入表示輸入基于DNN的匹配函數(shù)學(xué)習(xí)模型中求出相應(yīng)評(píng)價(jià)指標(biāo)的值，在實(shí)現(xiàn)AHNER-ND時(shí)采用傳統(tǒng)的點(diǎn)積方法作為匹配函數(shù)得到推薦結(jié)果并計(jì)算相應(yīng)的評(píng)價(jià)指標(biāo)的值，具體實(shí)驗(yàn)結(jié)果如表3所示:

Table 3 Results of Top-K Recommendation Experiments with Different Methods on Three Datasets表 3 3個(gè)數(shù)據(jù)集上不同方法的Top-K推薦任務(wù)實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果表明AHNER在很大程度上明顯優(yōu)于其他方法.在完成鏈路預(yù)測(cè)任務(wù)時(shí)，各個(gè)對(duì)比方法采用點(diǎn)積作為匹配函數(shù)，具體實(shí)驗(yàn)結(jié)果如表4所示.

從表4發(fā)現(xiàn)：

1) 異構(gòu)信息網(wǎng)絡(luò)嵌入引入屬性信息會(huì)顯著提高推薦性能.通過(guò)表3與表4中的實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)，引入屬性信息會(huì)顯著提高網(wǎng)絡(luò)嵌入方法的性能，將更多的屬性信息納入推薦系統(tǒng)將提高總體的推薦性能；與其他只關(guān)注用戶與項(xiàng)目的方法相比，AHNER通過(guò)結(jié)合屬性信息更能捕獲節(jié)點(diǎn)間的相互關(guān)系，從而提升推薦性能.從表4中可以觀察到在鏈路預(yù)測(cè)問(wèn)題上AHNER的性能也是優(yōu)于其他對(duì)比方法的，這也體現(xiàn)出AHNER的適用性與普遍性.

Table 4 AUC of Link Prediction Experiments withDifferent Methods on Three Datasets

2) 使用基于自注意力機(jī)制的屬性嵌入表示學(xué)習(xí)能夠提高推薦性能.通過(guò)對(duì)比AHNER-NS與AHNER的實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)，AHNER通過(guò)自注意力機(jī)制學(xué)習(xí)帶有權(quán)重的屬性嵌入后，能捕獲更多屬性信息和節(jié)點(diǎn)之間的相互作用關(guān)系，提升了推薦系統(tǒng)的性能.數(shù)據(jù)集提供的屬性信息越多，提升性能的幅度越大，Retailrocket在這3個(gè)數(shù)據(jù)集中提供的屬性信息最多，所以提升的性能幅度更大，在HR@10上提升4.3%，在NDCG@10上提升2.9%.

3) 基于DNN的匹配函數(shù)學(xué)習(xí)模型比基于點(diǎn)積的方法更有優(yōu)勢(shì).通過(guò)對(duì)比AHNER-ND與AHNER的實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)，使用深度神經(jīng)網(wǎng)絡(luò)作為匹配函數(shù)的方法比使用點(diǎn)積作為匹配函數(shù)的方法取得了更好的結(jié)果.這種性能增益是合理的，因?yàn)樯窠?jīng)單元增加了模型的容量.結(jié)果表明，通過(guò)使用參數(shù)神經(jīng)網(wǎng)絡(luò)替換傳統(tǒng)的點(diǎn)積方法作為匹配函數(shù)來(lái)解決推薦問(wèn)題，能夠更好地在推薦系統(tǒng)中進(jìn)行學(xué)習(xí)和交互建模，提升推薦性能.

4.4.1 冷啟動(dòng)場(chǎng)景的實(shí)驗(yàn)結(jié)果

為了研究AHNER在冷啟動(dòng)場(chǎng)景中的性能，本節(jié)改變Retailrocket數(shù)據(jù)集中訓(xùn)練集的比例，將用于實(shí)驗(yàn)的訓(xùn)練集比例從90%逐漸降低至20%，然后利用AHNER解決鏈路預(yù)測(cè)問(wèn)題，具體實(shí)驗(yàn)結(jié)果如表5所示：

Table 5 AUC of Cold Start on Retailrocket Dataset表5 Retailrocket數(shù)據(jù)集上冷啟動(dòng)場(chǎng)景的AUC

通過(guò)分析實(shí)驗(yàn)結(jié)果，在訓(xùn)練集比例從90%逐漸降低至20%時(shí)，2個(gè)對(duì)比方法的AUC值分別下降4.6%與7.2%，但AHNER的性能僅下降1.7%～1.8%.這表明AHNER即使用戶與商品之間的交互稀疏，也能保持預(yù)測(cè)性能.

4.4.2 屬性權(quán)重可視化

本節(jié)在Amazon數(shù)據(jù)集中隨機(jī)選擇5個(gè)商品進(jìn)行屬性權(quán)重系數(shù)可視化，結(jié)果如圖6所示：

Fig. 6The attribute weight coefficient of different products圖6 不同商品的屬性權(quán)重系數(shù)圖

圖6中所示的權(quán)重系數(shù)都是由基于自注意力機(jī)制的屬性嵌入表示學(xué)習(xí)出的商品屬性的權(quán)重系數(shù)，其中每一行記錄一個(gè)商品(由商品ID號(hào)表示)的權(quán)重系數(shù).從實(shí)驗(yàn)結(jié)果中可以觀察出：

1) 商品不同的屬性信息，權(quán)重系數(shù)也是不同的.這一現(xiàn)象與本文的猜想是一致的，即不同的屬性信息對(duì)最終嵌入表示的貢獻(xiàn)是不同的.

2) “價(jià)格”屬性的權(quán)重系數(shù)在每個(gè)商品的屬性信息中占比較大.這一發(fā)現(xiàn)與用戶在實(shí)際推薦系統(tǒng)中的消費(fèi)行為相一致.除此之外，“品牌”屬性的權(quán)重系數(shù)也比較大，這種現(xiàn)象也反映出用戶的消費(fèi)行為規(guī)律，即用戶傾向于購(gòu)買同一品牌的商品，以方便降低價(jià)格或領(lǐng)取優(yōu)惠.

3) 對(duì)于不同的商品，用戶傾向考慮的屬性信息也會(huì)不同.比如商品ID為14 704的商品，用戶除考慮商品本身的特征外，相比于“銷售排行”會(huì)更加考慮商品的品牌，所以“品牌”的權(quán)重占比會(huì)比較大.而在商品ID為92 007的商品中，用戶會(huì)相比于“品牌”屬性更多地考慮商品的“銷售排行”屬性.

4.4.3 參數(shù)分析

本節(jié)將討論AHNER的參數(shù)問(wèn)題，主要涉及在進(jìn)行屬性異構(gòu)信息網(wǎng)絡(luò)嵌入學(xué)習(xí)時(shí)所采用的邊嵌入維度z.通過(guò)保持其他設(shè)置不變，改變邊嵌入維度z的值，觀察AHNER的性能變化，圖7給出了調(diào)整邊嵌入維度z時(shí)，AHNER在Retailrocket數(shù)據(jù)集上性能的表現(xiàn).

Fig. 7 Parameter performance changes of AHNER on Retailrocket dataset圖7 Retailrocket數(shù)據(jù)集上AHNER參數(shù)性能變化圖

從圖7中可以觀察到，邊嵌入維度對(duì)AHNER的推薦性能影響較弱，當(dāng)維度取值在10左右時(shí)AHNER的性能最好，當(dāng)維度取值大于10時(shí)性能平緩下降，當(dāng)維度取值小于10時(shí)性能平穩(wěn)上升.

5 總 結(jié)

本文提出一個(gè)通用的基于自注意力機(jī)制的屬性異構(gòu)信息網(wǎng)絡(luò)嵌入的商品推薦框架——AHNER，該框架通過(guò)基于自注意力機(jī)制的屬性異構(gòu)信息網(wǎng)絡(luò)嵌入學(xué)習(xí)用戶與商品的嵌入表示并解決推薦問(wèn)題.AHNER在學(xué)習(xí)嵌入表示時(shí)充分利用節(jié)點(diǎn)的屬性信息，學(xué)習(xí)不同屬性信息的權(quán)重系數(shù)，并學(xué)習(xí)節(jié)點(diǎn)的屬性嵌入表示.在學(xué)習(xí)節(jié)點(diǎn)的結(jié)構(gòu)嵌入時(shí)，使用自注意力機(jī)制解決屬性異構(gòu)信息網(wǎng)絡(luò)中多種邊類型的問(wèn)題，并為其學(xué)習(xí)統(tǒng)一的節(jié)點(diǎn)嵌入表示.然后融合節(jié)點(diǎn)的屬性嵌入與節(jié)點(diǎn)的結(jié)構(gòu)嵌入為節(jié)點(diǎn)學(xué)習(xí)整體統(tǒng)一的、低維的節(jié)點(diǎn)嵌入表示，并在推薦過(guò)程中克服點(diǎn)積作為匹配函數(shù)的局限性，利用DNN學(xué)習(xí)高效的匹配函數(shù)并解決推薦問(wèn)題.AHNER在3個(gè)公開(kāi)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果證明AHNER比以前的方法取得了更好的性能.在未來(lái)的工作中：1)研究如何引入多模態(tài)的商品描述信息，如用戶對(duì)商品的評(píng)論、商品圖片、視頻等來(lái)豐富網(wǎng)絡(luò)中的節(jié)點(diǎn)屬性信息，從而提高推薦性能；2)研究如何引入知識(shí)圖譜來(lái)增強(qiáng)推薦系統(tǒng)的可解釋性.

作者貢獻(xiàn)聲明：王宏琳負(fù)責(zé)方法的設(shè)計(jì)與實(shí)現(xiàn),以及論文的撰寫;楊丹負(fù)責(zé)確定研究思路和全文結(jié)構(gòu)設(shè)計(jì)，并指導(dǎo)論文撰寫；聶鐵錚指導(dǎo)實(shí)驗(yàn)方案的實(shí)現(xiàn)；寇月負(fù)責(zé)審閱和完善論文內(nèi)容.