張 瑾 朱桂祥 王宇琛 鄭爍佳 陳鏡潞

①(江蘇開放大學(xué)設(shè)計(jì)學(xué)院 南京 210036)

②(南京財(cái)經(jīng)大學(xué)江蘇省電子商務(wù)重點(diǎn)實(shí)驗(yàn)室 南京 210003)

1 引言

隨著電子商務(wù)的高速發(fā)展和深度普及，網(wǎng)絡(luò)購(gòu)物已經(jīng)逐漸成為一種大眾趨勢(shì)，而跨境電商更是作為一個(gè)新的購(gòu)物模式脫穎而出，目前，跨境電商購(gòu)物模式在我國(guó)政策和社會(huì)需求的雙向作用力下將逐漸成為諸多消費(fèi)模式中的主流。因此，如何根據(jù)消費(fèi)者在跨境電子商務(wù)網(wǎng)站的消費(fèi)數(shù)據(jù)來進(jìn)一步向其推薦潛在感興趣的物品顯得至關(guān)重要[1]，這使得跨境電商產(chǎn)品推薦變?yōu)楝F(xiàn)今推薦系統(tǒng)研究領(lǐng)域的新興議題之一。

針對(duì)傳統(tǒng)的購(gòu)物場(chǎng)景，已經(jīng)有一些成熟的推薦算法在被廣泛應(yīng)用，其中最為經(jīng)典的就是基于協(xié)同過濾推薦[2,3]、基于矩陣分解推薦[4,5]、基于內(nèi)容推薦[6]和混合推薦[7]等算法。但由于跨境電商產(chǎn)品“用戶-產(chǎn)品”交互矩陣極為稀疏，并且冷啟動(dòng)問題突出，因此上述傳統(tǒng)的推薦算法在跨境電商產(chǎn)品數(shù)據(jù)上很難奏效。此外，基于協(xié)同過濾或者矩陣分解等改進(jìn)的神經(jīng)網(wǎng)絡(luò)推薦模型[8–11]，只考慮了用戶對(duì)產(chǎn)品的“顯式”和“隱式”的反饋信息，而忽視了由用戶與項(xiàng)目交互形成的圖結(jié)構(gòu)信息和產(chǎn)品之間的隱語義主題關(guān)聯(lián)，其推薦性能很難滿足平臺(tái)和用戶的要求。盡管近兩年來涌現(xiàn)了一些新穎的圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Networks, GNN)模型來解決傳統(tǒng)圖結(jié)構(gòu)數(shù)據(jù)的推薦問題[12–14]，但是現(xiàn)實(shí)中有許多圖具有多種類型的節(jié)點(diǎn)和邊，被稱作異質(zhì)圖信息網(wǎng)絡(luò)(簡(jiǎn)稱為異質(zhì)圖)[15]，由于異質(zhì)圖具有復(fù)雜的信息和豐富的語義，因此如何對(duì)異質(zhì)圖進(jìn)行表征學(xué)習(xí)，以及對(duì)用戶和項(xiàng)目交互準(zhǔn)確建模值得進(jìn)一步研究。

基于上述原因，本文從一個(gè)真實(shí)的跨境電商數(shù)據(jù)出發(fā)，對(duì)跨境電商訂單數(shù)據(jù)的特征進(jìn)行分析，以啟發(fā)基于異質(zhì)圖表達(dá)學(xué)習(xí)的跨境電商推薦模型的研究。具體而言，本文首先對(duì)跨境電商產(chǎn)品進(jìn)行主題挖掘；其次，構(gòu)造“用戶-產(chǎn)品-主題”3部圖作為推薦模型的輸入；再次，提出基于異質(zhì)圖表達(dá)學(xué)習(xí)的圖神經(jīng)網(wǎng)絡(luò)推薦模型(Heterogeneous Graph Neural network Recommender system, HGNR)，本模型包括信息傳播、信息聚合、用戶和產(chǎn)品交互建模3個(gè)核心模塊。最后，在真實(shí)的跨境電商訂單數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)對(duì)比，并從多個(gè)評(píng)價(jià)指標(biāo)上對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析。

2 相關(guān)工作

本節(jié)主要回顧一些與本文相關(guān)的研究工作，這些工作主要圍繞傳統(tǒng)的協(xié)同過濾推薦算法，以及新穎的基于圖神經(jīng)網(wǎng)絡(luò)的推薦算法展開。

2.1 協(xié)同過濾推薦算法

針對(duì)“用戶-產(chǎn)品”交互矩陣進(jìn)行個(gè)性化推薦的這一議題，早期相關(guān)研究主要集中于傳統(tǒng)的協(xié)同過濾算法。這類算法可以根據(jù)用戶與項(xiàng)目的歷史交互來捕獲用戶的興趣偏好。這類算法，也被各式各樣的電商平臺(tái)推薦系統(tǒng)所采用[16,17]。代表性的算法有協(xié)同過濾[2,3]和矩陣分解[4,5]?？紤]到深度的神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的表征能力，近幾年大量的研究工作在協(xié)同過濾算法的基礎(chǔ)上融合了深度學(xué)習(xí)理論，對(duì)基于深度學(xué)習(xí)的協(xié)同過濾推薦算法展開研究[8–11]。例如，Xue等人[8]提出利用多層神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)矩陣分解中用戶和項(xiàng)目的潛在因素。He等人[9]提出了一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來模擬用戶和項(xiàng)目的潛在特征，并設(shè)計(jì)了基于神經(jīng)網(wǎng)絡(luò)的協(xié)同過濾(Neural Collaborative Filtering, NCF)通用框架。Guo等人[11]提出了一種DeepFM (Deep Factorization Machine)算法，該算法有效地結(jié)合了因子分解機(jī)(Factorization Machine, FM)與深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Network, DNN)在特征學(xué)習(xí)中的優(yōu)點(diǎn)，能夠同時(shí)提取到低階組合特征與高階組合特征，并且共享相同的輸入和嵌入的向量，得到更好的訓(xùn)練效果。

盡管上述傳統(tǒng)的協(xié)同過濾推薦工作取得了一定的成果，但是與本文的工作相比，這些工作僅使用描述性特征(如ID和屬性)作為輔助信息構(gòu)建用戶和項(xiàng)目的嵌入向量，未考慮“用戶-產(chǎn)品”交互圖中的高階信息，而本文提出的模型能夠在異質(zhì)圖上進(jìn)行高質(zhì)量的信息傳播和聚合。同時(shí)，這些工作也忽視了在嵌入學(xué)習(xí)和交互建模中關(guān)鍵協(xié)作信號(hào)，而這些協(xié)作信號(hào)揭示了隱藏在“用戶-產(chǎn)品”交互中的用戶之間行為相似性的重要性，值得注意的是本文的工作能夠?qū)@些協(xié)作信息進(jìn)行有效建模。

2.2 基于圖神經(jīng)網(wǎng)絡(luò)的推薦算法

隨著圖表示學(xué)習(xí)的興起，近幾年來越來越多的學(xué)者對(duì)基于圖神經(jīng)網(wǎng)絡(luò)的推薦算法展開了研究[12,18–22]。由于圖神經(jīng)網(wǎng)絡(luò)通過編碼邊緣或節(jié)點(diǎn)屬性特征，能夠提供豐富的局部上下文信息，已有研究將其融入到推薦系統(tǒng)中，解決了傳統(tǒng)推薦系統(tǒng)中面臨的冷啟動(dòng)和數(shù)據(jù)稀疏的難題[14,19,23,24]。例如，文獻(xiàn)[23]提出了一種基于圖神經(jīng)網(wǎng)絡(luò)的協(xié)同過濾推薦框架NGCF(Neural Graph Collaborative Filtering)，其通過在圖結(jié)構(gòu)上傳播嵌入表達(dá)對(duì)拓?fù)浣Y(jié)構(gòu)進(jìn)行學(xué)習(xí)，有效地對(duì)高階連接信息進(jìn)行建模，進(jìn)而對(duì)“用戶-產(chǎn)品”交互信息進(jìn)行編碼以提升推薦效果。由于NGCF采用的是線性變換對(duì)交互進(jìn)行建模，這不足以捕獲用戶嵌入與物品嵌入之間潛在的復(fù)雜交互信息。有鑒于此，文獻(xiàn)[12]研究了嵌入學(xué)習(xí)和“用戶-物品”交互信息兩者之間的內(nèi)在聯(lián)系，并提出了一種個(gè)性化的圖神經(jīng)網(wǎng)絡(luò)排序模型(Neural Graph Personalized Rank, NGPR)，NGPR利用“用戶-產(chǎn)品”交互圖和非線性交互建模來對(duì)上述關(guān)系進(jìn)行刻畫?？紤]到現(xiàn)實(shí)生活中存在大量的異質(zhì)圖結(jié)構(gòu)網(wǎng)絡(luò)，Hu等人[13]針對(duì)用戶在新聞網(wǎng)站的點(diǎn)擊流構(gòu)建了異質(zhì)圖，提出了融合用戶長(zhǎng)短期興趣的異質(zhì)圖神經(jīng)網(wǎng)絡(luò)新聞推薦模型。此外，最新的一系列研究顯示GNN除了在處理圖結(jié)構(gòu)數(shù)據(jù)方面具有顯著優(yōu)勢(shì)之外，還可用于捕獲更豐富的時(shí)序數(shù)據(jù)信息用于會(huì)話推薦的場(chǎng)景[24,25]。例如，文獻(xiàn)[25]提出的基于會(huì)話的圖神經(jīng)網(wǎng)絡(luò)推薦(Session-based Recommendation with Graph Neural Networks, SR-GNN)是在基于會(huì)話的推薦場(chǎng)景中第1個(gè)利用門控圖神經(jīng)網(wǎng)絡(luò)捕捉復(fù)雜的商品轉(zhuǎn)移關(guān)系，但忽略了用戶在商品轉(zhuǎn)移關(guān)系中的作用，沒有利用用戶歷史會(huì)話信息來提高推薦性能。

與上述已有工作不同的是，本文的研究背景為跨境電商產(chǎn)品推薦，“用戶-產(chǎn)品”交互矩陣要比傳統(tǒng)商品數(shù)據(jù)更加稀疏，冷啟動(dòng)問題尤其突出。為此，與傳統(tǒng)GNN推薦模型不同的是，本文在傳統(tǒng)的“用戶-產(chǎn)品”交互圖基礎(chǔ)之上，以隱語義主題為橋梁，構(gòu)建了“用戶-產(chǎn)品-主題”3部圖，并充分利用圖中跨境產(chǎn)品的文本描述進(jìn)行表征學(xué)習(xí)以獲得精準(zhǔn)的產(chǎn)品特征。在此基礎(chǔ)上，提出一種基于異質(zhì)圖表達(dá)學(xué)習(xí)模型進(jìn)行高質(zhì)量的信息傳播和聚合，并實(shí)現(xiàn)了用戶和產(chǎn)品交互的建模。

3 基于異質(zhì)圖表達(dá)學(xué)習(xí)的圖神經(jīng)網(wǎng)絡(luò)推薦模型

本節(jié)將對(duì)基于異質(zhì)圖表達(dá)學(xué)習(xí)的圖神經(jīng)網(wǎng)絡(luò)推薦模型HGNR展開介紹。首先介紹本文的問題定義，其次介紹異構(gòu)圖表達(dá)學(xué)習(xí)，再次介紹“用戶-產(chǎn)品”的交互建模，最后介紹模型的預(yù)測(cè)函數(shù)和訓(xùn)練。

3.1 問題定義

從商品標(biāo)識(shí)來看，用戶訪問的商品各不相同，但是從商品描述文本(標(biāo)題)來看，這些產(chǎn)品均能反映出用戶對(duì)共同的興趣偏好。因此，充分利用主題信息有助于識(shí)別用戶的興趣偏好，同時(shí)能緩解“用戶-產(chǎn)品”購(gòu)買矩陣YP的稀疏性問題。

其中，tk表 示為產(chǎn)品im經(jīng)泛化后的主題。最終獲得所有主題集合T={t1,t2,...,tK}，其中tk={i|?φ(i)→tk}。

定義2“用戶-產(chǎn)品-主題”3部圖。令G=(V,R)為如圖1(a)所示構(gòu)造的“用戶-產(chǎn)品-主題”3部圖，其中V和R分別是圖中節(jié)點(diǎn)和邊集合。若“用戶-產(chǎn)品”購(gòu)買矩陣YP不為空以及“產(chǎn)品-主題”在主題集合T中存在映射關(guān)系，則對(duì)應(yīng)的用戶和產(chǎn)品，以及主題和產(chǎn)品之間的節(jié)點(diǎn)則會(huì)產(chǎn)生一條邊。其中的節(jié)點(diǎn)可以分為3類，即用戶集合U={u1,u2,...,uN}，產(chǎn)品集合I={i1,i2,...,iM}和主題集合T={t1,t2,...,tK}。

圖1 “用戶-產(chǎn)品-主題”3部圖

定義3個(gè)性化推薦。給定用戶集合為U={u1,u2,...,uN}和產(chǎn)品集合為I={i1,i2,...,iM}。根據(jù)“用戶-產(chǎn)品”購(gòu)買矩陣YP ∈RN×M，可以獲得每一個(gè)用戶對(duì)應(yīng)的購(gòu)買產(chǎn)品的標(biāo)簽，同時(shí)通過矩陣YP中的元素可以獲得用戶累計(jì)購(gòu)買產(chǎn)品的次數(shù)。給定待推薦用戶u，個(gè)性化推薦的任務(wù)是去預(yù)測(cè)用戶u最可能購(gòu)買的產(chǎn)品i。

為了實(shí)現(xiàn)跨境電商的推薦任務(wù)，本文提出如圖2所示的基于異構(gòu)圖表達(dá)學(xué)習(xí)的圖神經(jīng)網(wǎng)絡(luò)推薦模型HGNR。HGNR模型包含4個(gè)子模塊：異構(gòu)圖構(gòu)建層、信息傳播和聚合層、交互建模層、分值預(yù)測(cè)層。

圖2 HGNR模型框架圖

3.2 基于圖神經(jīng)網(wǎng)絡(luò)的3部圖表達(dá)學(xué)習(xí)

本文采用GNN中的GCN信息傳播架構(gòu)沿著圖結(jié)構(gòu)來獲取協(xié)同過濾信號(hào)，從而分別求得用戶和產(chǎn)品的表征向量。實(shí)際上，有交互歷史記錄的產(chǎn)品往往能體現(xiàn)出用戶的興趣偏好，而對(duì)同一個(gè)產(chǎn)品有交互記錄的用戶群體可以視為產(chǎn)品的特征，能夠反映產(chǎn)品之間的相似性。有鑒于此，針對(duì)“用戶-產(chǎn)品-主題”3部圖中存在高階邊關(guān)系的用戶和項(xiàng)目，我們分別進(jìn)行嵌入式的傳播學(xué)習(xí)，具體包含信息傳播和信息聚合。

3.2.1 信息傳播

在通用的單層GNN網(wǎng)絡(luò)中[12]，對(duì)于傳統(tǒng)的2部圖中存在邊連接的任意一組“用戶-產(chǎn)品”(u,i)，產(chǎn)品i至 用戶u的信息可記為

其中，f(·)是 信息的編碼函數(shù)，xi和xu分別代表產(chǎn)品i和用戶u的表征向量。其中，將產(chǎn)品i的標(biāo)題輸入訓(xùn)練好的BERT (Bidirectional Encoder Representations from Transformers)模型1)https://huggingface.co/docs/transformers/model_doc/bert，求得向量xi ∈Rd1， 此處d 1=768；xu ∈Rd2由用戶u的標(biāo)識(shí)符(Identity Document, ID)經(jīng)過One-Hot編碼獲得，此處 d2為 用戶集合的數(shù)量，此處，cu,i是用于控制任意一條邊(u,i)傳播的衰減因子，采用正則化變量1/|Nu|表 示。此處，f(·)可通過如式(3)的方式實(shí)現(xiàn)

類似地，對(duì)于“用戶-產(chǎn)品-主題”3部圖中存在邊連接的任意一組(u,i)，產(chǎn)品i至用戶u的傳播由2種途徑構(gòu)成：與用戶u直接關(guān)聯(lián)的產(chǎn)品i和與產(chǎn)品i同屬一個(gè)隱語義主題的產(chǎn)品集合{z|z ∈φ(i),z ?=i}，可記為

其中，z代表與產(chǎn)品i同屬一個(gè)主題的所有產(chǎn)品，|?(i)| 代表產(chǎn)品i所屬主題包含的產(chǎn)品數(shù)量，,∈Rd3×d1和∈Rd1×d2是GNN網(wǎng)絡(luò)中可訓(xùn)練的權(quán)重矩陣。例如，在圖1(b)中，在獲得用戶5表征向量的傳播過程中，產(chǎn)品3為用戶5購(gòu)買過的產(chǎn)品，由于通過式(1)可知產(chǎn)品4和產(chǎn)品3屬于同一主題t2(?(3)→t2)，因此用戶5可以在一次信息傳遞中得到購(gòu)買過的產(chǎn)品3的同類主題產(chǎn)品4的信息。

為了使得每個(gè)批處理在該階段的計(jì)算更加高效，在對(duì)與產(chǎn)品i同屬一個(gè)隱語義主題tk的其他產(chǎn)品集合{z|z ∈φ(i),z ?=i}進(jìn)行傳播的過程中，本文對(duì)產(chǎn)品集合{z}進(jìn)行隨機(jī)采樣。令L為采樣的和產(chǎn)品i同 屬一個(gè)主題的產(chǎn)品最大數(shù)量，若|{z}|≤L，則進(jìn)行集合{z}內(nèi) 產(chǎn)品進(jìn)行隨機(jī)采樣，復(fù)制直至|{z}|=L。

3.2.2 信息聚合

在信息傳播的基礎(chǔ)之上，本文進(jìn)一步對(duì)從用戶u的所有鄰居節(jié)點(diǎn)(既包含傳統(tǒng)2部圖中的鄰居節(jié)點(diǎn)，還包含通過3部圖G獲取的鄰居節(jié)點(diǎn))傳播的信息進(jìn)行聚合，從而獲得用戶u的表達(dá)向量。具體而言，信息聚合的函數(shù)可以定義為

其 中，σ(·) 是 激 勵(lì) 函 數(shù)，此 處 選 擇ReLU(·)=max(0,·)作為激勵(lì)函數(shù)。

為了獲得用戶u最終的表達(dá)向量，將hu經(jīng)過如式(7)的方式轉(zhuǎn)換

其中，hu ∈Rd4×2d3和bu ∈Rd4×2d3分別代表可訓(xùn)練的權(quán)重矩陣和偏置向量 ，ru代表經(jīng)過GNN中嵌入傳播層學(xué)習(xí)所獲得的用戶u表達(dá)向量。此處，本文同樣采用ReLU作為激勵(lì)函數(shù)。

與用戶u表達(dá)向量ru計(jì)算方法類似，通過聚合與產(chǎn)品i有連接的用戶，本文同樣可以獲得產(chǎn)品i的表達(dá)向量，記為ri。 總而言之，基于圖神經(jīng)網(wǎng)絡(luò)的3部圖表達(dá)學(xué)習(xí)可以利用嵌入傳播層顯式地利用連接信息來關(guān)聯(lián)用戶和項(xiàng)表示，同時(shí)以隱語義主題為橋梁，利用聚合層聚合更多的用戶和產(chǎn)品鄰居節(jié)點(diǎn)以獲取更加豐富的信息，從而獲得高質(zhì)量的用戶和產(chǎn)品表達(dá)向量。

上述是一個(gè)單層GNN的信息傳播和聚合的詳細(xì)過程，產(chǎn)品的最終表征向量?jī)H依賴它的直接近鄰。為了捕捉用戶與產(chǎn)品之間的高階關(guān)系，將GNN從單層擴(kuò)展到多層，將嵌入信息傳播得更廣更深。正如圖1(b)所示，2階的用戶表征向量可以通過如下方式獲?。菏紫?，使用式(6)和式(7)來聚合鄰居產(chǎn)品和主題的信息，獲取1階的產(chǎn)品表征向量和主題表征向量。然后，對(duì)1階的產(chǎn)品和主題進(jìn)行鄰居用戶的信息聚合，獲得2階的用戶表征向量。同理，如圖1(c)所示，也可以獲得2階的產(chǎn)品表征向量。

3.3 “用戶-產(chǎn)品”交互建模

“用戶-產(chǎn)品”交互建模層旨在對(duì)用戶和產(chǎn)品之間的偏好程度進(jìn)行建模。具體而言，在HGNR的推薦模型框架中基于用戶u的表達(dá)向量ru和 產(chǎn)品i的表達(dá)向量ri來 預(yù)測(cè)用戶u對(duì)產(chǎn)品i的交互分值，可以定義為

其中，σ(·)是激勵(lì)函數(shù)，此處，同樣選擇ReLU作為激勵(lì)函數(shù)“用戶-產(chǎn)品”交互建模層的最終輸出為用戶u對(duì)產(chǎn)品i的 交互分值，即zui。

3.4 預(yù)測(cè)函數(shù)和模型訓(xùn)練

在模型訓(xùn)練階段，就對(duì)用戶進(jìn)行產(chǎn)品推薦而言，積極標(biāo)簽是用戶u真實(shí)購(gòu)買的產(chǎn)品i集合(存在交互)，記為Y+。 而消極標(biāo)簽是從產(chǎn)品集合I中去除積極標(biāo)簽進(jìn)行l(wèi)og-uniform采樣形成(不存在交互)，記為Y ?。本文采用在推薦系統(tǒng)中被廣泛使用的基于2元交叉熵作為HGNR的損失函數(shù)，即購(gòu)買概率和真實(shí)情況的損失函數(shù)可通過式(10)的方法計(jì)算

其中，yu,i是 產(chǎn)品i被 用戶u真實(shí)購(gòu)買的概率分布。具體而言，如果(u,i)∈Y+， 則yu,i=1， 反之yu,i=0。

此處，本文借助Adam優(yōu)化器[26]來最小化損失函數(shù)L，從而將HGNR模型中的參數(shù)調(diào)為最優(yōu)配置。與現(xiàn)有的訓(xùn)練方案相比，本方法能有效地挖掘出消極樣本中的有用信息，進(jìn)一步降低了模型訓(xùn)練的計(jì)算成本。

4 實(shí)驗(yàn)結(jié)果和分析

4.1 實(shí)驗(yàn)設(shè)置

4.1.1 基準(zhǔn)算法

本文將HGNR模型與4種傳統(tǒng)推薦方法，即流行性預(yù)測(cè)(POPular, POP)，基于用戶的協(xié)同過濾算法(User-based Collaborative Filtering, UCF)，基于項(xiàng)目的協(xié)同過濾算法(Item-based Collaborative Filtering, ICF)，奇異值分解算法(Singular Value Decomposition, SVD)和非負(fù)矩陣分解算法(Nonnegative Matrix Factorization, NMF)；融合神經(jīng)網(wǎng)絡(luò)的協(xié)同過濾算法(Collaborative Deep Learning, CDL)和矩陣分解算法DeepFM；以及基于圖神經(jīng)網(wǎng)絡(luò)的推薦方法(NGCF和NGPR)進(jìn)行對(duì)比。

POP[27]：POP總是推薦訓(xùn)練集中最受歡迎的項(xiàng)目。盡管它很簡(jiǎn)單，但通常被用作多個(gè)推薦系統(tǒng)研究領(lǐng)域的基線。

UCF[2]：UCF是基于用戶的協(xié)同過濾算法，被工業(yè)界常用于推薦候選集的生成。

ICF[3]：ICF是一個(gè)基于項(xiàng)目的協(xié)同過濾算法，其被廣泛應(yīng)用于電子商務(wù)網(wǎng)站的推薦。

SVD[4]：SVD是奇異值分解算法，是一種經(jīng)典的基于矩陣分解的推薦算法。

NMF[5]：NMF是一種相對(duì)新穎的降維范式，它使分解后的所有分量均為非負(fù)值，并且同時(shí)實(shí)現(xiàn)非線性的維數(shù)約減。

CDL[10]：CDL聯(lián)合了對(duì)文本內(nèi)容信息進(jìn)行深度表征的學(xué)習(xí)和對(duì)評(píng)價(jià)(反饋)矩陣進(jìn)行協(xié)同過濾。

DeepFM[11]：DeepFM將因子分解機(jī)與深度神經(jīng)網(wǎng)絡(luò)相結(jié)合，也是一種廣泛使用的基于神經(jīng)網(wǎng)絡(luò)的推薦方法。

NGCF[23]：NGCF是一個(gè)最先進(jìn)的基于圖的CF模型，它利用圖形神經(jīng)網(wǎng)絡(luò)將“用戶-產(chǎn)品”交互結(jié)合到嵌入學(xué)習(xí)中。

NGPR[12]：NGPR也是基于圖的CF模型，除了利用圖形神經(jīng)網(wǎng)絡(luò)將“用戶-產(chǎn)品”交互結(jié)合到嵌入學(xué)習(xí)中之外，還考慮到用戶和項(xiàng)目潛在的關(guān)聯(lián)性，同時(shí)采用了多層感知機(jī) (MultiLayer Perceptron,MLP)來進(jìn)行用戶和項(xiàng)目非線性的交互建模。

其中，ICF和UCF近鄰數(shù)量分別設(shè)置為40和1000，SVD和NMF的潛因子數(shù)量設(shè)置為50。在HGNR的設(shè)置中，本文在“用戶-產(chǎn)品”購(gòu)買矩陣上分別按照80%和20%的比例劃分訓(xùn)練集和測(cè)試集。主題泛化借助的是Python自然語言處理庫(kù)Gensim2)https://pypi.org/project/gensim/，將所有產(chǎn)品的標(biāo)題輸入到LDA模型中，模型的輸出包含了“詞-主題”概率分布矩陣和“產(chǎn)品-主題”概率分布矩陣以及每個(gè)主題下的高頻詞。此外，本文設(shè)置隱語義主題集合進(jìn)行隨機(jī)采樣的最大數(shù)量L為5。盡管GNN具有強(qiáng)大的表征學(xué)習(xí)的能力，但是仍然存在過擬合的問題。正如3.2.1節(jié)所示，對(duì)隱語義主題集合?(i)進(jìn)行隨機(jī)采樣(等同于對(duì)“產(chǎn)品-主題”子圖中的產(chǎn)品節(jié)點(diǎn)進(jìn)行隨機(jī)采樣)，其功能類似于文獻(xiàn)[28]中對(duì)“產(chǎn)品-主題”邊丟棄。為此，在HGNR的訓(xùn)練階段，僅需要對(duì)“用戶-產(chǎn)品”子圖的邊進(jìn)行丟棄：以丟棄比例p隨機(jī)拋棄部分邊以阻止信息的傳播，從而避免HGNR欠擬合或過擬合。

4.1.2 評(píng)價(jià)指標(biāo)

為了評(píng)價(jià)HGNR和基準(zhǔn)算法的性能，本文采用了HitRate@k, Item-coverage@k和MRR@k作為推薦模型生成的Top-k推薦列表的評(píng)價(jià)指標(biāo)。

HitRate@k評(píng)價(jià)的是推薦的準(zhǔn)確率，其定義為測(cè)試集中所有用戶的Top-k推薦列表中真實(shí)存在購(gòu)買(Ground-Truth)的比例

其中，T是測(cè)試集，gu是用戶u實(shí)際購(gòu)買的旅游包。Ru,gu是 用戶u真實(shí)購(gòu)買的產(chǎn)品在Top-k推薦列表中的排序，如果gu出現(xiàn)在Top-k推薦列表中，則指示符函數(shù)將被設(shè)置為1，否則為0。

在眼表檢查中，為了客觀地量化淚河變化，我們采用的傅立葉域OCT，其具有低個(gè)體內(nèi)變異[22]和高可重復(fù)性[23，24]的特性。利用這個(gè)先進(jìn)的技術(shù)，我們發(fā)現(xiàn)各觀察時(shí)間點(diǎn)TMH、TMD和TMA差異無統(tǒng)計(jì)學(xué)意義，這提示白內(nèi)障術(shù)后的眼表不適不能單純歸結(jié)為淚液水樣層的缺乏造成的。

Item-coverage@k是測(cè)試集中所有樣本的Top-k推薦列表中準(zhǔn)確推薦的項(xiàng)目所占比例。其定義為

其中， Dis ( )是集合中不同項(xiàng)目數(shù)量的統(tǒng)計(jì)函數(shù)。例如，D is({i1,i2,i2})=2。

MRR@k是準(zhǔn)確推薦項(xiàng)目的排序倒數(shù)平均值，該指標(biāo)衡量的是模型推薦項(xiàng)目的排序性能。直觀地說，在實(shí)踐中推薦準(zhǔn)確的項(xiàng)目排序得越高越好。MRR@k的定義為

其中，如果Ru,gu ≥k，則排序的倒數(shù)值將設(shè)置為0。

4.2 總體性能評(píng)價(jià)

本文對(duì)比了HGNR模型和其他基準(zhǔn)模型的整體性能以證明HGNR模型的有效性，實(shí)驗(yàn)結(jié)果如表1所示?？傮w來說，從所有評(píng)價(jià)指標(biāo)上來看HGNR模型均優(yōu)于其他基準(zhǔn)算法，獲得了最佳性能。具體而言，我們觀察到以下現(xiàn)象。

表1 總體性能比較(%)

首先，可以清楚地觀察到基于神經(jīng)網(wǎng)絡(luò)的協(xié)同過濾方法(即CDL和DeepFM)優(yōu)于傳統(tǒng)推薦方法(如POP, ICF, UCF, SVD和NMF)，這可能是因?yàn)榭缇畴娚躺唐窋?shù)據(jù)集中的“用戶-產(chǎn)品”購(gòu)買矩陣極度稀疏，傳統(tǒng)方法不能直接應(yīng)用于跨境電商商品推薦，融合了神經(jīng)網(wǎng)絡(luò)的協(xié)同過濾及矩陣分解方法模型可以比傳統(tǒng)方法更好地學(xué)習(xí)用戶和產(chǎn)品的表征。此外POP算法在Top-3和Top-5的推薦列表上表現(xiàn)最差。此外，盡管POP算法在Top-10的推薦列表上表現(xiàn)尚可，但是其推薦的都是流行度較高的產(chǎn)品，具有長(zhǎng)尾現(xiàn)象。這說明我們需要對(duì)用戶的個(gè)性化偏好進(jìn)行建模，而不是僅限于向用戶推薦流行的產(chǎn)品。

其次，在深度學(xué)習(xí)的算法中，基于圖神經(jīng)網(wǎng)絡(luò)的推薦方法(NGCF,NGPR,HGNR)都超過了非圖神經(jīng)的推薦方法(即CDL和DeepFM)。其中性能最差的基于圖神經(jīng)網(wǎng)絡(luò)的推薦方法(NGCF)都優(yōu)于CDL和DeepFM。由此結(jié)果可以看出，由于圖神經(jīng)網(wǎng)絡(luò)通過編碼邊緣或節(jié)點(diǎn)屬性特征，能夠提供豐富的局部上下文信息，并捕獲用戶嵌入與物品嵌入之間潛在的復(fù)雜交互信息，因此在推薦性能上能夠得到明顯提升。

最后，在基于圖神經(jīng)網(wǎng)絡(luò)的推薦方法中，HGNR明顯優(yōu)于其他兩個(gè)方法(即NGCF和NGPR)。這些數(shù)據(jù)表明，HGNR具有2個(gè)顯著的優(yōu)勢(shì)：(1)在傳統(tǒng)的“用戶-產(chǎn)品”交互圖基礎(chǔ)之上，HGNR通過以隱語義主題為橋梁，構(gòu)建了“用戶-產(chǎn)品-主題”3部圖，且充分利用圖中跨境產(chǎn)品的文本描述進(jìn)行表征學(xué)習(xí)獲得了精準(zhǔn)的產(chǎn)品特征；(2)HGNR通過提出的基于異質(zhì)圖表達(dá)學(xué)習(xí)模型進(jìn)行高質(zhì)量的信息傳播和聚合，實(shí)現(xiàn)了用戶和產(chǎn)品交互的建模以獲得準(zhǔn)確的用戶和產(chǎn)品表征向量，既緩解了冷啟動(dòng)推薦問題，又兼顧了推薦的準(zhǔn)確率。但是，我們也觀察到了HGNR模型相比既有的NGPR模型的性能提升不是特別明顯，甚至在MRR@5評(píng)價(jià)指標(biāo)上略高于HGNR，究其原因可能是HGNR模型與NGPR均是采用的較為流行的圖卷積神經(jīng)網(wǎng)絡(luò)(GCN)在網(wǎng)絡(luò)拓?fù)鋱D上進(jìn)行信息的傳播和聚合，都屬于圖神經(jīng)網(wǎng)絡(luò)的范式。同時(shí)，NGPR采用多層感知機(jī)(Multi Layer Perceptron, MLP)來進(jìn)行用戶和項(xiàng)目非線性的交互建模也可能是其優(yōu)勢(shì)。

4.3 參數(shù)分析

本節(jié)將分析HGNR中關(guān)鍵的參數(shù)對(duì)推薦性能的影響，包括超參丟棄比例和GNN的網(wǎng)絡(luò)層數(shù)。

4.3.1 丟棄對(duì)性能的影響

為了防止HGNR模型在訓(xùn)練過程中欠擬合或過擬合，受文獻(xiàn)[29,30]啟發(fā)，本文通過對(duì)“用戶-產(chǎn)品-主題”3部圖中“用戶-產(chǎn)品”子圖的邊進(jìn)行丟棄：以丟棄比例p隨機(jī)拋棄部分邊以阻止信息的傳播。圖3展示了將HGNR的丟棄比例p分別設(shè)置為0.05, 0.10, 0.15, 0.20, 0.25, 0.30, 0.35, 0.40的實(shí)驗(yàn)結(jié)果(其他參數(shù)保持不變)。從圖3(a)、圖3(b)和圖3(c)可以分析出如下現(xiàn)象：(1)隨著p的增加，HGNR在3個(gè)評(píng)價(jià)指標(biāo)HitRate, Item-coverage和MRR上的值均逐步提升，然后再逐步下降，因此將丟棄比例設(shè)置過小或過大的都容易導(dǎo)致欠擬合或過擬合；(2)當(dāng)p=0.30時(shí)，在絕大多數(shù)的情況下，HGNR在3個(gè)評(píng)價(jià)指標(biāo)HitRate, Item-coverage和MRR上取得了最佳值，因此設(shè)置適當(dāng)?shù)膩G棄比例，能一定程度上緩解HGNR的欠擬合和過擬合。綜上所述，本文將丟棄比例p的默認(rèn)參數(shù)設(shè)置為0.30。

4.3.2 GNN網(wǎng)絡(luò)層數(shù)對(duì)性能的影響

為了衡量HGNR中GNN的層數(shù)對(duì)性能的影響，本文將GNN層數(shù)分別設(shè)置為1, 2, 3進(jìn)行實(shí)驗(yàn)(其他參數(shù)保持不變)，實(shí)驗(yàn)結(jié)果如表2所示?？梢钥闯?，當(dāng)HGNR采用2層GNN時(shí)，其在3個(gè)評(píng)價(jià)指標(biāo)HitRate@10, Item-coverage@10和MRR@10上均取得了最佳性能。這是因?yàn)閱螌拥腉NN無法捕獲用戶和產(chǎn)品之間的高階關(guān)系，然而，3層的GNN可能給模型帶來大量的噪聲，當(dāng)在推斷節(jié)點(diǎn)間的相似性時(shí)，關(guān)系鏈太長(zhǎng)的較高層幾乎沒有意義。以上實(shí)驗(yàn)現(xiàn)象也與文獻(xiàn)[13]保持一致。綜上所述，綜合考慮HGNR訓(xùn)練階段的時(shí)間成本，將應(yīng)HGNR-2 Layer(2層)作為模型的默認(rèn)參數(shù)。

表2 GNN網(wǎng)絡(luò)層數(shù)對(duì)推薦性能的影響(%)

4.4 冷啟動(dòng)用戶推薦效果

由于新用戶往往沒有收集到足夠的信息，因此這些新用戶很難產(chǎn)生推薦結(jié)果，這也使得冷啟動(dòng)是推薦系統(tǒng)中最常見的問題[24]。本文的數(shù)據(jù)集中，高達(dá)30905(98.44%)的用戶只購(gòu)買了5種及以下的跨境電商產(chǎn)品。為此，本文從測(cè)試數(shù)據(jù)集中提取這些冷啟動(dòng)用戶，并重點(diǎn)檢查HGNR模型在這些引起冷啟動(dòng)問題的新用戶上的推薦性能。

此處只選擇性能相對(duì)較好的基于圖神經(jīng)網(wǎng)絡(luò)的算法(即NGCF, NGPR和HGNR)進(jìn)行冷啟動(dòng)用戶的推薦性能分析實(shí)驗(yàn)。具體而言，使用訓(xùn)練過的NGCF, NGPR, HGNR模型來了解新用戶的偏好，并向其推薦最感興趣的項(xiàng)目。值得注意的是，本文沒有改變?nèi)魏斡?xùn)練流程，只是選擇了冷啟動(dòng)用戶進(jìn)行測(cè)試，因此模型所有的測(cè)試都不需要再次訓(xùn)練。圖4展示了實(shí)驗(yàn)結(jié)果，可以得出以下結(jié)論：(1)隨著用戶購(gòu)買不同產(chǎn)品數(shù)量的增加，NGCF, NGPR和HGNR在3個(gè)評(píng)價(jià)指標(biāo)HitRate@10,Item-coverage @10和MRR@10上的性能均逐步上升；(2)針對(duì)冷啟動(dòng)用戶的推薦性能方面，HGNR在絕大多數(shù)的情況下都優(yōu)于其他兩種基準(zhǔn)算法。這也說明了HGNR模型中異質(zhì)圖表達(dá)學(xué)習(xí)的有效性。

圖4 針對(duì)冷啟動(dòng)用戶的推薦性能

5 結(jié)束語

本文研究了基于異質(zhì)圖表達(dá)學(xué)習(xí)的跨境電商推薦問題。首先，對(duì)跨境電商產(chǎn)品進(jìn)行隱語義主題挖掘；其次，在傳統(tǒng)的“用戶-產(chǎn)品”交互矩陣基礎(chǔ)之上，以隱語義主題為橋梁，構(gòu)造了“用戶-產(chǎn)品-主題”3部圖作為推薦模型的輸入；最后，提出了基于異質(zhì)圖表達(dá)學(xué)習(xí)的圖神經(jīng)網(wǎng)絡(luò)模型HGNR用于個(gè)性化的跨境電商產(chǎn)品推薦。該模型具有兩個(gè)顯著的優(yōu)勢(shì)：(1)將“用戶-產(chǎn)品-主題”3部圖作為輸入，通過GCN在異質(zhì)圖上進(jìn)行高質(zhì)量信息傳播和聚合；(2)能夠獲取高質(zhì)量的用戶和產(chǎn)品表征向量，實(shí)現(xiàn)了用戶和產(chǎn)品復(fù)雜交互關(guān)系的建模。為了驗(yàn)證HGNR的優(yōu)勢(shì)，本文在真實(shí)跨境電商數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，3個(gè)評(píng)價(jià)指標(biāo)上的實(shí)驗(yàn)結(jié)果表明，基于異質(zhì)圖神經(jīng)網(wǎng)絡(luò)的模型HGNR不但在性能上比傳統(tǒng)推薦算法更有優(yōu)勢(shì)，而且能有效提升冷啟動(dòng)用戶的推薦準(zhǔn)確率。

目前HGNR在信息傳播中尚未考慮“用戶累計(jì)購(gòu)買產(chǎn)品的次數(shù)”(即邊權(quán)重)和用戶統(tǒng)計(jì)信息，在將來的工作中，我們擬進(jìn)一步探究采用圖注意力網(wǎng)絡(luò)(Graph ATtention network, GAT)并融入上述信息用于學(xué)習(xí)用戶和產(chǎn)品的表征。此外，一種高效的用戶和產(chǎn)品的非線性的交互建模方案仍然值得進(jìn)一步研究。