鄭 楠,過(guò) 弋,2,3,李智強(qiáng),王志宏

(1. 華東理工大學(xué) 信息科學(xué)與工程學(xué)院，上海 200237；2. 大數(shù)據(jù)流通與交易技術(shù)國(guó)家工程實(shí)驗(yàn)室 商業(yè)智能與可視化技術(shù)研究中心，上海 200436; 3. 上海大數(shù)據(jù)與互聯(lián)網(wǎng)受眾工程技術(shù)研究中心，上海 200072)

0 引言

隨著互聯(lián)網(wǎng)的快速發(fā)展和移動(dòng)設(shè)備的普及，用戶往往面臨海量信息，特別是在選購(gòu)商品時(shí)，難以快速地發(fā)現(xiàn)自身實(shí)際需要的商品，從而引發(fā)信息過(guò)載問(wèn)題[1]。因此推薦系統(tǒng)應(yīng)運(yùn)而生，既可以為用戶推薦所需要或感興趣的商品，又可以為商品提供者提高曝光率，提高交易率。傳統(tǒng)的推薦算法通常依賴于對(duì)用戶的自身特性和歷史交互商品特征的分析，在現(xiàn)實(shí)應(yīng)用中需要較長(zhǎng)時(shí)間周期，表現(xiàn)不佳。同時(shí)用戶對(duì)隱私更加注重，常常匿名訪問(wèn)網(wǎng)站，或只是在有購(gòu)買行為時(shí)才提醒用戶登錄，導(dǎo)致用戶的瀏覽信息采集缺失，或登錄的用戶只有短期的交互信息，以致用戶的瀏覽信息采集較少。在以上情況下，傳統(tǒng)的推薦算法如協(xié)同過(guò)濾等常表現(xiàn)不佳。會(huì)話是將匿名用戶的交互序列按照時(shí)間順序切分成指定長(zhǎng)度的相對(duì)較短的序列，如圖1中的會(huì)話序列?；跁?huì)話的商品推薦算法旨在通過(guò)對(duì)指定時(shí)間內(nèi)的匿名用戶的行為序列研究來(lái)預(yù)測(cè)用戶下一個(gè)交互的商品[2]，既能夠?qū)W習(xí)用戶的短期興趣，又能夠保留用戶交互的時(shí)間順序信息，以此學(xué)習(xí)商品之間的順序依賴，從而引起廣泛的關(guān)注。

近年來(lái)，圖神經(jīng)網(wǎng)絡(luò)的提出和廣泛應(yīng)用使基于圖神經(jīng)網(wǎng)絡(luò)的推薦算法研究成為研究的熱點(diǎn)。但大多集中于會(huì)話圖的構(gòu)建學(xué)習(xí)。如SR-GNN[3]對(duì)用戶的偏好學(xué)習(xí)只集中于當(dāng)前會(huì)話，忽略了其他會(huì)話相關(guān)物品的轉(zhuǎn)移關(guān)系學(xué)習(xí)。如GCE-GNN[4]雖考慮到其他會(huì)話的學(xué)習(xí)，但只強(qiáng)調(diào)全局圖對(duì)會(huì)話圖的指導(dǎo)，忽視了會(huì)話圖對(duì)全局圖的指導(dǎo)作用，并將兩者表征采用固定權(quán)重融合，對(duì)全局圖和局部會(huì)話圖各自學(xué)習(xí)到的物品表征之間的強(qiáng)相關(guān)信息的提取和融合研究缺乏。

針對(duì)以上問(wèn)題，本文提出了一種融合交互注意力機(jī)制和改進(jìn)參數(shù)自適應(yīng)策略的圖神經(jīng)網(wǎng)絡(luò)推薦模型，簡(jiǎn)稱InterAtt-GNN。主要?jiǎng)?chuàng)新點(diǎn)如下：

(1) 引入交互注意力機(jī)制來(lái)同時(shí)利用全局圖對(duì)會(huì)話圖的指導(dǎo)和會(huì)話圖對(duì)全局圖的指導(dǎo)，分別對(duì)會(huì)話圖和全局圖學(xué)習(xí)的物品表征進(jìn)行強(qiáng)相關(guān)信息提取。

(2) 通過(guò)改進(jìn)參數(shù)自適應(yīng)策略對(duì)原有的會(huì)話圖和全局圖物品表征學(xué)習(xí)兩者權(quán)重并用于信息提取后的表征融合。

(3) 本文在公開(kāi)數(shù)據(jù)集Tmall上進(jìn)行實(shí)驗(yàn)。結(jié)果表明，InterAtt-GNN算法相比于對(duì)比的其他推薦算法在準(zhǔn)確率和MRR指標(biāo)上分別提升了1.82%～3.01%和0.43%～0.50%。

1 相關(guān)工作

隨著深度學(xué)習(xí)的快速發(fā)展和注意力機(jī)制的優(yōu)越表現(xiàn)，目前已有許多基于循環(huán)神經(jīng)網(wǎng)絡(luò)和引入注意力機(jī)制的會(huì)話推薦算法研究?？偨Y(jié)來(lái)看，在基于會(huì)話的推薦系統(tǒng)研究領(lǐng)域中，目前優(yōu)越的模型大多基于循環(huán)神經(jīng)網(wǎng)絡(luò)、注意力機(jī)制和圖神經(jīng)網(wǎng)絡(luò)。

1.1 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的會(huì)話推薦算法

基于會(huì)話的推薦算法研究本質(zhì)上是對(duì)序列化推薦算法的研究，其大多都假設(shè)序列中的交互行為是有順序依賴的。而RNN在捕捉序列的順序依賴方面具有強(qiáng)大優(yōu)勢(shì)。目前基于RNN的推薦算法研究大多基于長(zhǎng)短時(shí)記憶(LSTM)[5]和門循環(huán)控制單元(GRU)[6]的循環(huán)神經(jīng)網(wǎng)絡(luò)，用于捕捉會(huì)話行為序列的長(zhǎng)期依賴關(guān)系。HIDASI等人[7]將整個(gè)會(huì)話作為行為序列，利用RNN的變體GRU對(duì)其建模。BOGINA等人[8]將用戶停留時(shí)間結(jié)合到RNN模型，提升在Yoochoose數(shù)據(jù)集上的準(zhǔn)確率。但基于RNN的推薦算法在應(yīng)用中存在以下不足：(1)由于RNN的強(qiáng)假設(shè)前提是序列中任何相鄰項(xiàng)都是高度相關(guān)的，與現(xiàn)實(shí)中交互序列的生成情景不符，很容易生成錯(cuò)誤的相關(guān)性從而引入噪聲； (2)忽略了用戶交互行為的復(fù)雜協(xié)作依賴關(guān)系。

1.2 基于注意力機(jī)制的會(huì)話推薦算法

深度學(xué)習(xí)在描述序列數(shù)據(jù)方面的極強(qiáng)表現(xiàn)力使得深度學(xué)習(xí)的模型在推薦系統(tǒng)中取得顯著成功。尤其是將注意力機(jī)制引入神經(jīng)網(wǎng)絡(luò)中，用于提取序列中相對(duì)重要的行為信息。Wang等人[9]提出基于自注意力機(jī)制的SASRec模型，結(jié)合RNN和馬爾科夫鏈模型的優(yōu)勢(shì)，既可以捕捉長(zhǎng)期的語(yǔ)義信息，還可以基于盡可能少的行為進(jìn)行預(yù)測(cè)。陳海涵等人[10]從基于注意力機(jī)制的DNN、CNN、RNN、GNN推薦四個(gè)方面分析，分別闡明進(jìn)展和不足，并指出多特征交互是未來(lái)研究的要點(diǎn)。隨著注意力機(jī)制融合進(jìn)推薦系統(tǒng)的發(fā)展，阿里先后提出融合 Attention機(jī)制的深度學(xué)習(xí)模型 DIN[11]和 DIEN[12]，能夠根據(jù)候選商品的不同調(diào)整不同特征的權(quán)重,并且將注意力機(jī)制作用于深度神經(jīng)網(wǎng)絡(luò)?？紤]到用戶的每個(gè)會(huì)話的興趣是相近的，會(huì)話間的興趣差別較大，F(xiàn)eng等提出DSIN[13]模型，考慮和用戶的會(huì)話關(guān)系結(jié)合，相對(duì)之前模型進(jìn)一步提升。但是，上述注意力機(jī)制都是基于序列自身的物品學(xué)習(xí)注意力權(quán)重，缺少對(duì)會(huì)話間和會(huì)話內(nèi)物品表征學(xué)習(xí)的注意力。

1.3 基于圖神經(jīng)網(wǎng)絡(luò)的會(huì)話推薦算法

隨著圖神經(jīng)網(wǎng)絡(luò)的高速發(fā)展，將圖神經(jīng)網(wǎng)絡(luò)引入推薦算法的研究成為目前推薦系統(tǒng)研究的熱點(diǎn)。圖神經(jīng)網(wǎng)絡(luò)相較于以往的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)能夠考慮到用戶交互行為序列的復(fù)雜交互關(guān)系，從而捕捉序列中被忽略的復(fù)雜的用戶-商品之間的交互轉(zhuǎn)換?？紤]到商品間的復(fù)雜的轉(zhuǎn)移關(guān)系，SR-GNN[3]模型提出用GNN的方法來(lái)提取用戶的短期興趣，性能相對(duì)以往的方法有較大提升。但只關(guān)注會(huì)話內(nèi)的商品交互。隨之，GCE-GNN[4]模型被提出，構(gòu)建局部會(huì)話圖獲取用戶基于會(huì)話的短期興趣，用所有序列構(gòu)建的全局交互圖獲得用戶基于會(huì)話間的長(zhǎng)期興趣，相較于單會(huì)話學(xué)習(xí)有較大提升，但對(duì)于全局圖和會(huì)話圖學(xué)習(xí)到的物品嵌入只是通過(guò)簡(jiǎn)單的sum-pooling結(jié)合，忽視了兩者之間的強(qiáng)相關(guān)關(guān)系。南寧等人[14]用物品注意圖和協(xié)同關(guān)聯(lián)圖學(xué)習(xí)物品表征并使用雙層注意力獲取節(jié)點(diǎn)表征，獲得性能提升，但缺少圖表征之間的學(xué)習(xí)。也有將圖神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)方法結(jié)合，如矩陣分解[15]，盡管取得一定效果，但對(duì)于會(huì)話間的學(xué)習(xí)不足。

2 模型結(jié)構(gòu)

針對(duì)上述問(wèn)題，本文引入交互注意力機(jī)制學(xué)習(xí)兩者之間的強(qiáng)相關(guān)關(guān)系，提出InterAtt-GNN模型，其整體流程如圖1所示。

該模型由以下幾個(gè)部分組成：商品表征學(xué)習(xí)層、交互注意力層、融合層、序列表征層和輸出層。

圖1 InterAtt-GNN算法整體圖

2.1 商品表征層

商品表征層包括會(huì)話商品表征學(xué)習(xí)模塊和全局商品表征學(xué)習(xí)模塊，會(huì)話商品表征學(xué)習(xí)模塊基于會(huì)話圖學(xué)習(xí)商品在當(dāng)前會(huì)話圖中的表征，全局商品表征學(xué)習(xí)模塊首先根據(jù)當(dāng)前商品在全部會(huì)話中交互商品構(gòu)建商品的全局圖，從中學(xué)習(xí)商品基于全局圖的表征。

會(huì)話圖如圖1所示，對(duì)于所有的商品V={v1,v2,…,vn}，每個(gè)匿名會(huì)話序列定義為S={v1,v2,…,vm}，m為會(huì)話序列長(zhǎng)度，通過(guò)擬合會(huì)話序列中鄰近的商品對(duì)構(gòu)成會(huì)話圖，令SessionGraph=(Vs,Εs)，其中，Vs?V，是會(huì)話中的商品序列，Es={(vi,vj)|i,j∈{1,…,m}}是商品序列中商品之間邊的集合。構(gòu)建的會(huì)話圖是有序無(wú)權(quán)有向圖，通過(guò)計(jì)算當(dāng)前會(huì)話序列中每個(gè)商品對(duì)之間的內(nèi)積和非線性轉(zhuǎn)換得到注意力權(quán)值αij，加權(quán)得到商品會(huì)話圖表征Li，具體步驟如式(1)所示。而全局圖則定義一個(gè)ε鄰域集合Nvi，包含在所有會(huì)話序列中與節(jié)點(diǎn)i距離小于ε的節(jié)點(diǎn)。將節(jié)點(diǎn)之間的共現(xiàn)次數(shù)作為兩兩節(jié)點(diǎn)之間的權(quán)重wij，并考慮到計(jì)算復(fù)雜度選取權(quán)重top-K的鄰居節(jié)點(diǎn)重構(gòu)加權(quán)無(wú)向圖。為學(xué)習(xí)不同鄰居的具體作用，通過(guò)函數(shù)π(vi,vj)學(xué)習(xí)不同鄰居節(jié)點(diǎn)之間的權(quán)重，通過(guò)聚合函數(shù)agg聚合上一個(gè)hop的節(jié)點(diǎn)表示和鄰居節(jié)點(diǎn)表示得到當(dāng)前hop的鄰居節(jié)點(diǎn)表示，通過(guò)兩次聚合得到最終鄰居節(jié)點(diǎn)表示。鄰居節(jié)點(diǎn)與節(jié)點(diǎn)表示拼接后通過(guò)激活函數(shù)prelu最終得到全局會(huì)話表征Gi。

在全局圖和有向圖的構(gòu)造及各自的商品表征學(xué)習(xí)上，本文沿用GCE-GNN中的構(gòu)造方法，分別用SessionGraphLearning和GlobalGraphLearning表示，如式(1)所示。

(1)

其中，i∈S(為表述方便，用i代替上文的vi)，hi∈d，d為表征維度。L={L1,L2,…,Lm}，L∈m×d，Li∈d表示基于會(huì)話圖學(xué)習(xí)到的商品表征集合，同理G={G1,G2,…,Gn}，G∈n×d,n表示數(shù)據(jù)集中商品的總數(shù)。

基于會(huì)話圖的學(xué)習(xí)SessionGraphLearning的展開(kāi)如式(2)所示。

(2)

其中，f表示激活函數(shù)LeakyRelu，⊙表征點(diǎn)乘操作，aij表示邊的關(guān)系權(quán)重由模型訓(xùn)練得到，hvi表示商品i的embedding表征?；谌謭D的學(xué)習(xí)GlobalGraphLearning的展開(kāi)如式(3)所示。

(3)

q、Wg1和Wg2是訓(xùn)練得到的超參數(shù)。hs是當(dāng)前會(huì)話序列中商品的平均表示，代表當(dāng)前會(huì)話表征。hNvi為節(jié)點(diǎn)vi的鄰居節(jié)點(diǎn)聚合表征，k取2。

2.2 交互注意力層

針對(duì)全局圖和會(huì)話圖的商品表征學(xué)習(xí)融合，在考慮到實(shí)際應(yīng)用場(chǎng)景中全局圖和會(huì)話圖均存在相互指導(dǎo)的潛在影響，本文創(chuàng)新性提出交互注意力機(jī)制，通過(guò)全局圖和會(huì)話之間的交叉指導(dǎo)提取兩者關(guān)于當(dāng)前會(huì)話的強(qiáng)相關(guān)信息。

對(duì)于全局商品表征學(xué)習(xí)層學(xué)習(xí)到的表征Gi和會(huì)話商品表征層學(xué)習(xí)到的表征Li，交叉注意力同時(shí)進(jìn)行全局對(duì)會(huì)話的指導(dǎo)學(xué)習(xí)和會(huì)話對(duì)全局的指導(dǎo)學(xué)習(xí)，具體流程如圖2的交互注意力層所示。

全局圖對(duì)會(huì)話圖的指導(dǎo)學(xué)習(xí)方面，為強(qiáng)化兩者的強(qiáng)相關(guān)特征，弱化弱相關(guān)特征，本文采用點(diǎn)乘的方式進(jìn)一步提取兩者相關(guān)的強(qiáng)相關(guān)信息。如式(4)所示。

(4)

考慮到模型的運(yùn)行速度和減少模型計(jì)算的參數(shù)量，本文將商品i的會(huì)話表征和全局表征分別切分成li,1,li,2和gi,1,gi,2，li,1,li,2,gi,1,gi,2∈d/2。 類似于自注意力機(jī)制，商品的最終局部特征表征G2Latti可以通過(guò)全局圖和會(huì)話圖的強(qiáng)相關(guān)信息提取后的兩段會(huì)話表征d)和原始商品會(huì)話表征Li的線性組合得到。具體操作如式(5)所示。

其中，⊙表征點(diǎn)乘操作。同樣，會(huì)話圖指導(dǎo)全局圖的學(xué)習(xí)過(guò)程如式(6)所示，得到商品的最終全局特征表征L2Gatti。

(6)

2.3 融合層

通過(guò)2.2節(jié)可以得到: ①全局圖指導(dǎo)會(huì)話圖中商品i的會(huì)話圖表征提取G2Latti； ②會(huì)話圖指導(dǎo)全局圖中商品i的全局表征提取L2Gatti；對(duì)于這兩種表征結(jié)合，常用參數(shù)自適應(yīng)的融合機(jī)制[16-17]來(lái)動(dòng)態(tài)地為兩者分配權(quán)重，主要思想是在同一條數(shù)據(jù)下會(huì)話圖表征越重要，全局圖表征相應(yīng)地越不重要，如式(7)所示。

圖2 交互注意力層和融合層展開(kāi)圖

(7)

(8)

2.4 序列表征層

考慮到節(jié)點(diǎn)位置信息的重要性，本文在每個(gè)節(jié)點(diǎn)的表征序列中融入位置表征pm-i+1，并與表征序列拼接，通過(guò)注意力網(wǎng)絡(luò)層和改進(jìn)參數(shù)自適應(yīng)的商品表征加權(quán)融合得到最終的會(huì)話序列表征S，如式(11)所示。

(11)

2.5 輸出層

將2.4節(jié)得到的會(huì)話表征S和初始嵌入H通過(guò)Softmax層預(yù)測(cè)下一次交互的商品的概率值，如式(12)所示。

(12)

其中，H是初始嵌入矩陣

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集

在數(shù)據(jù)集上，本文選用IJCAI-15比賽的Tmall數(shù)據(jù)集，包含了2015年某段時(shí)間內(nèi)的天貓?jiān)诰€購(gòu)物平臺(tái)上匿名用戶的購(gòu)物日志。實(shí)驗(yàn)數(shù)據(jù)集描述如表1所示。

表1 實(shí)驗(yàn)數(shù)據(jù)集

3.2 實(shí)驗(yàn)設(shè)置

本文的實(shí)驗(yàn)采用PyTorch框架開(kāi)發(fā)，具體實(shí)驗(yàn)環(huán)境設(shè)置如表2所示。

表2 實(shí)驗(yàn)環(huán)境

3.3 參數(shù)設(shè)置

InterAtt-GNN模型的詳細(xì)參數(shù)設(shè)置如表3所示。

表3 實(shí)驗(yàn)參數(shù)

3.4 實(shí)驗(yàn)結(jié)果分析

3.4.1 評(píng)估指標(biāo)

本文采用P@N和MRR@N指標(biāo)用于評(píng)估比較模型。

P@N(準(zhǔn)確率)常被用作預(yù)測(cè)準(zhǔn)確性的衡量標(biāo)準(zhǔn)，代表預(yù)測(cè)前N項(xiàng)中被正確推薦的商品的比例，具體計(jì)算方法如式(14)所示。本文選擇廣泛使用的P@10和P@20衡量預(yù)測(cè)準(zhǔn)確性。選取預(yù)測(cè)中前N個(gè)預(yù)測(cè)值作為候選集，其中rel(i)={0，1}為模型預(yù)測(cè)商品候選集中是否存在目標(biāo)值，存在則取值1，n為樣本總數(shù)。

MRR@N(平均倒數(shù)排名)則是考慮推薦商品的排名順序的評(píng)價(jià)指標(biāo)，用來(lái)衡量推薦算法得到的top-K商品集的優(yōu)劣。該評(píng)價(jià)指標(biāo)于第一個(gè)正確推薦商品的順序有關(guān)，第一個(gè)正確推薦商品越靠前則評(píng)分越高，計(jì)算方法如式(15)所示。ki為用戶感興趣的商品在推薦列表中的排名。

3.4.2 基準(zhǔn)算法

為驗(yàn)證本文模型的有效性，分別選用具有代表性的9個(gè)基線模型作為對(duì)比實(shí)驗(yàn)。

?POP：推薦訓(xùn)練集中出現(xiàn)頻率top-N的物品。

?Item-KNN[18]：基于當(dāng)前會(huì)話的物品和其他會(huì)話的商品之間的余弦相似性來(lái)推薦物品。

?FPMC[19]：是一種結(jié)合矩陣分解和馬爾科夫鏈的序列預(yù)測(cè)方法。

?GRU4Rec[7]：使用基于循環(huán)神經(jīng)網(wǎng)絡(luò)的方法為基于會(huì)話的推薦建模用戶序列。

?NARM[20]：使用具有注意力機(jī)制的循環(huán)神經(jīng)網(wǎng)絡(luò)方法來(lái)捕捉用戶的主要意圖和序列行為信息。

?SR-GNN[3]：通過(guò)構(gòu)建會(huì)話圖并輸入門控機(jī)制增強(qiáng)的GNN層來(lái)獲得物品表征，從而計(jì)算物品關(guān)于會(huì)話級(jí)別的表征。

?CSRM[21]：利用記憶網(wǎng)絡(luò)來(lái)研究最新m個(gè)會(huì)話，來(lái)獲取當(dāng)前會(huì)話的意圖。

?F-GNN[21]：通過(guò)構(gòu)建加權(quán)注意力的圖神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)物品的嵌入表征。

?GCE-GNN[4]：通過(guò)引入全局圖來(lái)學(xué)習(xí)物品的相關(guān)表征，將其與基于會(huì)話圖學(xué)習(xí)的物品表征進(jìn)行相加融合得到物品表征。

3.4.3 實(shí)驗(yàn)結(jié)果

本文將InterAtt-GNN模型與其他基準(zhǔn)模型在數(shù)據(jù)集Tmall上在準(zhǔn)確率和MRR兩個(gè)指標(biāo)上進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果如表4所示，其中每一列的最佳評(píng)分均加粗顯示。

表4 實(shí)驗(yàn)結(jié)果

從表4可以看出，在所有評(píng)分指標(biāo)上，本文提出的模型InterAtt-GNN均具有最佳性能，充分證明了該模型的有效性和優(yōu)越性。在傳統(tǒng)基準(zhǔn)模型的實(shí)驗(yàn)中，POP算法的各項(xiàng)指標(biāo)評(píng)分最高只有1.67%，都遠(yuǎn)遠(yuǎn)低于其他基準(zhǔn)模型，因?yàn)镻OP僅僅推薦top-N候選集，并沒(méi)有進(jìn)一步從候選集中進(jìn)行篩選；而Item-KNN模型相較于POP準(zhǔn)確率提升了4.98%～7.15%，但仍低于FRMR模型，這歸因于Item-KNN模型雖然從候選集中進(jìn)一步篩選，但只考慮序列物品對(duì)之間的余弦相似性而忽略了會(huì)話序列中的時(shí)間順序；FRMC則應(yīng)用一階馬爾科夫鏈來(lái)學(xué)習(xí)交互物品序列的時(shí)間依賴信息，性能相較于Item-KNN模型準(zhǔn)確率提升大約6個(gè)百分點(diǎn)?？偨Y(jié)來(lái)看，傳統(tǒng)模型的實(shí)驗(yàn)演進(jìn)過(guò)程表明在會(huì)話序列中用戶與物品的交互行為順序的重要性。

神經(jīng)網(wǎng)絡(luò)應(yīng)用在推薦系統(tǒng)領(lǐng)域的主要應(yīng)用方法包括GRU4Rec模型，NARM模型和CSRM模型?？紤]到用戶物品交互順序的重要性，GRU4Rec模型將循環(huán)神經(jīng)網(wǎng)絡(luò)引入到推薦系統(tǒng)模型中，利用門控循環(huán)單元(GRU)模型來(lái)學(xué)習(xí)物品之間的長(zhǎng)期依賴。在與傳統(tǒng)模型的比較中，GRU4Rec模型的評(píng)分指標(biāo)雖然低于FRMC模型3～6個(gè)百分點(diǎn)，但FRMC模型相較于GRU4Rec模型引入矩陣分解對(duì)用戶的偏好進(jìn)行分析； NARM模型提出在RNN的基礎(chǔ)上引入注意力機(jī)制，對(duì)用戶的意圖進(jìn)行學(xué)習(xí)，準(zhǔn)確率提升大約10個(gè)百分點(diǎn)；CSRM模型的實(shí)驗(yàn)效果在神經(jīng)網(wǎng)絡(luò)模型中效果最佳，兩個(gè)指標(biāo)可以分別達(dá)到29.46%和13.96%，比之其他模型，CSRM模型考慮到會(huì)話之間的影響，在當(dāng)前會(huì)話的學(xué)習(xí)中引入其他會(huì)話的協(xié)作信息。

考慮到以往的傳統(tǒng)方法和基于神經(jīng)網(wǎng)絡(luò)的方法都只考慮到會(huì)話中物品對(duì)的交互順序而忽略物品之間的復(fù)雜轉(zhuǎn)換關(guān)系，現(xiàn)今熱門的推薦算法大多將圖神經(jīng)網(wǎng)絡(luò)應(yīng)用到會(huì)話推薦系統(tǒng)領(lǐng)域。SR-GNN模型通過(guò)構(gòu)建會(huì)話圖利用圖神經(jīng)網(wǎng)絡(luò)對(duì)會(huì)話中的物品表征進(jìn)行學(xué)習(xí)，指標(biāo)最高達(dá)到27.57%和10.39%；F-GNN模型則進(jìn)一步引入加權(quán)圖注意力層對(duì)物品獲取圖中加權(quán)定向邊的信息；GCE-GNN模型添加對(duì)物品的全局圖表征學(xué)習(xí)，增強(qiáng)對(duì)跨會(huì)話中物品之間交互信息的學(xué)習(xí)。SR-GNN和F-GNN模型在性能上雖略低于CSRM模型，但相較于其他模型都有極大的提升，顯示出了圖神經(jīng)網(wǎng)絡(luò)在推薦領(lǐng)域的優(yōu)越性。GCE-GNN模型同時(shí)考慮會(huì)話內(nèi)和會(huì)話間的物品的表征學(xué)習(xí)，準(zhǔn)確率和MRR指標(biāo)均到基線模型中的最優(yōu)效果32.49%和15.21%，在模型效果上明顯優(yōu)于其他所有基準(zhǔn)模型。受到CSRM模型和GCE-GNN模型關(guān)于其他會(huì)話商品之間的協(xié)作信息的考慮和NARM模型對(duì)注意力機(jī)制的引入，本文提出的模型同時(shí)考慮兩種注意力機(jī)制：全局對(duì)會(huì)話的注意力學(xué)習(xí)和會(huì)話對(duì)全局的注意力學(xué)習(xí)。如此，既引入注意力機(jī)制，又考慮到會(huì)話級(jí)別的商品依賴信息的學(xué)習(xí)，模型的效果達(dá)到目前最優(yōu)值，相較于GCE-GNN在準(zhǔn)確率和MRR指標(biāo)上最高可提升3%和0.5%。

3.4.4 消融實(shí)驗(yàn)

在這一節(jié)，本文通過(guò)對(duì)會(huì)話圖和全局圖學(xué)習(xí)到的物品表征進(jìn)行分析并設(shè)計(jì)消融實(shí)驗(yàn)來(lái)驗(yàn)證交互注意力和參數(shù)自適應(yīng)的有效性。

其中，表5分析會(huì)話圖和全局圖學(xué)習(xí)到表征及已有熱門的結(jié)合方式的效果；表6則設(shè)計(jì)消融實(shí)驗(yàn)對(duì)本文模型進(jìn)行分析：G2L、L2G、G2L+L2G(Interactive Attention)、G2L+L2G+PS(Interactive Attention + Parameter Self-adaptation)，其中G代表全局圖，L表征會(huì)話圖，L2G表征會(huì)話圖指導(dǎo)全局圖學(xué)習(xí)，G2L表征全局圖指導(dǎo)會(huì)話圖學(xué)習(xí)，SP表示Sum-pooling，PS表征參數(shù)自適應(yīng)，PSI表示改進(jìn)的參數(shù)自適應(yīng)。

表5 模型分析結(jié)果

表6 消融實(shí)驗(yàn)結(jié)果

從上表可以看出，只使用全局圖對(duì)物品的表征學(xué)習(xí)得到的預(yù)測(cè)效果遠(yuǎn)遠(yuǎn)低于只使用會(huì)話圖對(duì)商品表征學(xué)習(xí)的效果，這是因?yàn)樯唐吩跁?huì)話圖中的表征學(xué)習(xí)更貼近用戶的當(dāng)前意圖。為了更好地將兩者結(jié)合，嘗試Sum-pooling、參數(shù)自適應(yīng)、改進(jìn)參數(shù)自適應(yīng)方法，可以看出改進(jìn)參數(shù)自適應(yīng)相對(duì)于原有的參數(shù)自適應(yīng)算法確有提升。從整體可以看出其性能不如只有會(huì)話圖的商品表征學(xué)習(xí)，這顯示只是利用已有的融合方法對(duì)兩者組合效果反而降低，說(shuō)明在組合的過(guò)程中存在著信息的丟失或信息的冗余，鑒于該問(wèn)題，本文再引入交互注意力機(jī)制對(duì)兩者之間的強(qiáng)相關(guān)信息進(jìn)行學(xué)習(xí)。

對(duì)模型進(jìn)行消融實(shí)驗(yàn)發(fā)現(xiàn)，全局圖對(duì)會(huì)話圖的指導(dǎo)學(xué)習(xí)和會(huì)話圖對(duì)全局圖的指導(dǎo)學(xué)習(xí)具有同樣的效力，這顯示了以往忽視的會(huì)話圖對(duì)全局圖的指導(dǎo)學(xué)習(xí)的重要性和以往參數(shù)自適應(yīng)的權(quán)重學(xué)習(xí)缺陷。此外，同時(shí)考慮兩者模型的性能可以進(jìn)一步提升，這證明了本文提出的交互注意力機(jī)制確實(shí)在提取強(qiáng)相關(guān)信息上具有有效性。而通過(guò)引入改進(jìn)參數(shù)自適應(yīng)對(duì)學(xué)習(xí)到的兩個(gè)表征加權(quán)融合之后，實(shí)驗(yàn)評(píng)分指標(biāo)相對(duì)提高，這顯示了全局圖和會(huì)話圖學(xué)習(xí)到的物品表征信息存在差異，通過(guò)改進(jìn)的參數(shù)自適應(yīng)策略可以更好地將兩者結(jié)合。

4 結(jié)論與展望

本文提出了一種融合交互注意力機(jī)制和參數(shù)自適應(yīng)策略的基于圖神經(jīng)網(wǎng)絡(luò)的會(huì)話推薦算法InterAtt-GNN，該算法通過(guò)引入交互注意力機(jī)制對(duì)全局圖和會(huì)話圖學(xué)習(xí)到的物品表征進(jìn)行強(qiáng)相關(guān)信息提取，并利用改進(jìn)參數(shù)自適應(yīng)策略對(duì)兩者加權(quán)融合以得到最終的物品表征用于預(yù)測(cè)推薦。在Tmall數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明了InterAtt-GNN的有效性；此外，本文提出的InterAtt-GNN模型在關(guān)于全局圖和會(huì)話圖的物品表征融合學(xué)習(xí)時(shí)只嘗試了改進(jìn)的參數(shù)自適應(yīng)策略，并且關(guān)于會(huì)話圖和局部圖的學(xué)習(xí)未詳細(xì)展開(kāi)研究，未來(lái)需要進(jìn)一步擴(kuò)展研究。