包 晨,袁衛(wèi)華,戴久乾,張志軍

(山東建筑大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,山東 濟(jì)南 250101)

0 引 言

隨著互聯(lián)網(wǎng)的迅速發(fā)展,各式各樣的信息呈現(xiàn)在用戶面前,從而產(chǎn)生了信息爆炸的現(xiàn)象。作為解決信息過載的有效工具,推薦系統(tǒng)滿足了用戶的需求,在電子商務(wù)、社交網(wǎng)絡(luò)等眾多領(lǐng)域得到廣泛應(yīng)用。作為經(jīng)典的推薦算法,協(xié)同過濾在推薦系統(tǒng)中發(fā)揮著舉足輕重的作用,在眾多協(xié)同過濾技術(shù)中,矩陣分解的方法是最常用的,它將潛在用戶特征向量和物品特征向量進(jìn)行內(nèi)積表示為用戶在物品上的交互[1]。

近年來(lái),深度學(xué)習(xí)在圖像處理、自然語(yǔ)言處理等領(lǐng)域取得了突破性的進(jìn)展,為推薦系統(tǒng)的研究帶來(lái)了新的機(jī)遇[2]。例如,He等人[3]在神經(jīng)協(xié)同過濾的框架上進(jìn)行改進(jìn),將用戶的嵌入表示和物品的嵌入表示進(jìn)行串聯(lián),作為多層感知網(wǎng)絡(luò)的輸入向量進(jìn)行預(yù)測(cè)。在DeepCF模型[4]中,利用表示學(xué)習(xí)和匹配函數(shù)學(xué)習(xí)對(duì)用戶和物品的交互進(jìn)行建模,使模型在保持有效學(xué)習(xí)的同時(shí),提高匹配函數(shù)的表示能力。這些方法雖然提高了基于匹配函數(shù)學(xué)習(xí)的靈活性,但是忽略了用戶和物品之間嵌入維度的相關(guān)性,而嵌入維度可以是用戶或物品的某個(gè)特征,這些特征并非獨(dú)立的,未能進(jìn)一步提高模型的泛化能力。

He等人[5]使用注意力機(jī)制解決了上述問題,對(duì)物品賦予不同重要性來(lái)刻畫其對(duì)用戶偏好的影響。LSTM-CFA模型[6]使用協(xié)同過濾算法計(jì)算用戶的興趣矩陣,再融合LSTM模型,作為模型注意力機(jī)制提取文檔特征,實(shí)現(xiàn)情感分類。Cheng等人[7]考慮到一個(gè)用戶對(duì)不同物品的關(guān)注是多方面的,提出了自適應(yīng)注意力評(píng)分預(yù)測(cè)的方法,計(jì)算用戶在物品的不同方面的注意力分?jǐn)?shù)。王等人[8]在特征級(jí)注意力框架上,學(xué)習(xí)項(xiàng)目特征的偏好。雖然這些方法在一定程度能幫助用戶選擇有意向的物品,提高用戶的傾向度,但是它們不能對(duì)物品的多個(gè)特征進(jìn)行建模,進(jìn)而不能捕獲到用戶對(duì)一個(gè)物品的真實(shí)偏好。在實(shí)際中,用戶往往會(huì)對(duì)物品的不同特征賦予不同的權(quán)重,以刻畫用戶偏好的多樣性。

針對(duì)如何提高用戶和物品之間嵌入維度的相關(guān)性、模型的泛化能力及如何在隱式反饋中精確建模用戶對(duì)物品的偏好等問題,該文提出了一種新的基于通道注意力的神經(jīng)協(xié)同過濾算法NCFCA,將用戶嵌入與物品嵌入之間的相關(guān)性整合到模型中。該模型主要包括融入注意力機(jī)制的匹配函數(shù)表示模塊、卷積注意力網(wǎng)絡(luò)模塊和廣義矩陣分解模塊。

主要工作如下:

(1)在基于匹配函數(shù)學(xué)習(xí)的基礎(chǔ)上,利用注意力機(jī)制探索物品的多種屬性特征對(duì)目標(biāo)用戶選擇的影響,從而挖掘用戶和物品交互的信息。

(2)在卷積神經(jīng)網(wǎng)絡(luò)中整合通道注意力機(jī)制(ECA-Net)來(lái)捕獲用戶與物品跨通道的交互信息,獲取更豐富的語(yǔ)義信息。

(3)將三個(gè)不同模塊融合到一個(gè)推薦模型中,提高了模型的泛化能力。

在兩個(gè)數(shù)據(jù)集上進(jìn)行大量的實(shí)驗(yàn),結(jié)果表明NCFCA模型具有出色的性能,并且優(yōu)于最新的基線方法。驗(yàn)證了模型的有效性和合理性。

1 相關(guān)工作

1.1 基于匹配函數(shù)學(xué)習(xí)的協(xié)同過濾

在深度學(xué)習(xí)中,基于匹配函數(shù)學(xué)習(xí)的協(xié)同過濾[4]是通過已有的各種輸入,在神經(jīng)網(wǎng)絡(luò)框架中進(jìn)行訓(xùn)練來(lái)擬合用戶和物品的匹配分?jǐn)?shù)。為了更全面地學(xué)習(xí)用戶物品的映射關(guān)系,DDFL深度雙函數(shù)模型[9]將度量函數(shù)學(xué)習(xí)模型(MeFL)與匹配函數(shù)學(xué)習(xí)模型結(jié)合到一個(gè)統(tǒng)一的框架中。由于用戶未來(lái)的購(gòu)買行為可能跟用戶過去的信息有關(guān),也可能與用戶的認(rèn)知推理有關(guān),NCR模型[10]將用戶過去信息和邏輯運(yùn)算動(dòng)態(tài)組合,使之變?yōu)樯窠?jīng)網(wǎng)絡(luò)模型進(jìn)行推薦。DeepFM模型[11]用淺層的矩陣分解(MF)模型和深層的神經(jīng)網(wǎng)絡(luò)(DNN)模型聯(lián)合訓(xùn)練,能夠同時(shí)學(xué)習(xí)不同階的組合特征。

上述模型基于不同深度學(xué)習(xí)方法對(duì)用戶和物品的初始嵌入進(jìn)行學(xué)習(xí),并未考慮用戶對(duì)不同物品的偏好程度。針對(duì)這種情況,該文在將用戶和物品的交互輸入向量送入多層感知網(wǎng)絡(luò)之前,通過前饋?zhàn)⒁饬訉?duì)物品的特征賦予不同的權(quán)重,以區(qū)分它們的重要性。

1.2 注意力機(jī)制

由于注意力機(jī)制可以對(duì)深度神經(jīng)網(wǎng)絡(luò)中不同的部分賦予不同的權(quán)重,使模型具有良好的性能,其在計(jì)算機(jī)視覺、自然語(yǔ)言處理[12]等領(lǐng)域得到了廣泛的應(yīng)用。在推薦系統(tǒng)領(lǐng)域,注意力機(jī)制也有了大量的研究[13]。Take等人[14]在隱式反饋協(xié)同過濾的框架下融合了深度注意力機(jī)制以及內(nèi)容無(wú)關(guān)的歷史行為權(quán)重等,使推薦效果明顯提高。He等人[5]發(fā)現(xiàn)用戶歷史記錄的長(zhǎng)度存在較大差異,提出在協(xié)同過濾方法中用平滑用戶歷史長(zhǎng)度來(lái)設(shè)計(jì)注意力網(wǎng)絡(luò)。DGCF模型[15]主要是研究用戶及其嵌入向量如何在動(dòng)態(tài)圖上通過協(xié)同信息進(jìn)行表示。Wang等人[16]提出一種多分量圖協(xié)同過濾方法(MCCF),在用戶項(xiàng)目圖中研究用戶潛在的多種購(gòu)買動(dòng)機(jī),以便區(qū)分用戶細(xì)粒度的偏好。

這些模型利用注意力機(jī)制在用戶購(gòu)買的歷史記錄中獲取對(duì)歷史物品的偏好程度。而該文在模型訓(xùn)練時(shí),利用注意力機(jī)制對(duì)不同物品特征分配不同的權(quán)重,對(duì)用戶傾向的物品分配更高的權(quán)重,用于提高模型的性能。

1.3 基于卷積神經(jīng)網(wǎng)絡(luò)的推薦研究

在基于CNN的推薦系統(tǒng)研究中,ConvNCF模型[17]中丟棄了NeuMF模型中的串聯(lián)操作,利用卷積網(wǎng)絡(luò)來(lái)學(xué)習(xí)用戶-物品的聯(lián)合表示。Yan等人[18]提出一種二維CNN框架(CosRec),該模型用于處理序列化的數(shù)據(jù),它將歷史物品進(jìn)行排列組合,然后利用二維CNN提取序列特征。Samuvel等人[19]提出基于面部情緒識(shí)別的音樂推薦系統(tǒng),通過提取一個(gè)人不同的面部表情來(lái)識(shí)別音樂的類型進(jìn)而將音樂推薦給用戶。在新聞推薦中,Tian等人[20]基于CNN來(lái)執(zhí)行從字級(jí)對(duì)新聞文本內(nèi)容進(jìn)行卷積計(jì)算,生成新聞內(nèi)容的嵌入表示。

雖然基于CNN的推薦研究在音樂、新聞、文本推薦方面取得顯著的效果,但是在用戶項(xiàng)目交互時(shí)無(wú)法捕捉到更深層次的關(guān)聯(lián)性,而該文通過在CNN模塊中加入通道注意力機(jī)制來(lái)捕獲這種關(guān)聯(lián)性。

2 模型和方法

2.1 主要符號(hào)

表1總結(jié)了文中用到的主要符號(hào)及其含義。

表1 文中用到的主要符號(hào)

2.2 模型結(jié)構(gòu)

模型的總體架構(gòu)如圖1所示。模型包括三個(gè)模塊,卷積注意力網(wǎng)絡(luò)(convolutional neural network with ECA-Net,E-CNN)模塊用于捕獲用戶與物品在跨通道中的交互信息;融入注意力機(jī)制的匹配函數(shù)學(xué)習(xí)(attention-based matching function learning,A-MLP)模塊用于提高深度神經(jīng)網(wǎng)絡(luò)的表示能力;廣義矩陣分解(generalized matrix factorization,GMF)用于緩解因用戶物品交互時(shí)產(chǎn)生的數(shù)據(jù)稀疏問題。

圖1 模型的結(jié)構(gòu)體系

2.3 模型初始表示

(1)

(2)

2.4 融入注意力機(jī)制的匹配函數(shù)表示

計(jì)算物品的不同特征屬性對(duì)用戶u購(gòu)買行為的影響,即物品特征屬性對(duì)用戶的重要性。使用注意力函數(shù)f∈RK×1:

f(pu,qi)=ReLU(W(pu⊙qi)+b0)

(3)

其中,W∈RK×K表示輸入層到隱藏層的權(quán)重矩陣,b0為偏置向量,ReLU代表激活函數(shù)。注意力網(wǎng)絡(luò)中值越大,則用戶u對(duì)物品i的某個(gè)特征屬性越感興趣。利用SoftMax函數(shù)將得到的注意力權(quán)重轉(zhuǎn)換為概率分布,其注意力系數(shù)為:

(4)

其中,Ru是用戶u和物品i的交互歷史集合,α(u,i)∈RK×1表示用戶u和物品i的注意力權(quán)重。

最后的基于多層感知網(wǎng)絡(luò)的匹配函數(shù)學(xué)習(xí)部分定義為:

(5)

(6)

(7)

(8)

其中,x0∈R2K×1表示多層感知網(wǎng)絡(luò)的輸入向量,{x1,x2,…,xn}表示在隱藏層中對(duì)應(yīng)的輸入輸出向量,{W1,W2,…,Wn} {b1,b2,…,bn}代表每一層的權(quán)重矩陣和偏置向量。xn為最后的預(yù)測(cè)向量。利用前饋?zhàn)⒁饬觼?lái)學(xué)習(xí)物品不同特征維度的不同重要性。

2.5 卷積注意力網(wǎng)絡(luò)

為了加強(qiáng)用戶和物品之間的相關(guān)性,使用CNN來(lái)學(xué)習(xí)其嵌入維度之間的高階相關(guān)性并減少網(wǎng)絡(luò)中嵌入層和隱藏層之間的參數(shù)。在卷積神經(jīng)網(wǎng)絡(luò)加入通道注意力機(jī)制來(lái)加強(qiáng)用戶和物品在網(wǎng)絡(luò)中的語(yǔ)義信息。ECA-Net注意力網(wǎng)絡(luò)[21](Efficient Channel Attention for Deep Convolutional Neural Networks)能夠避免卷積神經(jīng)網(wǎng)絡(luò)中特征維度的降維操作并且能增加通道之間的信息交互。

首先,模型計(jì)算用戶嵌入和物品嵌入的外積作為它們的交互表示:

(9)

其中,FM∈RK×K,每一個(gè)元素可以表示為fmk1,k2=pu,k1qi,k2。通過外積操作得到二維的矩陣,再將該矩陣通過Flatten操作拉成一個(gè)維度為K2的向量。

基于CNN的協(xié)同過濾研究中通常采用CNN來(lái)提取用戶和物品之間的高階交互。該文創(chuàng)新性地將其擴(kuò)展,在CNN的基礎(chǔ)上添加了E-CNN組件。圖1中的E-CNN模塊由兩部分組成。首先,將用戶和物品交互表示輸入到卷積神經(jīng)網(wǎng)絡(luò)中,通過6層隱藏層卷積訓(xùn)練,其中每一層設(shè)置64個(gè)通道,卷積核為2×2,步長(zhǎng)為2,這樣每一層得到的結(jié)果形狀為上一層的一半。其次,當(dāng)訓(xùn)練到最后一層時(shí),卷積塊形狀為1×1×64,將ECA-Net注意力網(wǎng)絡(luò)加入到卷積塊之間。在每個(gè)卷積塊之間通過全局平均池化操作后產(chǎn)生1×1×C的特征圖,然后使用一維卷積核進(jìn)行卷積操作,用Sigmoid函數(shù)學(xué)習(xí)通道注意力,定義通道維度為64維,通道之間的用戶和物品信息的交互w:

(10)

w=Sigmoid(C1D(y))

(11)

其中,C1D表示一維卷積,y表示全局平均通道池化。在卷積神經(jīng)網(wǎng)絡(luò)中,最后一層卷積層的輸入定義為一個(gè)三維張量并與ECA-Net注意力網(wǎng)絡(luò)進(jìn)行結(jié)合,在每一個(gè)FM中整體的隱藏狀態(tài)fm為:

h=(fm2u+a,fm2i+b)

(12)

(13)

(14)

(15)

(16)

(17)

(18)

2.6 廣義矩陣分解

由于廣義矩陣分解模型[1]使用線性嵌入函數(shù)作為表示函數(shù),使用點(diǎn)積作為匹配函數(shù)。在NCFCA中添加廣義矩陣分解模塊(GMF)以緩解深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)可能導(dǎo)致的數(shù)據(jù)稀疏性問題。直接對(duì)用戶u和物品i的嵌入向量進(jìn)行點(diǎn)乘操作,即預(yù)測(cè)向量定義為:

z(pu,qi)=pu⊙qi

(19)

其中,⊙表示用戶的嵌入向量pu和物品的嵌入向量qi的逐元素乘積。

(20)

2.7 三種不同模塊的融合

將三個(gè)模塊E-CNN、A-MLP、GMF學(xué)習(xí)到的表示進(jìn)行拼接得到其聯(lián)合表示,將該向量看作是用戶-物品對(duì)特征表示,然后將其輸入到一個(gè)全連接層,使模型能夠?yàn)槁?lián)合表示中不同部分的特征分配不同的權(quán)重。融合模型的輸出定義為:

(21)

(22)

(23)

使用Sigmoid作為全連接層的激活函數(shù)。通過公式(21)(22)(23)將三個(gè)子模塊進(jìn)行合并,通過學(xué)習(xí)得到模型的預(yù)測(cè)分?jǐn)?shù)。

2.8 模型學(xué)習(xí)

(24)

在模型中使用交叉熵作為損失函數(shù)并且使用“Adam”優(yōu)化器來(lái)對(duì)模型進(jìn)行優(yōu)化。

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集介紹

實(shí)驗(yàn)使用數(shù)據(jù)集MovieLens 1M[22]和Lastfm[4]來(lái)評(píng)估所提模型。MovieLens 1M數(shù)據(jù)集中有6 040個(gè)用戶對(duì)3 952部電影進(jìn)行評(píng)價(jià),其中每個(gè)用戶至少對(duì)20部電影進(jìn)行評(píng)分,數(shù)據(jù)集中還有電影類型、電影時(shí)長(zhǎng)等屬性信息。Lastfm是一個(gè)關(guān)于用戶聽歌序列的數(shù)據(jù)集,它有兩個(gè)文件,聽歌記錄與用戶信息。前者為近1 000位聽眾截至2009年5月5日的所有音樂播放記錄、播放時(shí)間,以及音樂名字、藝人名字等輔助信息。

3.2 評(píng)價(jià)指標(biāo)

使用命中率(HR)[23]和歸一化折扣累計(jì)增益(NDCG)[13]來(lái)評(píng)估模型的排名性能。命中率(HR)是基于召回的度量,在推薦方面的準(zhǔn)確性進(jìn)行衡量,能夠直觀地測(cè)量測(cè)試物品是否存在排名列表的前K名中。NDCG是衡量物品排名的質(zhì)量,對(duì)被推薦的物品進(jìn)行效果評(píng)估,分配更高的分?jǐn)?shù),以達(dá)到在前K個(gè)物品列表的靠前排名。這兩個(gè)評(píng)估指標(biāo)都是值越大,表示性能越好。HR和NDCG的定義如下:

(25)

(26)

其中,#hits表示推薦列表中出現(xiàn)測(cè)試物品的用戶數(shù)量,#users表示物品的總數(shù)。pi表示第i個(gè)用戶的真實(shí)訪問值在推薦列表的位置,若推薦列表中不存在該值,那么pi→∞。

3.3 對(duì)比模型

將NCFCA與下面七種方法進(jìn)行比較:

BPR[23]:用于隱式反饋的項(xiàng)目推薦,是一種基于樣本的優(yōu)化矩陣分解模型的方法,具有成對(duì)排序損失。

DMF[24]:是一種基于表示學(xué)習(xí)的矩陣分解方法,采用雙路徑神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來(lái)代替常規(guī)矩陣分解中的線性嵌入操作。

MLP[3]:是一種基于匹配函數(shù)學(xué)習(xí)的協(xié)同過濾方法,它使用多層非線性網(wǎng)絡(luò)來(lái)建模用戶和物品之間的關(guān)系。

NAIS[5]:使用注意力機(jī)制的基于項(xiàng)目的多層感知器協(xié)同過濾推薦模型,模型中設(shè)計(jì)的注意力網(wǎng)絡(luò)能夠區(qū)分在用戶購(gòu)買的歷史記錄中商品的重要程度。

NeuMF[3]:是一種先進(jìn)的基于匹配函數(shù)學(xué)習(xí)的矩陣分解方法,它結(jié)合矩陣分解方法和深層神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)交互函數(shù)。文中不使用預(yù)訓(xùn)練數(shù)據(jù)。

DeepCF[4]:是一種將表示學(xué)習(xí)與匹配函數(shù)結(jié)合的協(xié)同過濾方法。文中不使用預(yù)訓(xùn)練數(shù)據(jù)。

BCFNet[25]:在DeepCF的基礎(chǔ)上加入平衡模塊來(lái)緩解深度神經(jīng)網(wǎng)絡(luò)中的過擬合問題。文中不使用預(yù)訓(xùn)練數(shù)據(jù)。

3.4 性能比較與分析

表2列出了NCFCA模型以及其他模型比較結(jié)果,文中模型最佳結(jié)果使用粗體加以表示。

表2 基于NDCG@10和HR@10的不同方法的結(jié)果比較

可以看出,在神經(jīng)網(wǎng)絡(luò)模型中,MLP模型的性能僅優(yōu)于傳統(tǒng)的基于表示學(xué)習(xí)方法的模型DMF,因?yàn)槠淠Ｐ陀蒙疃壬窠?jīng)網(wǎng)絡(luò)的非線性特性來(lái)學(xué)習(xí)用戶和物品的嵌入表示。NAIS模型引入注意力機(jī)制對(duì)比MLP模型在效果上性能有所提升。NeuMF模型為了提高網(wǎng)絡(luò)的表達(dá)能力,利用用戶和物品的嵌入表示進(jìn)行串聯(lián),然后作為多層感知器模型的輸入進(jìn)行預(yù)測(cè),整體上該模型性能有所提升。DeepCF模型結(jié)合表示學(xué)習(xí)和匹配函數(shù)學(xué)習(xí)的協(xié)同過濾方法,增強(qiáng)了用戶物品特征交互的能力,但數(shù)據(jù)集較小時(shí)會(huì)到導(dǎo)致模型性能變差。BCFNet模型加入平衡模塊來(lái)緩解深度神經(jīng)網(wǎng)絡(luò)中的過擬合問題,但模型性能并不是很好,筆者認(rèn)為可能是數(shù)據(jù)未進(jìn)行初始化訓(xùn)練導(dǎo)致的。

NCFCA模型利用深度卷積神經(jīng)網(wǎng)絡(luò)提取用戶物品的高階特征之外,使用先進(jìn)的通道注意力網(wǎng)絡(luò)來(lái)捕獲用戶和物品在通道之間的信息交互。跟DeepCF模型相比,文中模型在兩個(gè)數(shù)據(jù)集上分別提高了大約2.50%、2.63%和2.18%、1.60%。這充分表明引入通道注意力機(jī)制的CNN能更好地學(xué)習(xí)用戶物品嵌入維度之間的相關(guān)性。

3.5 參數(shù)分析

3.5.1 TOP-K的影響

Top-K推薦性能隨K不同取值的變化趨勢(shì)如圖2所示。其中HR@K的精度用左縱坐標(biāo)軸表示, NDCG@K的精度用右縱坐標(biāo)軸表示。

(a)ML-1M數(shù)據(jù)集下的Top-K推薦排名 (b)Lastfm數(shù)據(jù)集下的Top-K推薦排名圖2 評(píng)估Top-K推薦排名

在MovieLens 1M數(shù)據(jù)集上,隨著K值的增加,NCFCA及其他算法性能逐漸增加,且NCFCA性能優(yōu)于其他三種方法;當(dāng)K大于5時(shí),NCFCA的Top-K推薦性能與其他三種算法相比有了比較顯著的提高。如圖2(a)所示,當(dāng)K等于10時(shí),模型NCFCA的HR相比DeepCF、BCFNet、NeuMF分別提高了大約1.82%、1.79%和2.42%,在NDCG指標(biāo)上相對(duì)提高了大約1.73%、1.44%和2.27%。

在Lastfm數(shù)據(jù)集上,如圖2(b)所示,文中模型相對(duì)于其他模型也有較好的表現(xiàn)。這說明文中模型在卷積塊之間添加通道注意力模塊后交互變得更有關(guān)聯(lián)性,能夠更加準(zhǔn)確地捕獲交互的特征表示。

3.5.2 不同嵌入維度對(duì)模型性能的影響

在加入一層通道注意力時(shí)驗(yàn)證NCFCA中不同嵌入維度對(duì)模型性能的影響。

表3顯示了模型在嵌入維度取值為[8,16,32,64,128]的性能對(duì)比?？梢钥闯?在維度為32時(shí),模型性能略微下降的原因可能是模型在訓(xùn)練過程中出現(xiàn)了過擬合現(xiàn)象。在維度大小為64時(shí),模型在兩個(gè)數(shù)據(jù)集上的性能最佳。在維度大小為128時(shí),模型性能開始下降,其主要原因是網(wǎng)絡(luò)的復(fù)雜化影響了模型的性能。通過合適的嵌入維度模型能更加有效地挖掘用戶與物品豐富的語(yǔ)義信息,更加精準(zhǔn)地捕獲用戶和物品的特征表示,使模型具有良好的表達(dá)能力。

表3 NCFCA模型在不同嵌入維度下的性能

3.6 消融實(shí)驗(yàn)

3.6.1 不同通道注意力層數(shù)對(duì)模型性能的影響

該文進(jìn)一步研究了通道注意力層數(shù)對(duì)模型的影響,分別在[0,1,2,3,4,5,6]層通道注意力進(jìn)行實(shí)驗(yàn),將模型表示為NCFCA-0到NCFCA-6,其中0層表示不使用通道注意力。

如圖3所示,NCFCA使用一層通道注意力(NCFCA-1)時(shí),在HR@10時(shí)其效果都優(yōu)于其他的通道注意力模型NCFCA-0,NCFCA-2到NCFCA-6。

圖3 基于HR@10的通道注意力層數(shù)對(duì)模型性能的影響

隨著通道注意力層數(shù)的增加,HR@10呈下降趨勢(shì)。這可能是因?yàn)?隨著通道注意力層數(shù)的增加,卷積神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元參數(shù)也會(huì)隨之增加,可能會(huì)導(dǎo)致網(wǎng)絡(luò)變得復(fù)雜化,降低了網(wǎng)絡(luò)的泛化能力,因此在加入多層通道注意力時(shí)并沒有得到預(yù)期的效果。

3.6.2 不同模塊的效果

模型在兩個(gè)數(shù)據(jù)集上與不同模塊進(jìn)行對(duì)比,在HR@10上的結(jié)果如圖4所示。NCFCA模型中的E-CNN、A-MLP以及GMF三個(gè)模塊是能夠獨(dú)立訓(xùn)練的。可以看出,結(jié)合之后的模型(NCFCA)性能是優(yōu)于其他三個(gè)模塊的。GMF在單獨(dú)訓(xùn)練時(shí)性能表現(xiàn)最差,這個(gè)因?yàn)閮H僅利用內(nèi)積來(lái)擬合用戶的興趣會(huì)限制模型的表達(dá)能力。從側(cè)面也體現(xiàn)了文中模型的有效性。

圖4 基于HR@10的不同模塊的效果

4 結(jié)束語(yǔ)

該文提出了一種結(jié)合深度學(xué)習(xí)和高效通道注意力機(jī)制的神經(jīng)協(xié)同過濾算法,其在電影數(shù)據(jù)集和音樂數(shù)據(jù)集上的隱式反饋問題進(jìn)行處理。模型中的基于匹配函數(shù)表示學(xué)習(xí)的注意力網(wǎng)絡(luò)分配不同的權(quán)重對(duì)不同類型物品對(duì)用戶選擇的影響;而在另一部分則通過卷積神經(jīng)網(wǎng)絡(luò)對(duì)用戶和物品的交互信息中提取高階特征,并在卷積神經(jīng)網(wǎng)絡(luò)中加入高效通道注意力機(jī)制對(duì)網(wǎng)絡(luò)的特征維度進(jìn)行降維操作以及增加通道之間信息的交互。在MovieLens 1M、Lastfm數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)驗(yàn)證,該模型對(duì)提高推薦精度有著一定的效果。在今后的工作中,將考慮在其他神經(jīng)協(xié)同過濾模型中擴(kuò)展本模型,進(jìn)一步提高推薦系統(tǒng)的質(zhì)量。