張素智，李鵬輝，陳小妮

(鄭州輕工業(yè)大學(xué) 計(jì)算機(jī)與通信工程學(xué)院，鄭州 450000)

電子商務(wù)平臺(tái)和社交服務(wù)網(wǎng)站，如Reddit、亞馬遜和Netflix,每秒鐘都吸引著成千上萬(wàn)的用戶(hù)，因此有效向用戶(hù)推薦合適的服務(wù)項(xiàng)目是這些在線(xiàn)服務(wù)的一項(xiàng)基本重要任務(wù).在信息過(guò)載的時(shí)代，推薦系統(tǒng)是在線(xiàn)服務(wù)的基礎(chǔ)，在在線(xiàn)購(gòu)物、電影、音樂(lè)和新聞閱讀等領(lǐng)域獲得了巨大的成功.其中最具代表的是協(xié)同過(guò)濾算法(collaborative filtering，CF)，它廣泛地應(yīng)用在推薦系統(tǒng)領(lǐng)域中，并能很好地處理信息過(guò)載問(wèn)題[1]，但是隨著時(shí)間的推移，用戶(hù)的偏好和項(xiàng)目的特征會(huì)隨著時(shí)間而改變，數(shù)據(jù)特征都是動(dòng)態(tài)的[2]，而捕捉動(dòng)態(tài)特征對(duì)于獲得更精確的推薦非常重要，傳統(tǒng)的CF以靜態(tài)的方式建模用戶(hù)項(xiàng)目交互，只能捕捉用戶(hù)的長(zhǎng)期偏好，沒(méi)有考慮數(shù)據(jù)的時(shí)效特征，這使傳統(tǒng)CF推薦的準(zhǔn)確性到達(dá)了相對(duì)的瓶頸期[3].

近年來(lái)，循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)在用戶(hù)短期偏好建模方面顯示出了巨大的優(yōu)勢(shì)，尤其是在自然語(yǔ)言處理領(lǐng)域，RNN方法已經(jīng)成為序列推薦的主流模型[4]，而其中長(zhǎng)短期記憶網(wǎng)絡(luò)(long shot-term term memory，LSTM)作為特殊的RNN門(mén)控模型，被許多人進(jìn)行了改進(jìn)，從而解決序列的長(zhǎng)時(shí)間依賴(lài)問(wèn)題[5].

在本文中，為了解決用戶(hù)項(xiàng)目交互行為的時(shí)效特征對(duì)推薦準(zhǔn)確度影響的問(wèn)題，提出基于LSTM的協(xié)同過(guò)濾算法模型LSMF，其利用經(jīng)典LSTM中的門(mén)控機(jī)制加入時(shí)間感知特性，并采用注意力機(jī)制來(lái)動(dòng)態(tài)過(guò)濾用戶(hù)行為序列中不相關(guān)的動(dòng)作，從而可以很好地考慮上下文時(shí)間內(nèi)容信息來(lái)循環(huán)控制狀態(tài)轉(zhuǎn)換，自適應(yīng)融合用戶(hù)的長(zhǎng)短期偏好形成統(tǒng)一的項(xiàng)目表示空間，生成用戶(hù)的下一項(xiàng)推薦.

圖1 RNN結(jié)構(gòu)示意圖Fig.1 RNN structure diagram

圖2 LSTM結(jié)構(gòu)示意圖Fig.2 LSTM structure diagram

1 相關(guān)研究

1.1 傳統(tǒng)協(xié)同過(guò)濾算法

在現(xiàn)實(shí)生活中，用戶(hù)的興趣偏好會(huì)隨著時(shí)間的不斷變化而發(fā)生改變，但是傳統(tǒng)的推薦方法忽略了這一問(wèn)題，如果不考慮具體數(shù)據(jù)的時(shí)效特征，而采用統(tǒng)一的標(biāo)準(zhǔn)計(jì)算用戶(hù)各個(gè)時(shí)間段的行為偏好，然后為用戶(hù)推薦下一項(xiàng)目，這顯然是不符合實(shí)際情況的.竇羚源等[6]通過(guò)在傳統(tǒng)協(xié)同過(guò)濾算法中融入標(biāo)簽特征和時(shí)間信息，建模用戶(hù)的興趣偏好，但是未考慮用戶(hù)行為長(zhǎng)期偏好和短期偏好的自適應(yīng)權(quán)重分配問(wèn)題.

1.2 循環(huán)神經(jīng)網(wǎng)絡(luò)

近年來(lái)，在各種語(yǔ)音識(shí)別、文字建模、機(jī)器翻譯、圖形字幕等應(yīng)用中，基于循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)的模型取得了很好的成果[7].RNN模型擅長(zhǎng)對(duì)于序列和列表類(lèi)型的數(shù)據(jù)進(jìn)行分析，其隱藏狀態(tài)隨著序列的變化而動(dòng)態(tài)變化，大大提高了順序點(diǎn)擊預(yù)測(cè)的性能.網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示.

RNN是一種具有多個(gè)隱藏層的遞歸體系結(jié)構(gòu)[8]，它由一個(gè)輸入層、一個(gè)輸出單元、多個(gè)隱藏層以及內(nèi)部權(quán)重組成.隱藏層的激活值計(jì)算如下：

(1)

Wu C等[9]首次利用循環(huán)神經(jīng)網(wǎng)絡(luò)RNN來(lái)建模用戶(hù)的時(shí)間序列行為，解決多個(gè)異構(gòu)時(shí)序的推薦問(wèn)題，但普通RNN假設(shè)序列中連續(xù)項(xiàng)之間的分布是均勻的，這些RNN的結(jié)構(gòu)目標(biāo)只是通過(guò)加入更大的時(shí)間尺度來(lái)捕獲序列中的長(zhǎng)期依賴(lài)關(guān)系.在實(shí)際的推薦系統(tǒng)中，預(yù)測(cè)目標(biāo)的時(shí)間點(diǎn)與相關(guān)信息的時(shí)間點(diǎn)間隔可能會(huì)很長(zhǎng)，而RNN的時(shí)間依賴(lài)性隨序列中位置的變化而單調(diào)變化，很難學(xué)習(xí)這種長(zhǎng)依賴(lài)關(guān)系.因此在行為建模場(chǎng)景中，普通RNN很難很好地對(duì)上下文進(jìn)行建模.因此長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)作為RNN的變體脫穎而出，LSTM是目前RNN中處理時(shí)序信息最先進(jìn)的模型，能夠很好的捕捉序列的長(zhǎng)依賴(lài)關(guān)系[10].

本文使用LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)來(lái)捕獲用戶(hù)和電影之間的時(shí)間序列長(zhǎng)依賴(lài)關(guān)系，建立短期偏好模型，通過(guò)這種方式，能夠以一種綜合的方式預(yù)測(cè)未來(lái)的交互軌跡，其具體結(jié)構(gòu)如圖2所示，其中細(xì)胞狀態(tài)ck是LSTM的核心，用貫穿細(xì)胞的水平線(xiàn)表示，細(xì)胞狀態(tài)像傳送帶一樣，它貫穿整個(gè)細(xì)胞卻只有很少的分支，這樣能保證信息不變的流過(guò)整個(gè)RNN.

在第k個(gè)交互步驟中，每個(gè)交互的隱藏狀態(tài)hk由前一個(gè)隱藏狀態(tài)hk-1、當(dāng)前項(xiàng)目的嵌入向量xk和當(dāng)前行為向量bk來(lái)更新，首先輸入信息通過(guò)fk遺忘門(mén)的sigmoid單元進(jìn)行過(guò)濾，通過(guò)查看hk-1和xk信息輸出一個(gè)0-1向量，決定ck-1中信息是否保留在ck中，同時(shí)通過(guò)輸入門(mén)ik決定哪些信息更新在ck中，如公式(2)所示.

fk=σ(Wf[hk-1,xk]+bf)，

ik=σ(Wi[hk-1,xk]+bi)，

ck=fk·ck-1+ik·tanh(Wc[hk-1,xk]+bc).

(2)

其中，W∈RD×D是可訓(xùn)練的參數(shù)，D表示RNN中輸入嵌入和隱藏層的維數(shù).fk、ik、ok分別表示遺忘門(mén)、輸入門(mén)和輸出門(mén)，ck表示傳遞的細(xì)胞狀態(tài)，xk表示第K項(xiàng)的輸入嵌入，σ是sigmoid函數(shù).

更新完細(xì)胞狀態(tài)ck后經(jīng)過(guò)tanh層得到一個(gè)-1到1之間值的向量，將該向量與將輸入經(jīng)過(guò)輸出門(mén)ok的sigmoid單元得到的判斷條件相乘，就得到了最終該單元的輸出,如下公式所示：

ok=σ(Wo[hk-1,xk]+bo)，

(3)

hk=ok·tanh(ck).

(4)

Wu C Y等[11]通過(guò)采用LSTM學(xué)習(xí)用戶(hù)和項(xiàng)目在每一時(shí)刻的動(dòng)態(tài)隱表示，形成穩(wěn)定和時(shí)變的兩部分評(píng)分，通過(guò)聚合兩類(lèi)隱表示的內(nèi)積實(shí)現(xiàn)單一時(shí)刻的評(píng)分預(yù)測(cè)，但是未考慮上下文內(nèi)容語(yǔ)義的不規(guī)則性[12].因此本文將在第三章改進(jìn)LSTM門(mén)控結(jié)構(gòu)，使其能夠融合時(shí)效特征和注意力機(jī)制，更好的模擬連續(xù)行為之間的狀態(tài)演變.

1.3 推薦描述

給定目標(biāo)用戶(hù)u的行為序列su={(xu,v1,t1),(xu,v2,t2),…,(xu,vk,tk)}，推薦任務(wù)是預(yù)測(cè)目標(biāo)用戶(hù)u在下一次訪(fǎng)問(wèn)中最有可能訪(fǎng)問(wèn)的項(xiàng)目vk+1，通過(guò)最大化一個(gè)模型函數(shù)值來(lái)生成一個(gè)由排名最高的項(xiàng)目推薦列表,如下公式所示：

R=argmax·f(s).

(5)

其中f(x)是一個(gè)模型激活函數(shù)，用于輸出候選項(xiàng)目的排序分?jǐn)?shù).

圖3 LSMF結(jié)構(gòu)示意圖Fig.3 LSMF structure diagram

2 LSMF模型

LSMF模型的結(jié)構(gòu)如圖3所示.在交互序列su中，首先將輸入按順序項(xiàng)轉(zhuǎn)換為統(tǒng)一的嵌入空間，然后基于LSTM體系結(jié)構(gòu)學(xué)習(xí)短期偏好信息，再通過(guò)矩陣分解模型學(xué)習(xí)長(zhǎng)期偏好信息，最后自適應(yīng)融合兩者得出預(yù)測(cè)項(xiàng)目.

實(shí)際生活中，用戶(hù)項(xiàng)目的交互行為內(nèi)容要復(fù)雜得多，而且面臨著時(shí)間不規(guī)則性和語(yǔ)義不規(guī)則，例如兩個(gè)連續(xù)行為之間的時(shí)間間隔可以是多種多樣的，以及用戶(hù)行為序列中的屬性可能并不總是共享相同的語(yǔ)義.為了解決時(shí)間不規(guī)則問(wèn)題，改進(jìn)了LSTM中的門(mén)控邏輯，使其對(duì)時(shí)間變化敏感.為了解決語(yǔ)義不規(guī)則問(wèn)題，融合了注意力機(jī)制的內(nèi)容控件，來(lái)抑制偏離目標(biāo)方向的交互信息.

2.1 融合時(shí)效特征

本節(jié)介紹了兩個(gè)時(shí)間感知特征，即時(shí)間間隔特征δtk和時(shí)間跨度特征stk，時(shí)間間隔特征δtk編碼兩個(gè)連續(xù)狀態(tài)之間的相對(duì)時(shí)間距離，而時(shí)間跨度特征stk編碼當(dāng)前狀態(tài)tk與預(yù)測(cè)狀態(tài)tp之間的絕對(duì)時(shí)間距離，當(dāng)Wδ,Ws∈RD時(shí)，如下公式所示：

δtk=tanh(Wδlog(tk-tk-1)+bδ),

(6)

stk=tanh(Wslog(tp-tk)+bs).

(7)

當(dāng)Wtδ,Wts∈RD×D，并添加一個(gè)完全連接的層，將時(shí)間感知特征轉(zhuǎn)換為密集向量(δtkWtδ和stkWts)，相應(yīng)的時(shí)間門(mén)Tδ和Ts計(jì)算如下：

Tδ=σ(xkWxδ+δtkWtδ+btδ),

(8)

Ts=σ(xkWxs+stkWts+bts).

(9)

因此輸入門(mén)ck和輸出門(mén)ok更新如下：

ck=fk·Tδ·ck-1+ik·Ts·tanh(Wc[hk-1,xk]+bc),

(10)

ok=σ(xkWxo+δtkWδo+stkWso+hk-1Who+bo).

(11)

2.2 融合注意力機(jī)制

實(shí)際推薦中應(yīng)為信息更多的行為分配更高的權(quán)重，因此在模型結(jié)構(gòu)中引入注意力機(jī)制.項(xiàng)目的注意力分?jǐn)?shù)由下式表示：

ek=[tanh(Wf[hk-1,xk]+bf)]T,

(12)

(13)

其中ek表示要進(jìn)行預(yù)測(cè)的項(xiàng)目的嵌入向量，Wf為權(quán)重向量，bf為偏置向量，xj表示第j個(gè)交互行為，Wk為隨機(jī)初始化的注意力矩陣，注意力評(píng)分ak決定了應(yīng)根據(jù)目標(biāo)項(xiàng)目強(qiáng)調(diào)或忽略哪些內(nèi)容，利用這些分?jǐn)?shù)來(lái)循環(huán)更新細(xì)胞狀態(tài)和隱藏狀態(tài).如下公式：

(14)

(15)

這里不使用最后一個(gè)隱藏狀態(tài)作為用戶(hù)表示，而是將用戶(hù)的短期形式表示為所有隱藏狀態(tài)的加權(quán)平均值.

(16)

2.3 自適應(yīng)融合方法

設(shè)計(jì)了一個(gè)自適應(yīng)的信息融合方法,由特定的上下文決定長(zhǎng)短期偏好的權(quán)重，可以很好的促進(jìn)推薦結(jié)果的準(zhǔn)確性.如下公式所示:

(17)

(18)

2.4 模型訓(xùn)練

將推薦任務(wù)描述為一個(gè)二進(jìn)制分類(lèi)問(wèn)題，其中，負(fù)對(duì)數(shù)似然函數(shù)(log-loss)通常用作損失函數(shù)，如下公式所示：

(19)

其中N是培訓(xùn)實(shí)例的總數(shù)，Θ表示可訓(xùn)練參數(shù)集.yi=1表示正實(shí)例(用戶(hù)已與項(xiàng)目交互)，yi=0表示負(fù)實(shí)例.模型優(yōu)化過(guò)程是將損失函數(shù)與正則化項(xiàng)λ*‖Θ‖2一起最小化，防止過(guò)擬合.

3 試驗(yàn)結(jié)果分析

3.1 試驗(yàn)數(shù)據(jù)集

為了研究LSMF模型的有效性，本文在Netflix競(jìng)賽數(shù)據(jù)集上對(duì)LSMF模型進(jìn)行了評(píng)估.Netflix數(shù)據(jù)集[13]由1999-12—2005-12收集的100 M評(píng)級(jí)組成，這個(gè)數(shù)據(jù)集大約給出了480 189個(gè)用戶(hù)和17 770部電影評(píng)級(jí)，該數(shù)據(jù)集包含電影信息、訓(xùn)練集、測(cè)試集組成.電影信息的數(shù)據(jù)點(diǎn)由電影ID、上映年份、電影標(biāo)題組成；訓(xùn)練集的數(shù)據(jù)點(diǎn)由電影ID、用戶(hù)ID、評(píng)分(1～5)、時(shí)間戳組成；測(cè)試集數(shù)據(jù)點(diǎn)由電影ID、用戶(hù)ID組成.詳細(xì)數(shù)據(jù)如表1.

在下面的試驗(yàn)中，使用了一個(gè)包含40個(gè)隱藏神經(jīng)元的單層LSTM，40維輸入嵌入和20維動(dòng)態(tài)狀態(tài)，模型是在開(kāi)源的深度學(xué)習(xí)框架TensorFlow上實(shí)現(xiàn)的，使用ADAM優(yōu)化神經(jīng)網(wǎng)絡(luò)參數(shù)，并利用隨機(jī)梯度下降(SGD)來(lái)更新潛在因子，學(xué)習(xí)率為0.001.

表1 Netflix競(jìng)賽數(shù)據(jù)集Tab.1 Netflix competition data set

表2 融合因子?隨時(shí)間間隔的自適應(yīng)變化Tab.2 Adaptive change of melting factor ? with time interval

圖4 不同融合因子?對(duì)于LSMF模型性能的影響Fig.4 The influence of different fusion factors ? on the performance of LSMF model

將LSMF與兩種傳統(tǒng)方法(即BPRMF、LSTM)和兩種基于RNN的最新模型(即NARM、T-LSTM)進(jìn)行了比較.

BPR-MF[14]是一種廣泛應(yīng)用的矩陣因式分解方法，它通過(guò)隨機(jī)梯度下降優(yōu)化成對(duì)排序目標(biāo)函數(shù).

LSTM是序列推薦的經(jīng)典循環(huán)神經(jīng)網(wǎng)絡(luò)模型.

NARM[15]是一種神經(jīng)注意推薦機(jī)，它通過(guò)將注意機(jī)制納入RNN來(lái)捕捉當(dāng)前會(huì)話(huà)中用戶(hù)的主要目的.

T-LSTM[16]為L(zhǎng)STM配備時(shí)間門(mén)來(lái)模擬時(shí)間間隔，與LSMF模型不同，它不能依賴(lài)于注意力機(jī)制來(lái)為信息更多的行為分配更高的權(quán)重.

3.2 評(píng)價(jià)指標(biāo)

數(shù)據(jù)集的稀疏度計(jì)算公式：

(20)

其中suv表示用戶(hù)項(xiàng)目交互行為的數(shù)目，sN表示用戶(hù)向量與項(xiàng)目向量的乘積，即N∈m·n.

為了驗(yàn)證算法有效性，本文使用召回率(recall)和平均絕對(duì)誤差(MAE)來(lái)評(píng)估預(yù)測(cè)結(jié)果.Recall@20召回率是在前20個(gè)項(xiàng)目中被召回的正確項(xiàng)目的比例，這是主要的評(píng)價(jià)指標(biāo)，召回率越高，推薦模型的性能越好.平均絕對(duì)誤差MAE也是一個(gè)常用的選擇，由式(21)給出，同樣平均絕對(duì)誤差越低，推薦模型的性能越好.

(21)

3.3 算法性能試驗(yàn)

3.3.1 融合參數(shù)?的取值比較 LSMF模型的自適應(yīng)融合機(jī)制如式(18)會(huì)根據(jù)上下文時(shí)間內(nèi)容信息自動(dòng)獲得參數(shù)?的取值，本文根據(jù)用戶(hù)最后一次交互行為和預(yù)測(cè)項(xiàng)目之間的時(shí)間間隔拆分測(cè)試實(shí)例，將測(cè)試數(shù)據(jù)的預(yù)測(cè)間隔時(shí)間劃分為1 h、12 h、1 d、1周、1月、1 a，如表2所示.在1 h短期偏好模型的融合參數(shù)?是0.79，而在1 a時(shí)短期偏好的融合因子?是0.54，通過(guò)試驗(yàn)觀察到，隨著時(shí)間間隔的增長(zhǎng)，短期偏好模型的融合參數(shù)不斷減小，長(zhǎng)期偏好模型的融合參數(shù)不斷增大.但是間隔時(shí)間在1 a范圍內(nèi)，短期偏好模型的融合參數(shù)?始終大于長(zhǎng)期偏好模型1-?，這意味著相對(duì)于長(zhǎng)期偏好，短期偏好始終對(duì)于推薦結(jié)果有更重要的影響作用，而在預(yù)測(cè)時(shí)間間隔較長(zhǎng)的項(xiàng)目時(shí)長(zhǎng)期偏好的影響作用不斷加大.

當(dāng)時(shí)間間隔為1 h時(shí)，通過(guò)圖4可以觀察到，當(dāng)?=0時(shí)表示只使用長(zhǎng)期偏好模型，預(yù)測(cè)的召回率Recall@20只有0.379 4，而當(dāng)?=1時(shí)表示只使用短期偏好模型，雖然與上下文時(shí)間內(nèi)容切合，但是完全沒(méi)有考慮長(zhǎng)期偏好的影響，其預(yù)測(cè)的召回率Recall@20為0.538 7；當(dāng)短期偏好的融合參數(shù)?=0.79時(shí)，模型預(yù)測(cè)的召回率Recall@20為0.657 2，顯然是最優(yōu)解.可見(jiàn)根據(jù)上下文時(shí)間內(nèi)容的不斷變化，模型融合參數(shù)?的取值也會(huì)變化，以使模型的推薦性能達(dá)到最優(yōu)，因此采用自適應(yīng)融合機(jī)制是非常必要和有效的.

3.3.2 數(shù)據(jù)稀疏度對(duì)于LSMF模型性能的影響 本文認(rèn)為用戶(hù)項(xiàng)目的交互稀疏度對(duì)推薦系統(tǒng)的性能有很重要的影響，因此為了比較不同稀疏度下的算法效果，本次試驗(yàn)根據(jù)時(shí)間分割數(shù)據(jù)獲得不同稀疏度以模擬實(shí)際情況.將Netflix訓(xùn)練數(shù)據(jù)集劃分4組，分別是1個(gè)月、6個(gè)月、1 a、全部，其稀疏度如表3所示.可以看出，隨著劃分?jǐn)?shù)據(jù)的時(shí)長(zhǎng)增加，稀疏度不斷提高，這是因?yàn)殡S著時(shí)間規(guī)模的擴(kuò)大，評(píng)分交互矩陣中更新了更多的新用戶(hù)和新項(xiàng)目，雖然用戶(hù)項(xiàng)目交互行為越來(lái)越多，但是相對(duì)于整體數(shù)據(jù)維數(shù)的增加，可提取的特征數(shù)目比例變得更少，導(dǎo)致稀疏度不斷增大.

表3 Netflix 數(shù)據(jù)集分組稀疏度Tab.3 Netflix data set group sparsity

在不同稀疏度上分別測(cè)試LSMF模型的平均絕對(duì)誤差MAE和召回率recall @20性能，依然選擇預(yù)測(cè)時(shí)間間隔為1 h進(jìn)行數(shù)據(jù)對(duì)比，如圖5所示.通過(guò)圖5(a)可以看出隨著數(shù)據(jù)稀疏度提高時(shí)，LSMF模型的平均絕對(duì)誤差MAE數(shù)值逐漸上升，在0.08%稀疏度時(shí)MAE為0.648 3，而在1.2%稀疏度時(shí)MAE為0.707 6，模型推薦效果逐漸變差.通過(guò)圖5(b)可以看出，當(dāng)數(shù)據(jù)稀疏度提高時(shí)，LSMF模型的recall @20數(shù)值逐漸下降，在0.08%稀疏度時(shí)recall @20為0.589 6，而在1.2%稀疏度時(shí)recall @20為0.497 2，模型推薦效果也是逐漸變差.通過(guò)在不同稀疏度上的兩個(gè)評(píng)價(jià)指標(biāo)可以看出，當(dāng)數(shù)據(jù)稀疏度不斷增加時(shí)，可用來(lái)學(xué)習(xí)的交互特征就會(huì)變得更少，不能很好的滿(mǎn)足模型訓(xùn)練，推薦模型的準(zhǔn)確度就會(huì)降低.

(a) (b)圖5 不同稀疏度上LSMF模型的性能測(cè)試Fig.5 Performance test of LSMF model with different sparsity

圖6 不同時(shí)間間隔下各個(gè)模型的性能評(píng)估Fig.6 Performance evaluation of different models at different time intervals

3.3.3 不同模型的recall性能評(píng)估 在不同時(shí)間間隔(最后一次評(píng)分與預(yù)測(cè)項(xiàng)目的時(shí)間間隔)上分別測(cè)試LSMF、BPRMF、LSTM、NARM、T-LSTM的recall @20性能，如圖6所示.LSMF模型的性能在所有場(chǎng)景下明顯優(yōu)于所有其他方法.而不同方法面對(duì)不同時(shí)間間隔時(shí)的效果高低不同，這說(shuō)明最后一次評(píng)分與預(yù)測(cè)項(xiàng)目的時(shí)間間隔確實(shí)會(huì)影響推薦系統(tǒng)的性能.通過(guò)間隔時(shí)間為1～24 h的數(shù)據(jù)可以看出，LSMF、LSTM、T-LSTM這三個(gè)具有短期偏好的模型性能要高于NARM、BPRMF，其中最好的LSMF模型的recall @20數(shù)值為0.657 0，最差的BPRMF模型的recall @20數(shù)值為0.302 5，因此在考慮預(yù)測(cè)較短時(shí)間的交互行為特征時(shí)，具有短期偏好的模型都比長(zhǎng)期偏好模型BPRMF效果和注意力機(jī)制模型NARM效果要好，而通過(guò)間隔時(shí)長(zhǎng)為1 a的數(shù)據(jù)可以看出，LSMF、BPRMF這兩個(gè)具有長(zhǎng)期偏好的模型性能要高于NARM、LSTM、T-LSTM，其中最好的LSMF模型的recall @20數(shù)值為0.687 6，最差的LSTM模型的recall @20數(shù)值為0.451 4，因此在考慮預(yù)測(cè)較長(zhǎng)時(shí)間的交互行為特征時(shí)，具有長(zhǎng)期偏好模型的LSMF、BPRMF效果要比LSTM、NARM、T-LSTM這些短期模型要好，即用戶(hù)的歷史穩(wěn)定偏好在長(zhǎng)時(shí)間的推薦性能上是有效的.

這其中LSTM僅獲取用戶(hù)項(xiàng)目交互矩陣的長(zhǎng)依賴(lài)關(guān)系來(lái)推薦短期偏好，而B(niǎo)PRMF僅使用矩陣分解技術(shù)獲取用戶(hù)的長(zhǎng)期穩(wěn)定偏好，相對(duì)于前兩者，T-LSTM模型在門(mén)控組件中加入了時(shí)間特性來(lái)模擬用戶(hù)項(xiàng)目交互的動(dòng)態(tài)特征，NARM模型融入了注意力機(jī)制，來(lái)捕獲當(dāng)前會(huì)話(huà)中用戶(hù)的主要目的，因此T-LSTM和NARM的模型性能在大多數(shù)情況下都優(yōu)于LSTM和BPRMF，而LSMF的短期組件部分則具有T-LSTM和NARM兩者的全部?jī)?yōu)勢(shì)，又自適應(yīng)融合長(zhǎng)期偏好部分，所以相對(duì)于其他四個(gè)模型，LSMF模型的性能表現(xiàn)的更加優(yōu)秀，這也說(shuō)明時(shí)效特征和上下文內(nèi)容感知對(duì)于推薦短期偏好的準(zhǔn)確度有很重要的作用.因此本文設(shè)計(jì)的具有時(shí)間感知和上下文內(nèi)容感知的短期偏好部分，又自適應(yīng)融合長(zhǎng)期偏好部分的LSMF模型，更加善于處理來(lái)自用戶(hù)項(xiàng)目交互的時(shí)效特征，從而獲得更好的推薦準(zhǔn)確度.

4 結(jié)語(yǔ)

本文提出了基于LSTM的協(xié)同過(guò)濾算法模型LSMF，并結(jié)合長(zhǎng)期偏好綜合用戶(hù)目前的消費(fèi)動(dòng)機(jī)和歷史上穩(wěn)定的偏好獲得更加準(zhǔn)確的推薦.具體使用LSTM長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)來(lái)捕獲用戶(hù)和項(xiàng)目的長(zhǎng)時(shí)間依賴(lài)關(guān)系，并改進(jìn)LSTM的門(mén)控結(jié)構(gòu)，使其能夠融合時(shí)效特征和注意力機(jī)制，更好的模擬連續(xù)行為之間的狀態(tài)演變，并結(jié)合長(zhǎng)期和短期偏好，自適應(yīng)的形成統(tǒng)一的項(xiàng)目表示空間進(jìn)行推薦.在Netflix競(jìng)賽數(shù)據(jù)集上與傳統(tǒng)方法BPRMF、LSTM和兩種基于RNN的最新模型NARM、T-LSTM相比，本文提出的LSMF模型在召回率(Recall)和平均絕對(duì)誤差(MAE)上有了很好的提升，具有很好的推薦性能.