施浩杰，劉學軍，肖慶華

(南京工業(yè)大學 計算機科學與技術(shù)學院，南京 211816)

1 引 言

推薦系統(tǒng)的主要目的是根據(jù)用戶的歷史交互信息，來預測用戶下一步的偏好行為[1].傳統(tǒng)的協(xié)同過濾(Collaborative Filtering,CF)方法認為用戶的偏好和項目屬性都是靜態(tài)的，主要利用用戶信息(如個人資料、項目評分等)進行相似度計算，從而進行偏好分析，卻忽略了用戶的興趣偏好是一種時序數(shù)據(jù).用戶的興趣會隨著時間的變化發(fā)生偏移，項目屬性也會隨時間而變化，如電影的受歡迎程度會隨外部事件(如獲得奧斯卡獎)而發(fā)生變化[2].同時，協(xié)同過濾方法使用未來的評分來評估當前喜好的做法也在一定程度上違背了統(tǒng)計分析中的因果關系.近年來，考慮用戶歷史行為的序列推薦方法，為問題的解決提供了新的思路.隨著深度學習的蓬勃發(fā)展，循環(huán)神經(jīng)網(wǎng)絡(Recurrent Neural Networks,RNNs)由于其天然的序列結(jié)構(gòu)，成為當前學術(shù)界對序列進行建模的主要工具.但RNN的決策要取決于所有過去的隱藏狀態(tài)，無法在序列中充分利用并行計算，因此在訓練和評估時的速度都受到限制.另外，在現(xiàn)實情況下，用戶的興趣可能并不是連續(xù)的.

如圖1(a)所示，通常情況下，用戶購買手機之后，會傾向于依次購買手機殼和充電寶，這個時候推薦系統(tǒng)可以依靠經(jīng)驗推薦數(shù)據(jù)線.但是實際會出現(xiàn)這樣的情況，如圖1(b)所示，用戶在瀏覽了手機和充電寶之后，又突然搜索了并不相關的自行車，這時自行車的瀏覽就會成為推薦充電寶的干擾項，因此需要在推薦時考慮更為久遠的項目，從而對推薦列表的生成產(chǎn)生影響.

圖1 傳統(tǒng)序列推薦方法存在的問題Fig.1 Problems in traditional sequential recommendation methods

為了解決上述問題，本文提出了一種基于改進的時序卷積網(wǎng)絡的序列推薦方法(SETCNs)，主要工作包括：1)使用時序卷積網(wǎng)絡(Temporal Convolutional Network，TCN)取代傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡，作為捕捉序列信息的主要模型，通過結(jié)構(gòu)空洞的擴張卷積擴大感受野，捕捉更為復雜的序列關系，從而加強了長期依賴；2)通過將殘差連接和注意力機制結(jié)合，在TCN的基礎上對壓縮-激勵網(wǎng)絡[3](SENets)進行了改進.通過壓縮激勵模塊，讓TCN能夠?qū)娱g的短時空間特征序列的權(quán)值進行重新標定，從而更好地利用序列特征，加強重點項目對推薦決策的影響，實現(xiàn)更好的推薦效果.

2 相關工作

傳統(tǒng)的序列推薦研究主要有頻繁模式挖掘(Frequent Pattern Mining,FPM)和馬爾可夫鏈模型(Markov Chains,MCs).

頻繁模式挖掘的基本思想是首先在序列數(shù)據(jù)上尋找頻繁模式，通俗來說即項目A和項目B的共現(xiàn)性，然后利用挖掘出的模式來指導后續(xù)的推薦.Lu等[4]提出了一種移動應用程序順序模式挖掘方法，考慮用戶移動和應用啟動，以發(fā)現(xiàn)順序模式，用于通過預測用戶的下一個使用的應用程序來解決上下文自適應的問題.頻繁模式挖掘雖然簡單直接，但會產(chǎn)生大量的冗余模式，增加不必要的開銷.并且由于頻率約束，會經(jīng)常丟失那些出現(xiàn)頻率低的模式和項目，這使得推薦結(jié)果被限制在那些流行的項目.

基于馬爾可夫鏈的推薦方法，其主要學習的是狀態(tài)轉(zhuǎn)移概率，即用戶點擊物品A之后，下一次點擊的物品是B的概率，并基于這個狀態(tài)轉(zhuǎn)移概率進行推薦.Khattar等[5]提出了一種基于項目的協(xié)同過濾的新方法，用于使用馬爾科夫決策過程(Markov Decision Process,MDP)推薦新聞項目，最簡單的MDP本質(zhì)上是一階馬爾科夫鏈，其中可以基于項目之間的轉(zhuǎn)移概率簡單地計算下一個推薦.這類算法缺點是當試圖包括用戶所有可能選擇的序列時，狀態(tài)的數(shù)量會隨問題維度擴大而指數(shù)增加，狀態(tài)空間難以管理.因為隨著物品的增加，建模所有可能的點擊序列是十分困難的.另一方面，由于馬爾可夫特性假設當前的交互僅取決于一個或最近的幾個交互，因此只能捕獲短期依賴而忽略了長期的依賴關系.He等[6]基于馬爾可夫鏈提出了一種個性化的序列推薦模型，將矩陣分解和馬爾可夫鏈方法結(jié)合起來，以同時適應長期和短期動態(tài).

近年來，學術(shù)界也涌現(xiàn)出了利用深度學習方法來對序列推薦進行建模的熱潮，其中一些解決方案代表了序列推薦研究領域的最新技術(shù).Hidasi等[7]使用門控循環(huán)單元(Gated Recurrent Unit,GRU)來建模序列數(shù)據(jù)，直接從給定會話中的先前點擊學習會話表示，并提供下一個動作的建議.這是首次嘗試應用RNN來解決序列推薦問題，模型結(jié)果比傳統(tǒng)方法有非常顯著的提升.Tan等[8]進一步研究了RNN在基于序列推薦領域的應用，提出了一種數(shù)據(jù)增強技術(shù)，并改變輸入數(shù)據(jù)的數(shù)據(jù)分布，用于改進模型的性能.Li等[9]提出一種基于RNN的編碼器-解碼器模型，它將來自RNN的最后隱藏狀態(tài)作為序列行為，并使用先前點擊的隱藏狀態(tài)進行注意力計算，以捕獲給定會話中的主要目的(一般興趣).Jannach等[10]將循環(huán)方法和基于鄰域的方法結(jié)合在一起，以混合順序模式和共現(xiàn)信號.Tuan等[11]將會話點擊與內(nèi)容特征(如項目描述和項目類別)結(jié)合起來，通過使用三維卷積神經(jīng)網(wǎng)絡(Convolutional Neural Networks,CNNs)生成推薦.為了解決基本神經(jīng)網(wǎng)絡結(jié)構(gòu)的局限性，一些高級模型通常與某種基本的神經(jīng)網(wǎng)絡結(jié)合，來應對特定的挑戰(zhàn).例如，注意力模型通常被用來在一個序列中強調(diào)那些真正重要的交互作用，同時淡化那些與下一次交互作用無關的交互.Liu等[12]提出了一個短期注意優(yōu)先模型，通過采用簡單的多層感知器(Multi-Layer Perceptron,MLP)和注意力網(wǎng)絡來捕捉用戶的一般興趣和當前興趣.總的來說，基于深度學習的序列推薦研究方興未艾，主要涉及如何設計不同的網(wǎng)絡結(jié)構(gòu)以簡便高效地捕獲高階動態(tài).

近日，Bai等[13]對于序列問題提出了一種新的架構(gòu)時序卷積網(wǎng)絡，與傳統(tǒng)的序列模型如LSTM或GRU相比，TCN具有更簡單的結(jié)構(gòu)和更高的效率.在此基礎上，為了提取更完整的時間特征，本文在TCN的基礎上引入了SENets進行增強，SENets是一種新的結(jié)構(gòu)單元，其作用是通過對特征各個通道之間的相互依賴關系進行建模，增強重點通道的權(quán)重來提高網(wǎng)絡表示的質(zhì)量.在本文的方法中，我們對SENets進行了改進，通過使用壓縮激勵模塊，將其組合入TCN，增強TCN在時間特征提取中的能力，通過注意力機制加強了重點項目對推薦結(jié)果的影響.模型利用擴張卷積增大感受野，捕獲更多的序列關系，利用殘差連接減小反向傳播過程中的梯度消失問題.通過對用戶和項目特征的融合，模型可以綜合考慮用戶的短期和長期偏好進行個性化推薦.

3 SETCNs方法

3.1 問題描述

序列推薦的主要任務是根據(jù)已獲得的用戶當前序列信息(包括用戶的一系列歷史交互行為)中發(fā)現(xiàn)用戶的興趣偏好，預測的用戶下一步的點擊行為，并由此進行項目推薦.

3.2 模型框架

圖2為SETCNs模型的總體框架.首先，所有的項目先被嵌入成高維向量，再根據(jù)時間戳組成序列數(shù)據(jù).項目的嵌入表示通過item2vec[14]生成，作為用戶的短期偏好，用戶的嵌入表示通過隱因子模型(Latent Factor Model,LFM)[15]生成，作為用戶的長期偏好.模型的重點在于序列數(shù)據(jù)的建模，在TCN的基本框架下，通過擴張卷積，逐層擴大感受野，捕捉更多的序列關系.圖2中的壓縮-激勵模塊(Squeeze and Excitation Block,S-E Block)主要負責調(diào)整各維度之間的關系.各層之間通過殘差連接，在最后將用戶和項目獲得的向量拼接，共同輸入全連接層，獲得推薦項目的概率值.

圖2 SETCNs整體框架Fig.2 Framework of SETCNs

3.2.1 嵌入層

假設將所有用戶的歷史項目交互定義為語料庫S，將某單一用戶u的歷史交互項目視為一個集合Su，且有Su∈S.通過學習所有用戶歷史記錄中項目間的共現(xiàn)關系，獲得該項目的詞向量表示.具體的目標函數(shù)如公式(1)和公式(2)：

(1)

(2)

其中，其中u∈Si，ν∈Sj，L為語料庫集合長度，N為對于每個正樣本負采樣的個數(shù).

另外，對用戶的嵌入表示，采用LFM進行表示.其基本思想是：認為每個用戶都有自己的偏好，同時每個項目也包含所有用戶的偏好信息.而這個偏好信息即潛在因子，是潛在影響用戶對項目評分的因素.某個用戶u對某個項目i的感興趣程度可以表示為公式(3)：

(3)

pu表示用戶u與K個潛在因子的關聯(lián)關系，qi表示物品i與K個潛在因子的關聯(lián)關系.以樣本出現(xiàn)的次數(shù)作為權(quán)重，隨機選擇項目構(gòu)建負樣本集，保證正負樣本平衡.通過將公式(4)作為損失函數(shù)，利用隨機梯度下降(Stochastic Gradient Descent, SGD)算法在數(shù)據(jù)集上迭代更新，直至收斂.

(4)

將模型收斂后得到的用戶潛在因子矩陣p作為對用戶的嵌入表示.

3.2.2 擴張因果卷積

本文引入TCN，采用擴張因果卷積來提取特征.因果的思想是出于處理序列特征的要求，與傳統(tǒng)卷積方法不同點在于，因果卷積是在時間序列上進行，具體如圖3所示.每一層的輸出都是由前一層對應未知的輸入及其前一個位置的輸入共同得到.

圖3 因果卷積Fig.3 Casual convolution

其數(shù)學模型可表示為：y1,y2,…,yt-1,yt=f(x1,x2,…,xt)，簡單來說，即根據(jù)x1,x2,…,xt和y1,y2,…,yt-1去預測yt，使得yt接近于實際值.

但是標準濾波器只能與感受野線性地進行卷積，其深度會隨著網(wǎng)絡深度的增加而迅速增加.輸入和輸出距離越遠，就越需考慮之前的輸入?yún)⑴c運算的問題.在推薦系統(tǒng)中可以理解為，當前推薦項目的確定，需要更長時間段上的用戶偏好信息.這帶來大量需要訓練的參數(shù)，因此難用以處理長期序列.擴張的基本思想是通過用零填充卷積濾波器，使其應用于大于其原始長度的場，具體如圖4所示.通過擴張卷積，模型在層數(shù)不大的情況下可以獲得更大的感受野，因此模型使用參數(shù)的較少.同時，擴張的卷積可以保留輸入的空間尺寸，使得后期卷積層和殘差結(jié)構(gòu)的堆疊操作都變得更加容易.

圖4 擴張卷積Fig.4 Dilated convolution

擴張卷積的計算如公式(5)：

yt=(x*h)t=∑xt-dm·hm

(5)

其中*代表擴張卷積的計算符號，d是擴張率，通常設為2的指數(shù)形式(1，2，4,8,…,2i)，h是卷積濾波器的參數(shù).在實驗中，為了更方便且直觀的使用擴張卷積，需要對原始的數(shù)據(jù)進行一維變換操作，如圖5所示，將大小為L×D二維矩陣E轉(zhuǎn)換成大小為1×L×D的三維張量，E的每一行表示一個項目的嵌入表示，L表示序列的長度，D表示項目嵌入的維度，可以類比視為圖像中的通道.

圖5 原始數(shù)據(jù)進行一維變換Fig.5 One-dimensional transformation of the original data

3.2.3 壓縮激勵模塊

卷積濾波器利用在一定感受野內(nèi)融合空間和各通道間的信息達到特征提取的目的，一般通過使用不同大小的卷積核在同一特征圖上進行滑動來學習提取圖像的二維空間信息，獲得不同大小的感受野輸入神經(jīng)網(wǎng)絡，增強網(wǎng)絡的表達能力，但是通常忽略了各個特征通道之間的關系.本文通過設計壓縮-激勵(Squeeze and Excitation)模塊，采用了一種全新的特征重標定策略去建模各特征通道之間的相互依賴關系.通過網(wǎng)絡學習自動獲取各個通道在當前任務上的重要性，再根據(jù)學習到的通道權(quán)重，將注意力集中在關鍵的部分，提升有用特征權(quán)重，抑制對當前任務用處不大的特征，從而完成增強網(wǎng)絡特征提取的作用.

壓縮操作是對提取到的特征，在每個通道上執(zhí)行全局平均池化(global average pooling).這將每個特征通道都壓縮成一個代表全局感受野的實數(shù)，它表示該特征通道的全局響應，并且可以保持輸出維度和輸入的特征通道數(shù)一致.對于維度為D，長度為T的一串序列E=[ν1,ν2,…,ν|T|]，所計算的維度描述為z=[z1,z2,…,z|T|]，其中z是一個T×1維的向量，其中每一個元素的計算如公式(6)：

(6)

其中vt(i)代表序列第t個元素的第i個維度，此時可以將zt作為t時刻特征的權(quán)重.

為了利用壓縮操作的信息和利用通道間的信息依賴，接下來使用激勵操作來完成特征的重標定，而且這個操作需要滿足兩個前提：第一，能夠利用簡單靈活的操作獲得通道間的非線性關系；第二，學到的關系不一定是互斥的，因為需要加強多個通道特征，而不像one-hot編碼方式，只加強了某一個通道的特征.按公式(7)采用門控機制進行激活.

s=Fex(z,W)=σ(g(z,W))=σ(W2δ(W1z))

(7)

(8)

Fscale(vt,st)表示標量st和特征圖vt∈RT之間的乘法，其實質(zhì)相當于把vt矩陣中的每個值都乘以對應的權(quán)重st，在通道維度上完成對特征權(quán)值的重新標定.

完整的壓縮-激勵操作可視為一次編碼-反編碼的過程，先將T × 1的序列壓縮到r × 1獲取全局感受野，再將其激勵回新的T × 1序列.因為在每一步都加入了激勵函數(shù)，所以在學習過程中，誤差始終能夠通過反向傳播調(diào)整參數(shù)W1和W2[16].因為序列數(shù)據(jù)的結(jié)構(gòu)并沒有改變，因此TCN模型也不需要改變原本的結(jié)構(gòu)，可以直接利用序列權(quán)值再調(diào)整后的特征進行訓練.

3.2.4 殘差連接

在序列特征抽取過程中，因果卷積層和擴張卷積層的疊加造成神經(jīng)網(wǎng)絡逐漸加深.為減少模型訓練過程中，網(wǎng)絡反向傳播發(fā)生的梯度衰減和消失問題，需要在模型的輸出層引入殘差連接.殘差學習的基本思想是將多個卷積層堆疊在一起作為一個塊，然后采用跳躍連接的方法，將前一層的特征信息傳遞到后一層.將模型的輸入被加權(quán)融合到卷積網(wǎng)絡的輸出中，輸出被表述為輸入本身和其一個非線性變換的線性疊加.其表達如公式(9)：

Output=σ(X+F(X))

(9)

其中，X表示輸入，F(xiàn)(X)表示前一層卷積層的輸出，σ表示sigmoid激活函數(shù).殘差連接的概念已經(jīng)在多種分類任務上取得了良好的應用，在提取高維卷積特征后，殘差連接將大大提高模型的泛化能力，維護輸入信息并擴大傳播梯度，減小訓練難度，使得模型成為深層網(wǎng)絡和淺層網(wǎng)絡的集成.

3.2.5 全連接層

為了捕捉用戶的全局偏好，本文將用戶的嵌入表示與時序卷積提取的特征拼接，再通過全連接的方式，得到預測項目出現(xiàn)的概率分布.對具有L層的TCN，最后一層的輸出通過引入具有softmax激活函數(shù)的全連接層來實現(xiàn)序列分類.為減少在訓練過程中的過擬合問題，在全連接層會采取Inverted dropout的方式隨機關閉神經(jīng)元的參數(shù)更新.與傳統(tǒng)的dropout方法不同之處在于，Inverted dropout操作僅在訓練階段進行，省略了測試階段的步驟.

3.3 網(wǎng)絡訓練

模型采用監(jiān)督學習方式進行訓練，以數(shù)據(jù)集中序列數(shù)據(jù)對應的下一個真實項目表示真實概率分布，將模型輸出的項目概率分布作為預測值.實驗使用二元交叉熵(binary cross entropy)作為目標函數(shù)，訓練目標是最小化預測值與真實值之間的差異.為減少過擬合風險帶來的模型泛化能力降低，目標函數(shù)引入了正則化.函數(shù)如公式(10)：

(10)

4 實 驗

本文提出的網(wǎng)絡結(jié)構(gòu)基于Tensorflow平臺實現(xiàn)，該實驗在CPU為Intel Xeon E5-2630v3，顯卡為GTX 1080Ti(11G)，內(nèi)存為32G的服務器上運行，實驗環(huán)境為Window10，Pycharm，Cuda9.0，Cudnn7.0.

4.1 數(shù)據(jù)集及實驗設置

1.Movielens-1M數(shù)據(jù)集

Movielens1數(shù)據(jù)集是由美國明尼蘇達大學GroupLens實驗室提供的在推薦系統(tǒng)領域常用的數(shù)據(jù)集，有多個大小的版本.主要包括一系列用戶對電影的評分，還附有這些用戶的信息(如用戶性別、職業(yè))和電影的信息(如電影類別).

2.Gowalla數(shù)據(jù)集

Gowalla2是一個基于位置的社交網(wǎng)站，用戶可以通過簽到共享自己的位置，每一次的操作都帶有時間戳.數(shù)據(jù)集中包括用戶軌跡和社交群組.

實驗遵循以下預處理程序：將評論或評分的存在視為用戶與商品互動，從而將顯性反饋的評分數(shù)據(jù)轉(zhuǎn)換為隱性反饋的交互行為數(shù)據(jù).使用時間戳確定序列的順序，并丟棄ML-1M中互動次數(shù)低于5和Gowalla中互動次數(shù)低于15的部分.將處理后的數(shù)據(jù)集的80%作為訓練集，同時將剩下的20%作為測試集.同時，將真實數(shù)據(jù)集中樣本視為正樣本，為增強數(shù)據(jù)集，在需要時通過隨機采樣生成負樣本.處理完的實驗數(shù)據(jù)集相關數(shù)據(jù)如表1所示.

表1 處理后數(shù)據(jù)情況說明Table 1 Description of the processed data

4.2 評價指標

本文使用召回率(Recall)和平均倒數(shù)排名(Mean Reciprocal Rank，MRR)作為評價指標，這兩個指標也廣泛用于評估其他推薦系統(tǒng)相關工作.

Recall@K：該指標表示用戶真實點擊的項目出現(xiàn)在推薦列表前K位的點擊序列個數(shù)占測試集中序列總數(shù)的比例.只關心其是否出現(xiàn)在推薦列表而不考慮其順序.這可以很好地模擬某些實際情況，絕對順序無關緊要，而不會突出顯示推薦.定義如公式(11)：

(11)

其中N表示測試數(shù)據(jù)的總數(shù)量，nhit表示命中的項目數(shù)量.

MRR@K：該指標表示用戶真實點擊項目在推薦列表中位置序號的倒數(shù)平均值，具體定義如公式(12).若用戶點擊項目沒有出現(xiàn)在推薦列表的前K位，MRR將結(jié)果為0.MRR在評價推薦列表質(zhì)量時會考慮物品的次序，是一個順序敏感的指標.

(12)

MRR是范圍[0,1]的歸一化分數(shù)，其值的增加反映了大多數(shù)“命中”將在推薦列表的排名位置中更高，表明相應推薦系統(tǒng)的性能更好.

4.3 參數(shù)設置

對于SETCNs模型，本文使用Adam優(yōu)化器進行訓練，每

個壓縮-激勵模塊的增長率(growth rate)k設為12，模塊的壓縮率(compression rate)c設為0.5，學習率(learning rate)初始化為1e-4,批量大小(batch size)設為32，dropout概率p設置為0.5，擴張率(dilation rate)d設為[1，2，4].項目的嵌入維度分別設為[16，32，64，128]，進行對比.

4.4 實驗對比

為了探究本文提出的模型效果，模型將與3種傳統(tǒng)推薦方法和3種基于循環(huán)神經(jīng)網(wǎng)絡的推薦方法分別在兩個常用數(shù)據(jù)集上進行實驗驗證.其中，3種傳統(tǒng)方法包括：POP、S-POP和FPMC[17]；3種基于循環(huán)神經(jīng)網(wǎng)絡的模型包括GRU4Rec、GRU4Rec+和NARM[18].

POP和S-POP分別推薦訓練集和當前會話中的前N個頻繁項目.

FPMC是一種綜合馬爾可夫鏈和矩陣分解的序列預測方法.

GRU4Rec是首次使用RNN對用戶序列進行建模的方法.

GRU4Rec+進一步提出了一種數(shù)據(jù)增強技術(shù)，通過改變輸入數(shù)據(jù)的數(shù)據(jù)分布，改進模型的性能.

NARM采用引入注意力機制的RNN捕獲用戶的主要興趣和序列行為.

實驗首先觀察項目嵌入維度參數(shù)的選取對本文方法的影響，如圖6和圖7所示，在兩個數(shù)據(jù)集上，都可以發(fā)現(xiàn)項目的嵌入維度的增加會導致評價指標的上升，考慮其中的原因是

圖6 不同嵌入維度在Movielens-1M數(shù)據(jù)集對實驗結(jié)果的影響Fig.6 Effects of different embedding dimensions on experimental results in Movielens-1M dataset

圖7 不同嵌入維度在Gowalla數(shù)據(jù)集對實驗結(jié)果的影響Fig.7 Effects of different embedding dimensions on experimental results in Gowalla dataset

向量的維度過低表示能力不夠，而更高的維度會帶有更多的

1http://files.grouplens.org/datasets/movielens/ml-1m.zip

2http://snap.stanford.edu/data/loc-gowalla.html

隱含信息.通過S-E模塊，模型在高維度的情況下可以更好地捕獲其中的信息，但維度的增加也會帶來相應的參數(shù)的增加和計算的開銷，這是需要在實際應用中進行衡量的問題.

以下的實驗結(jié)果以最終結(jié)果表現(xiàn)最佳的項目嵌入維度為128為準，具體的各項實驗結(jié)果對比如表2所示.

表2 實驗結(jié)果對比Table 2 Comparison of experimental results

從表2中可以得出結(jié)論，相對于傳統(tǒng)的基于流行度的算法，基于神經(jīng)網(wǎng)絡的方法GRU4Rec，GRU4Rec+，NARM和SETCNs在各項指標上都有較為明顯的提升，這是由于基于流行度的方法只考慮了個體的單獨點擊，忽略了用戶的興趣變化是一個時序相關的問題，沒有考慮過往項目對未來偏好指示的問題.

同時，SETCNs表現(xiàn)也要優(yōu)于FPMC方法，這表明傳統(tǒng)的基于馬爾可夫鏈的方法主要依賴的連續(xù)項目的獨立性假設是不現(xiàn)實的，F(xiàn)PMC方法主要只捕捉一階馬爾可夫關系，但用戶的偏好并非絕對連續(xù)，而是會受到各種因素的影響，產(chǎn)生間歇性的變化.

對比神經(jīng)網(wǎng)絡算法GRU4Rec和GRU4Rec+，SETCNs方法也有一定的提高，說明基于時序卷積網(wǎng)絡的方法可以處理更長期的序列.與NARM方法相比，本文的方法提高不多，這是因為NARM方法同樣采用注意力機制來捕獲主要目的，但本文依舊在效果上依舊有所超越，這是由于時序卷積的結(jié)構(gòu)決定了它可以獲得更好地感受野，將更多的序列項目引入推薦的決策中.

另外，如圖8所示，通過對比SETCNs方法和GRU4Rec+方法的損失函數(shù)曲線變化圖發(fā)現(xiàn)，SETCNs的loss值下降到穩(wěn)定值的速度比GRU4Rec+下降到穩(wěn)定值的速度更快，收斂性較好，表明SETCNs相對于傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡，訓練速度更快，且取得較好收斂效果.同時，與GRU4REC和NARM的對比也有類似的結(jié)論.因為在兩個數(shù)據(jù)集上獲取的結(jié)果類似，圖中只展示針對Movielens-1M數(shù)據(jù)集的訓練效果.

圖8 SETCNs方法與GRU4Rec+方法訓練損失下降曲線對比Fig.8 Comparison of SETCNs and GRU4Rec+ in loss decline curve

5 總 結(jié)

本文針對傳統(tǒng)推薦算法無法表示用戶興趣的動態(tài)變化，基于循環(huán)神經(jīng)網(wǎng)絡的推薦方法無法捕捉復雜的序列關系，長期依賴差的問題，提出了一種針對序列推薦的SETCNs模型.在該模型中，通過嵌入壓縮激勵模塊的改進時序卷積網(wǎng)絡來對序列時空特征進行識別，利用注意力機制加強了重點項目對推薦決策的影響.模型通過對用戶的興趣隨時間的演變進行序列建模，利用擴張卷積增大感受野，捕獲更多的序列關系，利用殘差連接減小反向傳播過程中的梯度消失問題，并綜合考慮了用戶的長期和短期偏好，為用戶提供個性化推薦.綜合實驗結(jié)果表明，所提出的算法優(yōu)于基線算法，有效提升了推薦系統(tǒng)的精度.