呂剛 張偉

摘 ?要：隨著互聯(lián)網(wǎng)上信息量呈指數(shù)增長，用戶從大量信息中挑選目標信息變成了一種復(fù)雜且耗時的作業(yè)。為用戶解決因信息量爆炸而不能快速獲得目標信息的方法就是構(gòu)建推薦系統(tǒng)。深度學(xué)習(xí)作為當(dāng)前熱門的研究話題，在許多領(lǐng)域都取得了突破性的成就。利用深度學(xué)習(xí)挖掘用戶和物品的隱含屬性，構(gòu)建用戶和物品的關(guān)系模型，可以提高個性化推薦的精確度。本文介紹了推薦系統(tǒng)和深度學(xué)習(xí)，分析了深度學(xué)習(xí)在推薦領(lǐng)域的應(yīng)用現(xiàn)狀并做出了展望。

關(guān)鍵詞：推薦系統(tǒng);深度學(xué)習(xí);協(xié)同過濾;內(nèi)容推薦

中圖分類號：TP301 ? ? 文獻標識碼：A

1 ? 引 言（Introduction）

以往，人們對自己的需求非常簡單明確，滿足他們的基本需求即可。例如在線購物時，商城展現(xiàn)出的精細化分類就能滿足用戶希望快速找到他們希望的物品要求。在如今的互聯(lián)網(wǎng)時代，人們在選購商品，挑選喜歡的音樂或者觀賞喜歡的電影時，原有的搜索引擎已經(jīng)滿足不了用戶的個性化需求。例如商城希望能夠在首頁就展示用戶偏好的物品，誘發(fā)用戶購買;或者當(dāng)用戶并未有明確目標，隨意瀏覽購物、電影、旅行等網(wǎng)站時，網(wǎng)站希望能夠為用戶推薦與他興趣相關(guān)聯(lián)的項目。個性化的推薦系統(tǒng)不僅為用戶個人定制出了屬于他們自己的興趣清單，還能增加用戶的黏性，提高網(wǎng)站的流量與效益。

近年來，由于芯片處理能力的大力加強，計算機硬件的造價成本降低以及機器學(xué)習(xí)和信息處理研究取得了顯著的成果，深度學(xué)習(xí)再次進入研究人員的視野并引領(lǐng)了機器學(xué)習(xí)朝著多方向發(fā)展。深度學(xué)習(xí)[1]在圖像識別，語言即時翻譯，汽車自動駕駛等領(lǐng)域得到了廣泛應(yīng)用并取得了一系列卓越的成果。例如科大訊飛翻譯機，特斯拉無人駕駛汽車橫穿美國，大疆無人機等。深度學(xué)習(xí)技術(shù)也已經(jīng)擴展到了推薦系統(tǒng)領(lǐng)域。

2 ?推薦系統(tǒng)概述（Overview of recommendation system）

如今，我們處于檢索和使用信息量迅速增加的時代，要從巨大的數(shù)據(jù)集中提取有用的信息，并且轉(zhuǎn)化為可使用的結(jié)構(gòu)，變得紛繁復(fù)雜。研究人員希望能有一種工具或者方法，能自動地為目標人群提供他們想要的信息，這就誕生了推薦系統(tǒng)。推薦系統(tǒng)可以根據(jù)用戶過去的歷史記錄和個人資料來判斷目標用戶喜歡該商品的程度，根據(jù)排名判斷是否為用戶推薦商品。目前已經(jīng)針對不同的應(yīng)用開發(fā)了許多推薦系統(tǒng)。推薦系統(tǒng)的核心部分就是推薦算法[2]，它主要分為三類：基于內(nèi)容的推薦、協(xié)同過濾推薦以及混合推薦。

基于內(nèi)容的推薦算法[3]，僅通過單個用戶的行為記錄和數(shù)據(jù)來向用戶推薦，即首先分析特定用戶喜愛的商品特征，以確定可以用來描述這些商品的偏好，這些首選項存儲在用戶配置文件中，其次是將每個項目屬性與用戶個人資料進行比較，以便僅將與用戶個人資料具有高度相似性的相關(guān)項目推薦給該特定用戶。常用的基于內(nèi)容的推薦應(yīng)用如網(wǎng)頁，新聞，文章和餐館之類的文檔。

協(xié)同過濾推薦算法深受各領(lǐng)域喜愛，因此是一種最常用的算法[4]。協(xié)同過濾推薦算法的應(yīng)用程序中包含了非常大的數(shù)據(jù)集，這里面記錄了用戶的歷史行為，比如用戶對商品的點擊率，用戶對商品的評分，用戶曾購買過該商品記錄等等。通過這些數(shù)據(jù)集，能夠預(yù)測出與用戶最相關(guān)聯(lián)的物品內(nèi)容并推薦給他。協(xié)同過濾可以進一步分為基于用戶協(xié)同過濾，基于項目協(xié)同過濾和基于模型的協(xié)同過濾。

基于用戶的協(xié)同過濾算法先找到和目標用戶愛好相似的用戶團體，然后從用戶團體中推薦目標用戶未接觸過的商品?；谖锲返膮f(xié)同過濾則給用戶推薦他們曾喜歡過的類似商品?；谀Ｐ偷膮f(xié)同過濾，是通過深層隱含關(guān)系建立用戶物品模型。例如矩陣分解，它將用戶和項目都表示成為潛在的矢量特征，投影到某個共享領(lǐng)域中，接著就能根據(jù)用戶的行為記錄建模為向量內(nèi)積。模型學(xué)習(xí)的方法還可以使用數(shù)據(jù)挖掘技術(shù)或機器學(xué)習(xí)技術(shù)來完成，比如奇異值分解、降維技術(shù)、聚類、決策樹和關(guān)聯(lián)規(guī)則等。

各種算法都有優(yōu)缺點?；谟脩舻膮f(xié)同過濾側(cè)重于對用戶基數(shù)小的團體進行推薦?；谖锲返膮f(xié)同過濾展現(xiàn)出的是用戶對自己歷史愛好的繼承，因此它的內(nèi)在含義是物品之間的聯(lián)系?；谀Ｐ偷膮f(xié)同過濾推薦技術(shù)無法使用整個數(shù)據(jù)集，但可以從數(shù)據(jù)集中生成模型，并根據(jù)此模型推薦給用戶，同時它又能夠很好地節(jié)省離線計算的內(nèi)存。協(xié)同過濾算法在進行推薦前會收集用戶的一些有關(guān)數(shù)據(jù)，例如網(wǎng)頁點擊數(shù)，視頻觀看時長，聽歌類型等，而有些用戶剛注冊，系統(tǒng)無法找到與他們匹配的數(shù)據(jù)，那么就產(chǎn)生了冷啟動問題。基于內(nèi)容的推薦，考慮的是物品的特征屬性，是通過物品之間的本質(zhì)屬性達到推薦目的。因此，與協(xié)同過濾推薦算法相比，基于內(nèi)容的推薦算法用戶間依賴性少，并且由于根據(jù)商品屬性進行推薦，那么它的可解釋性更強。各種推薦算法組成的混合推薦算法[5]可以彌補單一推薦算法的短板，達到揚長避短的效果。由于混合推薦系統(tǒng)能夠較好地發(fā)揮綜合能力，研究人員已將深度學(xué)習(xí)應(yīng)用到了混合推薦系統(tǒng)中。

3 ? 深度學(xué)習(xí)概述（Overview of deep learning）

深度學(xué)習(xí)源自人工神經(jīng)網(wǎng)絡(luò)，然后成為一門新學(xué)科[6]。深度學(xué)習(xí)與互聯(lián)網(wǎng)時代同步發(fā)展，互聯(lián)網(wǎng)的發(fā)展，使得世界各地的數(shù)據(jù)緊密地連在了一起，并且以驚人的速度遞增，提取數(shù)據(jù)中的有用信息具有難以估計的潛力，深度學(xué)習(xí)只需極短的時間就能夠快速準確地從這些數(shù)據(jù)中提取有用信息。深度學(xué)習(xí)是一個學(xué)習(xí)過程，它包括估計模型參數(shù)，以便學(xué)習(xí)到的模型可以執(zhí)行特定任務(wù)。傳統(tǒng)程序以線性方式實現(xiàn)數(shù)據(jù)構(gòu)建分析，它們雖然可以有效地解決許多簡單或受約束的問題，但是它們的建模和表示性有限。深度學(xué)習(xí)是由形成層次結(jié)構(gòu)的幾層處理組成的，第一層處理原始數(shù)據(jù)輸入，并將其作為輸出傳遞到下一層，第二層通過包含的附加信息來處理前一層的信息，并傳遞其結(jié)果，下一層獲取第二層的信息，以此類推，通過對每層數(shù)據(jù)的學(xué)習(xí)，深度學(xué)習(xí)能夠發(fā)現(xiàn)數(shù)據(jù)之間的聯(lián)系和規(guī)律。

對于結(jié)構(gòu)化的數(shù)據(jù)，傳統(tǒng)的機器學(xué)習(xí)就能夠處理得很好，但是對于非結(jié)構(gòu)化的數(shù)據(jù)，機器難以理解。比如人類可以輕松地判別出一張圖片里的男性和女性，但是計算機卻不能有效區(qū)分出來，隨著深度學(xué)習(xí)的研究，它使計算機能夠在這方面表現(xiàn)強勁。對于機器學(xué)習(xí)使用手工特征提取而言，深度學(xué)習(xí)的特征是自動學(xué)習(xí)的，它能夠自動學(xué)習(xí)用戶的任務(wù)，并且學(xué)習(xí)的過程能夠在數(shù)據(jù)變化中保持健壯性。深度學(xué)習(xí)是一種數(shù)據(jù)驅(qū)動的技術(shù)，它具有高度的可擴展性。在傳統(tǒng)的機器學(xué)習(xí)中，對于常規(guī)的數(shù)據(jù)量而言，它的性能表現(xiàn)良好，但當(dāng)數(shù)據(jù)不斷地增加時，機器學(xué)習(xí)的性能就顯得疲軟了，但深度學(xué)習(xí)卻能夠處理較多的數(shù)據(jù)量。

一般而言，深度架構(gòu)模型由多層組成，可以學(xué)習(xí)從低級功能到高級功能的層次結(jié)構(gòu)。深度學(xué)習(xí)架構(gòu)，根據(jù)體系結(jié)構(gòu)和技術(shù)的使用方式，可分為生成性深層體系結(jié)構(gòu)和判別性深層結(jié)構(gòu)兩類，前者意在表現(xiàn)數(shù)據(jù)的高階相關(guān)屬性，以進行模式分析或展現(xiàn)數(shù)據(jù)的聯(lián)合統(tǒng)計分布，后者意在直接為模式分類提供判別力。

4 ? 基于深度學(xué)習(xí)的推薦系統(tǒng)應(yīng)用（Application of recommendation system based on deep learning）

深度學(xué)習(xí)在推薦系統(tǒng)中的應(yīng)用最早是由Hinton和他學(xué)生Salakhutdinov發(fā)表的一篇關(guān)于受限玻爾茲曼機應(yīng)用于推薦系統(tǒng)的論文[7]，后來不斷地涌現(xiàn)出學(xué)者及企業(yè)員工將深度學(xué)習(xí)應(yīng)用到推薦業(yè)務(wù)中去。深度學(xué)習(xí)在推薦系統(tǒng)中的應(yīng)用可分為：深度學(xué)習(xí)分別在基于內(nèi)容，協(xié)同過濾和混合推薦系統(tǒng)中的應(yīng)用。

4.1 ? 深度學(xué)習(xí)在基于內(nèi)容推薦系統(tǒng)中的應(yīng)用

在協(xié)同過濾推薦算法中，人們僅依靠用戶的評分對用戶和物品建模，而忽視了項目中的大量評論信息，合理利用這些評論信息則可以提高推薦質(zhì)量。文獻[8]使用評論信息，通過稱為“深度合作神經(jīng)網(wǎng)絡(luò)”的深度神經(jīng)網(wǎng)絡(luò)模型對用戶和物品共同建模。它通過利用文本評論來學(xué)習(xí)用戶和商品的潛在隱性因素，從而使學(xué)習(xí)的因素可以估計用戶給出的評分。該模型由兩個并排的神經(jīng)網(wǎng)絡(luò)組成，彼此耦合，頂部有一個共享層，這個共享層是由矩陣分解技術(shù)推動的，以使用戶和項目的潛在因素互通。作者提出的該模型是第一個使用評論聯(lián)合表示用戶和物品的深度模型，該模型具有可伸縮性并且適用于一些需要在線連續(xù)更新數(shù)據(jù)的方案模型。文獻[8]的另一個特點是，模型使用預(yù)訓(xùn)練的詞嵌入技術(shù)表示評論文本，以從評論中提取語義信息。實驗結(jié)果顯示，該表示形式中評論的語義和情感態(tài)度可以提高評分預(yù)測的準確性。作者還進一步驗證了該模型是否能解決冷啟動問題。在實驗數(shù)據(jù)集上，作者根據(jù)用戶和項目的評論數(shù)對其進行分類，并分別為用戶和項目組繪制均方誤差的減少量。實驗結(jié)果顯示，全部數(shù)據(jù)集中，均方差減少量都是正的，并且該模型可以在幾乎沒有任何評分的所有用戶和項目組上實現(xiàn)均方差減少。該模型的一個更重要的優(yōu)點是，對于評分較低的組，均方誤差減少的比例更高。這表明該模型可以緩解稀疏性問題并有助于解決冷啟動問題。對于評分等級較低的用戶或項目，該模型的均方誤差降低幅度更大，它表示評論文本可能是有價值的信息，尤其是當(dāng)我們掌握的用戶或項目的信息有限時。

文獻[9]開發(fā)了一種使用動態(tài)關(guān)注深度模型的新聞文章推薦模型，以解決編輯為沒有明確選擇標準的目標用戶推薦新聞文章的問題。新聞推薦的這一階段是針對最終向目標用戶進行新聞推薦之前的一個步驟，在此階段，編輯者需要從不斷變化的各種新聞文章庫中選擇新聞文章的子集。文獻[9]通過自動表示學(xué)習(xí)及其與元數(shù)據(jù)的交互來學(xué)習(xí)編輯者對動態(tài)文章的選擇標準，以此自動地從資源庫中選擇文章的子集。由于編輯者的選擇標準不明確并且編輯者的偏好也可能不同，那么這種問題就不能通過常規(guī)的詞袋方法直接解決。因此，深度學(xué)習(xí)注意力模型用于生成復(fù)雜的功能來表示文章樣式，然后對編輯者是否喜歡該文章進行分類。

4.2 ? 深度學(xué)習(xí)在基于協(xié)同過濾的推薦系統(tǒng)中的應(yīng)用

文獻[10]改進了變分自動編碼器，用于對隱式反饋數(shù)據(jù)進行協(xié)同過濾。以往協(xié)同過濾的研究模型主要使用的是線性因子模型，這種模型建模能力有限，文獻[10]提出了一種具有神經(jīng)網(wǎng)絡(luò)參數(shù)化的多項式似然函數(shù)的生成模型，并使用貝葉斯推理進行參數(shù)估計，這種非線性的概率模型建模能力大大加強，并且結(jié)果顯示多項式似然函數(shù)特別適合對用戶項隱式反饋數(shù)據(jù)進行建模。在改進變分自動編碼器的方法中，作者針對學(xué)習(xí)目標引入了不同的正則化參數(shù)，并使用退火算法調(diào)參。經(jīng)過不同的數(shù)據(jù)集，實驗后得出，改進的方法較最常用的幾種推薦方法有了明顯的優(yōu)勢。在擴展實驗中，作者將潛在性協(xié)同過濾文獻中的多項式似然與其他常用似然函數(shù)進行了比較，實驗結(jié)果表明前者的效果極大地優(yōu)于后者。

文獻[11]提出了一種具有隱式反饋的協(xié)同排名的新神經(jīng)架構(gòu)，稱作潛在關(guān)系度量學(xué)習(xí)模型（LRML），它是一種基于注意力的新型記憶增強神經(jīng)體系結(jié)構(gòu)，這是一種新穎的推薦度量方法。該模型使用潛在關(guān)系向量對度量空間中用戶與項目之間的潛在關(guān)系進行建模，有助于減輕現(xiàn)有度量學(xué)習(xí)方法的潛在幾何不靈活性，實現(xiàn)更好的性能，而且還可以更大程度的提高建模能力，從而使模型可以擴展到更多的交互。為了實現(xiàn)這個模型，作者采用了增強的內(nèi)存模塊，并學(xué)習(xí)如何參與這些內(nèi)存模塊來構(gòu)建內(nèi)存關(guān)系?；趦?nèi)存的注意力模塊由用戶-項目交互控制，使學(xué)習(xí)到的關(guān)系向量特定于每個用戶項對。實驗結(jié)果顯示LRML優(yōu)于其他度量學(xué)習(xí)模型，并且LRML具有揭示隱式數(shù)據(jù)集中的隱藏關(guān)系結(jié)構(gòu)的能力。

4.3 ? 深度學(xué)習(xí)在混合推薦系統(tǒng)中的應(yīng)用

在協(xié)同過濾中，造成推薦結(jié)果不精準的主要原因之一是用戶對項目評分數(shù)據(jù)的稀疏性，而混合推薦算法卻能夠很好的解決這個問題。最近興起的基于文檔建模的混合推薦方法，利用項目的描述文檔，例如評論，摘要或概要，以提高評分預(yù)測的準確性。為了利用推薦系統(tǒng)中的項目描述文檔，文檔建模方法（例如潛在狄利克雷分配（LDA）和堆疊降噪自動編碼器（SDAE）被用于混合推薦模型。但是，這存在兩個缺陷：（1）文檔建模使用的是詞袋模型，忽略了上下文信息例如句子之間的關(guān)系。（2）在基于文檔和項目的潛在因子建模中未明確地考慮高斯噪聲。文獻[12]為了解決第一個缺陷，作者開發(fā)了一個文檔上下文感知模型：卷積矩陣分解（ConvMF）。它利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）能夠有效地捕獲文檔的上下文信息這一特點，提出了一種基于文檔上下文感知混合推薦方法，該方法將CNN集成到基于矩陣的協(xié)同過濾中，以將CNN應(yīng)用于推薦任務(wù)。這樣即使數(shù)據(jù)集非常稀疏，ConvMF仍可以準確地預(yù)測未知評級。在以上的基礎(chǔ)上，為了解決缺陷二，作者開發(fā)了健壯的卷積矩陣分解模型（R-ConvMF），通過引入新的項目潛在因素建模方法，提出了一種健壯的文檔上下文感知混合方法，為了明確地以不同的方式考慮高斯噪聲，新的潛在因子建模方法從概率角度使用帶有說明文件的項的評級數(shù)，因此，通過更準確地構(gòu)造項目的潛在因子，作者使初步模型不僅對稀疏而且對偏斜的數(shù)據(jù)集也更加健壯。結(jié)果顯示，該模型有效地解決了稀疏性問題。另外，作者提出的方法僅使用用戶到項目的評級數(shù)據(jù)和項目的描述文件，因此該方法可以實時的應(yīng)用于互聯(lián)網(wǎng)公司（例如淘寶和豆瓣等）的推薦系統(tǒng)。

在新聞推薦中，用戶都希望獲得最新資訊，因此他們的關(guān)注點都在新聞內(nèi)容的新鮮度上面，但是用戶的關(guān)注方向不是一成不變的，他們可能呈現(xiàn)出階段性的變化，比如常關(guān)注籃球咨詢的NBA球迷，突然對足球產(chǎn)生了興趣。因此，新聞推薦中考慮用戶的動態(tài)變化變得至關(guān)重要。文獻[13]提出了一種用于新聞推薦的深層神經(jīng)體系結(jié)構(gòu)，利用用戶與項目的交互，以及新聞（項目）的內(nèi)容來對用戶和項目的潛在特征進行建模。論文中，作者僅關(guān)注用戶否閱讀了給定的文章，以及用戶閱讀文章的順序這些隱式反饋（閱讀順序則反映了用戶的興趣度）。為了方便對用戶的潛在特征進行建模，作者使用雙向LSTM[14]，從用戶閱讀文章序列中獲取用戶隨著時間變化的靜態(tài)和動態(tài)興趣。然后將用戶的閱讀歷史記錄作為LSTM的輸入，使用神經(jīng)網(wǎng)絡(luò)中的注意力機制獲得用戶的興趣程度，使用深度結(jié)構(gòu)化語義模型（DSSM）捕獲用戶和項目之間的相似性，最后使用用戶和項目之間的潛在向量計算內(nèi)積，向用戶推薦新聞。結(jié)果顯示，模型解決了用戶閱讀興趣變化，多樣化和冷啟動的問題。

5 ? 結(jié)論（Conclusion）

綜上所述，基于深度學(xué)習(xí)的推薦算法在個新性推薦領(lǐng)域展現(xiàn)出了優(yōu)異的成果，但是稀疏性和冷啟動仍存在改善的空間，預(yù)計未來能夠誕生更多的深度學(xué)習(xí)推薦模型。開發(fā)人員也正研究用于描述文檔的卷積自動編碼器，當(dāng)評分數(shù)據(jù)極為稀疏時，自動編碼器的這種無監(jiān)督預(yù)訓(xùn)練會大大提高推薦的性能。

參考文獻（References）

[1] Lecun Y，Bengio Y，Hinton G.Deep learning[J].Nature，2015，

521（7553）：436-444.

[2] Adomavicius G，Tuzhilin.Towards the Next Generation of Recommender Systems：A Survey of the State-of-the-Art and Possible Extensions[J].IEEE Transactions on Knowledge and Data Engineering，2005，17（6）：734-749.

[3] Mooney R J，Roy L.Content-based book recommending using learning for text categorization[C].Proceedings of the fifth ACM conference on Digital libraries，2000：195-204.

[4] Breese J S，Heckerman D，Kadie C.Empirical analysis of predictive algorithms for collaborative filtering[C].Proceedings of the Fourteenth conference on Uncertainty in artificial intelligence，1998：43-52.

[5] Balabanovic M，Shoham Y.Fab：content-based，collaborative recommendation[J].Communications of the ACM，1997，40（3）：66-72.

[6] Jurgen S.Deep learning in neural networks：An overview[J].Neural networksm，2015（61）：85-117.

[7] Ruslan S，Andriy M，Geoffrey H.Restricted Boltzmann Machines for Collaborative Filtering[C].Proceedings of the 24th International Conference on Machine Learning，2007：791-798.

[8] Lei Z，Vahid N，Philip S.Joint Deep Modeling of Users and Items Using Reviews for Recommendation[C].Proceedings of the Tenth ACM International Conference on Web Search and Data Mining，2017：425-434.

[9] Xuejian W，Lantao Y，Kan R，et al.Dynamic Attention Deep Model for Article Recommendation by Learning Human Editors' Demonstration[C].Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining，2017：2051-2059.

[10] Dawen L，Rahul G K，Matthew D H，et al.Variational Autoencoders for Collaborative Filtering[C].Proceedings of the 2018 World Wide Web Conference，2018：689-698.

[11] Yi Tay，Luu A T，Siu C H.Latent relational metric learning via memory-based attention for collaborative ranking[C].Proceedings of the 2018 World Wide Web Conference，2018：729-739.

[12] Donghyun K，Chanyoung P，Jinoh O，et al.Deep hybrid recommender systems via exploiting document context and statistics of items[J].Information Sciences，2017（417）：72-87.

[13] Vaibhav K，Dhruv K，Shashank G，et al.Deep Neural Architecture for News Recommendation[C].in Working Notes of the 8th International Conference of the CLEF Initiative，2017：142-162.

[14] Mike S，Kuldip K P.Bidirectional recurrent neural networks[J].IEEE Transactions on Signal Processing，1997，45（11）：

2673-2681.

作者簡介：

呂 ? 剛（1992-），男，碩士生.研究領(lǐng)域：推薦系統(tǒng).

張 ? 偉（1964-），女，碩士，副教授.研究領(lǐng)域：數(shù)據(jù)挖掘.