胡 琪,朱定局,吳惠粦,巫麗紅

1(華南師范大學(xué) 計(jì)算機(jī)學(xué)院,廣州 510630)

2(廣州國(guó)家現(xiàn)代農(nóng)業(yè)產(chǎn)業(yè)科技創(chuàng)新中心,廣州 510030)

3(廣東農(nóng)工商職業(yè)技術(shù)學(xué)院,廣州 510507)

1 引言

互聯(lián)網(wǎng)信息服務(wù)不斷擴(kuò)展,為用戶提供更多的信息服務(wù),也加快數(shù)據(jù)規(guī)模的增長(zhǎng).互聯(lián)網(wǎng)數(shù)據(jù)包括用戶個(gè)人信息,瀏覽記錄、消費(fèi)歷史、項(xiàng)目屬性等數(shù)據(jù),如果不對(duì)這些數(shù)據(jù)加以利用,會(huì)極大地浪費(fèi)存儲(chǔ)資源,造成“信息過載”問題[1].推薦系統(tǒng)技術(shù)能夠挖掘數(shù)據(jù)隱含價(jià)值,協(xié)同用戶數(shù)據(jù)和項(xiàng)目屬性捕捉客戶的需求,提供個(gè)性化信息服務(wù).讓用戶獲取所需要的信息,從而提高數(shù)據(jù)的有效利用率.推薦系統(tǒng)在緩解數(shù)據(jù)過載的問題中發(fā)揮著重要作用,能夠協(xié)助用戶發(fā)現(xiàn)潛在的興趣[2],緩解數(shù)據(jù)過量導(dǎo)致用戶無法發(fā)現(xiàn)自己需要的信息.

推薦系統(tǒng)已經(jīng)成為許多電子商務(wù)和多媒體平臺(tái)的內(nèi)核,個(gè)性化推薦服務(wù)能夠幫助平臺(tái)吸引用戶的注意力,提高用戶訪問量.推薦系統(tǒng)為網(wǎng)絡(luò)平臺(tái)的發(fā)展提供源源不斷的動(dòng)力,其商業(yè)價(jià)值也引起工業(yè)界和學(xué)術(shù)界的關(guān)注.深度學(xué)習(xí)作為一項(xiàng)熱門技術(shù),已經(jīng)在計(jì)算機(jī)視覺、自然語言處理等多個(gè)領(lǐng)域展現(xiàn)出無限潛力,也為推薦系統(tǒng)提供了新的方法[3].憑借深度學(xué)習(xí)技術(shù)的強(qiáng)大表征能力,學(xué)習(xí)用戶和項(xiàng)目的隱向量表示,挖掘用戶的歷史行為數(shù)據(jù)、商品的多樣化數(shù)據(jù)以及上下文場(chǎng)景信息,捕獲用戶潛在偏好,向用戶生成更加精確的個(gè)性化推薦列表.

本文主要綜述推薦系統(tǒng)的發(fā)展脈絡(luò),總結(jié)傳統(tǒng)的推薦算法的優(yōu)缺點(diǎn),分析深度學(xué)習(xí)技術(shù)在推薦系統(tǒng)中的前沿應(yīng)用,并且展望深度學(xué)習(xí)推薦算法未來研究方向.

2 傳統(tǒng)推薦算法

2.1 協(xié)同過濾

協(xié)同過濾[4]是早期使用最為廣泛的推薦算法,核心思想是綜合用戶和項(xiàng)目顯式反饋信息,篩選出目標(biāo)用戶可能感興趣的項(xiàng)目進(jìn)行推薦.協(xié)同過濾算法主要類型可分為基于用戶的協(xié)同過濾和基于物品的協(xié)同過濾,兩種類型的算法都需要基于構(gòu)建的用戶和項(xiàng)目的二元共現(xiàn)矩陣,協(xié)同整個(gè)矩陣數(shù)據(jù)去預(yù)測(cè)用戶對(duì)項(xiàng)目的評(píng)分.基于用戶的協(xié)同過濾,需要計(jì)算用戶之間的相似度,找到與目標(biāo)用戶類似的用戶,加權(quán)求和相似用戶的評(píng)分作為目標(biāo)用戶對(duì)項(xiàng)目的預(yù)測(cè)評(píng)分,對(duì)評(píng)分排序生成推薦項(xiàng)目列表.2003年,Amazon 團(tuán)隊(duì)[5]發(fā)表關(guān)于協(xié)同過濾的論文,介紹基于物品的協(xié)同過濾在商品推薦服務(wù)中的應(yīng)用.該算法基于共現(xiàn)矩陣,找到目標(biāo)用戶評(píng)價(jià)高的物品,利用物品向量計(jì)算物品之間的相似度,最終將與高評(píng)分物品的類似物品作為推薦列表的結(jié)果.協(xié)同過濾算法具備可解釋性,能夠發(fā)掘出用戶新的興趣點(diǎn),但隨著用戶和物品的規(guī)模增大,共現(xiàn)矩陣數(shù)據(jù)會(huì)變得更加稀疏,計(jì)算相似度時(shí)準(zhǔn)確率會(huì)降低,影響算法實(shí)際效果.且推薦結(jié)果的頭部效應(yīng)明顯,評(píng)分高的受歡迎物品會(huì)多次推薦,而評(píng)分信息少的新物品較少推薦,算法泛化能力較差.

2.2 矩陣分解

2006年,矩陣分解[6]算法在用戶評(píng)分預(yù)測(cè)任務(wù)中表現(xiàn)出色,縮小預(yù)測(cè)評(píng)分與用戶真實(shí)評(píng)分的誤差.算法主要思想是通過分解共現(xiàn)矩陣,為用戶和項(xiàng)目分別生成一個(gè)隱向量,使用隱向量表示用戶的興趣和項(xiàng)目的屬性,用于挖掘用戶與項(xiàng)目之間深層次潛在關(guān)系,從而提高預(yù)測(cè)準(zhǔn)確性.矩陣分解算法通過使用奇異值分解(SVD)、特征根結(jié)構(gòu)分解(ED)等方法分解共現(xiàn)矩陣分別得到用戶隱向量pu和物品的隱向量qi,用戶向量與項(xiàng)目向量間的點(diǎn)積為用戶對(duì)項(xiàng)目的預(yù)測(cè)評(píng)分,物品預(yù)測(cè)值和真實(shí)值之差作為損失函數(shù),如式(1):

其中,rui為用戶u對(duì)物品i真實(shí)評(píng)分標(biāo)簽,pu與qi分別為用戶和物品向量,pu與qi的點(diǎn)積作為用戶u對(duì)物品i的預(yù)測(cè)評(píng)分.使用梯度下降算法訓(xùn)練模型,加入正則化項(xiàng)防止過擬合.相較于協(xié)同過濾算法,矩陣分解泛化能力更強(qiáng),緩解數(shù)據(jù)稀疏問題.空間復(fù)雜度更低,只需保存用戶和項(xiàng)目向量.矩陣分解算法分解得出的向量隱含用戶信息和項(xiàng)目信息,但隱向量缺乏可解釋性.矩陣分解僅利用用戶與項(xiàng)目的評(píng)分信息,沒有使用其他相關(guān)特征信息,損失了有用信息,且無法有效解決冷啟動(dòng)問題.

2.3 邏輯回歸模型

協(xié)同過濾和矩陣分解算法只利用用戶與項(xiàng)目的交互信息,而邏輯回歸(logistic regression,LR)[7]模型能融合用戶畫像特征、物品屬性、上下文信息,將特征轉(zhuǎn)化為數(shù)值向量,輸入到網(wǎng)絡(luò)中訓(xùn)練,學(xué)習(xí)各個(gè)特征的權(quán)重,輸出層預(yù)測(cè)樣本為正的概率.邏輯回歸模型有益于并行化計(jì)算,模型較為簡(jiǎn)單易于部署而廣泛應(yīng)用,但表征能力有限,沒有進(jìn)行多特征交叉組合,特征篩選,影響預(yù)測(cè)準(zhǔn)確性.2017年,阿里巴巴團(tuán)隊(duì)[8]提出混合邏輯回歸模型(mixed logistic regression,MLR),由于傳統(tǒng)的邏輯回歸模型表達(dá)能力有限,無法擬合復(fù)雜非線性表達(dá)式,MLR 模型吸收“分而治之”的思想,將特征空間分成幾個(gè)區(qū)域,在每個(gè)區(qū)域訓(xùn)練一個(gè)線性模型,將不同區(qū)域的線性模型結(jié)果進(jìn)行加權(quán)求和作為最終的輸出結(jié)果.只要MLR 模型具有足夠的分割區(qū)域,可以擬合任意非線性函數(shù).相較于傳統(tǒng)的LR 模型,MLR 模型可以擴(kuò)展到大量樣本和高維特征,在稀疏數(shù)據(jù)中學(xué)習(xí)數(shù)據(jù)的非線性表示.

2.4 因子分解機(jī)模型

2010年,Rendle[9]提出因子分解機(jī)模型,在邏輯回歸的基礎(chǔ)上,加入二階交叉特征組合.FM 算法為每一個(gè)特征引入了一個(gè)具有低維稠密的隱向量特征,并使用向量特征的內(nèi)積作為特征交叉的權(quán)重,如式(2).即使兩個(gè)特征共同存在的數(shù)據(jù)較少,也可以衡量?jī)烧咧g的相關(guān)性,從而緩解了數(shù)據(jù)稀疏所導(dǎo)致的難以計(jì)算特征交互的問題.相較于邏輯回歸模型,FM 模型表達(dá)能力更強(qiáng).但受限于組合爆炸問題,導(dǎo)致特征組合無法擴(kuò)展到三階及以上.

其中,w0為全局偏置,wi表示第i個(gè)特征的權(quán)重,為特征隱向量vivj的內(nèi)積,內(nèi)積值作為特征交叉的權(quán)重,最終預(yù)測(cè)值y?(x)為一階特征與二階交叉特征求和.在FM 模型基礎(chǔ)上,FFM 模型[10]把相同性質(zhì)的特征歸為同一個(gè)域,細(xì)化特征組合的表示.每個(gè)隱向量對(duì)應(yīng)一個(gè)域,當(dāng)兩個(gè)特征xi和xi+1組合時(shí),用特征對(duì)應(yīng)域的隱向量?jī)?nèi)積作為權(quán)重.FFM 模型精細(xì)化表示特征組合,同時(shí)也擴(kuò)大了訓(xùn)練參數(shù)量,增加了過擬合的風(fēng)險(xiǎn).

2.5 GBDT+LR 組合模型

2014年,Facebook 團(tuán)隊(duì)[11]將梯度提升決策樹與邏輯回歸結(jié)合起來,使用組合模型完成推薦任務(wù),模型結(jié)構(gòu)如圖1所示.該模型的主要思想是使用梯度提升決策樹進(jìn)行自動(dòng)化特征工程,提取重要特征和進(jìn)行特征組合,樹的最后一層葉節(jié)點(diǎn)生成新的離散特征,作為邏輯回歸模型的輸入據(jù)經(jīng)過激活函數(shù)后輸出預(yù)測(cè)結(jié)果.該組合模型的提出,推進(jìn)了特征工程模型化進(jìn)程,能夠減少人工進(jìn)行特征組合和特征篩選的工作量,實(shí)現(xiàn)模型端到端訓(xùn)練.

圖1 GBDT+LR 組合模型結(jié)構(gòu)

總的來說,傳統(tǒng)推薦算法種類繁多,具有不同的優(yōu)勢(shì),需要結(jié)合實(shí)際的推薦場(chǎng)景加以靈活運(yùn)用,表1 列出各個(gè)算法的優(yōu)勢(shì)和存在的劣勢(shì).

表1 傳統(tǒng)推薦算法對(duì)比

3 深度學(xué)習(xí)技術(shù)

深度學(xué)習(xí)技術(shù)已經(jīng)在人工智能領(lǐng)域取得很多研究成果,深度學(xué)習(xí)與推薦系統(tǒng)相結(jié)合,能夠緩解傳統(tǒng)推薦模型表達(dá)能力不足的問題.深度學(xué)習(xí)的表征能力更強(qiáng),需要大量數(shù)據(jù)訓(xùn)練模型,能夠緩解數(shù)據(jù)規(guī)模大和數(shù)據(jù)稀疏問題.深度學(xué)習(xí)的基本結(jié)構(gòu)有:多層感知機(jī)、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、注意力機(jī)制等.

3.1 多層感知機(jī)

多層感知機(jī)是前饋結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò),數(shù)據(jù)通過輸入層,經(jīng)過多個(gè)隱藏層,匯入輸出層計(jì)算最終結(jié)果,網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示,利用BP 反向傳播算法來監(jiān)督訓(xùn)練神經(jīng)網(wǎng)絡(luò),調(diào)整每層神經(jīng)元的權(quán)重,擬合非線性函數(shù),縮小預(yù)測(cè)值與真實(shí)值的誤差.多層感知機(jī)在推薦系統(tǒng)中常用于挖掘高階特征交叉[12],學(xué)習(xí)潛在數(shù)據(jù)模式.

圖2 多層感知機(jī)結(jié)構(gòu)

3.2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)CNN 是模仿生物視覺系統(tǒng)構(gòu)建的網(wǎng)絡(luò)結(jié)構(gòu)[13],使用卷積操作處理二維數(shù)據(jù)特征,在計(jì)算機(jī)視覺領(lǐng)域應(yīng)用廣泛.CNN 中的卷積運(yùn)算的參數(shù)共享減少了模型中需要學(xué)習(xí)的參數(shù)數(shù)量,相較于全連接神經(jīng)網(wǎng)絡(luò)計(jì)算效率更高.在推薦系統(tǒng)中卷積神經(jīng)網(wǎng)絡(luò)主要用于提取視覺特征、文本特征,融合用戶畫像特征,從更多方面捕獲用戶偏好,常應(yīng)用于圖片推薦、新聞推薦、多模態(tài)推薦等場(chǎng)景.

3.3 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)RNN 是一種常用于處理時(shí)間序列數(shù)據(jù)的深度網(wǎng)絡(luò)結(jié)構(gòu),結(jié)構(gòu)如圖3所示.RNN 不僅能夠進(jìn)行前饋計(jì)算,且能夠保持上個(gè)時(shí)刻的信息,利用歷史狀態(tài)數(shù)據(jù)和當(dāng)前狀態(tài)預(yù)測(cè)輸出[14],因此可以處理文本和音頻等序列數(shù)據(jù).

圖3 循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

為了解決時(shí)間間隔過長(zhǎng)導(dǎo)致的信息流失問題和梯度消失與爆炸問題,構(gòu)建出新的變體長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)[15]和門控循環(huán)單元(GRU)[16].在推薦系統(tǒng)中,循環(huán)神經(jīng)網(wǎng)絡(luò)可用在基于會(huì)話推薦,基于用戶當(dāng)前會(huì)話行為,學(xué)習(xí)用戶的興趣遷移過程,預(yù)測(cè)用戶下一個(gè)可能交互的項(xiàng)目.

3.4 注意力機(jī)制

注意力機(jī)制是一種模仿人類視覺的局部信號(hào)處理機(jī)制,人在觀察事物過程中通常關(guān)注于部分重要信息,減少對(duì)無關(guān)信息的注意力,從而快速做出判斷.注意力機(jī)制幫助推薦模型選擇更有效的特征,讓模型關(guān)注于更重要信息,減小數(shù)據(jù)噪聲對(duì)結(jié)果的影響[17].深度學(xué)習(xí)的訓(xùn)練過程常被看做“黑盒”,整個(gè)訓(xùn)練過程無法預(yù)知,輸出的結(jié)果無法提供很好的解釋性.深度推薦模型與注意力機(jī)制結(jié)合,有利于增強(qiáng)模型的可解釋性,對(duì)各種特征賦予不同的注意力分?jǐn)?shù),增強(qiáng)有效特征的影響力,抑制數(shù)據(jù)噪聲,提升模型的推薦準(zhǔn)確性.

4 深度學(xué)習(xí)在推薦系統(tǒng)中的應(yīng)用

傳統(tǒng)的推薦算法結(jié)構(gòu)簡(jiǎn)單,容易實(shí)現(xiàn),可以靈活運(yùn)用于推薦任務(wù).然而在大數(shù)據(jù)的背景下,傳統(tǒng)推薦模型能力有限,泛化能力較差,無法很好應(yīng)用在大規(guī)模數(shù)據(jù)和數(shù)據(jù)稀疏場(chǎng)景.深度學(xué)習(xí)技術(shù)有助于推薦系統(tǒng)應(yīng)用于大規(guī)模數(shù)據(jù)場(chǎng)景中,深度學(xué)習(xí)深層復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)需要大量數(shù)據(jù)訓(xùn)練整個(gè)模型,稀疏特征可以借由神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換為蘊(yùn)含豐富信息的低維度稠密向量.復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)能夠擬合任意非線性函數(shù),挖掘數(shù)據(jù)深層次的潛在模式.深度學(xué)習(xí)模型可擴(kuò)展性強(qiáng),能融合多種異構(gòu)數(shù)據(jù),從多方面捕獲用戶興趣,提高模型的預(yù)測(cè)準(zhǔn)確度.本節(jié)主要分析深度學(xué)習(xí)在推薦場(chǎng)景中的應(yīng)用.

4.1 嵌入技術(shù)在推薦系統(tǒng)中的應(yīng)用

推薦系統(tǒng)通常使用嵌入(embedding)技術(shù)用低維度稠密向量去表征一個(gè)對(duì)象,該對(duì)象可以是一個(gè)項(xiàng)目、一個(gè)用戶等,同時(shí)向量之間的距離隱含項(xiàng)目與項(xiàng)目之間、用戶與用戶之間、用戶與項(xiàng)目之間的關(guān)系.嵌入技術(shù)已經(jīng)成為推薦系統(tǒng)中必不可少的環(huán)節(jié),主要處理稀疏特征,融合大量信息形成一個(gè)有價(jià)值的低維向量,輸入到神經(jīng)網(wǎng)絡(luò)中訓(xùn)練模型.也可以利用向量之間的關(guān)系,作為召回策略,篩選出與用戶興趣匹配的候選項(xiàng)目.

Grbovic 等人[18]在房屋短租平臺(tái)應(yīng)用嵌入方法表征用戶和推薦列表.在Skip-GraM的基礎(chǔ)上,針對(duì)該平臺(tái)在搜索排序和推薦實(shí)時(shí)個(gè)性化中設(shè)計(jì)了列表和用戶的嵌入向量.用戶的搜索會(huì)話中的數(shù)據(jù)作為類似序列信息,使用詞向量[14]方式學(xué)習(xí)每個(gè)房源的嵌入向量,有效表征房源多個(gè)特征,結(jié)合實(shí)際業(yè)務(wù)場(chǎng)景,向用戶精確推薦優(yōu)質(zhì)房源.

阿里巴巴團(tuán)隊(duì)[19]利用嵌入技術(shù)用于學(xué)習(xí)ID 類型數(shù)據(jù)的表示,用于電商場(chǎng)景的推薦,包括用戶ID、商品ID、種類ID 等,傳統(tǒng)的獨(dú)熱編碼方式會(huì)導(dǎo)致數(shù)據(jù)過于稀疏,且無法表示對(duì)象之間的潛在關(guān)系,在電子商務(wù)平臺(tái)中,ID 類數(shù)據(jù)非常稀疏,動(dòng)輒達(dá)到幾億維度,需要使用低維度的向量高效表達(dá)ID 數(shù)據(jù).該文基于Item2Vec[20]提出基于嵌入的框架,通過采集用戶行為的ID 序列,結(jié)合ID 之間的結(jié)構(gòu)化的聯(lián)系,能夠?yàn)椴煌愋偷腎D 學(xué)習(xí)一個(gè)低維向量用以表示.在此基礎(chǔ)上,阿里巴巴團(tuán)隊(duì)[21]提出基于圖的嵌入方法用于推薦系統(tǒng),為了解決阿里電商數(shù)億規(guī)模的數(shù)據(jù)稀疏、數(shù)據(jù)量大以及存在的商品冷啟動(dòng)問題.該方法首先基于會(huì)話構(gòu)造一個(gè)商品有向圖,基于圖構(gòu)造與商品有交互的行為序列,結(jié)合特征生成項(xiàng)目的圖嵌入向量,對(duì)每個(gè)向量進(jìn)行特征加權(quán).該算法主要用于召回階段,基于與用戶有過交互的商品,召回相關(guān)候選項(xiàng)目.

Wu 等人[22]提出SR-GNN 模型,考慮到物品轉(zhuǎn)換成向量的復(fù)雜過程,提出一種新的嵌入方式,使用圖數(shù)據(jù)結(jié)構(gòu)對(duì)用戶會(huì)話進(jìn)行建模,利用圖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)圖中節(jié)點(diǎn)的嵌入向量.最后,通過注意力機(jī)制把每個(gè)會(huì)話表征為當(dāng)前會(huì)話的興趣和全局興趣的構(gòu)成,基于每個(gè)會(huì)話,預(yù)測(cè)下一個(gè)項(xiàng)目交互概率.該模型克服難以用隱向量表示項(xiàng)目的問題,使用圖結(jié)構(gòu)模型生成精準(zhǔn)項(xiàng)目嵌入向量,為基于會(huì)話的推薦場(chǎng)景提供新的方法.

4.2 基于多層感知機(jī)的推薦模型

多層感知機(jī)模型在推薦系統(tǒng)中應(yīng)用廣泛,通常原始數(shù)據(jù)經(jīng)過嵌入層形成向量后,會(huì)輸入到多層感知機(jī)中,學(xué)習(xí)數(shù)據(jù)非線性表示,在進(jìn)行低階特征交叉后,結(jié)合多層感知機(jī)進(jìn)一步提取高階特征交叉[23],可應(yīng)用在預(yù)測(cè)用對(duì)項(xiàng)目評(píng)分、精準(zhǔn)排序任務(wù)和用戶點(diǎn)擊率預(yù)測(cè).

2016年,YouTube 團(tuán)隊(duì)[24]將DNN 應(yīng)用在視頻推薦服務(wù)中,用神經(jīng)網(wǎng)絡(luò)對(duì)候選視頻進(jìn)行預(yù)測(cè)評(píng)分,根據(jù)分?jǐn)?shù)排序生成推薦列表.YouTube 平臺(tái)的用戶數(shù)量和視頻規(guī)模龐大,傳統(tǒng)小規(guī)模數(shù)據(jù)集的算法并不適用,同時(shí)平臺(tái)的視頻更新速度快,需要平衡已有視頻和新發(fā)布的視頻所帶來的冷啟動(dòng)問題,追蹤用戶的實(shí)時(shí)行為.推薦平臺(tái)架構(gòu)如圖4所示.

圖4 YouTube 平臺(tái)架構(gòu)

整個(gè)系統(tǒng)分為匹配階段和排序階段,匹配階段利用高效召回策略從百萬級(jí)規(guī)模的視頻庫(kù)中召回用戶可能感興趣的候選項(xiàng),該階段要求搜索效率高,并且檢索出的視頻與用戶的歷史行為和偏好相關(guān).排序階段主要是對(duì)召回的視頻進(jìn)行精粒度的打分排序,將神經(jīng)網(wǎng)絡(luò)融合用戶特征、視頻屬性和場(chǎng)景信息輸入到模型中,對(duì)候選視頻進(jìn)行評(píng)分預(yù)測(cè),依據(jù)分?jǐn)?shù)進(jìn)行排序,選取高評(píng)分視頻作為推薦列表.

Cheng 等人[25]提出深廣(Wide &Deep)模型,模型由Wide 部分和Deep 部分構(gòu)成,模型結(jié)構(gòu)如圖5所示,其中Wide 部分使用線性模型,提取數(shù)據(jù)的一階特征,Deep 部分使用神經(jīng)網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)高階特征提高泛化能力,最終將兩個(gè)部分的結(jié)果整合通過Sigmoid 激活函數(shù)后輸出預(yù)測(cè)結(jié)果.模型中的Wide 部分對(duì)應(yīng)于模型的記憶能力,從用戶的數(shù)據(jù)中發(fā)現(xiàn)特征之間的相關(guān)性,偏向于推薦和用戶歷史行為相關(guān)的內(nèi)容.Deep 部分對(duì)應(yīng)于模型的泛化能力,稀疏特征經(jīng)嵌入層形成低維稠密向量輸入到隱藏層中,利用神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力捕獲新的潛在高階特征組合,泛化能力有利于推薦結(jié)果個(gè)性化,讓推薦結(jié)果具有多樣性.

圖5 Wide &Deep 模型結(jié)構(gòu)

多層感知機(jī)模型廣泛應(yīng)用于點(diǎn)擊率預(yù)估任務(wù),能夠充分利用用戶畫像特征、項(xiàng)目屬性特征和上下文信息,進(jìn)行特征提取,且能緩解數(shù)據(jù)稀疏、高階特征組合等問題.多層感知機(jī)與因子分解機(jī)進(jìn)行結(jié)合,可以彌補(bǔ)FM 和FFM 模型中特征組合無法擴(kuò)展到三階及以上的劣勢(shì).通常在稀疏特征經(jīng)過嵌入層轉(zhuǎn)化為低維向量后,進(jìn)行低階交叉特征組合并且利用DNN 提取高階特征組合,經(jīng)過Sigmoid 函數(shù)輸出點(diǎn)擊概率,例如DeepFM[26]、FAT-DeepFFM[27]、NFM[28]等模型.協(xié)同過濾與神經(jīng)網(wǎng)絡(luò)相結(jié)合,緩解稀疏特征導(dǎo)致的訓(xùn)練困難問題,He 等人[29]提出神經(jīng)協(xié)同過濾模型,將矩陣分解的處理方式和深度學(xué)習(xí)融合,模型結(jié)構(gòu)如圖6.神經(jīng)協(xié)同過濾模型主要對(duì)隱式反饋數(shù)據(jù)進(jìn)行建模,用嵌入向量表征用戶和物品,輸入到多層神經(jīng)網(wǎng)絡(luò)中,輸出層預(yù)測(cè)用戶評(píng)分,采用平方損失函數(shù)訓(xùn)練模型.利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)隱向量表示用戶和項(xiàng)目之間潛在關(guān)系,將用戶和項(xiàng)目映射到隱向量空間,向量之間的距離反映出用戶和項(xiàng)目的潛在關(guān)系,可用于召回階段,計(jì)算相關(guān)性召回與目標(biāo)用戶相關(guān)項(xiàng)目候選集合.

圖6 NCF 模型結(jié)構(gòu)

Wang 等人[30]針對(duì)點(diǎn)擊率預(yù)估任務(wù),討論歸一化操作對(duì)于點(diǎn)擊率預(yù)估效果的影響,如層歸一化、批次歸一化、僅有方差的歸一化.通過對(duì)比實(shí)驗(yàn),將對(duì)向量化之后的特征進(jìn)行歸一化,連續(xù)數(shù)值型特征使用層歸一化,稀疏分類性特征做批次歸一化,在多層感知機(jī)中使用偏差的歸一化能夠提升點(diǎn)擊率預(yù)測(cè)準(zhǔn)確性.

Huang 等人[31]借鑒計(jì)算機(jī)視覺和自然語言處理中的門機(jī)制,提升非凸神經(jīng)網(wǎng)絡(luò)的可訓(xùn)練性,在嵌入層增加門機(jī)制,用于從特征選擇更重要的特征,在隱藏層加入門機(jī)制,用于篩選更加重要的特征交互傳遞到更深層的網(wǎng)絡(luò).門機(jī)制的思想類似于注意力機(jī)制,增強(qiáng)有效特征,抑制數(shù)據(jù)噪聲.

4.3 基于卷積神經(jīng)網(wǎng)絡(luò)的推薦系統(tǒng)

卷積神經(jīng)網(wǎng)絡(luò)的卷積和池化計(jì)算主要學(xué)習(xí)數(shù)據(jù)局部特征[32],可以提取非結(jié)構(gòu)化多媒體數(shù)據(jù),對(duì)多源異構(gòu)數(shù)據(jù)進(jìn)行表征學(xué)習(xí).網(wǎng)絡(luò)可以融合多樣化信息,如物品圖像、評(píng)論文本等,挖掘用戶視覺興趣或從文本信息中提取用戶偏好.卷積神經(jīng)網(wǎng)絡(luò)提高了模型的可擴(kuò)展性,融合更多信息能夠讓模型從更多方面捕捉用戶興趣.在推薦系統(tǒng)中,卷積神經(jīng)網(wǎng)絡(luò)適用于多模態(tài)推薦、圖片推薦和文本推薦任務(wù).

通常用戶的行為容易受到圖像的影響,光鮮的商品圖片往往能夠吸引到用戶的注意力.Zhou 等人[33]嘗試用卷積神經(jīng)網(wǎng)絡(luò)捕捉分析用戶喜歡的圖像來提取用戶視覺興趣畫像,該系統(tǒng)通過計(jì)算視覺興趣向量的余弦相似性,找到符合用戶視覺興趣的住房.該模型應(yīng)用于酒店預(yù)訂系統(tǒng),用圖像特征預(yù)測(cè)用戶喜歡的住房風(fēng)格,實(shí)現(xiàn)個(gè)性化推薦.Tang 等人[34]提出卷積序列嵌入推薦模型,將用戶過去交互的商品看成序列,預(yù)測(cè)用戶未來可能交互的項(xiàng)目,其思想是將在時(shí)間和空間上最近的序列形成一個(gè)“圖像”,使用卷積濾波器學(xué)習(xí)序列模式作為圖像的局部特征.該模型使用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)序列特征,用隱因子模型學(xué)習(xí)用戶特征.

有相關(guān)研究利用卷積神經(jīng)網(wǎng)絡(luò)抽取文本特征,使模型融入文本信息,向用戶推薦相關(guān)感興趣的文字內(nèi)容.Shen 等人[35]將CNN 用于在線學(xué)習(xí)資源推薦中,模型使用卷積神經(jīng)從學(xué)習(xí)資源的介紹、內(nèi)容等文本信息中提取項(xiàng)目特征,對(duì)于輸入采用語言模型,對(duì)于輸出采用L1 范數(shù)正則化的潛在因子模型,在此基礎(chǔ)上引入分裂Bregman 迭代法求解該模型,給學(xué)生推薦正確的學(xué)習(xí)資源.Gong 等人[36]采用帶注意力的CNN 處理標(biāo)簽推薦問題,整個(gè)模型由兩部分組成前一部分用于獲取文本特征,后一部分對(duì)各個(gè)文本的表示進(jìn)行Softmax多標(biāo)簽分類.將CNN 模型卷積層應(yīng)用在預(yù)訓(xùn)練詞向量上,加入注意力機(jī)制,利用注意力層來產(chǎn)生一個(gè)單詞相對(duì)于它周圍的單詞的權(quán)重.

Zheng 等人[37]構(gòu)建DeepCoNN 模型使用文本評(píng)論對(duì)用戶行為和商品屬性進(jìn)行聯(lián)合建模.兩個(gè)神經(jīng)網(wǎng)絡(luò)頂部的額外共享層連接了兩個(gè)并行網(wǎng)絡(luò),因此用戶和項(xiàng)目表示可以相互交互以預(yù)測(cè)點(diǎn)擊率.整個(gè)模型有3 層組成Lookup 層,CNN 層,輸出層,Lookup 層將用戶評(píng)論和商品評(píng)論轉(zhuǎn)化為對(duì)應(yīng)詞向量,輸入到CNN 中,最后的輸出預(yù)測(cè)結(jié)果,訓(xùn)練模型縮小誤差.

Liu 等人[38]提出FGCNN 模型,使用卷積神經(jīng)網(wǎng)絡(luò)提取局部模式并且組合生成新的特征,為防止全局信息的丟失,引入多層感知機(jī)提取全局特征交互,最終在Criteo 數(shù)據(jù)集中AUC 達(dá)到80.22%的效果.模型通過CNN 與MLP 相結(jié)合的方式學(xué)習(xí)有用的局部特征和全局特征,既減少手工特征量,又緩解因特征稀疏導(dǎo)致的神經(jīng)網(wǎng)絡(luò)訓(xùn)練困難問題.

2020年,京東團(tuán)隊(duì)提出CSCNN 模型[39],有效利用電商平臺(tái)中豐富的商品類目信息,使用卷積神經(jīng)網(wǎng)絡(luò)提取圖像信息,創(chuàng)新性地將商品信息和商品主圖作為圖像特征提取模塊的輸入,提取商品主圖中豐富的視覺特征,有效挖掘商品視覺屬性,學(xué)習(xí)商品圖像對(duì)于用戶行為的影響,提高點(diǎn)擊概率預(yù)測(cè)的準(zhǔn)確性.

4.4 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的推薦系統(tǒng)

多層感知機(jī)和卷積神經(jīng)網(wǎng)絡(luò)是前饋結(jié)構(gòu)的網(wǎng)絡(luò),層與層之間全連接,但每層神經(jīng)元節(jié)點(diǎn)之間無任何連接,不利于建模文本或者音頻等時(shí)序數(shù)據(jù),因此提出循環(huán)神經(jīng)網(wǎng)絡(luò)RNN,處理時(shí)序數(shù)據(jù).RNN 的最大特點(diǎn)在于神經(jīng)網(wǎng)絡(luò)具有記憶性并且能夠參數(shù)共享,它能夠獲取某一時(shí)刻的輸入數(shù)據(jù)和前一時(shí)刻的隱層狀態(tài)來預(yù)測(cè)當(dāng)前時(shí)刻的輸出.近年來,循環(huán)神經(jīng)網(wǎng)絡(luò)已經(jīng)在機(jī)器翻譯、自然語言處理領(lǐng)域中取得很多研究進(jìn)展.在推薦系統(tǒng)中,主要使用循環(huán)神經(jīng)網(wǎng)絡(luò)具有記憶性的特點(diǎn)對(duì)用戶的歷史會(huì)話序列建模,學(xué)習(xí)用戶偏好演變過程以及用戶上下文相關(guān)興趣,應(yīng)用于會(huì)話推薦任務(wù).

在基于會(huì)話的推薦中,用戶的行為和興趣隨著時(shí)間推移不斷改變,用戶當(dāng)前行為與歷史瀏覽和搜索行為具有較強(qiáng)聯(lián)系.Hidasi 等人[40]在短會(huì)話推薦任務(wù)中使用循環(huán)神經(jīng)網(wǎng)絡(luò),把用戶與物品交互行為組成行為序列,輸入模型中訓(xùn)練,預(yù)測(cè)下一項(xiàng)目交互概率.該模型采用GRU 模型作為基本單元,引入會(huì)話并行小批量數(shù)據(jù),該模型采用GRU 模型作為基礎(chǔ)結(jié)構(gòu)單元,對(duì)小批量的輸出采樣,使用排序損失函數(shù)訓(xùn)練模型,擬合目標(biāo)任務(wù),捕獲用戶興趣隨著時(shí)間推移的演變過程.Hidasi 等人[41]在此基礎(chǔ)上,進(jìn)一步優(yōu)化采樣方法和損失函數(shù),為解決訓(xùn)練過程中存在的梯度消失問題,提出新的損失函數(shù)Top-Max 和BPR-Max,進(jìn)一步提升模型訓(xùn)練效果.

Devooght 等人[42]將協(xié)同過濾視為時(shí)間序列的預(yù)測(cè)問題,應(yīng)用LSTM 捕捉用戶的喜好演變過程.每個(gè)項(xiàng)目用獨(dú)熱編碼表示,采樣用戶的歷史行為作為時(shí)間序列,將項(xiàng)目的向量輸入到RNN 模型中,輸出為每個(gè)項(xiàng)目對(duì)應(yīng)神經(jīng)元的Softmax 值,推薦輸出層概率最大的若干個(gè)項(xiàng)目.Donkers 等人[43]首次提出將用戶編碼信息融入GRU 的網(wǎng)絡(luò)結(jié)構(gòu)中,通過深度集成用戶信息,能夠更有效的對(duì)用戶行為序列建模.通過改造GRU 的門控結(jié)構(gòu),整合用戶信息以及行為序列到模型中,完成個(gè)性化序列預(yù)測(cè)任務(wù),有效學(xué)習(xí)用戶行為事件之間的隱藏關(guān)系,預(yù)測(cè)用戶興趣進(jìn)行下一項(xiàng)推薦.

考慮到過去的研究大多利用用戶短期行為,而沒有考慮顧客長(zhǎng)期穩(wěn)定的偏好和演化過程.Li 等人[44]提出BINN 模型,通過結(jié)合用戶的偏好和當(dāng)前消費(fèi)動(dòng)機(jī)來進(jìn)行下一項(xiàng)推薦.模型挖掘大量用戶行為日志如瀏覽、點(diǎn)擊、收藏等歷史記錄,形成隨時(shí)間推移的行為序列,這些豐富信息有利于學(xué)習(xí)用戶潛在興趣.使用新的神經(jīng)物品嵌入方法,獲取統(tǒng)一的物品表示空間,學(xué)習(xí)物品的潛在向量,捕獲物品之間的序列相關(guān)性.開發(fā)出基于長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)個(gè)人偏好和當(dāng)前消費(fèi)動(dòng)機(jī),進(jìn)行序列化推薦.

Feng 等人[45]提出DSIN 模型,應(yīng)用循環(huán)神經(jīng)網(wǎng)絡(luò)從用戶行為序列中捕獲動(dòng)態(tài)不斷變化的用戶興趣,DSIN 模型能夠有效對(duì)用戶對(duì)個(gè)會(huì)話進(jìn)行建模,用于點(diǎn)擊率估計(jì)預(yù)測(cè).用戶的連續(xù)行為由多個(gè)歷史會(huì)話組成,用戶在每個(gè)會(huì)話和異構(gòu)交叉會(huì)話中的行為是高度同構(gòu)的,加入自注意力機(jī)制提取用戶在每個(gè)會(huì)話中的興趣,應(yīng)用雙向LSTM 來捕獲上下文會(huì)話興趣的順序關(guān)系,最后使用本地激活單元來聚合用戶對(duì)目標(biāo)項(xiàng)的不同會(huì)話興趣表示,完成基于會(huì)話的推薦.

4.5 基于注意力機(jī)制的推薦系統(tǒng)

用戶的興趣具有多樣性,并且會(huì)隨時(shí)間不斷變遷,用戶點(diǎn)擊行為具有局部活躍性,某一時(shí)刻點(diǎn)擊行為僅僅和過去的部分歷史數(shù)據(jù)有關(guān),而不是所有歷史記錄.Zhou 等人[46]提出DIN 模型,模型中引入注意力機(jī)制,對(duì)用戶行為序列數(shù)據(jù)建模,將用戶行為基于注意力機(jī)制進(jìn)行加權(quán)求和,使模型更加關(guān)注有益信息,預(yù)測(cè)下一次點(diǎn)擊動(dòng)作.并且提出小批量正則方法和自適應(yīng)激活函數(shù)輔助模型訓(xùn)練.2018年,在DIN 模型基礎(chǔ)上,又設(shè)計(jì)出DIEN 模型[47],該模型使用GRU 結(jié)構(gòu)構(gòu)建模型用戶行為序列.DIEN 設(shè)計(jì)了興趣提取層,捕獲用戶隨時(shí)間改變的興趣演變過程.同時(shí)設(shè)計(jì)了興趣演化層來捕獲與目標(biāo)項(xiàng)相關(guān)的興趣演化過程.GRU 每一步的局部激活都能增強(qiáng)相對(duì)興趣的影響,減弱用戶興趣遷移的干擾,有助于充分學(xué)習(xí)相對(duì)于目標(biāo)項(xiàng)目的興趣演化過程.

阿里巴巴團(tuán)隊(duì)提出ATRank 模型[48],該模型基于注意力機(jī)制對(duì)用戶異構(gòu)行為序列建模,融合用戶不同的行為記錄,更好地理解用戶興趣,提供更優(yōu)質(zhì)的個(gè)性化服務(wù).整個(gè)模型包括原始特征、語義映射層、自注意力層和目標(biāo)網(wǎng)絡(luò).語義映射層能讓不同的行為可以在不同的語義空間下進(jìn)行比較和相互作用.自注意力層讓單個(gè)的行為本身變成考慮到其他行為影響的記錄.目標(biāo)網(wǎng)絡(luò)則通過Vanilla Attention 可以準(zhǔn)確的找到相關(guān)的用戶行為進(jìn)行預(yù)測(cè)任務(wù).使用類似 Google 的自注意力機(jī)制去除 CNN、LSTM的限制,加快網(wǎng)絡(luò)訓(xùn)練速度,提升預(yù)測(cè)效果.

Xiao 等人[49]提出AFM 模型,該模型將注意力機(jī)制與FM 算法融合.考慮到FM 算法雖然高效,但它對(duì)所有特征交互的建模具有相同權(quán)重,可能會(huì)影響預(yù)測(cè)的準(zhǔn)確性,并不是所有特征交互都對(duì)預(yù)測(cè)結(jié)果有益且具有預(yù)測(cè)性.無用特征之間的交互可能引入噪聲,從而降低模型性能.所以在FM 算法中加入注意力機(jī)制,為每個(gè)交叉特征計(jì)算一個(gè)權(quán)重表示對(duì)預(yù)測(cè)結(jié)果的影響大小.

Song 等人[50]提出AutoInt 模型利用多頭自注意力機(jī)制來完成自動(dòng)特征提取.高階特征組合有利于提升點(diǎn)擊率估計(jì)準(zhǔn)確度,但依靠經(jīng)驗(yàn)進(jìn)行人工特征組合工作量非常大.該模型通過自注意力機(jī)制構(gòu)建特征交互層,交互層的層數(shù)可作為超參數(shù)調(diào)整,交互層疊加可以學(xué)習(xí)二階、三階及以上高階組合.在第一層的交互中,通過注意力映射可以學(xué)習(xí)不同特征的相關(guān)性,以加權(quán)求和的方式進(jìn)行組合.同時(shí)使用殘差連接防止交互層加深導(dǎo)致神經(jīng)網(wǎng)絡(luò)退化問題,防止梯度彌散問題.

依據(jù)用歷史行為記錄,建模用戶偏好動(dòng)態(tài)漸變過程,是對(duì)推薦系統(tǒng)的巨大挑戰(zhàn).現(xiàn)有算法使用序列神經(jīng)網(wǎng)絡(luò),遵從從左到右的順序,利用單向信息建模,這種嚴(yán)格的順序降低了歷史序列的表示能力,影響準(zhǔn)確性.2019年,Sun 等人[51]提出Bert4Rec 模型,首次將BERT模型用于推薦系統(tǒng),由于深度雙向信息會(huì)造成信息的泄露,為了解決這個(gè)問題,使用Cloze Task 訓(xùn)練模型,利用上下文信息預(yù)測(cè)Masked Item,在預(yù)測(cè)過程中,將Mask 加入到輸入序列的最后,然后利用Mask 的嵌入向量進(jìn)行推薦.

多數(shù)點(diǎn)擊概率估計(jì)模型只考慮某一廣告的信息而忽略其他相關(guān)廣告對(duì)預(yù)測(cè)結(jié)果,Ouyang 等人[52]提出DSTN 模型,將不同類型的廣告作為輔助信息融入到模型之中,如用戶歷史點(diǎn)擊或者曝光未點(diǎn)擊的廣告和當(dāng)前上下文已經(jīng)出現(xiàn)過的廣告等,加入注意力提取對(duì)目標(biāo)廣告有用的輔助信息,減少噪聲數(shù)據(jù)影響,利用上下文信息提高模型準(zhǔn)確度.

大多數(shù)深度學(xué)習(xí)推薦模型將原始稀疏特征嵌入到低維向量,輸入到神經(jīng)網(wǎng)絡(luò)中獲得最終的推薦預(yù)測(cè)概率,這些工作只是連接不同的特征,忽略用戶行為的連續(xù)性.DIN 模型[41]提出使用注意力機(jī)制來捕獲候選項(xiàng)與用戶先前點(diǎn)擊商品之間的相似性,但未考慮用戶行為序列背后的序列性質(zhì).阿里巴巴團(tuán)隊(duì)[53]提出BST 模型,將Transformer 技術(shù)應(yīng)用于推薦系統(tǒng)中學(xué)習(xí)用戶歷史行為序列信息.該模型相比于之前所提出的DIN 模型準(zhǔn)確率有較大提升.數(shù)據(jù)經(jīng)過嵌入層后,輸入到Transformer 層,該層用來捕獲用戶歷史行為序列,再與其他特征拼接輸入到神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練.

4.6 樹模型與推薦系統(tǒng)的結(jié)合

由于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程不可預(yù)知,推薦結(jié)果缺乏解釋性,目前很多的深度推薦模型如Wide &Deep[25]、DeepFM[26]等模型都是隱式地學(xué)習(xí)交叉特征,可能引入數(shù)據(jù)噪聲.有相關(guān)研究將樹模型用于有效的交叉特征,將特征放入基于嵌入技術(shù)的注意力模型中,不僅保障預(yù)測(cè)準(zhǔn)確性,也提高模型可解釋性.

Wang 等人[54]提出TEM 模型,使用樹模型增強(qiáng)向量嵌入方法,將嵌入技術(shù)和樹模型的可解釋的優(yōu)點(diǎn)相結(jié)合.該方法受到GBDT+LR 組合模型的啟發(fā),根據(jù)用戶和物品的歷史信息,建立一個(gè)決策樹來自動(dòng)提取有效交叉特征,將交叉特征輸入到一個(gè)基于嵌入技術(shù)的神經(jīng)注意力網(wǎng)絡(luò),學(xué)習(xí)交叉特征的權(quán)重,權(quán)重代表特征重要程度.由于決策樹提取的交叉特征明確,而且注意力網(wǎng)絡(luò)學(xué)習(xí)各個(gè)特征的權(quán)重,增強(qiáng)模型可解釋性.

阿里巴巴團(tuán)隊(duì)[55]提出一種基于樹結(jié)構(gòu)的TDM 模型,解決很多模型不能調(diào)節(jié)用戶和商品向量之間的內(nèi)在乘積形式以利用高效搜索算法,因此不能用于大規(guī)模推薦系統(tǒng)中召回候選集.其主要思想是通過海量商品信息構(gòu)建興趣樹,自頂向下遍歷興趣樹的節(jié)點(diǎn)并為每個(gè)用戶生成推薦項(xiàng),從粗到細(xì)地預(yù)測(cè)用戶的興趣.該方法可以從大量商品中快速檢索出用戶感興趣的若干商品,常用于推薦系統(tǒng)中的召回階段.

總而言之,深度學(xué)習(xí)技術(shù)推動(dòng)了推薦系統(tǒng)的發(fā)展,擴(kuò)展了推薦系統(tǒng)特征提取能力,增強(qiáng)模型表達(dá)能力,融合更多類型特征,學(xué)習(xí)用戶多方面興趣,提供更多個(gè)性化推薦方法,表2 總結(jié)各項(xiàng)深度學(xué)習(xí)技術(shù)與推薦系統(tǒng)融合的特點(diǎn)描述以及優(yōu)缺點(diǎn)分析.

表2 深度學(xué)習(xí)技術(shù)在推薦系統(tǒng)中應(yīng)用對(duì)比

5 基于深度學(xué)習(xí)的推薦系統(tǒng)未來發(fā)展方向

深度學(xué)習(xí)模型具備強(qiáng)大的表達(dá)能力,已經(jīng)證明深度神經(jīng)網(wǎng)絡(luò)能夠擬合復(fù)雜的非線性函數(shù),深度學(xué)習(xí)技術(shù)與推薦系統(tǒng)的融合.傳統(tǒng)的機(jī)器學(xué)習(xí)模型(如邏輯回歸模型),需要人工進(jìn)行特征選擇和特征交叉,耗費(fèi)大量人力,利用神經(jīng)網(wǎng)絡(luò)對(duì)于高階特征的自動(dòng)提取和篩選,捕獲更有益的組合特征[56],訓(xùn)練端到端模型,減少人工特征工程的工作量,節(jié)省投入成本.深度學(xué)習(xí)模型可拓展性強(qiáng),可以在模型中融合多種異構(gòu)數(shù)據(jù),讓模型獲得更多的信息,提高預(yù)測(cè)結(jié)果的精確性.以下總結(jié)了幾個(gè)推薦系統(tǒng)未來的發(fā)展方向.

5.1 深度學(xué)習(xí)與傳統(tǒng)推薦算法的結(jié)合

傳統(tǒng)的推薦模型結(jié)構(gòu)簡(jiǎn)單,應(yīng)用廣泛,但表示能力有限,無法挖掘深層次的用戶和項(xiàng)目隱向量表示和高階特征.傳統(tǒng)推薦算法融合深度學(xué)習(xí)技術(shù),彌補(bǔ)傳統(tǒng)算法的不足,利用深度推薦模型融合多種類型異構(gòu)數(shù)據(jù),讓模型吸收更多信息提高準(zhǔn)確率,更好捕獲用戶和項(xiàng)目的特征.因此,深度學(xué)習(xí)與傳統(tǒng)推薦算法的融合,可以充分利用二者的特點(diǎn).雖然目前已有相關(guān)的研究成果,如DeepFM[21]、NCF[24]、AFM[44]等模型,但這個(gè)方向依然具有很大的發(fā)展空間,未來可以探索傳統(tǒng)推薦算法與更多的深度學(xué)習(xí)模型的結(jié)合,提出新的深度推薦模型.

5.2 深度學(xué)習(xí)推薦系統(tǒng)的可解釋性

基于深度學(xué)習(xí)的推薦模型可以利用多源異構(gòu)數(shù)據(jù)預(yù)測(cè)用戶的喜好,但模型的訓(xùn)練過程就像一個(gè)“黑盒”,模型的大規(guī)模權(quán)重參數(shù)根據(jù)目標(biāo)任務(wù)自動(dòng)調(diào)整,很難對(duì)模型輸出的結(jié)果給予合理解釋,因此深層的神經(jīng)網(wǎng)絡(luò)高度不可解釋.如何做出可解釋的推薦還是一項(xiàng)艱難挑戰(zhàn).然而向用戶提供有價(jià)值的推薦解釋是非常重要的方面,讓用戶明白推薦的理由,能夠加強(qiáng)用戶對(duì)產(chǎn)品的理解和信任,提升用戶體驗(yàn)感.注意力模型在推薦系統(tǒng)上的應(yīng)用從一定程度上緩解了推薦模型的不可解釋性[57],因此構(gòu)建解釋性更強(qiáng)的推薦模型,讓用戶理解推薦理由,也是未來的研究熱點(diǎn)之一.

5.3 融合更多類型數(shù)據(jù)的新網(wǎng)絡(luò)結(jié)構(gòu)

隨著互聯(lián)網(wǎng)上的信息量不斷增加,數(shù)據(jù)類型也更加多樣化,可擴(kuò)展性對(duì)于模型在實(shí)際應(yīng)用中的可用性十分重要.深度推薦模型的可擴(kuò)展性,可以幫助在模型中整合多種輔助信息,更多異構(gòu)數(shù)據(jù)輸入模型可以讓模型從更多方面學(xué)習(xí)用戶的偏好,給出準(zhǔn)確的預(yù)測(cè).未來新的深度推薦模型可以融合多模態(tài)數(shù)據(jù),除了使用用戶與項(xiàng)目之間的交互數(shù)據(jù),還可以利用用戶的時(shí)空序列數(shù)據(jù)、圖像信息、項(xiàng)目數(shù)據(jù)的動(dòng)態(tài)變化等,對(duì)多樣化數(shù)據(jù)建模能夠發(fā)掘用戶新興趣點(diǎn).因此,研究新的深度推薦模型結(jié)構(gòu)去融合多種數(shù)據(jù)源也是重要的研究領(lǐng)域.

5.4 跨領(lǐng)域信息融合

許多互聯(lián)網(wǎng)平臺(tái)提供各種信息資源和網(wǎng)絡(luò)服務(wù),搜索引擎提供信息搜索服務(wù)、電子商務(wù)平臺(tái)提供購(gòu)物服務(wù)、新聞平臺(tái)推送實(shí)時(shí)熱點(diǎn)新聞.然而單領(lǐng)域推薦系統(tǒng)只注重某一特定領(lǐng)域,而忽略了用戶在其他領(lǐng)域的興趣,加劇了數(shù)據(jù)稀疏性和冷啟動(dòng)問題[3].融合多個(gè)平臺(tái)的用戶信息可以進(jìn)行跨領(lǐng)域推薦,克服單一領(lǐng)域的數(shù)據(jù)稀疏,利用多個(gè)領(lǐng)域的信息可以挖掘用戶個(gè)性化偏好.通過深度學(xué)習(xí)技術(shù),可以將各類數(shù)據(jù)以向量表示作為模型輸入數(shù)據(jù),利用源領(lǐng)域?qū)W習(xí)到的數(shù)據(jù)協(xié)助目標(biāo)領(lǐng)域作推薦[2].目前,跨領(lǐng)域信息融合推薦方向的研究較少,還有很大的探索空間和潛力.

5.5 新的訓(xùn)練優(yōu)化方法與網(wǎng)絡(luò)架構(gòu)

推薦系統(tǒng)領(lǐng)域的研究,深度學(xué)習(xí)技術(shù)在實(shí)際應(yīng)用中通常會(huì)遇到兩個(gè)挑戰(zhàn),一是模型訓(xùn)練所耗費(fèi)的資源多;二是神經(jīng)網(wǎng)絡(luò)訓(xùn)練問題.深度學(xué)習(xí)模型依賴大量數(shù)據(jù)進(jìn)行訓(xùn)練,需要足夠的硬件資源來計(jì)算,而且訓(xùn)練時(shí)間耗費(fèi)的時(shí)間長(zhǎng),同時(shí)參數(shù)調(diào)整難度大,可能會(huì)出現(xiàn)收斂慢、易波動(dòng)問題.隨著層數(shù)的增多,可能出現(xiàn)過擬合問題.在評(píng)估數(shù)據(jù)稀疏的情況下將導(dǎo)致推薦推薦模型訓(xùn)練不充分問題.在之后的研究中可以嘗試新的深度學(xué)習(xí)訓(xùn)練方法和優(yōu)化策略,在不損失預(yù)測(cè)準(zhǔn)確度的情況下減少訓(xùn)練參數(shù),讓模型變得更輕便[58],使用負(fù)采樣和剪枝算法對(duì)神經(jīng)網(wǎng)絡(luò)訓(xùn)練進(jìn)行優(yōu)化加速[59],使用正則化方法[60]防止過擬合,增強(qiáng)深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練效果.

6 結(jié)語

在信息技術(shù)迅速發(fā)展的時(shí)代,互聯(lián)網(wǎng)中的數(shù)據(jù)量也呈爆炸式增長(zhǎng)的趨勢(shì),隨之而來的“信息過載”問題無法避免,推薦系統(tǒng)在緩解信息過載問題中發(fā)揮重要作用.深度學(xué)習(xí)技術(shù)與推薦系統(tǒng)相融合,構(gòu)建貼合用戶興趣的模型,產(chǎn)生個(gè)性化推薦列表.相較于傳統(tǒng)推薦算法,深度學(xué)習(xí)增強(qiáng)了模型的可擴(kuò)展能力和表征能力,讓模型能夠融入更多樣的特征,捕獲用戶的興趣,提高模型預(yù)測(cè)準(zhǔn)確度.本文分析了傳統(tǒng)推薦算法的優(yōu)缺點(diǎn),在此基礎(chǔ)上進(jìn)一步分析深度學(xué)習(xí)推薦模型的研究進(jìn)展,討論和分析了推薦算法的研究現(xiàn)狀和未來發(fā)展.希望本文能夠?yàn)橥扑]算法領(lǐng)域的研究人員理清脈絡(luò),提供有益的幫助.