賴穎婕

(桂林理工大學(xué) 商學(xué)院,廣西 桂林 541004)

0 引言

深度學(xué)習(xí)[1](Deep Learning,DL)在諸多領(lǐng)域中得到廣泛應(yīng)用,同時(shí)也對(duì)冷啟動(dòng)、數(shù)據(jù)稀疏等問(wèn)題有所緩解?；谏疃葘W(xué)習(xí)的黑盒特性,在利用深度學(xué)習(xí)提升性能的同時(shí)增強(qiáng)模型可解釋性成為研究熱點(diǎn)。注意力機(jī)制[2](Attention Mechanism,AM)來(lái)源于人類視覺(jué)變化的區(qū)分性能,它可以篩選出有效信息[3]。因此在推薦模型中引入AM可以增強(qiáng)模型的性能和可解釋性。本文歸納梳理了基于注意力機(jī)制的深度學(xué)習(xí)的推薦模型,并對(duì)其進(jìn)行分析,最后探討在推薦領(lǐng)域中進(jìn)一步研究問(wèn)題。

1 基于注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)推薦模型

卷積神經(jīng)網(wǎng)絡(luò)[2](Convolution Neural Network,CNN)是前饋神經(jīng)網(wǎng)絡(luò)(Feedforward Nueral Network)中的一類,它可以利用其獨(dú)有的卷積層和池化層對(duì)項(xiàng)目特征的全面和局部進(jìn)行捕捉,實(shí)現(xiàn)提升識(shí)別的效率和精準(zhǔn)度的目標(biāo)[2]?；贑NN的特點(diǎn),它在諸如神經(jīng)語(yǔ)言、文本分類等自然語(yǔ)言處理(Natural Language Processing,NLP)領(lǐng)域中顯示出強(qiáng)大的優(yōu)勢(shì)。

1.1 標(biāo)簽推薦

大數(shù)據(jù)時(shí)代的爆炸式信息對(duì)系統(tǒng)的搜索、導(dǎo)航和組織的能力要求日漸增加,因此標(biāo)簽推薦(Label Recommendation)越來(lái)越受到了學(xué)術(shù)界和業(yè)界的諸多關(guān)注。CNN在NLP領(lǐng)域以及機(jī)器翻譯中AM的突出表現(xiàn),Gong等[4]提出了新的標(biāo)簽推薦模型,該模型充分利用AM和CNN,避免了手工操作,實(shí)現(xiàn)微博標(biāo)簽推薦。Lei等[5]通過(guò)對(duì)標(biāo)簽推薦中的capsule network的進(jìn)行研究提出一種基于文本分類的新模型,模型利用AM和CNN來(lái)提取重要內(nèi)容和對(duì)應(yīng)特征來(lái)進(jìn)行標(biāo)簽推薦。雖然現(xiàn)有標(biāo)簽推薦模型,可以有效緩解傳統(tǒng)標(biāo)簽推薦中手工標(biāo)記文本耗時(shí)和勞動(dòng)力密集的特點(diǎn),但是在標(biāo)簽數(shù)據(jù)缺乏的情況下,上述模型的推薦效果不理想。因此,之后的研究會(huì)針對(duì)跨域的標(biāo)簽推薦和語(yǔ)法相關(guān)但詞意上相差很大的內(nèi)容建模上進(jìn)行研究。

1.2 社交推薦

隨著社交網(wǎng)絡(luò)數(shù)據(jù)的日益增長(zhǎng),用戶的決策和社交推薦的性能會(huì)受到用戶注意力變化的影響。針對(duì)傳統(tǒng)社交推薦較少考慮靜態(tài)屬性、動(dòng)態(tài)行為和網(wǎng)絡(luò)結(jié)構(gòu)等問(wèn)題,Gong等[6]提出一個(gè)結(jié)合屬性關(guān)注和網(wǎng)絡(luò)嵌入的混合深度神經(jīng)網(wǎng)絡(luò)框架——DFRec++。它利用CNN和AM提取出動(dòng)態(tài)和靜態(tài)特征來(lái)完成推薦,但模型稍顯復(fù)雜。針對(duì)用戶和物品間的差異常被忽略的問(wèn)題,Cai等[7]提出了好友的多層次推薦模型。該模型利用AM和CNN的相關(guān)特性來(lái)實(shí)現(xiàn)好友的多層精準(zhǔn)推薦。當(dāng)前社交推薦模型相較于傳統(tǒng)模型在推薦性能上有顯著提升,之后會(huì)關(guān)注社交網(wǎng)絡(luò)中弱聯(lián)系以及設(shè)計(jì)出更簡(jiǎn)單和通用的推薦模型結(jié)構(gòu)。

2 基于注意力機(jī)制的循環(huán)神經(jīng)網(wǎng)絡(luò)推薦模型

循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)是一類深度學(xué)習(xí)技術(shù),是處理序列模式的時(shí)間動(dòng)態(tài)選擇以及具有序列信號(hào)的側(cè)面信息等問(wèn)題的首要選擇[8]。文中主要介紹長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)和門(mén)限循環(huán)單元(Gated RecCurent Unit,GRU)這兩種RNN在推薦中的應(yīng)用。LSTM是一類時(shí)間循環(huán)神經(jīng)網(wǎng)絡(luò),擅長(zhǎng)處理間隔大和延遲多的時(shí)間序列問(wèn)題[8]。GRU是一種特別的隱結(jié)構(gòu),可以保存長(zhǎng)期狀態(tài)和建模長(zhǎng)期依賴關(guān)系[9]。因此,上述兩種RNN經(jīng)常用來(lái)處理梯度消失[2]。

2.1 序列推薦

由于用戶興趣偏好呈現(xiàn)出動(dòng)態(tài)性和演化性變化,序列信息在用戶動(dòng)態(tài)偏好的建模中扮演著越來(lái)越重要的角色,序列推薦應(yīng)運(yùn)而生。由于RNN處理序列信息的優(yōu)秀表現(xiàn),基于RNN的序列推薦得到了廣泛應(yīng)用?；诖?Luo等[10]提出了一種名為3AGRU新的序列推薦模型。3AGRU利用GRU和自適應(yīng)注意力機(jī)制捕捉用戶多樣興趣和提升序列推薦性能。隨后,針對(duì)以往研究中從左到右處理用戶的長(zhǎng)期序列信息會(huì)忽略一些有用信息的問(wèn)題,Zhang等[11]提出一種面向序列推薦的注意力混合遞歸神經(jīng)網(wǎng)絡(luò)——AHRNNs。AHRNNs利用基于注意力機(jī)制的GRU和LSTM把握用戶序列給出推薦?，F(xiàn)有序列推薦模型在推薦性能上有大幅提升,未來(lái)研究中考慮將其他注意力機(jī)制(例如硬注意力)引入到序列推薦模型中來(lái)緩解用戶行為稀疏的問(wèn)題以及運(yùn)用其他技術(shù)(例如知識(shí)圖譜和強(qiáng)化學(xué)習(xí))改善用戶的體驗(yàn),增加用戶的購(gòu)買(mǎi)欲。

2.2 一籃子推薦

用戶在線購(gòu)物時(shí)一次購(gòu)入多種商品的現(xiàn)象,令預(yù)測(cè)用戶的下一次購(gòu)物列表成為熱門(mén)研究趨勢(shì)。Pan等[12]

針對(duì)以往購(gòu)物籃推薦忽略用戶長(zhǎng)期偏好中隱藏的內(nèi)在偏好和不能準(zhǔn)確對(duì)購(gòu)物籃中物品的重要性進(jìn)行區(qū)分的問(wèn)題,引入了一種混合偏好神經(jīng)模型——HPNM。HPMN建模用戶偏好和計(jì)算項(xiàng)目,實(shí)現(xiàn)一籃子推薦的有效性。隨后,面對(duì)當(dāng)前一籃子推薦研究中對(duì)籃子中物品間關(guān)系考慮甚少的問(wèn)題,Liu等[13]提出一種新模型,該模型采用Bi-LSTM和AM建模偏好和預(yù)測(cè)意圖,實(shí)現(xiàn)精準(zhǔn)的下一籃子推薦。上述模型對(duì)當(dāng)前一籃子推薦模型中部分存在的問(wèn)題進(jìn)行了有效解決,但是一籃子推薦中仍然存在著解釋性不足、缺乏多樣化等問(wèn)題,之后研究中會(huì)考慮興趣的融合等因素來(lái)提升一籃子推薦精度。

3 結(jié)論與啟示

3.1 提升推薦模型可解釋性

注意力機(jī)制引入深度學(xué)習(xí)模型中,緩解了以往深度學(xué)習(xí)模型可解釋性差的問(wèn)題,并為之后具有更好可解釋能力的深度學(xué)習(xí)模型奠定了基礎(chǔ)。之后的相關(guān)研究會(huì)集中在兩個(gè)層面:一是面向用戶的解釋,推薦結(jié)果便于讓用戶理解、用戶擁有更高的滿意度和接受度。二是面向從業(yè)者的解釋,讓模型對(duì)項(xiàng)目的權(quán)重做出更進(jìn)一步的研究,實(shí)現(xiàn)模型的深入理解。

3.2 多任務(wù)學(xué)習(xí)

數(shù)據(jù)的稀疏性是推薦系統(tǒng)面臨的重要難題,本文提及的推薦模型從某種程度上緩解了此問(wèn)題,但是數(shù)據(jù)的稀疏仍然在某種程度上對(duì)推薦模型的精度造成了影響。多任務(wù)學(xué)習(xí)(Muliti-Task Learning)可以通過(guò)對(duì)相關(guān)的數(shù)據(jù)信息進(jìn)行利用來(lái)提升模型的性能,因此之后的相關(guān)研究會(huì)考慮在模型中引入多任務(wù)學(xué)習(xí),以此增強(qiáng)隱式數(shù)據(jù)實(shí)現(xiàn)減少數(shù)據(jù)稀疏的問(wèn)題和簡(jiǎn)化隱藏表示解決過(guò)擬合問(wèn)題。