李 慧，於躍成

（江蘇科技大學計算機學院，江蘇鎮(zhèn)江 212100）

0 引言

當前科技的迅速發(fā)展，使得各種類型的網(wǎng)站如雨后春筍般出現(xiàn)，造成數(shù)據(jù)進一步爆炸式增長。因此，用戶若想從龐大的數(shù)據(jù)中篩選出真正感興趣的事物，需要花費大量時間。推薦系統(tǒng)可以在搜集多類信息時，為用戶推送符合其需求的產(chǎn)品。作為目前應用最廣泛的單領域推薦技術，協(xié)作過濾算法得到了學術界和工業(yè)界的重點關注［1-4］。矩陣分解作為最流行的協(xié)同過濾方法之一，也成為了關注的熱點。但是，用戶很少對一個物品作出評分，而且因物品種類繁多，導致矩陣分解通常使用的評分數(shù)據(jù)具有稀疏性的缺點，而這種稀疏性一定程度上降低了傳統(tǒng)協(xié)同過濾技術評分預測精度。此外，協(xié)同過濾需要大量與網(wǎng)站互動的歷史記錄，才能給出高質(zhì)量的推薦，因而造成了用戶冷啟動問題。在一個新領域，用戶通常很少或根本沒有與網(wǎng)站互動的歷史。因此，傳統(tǒng)推薦方法往往不能為冷啟動用戶提供高質(zhì)量的推薦。

近年來，為解決用戶冷啟動問題和數(shù)據(jù)稀疏性問題，跨域推薦技術應運而生，其目的是利用遷移學習的思想，在多個領域更豐富數(shù)據(jù)的幫助下，獲得相較于單領域更好的推薦性能，完成在不同領域知識的有效遷移。文獻［5］提出EMCDR（Embedding and Mapping framework for Cross-Domain Recommendation）模型，利用評分信息學習源域和目標域的潛在特征，然后利用多層感知機學習兩者的映射關系，以此完成跨域推薦；文獻［6］在EMCDR 的基礎上，在映射部分選用半監(jiān)督方法進行學習，通過對冷啟動用戶的鄰居進行重復聚合，計算出冷啟動用戶在源域度量空間中的新向量，然后完成跨域推薦；文獻［7］使用兩個域重疊用戶提取的特征作為錨點，以DNN 訓練源域到目標域的映射函數(shù)，最終實現(xiàn)跨域、跨系統(tǒng)推薦。雖然跨域可以提高精度，但目前大多數(shù)跨域使用的僅僅是評分信息，未更好地融合評論及其他輔助信息。

評論文本等一些輔助信息可豐富用戶潛在特征，使其達到更好的效果［8-10］。例如文獻［11］考慮了具有時序性的醫(yī)療疾病上下文信息，利用Doc2vec 將每種疾病轉(zhuǎn)換成一個類似于其語義的數(shù)字向量；文獻［12］在對評分進行矩陣分解的同時，使用doc2vec 對評論提取用戶文檔特征，然后進行融合處理與跨域推薦。在評論處理過程中，也證明了注意力機制可更好地篩選信息［13-15］。

用戶評論包含了該用戶對商品的具體喜好，可更好地解釋用戶偏好及其原因［16］。用戶評論已廣泛應用于單域推薦，并顯著提升了包括矩陣分解推薦方法在內(nèi)的協(xié)同過濾性能。受此啟發(fā)，本文以EMCDR 模型為基礎，提出為源域目標域融合評分與評論信息的跨域推薦模型DRCDR（A Cross Domain Recommendation Model Fusing Rating and Review for Source and Target Domains）。DRCDR 研究具有兩個可用源域和一個目標域的跨域推薦方法，設計兩個源域之間同時融合了各自評分信息和評論信息的潛在特征融合機制，以實現(xiàn)多源域融合特征在源域與目標域之間的映射，最終實現(xiàn)跨域推薦。

1 相關工作

1.1 跨域推薦與相關符號介紹

跨域推薦中包含源域和目標域，其中源域表示已含有相對豐富信息，并可從中獲得需要傳遞潛在特征的域；目標域表示需要獲取傳遞特征，數(shù)據(jù)相對比較稀疏的域。而跨域推薦則是指利用相對豐富的源域信息，提高更稀疏目標域的推薦性能。

假設源域與目標域存在部分重合的用戶，US和UT分別表示源域與目標域重疊用戶在各自域內(nèi)的潛在特征。而源域與目標域的項目之間沒有交集，即VS、VT分別代表源域和目標域項目的潛在特征。根據(jù)每個域用戶與項目之間的隱式交互，可構建用戶和項目的矩陣RS、RT。RS表示用戶源域的交互矩陣，即RS∈RN*|S|；RT表示用戶目標域的交互矩陣，即RT∈RN*|T|。|S|表示源域項目個數(shù)，|T|表示目標域項目個數(shù)。

將用戶在源域和目標域的評論信息分別表示為XS、XT，USR、UTR代表從評分矩陣RS、RT中通過矩陣分解獲得的用戶評分潛在特征向量，可使用USC、UTC分別表示從源域與目標域評論中獲取的用戶評論潛在特征。

1.2 EMCDR模型

在現(xiàn)有跨域推薦方法中，嵌入源域信息并映射到目標域的EMCDR 框架是一類具有較好性能的跨域推薦方法，尤其對于冷啟動用戶的推薦具有明顯改善。EMCDR 模型可概括為：①在潛在空間中對用戶和項目進行嵌入的過程；②學習源域與目標域之間的映射關系，然后進行跨域推薦。矩陣分解將用戶和項目潛在向量的內(nèi)積作為用戶與項目的交互，在EMCDR 嵌入過程中通過矩陣分解學習源域和目標域用戶與項目的潛在特征［5］。EMCDR 映射部分的實現(xiàn)過程可形式化為有監(jiān)督的回歸問題，其主要以源域和目標域的共同用戶為橋梁建立兩個域之間的關系，從而學習映射函數(shù)fmlp。

對映射部分進行優(yōu)化時，需要把映射函數(shù)從源域傳輸過來的用戶潛在特征與目標域用戶潛在特征之間的差距最小化。映射函數(shù)學習完畢后，EMCDR 可根據(jù)映射函數(shù)獲得冷啟動用戶在目標域的用戶潛在特征向量，即從而可使用映射過來的用戶潛在特征和目標域的項目特征向量VT改善冷啟動用戶推薦效果。公式（1）是多層感知機（Multi-layer Perceptron，MLP）的映射損失是MLP 映射函數(shù)，θ 是其參數(shù)集，代表多層感知機層與層之間的權重矩陣和偏差項。

2 DRCDR跨域推薦模型

本節(jié)提出一個用于跨域推薦的深度模型框架，稱為DRCDR。具體如圖1所示。

2.1 源域與目標域潛在特征獲取

2.1.1 評分潛在特征提取

跨域推薦第一步的目的是獲取源域和目標域中用戶與項目評分的潛在特征。矩陣分解就是實現(xiàn)這一目的的方法之一。實際用于推薦系統(tǒng)的矩陣分解思想很簡單：可直接通過訓練集中的觀察值，利用最小化均方根學習U、V矩陣。這種模型也被稱作隱語義模型，其算法意義層面的解釋為通過隱含特征將用戶興趣與項目特征聯(lián)系起來［17］。正如公式（2）所示，分解后每個用戶得到一個用戶特征向量Ui，每個項目得到一個項目特征向量Vj。物品被關注的因素和用戶偏好的因素，其數(shù)量與意義是一致的。

Fig.1 Model framework of DRCDR圖1 DRCDR模型框架

因此，該算法在源域的損失函數(shù)可表示如下：

矩陣R 為m × n 的稀疏矩陣，Um×k代表用戶潛在特征，Vk×n代表項目潛在特征。后面兩項為正則項，以此防止過擬合。具體過程可概括為使用用戶潛在特征U 和項目潛在特征V 來減小與真實評分矩陣之間的誤差，誤差越小，代表獲得的潛在特征越準確。根據(jù)矩陣分解可獲得源域潛在特征USR1，VS1、USR2，VS2和 目標域潛在特征UTR，VT。

2.1.2 評論潛在特征提取

人們?nèi)粘Ｊ褂玫恼Z言比較抽象，計算機不能識別該語言，所以需要把其轉(zhuǎn)換成數(shù)值形式，這種嵌入方式稱為詞嵌入。單詞嵌入層可將單詞序列轉(zhuǎn)換為密集的矩陣，這一部分可使用預先訓練好的單詞嵌入，如Google 的Word2vec。Word2vec 是詞嵌入方式之一，屬于自然語言處理領域，可將詞轉(zhuǎn)化為可計算、結(jié)構化的向量過程。Word2vec 更關注的是訓練過程中的產(chǎn)物——模型參數(shù)，并將其作為輸入的某種向量化表示，該向量被稱為詞向量［18］。

Doc2vec 是Le 等［19］（同時也是Word2vec 的作者）在2014 年所提出的文章向量，主要講述如何將文章轉(zhuǎn)換成向量表示的算法。本文使用Doc2vec獲得句向量的表示。

RNN（Recurrent Neural Network）是一種將序列數(shù)據(jù)作為輸入的神經(jīng)網(wǎng)絡，其與基礎神經(jīng)網(wǎng)絡之間的最大差距是其不僅在層之間建立全連接，而且在層之間的神經(jīng)元之間建立連接。LSTM（Long Short-Term Memory）是RNN 網(wǎng)絡一種效果很好的變體，較RNN 網(wǎng)絡結(jié)構更加簡單，而且能夠有效解決RNN 的梯度消失和梯度爆炸問題，因此也是當前非常流行的網(wǎng)絡。

其中，ht-1代表前一個輸出，xt代表當前輸入，σ代表sigmoid 函數(shù)，it代表輸入門輸出，ft代表遺忘門輸出，ot代表輸出門輸出，ht代表當前單元輸出。LSTM 每個cell 輸入該用戶按時間順序輸入的評論句向量。LSTM 能夠記住需要長時間記憶的信息，忘記不重要的信息，因而LSTM 能夠獲得體現(xiàn)用戶喜好的潛在特征。

Bi-LSTM 在LSTM 基礎上，結(jié)合了輸入序列在前后兩個方向上的信息，可看作兩層神經(jīng)網(wǎng)絡。前向LSTM 從左邊作為系列的起始輸入，后向LSTM 則從右邊作為系列的起始輸入，反向與第一層作一樣的處理。最后對得到的兩個不同順序下LSTM 的結(jié)果進行連接，獲得評論上下文中蘊含的潛在特征。

詞級別的注意力機制會給每個單詞分配不同的注意力權重，以此體現(xiàn)出每個單詞對當前整條信息的影響。本文針對句子級別的注意力，而句子級別的注意力與詞級別的注意力具有異曲同工的作用。句子級別注意力的輸入是Bi-LSTM 對應輸出的句子向量hi，wi代表權重，bi代表偏置，經(jīng)過Softmax操作后可獲得αi。αi指相對于用戶每個句子i的權重，UC表示處理完評論后的輸出。針對每個用戶，用戶評論潛在特征UC是由注意力權重對Bi-LSTM 的輸出進行加權求和得到的。最終獲得源域和目標域的評論潛在特征USC1、USC2、UTC。具體公式如下：

2.2 融合評論信息映射的跨域方法

2.2.1 融合評分與評論信息

由于融合評分或評論的潛在特征時，無法確定其各自選取的比例，本文中向量的簡單融合方法是逐位相加，兩個向量的權重α 為0.5。融合評分與評論潛在特征，具體對兩個向量進行如下操作：

2.2.2 融合雙源域評論信息

因為單個源域數(shù)據(jù)較為稀疏，所以添加另一個領域的信息到源域，對數(shù)據(jù)進行補充。對于數(shù)據(jù)融合，本文選擇為雙方增加權值來為源域融合相關信息，以使源域數(shù)據(jù)相對豐富，以此獲得更豐富、更能代表目標域冷啟動用戶的潛在特征，最終實現(xiàn)跨域推薦。

2.2.3 融合評論信息的MLP 映射

MLP 多層感知器是一種前向結(jié)構的人工神經(jīng)網(wǎng)絡，映射一組輸入向量到另一組輸出向量。MLP 的優(yōu)勢在于：一個經(jīng)過訓練的MLP 可由第一層的輸入經(jīng)過非線性變換映射到另一個線性可分的由隱層節(jié)點組成的空間里，并使用反向傳播算法的監(jiān)督學習方法訓練MLP。在進行MLP 反向傳播前，需要選擇一個損失函數(shù)來度量訓練樣本計算出的輸出與真實訓練樣本輸出之間的損失。

MLP 是將共同用戶在源域融合后的潛在特征US作為輸入，將該用戶在目標域的評分潛在特征UTR作為輸出，以此訓練網(wǎng)絡，得到非線性映射函數(shù)。最后，MLP 易于通過反向傳播方法進行優(yōu)化。具體來說，在跨域推薦中，對于用戶，可將優(yōu)化問題形式化為：

其中，是指源域的用戶潛在特征向量是指目標域的用戶潛在特征向量是MLP 映射函數(shù)，θ是其參數(shù)集，即層之間的權重矩陣和偏差項。

2.3 跨域方法

跨域方法主要運用MLP 學習到的映射函數(shù)。首先根據(jù)獲得的源域和目標域用戶潛在特征學習映射函數(shù)，并利用映射函數(shù)獲得待推薦用戶在目標域的潛在特征，然后結(jié)合目標域評分信息獲得項目潛在特征VT，最終實現(xiàn)跨域推薦。fmlp(·；θ)是映射函數(shù)是用戶潛在特征是根據(jù)映射函數(shù)得到的冷啟動用戶在目標域?qū)臐撛谔卣鳌?/p>

3 實驗及結(jié)果分析

3.1 數(shù)據(jù)集

本文使用Amazon 數(shù)據(jù)集評估模型，數(shù)據(jù)集包含21 個不同項域，選擇電影、音樂和圖書3 個類別的數(shù)據(jù)集進行實驗。每個數(shù)據(jù)集包含用戶、項目、評分、評論和評論時間5 種類型節(jié)點。將每個觀察到的評分視為隱式反饋記錄，即用戶—項目交互，然后定義跨域推薦場景：電影，音樂→圖書。每個數(shù)據(jù)集的初始數(shù)據(jù)都有12 萬條以上，對于電影、音樂和圖書的兩個域中，首先過濾掉交互項數(shù)量少于10 個的共同用戶，也過濾掉非重疊用戶及少于120 條信息的電影和圖書，然后篩選具有超過30 條信息的共同用戶音樂數(shù)據(jù)，將其設置為一個跨域場景的最終數(shù)據(jù)集。表1總結(jié)了CDR 場景詳細信息。

Table 1 The dataset表1 數(shù)據(jù)集

3.2 評價指標與基線方法

為衡量本文算法的預測準確度，采用均方根誤差（Root Mean Squared Error，RMSE）和平均誤差（Mean Absolute Error，MAE）兩個指標。

其中，m表示測試集評分集合，Ri表示評分集合中的實際評分表示實驗得出的該評分預測值|表示測試集中的評分個數(shù)。

本文選取的基線方法包括：

（1）概率矩陣分解［20］（PMF）。概率矩陣分解是一種基于基本矩陣分解引入概率模型進行優(yōu)化的模型。

（2）聯(lián)合矩陣分解［21］（CMF）。CMF 模型通過分別分解評分矩陣，將不同來源的信息結(jié)合起來，使用戶在不同矩陣中的潛在特征向量共享。

（3）一種嵌入和映射框架的跨域推薦（EMCDR）模型［5］。該模型分別在源域和目標域采用兩個矩陣分解模型，然后使用多層感知機和線性映射建立兩個域之間的映射關系，并根據(jù)映射關系獲得相應評分，最終為冷啟動用戶進行推薦。本文選取其中兩種方法MF_EMCDR_LIN（MEL）和MF_EMCDR_MLP（MEM）進行對比。

（4）C-DRCDR。對于源域，只采用一個域的信息進行跨域推薦。

3.3 實驗設置

本文采用Pytorch 對DRCDR 模型進行實現(xiàn)，為評估該框架在跨域推薦中的效果，選取一部分用戶，刪除其在目標域的評分與評論信息，將其作為冷啟動用戶進行跨域推薦。同時為更好地對用戶進行分析，設置φ代表冷啟動用戶在所有用戶中的比例。實驗中，設置φ值為50%、30%、10%，潛在特征大小為100。對于MLP 映射函數(shù)，選擇其結(jié)構為單層隱藏層，輸入輸出維度都為100，隱藏層節(jié)點個數(shù)為2×100，并設置正則化參數(shù)為0.01，學習率為0.000 1。由實驗結(jié)果可知，當β 取值為0.57 時，效果較好。對于只需要一個源域的跨域方法，本文使用電影—圖書數(shù)據(jù)集進行實驗。

3.4 實驗結(jié)果分析

RMSE 和MAE 在電影音樂—圖書場景上的所有實驗結(jié)果如表2、表3所示。

Table 2 RMSE experimental results of different models表2 不同模型RMSE實驗結(jié)果

Table 3 MAE experimental results of different models表3 不同模型MAE實驗結(jié)果

與基線方法相比，根據(jù)表中RMSE 和MAE 的數(shù)值分析，DRCDR 在為冷啟動用戶提供推薦方面取得了優(yōu)異的成果。由表2 和表3 的第一列PMF 可觀察得出，隨著φ 值的增大，其對應值的范圍變化相對較大，性能明顯降低，主要原因是PMF 為單域推薦，用戶信息的豐富性會影響推薦效果。此外，可由MEL 與MEM 兩列數(shù)據(jù)結(jié)果看出MLP 映射的優(yōu)勢，其可有效獲得源域與目標域之間的映射關系，同時也體現(xiàn)了使用MLP 映射的合理性。由圖2 可以看出，相對于前4 種方法，C-DRCDR、DRCDR 取得了更好的效果，證明了評論信息的有效性。不同φ值下的模型實驗結(jié)果比較如圖2所示。

Fig.2 Comparison of experimental results of each model under different φ values圖2 不同φ值下模型實驗結(jié)果比較

當φ 為30%時，DRCDR 模型的RMSE、MAE 相比MEL、MEM 模型提高了1%～3%，當φ 值變大時，RMSE 和MAE 值也隨之變大。因為φ 代表冷啟動用戶占比，即測試集大小，每個基線方法的效果和DRCDR 模型性能都與訓練集大小，即數(shù)據(jù)信息的豐富度有著重要關系。模型實驗結(jié)果如圖3 所示。由圖3 可以看出，當φ為10%時，實驗的每個模型都獲得了最優(yōu)結(jié)果。根據(jù)表2、表3 可看到，DRCDR模型的RMSE 和MAE 相較于傳統(tǒng)跨域方法提高了2%～4%，由此證明本文處理并融合評論信息方法的合理性，以及提出的通過增加源域信息來源以減少數(shù)據(jù)稀疏帶來影響方法的有效性。

Fig.3 Model experiment results圖3 模型實驗結(jié)果

4 結(jié)語

本文在EMCDR 基礎上提出融合評論上下文特征的深度跨域推薦框架DRCDR，該模型利用評分和評論中的上下文信息提高跨域推薦性能。本文主要在EMCDR 模型基礎上對兩部分進行了優(yōu)化：①融合兩個領域信息以改善數(shù)據(jù)稀疏性；②不僅對源域增加了評論信息，而且考慮了目標域的評論信息。雖然本文在原有模型基礎上的改進獲得了顯著效果，但對于數(shù)據(jù)融合方法仍需要作進一步改進。未來也可在評論信息的基礎上，考慮加入其他數(shù)據(jù)，例如用戶年齡、地域和朋友關系等信息，以進一步提升跨域推薦的個性化程度。