姚云鋒，陳蓮娜

(中國計(jì)量大學(xué) 信息工程學(xué)院，浙江 杭州 310018)

?

融入上下文相互關(guān)系的概率矩陣分解推薦

姚云鋒，陳蓮娜

(中國計(jì)量大學(xué) 信息工程學(xué)院，浙江 杭州 310018)

上下文感知推薦系統(tǒng)在傳統(tǒng)的推薦算法中加入了上下文信息，從而有效地提高了推薦效果.上下文感知推薦算法將上下文融入推薦生成過程的不同階段分成三類.大部分算法雖整合了上下文信息，但忽略了上下文之間的相互關(guān)系.針對這種情況，提出一種推薦算法.首先在眾多的上下文信息中，通過統(tǒng)計(jì)方法，提取具有顯著不同的上下文特征，從而降低了數(shù)據(jù)的維度和稀疏度；然后計(jì)算上下文信息之間的修正余弦相似度，并與概率矩陣分解模型結(jié)合，從而有效地將上下文相互關(guān)系融入到了概率矩陣分解中.實(shí)驗(yàn)結(jié)果表明，該方法可以有效利用上下文的相互關(guān)系，提高推薦的準(zhǔn)確度.

推薦系統(tǒng)；上下文相互關(guān)系；概率矩陣分解；相似度

隨著互聯(lián)網(wǎng)的快速發(fā)展，生活中的信息爆炸式增長，用戶很難在其中找到對自己有用的信息.推薦系統(tǒng)結(jié)合用戶喜好進(jìn)行推薦，有效緩解信息超載.傳統(tǒng)的推薦系統(tǒng)只考慮用戶和商品，沒有考慮用戶當(dāng)時(shí)所處的環(huán)境以及其他上下文信息.比如，在音樂推薦過程中，用戶心情往往會(huì)影響到對音樂的評價(jià).有些用戶在“心情悲傷”時(shí)更愿意被推薦一些節(jié)奏緩慢的歌曲.上下文感知推薦系統(tǒng)(context-aware recommender systems, CARS)根據(jù)用戶的喜好，將用戶所處上下文信息整合到推薦系統(tǒng)中，以便進(jìn)一步提高推薦的精確度和用戶的滿意度.

近年來，一系列的上下文感知推薦算法嘗試著將上下文信息整合到推薦系統(tǒng)當(dāng)中.例如有Baltrunas提出的上下文感知矩陣分解模型[1](context-aware matrix factorization, CAMF)，有加入了上下文評分偏差的上下文稀疏線性方法[2](contextual sparse linear method, CSLIM)和張量分解[1]，但都沒有考慮上下文的相互關(guān)系.上下文的相關(guān)性在一定程度上影響著用戶對商品的評分，所以考慮上下文的相關(guān)性可以有效地提高推薦效果.在上下文感知推薦系統(tǒng)中，被廣泛接受的上下文信息定義是：“上下文是所有能用來描述實(shí)體所處環(huán)境的信息[3]”.

2011年，Adomavicius指出上下文感知推薦系統(tǒng)可以分為上下文前過濾、上下文后過濾和上下文建模[4].上下文前過濾是指在生成得到推薦結(jié)果之前，利用上下文信息過濾掉無關(guān)的評分?jǐn)?shù)據(jù)，構(gòu)建與上下文信息相聯(lián)系的推薦數(shù)據(jù)集，然后利用傳統(tǒng)推薦技術(shù)(協(xié)同過濾等)進(jìn)行推薦[5].相反地，在上下文后過濾中上下文信息用于過濾推薦結(jié)果，從而生成新的推薦結(jié)果.Panniello和Tuzhilin[6]提出了線性加權(quán)和直接過濾兩種上下文后過濾方法，前者考慮在特定上下文中推薦商品的概率，加權(quán)預(yù)測評分來重新排序，后者直接過濾掉與上下文相關(guān)性弱的評分商品.上下文建模是將上下文信息融入到整個(gè)推薦過程中.文獻(xiàn)[7]中將支持向量機(jī)引入到上下文感知推薦系統(tǒng)中，但支持向量機(jī)難以解決大規(guī)模評分?jǐn)?shù)據(jù)和多分類問題.目前，矩陣分解技術(shù)能解決數(shù)據(jù)的規(guī)模和稀疏問題，在推薦系統(tǒng)中有著重要地位.基于矩陣分解的CAMF和張量分解[8]有效地提高了推薦的精度.概率矩陣分解[9](probabilistic matrix factorization，PMF)是基于矩陣分解的思想，從概率的角度來解釋用戶和商品的特征向量.文獻(xiàn)[10]中CSLIM算法融合了上下文之間的相似性，由此本文將上下文相互關(guān)系整合到概率矩陣分解模型中，提出了一個(gè)融入上下文相互關(guān)系的概率矩陣分解算法.

1 矩陣分解和概率矩陣分解

1.1 矩陣分解

隨著推薦系統(tǒng)的發(fā)展，隱語義模型(latent factor model, LFM)受到更多的關(guān)注，矩陣分解[11]屬于LFM，具有較高的準(zhǔn)確性和易擴(kuò)展性.矩陣分解將稀疏的用戶—商品的評分矩陣R分解成低秩的用戶特征矩陣和商品特征矩陣乘積的形式.將用戶和商品投影到f維的潛在特征向量空間上，評分預(yù)測如下：

(1)

其中，qi∈Rf是商品i的特征向量，表示商品i所含f個(gè)特征的大小程度；pu∈Rf是用戶u的特征向量，表示用戶u對于這f個(gè)因子的喜歡程度.

(2)

其中，k是評分rui已知的(u,i)集合，λ(‖qi‖2+‖pu‖2)是為防止目標(biāo)函數(shù)過擬合而加入的正則化，λ為正則化系數(shù).

與此同時(shí)，考慮到某些用戶總是趨向于評較高的分，有的用戶傾向于給相對較低的分?jǐn)?shù)，因此某些商品總被打一個(gè)很高的分，而某些商品經(jīng)常被低估.故在原來的模型中加入用戶偏置項(xiàng)bu和商品偏置項(xiàng)bi，損失函數(shù)如下：

(3)

1.2 概率矩陣分解

概率矩陣分解是從概率的角度分析，將評分矩陣分解為用戶和商品的特征向量.假設(shè)用戶和商品的特征向量矩陣都符合高斯分布，那么用戶對商品的喜好程度將轉(zhuǎn)化成一系列概率的問題，模型如圖1.

圖1 概率矩陣分解模型Figure 1 Probability matrix factorization model

利用概率矩陣分解技術(shù)對評分矩陣進(jìn)行分解，令U∈Rd×m表示用戶特征矩陣，V∈Rd×n為商品特征矩陣，其中d即為用戶的特征數(shù).Ui表示用戶ui的特征列向量；Vj表示商品vj的特征列向量；R表示評分矩陣；σU，σV和σR分別表示U，V和R分布的標(biāo)準(zhǔn)差.用戶物品評分矩陣表示為用戶特征矩陣和商品特征矩陣內(nèi)積的形式，滿足公式(4)的概率分布.

(4)

(5)

(6)

根據(jù)貝葉斯定理，評分矩陣分解的后驗(yàn)概率的對數(shù)值滿足式(7).

(7)

其中，C是一個(gè)常量.上式(7)取得最大值時(shí)，通過評分矩陣的最小誤差分解得到對應(yīng)的用戶特征矩陣和商品特征矩陣.(7)式取得最大值等價(jià)于公式(8)取得最小值.

與矩陣分解中的奇異值分解(singularvaluedecomposition,SVD)模型類似，采用隨機(jī)梯度下降法(stochasticgradientdescent,SGD)來計(jì)算使得目標(biāo)函數(shù)(8)取最小值的Ui和Vj，最終可以得出評分矩陣中未進(jìn)行評分的項(xiàng).

2 基于上下文相關(guān)的概率矩陣分解

在上下文感知推薦模型中，直接利用上下文建模，主要有兩種策略.第一種策略是引入上下文評分偏差項(xiàng)，應(yīng)用有CAMF和CSLIM.其中，在SLIM(sparselinearmethod)模型中引入了上下文偏差后的CSLIM模型有效地提高了推薦的精度[2]，表現(xiàn)得比主流的上下文推薦算法更好.第二種策略是利用上下文信息的相關(guān)性來構(gòu)建上下文推薦模型.文獻(xiàn)[12]已經(jīng)成功將上下文相互關(guān)系融入到矩陣分解中.本文構(gòu)建融入上下文相互關(guān)系的概率矩陣分解模型.

2.1 上下文的特征提取

上下文cl定義為cl=(cl1,cl2,cl3...,clT).如表1，上下文條件有天氣、同伴和時(shí)間.那么本例中的上下文定義為(天氣=晴，天氣=陰，同伴=朋友，同伴=一個(gè)人，時(shí)間=上午，時(shí)間=下午).

表1 音樂的上下文評分

在特定的推薦場景中，任何的上下文信息都可以被識別出，但其中只有部分上下文與用戶商品評分密切相關(guān)，而另一些上下文信息對于用戶評分起到的作用很小.使用較多的特征值會(huì)使得用戶的評分矩陣變得很稀疏，而且會(huì)大大增加推薦的復(fù)雜度.所以對于上下文信息的特征提取顯得尤為重要了.

運(yùn)用統(tǒng)計(jì)中特征提取的方法[13]，在眾多的上下文信息中提取重要特征.例如，表1中的音樂上下文評分矩陣中，時(shí)間這一特征向量，其有上午和下午兩種不同取值.簡單地，假設(shè)用戶在上午(時(shí)間=上午)聽歌的評分與用戶在下午(時(shí)間=下午)聽歌的評分具有相同分布.說明什么時(shí)間段聽歌(上午或下午)對于用戶的評分并不起作用，故可以移除時(shí)間這一上下文信息.對于每一個(gè)上下文特征，運(yùn)用t-test來判斷上下文特征的取值是否有顯著的不同.只具有兩種取值的上下文特征，直接運(yùn)用t-test判斷顯著性.若上下文特征有多重屬性取值，可以兩兩進(jìn)行t-test顯著性判斷.

算法 特征提取

輸入 上下文數(shù)據(jù)C，t檢驗(yàn)函數(shù)，檢驗(yàn)水準(zhǔn)α

輸出 提取特征后的特征集合selected(C)

(1)初始化selected(C)為上下文數(shù)據(jù)C中的所有特征集合；

(2)對于每一個(gè)特征S∈selected(C)，Si表示特征S取i，計(jì)算t檢驗(yàn)值，在檢驗(yàn)水平α下，若特征S不顯著，則selected(C)=selected(C)-S；

(3)得到輸出selected(C).

2.2 上下文相互關(guān)系

假設(shè)兩種上下文信息的相關(guān)性越高，那么對用同一用戶在這兩種上下文情形下，其推薦結(jié)果就越接近.將這一假設(shè)加入到概率矩陣分解算法中，得到如下?lián)p失函數(shù)：

(9)

其中sim(cl,cm)表示上下文cl和cm之間的相似程度.

文獻(xiàn)[12]提出了三種計(jì)算上下文相似性的策略，有獨(dú)立上下文相似性(independentcontextsimilarity，ICS)，潛在上下文相似性(latentcontextsimilarity，LCS)，多維上下文相似性(multidimensionalcontextsimilarity，MCS).在ICS中，假設(shè)不同上下文條件之間是相互獨(dú)立的，只考慮具有相同的上下文條件的兩種上下文環(huán)境，即只考慮“天氣=晴朗”和“天氣=陰”的相似度，而認(rèn)為“天氣=晴朗”和“同伴=朋友”是獨(dú)立的.所以各個(gè)上下文條件下的相似度的乘積即為兩個(gè)上下文的相似性.LCS利用上下文之間的潛在關(guān)系，可以有效地緩解新的上下文信息推薦精度不高和上下文評分稀疏的問題，但計(jì)算量也相對加大.MCS策略中，將上下文看作是多維空間中的點(diǎn)，每一維代表著一個(gè)上下文條件.

為得到更好的推薦效果，利用上下文特征提取技術(shù)之后，在更新后的上下文特征中使用余弦相似度[14](cosinecontextsimilarity，CCS).

(10)

其中，T表示上下文信息的維數(shù).對于每一條評分，當(dāng)用戶處在第t維的上下文情形下時(shí)，令clt=1；否則，clt=0.

余弦相似度僅考慮向量維度上的相似性，而并未考慮到不同的上下文條件下的值對于評分的影響.修正余弦相似度對每個(gè)維度上進(jìn)行了修正操作，修正后的余弦相似度(adjustedcosinecontextsimilarity，ACCS)如下：

(11)

算法PMF-ACCS

輸入 用戶商品評分?jǐn)?shù)據(jù)集train，上下文數(shù)據(jù)C，上下文cl

輸出 預(yù)測評分

1)利用特征提取算法提取特征selected(C)，得到提取后的評分?jǐn)?shù)據(jù)集newTrain；

2)選取newTrain中的每一個(gè)上下文cm，且cm≠cl；

3)計(jì)算余弦相似度sim(cl,cm)；

4)利用隨機(jī)梯度下降算法對損失函數(shù)中的Ui、Vj和sim進(jìn)行不斷迭代更新使得損失函數(shù)值不斷減小，直到指定的迭代次數(shù)；

5)利用Ui、Vj得到用戶ui對商品vj在上下文cl下的評分預(yù)測.

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

本文選擇了三種不同類型的上下文評分?jǐn)?shù)據(jù)集，這些數(shù)據(jù)具有不同維數(shù)的上下文及條件.DePaulMovie[15]數(shù)據(jù)從問卷調(diào)查中收集而來.被調(diào)查者要求在不同的時(shí)間、地點(diǎn)和同伴的情形下對電影進(jìn)行評分.InCarMusic[16]數(shù)據(jù)是不同用戶在不同的駕駛環(huán)境和交通情況下對車內(nèi)播放音樂的評分.TijuanaRestaurant[17]數(shù)據(jù)是用戶對于墨西哥蒂華納市的餐廳的評分.三個(gè)數(shù)據(jù)集的具體情況如表2.

表2 上下文數(shù)據(jù)集

3.2 評價(jià)指標(biāo)

為了評價(jià)推薦系統(tǒng)的推薦效果，在數(shù)據(jù)集上，利用五折交叉驗(yàn)證來進(jìn)行Top-N的推薦.實(shí)驗(yàn)中將準(zhǔn)確率(precision)和平均正確率均值(meanaverageprecision，MAP)作為推薦系統(tǒng)的評價(jià)指標(biāo).

假設(shè)R(u)是根據(jù)用戶在訓(xùn)練集上的行為給用戶做出的推薦列表，而T(u)是用戶在測試集上的行為列表.推薦結(jié)果準(zhǔn)確率定義如下：

(12)

MAP是另一個(gè)最受歡迎的排名指標(biāo)，考慮了推薦結(jié)果中物品之間的序，MAP的計(jì)算公式如式(13).其中M表示用戶的數(shù)量，N表示推薦列表的大小，P(k)表示k位置上的準(zhǔn)確率.那么推薦

出來的相關(guān)物品越靠前，則MAP就越高.

(13)

3.3 實(shí)驗(yàn)結(jié)果及分析

在電影數(shù)據(jù)中，對于每個(gè)特征的不同取值進(jìn)行t檢驗(yàn)，檢驗(yàn)情況如表3，在置信度α=0.05的條件下，觀察表3可知各個(gè)特征的不同取值都具有顯著區(qū)別，故保留電影數(shù)據(jù)的所有三個(gè)特征.

表3 電影數(shù)據(jù)各屬性的t檢驗(yàn)

同理，在音樂數(shù)據(jù)中，利用t檢驗(yàn)，可以將駕駛狀態(tài)、風(fēng)景、心情等8種上下文特征，縮減為6維.餐廳數(shù)據(jù)中，保留原始的上下文特征.此時(shí)上下文數(shù)據(jù)情況如表4.

表4 特征提取后的上下文數(shù)據(jù)集

對這三個(gè)數(shù)據(jù)集采用5折交叉驗(yàn)證的方法，將數(shù)據(jù)集隨機(jī)分成5份，每次將其中一份作為測試集，剩下4份作為訓(xùn)練集進(jìn)行訓(xùn)練，交叉驗(yàn)證重復(fù)5次，取5次結(jié)果的評均值.實(shí)驗(yàn)結(jié)果如圖2.圖2展示了融入上下文相互關(guān)系的推薦算法PMF-ACCS和CAMF-ICS[12]在電影和音樂數(shù)據(jù)中的推薦效果，并與主流的推薦算法CAMF和PMF進(jìn)行比較.

圖2 實(shí)驗(yàn)對比Figure 2 Experimental comparison

從圖2中可以觀察到，融入了上下文相互關(guān)系的推薦算法(PMF-ACCS和CAMF-ICS)的precision和MAP要高于未考慮上下文相互關(guān)系的算法(CAMF和PMF).且在電影和音樂數(shù)據(jù)的推薦預(yù)測中，數(shù)據(jù)集中的上下文信息在提取特征之后，PMF-ACCS算法的precision和MAP高于CAMF-ICS算法.這說明了將上下文相互關(guān)系融入到概率矩陣分解模型中可以有效提高上下文感知推薦系統(tǒng)的推薦精度.同時(shí),餐廳數(shù)據(jù)(稀疏度71.1%)比音樂數(shù)據(jù)(稀疏度12.47%)和電影數(shù)據(jù)(稀疏度21.88%)更為稠密，且餐廳數(shù)據(jù)的推薦準(zhǔn)確率(precision)和MAP高于電影和音樂數(shù)據(jù)，表明融入上下文相互關(guān)系的概率矩陣推薦在較為稀疏的數(shù)據(jù)上表現(xiàn)并不佳，需要更多的上下文數(shù)據(jù)信息才能達(dá)到更好的推薦效果.

4 結(jié) 語

首先,上下文信息對于推薦系統(tǒng)非常重要，但在很多情況下上下文特征很多，信息冗余.通過統(tǒng)計(jì)的方法在上下文信息中，提取具有顯著區(qū)別的特征，從而有效降低了數(shù)據(jù)的維度和稀疏度.其次，考慮到上下文相互關(guān)系的重要性，將其融入到概率矩陣分解中，提出了PMF-ACCS算法.實(shí)驗(yàn)表明，PMF-ACCS在音樂和電影推薦系統(tǒng)中的表現(xiàn)優(yōu)于PMF、CAMF和加入了上下文相關(guān)性的CAMF算法，而且數(shù)據(jù)越稠密，推薦越精確.在未來的工作中，可以使用其他不同的計(jì)算上下文相互關(guān)系的計(jì)算方法和不同的特征提取方式，并與其他傳統(tǒng)推薦算法結(jié)合，生成新的上下文推薦算法.同時(shí)，要讓算法在更大數(shù)據(jù)量上實(shí)現(xiàn)較好的推薦，也是下一步需要考慮的工作.

[1] BALTRUNAS L, LUDWIG B, RICCI F. Matrix factorization techniques for context aware recommendation[C]//Proceedings of the 5th ACM Conference on Recommender Systems. Chicago: ACM,2011:301-304.

[2] ZHENG Yong, MOBASHER B, BURKE R. Cslim: contextual slim recommendation algorithms[C]//Proceedings of the 8th ACM Conference on Recommender Systems. Foster City: ACM,2014:301-304.

[3] DEY A K. Understanding and using context[J]. Personal and Ubiquitous Computing,2001,5(1): 4-7.

[4] RICCI F, ROKACH L, SHAPIRA B, et al. Recommender Systems Handbook[M]. New York: Springer,2011:37-46.

[5] 王立才,孟祥武,張玉潔.上下文感知推薦系統(tǒng)[J].軟件學(xué)報(bào),2012,23(1):1-20.

WANG Licai, MENG Xiangwu, ZHANG Yujie. Context-aware recommender Systems[J]. Journal of Software,2012,23(1):1-20.

[6] PANNIELLO U, TUZHILIN A, GORGOGLIONE M, et al. Experimental comparison of pre-vs. post-filtering approaches in context-aware recommender systems[C]//Proceedings of the 3rd ACM Conference on Recommender Systems. New York: ACM,2009:265-268.

[7] OKU K, NAKAJIMA S, MIYAZAKI J, et al. Context-aware svm for context-dependent information recommendation[C]//Proceedings of the 7th International Conference on Mobile Data Management. Washington: IEEE Computer Society,2006:109-112.

[8] KARATZOGLOU A, AMATRIAIN X, BALTRUNAS L, et al. Multiverse recommendation: n-dimensional tensor factorization for context-aware collaborative filtering[C]//Proceedings of the 4th ACM Conference on Recommender Systems. New York: ACM,2010:79-86.

[9] MNIH A, SALAKHUTDINOV R. Probabilistic matrix factorization[C]//Advances in Neural Information Processing System 20 (NIPS 07). Vancouver: ACM,2008:1257-1264.[10] ZHENG Yong, MOBASHER B, BURKE R. Integrating context similarity with sparse linear recommendation model[C]//The 23rd Conference on User Modeling, Adaptation and Personalization (UMAP 2015). Dublin: Springer,2015:370-376.

[11] KOREN Y, BELL R, VOLINSKY C. Matrix factorization techniques for recommender systems[J]. IEEE Computer,2009,42(8):30-37.

[12] ZHENG Yong, MOBASHER B, BURKE R. Incorporating context correlation into context-aware matrix factorization[EB/OL].(2016-03-10)[2015-09-04].http://ceur-ws.org/Vol-1440/Paper5.pdf.

[13] CHATTERJEE S, HADI A S. Regression Analysis by Example[M]. 5th ed. [S. 1.]: John Wiley & Sons,2015:79-90.

[14] 楊博,趙鵬飛.推薦算法綜述[J].山西大學(xué)學(xué)報(bào)(自然科學(xué)版),2011,34(3):337-350.

YANG Bo, ZHAO Pengfei. Review of the art of recommendation algorithms[J]. Journal of Shanxi University(Natural Science Edition),2011,34(3):337-350.

[15] ZHENG Yong, MOBASHER B, BURKE R. Carskit: a java-based context-aware recommendation engine[C]//Proceedings of the 15th IEEE International Conference on Data Mining Workshops. Atlantic:[s.n.],2015:1668-1671.

[16] BALTRUNAS L, KAMINSKAS M, LUDWIG B, et al. Incarmusic: Context-aware music recommendations in a car[C]//International Conference on Electronic Commerce and Web Technologies. Berlin Heidelberg: Springer,2011:89-100.

[17] RAMIREZ-GARCIA X, GARCIA-VALDEZ M. Post-filtering for a Restaurant Context-aware Recommender System[M].[S.1.]: Springer International Publishing,2014:695-707.

Probabilistic matrix factorization recommendation with context correlation

YAO Yunfeng, CHEN Lianna

(College of Information Engineering, China Jiliang University, Hangzhou 310018, China)

Context-aware recommender systems that incorporate context into traditional recommendation algorithms can effectively improve recommendation accuracy. Usually sontext-aware recommendation algorithms can be classified into three strategies. Usually, the algorithms integrate contextual information into systems but ignore the correlations of context. To solve this problem, we proposed a new algorithm. First, among the most contextual information, we used a statistical method to extract contextual features with significant difference to reduce the dimensions and the sparsity of data. Then we incorporated the context correlation by calculating the adjusted cosine similarity into probabilistic matrix factorization. Experimental results show that this technique can effectively utilize contextual correlations and improve the recommendation accuracy.

recommender system; context correlation; probabilistic matrix factorization; similarity

2096-2835(2016)03-0338-07

10.3969/j.issn.2096-2835.2016.03.017

2016-05-03 《中國計(jì)量大學(xué)學(xué)報(bào)》網(wǎng)址：zgjl.cbpt.cnki.net

浙江省自然科學(xué)基金資助項(xiàng)目( No. LY12H29012 ).

姚云鋒(1992- )，男，浙江省上虞人，碩士研究生，主要研究方向?yàn)橥扑]系統(tǒng)、數(shù)據(jù)挖掘.

E-mail：yaoyunfeng1992@163.com

陳蓮娜，女，副教授. E-mail：chenlianna@cjlu.edu.cn

TP181

A