齊連永,竇萬春,周毓明(.南京大學計算機科學與技術系,南京20093;2.曲阜師范大學信息科學與工程學院,山東日照276826)
一種上下文感知的E-commerce評級大數(shù)據(jù)賦權方法
齊連永1,2,竇萬春1,周毓明1
(1.南京大學計算機科學與技術系,南京210093;2.曲阜師范大學信息科學與工程學院,山東日照276826)
電子商務(E-commerce)的飛速發(fā)展,產(chǎn)生了大量針對商品的在線評級數(shù)據(jù),通過分析評級數(shù)據(jù),用戶可以對商品的質(zhì)量進行評估.然而,評級數(shù)據(jù)的海量性和差異性使得用戶難以快速而準確地評估商品的質(zhì)量.鑒于此,提出一種基于E-commerce評級的上下文感知賦權方法(context-aware weighting approach,CWA),以選出少數(shù)“重要”的評級數(shù)據(jù)并拋棄大多數(shù)“不重要”的評級數(shù)據(jù),從而確保商品質(zhì)量評估的快速性和準確性.最后,通過一組實驗驗證了CWA的有效性.
E-commerce;用戶評級;大數(shù)據(jù);賦權;上下文
網(wǎng)絡技術的普及推動了電子商務(E-commerce)的飛速發(fā)展,越來越多的用戶通過在線購物網(wǎng)站進行消費,例如天貓商城在2015年11月11日(雙十一)的日銷售金額達到921億元.然而,由于電子商務的虛擬性,用戶無法直觀地了解在線商品的質(zhì)量,這給用戶對商品進行選擇帶來了巨大困難.目前,電子商務領域主要采取用戶評級的方式(如常用的1*~5*評級)[1],對商品質(zhì)量進行反饋,以供新用戶參考.這樣,通過分析歷史的用戶評級數(shù)據(jù),新用戶可以對商品質(zhì)量進行評估,進而作出購買決策.
然而,目前基于用戶評級的商品質(zhì)量評估存在如下兩方面的挑戰(zhàn).
(1)評級數(shù)據(jù)的“海量性”.隨著電子商務的發(fā)展,在線購物逐漸成為廣大用戶的首選消費方式,從而導致目前關于商品的在線評級數(shù)據(jù)量非常龐大.例如,在2015年10月這一個月中,“小米紅米Note2”在天貓商城的月銷售量高達670 372臺,相對應的在線用戶評級數(shù)據(jù)高達166 184條.如此海量的評級數(shù)據(jù)使得新用戶的商品評估及選擇成本急劇上升.
(2)評級數(shù)據(jù)的“差異性”.在線評級系統(tǒng)的眾多評級數(shù)據(jù)中,評級時間、評級用戶、評級分值等方面存在較大差異.這種差異性使得新用戶難以準確評估商品的真實質(zhì)量,進而難以作出購買決策.
鑒于上述兩方面挑戰(zhàn),本研究提出一種針對用戶評級的賦權方法,在進行商品評估時,僅僅選取對新用戶“較為重要”的少數(shù)評級數(shù)據(jù),而拋棄絕大多數(shù)“不重要”的評級數(shù)據(jù),從而確保新用戶可以較為準確快速地進行商品質(zhì)量評估,在評估準確性和評估速度之間取得一個合理的“折衷”.
2.1影響評級權重的上下文分析
對于新用戶而言,對于某一評級數(shù)據(jù)的重視程度取決于該評級的多種上下文因素.本研究考慮如下3種上下文因素.
(1)評級時間.一般而言,商品(或服務)的質(zhì)量不會一成不變,而是在不斷變化,因此同一商品(或服務)的多條評級數(shù)據(jù)在時間上符合“揮發(fā)效應”[2],即越“新”的評級越能反映商品(或服務)當前的真實質(zhì)量,而越“舊”的評級則沒有過多參考價值.
(2)評級用戶與新用戶的偏好相似度.用戶對商品(或服務)的評級數(shù)據(jù)是一種摻雜了個人主觀偏好的“非客觀”數(shù)據(jù),因此如果一條評級數(shù)據(jù)所對應的歷史用戶和新用戶具有相似的偏好,那么該條評級數(shù)據(jù)對于新用戶的商品評估具有較高的指導意義,反之亦然.
(3)評級分值.目前,電子商務領域主要采用1*~5*的評級體系,而評級分值的大小和該評級的重要程度往往具有相關性.例如,極端評級(好評5*和差評1*)往往對用戶的選擇決策影響較大.而且由于用戶評級經(jīng)常出現(xiàn)“偏正向”的特點,新用戶往往更重視較差的評級,而輕視較好的評級.
2.2CWA——基于多維上下文因素的評級賦權方法
基于上述3種影響評級權重的上下文因素,下面介紹一種針對用戶評級的上下文感知賦權方法(context-aware weighting approach,CWA),具體研究框架如圖1所示.
2.2.1基于評級時間的評級賦權
如前所述,一個評級越“新”,越能反映商品(或服務)的最新質(zhì)量,其對于新用戶的參考價值也就越大.此外,根據(jù)評級時間對用戶評級進行賦權時,還應考慮時間的“邊際效應”[3-4],即在“權重-時間”曲線的邊際部分,權重的變化應趨緩(例如“最新”的兩個評級的權重應差異不大,而“最舊”的兩個評級的權重也往往比較接近).基于上述分析,采用arctan函數(shù)
來刻畫評級“權重-時間”之間的相關關系(見圖2,借鑒文獻[6]中的單邊“嗅覺退化曲線”).式中,L代表同一商品(或服務)的評級總數(shù),k代表該商品(或服務)的第k個評級(按時間先后排序,k越大代表評級越“新”,反之亦然),wk表示第k個評級的權重(僅考慮評級時間),α,β,γ為3個參數(shù).
圖1 CWA的研究框架Fig.1 Research framework of CWA
圖2 用戶評級的“權重-時間”關系Fig.2 Relationship of“weight-time”for user ratings
接下來介紹如何求解3個參數(shù)α,β,γ的值.首先,根據(jù)圖2曲線的對稱性,可得
其次,根據(jù)權重的意義,L個評級的總權重等于1,可得
再者,根據(jù)心理學的Miller法則(人腦的短期記憶能力是有限的,每次最多處理7±2件事情)[5],最新的9個評級數(shù)據(jù)對新用戶的參考價值最大,這里結(jié)合“20/80法則”[6],設置前9個評級的權重和為0.8,可得
這樣,聯(lián)立式(1)~(4),可以求得參數(shù)α,β,γ的值,進而根據(jù)式(1),可以求得各個評級的權重wk(僅考慮評級時間).
2.2.2基于偏好相似度的評級賦權
根據(jù)評級用戶的歷史評級記錄、新用戶的歷史評級記錄,可以度量這兩種用戶的偏好相似度.這里采用經(jīng)典的協(xié)同過濾技術來計算新用戶Usernew和歷史評級用戶Userk(即第k個歷史評級所對應的用戶)的偏好相似度,記為Sim(Usernew,Userk),即
式中,集合I代表Usernew和Userk共同評價過的商品(或服務)的集合,rnew,i和rk,i分別代表Usernew和Userk對商品i的評級分值,代表Usernew評價過的所有商品的評級均值,而則代表Userk評價過的所有商品的評級均值.
一般而言,Userk與Usernew的偏好越相似,Userk的歷史評級對Usernew的參考意義就越大,二者之間存在一種“正相關”的關系.本研究采用下式所示的簡單線性相關來建模這種“正相關”關系,即
式中,ωk代表第k個歷史評級的權重(僅考慮用戶的偏好相似度),λ為參數(shù)(λ>0).此外,根據(jù)權重的意義,可得
這樣,聯(lián)立式(6)和(7),可以求得參數(shù)λ的值.進而根據(jù)式(6),可以求得各個評級的權重ωk(僅考慮用戶的偏好相似度).
圖3 E-commerce用戶評級的分值分布Fig.3 User rating score distribution in E-commerce
2.2.3基于評級分值的評級賦權
在E-commerce領域,極端評級(好評5*和差評1*)對于新用戶的選擇決策往往影響更大.此外,用戶的在線評級往往呈現(xiàn)“雙峰J形分布”(見圖3)及“偏正向”(即用戶傾向于給予好評,而非差評;當用戶未進行評級時,系統(tǒng)往往默認好評)的特點[7].因此,對于新用戶而言,差評往往比好評更具有參照意義.為了克服評級分值的“雙峰J形分布”對可信評估的不利影響,本研究采用如表1所示的分段等差數(shù)列來刻畫五種評級分值的相對重要性(以差評1*作為參考基準,其相對重要性Score(1*)設為1).表1中,rk代表第k個評級的分值(rk∈{1*,2*,3*,4*,5*}),權重ψk代表第k個評級的權重(僅考慮評級的分值),p為參數(shù)(p>0).
表1 五種評級分值的權重設計Table 1 Weight design of five rating scores
那么根據(jù)權重的意義,可得
通過求解式(8)可得參數(shù)p,進而根據(jù)表1可以求得各個評級的權重ψk(僅考慮評級的分值).
2.2.4權重聚合
前面分別得到了第k個評級的分權重:wk(僅考慮評級時間)、ωk(僅考慮用戶的偏好相似度)和ψk(僅考慮評級的分值).接下來將通過線性加權的方式,對上述3種分權重進行聚合,進而得到第k個評級的綜合權重Wk,即
式中,a,b,c為聚合系數(shù),且滿足條件a+b+c=1(0<a,b,c<1).
下面將設計一組實驗來驗證所提出的CWA的有效性.
3.1實驗數(shù)據(jù)集及實驗部署
本實驗采用美國Minnesota大學計算機科學與工程學院的GroupLens項目組創(chuàng)辦的MovieLens 1M Dataset[8].該數(shù)據(jù)集收集了6 000名用戶對4 000部電影的超過100萬條歷史評級記錄,是目前在線推薦系統(tǒng)所廣泛采用的標準實驗數(shù)據(jù)集之一.在實驗中,隨機選取100部電影,即Movie-set={M1,M2,···,M100};對于其中每部電影Mi(i=1,2,···,100)(假設Mi擁有L個歷史評級,且已按時間先后進行排序),將第L個評級的真實分值rL,i作為實驗的評估基準(即benchmark),而用前面的L-1個歷史評級來預測第L個評級的分值rp,i;然后,利用平均絕對誤差(mean absolute error,MAE)來評估預測結(jié)果的準確性,MAE越小,說明預測越準確,其計算公式如下:為了評估參數(shù)L對預測準確性的影響,取L=100,200,300,400,500.實驗硬件環(huán)境為Lenovo筆記本(2.50 GHz CPU,1.0 GB RAM),軟件環(huán)境為Windows XP,Matlab7.0.每個實驗執(zhí)行10次并取其平均實驗結(jié)果.
3.2實驗結(jié)果
將CWA與另外兩種賦權方法Average[9]和Last-K[10]進行實驗比較,其中Average方法考慮商品(或服務)的所有評級并賦予相同的權重,Last-K方法僅考慮最新的K個評級(默認K=4),并為這K個評級賦予相同的權重.而CWA僅考慮權重排名前9的評級(基于Miller法則),且取式(9)中a=b=c=1/3.接下來分別比較3種方法的預測準確性、時間開銷,以及新用戶在評估商品時需要參考的評級數(shù)量.
3.2.1預測準確性
根據(jù)3種評級賦權方法(CWA/Average/Last-K),可以預測benchmark評級的分值,進而根據(jù)式(10)計算該賦權方法的平均絕對誤差MAE,MAE值越小,說明預測越準確.實驗結(jié)果如圖4所示,其中歷史評級的數(shù)量L=100,200,300,400,500.從圖4可以看出,Average方法的預測準確性較差,這是因為該方法并未考慮各歷史評級的上下文差異,而對所有評級同等對待;Last-K方法由于僅考慮了歷史評級的時間信息,使得其預測準確性較Average方法有所提高;而CWA的預測準確性最高,這是因為CWA綜合考慮了歷史評級的時間、用戶偏好、評級分值等上下文信息,能夠更好地契合新用戶的商品(或服務)選擇偏好和習慣.
圖4 3種評級賦權方法的預測準確性比較Fig.4 Prediction accuracy comparison of three rating weighting approaches
此外,圖4揭示了3種方法的預測準確性隨歷史評級數(shù)量L的變化趨勢.具體而言,當L增大時,Average方法的預測準確性不穩(wěn)定;Last-K方法僅考慮K(默認K=4)個歷史評級,所以其預測準確性保持不變;而CWA方法的預測準確性隨L的增大而略微提高,這是因為當L增大時,CWA方法所選出的9個歷史評級的權重更高,更加契合新用戶對商品(或服務)的選擇偏好.
3.2.2時間開銷
比較3種賦權方法的時間開銷隨歷史評級數(shù)量L的變化趨勢,結(jié)果如圖5所示.從圖5可以看出,Last-K方法的時間開銷最低,且與L無關,這是因為該方法僅考慮最近的K(默認K=4)個歷史評級,而忽略剩余的L-K個歷史評級;Average方法與CWA的時間開銷均隨L的增大而呈現(xiàn)近似線性的增長趨勢,這是因為兩種方法在賦權時考慮了所有的L個歷史評級;此外,CWA的時間開銷較Average方法更大,這是因為前者在計算各評級的具體權重時需要花費較多的時間.不過,CWA的時間復雜度近似線性,且時間開銷屬于“毫秒”級,基本能夠滿足E-commerce領域中大多數(shù)用戶的響應時間要求.
圖5 3種評級賦權方法的時間開銷比較Fig.5 Time cost comparison of three rating weighting approaches
3.2.3新用戶在評估商品時需要參考的評級數(shù)量
假設一個商品(或服務)擁有L個歷史評級,而將新用戶在評估該商品(或服務)的質(zhì)量時需要參考的評級數(shù)量記為n(顯然0<n≤L).比較3種賦權方法的n值(見圖6),可見Average方法中新用戶需要參考所有的L個評級,才能評估一個商品(或服務)的質(zhì)量,即n=L;Last-K方法中新用戶僅需參考最近的K(默認K=4)個評級,即n=4;而在CWA中,新用戶僅需參考權重最高的9個評級(基于Miller法則),即n=9.
圖6 3種評級賦權方法中新用戶需要參考的評級數(shù)量比較Fig.6 Comparison of referenced rating number by new user of three rating weighting approaches
綜上所述,本研究所提出的CWA實際上是對Average方法和Last-K方法的一種“折中”,雖然CWA耗費了較多的運行時間(見圖5),但卻減輕了用戶端的負擔,大大降低了新用戶在評估商品質(zhì)量時的決策成本(見圖6),同時保證了評估結(jié)果的正確性(見圖4).
E-commerce的飛速發(fā)展使得商品(或服務)的在線評級數(shù)據(jù)量越來越龐大,如何有效利用這些歷史評級數(shù)據(jù)來為新用戶的商品(或服務)評估提供決策支持,成為目前E-commerce領域的熱點研究問題之一.而由于商品歷史評級的海量性和差異性,使如何對各個歷史評級進行合理賦權和優(yōu)化篩選,以確保商品評估的準確性和快速性,成為目前E-commerce領域所面臨的一大挑戰(zhàn).許多學者對這一問題進行了大量的研究,并取得了部分階段性成果.
文獻[11]分析了服務時間與權重之間的相關關系,但是缺少定量的權重計算模型.文獻[9]采用平均化的Average方法來評估商品(或服務)的質(zhì)量,但是該方法平等對待所有的歷史評級,并未考慮各個評級的上下文差異.文獻[2]和[12]分析了評級權重與評級時間之間的相關關系,認為用戶評級呈現(xiàn)某種“揮發(fā)效應”(volatile effect),即隨著時間的推移,一個評級將會變得越來越不重要.但是,上述文獻僅僅對用戶評級的“權重-時間”關系進行定性描述,并未給出量化的權重模型.文獻[10]采用Last-K方法對用戶的歷史評級進行賦權,對最近的K個評級賦予相同的權重1/K,而剩余評級的權重置為零,該方法考慮了用戶評級的“揮發(fā)效應”,強調(diào)了最近評級的重要性.文獻[4]和[13]分別采用等比數(shù)列和等差數(shù)列,按照用戶評級的時間先后對評級進行賦權,取得了較好的效果.但是,上述文獻僅僅考慮了用戶評級的時間信息,并未考慮其他評級的上下文信息.
此外,文獻[7]經(jīng)過大量的統(tǒng)計分析,發(fā)現(xiàn)用戶評級呈現(xiàn)偏正向的“雙峰J形分布”,因此為了弱化用戶評級的“偏正向”效應,將評級的分值大小作為評級權重的設計依據(jù).但是,文獻[7]側(cè)重于對用戶評級的“偏正向”現(xiàn)象進行解釋和分析,而并未給出具體的偏正向校正方案.
本研究在上述研究工作的基礎之上,提出了一種上下文感知的用戶評級賦權方法,不僅綜合考慮了用戶評級的時間、用戶偏好、評級分值等多種上下文信息,而且給出了定量的權重計算模型.通過實驗進一步驗證了CWA的有效性,實驗結(jié)果表明:CWA的時間開銷雖然稍大,但卻大大降低了新用戶對商品(或服務)的評估成本,同時獲得了較高的評估準確性,從而在時間開銷、評估成本、評估準確性之間了實現(xiàn)了良好的“折中”.
E-commerce評級數(shù)據(jù)的海量性和差異性使得新用戶難以快速而準確地評估商品(或服務)的質(zhì)量.鑒于此,本研究提出了一種上下文感知的評級大數(shù)據(jù)賦權方法,本方法綜合考慮了用戶評級的時間、用戶偏好、評級分值等多種上下文信息,以選出少數(shù)“重要”的評級數(shù)據(jù),并拋棄大多數(shù)“不重要”的評級數(shù)據(jù),從而確保新用戶可以對商品(或服務)進行快速而準確的質(zhì)量評估.最后,通過一組實驗驗證了CWA的有效性.
在下一步的研究工作中,將在CWA中引入更多的評級上下文信息,以進一步提高權重設計的合理性和準確性;此外,E-commerce評級數(shù)據(jù)的更新速度很快,未來將對用戶評級的時效性問題進行更加深入的討論和分析.
[1]YIN H Z,CUI B,CHEN L,et al.Modeling location-based user rating profiles for personalized recommendation[J].ACM Transactions on Knowledge Discovery from Data,2015,9(3):1-41.
[2]WAN Y.The Matthew effect in online review helpfulness[C]//15th International Conference on Electronic Commerce.2013:38-49.
[3]VICKREY W.Measuring marginal utility by reactions to risk[J].Econometrica,1945,13(4):319-333.
[4]WU Y,YAN C G,DING Z J,et al.A novel method for calculating service reputation[J].IEEE Transactions on Automation Science and Engineering,2013,10(3):634-642.
[5]MILLER G A.The magical number seven plus or minus two:some limits on our capacity for processing information[J].Psychological Review,1956,63(2):81-97.
[6]GIBBARD A.A Pareto-consistent libertarian claim[J].Journal of Economic Theory,1974,7(4):388-410.
[7]HU N,KOHB N S,REDDY S K.Ratings lead you to the product,reviews help you clinch it?The mediating role of online review sentiments on product sales[J].Decision Support Systems,2014,57:42-53.
[8]Minnesota University.MovieLens 1M Dataset[EB/OL].[2015-11-10].http://grouplens.org/ datasets/movielens/.
[9]QI L Y,YANG R T,LIN W M,et al.A QoS-aware web service selection method based on credibility evaluation[C]//IEEE International Conference on High Performance Computing and Communications.2010:471-476.
[10]SONG R,LI B,WU X,et al.A preference and honesty aware trust model for web services [C]//APSEC.2012:61-66.
[11]ZHONG Y,F(xiàn)AN Y,HUANG K,et al.Time-aware service recommendation for mashup creation in an evolving service ecosystem[C]//IEEE International Conference on Web Services.2014:25-32.
[12]龍軍,劉昕民,袁鑫攀,等.一種基于信任推理與演化的Web服務組合策略[J].計算機學報,2012,35(2):298-314.
[13]LIU J,BAI Y J,PATIL M,et al.Selecting a list of network user identifiers based on long-term and short-term history data:U.S.,US8527526 B1[P].2013-09-03.
A context-aware weighting approach for big data of quality ratings in E-commerce
QI Lianyong1,2,DOU Wanchun1,ZHOU Yuming1
(1.Department of Computer Science and Technology,Nanjing University,Nanjing 210093,China;2.School of Information Science and Engineering,Qufu Normal University,Rizhao 276826,Shandong,China)
With the fast development of E-commerce,large amounts of quality rating data for commodities are generated online.By analyzing the rating data,users can evaluate the commodities'quality.However,due to the massiveness and diversity of the rating data,it is a challenge for users to evaluate the commodity quality quickly and accurately.To this end,a context-aware weighting approach for E-commerce ratings,context-aware weighting approach(CWA)is proposed.With CWA,a few important rating data are selected and most unimportant data dropped.Thus the commodity quality can be evaluated quickly and accurately.A series of experiments validate effectiveness of the proposed CWA.
E-commerce;user rating;big data;weighting;context
TP 311.5
A
1007-2861(2016)01-0036-09
10.3969/j.issn.1007-2861.2015.04.021
2015-11-30
國家自然科學基金資助項目(61402258);江蘇省重點研發(fā)計劃資助項目(BE2015154);國家電網(wǎng)公司科技資助項目;中國博士后科學基金資助項目(2015M571739);江蘇省自然科學基金資助項目(BK20130014)
竇萬春(1971—),男,教授,博士生導師,研究方向為服務計算、大數(shù)據(jù)、云計算.E-mail:douwc@nju.edu.cn