劉順文

摘要：個性化就業(yè)推薦系統(tǒng)可以幫助求職者在海量的就業(yè)信息中，快速找出適合個人實際情況的就業(yè)信息。由于就業(yè)信息數(shù)量過于龐大，系統(tǒng)計算得出推薦結(jié)果的過程不僅耗時長，而且個性化服務(wù)的效果也很難令人滿意。將Slope one算法和就業(yè)信息內(nèi)容相似性相結(jié)合，構(gòu)成的改進Slope one算法引入個性化就業(yè)推薦策略中，采用MapReduce分布式編程實現(xiàn)改進Slope one算法并運行在Hadoop集群上，幫助提高個性化就業(yè)信息推薦的質(zhì)量，增強用戶體驗效果。

關(guān)鍵詞：Slope one算法；內(nèi)容相似性；個性化就業(yè)推薦系統(tǒng)

中圖分類號：TP311 文獻標識碼：A 文章編號：1009-3044（2016）12-0084-02

Abstract： Personalized employment recommender system can help job seekers to find out the employment information which is according with the actual situation of individual quickly in vast amounts of employment information. Due to the large amount of employment information， The process of system calculated recommendation results is not only time-consuming， and the effect of the personalized services is difficult to satisfactory The Slope one algorithm and similarity of employment information constitute an improved Slope one algorithm，it is achieved by MapReduce and runned in Hadoop cluster， to help improve the quality of personalized employment information recommendation and enhance the user experience.

Key words： Slope one algorithm； similarity of content； personalized employment recommender system

1 概述

21世紀，信息技術(shù)和互聯(lián)網(wǎng)技術(shù)發(fā)展迅猛，我們在享受互聯(lián)網(wǎng)帶來的巨大便捷和紅利的同時，互聯(lián)網(wǎng)產(chǎn)生的大規(guī)模數(shù)據(jù)引發(fā)了信息超載問題。通過百度、Google等傳統(tǒng)的搜索引擎，在輸入關(guān)鍵詞后可以快速地為我們檢索出相關(guān)的內(nèi)容，但是無法提供符合每個人實際情況的個性化信息。個性化的信息推薦系統(tǒng)成為解決信息超載問題的有力工具，可以滿足我們對個性化信息的追求。

在互聯(lián)網(wǎng)上眾多的就業(yè)信息中，求職者通過信息分類瀏覽，輸入關(guān)鍵字查找來尋求一份適合自己的就業(yè)崗位，費時費力，很容易陷入信息迷航中，也不一定能找到符合個人實際情況并且令人滿意的就業(yè)信息。為了有效解決這個問題，很多研究學(xué)者提出了一種方法，根據(jù)求職者的求職簡歷、歷史行為、用戶歷史評分數(shù)據(jù)等信息，通過個性化推薦策略的分析與計算，找出最符合其求職意向和個人實際情況的就業(yè)信息推薦給求職者，這就是個性化就業(yè)推薦系統(tǒng)。雖然個性化就業(yè)推薦系統(tǒng)可以為求職者提供個性化的就業(yè)信息服務(wù)，但是在面對海量的就業(yè)信息是，個性化服務(wù)的實時性和服務(wù)效果并不是很理想。將分布式計算平臺Hadoop和個性化就業(yè)推薦系統(tǒng)相結(jié)合，形成分布式的個性化就業(yè)推薦系統(tǒng)，借助高效的MapReduce計算方式來應(yīng)對海量的數(shù)據(jù)分析和計算，以此來提高推薦系統(tǒng)的實時性和用戶體驗效果。

2 Slope one算法概述

個性化推薦算法效率的高低直接決定著個性化推薦結(jié)果的好與差， 由于Slope one算法簡單高效，在線計算的速度快，近幾年在個性化推薦領(lǐng)域備受關(guān)注。Slope one算法的思想是基于新物品與用戶評分過的物品之間的平均偏好值差異來預(yù)測用戶對新物品的偏好值，它認為兩個物品的偏好值之間存在某種線性關(guān)系，形如[fx=x+b]這樣的線性函數(shù)，可以由物品x的偏好值估算出用戶對新物品的偏好值[f（x）]，而計算兩兩物品之間的平均偏好值差異值b成為關(guān)鍵。物品i和物品j之間的平均偏差值，記為[devj，i]，采用公式（1）來計算：

其中，β表示Slope one算法在最終計算結(jié)果中所占的權(quán)重值，通過對實驗結(jié)果的分析，β的取值范圍為[0.6，0.7]，計算結(jié)果較佳。

對于Slope one算法對系統(tǒng)內(nèi)存的消耗大的問題，通過分析，上述的改進Slope one算法適合于MapReduce分布式計算方式，將個性化就業(yè)推薦系統(tǒng)部署在基于Hadoop平臺的分布式系統(tǒng)上，改進Slope one算法的實現(xiàn)采用MapReduce形式的分布式編程，運行在Hadoop集群上，計算過程中產(chǎn)生的中間結(jié)果和對內(nèi)存的消耗，由集群中各個節(jié)點分攤。這樣不僅僅可以解決大規(guī)模數(shù)據(jù)下，個性化推薦系統(tǒng)計算效率低的問題，而且可以很好地解決Slope one算法消耗大量內(nèi)存的問題。

4 改進的Slope one算法在個性化就業(yè)推薦系統(tǒng)中的應(yīng)用

個性化就業(yè)推薦系統(tǒng)部署在Hadoop集群上，改進Slope one算法以MapReduce作業(yè)的形式實現(xiàn)的步驟如下：

第一步，計算用戶的歷史評分記錄。

把所有的評分記錄分為訓(xùn)練集和非訓(xùn)練集兩部分，非訓(xùn)練集中的評分值全部初始化設(shè)置為0。在Map過程中，輸出數(shù)據(jù)的格式為，如果Rate的值大于0，說明是訓(xùn)練集中用戶實際的評分值，否則是非訓(xùn)練集，需要通過計算來預(yù)測用戶的評分值；在Reduce過程中，輸出數(shù)據(jù)格式為<待預(yù)測就業(yè)信息評分的UserID，訓(xùn)練集中評分集合>。

第二步，計算就業(yè)信息之間的平均偏好值差異。

需要兩個MapReduce作業(yè)來計算就業(yè)信息之間平均偏好值的差異，第一個MapReduce作業(yè)計算待預(yù)測就業(yè)信息和其他就業(yè)信息之間的平均偏好值差異。將上一步的結(jié)果中相同的UserID進行合并，找出Rate值為0的記錄。Map過程中，將Rate值不為0的InfoID1和Rate值為0的InfoID2結(jié)合在一起（InfoID1，InfoID2）作為輸出數(shù)據(jù)的key，輸出的value為（UserID，rate），rate為InfoID1和InfoID2的評分差?？梢栽赾ombine階段，合并得到作為第一個MapReduce作業(yè)的結(jié)果。

第二個MapReduce作業(yè)計算訓(xùn)練集中就業(yè)信息之間的平均偏好值差異。以兩兩組合的InfoID為key，value的格式仍然為（UserID，rate）作為Map過程的輸出，在Reduce過程，求出就業(yè)信息之間的平均評分差值dev，最后的輸出格式為<（InfoID1，InfoID2），（UserID，dev）>.

然后合并兩個MapReduce作業(yè)的結(jié)果，得到的輸出為<（UserID，InfoID），Rate>，看作是一個用戶對一條就業(yè)信息的評分值。

第三步，計算就業(yè)信息之間的相似度矩陣。

讀取每一條就業(yè)信息，把就業(yè)信息的文本內(nèi)容以向量的形式來表示。以作為Map階段的輸出，在Reduce階段合并為一個向量矩陣，行號為InfoID。然后把<（InfoID1，InfoID2），（InfoVector1，InfoVector2）>作為Map階段的輸入，輸出形式為<（ InfoID1，InfoID2），sim（1，2）>，在Reduce階段可以生成就業(yè)信息相似度矩陣。然后按照公式（7）計算得到基于就業(yè)信息內(nèi)容的預(yù)測評分<（UserID，InfoID），Rate>。

第三步，預(yù)測偏好值。

按照公式（8），把第二步和第三步的結(jié)果進行整理分析，即可得到用戶u對就業(yè)信息j的最終預(yù)測評分值。

5 結(jié)論

將改進Slope one算法進入基于Hadoop平臺的個性化就業(yè)推薦系統(tǒng)中，推薦結(jié)果的平均絕對誤差（MAE）減小，為實時的在線推薦助益很大，提高了個性化推薦策略的計算效率和個性化就業(yè)信息推薦的質(zhì)量。但是整個個性化就業(yè)推薦系統(tǒng)的改進完善之路不會停止，我們需要將其他領(lǐng)域的知識和更先進的方法引入到就業(yè)信息推薦系統(tǒng)中，致力于個性化推薦服務(wù)質(zhì)量邁向更高的層次，Slope one算法也需要在實際應(yīng)用中不斷地去改進以提高算法效率。

參考文獻：

[1] 黃梅娟. 協(xié)同過濾算法在個性化就業(yè)推薦系統(tǒng)中研究[J].電腦知識與技術(shù)，2015，11（8）.

[2] 杜茂康， 劉苗， 李韶華，等. 基于鄰近項目的Slope One協(xié)同過濾算法[J]. 重慶郵電大學(xué)學(xué)報：自然科學(xué)版， 2014， 26（3）.

[3] 宮翠爽. 基于Hadoop計算模型的Slope One算法改進[D].鞍山： 遼寧科技大學(xué)， 2014.

[4] 胡旭， 魯漢榕， 陳新，等. 基于項目屬性相似和MapReduce并行化的Slope One算法[J]. 空軍預(yù)警學(xué)院學(xué)報， 2015（1）：54-58.

[5] 王毅. 基于Hadoop的Slope One及其改進算法實現(xiàn)[D].成都： 西南交通大學(xué)， 2011.

[6] 楊凌云. 基于Slope One算法的圖書推薦系統(tǒng)優(yōu)化[J]. 電腦知識與技術(shù)， 2015（4）：79-81.

[7] 馬騰騰， 朱慶華， 曹菡，等. 基于Hadoop的旅游景點推薦的算法實現(xiàn)與應(yīng)用[J]. 計算機技術(shù)與發(fā)展， 2016（3）.

[8] Dietmar Jannach，Markus Zanker.推薦系統(tǒng)[M]. 蔣凡，譯.北京：人民郵電出版社，2013：25-28.