邵長城 陳平華

摘 要：基于位置的社交網絡（LBSN）蓬勃發(fā)展，帶來了大量的興趣點（POI）數據，加速了興趣點推薦的研究。針對用戶興趣點矩陣極端稀疏造成的推薦精度低和興趣點特征缺失問題，通過融合興趣點的標簽、地理、社交、評分以及圖像等信息，提出了一種融合社交網絡和圖像內容的興趣點推薦方法（SVPOI）。首先分析興趣點數據集，針對地理信息，利用冪律概率分布構造距離因子;針對標簽信息，利用檢索詞頻率構造標簽因子;融合已有的歷史評分數據，構造新的用戶興趣點評分矩陣。其次利用VGG16深度卷積神經網絡模型（DCNN）識別興趣點圖像內容，構造興趣點圖像內容矩陣。然后根據興趣點數據的社交網絡信息，構造用戶社交矩陣。最后，利用概率矩陣分解（PMF）模型，融合用戶興趣點評分矩陣、圖像內容矩陣、用戶社交矩陣，構成SVPOI興趣點推薦模型，生成興趣點推薦列表。大量的真實數據集上的實驗結果表明，與PMF、SoRec、TrustMF、TrustSVD推薦算法相比，SVPOI推薦的準確度均有較大提升，其平均絕對誤差（MAE）和均方根誤差（RMSE）兩項指標比最優(yōu)的TrustMF算法分別降低了5.5%和7.82%，表明SVPOI具有更好的推薦效果。

關鍵詞：興趣點推薦;基于位置的社交網絡;圖像內容;深度卷積神經網絡;概率矩陣分解模型

中圖分類號：TP18

文獻標志碼：A

Abstract： The rapid growth of LocationBased Social Networks （LBSN） provides a vast amount of PointofInterest （POI） data， which facilitates the research of POI recommendation. To solve the low recommendation accuracy caused by the extreme sparseness of userPOI matrix and the lack of POI features， by integrating information such as tags， geography， socialization， score， and image information of POI， a POI recommendation method integrating social networks and image contents called SVPOI was proposed. Firstly， with the analysis of POI dataset， a distance factor was constructed based on power law distribution and a tag factor was constructed based on term frequency， and the existing historical score data was merged to construct a new userPOI matrix. Secondly， VGG16 Deep Convolutional Neural Network （DCNN） was used to process the images of POI to construct the POI image content matrix. Thirdly， the user social matrix was constructed according to the social network information of POI data. Finally， with the use of Probabilistic Matrix Factorization （PMF） model， the POI recommendation list was obtained with the integration of userPOI matrix， image content matrix and user social matrix. On realworld datasets， the accuracy of SVPOI is improved significantly compared to PMF， SoRec （Social Recommendation using probabilistic matrix factorization）， TrustMF （Social Collaborative Filtering by Trust） and TrustSVD （Social Collaborative Filtering by Trust with SVD） while Mean Absolute Error （MAE） and RootMeanSquare Error （RMSE） of SVPOI are decreased by 5.5% and 7.82% respectively compared to those of TrustMF which was the best of the comparison methods. The experimental results demonstrate the recommendation effectiveness of the proposed method.

英文關鍵詞Key words： pointofinterest recommendation; LocationBased Social Network （LBSN）; image content; Deep Convolutional Neural Network （DCNN）; Probabilistic Matrix Factorization （PMF） model

可見基于矩陣分解的推薦模型可以靈活擴展，成為研究人員構造個性化推薦模型的重要模型， 所以，對于興趣點的推薦，依然可以沿用這一基礎模型進行不斷擴展。興趣點不同于物品推薦，因為興趣點不僅僅是地理上的點，更具有很多抽象的意義。用戶對于興趣點的選擇，受到距離因素、社交因素、興趣點自身特征因素等的影響， 所以，興趣點推薦任務比物品推薦更加復雜，需要更加豐富的特征維度來描述興趣點特征。

興趣點推薦也被稱為地理位置推薦，在推薦系統(tǒng)中受到越來越多的關注。最近，關于POI推薦的許多研究通常從數據的4個方面進行著手，即地理影響分析、社會相關性分析、時間匹配分析以及文本內容分析[11]。Lian等[12]提出一種結合地理影響的加權矩陣分解方法;Ye等[13]在LBSN中引入了POI推薦，并研究了POI推薦的地理影響和社會影響;Li等[14]通過融合地理位置和社交信息，將用戶好友分為社交好友以及地理位置好友，在進行POI推薦時，達到了對用戶簽到數據進行擴展的效果;Yuan等[15]將時間周期信息和地理信息納入時間感知進行POI推薦;Cheng等[16]用矩陣分解方法介紹了在LBSN中連續(xù)個性化POI推薦的任務;Liu等[17]用聚合的線性判別分析（Linear Discriminant Analysis， LDA）模型研究了POI相關標簽的效果。因為用戶的簽到行為具有高稀疏性，為興趣點推薦帶來很大的挑戰(zhàn)，所以越來越多的研究結合地理影響、時間效應、社會相關性、內容信息和流行度影響等因素提高興趣點推薦的性能。另外，最新的興趣點推薦開始應用多媒體數據[18]：Jiang等[19]利用旅游指南和社區(qū)提供的照片以及與這些照片相關的異構元數據（如標簽、地理位置和日期），提出一種個性化旅行序列興趣點推薦;Wang等[20]通過單純挖掘用戶圖譜信息和地點圖片信息，提出了在概率矩陣分解模型基礎上增加視覺內容興趣點（VPOI）推薦模型，優(yōu)化興趣點推薦結果， 該模型利用卷積神經網絡（Convolutional Neural Network， CNN）對圖片內容進行高維度抽取，并將該圖片矩陣分別融合到用戶隱含矩陣和興趣點隱含矩陣，在Instagram數據集上進行實驗，取得不錯的實驗結果。文中僅僅利用了評分和圖像信息，并沒有利用社交網絡、物理地點等輔助信息，最后也提出了可以利用其他輔助信息的想法。本文重點在結合社交網絡信息和圖像信息，提出新的推薦模型。

1.2 圖像內容挖掘

大家都聽說過“眼見為實”這句話，這也暗含著圖像對于用戶決策的重要性，對于LBSN中的興趣點推薦也是如此，好的圖片總能吸引更多的用戶，所以，在推薦系統(tǒng)中，圖片也應該是數據挖掘的對象。最近，許多基于圖像內容挖掘的推薦系統(tǒng)方法不斷提出：McAuley等[21]提出了利用已有衣物穿搭圖片進行衣服搭配的推薦方法;Wang等[22]根據圖像內容進行情感的挖掘;Li等[23]利用bagofwords圖像內容模型來判斷圖片中的興趣點。這些利用POI圖片信息進行推薦的研究工作，充分說明了圖片與POI有強關聯(lián)關系，圖片包含著POI的一些特征信息，影響著用戶的決策過程。

2 社交網絡和圖像內容融合的興趣點推薦

2.1 問題定義

本節(jié)定義數據結構，闡述研究的問題與展示算法模型框圖。從LBSN的豐富信息中提取數據信息，包括POI上的用戶歷史評分數據，包括POI的地理信息、POI上的標簽信息、用戶之間的社會關系、POI上的圖片信息。為了便于說明，表1列出本文的關鍵符號。

4 結語

本文提出了一個社交網絡和圖像內容融合的興趣點推薦模型——SVPOI，基于位置的社交網絡中用戶的簽到行為，有效地結合了用戶評分信息、地理位置信息、標簽分類信息、用戶社交關系信息和興趣點圖像信息，有效地解決了數據稀疏以及興趣點特征缺失的問題。為了證明SVPOI模型的適用性，本文在真實的大規(guī)模數據集上進行了大量的實驗，在推薦精度方面對SVPOI進行了評估，結果表明SVPOI的推薦精度與其他推薦算法相比有明顯提升。未來將進一步挖掘圖像內容，融合其他推薦模型作進一步的嘗試，從而提高興趣點推薦的性能。

參考文獻 （References）

[1] SALAKHUTDINOV R， MNIH A. Probabilistic matrix factorization[C]// Proceedings of the 20th International Conference on Neural Information Processing Systems. New York： ACM， 2008： 1257-1264.

[2] MA H， YANG H， LYU M R， et al. SoRec： social recommendation using probabilistic matrix factorization[C]// Proceedings of the 17th ACM Conference on Information and Knowledge Management. New York： ACM， 2008： 931-940.

[3] YANG B， LEI Y， LIU J， et al. Social collaborative filtering by trust[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（8）： 1633-1647.

[4] GUO G， ZHANG J， YORKESMITH N. TrustSVD： Collaborative filtering with both the explicit and implicit influence of user trust and of item ratings[C]// Proceedings of the 29th AAAI Conference on Artificial Intelligence. Menlo Park， CA： AAAI Press， 2015： 123-125.

[5] BAO J， ZHENG Y， WILKIE D， et al. Recommendations in locationbased social networks： a survey[J]. GeoInformatica， 2015， 19（3）： 525-565.

[6] KOREN Y， BELL R， VOLINSKY C. Matrix factorization techniques for recommender systems[J]. Computer， 2009，42（8）： 30-37.

[7] SHI Y， LARSON M， HANJALIC A. Collaborative filtering beyond the useritem matrix： a survey of the state of the art and future challenges[J]. ACM Computing Surveys， 2014， 47（1）： Article No. 3.

[8] MARSDEN P V， FRIEDKIN N E. Network studies of social influence[J]. Sociological Methods & Research， 1993， 22（1）： 127-151.

[9] KOREN Y. Factorization meets the neighborhood： a multifaceted collaborative filtering model[C]// Proceedings of the 14th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2008： 426-434.

[10] 劉華鋒，景麗萍，于劍.融合社交信息的矩陣分解推薦方法研究綜述[J].軟件學報，2018，29（2）：340-362.（LIU H F， JING L P， YU J. Survey of matrix factorization based recommendation methods by integrating social information[J]. Journal of Software， 2018，29（2）：340-362.）

[11] GAO H， LIU H. Mining human mobility in locationbased social networks[J]. Synthesis Lectures on Data Mining and Knowledge Discovery， 2015， 7（2）： 1-115.

[12] LIAN D， ZHAO C， XIE X， et al. GeoMF： joint geographical modeling and matrix factorization for pointofinterest recommendation[C]// Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2014： 831-840.

[13] YE M， YIN P， LEE W C. Location recommendation for locationbased social networks[C]// Proceedings of the 18th SIGSPATIAL International Conference on Advances in Geographic Information Systems. New York： ACM， 2010： 458-461.

[14] LI H， GE Y， HONG R， et al. Pointofinterest recommendations： Learning potential checkins from friends[C]// Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2016： 975-984.

[15] YUAN Q， CONG G， MA Z， et al. Timeaware pointofinterest recommendation[C]// Proceedings of the 36th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2013： 363-372.

[16] CHENG C， YANG H， LYU M R， et al. Where you like to go next： successive pointofinterest recommendation[C]// Proceedings of the 23rd International Joint Conference on Artificial Intelligence. Menlo Park， CA： AAAI Press， 2013： 2605-2611.

[17] LIU B， XIONG H. Pointofinterest recommendation in location based social networks with topic and location awareness[EB/OL].[2018-06-20].https：//binbenliu.github.io/papers/poi_sdm13.pdf.

[18] 任星怡，宋美娜，宋俊德.基于用戶簽到行為的興趣點推薦[J].計算機學報，2017，40（1）：28-51.（REN X Y， SONG M N， SONG J D. Pointofinterest recommendation based on the user checkin behavior[J]. Chinese Journal of Computers， 2017，40（1）：28-51.）

[19] JIANG S， QIAN X， MEI T， et al. Personalized travel sequence recommendation on multisource big social media[J]. IEEE Transactions on Big Data， 2016， 2（1）： 43-56.

[20] WANG S， WANG Y， TANG J， et al. What your images reveal： Exploiting visual contents for pointofinterest recommendation[C]// Proceedings of the 26th International Conference on World Wide Web. Geneva： International World Wide Web Conferences Steering Committee， 2017： 391-400.

[21] McAULEY J， TARGETT C， SHI Q， et al. Imagebased recommendations on styles and substitutes[C]// Proceedings of the 38th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2015： 43-52.

[22] WANG Y， WANG S， TANG J， et al. Unsupervised sentiment analysis for social media images[EB/OL].[2018-06-20]. https：//ijcai.org/Proceedings/15/Papers/336.pdf.

[23] LI X， PHAM T A N， CONG G， et al. Where you instagram？： Associating your instagram photos with points of interest[C]// Proceedings of the 24th ACM International on Conference on Information and Knowledge Management. New York： ACM， 2015： 1231-1240.

[24] ZHOU D， HOFMANN T， SCH？LKOPF B. Semisupervised learning on directed graphs[EB/OL].[2018-06-20].http：//papers.nips.cc/paper/2718semisupervisedlearningondirectedgraphs.pdf.

[25] LI H， HONG R， ZHU S， et al. Pointofinterest recommender systems： a separatespace perspective[C]// Proceedings of the 2015 IEEE International Conference on Data Mining. Piscataway， NJ： IEEE， 2015： 231-240.

[26] WANG S， TANG J， WANG Y， et al. Exploring implicit hierarchical structures for recommender systems[C]// Proceedings of the 24th International Conference on Artificial Intelligence. Menlo Park， CA： AAAI Press， 2015： 1813-1819.

[27] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for largescale image recognition[J/OL]. arXiv Preprint， 2014， 2014： arXiv：1409.1556 （2014-09-04）[2015-04-10]. https：//arxiv.org/abs/1409.1556.