王佳齊

一、前言

隨著網(wǎng)絡(luò)購物時代的到來，消費者越來越多的選擇在網(wǎng)上購買自己心儀的商品。其中淘寶網(wǎng)是當(dāng)前國內(nèi)最大的網(wǎng)絡(luò)購物平臺，據(jù)艾瑞咨詢①的調(diào)查結(jié)果顯示，在2016年淘寶網(wǎng)占據(jù)了國內(nèi)超過80%的網(wǎng)絡(luò)購物市場份額。根據(jù)2013年的數(shù)據(jù)顯示，淘寶網(wǎng)在當(dāng)年的商品數(shù)量超過8億件，賣家數(shù)超過了700萬。時至今日，淘寶網(wǎng)必然已經(jīng)有著更多的商品和賣家。

隨著商品種類和數(shù)量的激增，消費者搜索和篩選的時間成本也會隨之增長。因此，搜索、排序和推薦功能在互聯(lián)網(wǎng)購物場景下扮演著非常重要的角色。如何在用戶搜索的過程中，高效地識別出用戶的個人偏好、客觀地評價所有商品的優(yōu)劣，以及生成最符合用戶期待的排序結(jié)果，就成為了電商平臺十分關(guān)心的問題。目前的解決方案，卻存在著以下兩個方面問題：

（1）現(xiàn)有排序結(jié)果主要依賴于買家打分的均值，主觀性較強。同時，每個商品只有一個平均分，評價維度過于單一。

（2）買家的評論數(shù)據(jù)往往更加真實客觀，尤其能夠多元化、多維度地描述商品的真實情況。然而當(dāng)評論過多時，會面臨嚴重的“信息過載”問題。

基于此，本文提出了一種基于用戶偏好和評論情感分析的排序和推薦方法，該方法在用戶搜索時獲取用戶的偏好選擇，利用層次分析法建立偏好矩陣并形成偏好權(quán)重向量；之后，利用自然語言處理的方法將每條評論分詞并進行語義情感分析，確定每條評論對用戶所關(guān)心屬性的褒貶情感，自動生成單條評論相對客觀的分數(shù)；最后將偏好權(quán)重向量與相應(yīng)屬性的所有評論分數(shù)進行加權(quán)求和，最終得到每件商品的總分，進而形成搜索排序結(jié)果。這種排序方法能夠很好地解決以上兩個問題，為現(xiàn)有的搜索排序方法提供了新的啟發(fā)和解決方案。

二、國內(nèi)外相關(guān)研究

對商品的用戶評論信息處理研究在近些年得到了廣泛關(guān)注，國外研究起步較早并取得了更領(lǐng)先的突破。其主要的思路和方法是建立研究領(lǐng)域?qū)?yīng)的情感詞庫，根據(jù)評論中單詞的褒義和貶義程度進行賦值和評分。其中Mike Y.Chen②對雅虎的股票留言板數(shù)據(jù)進行提取分析，用來判斷投資者對不同股票的基本態(tài)度。而Turney③等人提出了基于語義空間模型的情感分類方法，利用PMI-IR算法計算評論單詞在“極差”和“極好”之間的差值，從而依次判斷該短語的情感傾向性，從而對一些評論數(shù)據(jù)進行態(tài)度積極和消極的分類。

國內(nèi)的相關(guān)研究也有很多進展，孫文?、艿热搜芯苛司W(wǎng)絡(luò)上對圖書的評論數(shù)據(jù)，將情感分析方法與統(tǒng)計學(xué)方法結(jié)合起來，建立了新的評價模型。丁宇新⑤等人對新聞評論的情感進行分析和分類，引用了Na?ve Bayes Classi fi cation 的方法，并結(jié)合了最大熵模型。朱嫣嵐⑥⑦對知網(wǎng)HowNet詞庫進行了詳細的劃分整理，共收集了超過三千情感詞匯，然后根據(jù)相似度匹配并確定評論傾向。

與前人的研究相比，本文創(chuàng)新點主要體現(xiàn)在以下幾個方面：

（1）研究主要針對于電商平臺的評論，具有很強的應(yīng)用針對性；

（2）利用自然語言處理的方法對每個分詞進行了詞性標定，在評價情感傾向的同時還計算該評價與用戶偏好屬性集之間的相關(guān)性；

（3）對句子形成整體的情感評分，并將某商品大量評論的評分與用戶自定義的屬性權(quán)重向量進行加權(quán)求和，求出的商品綜合評分并依此排序。

三、解決方案的整體設(shè)計

本文提出的基于用戶偏好和評論情感分析的搜索排序解決方案，其主要流程包含三個部分的功能：

（1）在用戶執(zhí)行搜索操作時，通過系統(tǒng)的問題提示，用戶可通過屬性間的對比賦值體現(xiàn)自己對商品不同屬性的重視程度。根據(jù)用戶原始的賦值結(jié)果，利用層次分析法⑧生成用戶偏好矩陣P。之后對矩陣進行一致性檢驗，對通過一致性檢驗的偏好矩陣計算出用戶個性化的權(quán)重向量。

（2）針對單一條目的評論Cn，首先利用Sharp ICTLS分詞工具將語句劃分為短語集Rn，之后進行相應(yīng)的詞性標注?；诓煌木涫?，將短語集Rn中的名詞與屬性短語庫相對比，確定評論所描述的屬性；將Rn中的情感詞語與情感短語庫相對比分析，并根據(jù)褒義、貶義程度進行評分，形成單句情感分數(shù)。

（3）基于前兩步的方法和模型，對某商品的所有評論集合C進行篩選，根據(jù)評論中的“屬性短語”與用戶關(guān)心屬性的相關(guān)度進行分類，并最終確定相關(guān)較高的相關(guān)評論集Cr。之后，對相關(guān)評論集中的每條評論進行單句評分，并根據(jù)相關(guān)度和用戶偏好屬性權(quán)重進行加權(quán)求和，形成每個商品的總分。最終，可根據(jù)商品總分生成搜索排序結(jié)果。

四、算法的具體實現(xiàn)

基于第三章中的流程，我們設(shè)計了一套具體的算法，包含三個模塊，即基于層次分析法的用戶偏好模型、基于情感分析的評分生成模型和基于加權(quán)求和的排序推薦模型。

1.基于層次分析法的用戶偏好模型

由于在實際應(yīng)用中，每個商品都具有很多不同的屬性，而不同的用戶對這些屬性的偏好程度不僅相同，這個確定用戶個性化偏好程度的過程，就是一個多屬性排序的問題?？梢圆捎脤哟畏治龇ǎˋnalytic Hierarchy Process，簡稱AHP）是來實現(xiàn)，步驟為：

（1）遞階層次結(jié)構(gòu)由不同層次組成以確定權(quán)重。

目標層（最高層O）：指問題的預(yù)定目標，即確定商品的屬性重要性權(quán)重；

準則層（中間層R）：指影響目標實現(xiàn)的準則，準則層又分為更細化的指標；

指標層（最底層I）：指該商品諸多具體的指標，分為I1至In共n條屬性。

（2）構(gòu)造偏好矩陣并賦值

根據(jù)重要性標度值，在用戶執(zhí)行搜索操作時，完成判斷矩陣的信息填寫。如果商品屬性過多，則可以改為對諸多商品屬性進行重要性排序。重要性標度的取值范圍為整數(shù)1到9，1表示兩者重要性一樣，數(shù)字越大代表兩個元素相比時前者的重要性越高。若元素I與元素j的重要性之比為aij，則元素j與元素I的重要性之比為aji=1/aij

基于以上方法的個性化賦值過程，可以最終生成某個用戶對一件商品條屬性的偏好矩陣，形如表1所示。

（3）權(quán)重計算及一致性檢驗

比較矩陣對應(yīng)于最大特征值λmax的特征向量，經(jīng)歸一化后即為同一層次相應(yīng)指標對于上一層次某準則的相對重要性的排序權(quán)值。使用python可以很方便快捷地根據(jù)偏好矩陣計算出指標層的屬性對于上個層次的影響權(quán)重。

表1 指標層的個指標的偏好矩陣示意

之后進行一致性檢驗，基本步驟為：

通過以上流程，可以讓用戶在執(zhí)行搜索階段，利用一系列屬性的兩兩對比和重要性標度，來實現(xiàn)對每個屬性重要程度的全局判斷，并得到偏好權(quán)重向量，用作后續(xù)的加權(quán)求和排序操作。

2.基于情感分析的評分生成模型

本部分模型主要實現(xiàn)對于某一條選定的評論來說，通過對其情感詞語的褒貶感情分析，來自動生成該評論的情感評分的方法。其具體實現(xiàn)步驟為：

（1）選出將某商品N條評論中的任意一條，記做Cn。該評論由諸多漢字構(gòu)成，因此第一步我們應(yīng)用分詞工具Sharp ICTLS來對該評論進行分詞操作。具體采用的是依據(jù)字符匹配進行分詞操作的解決方案。

（2）詞性標注。在對評論進行分詞操作后，為了進行后續(xù)的情感傾向分析，需要建立短語的結(jié)構(gòu)模型，即要對句子中的名詞、動詞、形容詞等不同詞性進行標注和確認。要確定語義情感傾向，就需要對句子的結(jié)構(gòu)格式進行建模和定義。這里借鑒李永勝⑨等人的應(yīng)用的短語結(jié)構(gòu)進行分析。

（3）與情感詞庫、屬性詞庫的詞語進行比對。其中情感詞庫以知網(wǎng)的情感詞庫為準，分為褒義詞的情感詞庫和貶義詞的情感詞庫。而屬性詞庫則根據(jù)商品的屬性特征進行定義和構(gòu)建，例如“顏色”、“色彩”都是和“顏色”屬性相關(guān)的詞語，而“物流”、“快遞”、“送貨”都是和“物流”屬性相關(guān)的詞語。由于屬性詞庫具有很強的商品依賴性，所以在最初階段，需要人工建立該詞庫，并在應(yīng)用過程中不斷補充。

（4）對短語的內(nèi)容進行選取，基本原則為：先尋找評論中與屬性詞庫相匹配的詞語，確定該評論評價的是哪方面的屬性；再尋找與情感詞庫相匹配的詞語，明確該評論對于所評價屬性的感情態(tài)度。

（5）計算短語的感情價值。最終，通過分析、匹配和篩選，我們可以挑選出具有明確評價對象和明確感情色彩的短語，作為評分生成的對象。本課題參考李永勝等人⑨的做法，通過統(tǒng)計一個短語模型中表示積極和消極短語出現(xiàn)的次數(shù)。同時，為避免感情值過大或過小，使用對數(shù)函數(shù)進行處理，并對有0次出現(xiàn)的情況進行特殊處理，如下公式所示。

其中Good代表第i個短語模型中的積極感情出現(xiàn)次數(shù)，而Bad表示第i個短語模型中消極感情出現(xiàn)的次數(shù)。

到底為止，該算法實現(xiàn)了對評論中的評論對象屬性的識別、以及對短語模型的情感評分的功能。接下來，再參考用戶的個人偏好向量與短語模型的評分，最終確定排序的指標和商品的總分。

3.基于加權(quán)求和的排序推薦模型

在短語感情價值計算的基礎(chǔ)上，假設(shè)商品有n個屬性、K條評價，則通過遍歷該商品的所有評論，可以實現(xiàn)對所有n個屬性的感情評分Vi的分別計算，即得到屬性評價分數(shù)向量 ，其中：

于是在前兩個模型的基礎(chǔ)上，假設(shè)一個用戶的對商品n個屬性的偏好權(quán)重向量：

則可以得到該商品綜合所有評論的最終情感傾向評分為：

最后，通過對不同商品加權(quán)后的商品總分進行排序，就可以得到排序搜索的最終結(jié)果。

總的來說，整個算法實現(xiàn)該解決方案的流程包含以下三個步驟：

（1）在用戶執(zhí)行搜索操作時，用戶通過屬性間的對比賦值體現(xiàn)自己對商品不同屬性的重視程度，進而利用層次分析法生成用戶偏好矩陣P。之后對矩陣進行一致性檢驗，對通過一致性檢驗的偏好矩陣計算出用戶個性化的權(quán)重向量。

（2）針對單一條目的評論Cn，首先利用Sharp ICTLS分詞工具將語句劃分為短語集Rn，之后進行相應(yīng)的詞性標注?；诓煌木涫?，將短語集Rn中的名詞與屬性短語庫相對比，確定評論所描述的屬性；將Rn中的情感詞語與情感短語庫相對比分析，并根據(jù)褒義、貶義程度進行評分，形成單句情感分數(shù)。

（3）基于前兩步的方法和模型，對某商品的所有評論集合C進行篩選，凡是對某個商品屬性表示明確感情態(tài)度的短語，都存放在“相關(guān)短語集”中。對該短語集中的每個短語進行獨立評分，匯總對每個商品屬性的評分上。最終評分向量與用戶偏好權(quán)重向量進行加權(quán)求和，形成商品總分，并根據(jù)商品總分生成搜索排序結(jié)果。

五、原型系統(tǒng)的設(shè)計方案

1.研究對象的選取

我們以淘寶網(wǎng)為研究對象，以女式裙子為商品樣本，抓取了在淘寶網(wǎng)搜索“裙子”得到的默認排名前100的商品所有的評論。

進一步地，我們確定了該商品的屬性集。在這里，我們僅僅選取了5個屬性，作為原型系統(tǒng)的實現(xiàn)與功能驗證。屬性的層次分類如圖1所示。

圖1 對樣本商品的屬性層次分類

3.實驗的排序結(jié)果

對100件商品的評論進行抓取評論原始數(shù)據(jù)，對原始數(shù)據(jù)進行如第四章所描述的處理，根據(jù)分詞結(jié)果，匹配情感短語庫和人工定義的屬性短語庫，對短語進行匹配和評分。

經(jīng)過對三個典型用戶的個人偏好建模和對商品評論分析和評分生成，我們對三個用戶的商品評分進行了加權(quán)求和，并算出了最終每個商品的得分。對于5款商品，結(jié)合不同的用戶偏好最終得到了不同的排序結(jié)果，如表2所示。

表2 結(jié)合三個用戶偏好生成的五款商品評分

通過表2的結(jié)果可以看出，評分的確能夠根據(jù)不同用戶的不同偏好而有所差別。具體來說，用戶B和用戶C在前兩款產(chǎn)品，即G1和G2上評分有明顯差距。經(jīng)過對評論的仔細閱讀，發(fā)現(xiàn)G1商品的評價大多都在贊揚穿著的舒適程度和顏色的鮮艷程度，同時也有不少在抱怨物流太慢、發(fā)貨不夠及時；而G2商品的評論中，不少都在夸贊客服的耐心和細致，但也有不少評論描述了該商品的一些穿著上的缺陷可以看到，目前的原型系統(tǒng)已經(jīng)可以初步實現(xiàn)根據(jù)用戶不同的偏好類型而產(chǎn)生不同的評分和排序結(jié)果，體現(xiàn)出很好的應(yīng)用前景和潛力。然而，在目前的原型系統(tǒng)中，仍然存在以下幾個方面的問題：

（1）由于中文表述的多義性，使得有些詞語的褒貶傾向很難獨立地判斷。

（2）目前原型系統(tǒng)沒有尚沒有開發(fā)UI界面，也不能實時抓取淘寶的評論數(shù)據(jù)。

（3）目前原型系統(tǒng)的適用和體驗用戶數(shù)量十分有限，沒有得到足夠的使用情況反饋。

六、未來研究的展望

隨著電子商務(wù)的不斷繁榮，商品種類和數(shù)量的激增，消費者搜索和篩選的時間成本也會隨之增長。因此，搜索、排序和推薦功能在互聯(lián)網(wǎng)購物場景下扮演著非常重要的角色。

本研究創(chuàng)新地提出了基于用戶偏好和評論情感分析的排序和推薦方法，利用層次分析法建立用戶偏好矩陣并形成屬性權(quán)重向量；利用自然語言處理的方法進行語義情感分析，自動生成單條評論相對客觀的分數(shù)；最后將偏好權(quán)重向量與相應(yīng)屬性的所有評論分數(shù)進行加權(quán)求和，進而形成搜索排序結(jié)果。這種排序方法能夠很好地反映用戶挑選商品時的個人偏好，并將根據(jù)評論自動生成的分數(shù)作為排序的重要指標。原型系統(tǒng)的驗證結(jié)果顯示，該方法確實能夠高效、快捷的篩選出最合乎用戶心意的商品。

未來的改進之處如下：

（1）開發(fā)“網(wǎng)絡(luò)購買助手”APP或者插件，為用戶提供更多幫助。在服務(wù)用戶的同時獲取用戶的瀏覽和購買記錄，根據(jù)用戶的行為數(shù)據(jù)進行反饋驗證，對搜索排序進行不斷的優(yōu)化。

（2）需要進一步解決小眾商品的屬性提取問題，以及新上架商品的評論冷啟動問題。前者可以依靠人工打標簽的方式解決；后者可以參考現(xiàn)有評分、賣家信息、用戶特征等數(shù)據(jù)進行粗粒度推薦。

（3）可將該解決方案應(yīng)用在其他推薦場景中，例如電影推薦、餐廳推薦等。

引文：

①艾瑞咨詢.http://www.iresearch.com.cn/

②Chen M Y.Yahoo!for Amazon:Sentiment extraction from small talk on the web[J].Management Science,2007,53(9):1375-1388.

③Turney P D,Littman M L.Measuring praise and criticism:Inference of semantic orientation from association[J].ACM Transaction on Information System(TOIS),2003,21(4):315-346.

④孫文俊.圖書領(lǐng)域消費者在線評論的有用性影響因素研究[J].江蘇商論,2011(5):58-60.

⑤丁宇新,王曉龍.使用機器學(xué)習(xí)方法進行新聞的情感自動分類[J].中文信息學(xué)報,2007,21(6):95-100.

⑥朱嫣嵐,閔錦,周雅倩,等.基于HowNet的詞匯語義傾向計算[J].中文信息學(xué)報,2006,20(1):14-20.

⑦朱嫣嵐.文本情感傾向分析若干問題研究[D].復(fù)旦大學(xué),2007.

⑧郭金玉,張忠彬,孫慶云.層次分析法的研究與應(yīng)用[J].中國安全科學(xué)學(xué)報,2008,18(5):148-153.

⑨李永勝.基于淘寶網(wǎng)的用戶評價的商品推薦系統(tǒng)的設(shè)計與實現(xiàn)[D].吉林大學(xué),2015.