冉 猛 姜 瑛 向祺鑫 丁家滿(mǎn) 汪海濤

(1.云南省計(jì)算機(jī)技術(shù)應(yīng)用重點(diǎn)實(shí)驗(yàn)室 昆明 650500)(2.昆明理工大學(xué)信息工程與自動(dòng)化學(xué)院 昆明 650500)

App軟件用戶(hù)評(píng)論與評(píng)分星級(jí)一致性判斷方法*

冉 猛1,2姜 瑛1,2向祺鑫1,2丁家滿(mǎn)1,2汪海濤1,2

(1.云南省計(jì)算機(jī)技術(shù)應(yīng)用重點(diǎn)實(shí)驗(yàn)室 昆明 650500)(2.昆明理工大學(xué)信息工程與自動(dòng)化學(xué)院 昆明 650500)

由于網(wǎng)絡(luò)評(píng)論的自由性和隨意性,App軟件用戶(hù)評(píng)論與評(píng)分星級(jí)的不一致給用戶(hù)選擇App軟件帶來(lái)了困難。提出綜合分析用戶(hù)評(píng)論和評(píng)分星級(jí)二者間的關(guān)系,首先通過(guò)分析App軟件特征情感詞對(duì)的語(yǔ)法關(guān)系,結(jié)合詞典和網(wǎng)絡(luò)情感詞,量化用戶(hù)對(duì)App軟件的情感傾向程度;再計(jì)算每條評(píng)論中用戶(hù)對(duì)App軟件的綜合評(píng)分,并與評(píng)分星級(jí)進(jìn)行比較以判斷用戶(hù)評(píng)論與評(píng)分星級(jí)是否一致;最后通過(guò)實(shí)驗(yàn)驗(yàn)證了方法的有效性。

App軟件; 用戶(hù)評(píng)論; 評(píng)分星級(jí); 一致性; 特征情感詞對(duì); 網(wǎng)絡(luò)情感詞

1 引言

隨著移動(dòng)智能終端的風(fēng)靡,以Android系統(tǒng)和iOS系統(tǒng)為代表的App軟件用戶(hù)快速增加。大多數(shù)用戶(hù)在選擇App軟件之前會(huì)查看用戶(hù)評(píng)論和評(píng)分星級(jí)。然而,由于網(wǎng)絡(luò)評(píng)論的自由性,用戶(hù)評(píng)論的情感傾向程度與評(píng)分星級(jí)常常會(huì)出現(xiàn)不一致的情況。這給用戶(hù)選擇App軟件帶來(lái)了困難,因此判斷App軟件的用戶(hù)評(píng)論與評(píng)分星級(jí)是否一致成為需要解決的問(wèn)題。

用戶(hù)評(píng)論分析在商品領(lǐng)域日趨成熟,而App軟件作為一種新型體驗(yàn)型產(chǎn)品,有如下特點(diǎn):1)App軟件開(kāi)發(fā)周期短,開(kāi)發(fā)者可以通過(guò)用戶(hù)評(píng)論了解用戶(hù)需求,從而有針對(duì)性地制定開(kāi)發(fā)策略[1],以提高App軟件的質(zhì)量;2)用戶(hù)在選擇App軟件前無(wú)法通過(guò)廣告或品牌獲得該軟件的質(zhì)量[2]。目前,用戶(hù)評(píng)論分析在App軟件領(lǐng)域取得了一系列的研究成果。Gao等[3]通過(guò)從不同的App軟件用戶(hù)評(píng)論中提取主題評(píng)論,構(gòu)建主題動(dòng)態(tài)更新模型。AlQuwayfili等[4]將App軟件評(píng)論分為可信和不可信兩類(lèi)評(píng)論。上述研究主要是針對(duì)用戶(hù)評(píng)論的主題和可信度等對(duì)用戶(hù)選擇App軟件有影響,但是缺少對(duì)用戶(hù)評(píng)論和評(píng)分星級(jí)二者進(jìn)行綜合分析研究。Guzman等[5]基于貪婪聚類(lèi)算法來(lái)挖掘用戶(hù)評(píng)論信息中用戶(hù)對(duì)App軟件所持的正反態(tài)度。Harman等[6]采用實(shí)體映射和極性挖掘的方法,來(lái)判斷用戶(hù)評(píng)論對(duì)App軟件的正反態(tài)度。上述文獻(xiàn)將用戶(hù)評(píng)論的傾向劃分成正反兩個(gè)等級(jí),但是忽略了用戶(hù)評(píng)論與評(píng)分星級(jí)是否一致給用戶(hù)選擇App軟件帶來(lái)影響。

因此,本文首先提取App軟件用戶(hù)評(píng)論中的特征情感詞對(duì);然后分析App軟件特征情感詞對(duì)的語(yǔ)法關(guān)系,并計(jì)算用戶(hù)對(duì)App軟件的情感傾向的綜合評(píng)分;最后將綜合評(píng)分劃分為五個(gè)等級(jí),以判斷App軟件用戶(hù)評(píng)論與評(píng)分星級(jí)是否一致。

2 一致性判斷方法

2.1 提取App軟件特征情感詞對(duì)

目前,大多數(shù)研究通過(guò)提取用戶(hù)評(píng)論中的特征詞和情感詞來(lái)獲得用戶(hù)對(duì)產(chǎn)品特征進(jìn)行的描述。本文通過(guò)對(duì)海量的用戶(hù)評(píng)論數(shù)據(jù)進(jìn)行分析后發(fā)現(xiàn),用戶(hù)在對(duì)App軟件的評(píng)論中特征詞、情感詞和副詞具有對(duì)應(yīng)關(guān)系。例如,用戶(hù)對(duì)“微信”App軟件評(píng)論:“下載很麻煩”,其中用情感詞“麻煩”修飾特征詞“下載”,用副詞“很”修飾情感詞“麻煩”。因此,本文稱(chēng)為App軟件特征情感詞對(duì),并對(duì)其做如下定義。

定義1:App軟件特征情感詞對(duì)f=(Wh,Wd,Wa)。其中,Wh代表用戶(hù)評(píng)論中用戶(hù)關(guān)注的App軟件特征;Wa為情感詞;Wd為副詞。

為了對(duì)用戶(hù)評(píng)論與評(píng)分星級(jí)一致性進(jìn)行更好的判斷,本文在文獻(xiàn)[7]同時(shí)提取特征詞、情感詞的基礎(chǔ)上對(duì)特征詞、副詞、情感詞進(jìn)行同時(shí)提取,即提取App軟件特征情感詞對(duì)f。此外,一條用戶(hù)評(píng)論可能會(huì)涉及到多個(gè)f,其中每個(gè)f中的特征是不同的,且用戶(hù)所表達(dá)的情感傾向程度也不相同。因此,本文對(duì)App軟件特征情感詞對(duì)集做如下定義。

定義2:App軟件特征情感詞對(duì)集F={f1,f2,…,fn},其中,fi為App軟件特征情感詞對(duì),i=1,2,…,n。

2.2 計(jì)算情感傾向程度綜合評(píng)分

目前用戶(hù)的情感傾向分析主要通過(guò)基于詞典[8]和句法分析[9],然后結(jié)合挖掘算法進(jìn)行判斷。在App軟件用戶(hù)評(píng)論中,網(wǎng)絡(luò)情感詞、副詞的強(qiáng)度差異以及副詞和否定詞共現(xiàn)語(yǔ)序引起語(yǔ)義差異都會(huì)影響用戶(hù)的情感傾向程度。因此,本文從情感詞的極性詞出發(fā),基于f中Wh、Wd、Wa三者的語(yǔ)法關(guān)系,結(jié)合《知網(wǎng)》情感詞語(yǔ)料詞典和網(wǎng)絡(luò)情感詞,對(duì)情感傾向程度進(jìn)行逐級(jí)量化計(jì)算,最后再計(jì)算每條評(píng)論的綜合評(píng)分。

2.2.1 網(wǎng)絡(luò)情感詞的處理

App軟件用戶(hù)評(píng)論是一種典型的網(wǎng)絡(luò)評(píng)論,大多數(shù)用戶(hù)往往會(huì)使用網(wǎng)絡(luò)情感詞來(lái)表達(dá)對(duì)App軟件的情感傾向。例如“這就是個(gè)SB軟件”中的“SB”是名詞,對(duì)當(dāng)前App軟件表達(dá)出強(qiáng)烈的反面情感。目前,《知網(wǎng)》詞典不能識(shí)別這類(lèi)詞,但這些詞語(yǔ)又能表達(dá)用戶(hù)對(duì)App軟件的情感傾向。因此,本文建立了網(wǎng)絡(luò)情感詞語(yǔ)庫(kù),收集了諸如“SB”等App軟件用戶(hù)評(píng)論中出現(xiàn)的高頻度網(wǎng)絡(luò)情感詞共計(jì)137個(gè),并對(duì)這部分情感詞進(jìn)行權(quán)重極性的定義,計(jì)算公式如下:

F(nr)=F(nd)*F(na)

(1)

式中,F(nr)表示用戶(hù)評(píng)論中某個(gè)特征的情感傾向程度得分,F(nd)為副詞的極性參數(shù),F(na)表示網(wǎng)絡(luò)情感詞的原極性。

2.2.2 副詞及副詞和否定詞共現(xiàn)情況的處理

由于App軟件用戶(hù)評(píng)論中的副詞和否定詞對(duì)情感傾向程度量化結(jié)果有著很重要的影響,因此,本文對(duì)副詞和否定詞進(jìn)行處理?，F(xiàn)有研究中發(fā)現(xiàn),副詞存在不同的強(qiáng)度等級(jí),文獻(xiàn)[10]基于《知網(wǎng)》詞典的程度語(yǔ)料庫(kù),將副詞分為6種類(lèi)別,其中“最”和“超”兩類(lèi)的極性參數(shù)都是“1.6”,因此,本文將這兩類(lèi)進(jìn)行合并為“最”類(lèi),結(jié)果如表1所示。

表1 副詞分類(lèi)及極性參數(shù)表

對(duì)于否定詞的處理,姚天昉等[8]對(duì)否定前綴的極性處理方法是先取反,再除以2,按照該算法,“不很滿(mǎn)意”和“很不滿(mǎn)意”的情感傾向程度是一樣的。然而,這并沒(méi)有考慮否定詞和副詞共現(xiàn)時(shí)語(yǔ)序不同所引起的語(yǔ)義差異。因此,本文先根據(jù)文獻(xiàn)[10]將否定詞的極性參數(shù)設(shè)為-0.5,再將否定詞和副詞共現(xiàn)的情況分為兩種,對(duì)情感傾向程度進(jìn)行分別計(jì)算。

1) 副詞在否定詞之前,否定程度是逐漸遞增的,例如“畫(huà)面很不好”。因此,本文計(jì)算情感傾向程度量化的公式如下:

F(DNP)=-0.5*F(d)*F(a)

(2)

式中,F(DNP)表示副詞在否定詞之前的情感傾向程度得分,-0.5為否定詞的極性參數(shù),F(d)為副詞的極性參數(shù),F(a)為情感詞的原極性。

2) 否定詞在副詞之前,這種情況是把原來(lái)的程度降低,例如:“畫(huà)面不很好”和“畫(huà)面相對(duì)好”,這兩句表達(dá)的情感傾向程度大體相同,在語(yǔ)義上是能夠相互推衍的[11]。因此,本文將這種情況的否定詞極性參數(shù)設(shè)置為表1中“欠”類(lèi)的極性參數(shù),計(jì)算公式如下:

F(NDP)=0.6*F(d)*F(a)

(3)

式中,F(NDP)表示否定詞在副詞之前的情感傾向程度得分,0.6為否定詞極性參數(shù)。

2.2.3 量化情感傾向程

由于用戶(hù)對(duì)App軟件特征評(píng)論的情感傾向程度由副詞、否定詞、情感詞共同決定,因此,接下來(lái)將計(jì)算App軟件用戶(hù)評(píng)論信息中情感傾向程度的量化結(jié)果,計(jì)算公式如下:

F(or)=F(oa)*F(od)*F(on)

(4)

式中,F(oa)為情感詞的原極性,F(od)為副詞的極性參數(shù),F(on)為否定詞的極性參數(shù)。當(dāng)副詞或否定詞為空時(shí),極性參數(shù)設(shè)為1;當(dāng)副詞和否定詞共現(xiàn)時(shí),則根據(jù)式(2)和式(3)進(jìn)行計(jì)算。

2.2.4 計(jì)算綜合評(píng)分

用戶(hù)對(duì)App軟件的情感傾向程度由F中的綜合評(píng)分來(lái)決定。然而,F中每個(gè)f中用戶(hù)所表達(dá)的情感傾向程度是有差異的。因此,為了對(duì)用戶(hù)評(píng)論與評(píng)分星級(jí)進(jìn)行更準(zhǔn)確的一致性判斷,需要對(duì)F中多個(gè)f的情感傾向程度進(jìn)行綜合量化計(jì)算。情感傾向程度的綜合評(píng)分計(jì)算公式如下:

(5)

式中,F(ri)表示用戶(hù)評(píng)論中對(duì)第i個(gè)特征評(píng)論的情感傾向程度得分,F(ri)包含F(xiàn)(nr)、F(or)等情況,n表示F中f的個(gè)數(shù)。計(jì)算情感傾向程度綜合評(píng)分流程圖如圖1所示。

2.3 劃分綜合評(píng)分等級(jí)

通過(guò)2.2節(jié)中分析,可以計(jì)算出F(O)的取值范圍是[-1.6,+1.6],因?yàn)閺谋?中可以看出極性參數(shù)的最大值是1.6,正面、反面情感詞的極性分別為+1、-1,且本文中的否定副詞極性參數(shù)為-0.5。所以5星中最大取值為1.6*1=1.6;4星的最大取值為1,最小值為-1*(-0.5)=0.5,即5星的取值區(qū)間為(1,1.6],4星的取值區(qū)間為[0.5,1]。綜合評(píng)分等級(jí)劃分區(qū)間如表2所示。

圖1 計(jì)算情感傾向程度綜合評(píng)分流程圖

表2 綜合評(píng)分等級(jí)劃分表

3 實(shí)驗(yàn)結(jié)果及分析

3.1 數(shù)據(jù)來(lái)源及處理

為了驗(yàn)證本文方法的有效性,從安卓電子市場(chǎng)隨機(jī)抓取了7大類(lèi)29個(gè)App軟件的21371條用戶(hù)評(píng)論信息,并據(jù)此建立了App軟件用戶(hù)評(píng)論庫(kù),部分信息如表3所示。

表3 App軟件用戶(hù)評(píng)論(部分)

由表3可以看出,雖然有的用戶(hù)給App軟件打的評(píng)分星級(jí)很高,但是用戶(hù)評(píng)論中表達(dá)出來(lái)的情感傾向卻是負(fù)面態(tài)度。因此,用戶(hù)評(píng)論與評(píng)分星級(jí)確實(shí)存在不一致的情況。本文使用ICTCLAS 2016作為數(shù)據(jù)預(yù)處理的工具,并提取了App軟件特征情感詞對(duì),部分?jǐn)?shù)據(jù)處理結(jié)果如表4所示。

表4 數(shù)據(jù)處理結(jié)果(部分)

3.2 實(shí)驗(yàn)結(jié)果及分析

針對(duì)以上實(shí)驗(yàn)數(shù)據(jù),運(yùn)用本文方法對(duì)App軟件用戶(hù)評(píng)論與評(píng)分星級(jí)進(jìn)行了一致性判斷。為了判斷方法的有效性,本文邀請(qǐng)了一些App軟件用戶(hù)對(duì)用戶(hù)評(píng)論與評(píng)分星級(jí)的一致性進(jìn)行了人工標(biāo)注。部分判斷結(jié)果如表5所示。

由實(shí)驗(yàn)可以得出,用戶(hù)評(píng)論與評(píng)分星級(jí)一致的評(píng)論平均僅有39.25%,各類(lèi)App軟件的判斷結(jié)果如圖2所示。其中,“社交”類(lèi)僅有30.82%?？梢?jiàn),當(dāng)前的App軟件用戶(hù)評(píng)論中,大部分用戶(hù)評(píng)論與評(píng)分星級(jí)是不一致的。

表5 一致性判斷結(jié)果(部分)

圖2 App軟件用戶(hù)評(píng)論與評(píng)分星級(jí)一致性結(jié)果

通過(guò)與人工標(biāo)注進(jìn)行比較,本文方法判斷結(jié)果的準(zhǔn)確率平均為79.07%,相關(guān)結(jié)果如表6所示。

表6 本文方法判斷結(jié)果的準(zhǔn)確率

由表6可以看出,“資訊”類(lèi)的用戶(hù)評(píng)論準(zhǔn)確率最低,為76.56%,該類(lèi)一致性判斷結(jié)果如圖3所示,這類(lèi)App軟件評(píng)分星級(jí)中2星和1星的準(zhǔn)確率偏低,僅有57.14%和59.80%,這種現(xiàn)象在7類(lèi)App軟件中均存在。

通過(guò)分析,主要由兩類(lèi)原因?qū)е?一是用戶(hù)如果對(duì)App軟件不滿(mǎn)意,就會(huì)在發(fā)表評(píng)論時(shí)說(shuō)一些罵人的錯(cuò)別字,在進(jìn)行分詞和情感傾向程度量化時(shí),分詞工具和算法均不能識(shí)別這些錯(cuò)別字,從而影響了判斷結(jié)果的準(zhǔn)確率;二是目前收集的網(wǎng)絡(luò)情感詞不夠全面,導(dǎo)致在量化情感傾向程度時(shí)不夠準(zhǔn)確,從而影響了用戶(hù)評(píng)論與評(píng)分星級(jí)一致性的準(zhǔn)確性。

圖3 “資訊”類(lèi)用戶(hù)評(píng)論與評(píng)分星級(jí)一致性判斷結(jié)果的準(zhǔn)確率

4 結(jié)語(yǔ)

本文提出了用戶(hù)評(píng)論的一致性判斷方法。該方法通過(guò)分析App軟件特征情感詞對(duì)的語(yǔ)法關(guān)系,結(jié)合詞典和網(wǎng)絡(luò)情感詞,量化用戶(hù)對(duì)App軟件的情感傾向程度,以計(jì)算每條評(píng)論中用戶(hù)對(duì)App軟件的綜合評(píng)分,并與用戶(hù)評(píng)分星級(jí)中的五個(gè)等級(jí)進(jìn)行比較,從而判斷用戶(hù)評(píng)論與評(píng)分星級(jí)是否一致。實(shí)驗(yàn)證明了該方法的有效性,為了進(jìn)一步提高方法的準(zhǔn)確性,下一步將在App軟件特征情感詞對(duì)提取、網(wǎng)絡(luò)情感詞的收集等方面進(jìn)行深入研究。

[1] Lin Hao, Li X, Tan Y, et al. The economic role of rating behavior in third-party application market[C]//International Conference on Information Systems,2011:26.

[2] 劉洋,廖貅武,劉瑩.在線(xiàn)評(píng)論對(duì)應(yīng)用軟件及平臺(tái)定價(jià)策略的影響[J].系統(tǒng)工程學(xué)報(bào),2014,29(4):560-570.

LIU Yang, LIAO Xiuwu, LIU Ying. The impact of online comment on software and platform’s pricing strategies[J]. Journal of Systems Engineering,2014,29(4):560-570.

[3] Gao C, Xu H, Hu J, et al. AR-Tracker: Track the Dynamics of Mobile Apps via User Review Mining[C]//Service-Oriented System Engineering(SOSE), 2015 IEEE Symposium on. IEEE,2015:284-290.

[4] AlQuwayfili N, AlRomi N, AlZakari N, et al. Towards classifying applications in mobile phone markets: The case of religious apps[C]//Current Trends in Information Technology(CTIT), 2013 International Conference on. IEEE,2013:177-180.

[5] Guzman E, Maalej W. How do users like this feature? a fine grained sentiment analysis of app reviews[C]//Requirements Engineering Conference(RE), 2014 IEEE 22nd International. IEEE,2014:153-162.

[6] Harman M, Jia Y, Zhang Y. App store mining and analysis: MSR for app stores[C]//Proceedings of the 9th IEEE Working Conference on Mining Software Repositories. IEEE Press,2012:108-111.

[7] 扈中凱,鄭小林,吳亞峰,等.基于用戶(hù)評(píng)論挖掘的產(chǎn)品推薦算法[J].浙江大學(xué)學(xué)報(bào):工學(xué)版,2013,47(8):1475-1485. HU Zhongkai, ZHENG Xiaolin, WU Yafeng, et al. Product recommendation algorithm based on users’ comments mining[J]. Journal of Zhejiang University(Engineering Science),2013,47(8):1475-1485.

[8] 姚天昉,婁德成.漢語(yǔ)語(yǔ)句主題語(yǔ)義傾向分析方法的研究[J].中文信息學(xué)報(bào),2007,21(5):73-79. YAO Tianfang, LOU Decheng. Research on semantic orientation analysis for topics in Chinese sentences[J]. Journal of Chinese Information Procession,2007,21(5):73-79.

[9] 馮時(shí),付永陳,陽(yáng)鋒,等.基于依存句法的博文情感傾向分析研究[J].計(jì)算機(jī)研究與發(fā)展,2012,49(11):2395-2406. FENG Shi, FU Yongchen, YANG Fen, et al. Blog Sentiment Orientation Analysis Based on Dependency Parsing[J]. Journal of Computer Research and Development,2012,49(11):2395-2406.

[10] 林欽和.基于情感計(jì)算的商品評(píng)價(jià)分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].上海:復(fù)旦大學(xué),2013. LIN Qinhe. Design and Implementation of the Product Comments Analysis System Based on Affective Computing[D]. Shanghai: Fudan University,2013.

[11] 尹洪波.否定詞與副詞共現(xiàn)的句法語(yǔ)義研究[D].北京:中國(guó)社會(huì)科學(xué)院研究生院,2008. YIN Hongbo. Research on Syntax and Semantics for Co-occurring of Negatives and Adverbs[D]. Beijing: Graduate School of Chinese Academy of Social Sciences,2008.

Consistency Judgment Method Between User’s Comment and User’s Mark for App Software

RAN Meng1,2JIANG Ying1,2XIANG Qixin1,2DING Jiaman1,2WANG Haitao1,2

(1. Yunnan Key Lab of Computer Technology Application, Kunming 650500)(2. Faculty of Information Engineering and Automation, Kunming University of Science and Technology, Kunming 650500)

Due to the freedom and randomness of the network comments, the inconsistence between the user’s comment and user’s mark of App software makes it difficult to choose App software. This paper presents a method by analyzing the relationships among user’s comment and user’s mark. Firstly, through analyzing the grammar relationships in App software’s feature-sentiment-word-pairs, the user’s emotional tendency about App software is quantified combining with the dictionary and the network sentiment words. After calculating the user’s comprehensive score of App software, the consistency of App software user’s comment is judged by comparing this score and the user’s mark. Finally, experimental results show that the method is effective.

App software, user’s comment, user’s mark, consistency, feature-sentiment-word-pairs, network sentiment word Class Number TP311

2016年10月3日,

2016年11月26日

國(guó)家自然科學(xué)基金(編號(hào):60703116,61063006,61462049);云南省應(yīng)用基礎(chǔ)研究計(jì)劃項(xiàng)目(編號(hào):2013FZ020)資助。

冉猛,男,碩士研究生,研究方向:軟件工程、大數(shù)據(jù)分析。姜瑛,女,博士,教授,研究方向:軟件工程、大數(shù)據(jù)分析等。向祺鑫,男,碩士研究生,研究方向:軟件工程、軟件質(zhì)量保證與測(cè)試。丁家滿(mǎn),男,碩士,副教授,研究方向:軟件工程、云計(jì)算。汪海濤,女,碩士,高級(jí)工程師,研究方向:軟件工程。

TP311

10.3969/j.issn.1672-9722.2017.04.021