李 鼎

(西安航空學(xué)院 人事處，西安 710077)

0 引言

隨著互聯(lián)網(wǎng)的飛速發(fā)展，尤其是自媒體(如微博、論壇、貼吧、社區(qū)等)的出現(xiàn)，改變了傳統(tǒng)媒體一枝獨(dú)秀的局面。傳統(tǒng)媒體是通過(guò)廣播形式向用戶單方向傳播信息，而現(xiàn)代互聯(lián)網(wǎng)媒體時(shí)代，人們不僅是信息的被動(dòng)消費(fèi)者，更多的則是信息的生產(chǎn)者，人們主動(dòng)參與網(wǎng)絡(luò)互動(dòng)，比如就某一話題發(fā)表自己的觀點(diǎn)，參與時(shí)事討論等。隨著網(wǎng)民數(shù)量的急劇攀升，隨之而來(lái)的是海量數(shù)據(jù)的產(chǎn)生。能夠快速地從網(wǎng)絡(luò)海量信息中提取出網(wǎng)民的情感傾向，及時(shí)掌握網(wǎng)民對(duì)某一事件的態(tài)度和看法，已經(jīng)成為重要的研究課題。

現(xiàn)今的網(wǎng)絡(luò)數(shù)據(jù)來(lái)源多樣，我們可以通過(guò)諸如新浪微博、大秦論壇、百度貼吧等主流社交媒體獲得針對(duì)特定話題的語(yǔ)料信息，并對(duì)其進(jìn)行整理分析，從中得到有用的信息加以利用。然而，現(xiàn)存的情感分析技術(shù)存在著這樣或那樣的缺點(diǎn)，基于文本的情感分析方法往往對(duì)于特殊場(chǎng)景的判斷不準(zhǔn)確；基于機(jī)器學(xué)習(xí)的情感分析方法往往需要大量豐富的數(shù)據(jù)集，準(zhǔn)確率難以得到保證。

本文基于這樣的現(xiàn)實(shí)背景，研究了一種提高情感分類準(zhǔn)確率的方法，使情感分析的結(jié)果更加準(zhǔn)確。

1 情感分析方法研究

1.1 基于正向、負(fù)向和中性的情感詞典情感分析方法研究

采用五組不同的數(shù)據(jù)文本進(jìn)行實(shí)驗(yàn)，數(shù)據(jù)來(lái)源于新浪微博、大秦論壇等知名微博和論壇，每組1000條數(shù)據(jù)。經(jīng)過(guò)程序自動(dòng)運(yùn)行結(jié)果和手工標(biāo)注不同數(shù)據(jù)組的結(jié)果進(jìn)行比較，對(duì)于不同數(shù)據(jù)組，使用基于情感詞典[1]的情感分析方法進(jìn)行情感分析[2-3]得到的結(jié)果準(zhǔn)確率如圖1所示。

圖1不同數(shù)據(jù)組情感分析準(zhǔn)確率表示

由圖1可以看出，第一組、第二組、第四組和第五組的實(shí)驗(yàn)準(zhǔn)確率都在50%左右，而第三組的準(zhǔn)確率卻高出了很多，達(dá)到了65%。第三組數(shù)據(jù)是從網(wǎng)上下載的評(píng)論集中抽取的數(shù)據(jù)，而其他數(shù)據(jù)都是爬蟲(chóng)抓取的網(wǎng)絡(luò)數(shù)據(jù)。本文基于情感詞典的情感分析算法，采用切詞后對(duì)于得到的詞組進(jìn)行關(guān)鍵字匹配，并結(jié)合詞性權(quán)重分配的方法實(shí)現(xiàn)，究其原因應(yīng)該是網(wǎng)絡(luò)評(píng)論集合中的評(píng)論句式不像爬蟲(chóng)抓取的網(wǎng)絡(luò)數(shù)據(jù)那么雜亂無(wú)章，用到的評(píng)論詞傾向性比較明顯，大部分評(píng)論句式符合情感算法中考慮到的情況，所以準(zhǔn)確率相對(duì)提高了很多。然而對(duì)于網(wǎng)絡(luò)爬蟲(chóng)抓取到的普通數(shù)據(jù)，往往雜亂無(wú)章，用戶的遣詞用句并不是特別嚴(yán)謹(jǐn)準(zhǔn)確，所以很多句子并不滿足情感算法設(shè)計(jì)的句子結(jié)構(gòu)，因此準(zhǔn)確率較低。從結(jié)果來(lái)看，使用本文實(shí)現(xiàn)的基于情感詞典的情感分析算法對(duì)于網(wǎng)絡(luò)爬蟲(chóng)抓取到的數(shù)據(jù)進(jìn)行分析，準(zhǔn)確率較低，需要進(jìn)一步改進(jìn)。因此考慮到使用情感詞典構(gòu)建相關(guān)數(shù)據(jù)集的情感特征，并結(jié)合機(jī)器學(xué)習(xí)算法作為分類器進(jìn)行情感分類，看能否提高分析準(zhǔn)確率。

1.2 基于正向、負(fù)向和中性的機(jī)器學(xué)習(xí)情感分析方法的研究

在基于機(jī)器學(xué)習(xí)的情感分析方法研究中，選擇研究KNN[4-6]和SVM[7-9]情感分析方法，實(shí)驗(yàn)采用數(shù)據(jù)集包含且大于1-1數(shù)據(jù)集，并進(jìn)行初步的人工篩選[10-11]。篩選過(guò)程包括以下方面。

(1)過(guò)濾掉其中噪音較大的文檔。這里的噪音指的是句子中含有太多二義詞，或者文檔中有太多詞語(yǔ)的含義上下文相關(guān)。由于噪音過(guò)大會(huì)導(dǎo)致分類準(zhǔn)確率下降嚴(yán)重，故在此選擇中去除這部分文檔。

(2)剔除其中字?jǐn)?shù)極少的文檔。文檔中的字?jǐn)?shù)過(guò)少，比如只有一個(gè)字，這會(huì)導(dǎo)致對(duì)其通過(guò)向量空間模型后，向量表示中絕大部分維度的值為零，引起向量稀疏的問(wèn)題，導(dǎo)致分類的準(zhǔn)確率下降。

(3)再進(jìn)行人工標(biāo)注文檔類別，要求標(biāo)注的質(zhì)量必須較高，即人工判定的準(zhǔn)確率要較高，以免引起過(guò)大的人工誤差。

最后，在實(shí)驗(yàn)中，通過(guò)TF-IDF等文本向量化方法對(duì)標(biāo)注過(guò)后的文檔進(jìn)行向量空間建模，得出表示文檔的文檔向量。實(shí)驗(yàn)中得到文檔向量如圖2所示。

圖2實(shí)驗(yàn)文檔的向量空間模型表示

需要說(shuō)明的是，由于篇幅有限，且為了將文檔向量表現(xiàn)清楚，實(shí)驗(yàn)中過(guò)濾掉了向量計(jì)算中后面所有維值為零的那些維度，圖2中就展示了這種處理。然而在實(shí)際計(jì)算中，必須將所有向量統(tǒng)一維度，以方便后續(xù)計(jì)算處理，不夠維度的需補(bǔ)上在前期處理中故意略去的零值。

從不同訓(xùn)練數(shù)據(jù)集和不同訓(xùn)練數(shù)據(jù)量?jī)煞矫孢M(jìn)行基于機(jī)器學(xué)習(xí)的情感分析方法研究，因?yàn)橛?xùn)練數(shù)據(jù)對(duì)于機(jī)器學(xué)習(xí)方法影響較大，首先研究不同訓(xùn)練數(shù)據(jù)量下KNN和SVM情感分析方法的準(zhǔn)確率，實(shí)驗(yàn)選擇同一組數(shù)據(jù)集進(jìn)行準(zhǔn)確率檢測(cè)。如圖3所示。

圖3不同訓(xùn)練數(shù)據(jù)量KNN和SVM情感分類準(zhǔn)確率

由圖3可以看出，隨著訓(xùn)練數(shù)據(jù)量的增大，KNN和SVM的準(zhǔn)確率都有明顯提高。在數(shù)據(jù)量小于10000時(shí)，KNN的準(zhǔn)確率稍好于SVM，且在數(shù)據(jù)量較小時(shí)，KNN的比較速度相對(duì)較快，效率更高。但隨著訓(xùn)練數(shù)據(jù)量的增加，SVM的準(zhǔn)確率提升更明顯。在訓(xùn)練數(shù)據(jù)量達(dá)到40000時(shí)，兩者準(zhǔn)確率幾乎一樣；而在訓(xùn)練數(shù)據(jù)量到達(dá)50000時(shí)，SVM的準(zhǔn)確率明顯高于KNN。由此得出結(jié)論：從準(zhǔn)確率和效率兩方面綜合考慮，在訓(xùn)練數(shù)據(jù)量小于10000時(shí)，KNN效果明顯好于SVM；在訓(xùn)練數(shù)據(jù)量大于50000時(shí)，SVM的效果明顯好于KNN。訓(xùn)練數(shù)據(jù)量在10000到50000，兩者準(zhǔn)確率相差不大，隨著訓(xùn)練數(shù)據(jù)量增大，SVM準(zhǔn)確率穩(wěn)步提高，而KNN準(zhǔn)確率提高的速度逐漸變緩。在此提出可將KNN和SVM的結(jié)果做線性結(jié)合看能否提高準(zhǔn)確率，而且隨著訓(xùn)練數(shù)據(jù)的增加，SVM占的比重應(yīng)該逐漸增大。

其次，使用不同的數(shù)據(jù)集來(lái)進(jìn)行情感分析算法的準(zhǔn)確率檢測(cè)。在此使用50000條訓(xùn)練數(shù)據(jù)得出的KNN和SVM情感分析方法對(duì)五組數(shù)據(jù)進(jìn)行傾向性分析，并檢測(cè)其準(zhǔn)確率，如圖4所示。

由圖4可以看出，使用SVM方法對(duì)不同數(shù)據(jù)組進(jìn)行情感分析，準(zhǔn)確率在64%到70%之間，平均在68%左右，比較穩(wěn)定。使用KNN方法對(duì)不同數(shù)據(jù)組進(jìn)行情感分析，準(zhǔn)確率在62%到百分之69%之間，平均在65%左右，也比較穩(wěn)定。說(shuō)明機(jī)器學(xué)習(xí)方法在本文不同數(shù)據(jù)集上的情感分類準(zhǔn)確率較為穩(wěn)定。

圖4不同數(shù)據(jù)組情感分析準(zhǔn)確率表示

2 改進(jìn)方法研究

使用情感詞典進(jìn)行文本的情感分析，其主要特點(diǎn)是對(duì)文本的情感分析直接作用在了詞語(yǔ)的傾向性上，粒度細(xì)，分析精準(zhǔn)，但同時(shí)也受到了自然語(yǔ)言處理技術(shù)的限制，尤其是受到漢語(yǔ)中某些詞語(yǔ)的意思上下文影響較大的困擾，比如在一句話中某個(gè)詞語(yǔ)所表達(dá)的意思可能到另一句話中卻完全相反，這就增大了這種分析方法的誤差和難度。因此，總體來(lái)說(shuō)，基于情感詞典的情感分析效果一般。然而漢語(yǔ)的句式變化多樣，很難把各種句式的表現(xiàn)形式都做出相應(yīng)的情感分析方法[12]。因此，對(duì)于符合基本句式的句子使用情感詞典分析方法，對(duì)于不符合基本句式的句子則使用機(jī)器學(xué)習(xí)情感分析方法，最終使用情感詞典與機(jī)器學(xué)習(xí)相結(jié)合的方法得出文本的情感傾向。

在機(jī)器學(xué)習(xí)方法的研究[13]中，KNN算法是一種無(wú)監(jiān)督的機(jī)器學(xué)習(xí)方法，具有領(lǐng)域無(wú)關(guān)性的特點(diǎn)，這對(duì)于跨領(lǐng)域的數(shù)據(jù)分類是個(gè)很好優(yōu)勢(shì)，然而其只是單純依靠向量間的相似程度進(jìn)行分類，沒(méi)有統(tǒng)計(jì)信息，而且初始化簇中心采用隨機(jī)的方式很容易造成誤差，這就導(dǎo)致KNN分類算法的準(zhǔn)確率不是很高。而SVM需要進(jìn)行模型訓(xùn)練，是一種有監(jiān)督的機(jī)器學(xué)習(xí)方法，具有統(tǒng)計(jì)特性，且具備領(lǐng)域相關(guān)性，但對(duì)于未在訓(xùn)練文本中出現(xiàn)的特征難以納入訓(xùn)練后的模型文件，也就是說(shuō)其預(yù)測(cè)準(zhǔn)確率十分依賴于訓(xùn)練樣本，訓(xùn)練樣本的質(zhì)量和覆蓋率會(huì)很大程度上影響到SVM的預(yù)測(cè)準(zhǔn)確率，因此會(huì)出現(xiàn)預(yù)測(cè)不準(zhǔn)的問(wèn)題。由此可見(jiàn)，單純使用一種機(jī)器學(xué)習(xí)方法分析難以得到十分高的準(zhǔn)確率，將KNN和SVM兩種方法相結(jié)合是一種提高情感分析準(zhǔn)確率的可選方案。

KNN基本沒(méi)有訓(xùn)練時(shí)間，采用一個(gè)新的樣本記住就可以了。但預(yù)測(cè)時(shí)間卻可能需要很久。如果一路上記了100萬(wàn)個(gè)樣本，那就要和100萬(wàn)個(gè)樣本算距離，再排序出前K個(gè)最近的樣本，即使用堆排序或者其他改進(jìn)過(guò)的排序算法，只在乎前k個(gè)順序不再往下排序，也還是需要k*log(n)數(shù)量級(jí)的排序運(yùn)算，特別是預(yù)測(cè)大量樣本之后的樣例。

SVM訓(xùn)練時(shí)間相對(duì)久一些，不過(guò)是在可接受的時(shí)間內(nèi)。預(yù)測(cè)時(shí)需要對(duì)所有訓(xùn)練樣本做核函數(shù)運(yùn)算，雖然不能在很短的時(shí)間內(nèi)計(jì)算出結(jié)果，但計(jì)算時(shí)間也在可接受范圍內(nèi)。另外，由于核函數(shù)的存在，有足夠量的大數(shù)據(jù)，預(yù)測(cè)精度會(huì)稍高一些。

基于以上的實(shí)驗(yàn)研究，本文通過(guò)研究各種情感分析方法的優(yōu)缺點(diǎn)，使用情感詞典方法以及KNN和SVM相結(jié)合的方式進(jìn)行情感分類，結(jié)合兩者的優(yōu)點(diǎn)，摒棄各自的缺點(diǎn)，將兩者優(yōu)化使用，以期提高情感分類的準(zhǔn)確率。然而這就涉及到兩者之間的加權(quán)方法，本文采用以下公式來(lái)計(jì)算兩者加權(quán)后的文本情感標(biāo)簽。計(jì)算公式如下：

EEE=σE1+(1-σ)E2

(1)

式中,E表示文檔的分類后加權(quán)值；E1表示基于SVM算法得到的分類標(biāo)簽；E2表示基于KNN算法得到的分類標(biāo)簽；σ表示加權(quán)系數(shù)。

通過(guò)以上分析，確定了結(jié)合KNN和SVM的加權(quán)公式，然而，公式中的參數(shù)加權(quán)因子 的取值還未知，結(jié)合上一節(jié)對(duì)情感分析算法準(zhǔn)確率的研究，并且考慮到KNN以及SVM的優(yōu)缺點(diǎn)，采用分段線性結(jié)合的方法改進(jìn)情感分類方法。當(dāng)訓(xùn)練數(shù)據(jù)量小于10000條時(shí)σ取0，即使用KNN的方法進(jìn)行情感分類，因?yàn)镵NN基本沒(méi)有訓(xùn)練時(shí)間，采用一個(gè)新的樣本記住就可以了，數(shù)據(jù)量較小時(shí)預(yù)測(cè)也會(huì)較快。而SVM在數(shù)據(jù)量較小時(shí)準(zhǔn)確率較低，而且訓(xùn)練時(shí)間相對(duì)久一些。當(dāng)數(shù)據(jù)量大于50000條時(shí)σ取1，即使用SVM的方法進(jìn)行情感分類，因?yàn)閿?shù)據(jù)量較大時(shí)，使用SVM方法的準(zhǔn)確率會(huì)稍高一些，而且預(yù)測(cè)時(shí)間會(huì)比使用KNN方法快。當(dāng)數(shù)據(jù)量在10000到50000之間，σ取(n-10000)/50000，這里n為訓(xùn)練數(shù)據(jù)量，即隨著數(shù)據(jù)量的增加，SVM方法的比重逐漸增大，KNN方法的比重逐漸減小。

公式(1)通過(guò)對(duì)KNN和SVM各自得出的分類標(biāo)簽進(jìn)行加權(quán)計(jì)算，結(jié)合兩個(gè)方法判斷出最終的結(jié)果分類，得出分類后的加權(quán)值E是一個(gè)小數(shù)，還無(wú)法判斷最終結(jié)果分類標(biāo)簽，這就需要進(jìn)行下一步處理。

計(jì)算得出分類后的標(biāo)簽值E后，由于E是小數(shù)，于是本文采用二次處理，再次根據(jù)公式(2)計(jì)算每個(gè)情感類別的類別標(biāo)簽和E的一緯歐式距離：

Distance(i)=||Labeli,E| |=|Labeli-E| (2)

Distancemin=mini(Distance(i) (3)

式中，Distance(i) 表示類別標(biāo)簽與加權(quán)后標(biāo)簽的距離；Labeli表示情感類別標(biāo)簽；E表示KNN和SVM分類結(jié)果加權(quán)后的標(biāo)簽值。

得出Distance(i)后，由于結(jié)果必然為正數(shù)，這時(shí)我們可以采用比較Distance(i)與每個(gè)類別標(biāo)簽距離的相對(duì)大小來(lái)進(jìn)行類別指定，即如果算出的Distance(i)是所有E與類別標(biāo)簽距離中的最小值，則將結(jié)果標(biāo)簽賦值為i。本文根據(jù)公式(3)得到最小距離的類別標(biāo)簽作為文檔的情感分類標(biāo)簽，因?yàn)樵谶@些距離中一定存在最小值，因此結(jié)果分類標(biāo)簽必然是唯一的。

3 改進(jìn)后的情感分析方法準(zhǔn)確率

經(jīng)過(guò)程序自動(dòng)運(yùn)行結(jié)果和手工標(biāo)注的結(jié)果進(jìn)行比較，得出不同訓(xùn)練數(shù)量不同的方法準(zhǔn)確率變化，如圖5所示。

圖5分類準(zhǔn)確率變化圖

顯然，由圖5可以看出，在訓(xùn)練數(shù)據(jù)量較少時(shí)，機(jī)器學(xué)習(xí)方法的準(zhǔn)確率較低，而情感詞典的方法可以適當(dāng)彌補(bǔ)機(jī)器學(xué)習(xí)方法準(zhǔn)確率較低的問(wèn)題，提高準(zhǔn)確率。而隨著訓(xùn)練數(shù)據(jù)量的增加，其準(zhǔn)確率得到相應(yīng)提升，在訓(xùn)練數(shù)據(jù)量在10000到50000之間時(shí)，將SVM和KNN方法線性結(jié)合，相比于單獨(dú)使用KNN或者SVM方法，提高了機(jī)器學(xué)習(xí)方法準(zhǔn)確率3-4個(gè)百分點(diǎn)。同時(shí)結(jié)合基于情感詞典的情感分析方法，相比于單獨(dú)使用KNN或者SVM方法準(zhǔn)確率提高了5-6個(gè)百分點(diǎn)。當(dāng)數(shù)據(jù)量到達(dá)50000時(shí)，SVM的準(zhǔn)確率達(dá)到了較好的效果，同時(shí)與基于情感詞典的方法相結(jié)合，相比于單獨(dú)使用KNN或者SVM方法準(zhǔn)確率仍提高2個(gè)百分點(diǎn)。實(shí)驗(yàn)結(jié)果表明，使用情感詞典以及SVM和KNN加權(quán)方式比單獨(dú)使用SVM和KNN方法得到的準(zhǔn)確率有一定提升。

4 改進(jìn)前后對(duì)比

實(shí)驗(yàn)表明，本實(shí)驗(yàn)較單獨(dú)使用領(lǐng)域無(wú)關(guān)性的KNN分類器所得到的準(zhǔn)確率平均提升達(dá)到4個(gè)百分點(diǎn)，提升效果明顯。

實(shí)驗(yàn)表明，本實(shí)驗(yàn)的分類準(zhǔn)確率較單獨(dú)使用SVM進(jìn)行訓(xùn)練預(yù)測(cè)的分類準(zhǔn)確率平均提升為3個(gè)百分點(diǎn)。

綜上所述，本文提出的結(jié)合情感詞典以及SVM和KNN加權(quán)方式來(lái)進(jìn)行情感分類的方式是有效的，在分類準(zhǔn)確率方面，比單獨(dú)使用SVM和KNN提升效果明顯。

結(jié)合實(shí)驗(yàn)結(jié)果，筆者對(duì)本文提出的結(jié)合情感詞典以及SVM和KNN加權(quán)方式的改進(jìn)方法使準(zhǔn)確率得以提升的理論原因進(jìn)行分析，本文認(rèn)為準(zhǔn)確率提升的理由有以下方面。

(1)由于SVM是基于統(tǒng)計(jì)學(xué)習(xí)理論的分類方法，在預(yù)測(cè)前必須進(jìn)行模型的訓(xùn)練。然而，對(duì)于未在訓(xùn)練樣本中出現(xiàn)的特征便在訓(xùn)練結(jié)束后的模型中沒(méi)有體現(xiàn)。當(dāng)進(jìn)行預(yù)測(cè)時(shí)，如果出現(xiàn)模型中未出現(xiàn)的特征時(shí)，很大概率上會(huì)出現(xiàn)預(yù)測(cè)失敗，這就是單獨(dú)使用SVM時(shí)準(zhǔn)確率得不到提高的一個(gè)重要原因。而KNN沒(méi)有訓(xùn)練過(guò)程，不依賴已經(jīng)有的統(tǒng)計(jì)信息，恰好彌補(bǔ)了SVM的缺點(diǎn)。

(2)由于KNN是單純依賴文檔向量間的相似度距離來(lái)進(jìn)行文檔的分類，并且在做初始化簇心時(shí)采用隨機(jī)算法來(lái)進(jìn)行指定，這直接導(dǎo)致了分類結(jié)果的無(wú)法預(yù)測(cè)和準(zhǔn)確率的低下。而SVM沒(méi)有隨機(jī)化的過(guò)程，恰好彌補(bǔ)了KNN的部分缺點(diǎn)。

(3)在本文提出的加權(quán)公式中，可以通過(guò)加權(quán)系數(shù)的變化進(jìn)而調(diào)整SVM和KNN在分類方面的貢獻(xiàn)率，因此可以通過(guò)實(shí)驗(yàn)獲得比較理想的加權(quán)系數(shù)，得到最好的分類效果，并且將SVM和KNN相結(jié)合提高分類的準(zhǔn)確率。

(4)由于漢語(yǔ)句式的特殊性，能夠滿足情感詞典情感分析算法的簡(jiǎn)單句式，因此通過(guò)情感詞典算法分析出的情感值會(huì)比較準(zhǔn)確，所以，采用情感詞典、KNN和SVM三者結(jié)合進(jìn)行情感分類的方法，可以使情感分析的準(zhǔn)確率明顯提高。

5 結(jié)語(yǔ)

本文通過(guò)對(duì)采用情感詞典的情感分析方法以及基于機(jī)器學(xué)習(xí)的情感分析方法的情感分析準(zhǔn)確率的研究，發(fā)現(xiàn)使用傳統(tǒng)情感分析方法準(zhǔn)確率較低，分析其可能存在的原因后提出了結(jié)合情感詞典、KNN和SVM來(lái)進(jìn)行情感分類的方法，并提出KNN和SVM兩者的加權(quán)公式，然后對(duì)改進(jìn)的方法通過(guò)大量實(shí)驗(yàn)來(lái)檢測(cè)其效果。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的情感分析方法相比于單獨(dú)使用KNN或者SVM方法準(zhǔn)確率提高5%，因此通過(guò)情感詞典以及SVMT和KNN加權(quán)方式相結(jié)合的方式來(lái)提高情感分析的準(zhǔn)確率是可行的。