文/王晨超　劉洋

1　引言

隨著互聯(lián)網(wǎng)尤其是智能手機(jī)的普及，越來(lái)越多的人會(huì)在網(wǎng)絡(luò)上發(fā)表自己的看法。因?yàn)榫W(wǎng)絡(luò)空間的相對(duì)隱蔽性，使得人們比在現(xiàn)實(shí)生活中更有可能地發(fā)表一些負(fù)面或者消極的言論，讓網(wǎng)絡(luò)上充滿著負(fù)面情緒。特別是一些網(wǎng)絡(luò)熱點(diǎn)事件的爆發(fā)時(shí)，網(wǎng)友會(huì)站在不同的觀點(diǎn)對(duì)峙。同時(shí)，公眾對(duì)于網(wǎng)絡(luò)熱點(diǎn)的態(tài)度和傾向，也往往會(huì)影響到政府相關(guān)機(jī)構(gòu)的決定和行為。所以了解主流論壇、微博、博客等平臺(tái)的網(wǎng)民總體情感傾向，對(duì)于政府而言，為政府同社會(huì)公眾之間的溝通提供指導(dǎo)，使政府可以主動(dòng)引導(dǎo)網(wǎng)絡(luò)輿情朝著健康正確的方向發(fā)展，促進(jìn)網(wǎng)絡(luò)文化和社會(huì)環(huán)境的健康發(fā)展；對(duì)于商家而言，可以為他們投放廣告宣傳自己提供指導(dǎo)，到底哪些話題才是人們關(guān)注的熱點(diǎn)，而人們對(duì)這些熱點(diǎn)又持什么態(tài)度；對(duì)于個(gè)人而言，可以為尋找和他志同道合的論壇或是平臺(tái)提供指導(dǎo)。而要掌握網(wǎng)民的情感傾向，就要使用到文本情感傾向分析的技術(shù)。文本情感分析是指對(duì)包含用戶表示的觀點(diǎn)、喜好、情感等的主觀性文本進(jìn)行檢測(cè)、分析以及挖掘。

2　傳統(tǒng)的情感分析技術(shù)

圖1：Doc2vec原理圖

目前，文本的情感分析研究?jī)?nèi)容主要分為3個(gè)方面：文本內(nèi)容的主客觀分類(lèi)、文本的情感傾向性分類(lèi)和文本的情感強(qiáng)度計(jì)算。本文所研究的是文本的情感傾向性分類(lèi)。文本的情感傾向分析主要是通過(guò)一定的技術(shù)手段，將文本的情感分為正向或是負(fù)向兩類(lèi)。而較為傳統(tǒng)的技術(shù)手段是：

2.1　基于情感詞典的方法

構(gòu)建一個(gè)情感詞典，其中蘊(yùn)含一個(gè)個(gè)感情強(qiáng)烈和感情傾向鮮明的詞語(yǔ)和其對(duì)應(yīng)分值，再建立相應(yīng)的程度副詞和否定詞典等。通過(guò)抽取出一段文本中的情感詞、否定詞和程度副詞等，結(jié)合已經(jīng)建立的情感詞典庫(kù)，根據(jù)一定的公式計(jì)算出該文本的分?jǐn)?shù)，依據(jù)分?jǐn)?shù)，將文本判斷為正向或是負(fù)向文本。

但基于情感詞典的方法往往會(huì)有以下問(wèn)題：無(wú)法準(zhǔn)確的將長(zhǎng)文本分類(lèi)；無(wú)法準(zhǔn)確的判斷文本中有褒詞貶用或貶詞褒用的這類(lèi)文本；還有用特定的情感詞典和公式計(jì)算情感得分，會(huì)忽略了很多其他的否定詞、程度副詞和情感詞，以及這些詞的搭配情況，導(dǎo)致分類(lèi)效果不佳。

2.2　基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法

基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法，常用的分類(lèi)方法有：支持向量機(jī)分類(lèi)法、中心向量分類(lèi)法、K近鄰算法分類(lèi)法、感知器分類(lèi)法、貝葉斯分類(lèi)法和最大熵分類(lèi)法等，通過(guò)此類(lèi)分類(lèi)器識(shí)別出該文本的傾向性。

相對(duì)于基于情感詞典的方法，該方法更加客觀，不單單只考慮了情感詞等特定詞語(yǔ)，綜合考慮了文本中出現(xiàn)的大部分詞語(yǔ)，所以對(duì)長(zhǎng)文本也有較好的分類(lèi)效果，故情感傾向分類(lèi)準(zhǔn)確率顯著提高。

圖2：最簡(jiǎn)單的MLP的結(jié)構(gòu)

但該方法，仍有其弊端。機(jī)器學(xué)習(xí)的分類(lèi)方法，一般有三種：有監(jiān)督型、無(wú)監(jiān)督型和半監(jiān)督型。三者中，基于有監(jiān)督學(xué)習(xí)的分類(lèi)方法都有不錯(cuò)的分類(lèi)效果，但是由于有監(jiān)督學(xué)習(xí)依賴于大量人工標(biāo)注的數(shù)據(jù)，使得基于有監(jiān)督學(xué)習(xí)的系統(tǒng)需要付出很高的標(biāo)注代價(jià)。而無(wú)監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)雖然標(biāo)注代價(jià)很低，但是由于中文文本的復(fù)雜性，所以分類(lèi)效果都并不是很好。

3　基于深度神經(jīng)網(wǎng)絡(luò)的中文情感分析

神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)的一個(gè)子集，而深度神經(jīng)網(wǎng)絡(luò)是一類(lèi)特殊的神經(jīng)網(wǎng)絡(luò)，相比于一般的神經(jīng)網(wǎng)絡(luò)，它往往不止一個(gè)隱藏層。2006年，加拿大多倫多大學(xué)教授、機(jī)器學(xué)習(xí)領(lǐng)域的泰斗GeoffreyHinton等在《Science》上發(fā)表了一篇文章點(diǎn)燃了深度學(xué)習(xí)在學(xué)術(shù)和工業(yè)界的星星之火。而基于深度神經(jīng)網(wǎng)絡(luò)的AlphaGo算法在2016年3月?lián)魯×饲笆澜鐕骞谲娎钍朗?，自此深度學(xué)習(xí)成為全社會(huì)的焦點(diǎn)，一些非計(jì)算機(jī)領(lǐng)域的專(zhuān)家學(xué)者也紛紛關(guān)注起了深度學(xué)習(xí)和人工智能。隨著深度學(xué)習(xí)在在業(yè)界的發(fā)展，在很多領(lǐng)域之中，刷新了其記錄，例如很多分類(lèi)問(wèn)題的準(zhǔn)確率。

3.1　基于LSTM的中文情感傾向分析原理

LSTM（Long Short-Term Memory）即長(zhǎng)短期記憶網(wǎng)絡(luò)，是一種改進(jìn)的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）模型，也是一種深度學(xué)習(xí)的基本框架。LSTM把RNN隱藏層中的模塊用帶細(xì)胞的記憶單元來(lái)替代，同時(shí)信息選擇地通過(guò)輸入門(mén)和輸出門(mén)。1999年，Gers等在改進(jìn)了LSTM，引入了遺忘門(mén)。這細(xì)胞狀態(tài)和三個(gè)門(mén)的設(shè)計(jì)，使得LSTM能夠更新、記憶上下文的信息，從而具有對(duì)長(zhǎng)距離信息的處理的效果。而LSTM的這些特性，是其能進(jìn)行情感分析并有不錯(cuò)效果的關(guān)鍵。

通過(guò)Word2vec算法，將大量詞語(yǔ)映射為高維向量表。而文本根據(jù)自身蘊(yùn)含的詞語(yǔ)，用多個(gè)高維向量來(lái)表示文本。向量化后的文本，就可以被機(jī)器所使用,可以用來(lái)訓(xùn)練LSTM模型。因?yàn)長(zhǎng)STM模型，不僅可以學(xué)習(xí)到文本中蘊(yùn)含的詞語(yǔ)的信息，還能學(xué)習(xí)到上下文詞語(yǔ)之間的聯(lián)系，所以導(dǎo)致模型有很強(qiáng)大的學(xué)習(xí)能力，有很好的分類(lèi)效果。

相比于基于情感詞典和傳統(tǒng)機(jī)器學(xué)習(xí)的中文情感傾向分析，準(zhǔn)確率大大提高。所以這是現(xiàn)有的中文情感傾向分析方法中，準(zhǔn)確率較高的一種實(shí)現(xiàn)方法，往往有95%以上的準(zhǔn)確率。

3.2　基于LSTM的中文情感傾向分析的不足

基于LSTM的方法，雖然有較高的準(zhǔn)確率，但是相對(duì)應(yīng)的其訓(xùn)練成本也巨大。而訓(xùn)練成本巨大的一個(gè)原因就是一個(gè)文本向量化后，它的向量數(shù)據(jù)太大。若一個(gè)詞語(yǔ)映射為400維的向量，一個(gè)文本中蘊(yùn)含了50個(gè)詞，那么，這個(gè)文本向量化后，是一個(gè)50*400的矩陣，而往往一些文本可能蘊(yùn)含超過(guò)50個(gè)詞語(yǔ)。文本向量化后的向量數(shù)據(jù)過(guò)大以及LSTM模型訓(xùn)練時(shí)記憶上下文詞語(yǔ)之間的關(guān)系，導(dǎo)致LSTM模型的訓(xùn)練成本急劇上升。相比于傳統(tǒng)的機(jī)器學(xué)習(xí)方法，同樣的語(yǔ)料庫(kù)，基于LSTM的方法的訓(xùn)練時(shí)間是他們的幾十倍甚至幾百倍。雖然越大的數(shù)據(jù)代表了蘊(yùn)含的信息更多，但是一個(gè)可以實(shí)際使用的模型或是工具，必須要考慮效率和成本之間的平衡。中文情感分傾向析也要平衡訓(xùn)練成本和準(zhǔn)確率。一個(gè)既有較高準(zhǔn)確率并且訓(xùn)練成本相對(duì)較小的模型，更具有普遍的適用性。

4　基于Doc2vec和深度神經(jīng)網(wǎng)絡(luò)的中文文本情感分析

LSTM訓(xùn)練成本較大的原因：一是文本向量化后的向量過(guò)大，二是進(jìn)行的是時(shí)序分類(lèi)，考慮了文本中各詞語(yǔ)之間的聯(lián)系。那么針對(duì)這兩個(gè)原因，提出了基于Doc2vec和深度神經(jīng)網(wǎng)絡(luò)的方法，用Doc2vec訓(xùn)練出來(lái)的是文本向量而不是詞語(yǔ)向量，這將大大簡(jiǎn)化文本向量化后的矩陣。并且采用非LSTM的另一種深度學(xué)習(xí)框架，這將降低原有的在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)記憶的成本。

圖3：實(shí)驗(yàn)流程

圖4：經(jīng)實(shí)驗(yàn)各模型分類(lèi)效果圖

4.1　使用Doc2vec來(lái)將文本向量化

Mikolov等人在2013年提出了Word2vec模型用于計(jì)算詞向量。Word2vec模型利用詞的上下文信息將一個(gè)詞轉(zhuǎn)化成一個(gè)高維實(shí)數(shù)向量，詞如果越相似則在向量空間中越接近?；贚STM的方法中，構(gòu)建文本向量是將該文本中所有的詞語(yǔ)通過(guò)Word2vec向量化，以此構(gòu)建文本向量矩陣?；赪ord2vec，Mikolov等人又給出了Doc2vec的訓(xùn)練方法。Doc2vec是在Word2vec的基礎(chǔ)之上，不僅訓(xùn)練出詞向量，并且還考慮了訓(xùn)練樣本的上下文和單詞順序。在訓(xùn)練前，每一個(gè)文本都會(huì)首先初始化為一個(gè)N維的向量，訓(xùn)練過(guò)程中，會(huì)對(duì)輸入向量進(jìn)行及時(shí)反饋更新，在進(jìn)行大量語(yǔ)料的訓(xùn)練之后，便可得到每一個(gè)文本相應(yīng)的訓(xùn)練向量。用來(lái)表征文本的向量擁有一定的特性，即相近意義的文本在向量空間上它們的距離也是相近的。原理見(jiàn)圖1。

因?yàn)槭褂昧薉oc2vec將文本向量化，而不是通過(guò)將詞語(yǔ)向量化后再構(gòu)建文本向量矩陣，實(shí)現(xiàn)了訓(xùn)練樣本的精簡(jiǎn)。若原有一個(gè)文本中有100個(gè)詞，詞向量的維度為400，文本向量的維度也為400。那么原來(lái)100*400的訓(xùn)練樣本就被簡(jiǎn)化為1*400，而訓(xùn)練樣本的精簡(jiǎn)，之后訓(xùn)練分類(lèi)模型的成本必將降低。

4.2　使用多層感知機(jī)來(lái)進(jìn)行分類(lèi)

LSTM是一種循環(huán)神經(jīng)網(wǎng)絡(luò)，在深度學(xué)習(xí)中，卷積神經(jīng)網(wǎng)絡(luò)（CNN）是除RNN外不得不提的，但我們并不使用CNN來(lái)構(gòu)建中文文本情感傾向的分類(lèi)器。為什么不用卷積神經(jīng)網(wǎng)絡(luò)來(lái)代替LSTM做情感分類(lèi)器呢，原因是CNN仍需要花費(fèi)大量訓(xùn)練成本在空間信息上，所以更多用于圖像等蘊(yùn)含空間信息的分類(lèi)中。在簡(jiǎn)單的二分類(lèi)問(wèn)題中，CNN的訓(xùn)練成本仍較大，這時(shí)候，一種較為原始的深度神經(jīng)網(wǎng)絡(luò)-多層感知機(jī)發(fā)揮出更出色的作用。多層感知機(jī)(MLP)是一種前向結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)，映射一組輸入向量到輸出向量。MLP在很久以前就已被提出，但當(dāng)時(shí)因?yàn)檐浻布牟蛔?，發(fā)展有著局限性，在大規(guī)模的網(wǎng)絡(luò)中，會(huì)出現(xiàn)梯度消失和過(guò)度擬合。但是隨著近些年深度學(xué)習(xí)的發(fā)展，MLP又重新得到了關(guān)注。

MLP的分類(lèi)原理和神經(jīng)網(wǎng)絡(luò)的分類(lèi)原理類(lèi)似，以一個(gè)最簡(jiǎn)單的MLP為例，見(jiàn)圖2。

在中文文本分類(lèi)中，輸入層是文本向量，隱藏層則對(duì)文本向量進(jìn)行權(quán)重和偏置和函數(shù)激勵(lì)的處理，輸出層則輸出邏輯回歸后的結(jié)果。根據(jù)輸出的結(jié)果，判斷輸入的文本是否屬于同一類(lèi)。而多個(gè)的隱藏層的神經(jīng)網(wǎng)絡(luò)就是廣義上的深度神經(jīng)網(wǎng)絡(luò)。

在文本分類(lèi)問(wèn)題上，若訓(xùn)練樣本更注重于自身蘊(yùn)含的數(shù)據(jù)特征而不是不同數(shù)據(jù)之間蘊(yùn)含的聯(lián)系，那么多層感知機(jī)是一個(gè)十分優(yōu)異的模型。因?yàn)镈oc2vec已經(jīng)考慮了文本的上下文和單詞順序，將文本直接向量化而不是通過(guò)詞語(yǔ)的向量化后再構(gòu)建的向量矩陣。這時(shí)，代表文本的向量是一個(gè)整體，并不包含單個(gè)詞語(yǔ)的信息，也就不需要記憶上下文和詞語(yǔ)。在這種情況下，用多層感知機(jī)來(lái)構(gòu)建分類(lèi)器比LSTM模型更合適。

表1：各模型訓(xùn)練成本（單位：s）

4.3　基于MLP和Doc2vec的方法和基于LSTM和Word2vec的異同點(diǎn)

基于MLP和Doc2vec的方法和基于LSTM和Word2vec的方法的相同之處是，都將數(shù)據(jù)的處理分為了兩個(gè)過(guò)程，一是文本向量化的過(guò)程，而是向量化后的文本訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過(guò)程。而兩者的區(qū)別就是，前者在將文本向量化時(shí)就考慮文本中詞語(yǔ)語(yǔ)序，將文本直接進(jìn)行了向量化，而后者只是將詞語(yǔ)向量化了，然后用詞語(yǔ)的向量集合成一個(gè)矩陣來(lái)代表文本向量，這將使代表文本的數(shù)據(jù)遠(yuǎn)超前者，在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)造成巨大的訓(xùn)練成本。而后者是在訓(xùn)練分類(lèi)模型時(shí)才考慮文本中上下文信息，前者是最為基礎(chǔ)的深度神經(jīng)網(wǎng)絡(luò)的二分類(lèi)，前者的效率遠(yuǎn)超過(guò)后者。在這兩個(gè)過(guò)程中前者都大大降低訓(xùn)練成本，因此基于MLP的Doc2vec的模型在訓(xùn)練成本上必定是遠(yuǎn)小于基于LSTM的Word2vec方法的。接下來(lái)，將通過(guò)實(shí)驗(yàn)來(lái)評(píng)估各種方法實(shí)現(xiàn)的模型的性能。

5　實(shí)驗(yàn)和結(jié)果

中文情感傾向分析，其實(shí)是分類(lèi)問(wèn)題。故可以用精確率，準(zhǔn)確率、召回率和F1score來(lái)評(píng)估各個(gè)模型的分類(lèi)效果。用訓(xùn)練所需的時(shí)間來(lái)代表訓(xùn)練模型所需要的成本。

5.1　數(shù)據(jù)集的準(zhǔn)備

在實(shí)現(xiàn)基于情感詞典的方法時(shí)，使用了大連理工情感詞匯本體庫(kù)、知網(wǎng)情感詞典和臺(tái)灣大學(xué)中文情感詞典（NTUSD）構(gòu)建自己的情感詞典，使用哈工大的停用詞表，使用知網(wǎng)的程度副詞庫(kù)，以及自己根據(jù)用語(yǔ)習(xí)慣構(gòu)建的否定詞庫(kù)。

所用到的訓(xùn)練和測(cè)試語(yǔ)料均為SnowNLP庫(kù)下的中文文本極性語(yǔ)料庫(kù)。是關(guān)于網(wǎng)絡(luò)購(gòu)物評(píng)價(jià)方面的語(yǔ)料，已經(jīng)標(biāo)注好情感極向，有條正向評(píng)論和條負(fù)向評(píng)論，共計(jì)34946條。

將整個(gè)語(yǔ)料分為兩部分，取出3000條正向文本和3000條負(fù)向文本做測(cè)試集，其余的語(yǔ)料做訓(xùn)練集。為了保證實(shí)驗(yàn)結(jié)果的可對(duì)比性，對(duì)于每一個(gè)模型所需要的訓(xùn)練語(yǔ)料相同測(cè)試語(yǔ)料也相同。

5.2　數(shù)據(jù)預(yù)處理

語(yǔ)料庫(kù)的數(shù)據(jù)都是一些中文文本，各個(gè)分類(lèi)模型無(wú)法直接處理，故需要進(jìn)行數(shù)據(jù)的預(yù)處理。不管是基于情感詞典的方法還是基于機(jī)器學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)的方法，都需要對(duì)文本進(jìn)行分詞，故使用jieba庫(kù)進(jìn)行分詞。分別使用Word2vec和Doc2vec訓(xùn)練出詞向量和文本向量，以供訓(xùn)練模型使用。Word2vec和Doc2vec是由gensim實(shí)現(xiàn)。

5.3　實(shí)驗(yàn)步驟

圖3為本文實(shí)驗(yàn)的流程。

5.4　分類(lèi)效果指標(biāo)

在已訓(xùn)練好各個(gè)模型的基礎(chǔ)之上，使用同樣的測(cè)試集進(jìn)行測(cè)試。分別測(cè)試出每一個(gè)模型的精確率，準(zhǔn)確率、召回率和F1score。各個(gè)參數(shù)的含義：

定義：

True Positive(真正, TP)：把正類(lèi)預(yù)測(cè)為正類(lèi)的數(shù)量.

True Negative(真負(fù) , TN)：把負(fù)類(lèi)預(yù)測(cè)為負(fù)類(lèi)的數(shù)量.

False Positive(假正, FP)：把負(fù)類(lèi)預(yù)測(cè)為正類(lèi)的數(shù)量

False Negative(假負(fù), FN)：將正類(lèi)預(yù)測(cè)為負(fù)類(lèi)的數(shù)量

5.5　各個(gè)分類(lèi)模型的性能評(píng)估

通過(guò)實(shí)驗(yàn)得到各模型分類(lèi)效果，具體結(jié)果，見(jiàn)圖4。

5.6　各個(gè)模型的訓(xùn)練成本

模型的訓(xùn)練成本由機(jī)器訓(xùn)練分類(lèi)模型達(dá)到較好分類(lèi)效果的時(shí)間來(lái)表示。主要的耗時(shí)時(shí)間為訓(xùn)練詞向量和文本向量的時(shí)間以及訓(xùn)練分類(lèi)模型所需要的時(shí)間，這兩者的時(shí)間遠(yuǎn)大于其他中間過(guò)程的時(shí)間，故只用這兩個(gè)時(shí)間之和表示模型的訓(xùn)練成本。因?yàn)榛谇楦性~典的方法，既不需要使用詞向量或文本向量也不需要分類(lèi)模型，故訓(xùn)練成本定為0。為保證訓(xùn)練成本的可對(duì)比性，每一個(gè)模型的訓(xùn)練都由相同的電腦在只執(zhí)行訓(xùn)練程序的情況下測(cè)得的數(shù)據(jù),并且Word2vec和Doc2vec模型的訓(xùn)練次數(shù)都為50次。經(jīng)實(shí)驗(yàn)，得到如下結(jié)果，見(jiàn)表1。

6　結(jié)論和展望

一個(gè)更精確以及適用性更廣的中文情感傾向分析模型，是分析網(wǎng)絡(luò)輿情、公民態(tài)度等的基礎(chǔ)。而政府對(duì)于網(wǎng)絡(luò)輿情等的更好地把控，也對(duì)于維護(hù)和諧社會(huì)有著巨大的作用。

通過(guò)實(shí)驗(yàn)數(shù)據(jù)可以表明，基于深度神經(jīng)網(wǎng)絡(luò)和Doc2vec的方法，在分類(lèi)效果上是遠(yuǎn)好于基于情感詞典和傳統(tǒng)機(jī)器學(xué)習(xí)的方法的。雖然基于MLP的方法在召回率上比基于Word2vec和LSTM的方法略高，在精確率和準(zhǔn)確率上略低，在綜合評(píng)價(jià)分類(lèi)模型效果的F1值也是略低。但是其訓(xùn)練成本是遠(yuǎn)小于基于LSTM的。準(zhǔn)確率能達(dá)到95.5%，說(shuō)明若實(shí)際使用，已有較好的效果，而遠(yuǎn)小于LSTM的訓(xùn)練成本，說(shuō)明基于Doc2vec和深度神經(jīng)網(wǎng)絡(luò)的方法有更強(qiáng)的適用性。

未來(lái)可以進(jìn)一步獲取或者建立更有針對(duì)性的、數(shù)據(jù)量更大的樣本。而這些樣本有利于建立更好的模型和確定更加精確的模型參數(shù)。而用更好的模型可以建立更好的應(yīng)用場(chǎng)景。