袁 健,董光文

(上海理工大學(xué) 光電信息與計算機工程學(xué)院,上海 200093)

1 引 言

隨著互聯(lián)網(wǎng)的普及,對網(wǎng)絡(luò)用戶的商品評論進行情感分析已成為了電商營銷、商品推薦和服務(wù)提升等工作的輔助手段.而對微博等評論進行情感分析則可以幫助政府官員感知民意、輔助決策,但是這種微博評論類的復(fù)雜文本的情感表達(dá)方式更復(fù)雜,用原有商品評論(簡單文本多)情感分析方法進行分析錯誤率較高,因此對復(fù)雜文本評論進行情感分析的研究有實用價值.

情感分析作為自然語言處理的一個重要研究方向,主要是對文本中帶有的不同情感表達(dá)進行情感分類.若對于一段復(fù)雜文本評論表達(dá)的情感僅按正面和負(fù)面分類,并不能令人滿意.一段評論有時包含有幾個主題的不同情感,為了對文本進行全面的情感分析,需要對復(fù)雜文本評論中的不同主題分別進行情感分析,即進行方面級情感分析.

復(fù)雜文本評論不同于簡單文本評論,簡單文本評論往往采用具有顯性特征文本表述,而復(fù)雜文本評論通常既有顯性特征文本,也有大量隱性特征文本.在已有的情感分析方法中,對具有顯性特征的文本的情感分析效果較好,但對于具有隱式特征的文本情感分析的效果還有待提高.針對已往研究的不足,本文提出了一個針對復(fù)雜文本評論的情感分析模型.

2 相關(guān)研究

傳統(tǒng)的情感分類技術(shù)主要分為:基于詞典的情感分類方法和基于機器學(xué)習(xí)的情感分類方法.基于詞典的情感分類方法是用研究人員經(jīng)驗或?qū)＜乙庖姷那楦薪y(tǒng)計特征等來對文本進行情感分類,此類方法需要不斷的擴充詞典以及一些新出現(xiàn)的詞語,其文本情感分析的準(zhǔn)確率不高[1].基于機器學(xué)習(xí)的情感分類方法先對一部分?jǐn)?shù)據(jù)進行人工標(biāo)注建立訓(xùn)練集,然后對訓(xùn)練集數(shù)據(jù)進行特征提取,再學(xué)習(xí)構(gòu)建出一個分類模型,最后由分類模型對未知分類的數(shù)據(jù)進行情感分析[2,3],此類方法需要復(fù)雜的特征工程,會耗費大量的人力資源,已經(jīng)不能滿足社會快速發(fā)展的需要,隨之深度學(xué)習(xí)情感分析技術(shù)成為了主流方法.

目前深度學(xué)習(xí)情感分析模型主要用循環(huán)神經(jīng)網(wǎng)絡(luò)RNN或卷積神經(jīng)網(wǎng)絡(luò)CNN實現(xiàn).RNN在文本處理中能獲得一定量的上下文語義關(guān)系,對處理具有時間特性的文本有較大優(yōu)勢[4],長短期記憶網(wǎng)絡(luò)LSTM是一種特殊的RNN,在處理長文本序列數(shù)據(jù)和學(xué)習(xí)長期相關(guān)性方面非常有效,且加快了模型的訓(xùn)練速度,減少了計算的成本[5].門控循環(huán)單元GRU是另一種特殊的RNN,GRU在LSTM的基礎(chǔ)上改進,減少了大量的參數(shù),運算相對簡化且性能得以增強[6,7].CNN模型允許文本并行輸入且訓(xùn)練時間短,能夠自動提取關(guān)鍵特征,在文本上下文特征提取方面存在著明顯的優(yōu)勢[8].RNN和CNN分別有各自的優(yōu)點,但RNN當(dāng)數(shù)據(jù)序列長度過長時會導(dǎo)致梯度消失和梯度爆炸問題,LSTM和GRU在耗時、特征提取和并行處理方面均存在不足,CNN忽略上下文時序的依賴關(guān)系導(dǎo)致獲取語義信息不足,因此有人開始嘗試把兩種神經(jīng)網(wǎng)絡(luò)進行組合使用.

Chen等人[9]提出使用LSTM和CNN鑒別文本情感的新模型,將LSTM用于生成上下文的詞向量嵌入,而把CNN用來訓(xùn)練模型的特征.Wang等人[10]提出了區(qū)域RCNN和LSTM結(jié)合來預(yù)測文本細(xì)粒度的情感分析,將文本分成多個區(qū)域,分別根據(jù)文本預(yù)測的重要性來設(shè)定權(quán)值,同時結(jié)合了LSTM獲得了句子間的長距離依賴關(guān)系.Sun等人[11]提出RCNN-BGRU-HN網(wǎng)絡(luò)模型,在文獻[10]的基礎(chǔ)上,添加了高速公路網(wǎng)絡(luò)(HN),以便更加充分的獲取多個單詞之間的語義信息.Zhu等人[12]等人提出BiGRU-Att-HCNN模型,將BiGRU和HCNN模型獲得的語義信息和特征信息結(jié)合注意力進行融合.這些研究雖然都把RNN和CNN進行各種優(yōu)勢組合,但是由于輸入訓(xùn)練模型的文本特征簡單,導(dǎo)致提取出來的文本語義信息不足,特別對隱式情感的情感分類準(zhǔn)確率不高.

為了提升隱式特征文本的情感分類準(zhǔn)確率,本文改進了RNN和CNN的組合方式,把多維詞向量特征和主題特征融入到深度學(xué)習(xí)模型,提出了一種對復(fù)雜文本進行方面級情感分析的多維特征融合的混合神經(jīng)網(wǎng)絡(luò)文本情感分析模型(Multi-dimensional Feature Fusion Hybrid Neural Network,簡稱MFF-HNN).該模型的創(chuàng)新點如下:

1)提出了多維特征詞向量表示法,該方法把詞向量與詞性特征、位置特征、句法依存特征進行注意力多特征融合,得到更全方位的多維特征詞向量矩陣.

2)針對復(fù)雜文本中往往存在方面級情感分析和隱式特征捕捉難的問題,提出新的方面級情感分類的模型訓(xùn)練方法.即在多維詞向量特征矩陣中先抽取出主題詞庫并經(jīng)過CNN模型訓(xùn)練得到主題特征向量,再嵌入到本文提出的主題嵌入Bi-GRU模型(Topic Embedding Bi-GRU,簡稱TBGRU)中進行語義信息訓(xùn)練,同時使用提出的雙層CNN模型(Double-layer CNN,簡稱DCNN)進行局部特征的訓(xùn)練.

3)提出MFF-HNN情感分析模型框架,先獲取詞向量多維融合特征,抽取主題詞庫,由TBGRU子模型得到語義信息,由DCNN子模型得到局部特征信息,再把兩子模型的輸出結(jié)果與主題特征向量共同語義特征融合得到最后的情感分類結(jié)果.

3 MFF-HNN情感模型

MFF-HNN模型的整體結(jié)構(gòu)如圖1所示,該模型先對文本進行多維特征表示,然后把詞向量與多維特征進行注意力融合和特征融合,接著進行模型訓(xùn)練,再經(jīng)過語義特征注意力融合,最后進行情感分類.

圖1 MFF-HNN模型整體框架圖Fig.1 Overall framework diagram of MFF-HNN model

3.1 多維特征詞向量表示方法

深度學(xué)習(xí)能夠自動學(xué)習(xí)文本中復(fù)雜的語義信息特征,以往的情感分析的模型訓(xùn)練往往把單一特征詞向量直接輸入到模型中卻忽略文本蘊含的其它信息.將復(fù)雜文本中的多種特征進行多維融合能夠充分得到各個特征之間蘊含的語義信息,同時能夠互補各個特征之間的差異性,有利于讓機器學(xué)習(xí)到隱藏在文本中更深層次的語義信息,有利于對文本隱式特征的充分挖掘.

多維特征詞向量表示方法首先是對詞向量進行多維特征表示,再進行多維特征注意力融合,得到多維特征融合詞向量.

3.1.1 多維特征表示

在文本語料中很容易發(fā)現(xiàn)情感詞的詞性是比較固定的,通過對詞性進行標(biāo)注,模型會自動學(xué)習(xí)比較重要的詞語[13].詞與詞的位置關(guān)系也會隱藏著重要的情感信息,同一詞在句中的不同部位的出現(xiàn),可能透露出不同的情感信息[14].詞匯間的句法結(jié)構(gòu)存在著句法依存關(guān)系,體現(xiàn)著詞匯間的依賴關(guān)系[15].把文本中這些特征加入詞向量中,可以從多維度層面挖掘出文本語義隱含的更深層次上的信息.

設(shè)句子中第i個單詞的詞向量為ei,同時把第i個單詞對應(yīng)的詞性特征向量、位置特征向量和句法依存特征向量分別設(shè)為ti、pi、parseri,將句子中的單詞拼接在一起,每個特征向量矩陣表示的具體方法如公式(1)～公式(4)所示.

Rd=e1⊕e2⊕…⊕en

(1)

Rm=t1⊕t2⊕…⊕tn

(2)

Rl=p1⊕p2⊕…⊕pn

(3)

Rp=parser1⊕parser2⊕…⊕parsern

(4)

其中,n表示句子的長度,d、m、l和p分別表示詞、詞性、位置和句法依存特征向量矩陣的維度,Rd、Rm、Rl和Rp分別表示該句子的詞、詞性、位置和句法依存特征向量拼接矩陣,⊕表示向量拼接操作.

3.1.2 多維特征注意力融合

在得到句子的多特征表示后,如何將這些特征輸入到模型中訓(xùn)練是需要進一步考慮的問題.若簡單的特征拼接(如Rd+m=Rd⊕Rm)很難充分的考慮到每個特征之間的差異性[16],拼接后的矩陣增大了向量維度給模型訓(xùn)練造成一定的壓力,同樣選擇多通道進行模型訓(xùn)練也會加大模型的訓(xùn)練時間,即使讓深度學(xué)習(xí)模型通過多通道訓(xùn)練后的結(jié)果再進行特征融合也會造成模型結(jié)果準(zhǔn)確率不高.

注意力機制可以關(guān)注對象的特征信息,能夠發(fā)現(xiàn)文本句子中貢獻度較大的單詞,更好的捕捉文本上下文的語義相關(guān)信息[17,18].多維特征注意力融合計算方法如公式(5)～公式(7)所示:

L(xi)=tanh(Wxi+b)

(5)

(6)

(7)

其中,tanh表示激活函數(shù),L(xi)表示向量xi對應(yīng)特征的權(quán)重,W表示權(quán)重矩陣,b表示偏置矩陣,αi表示向量xi特征權(quán)重,f(xi)表示融合的特征向量.

將所有的特征經(jīng)過注意力特征融合后得到融合特征矩陣F=[f1,f2,f3,…,fn],其中fi表示第i單詞的融合特征向量.

3.2 模型訓(xùn)練方法

RNN和CNN在情感分析時各有優(yōu)缺點,將兩者優(yōu)勢合理結(jié)合有利于模型的學(xué)習(xí),而如何組合是獲得更佳效果的關(guān)鍵問題.為了挖掘出復(fù)雜文本中存在的潛在主題實現(xiàn)方面級情感分析,本文提出在主題特征基礎(chǔ)上進行情感分析的思路,即把主題詞嵌入到深度模型中有利于文本語義的學(xué)習(xí)和識別出隱式情感.為了獲取文本中深層次的語義信息和文本的隱式特征,本文提出了TBGRU模型,該模型把主題特征嵌入雙向GRU模型中獲取了文本中存在的顯式、隱式主題特征和上下文語義信息.針對獲取文本局部特征過程中存在的獲取特征不充分和特征丟失問題[19,20],本文提出了DCNN模型,采用多特征融合矩陣F輸入到模型中可以獲取到充分的特征,同時使用多層卷積層減少特征信息的丟失.為了對詞語分配不同的權(quán)重、篩選出更加突出的特征,分別在TBGRU模型和DCNN模型中添加注意力機制促進對文本語義的學(xué)習(xí)和獲取豐富的特征信息.

模型訓(xùn)練方法是先從融合特征矩陣F中提取主題特征,然后把主題特征和F輸入到TBGRU模型中訓(xùn)練得到文本語義信息,再把F輸入到DCNN模型中訓(xùn)練得到局部特征信息.

3.2.1 主題特征提取

方面級文本分類很難精確地獲取各個方面中的隱式特征,將主題信息融入到深度學(xué)習(xí)模型中進行訓(xùn)練,可以提高文本隱式特征挖掘的精度[21,22].本文在融合特征矩陣F的基礎(chǔ)上,把主題詞嵌入到深度模型中更有利于文本語義的學(xué)習(xí)和識別出隱式情感.通過文本主題的提取作為輔助研究文本方面級情感分類,對于充分挖掘文本中的隱式對象和提高主題方面分類的精度將會有極大的意義.

在融合特征矩陣F中,選用文獻[23]中方法SS-LDA,將一個句子中出現(xiàn)的多個方面主題都提取出來,組成主題詞庫t=[t1,t2,…,tk],其中k表示主題詞的個數(shù).在主題詞庫嵌入過程中,主題詞t可能會是一個或多個詞組成的,先對主題詞t庫進行卷積操作,將主題詞輸入到CNN模型[8]中,通過卷積和池化操作提取主題詞特征,計算方法如公式(8)所示:

vi=frelu(t1:k×Wv+bv)

(8)

其中,Wv是d×k的卷積核,bv是偏置值.

采用最大池化方法對主題特征進行采樣,得到主題特征向量T=[T1,T2,…,TK],其中K表示有多少個主題特征.

3.2.2 TBGRU模型

TBGRU模型是在原始GRU模型[6,7]基礎(chǔ)上嵌入了主題詞庫特征向量,GRU模型可以獲取長文本序列中充分的語義信息,嵌入主題詞庫特征向量對于獲取文本中存在的顯式、隱式特征和上下文語義信息的準(zhǔn)確率將有較大的提升.TBGRU模型圖如圖2所示.將特征融合矩陣輸入到模型中,同時將主題詞庫特征向量嵌入到模型中進行模型訓(xùn)練,在模型訓(xùn)練過程中添加注意力進行權(quán)值分配,得到文本語義信息表示.

圖2 TBGRU模型圖Fig.2 TBGRU model diagram

TBGRU模型工作流程如下:

輸入：多維融合特征矩陣F=[f1,f2,f3,…,fn]和主題特征向量T=[T1,T2,…,Tk].

輸出：語義信息S.

Step2.把T嵌入到TBGRU模型中,測量F中每個詞向量和嵌入的主題詞Tk之間的距離信息來賦予每個主題詞和詞向量權(quán)重,其中k={1,2,…,K}.使用MLP計算詞向量的投影,計算詞向量hi和主題詞向量Tk的點積生成每個主題詞對應(yīng)于詞向量位置信息的嵌入權(quán)值,計算方法如公式(9)～公式(11)所示:

ui=tanh(Wwhi)

(9)

(10)

(11)

Step3.將qi嵌入雙向GRU公式中,把原始雙向GRU[6]公式更改為如公式(12)～公式(15)所示:

rn=σ(Wrfn+Urhn-1+Vrqn-1)

(12)

zn=σ(Wzfn+Uzhn-1+Vzqn-1)

(13)

(14)

(15)

Step4.引入注意力機制對詞向量進行權(quán)值分配,計算方法如公式(16)～公式(18)所示:

vi=tanh(Wvhi+bv)

(16)

(17)

(18)

其中,βi表示hi的注意力權(quán)重值,S表示權(quán)重分配后的文本語義表示.

3.2.3 DCNN模型

DCNN模型是在原始CNN模型[8,12]上做了改進,使多特征融合矩陣的輸入和多個卷積核的卷積操作可以獲得更多的特征值,而兩次使用卷積神經(jīng)網(wǎng)絡(luò)則可以降低特征信息的丟失.在DCNN模型中,將原始輸入的F與每層CNN輸出向量進行了選擇性的融合,讓更多文本特征參與到機器學(xué)習(xí)的過程中,使F的文本數(shù)據(jù)特征得以有效的利用,同時也可以避免文本特征在網(wǎng)絡(luò)層中傳遞丟失的問題.如圖3所示,首先將F輸入到第1層CNN_1中,然后將和CNN_1層的輸出結(jié)果進行融合作為第2次卷積CNN_2的輸入,最后再把F、CNN_1的輸出結(jié)果和CNN_2的輸出結(jié)果進行注意力融合池化后作為DCNN模型的最終輸出結(jié)果.

圖3 DCNN模型圖Fig.3 DCNN model diagram

DCNN模型工作流程如下:

輸入：多維融合特征矩陣.

輸出：局部特征信息.

Step1.把F輸入到模型中進行第1次卷積運算,得到特征輸出矩陣c1=[c1,c2,…,cm],其中m表示特征個數(shù),計算方法如公式(19)所示:

ci=relu(w·fi:i+h-1+b)

(19)

其中,relu表示激活函數(shù),w表示卷積核,fi:i+h-1表示第i個單詞到第i+h-1個單詞之間的h個單詞的特征向量矩陣,b表示偏置矩陣,ci表示第i個特征值.

Step2.把F和c1使用th.Concat函數(shù)進行特征融合得到F2=[c1,c2,…,cm,f1,f2,…,fn],把F2作為第2次卷積運算的輸入,得到特征輸出矩陣c2=[k1,k2,…,l],其中l(wèi)表示特征個數(shù).

Step3.把F、c1和c2使用tf.Concat函數(shù)進行特征融合得到c3=[f1,f2,…,fnc1,c2,…,cn,k1,k2,…,kl].

Step4.對c3使用注意力機制對局部特征進行權(quán)值分配得到特征矩陣c,計算方法同公式(16)～公式(18).

Step5.使用最大池化方法對特征c進行降采樣,計算方法如公式(20)所示:

(20)

3.3 特征融合情感分類

在模型訓(xùn)練階段已經(jīng)分別在TBGRU模型和DCNN模型中獲取到了文本語義信息S和局部特征信息C,使用注意力語義特征融合方法把主題特征T、語義信息S和局部特征C進行融合得到方面級情感分類的結(jié)果.

3.3.1 語義特征注意力融合

為得到文本最終情感語義表示,使用注意力語義特征融合方法將主題特征T、語義信息S和局部特征C進行語義特征融合.

首先使用余弦相似度分別計算T、S和G兩兩之間的相似性,若相似性高的特征給予更高的權(quán)重,相似性低的給予低的權(quán)重.使用SoftMax函數(shù)將兩兩之間得到的相似度權(quán)重進行標(biāo)準(zhǔn)化求和得到注意力權(quán)重μi.最后將μi和S加權(quán)運算得到語義融合特征向量wi,計算方法如公式(21)～公式(24)所示:

f(Ti,Ci,Si)=cos(T,Ci,Si)

(21)

(22)

(23)

w=[w1,w2,…,wm]

(24)

其中,f(Ti,Ci,Si)表示用余弦函數(shù)求T、S和G兩兩之間的相似度,w表示文本語義融合特征向量.

3.3.2 情感分類

將語義融合特征向量w使用SoftMax情感分類器得到文本的最終情感分類結(jié)果,計算方法如公式(25)所示:

y=softmax(wcsavg+bc)

(25)

其中wc為權(quán)重矩陣,bc為偏置矩陣.使用反向傳播方法和交叉熵?fù)p失函數(shù)對模型進行優(yōu)訓(xùn)練,計算方法如公式(26)所示:

(26)

4 實 驗

4.1 實驗環(huán)境

實驗環(huán)境配置如表1所示.

4.2 實驗數(shù)據(jù)集和評價指標(biāo)

使用Twitter數(shù)據(jù)集(復(fù)雜文本多)、Laptop評論數(shù)據(jù)集(復(fù)雜文本少),選取的數(shù)據(jù)集中已經(jīng)標(biāo)注了每個句子的方面詞和每個句子的情感極性,數(shù)據(jù)集中將情感極性分別分為積極、中性和消極.2個數(shù)據(jù)集的詳細(xì)信息如表2所示.

表1 實驗環(huán)境配置表Table 1 Experimental environment configuration table

表2 數(shù)據(jù)集詳細(xì)信息表Table 2 Dataset details table

使用F1(F-measure)和準(zhǔn)確率A(Accuracy)對實驗結(jié)果進行評估,具體方法實現(xiàn)如公式(27)～公式(30)所示:

(27)

(28)

(29)

(30)

其中,TP表示為預(yù)測結(jié)果正確的正面類別數(shù),TN表示為預(yù)測結(jié)果正確的負(fù)面類別數(shù),FP表示為預(yù)測結(jié)果錯誤的正面類別數(shù),FN表示為預(yù)測結(jié)果錯誤的負(fù)面類別數(shù),A和F1值越大效果越好.

4.3 參數(shù)設(shè)置

在MFF-HNN模型中,單詞嵌入的詞向量維度設(shè)置為300,詞性特征向量、位置特征向量和依存句法特征向量的維度分別設(shè)置為30,TBGRU模型和DCNN模型參數(shù)設(shè)置如表3所示,使用正太分布來對權(quán)重矩陣進行了初始化,并將偏差項初始化為0.在模型訓(xùn)練過程中,使用Adam優(yōu)化器更新參數(shù),并且使用L2正則化和Dropout防止過擬合.相關(guān)參數(shù)設(shè)置具體如表3所示.

表3 參數(shù)設(shè)置表Table 3 Parameter settings table

4.4 對比模型

1)為了驗證模型MFF-HNN與其它模型情感分析準(zhǔn)確率的效果,將與Bi-GRU[6]、AT-BiGRU[7]、CNN-LSTM[9]、RCNN-LSTM[10]、RCNN-BGRU-HN[11]和BiGRU-Att-HCNN[12]模型做對比實驗.

2)為了驗證多維特征、主題特征和組合網(wǎng)絡(luò)模型對模型MFF-HNN情感分析準(zhǔn)確率的影響,與以下模型做驗證實驗:

a)MFF-DCNN:為了驗證組合網(wǎng)絡(luò)模型對提出模型的效果設(shè)計驗證實驗,MFF-HNN模型去掉TBGRU網(wǎng)絡(luò),其余部分與該模型條件相同.

b)MFF-TBGRU:為了驗證組合網(wǎng)絡(luò)模型對模型的效果設(shè)計驗證實驗,MFF-HNN模型去掉DCNN網(wǎng)絡(luò),其余部分與該模型條件相同.

c)TBGRU-DCNN:為了驗證多維特征向量對提出模型的效果設(shè)計驗證實驗,MFF-HNN模型去掉多維特征向量輸入,其余部分與該模型條件相同.

d)MFF-BGRU-DCNN:為了驗證主題特征融入模型的效果設(shè)計驗證實驗,MFF-HNN模型去掉了主題特征詞庫嵌入模型,其余部分與該模型條件相同.

4.5 實驗結(jié)果與分析

4.5.1 各種模型情感分析準(zhǔn)確率A和F1值對比分析

1)準(zhǔn)確率A和F1值對比結(jié)果分析

各種模型在以上數(shù)據(jù)集上的運行結(jié)果如表4所示.

從表4中可以看出,在以上的數(shù)據(jù)集中模型MFF-HNN在準(zhǔn)確率A和F1值這兩個指標(biāo)上都有了明顯的提高,表明了MFF-HNN模型性能是優(yōu)于別的模型的.從實驗結(jié)果可以看出,Laptop比Twitter的分類精度略高一點,這是因為Twitter中復(fù)雜文本多,Laptop中復(fù)雜文本少,Twitter的文本方面詞的數(shù)量普遍多于Laptop,MFF-HNN模型采用主題特征提取的方式,方面詞的數(shù)量對分類精度影響較小.在兩個數(shù)據(jù)集下,單獨使用Bi-GRU的分類效果是比較差的.模型AT-BiGRU在Bi-GRU模型的基礎(chǔ)上加上了注意力機制,得到了比Bi-GRU較好的結(jié)果,這說明注意力機制對文本處理的有效性.CNN-LSTM模型使用CNN提取文本中的特征,結(jié)合LSTM模型獲取文本長距離的依賴性關(guān)系,獲得較好的結(jié)果,但只是加了CNN獲取局部信息,忽略了權(quán)值的重新分配,實驗結(jié)果略低于AT-BiGRU模型.RCNN-LSTM模型和RCNN-BGRU-HN模型在CNN-LSTM模型基礎(chǔ)上添加一些處理,準(zhǔn)確率A和F1值都略有提升.BiGRU-Att-HCNN模型對LSTM-CNN模型中的兩個部分分別做了改進,同時添加了注意力機制,實驗結(jié)果在準(zhǔn)確率A和F1值方面取得了較好的結(jié)果.

MFF-HNN模型對比表4中最好的模型BiGRU-Att-HCNN,在兩個數(shù)據(jù)集上的準(zhǔn)確率A分別提高了4.9%和4.1%,F1值分別提升了4.8%和4.0%,準(zhǔn)確率A和F1值越高表明模型評估效果越好,這充分說明了MFF-HNN模型對文本情感分類有更好的效果.

2)F1值迭代次數(shù)變化分析

為了觀察F1值隨著迭代次數(shù)增加時的變化,以Twitter數(shù)據(jù)集下的實驗為例,將模型訓(xùn)練過程中每次迭代的輸出值做成折線圖,F1值在每輪迭代過程中的變化過程如圖4所示.

圖4 各種模型F1值迭代變化過程圖Fig.4 Iterative change process diagram of F1 value of various models

圖4顯示了Twitter數(shù)據(jù)集下各模型在21次迭代過程中F1值的變化,橫軸Epoch表示實驗的迭代次數(shù),縱軸表示F1值.從圖中可以看出各模型在訓(xùn)練集上的F1值隨著迭代的次數(shù)增加而增大,但最終會趨于一個穩(wěn)定的值.其中MFF-HNN模型的F1值隨著輪數(shù)增加上升的趨勢比較快并且F1值總是高于其它的對比模型,分析其中的原因,MFF-HNN模型在模型訓(xùn)練前提供了豐富的特征信息,經(jīng)過主題提取以及多網(wǎng)絡(luò)語義和特征的獲取,并最終將主題詞庫和多網(wǎng)絡(luò)處理的結(jié)果進行了特征融合,這才使本模型取得了較高的F1值.由此證明MFF-HNN模型對簡單文本和復(fù)雜文本的情感分類的效果均高于原有模型.

4.5.2 各種因素對準(zhǔn)確率A和F1值影響分析

在選取的MFF-DCNN、MFF-TBGRU、TBGRU-DCNN和MFF-BGRU-DCNN模型與MFF-HNN模型進行驗證對比實驗,實驗結(jié)果如表5所示.

從表5中可以看出,MFF-DCNN和MFF-TBGRU模型在使用多維特征的基礎(chǔ)上,單獨使用DCNN模型和TBGRU模型的結(jié)果是比較差的,這說明了將RNN和CNN模型的合理組合可以獲得較佳的效果.TBGRU-DCNN模型的準(zhǔn)確率A和F1值均低于MFF-HNN模型,這就證明了多維特征對于模型的訓(xùn)練很有必要的.從MFF-BGRU-DCNN模型的實驗數(shù)據(jù)可以看出,數(shù)據(jù)集Laptop的實驗結(jié)果準(zhǔn)確率A和F1值與MFF-HNN模型的結(jié)果相差很小,但數(shù)據(jù)集Twitter的實驗結(jié)果準(zhǔn)確率A和F1值均低于MFF-HNN模型,證明了主題特征融入模型對于復(fù)雜文本情感分析的優(yōu)越性.綜上所述,MFF-HNN模型準(zhǔn)確率A和F1值均高于其它4種模型,證明該模型采用的多維特征融合、主題特征提取嵌入和RNN與CNN模型改進結(jié)合的方法對提升情感分類的準(zhǔn)確率有較好的效果.

表5 各種因素對準(zhǔn)確率和F1值影響對比表Table 5 Comparison table of the influence of various factors on A and F1

5 結(jié)束語

為了提高復(fù)雜文本的情感分類的準(zhǔn)確性,本文提出了一種多維特征融合的混合神經(jīng)網(wǎng)絡(luò)文本情感分析模型MFF-HNN.經(jīng)實驗驗證,該模型在準(zhǔn)確率A和F1值方面都優(yōu)于別的模型,證明MFF-HNN模型對復(fù)雜文本情感分析具有優(yōu)越性.由于新模型的工作步驟更復(fù)雜,雖然提升了情感分類的準(zhǔn)確率,但必然增加了模型的運行時間.因此,今后將進一步研究改進模型,在保證準(zhǔn)確率的情況下縮短模型的運行時間,以滿足大數(shù)據(jù)量的文本情感分析的需求.