吳瓊, 陳鍛生

(華僑大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院， 福建 廈門(mén) 361021)

多尺度卷積循環(huán)神經(jīng)網(wǎng)絡(luò)的情感分類(lèi)技術(shù)

吳瓊, 陳鍛生

(華僑大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院， 福建 廈門(mén) 361021)

結(jié)合卷積神經(jīng)網(wǎng)絡(luò)對(duì)于特征提取的優(yōu)勢(shì)和循環(huán)神經(jīng)網(wǎng)絡(luò)的長(zhǎng)短時(shí)記憶算法的優(yōu)勢(shì)，提出一種新的基于多尺度的卷積循環(huán)神經(jīng)網(wǎng)絡(luò)模型，利用卷積神經(jīng)網(wǎng)絡(luò)中的多尺寸濾波器提取出具有豐富上下文關(guān)系的詞特征，循環(huán)神經(jīng)網(wǎng)絡(luò)中的長(zhǎng)短時(shí)記憶算法將提取到的詞特征與句子的結(jié)構(gòu)聯(lián)系起來(lái)，從而完成文本情感分類(lèi)任務(wù).實(shí)驗(yàn)結(jié)果表明：與多種文本情感分類(lèi)方法相比，文中算法具有較高的精度.

文本情感分類(lèi)； 卷積神經(jīng)網(wǎng)絡(luò)； 循環(huán)神經(jīng)網(wǎng)絡(luò)； 長(zhǎng)短時(shí)記憶； 多尺度

從海量而龐雜的網(wǎng)絡(luò)評(píng)論信息中分析和挖掘用戶的興趣取向或公眾態(tài)度，已成為政府和業(yè)界關(guān)注的問(wèn)題.網(wǎng)絡(luò)輿情文本的情感分類(lèi)技術(shù)已經(jīng)成為自然語(yǔ)言處理的研究熱點(diǎn).目前，情感分類(lèi)方法有多種.基于深度學(xué)習(xí)的分類(lèi)方法，傳統(tǒng)的支持向量機(jī)、樸素貝葉斯的分類(lèi)方法和基于句法分析的方法都有不錯(cuò)的效果.Wang等[1]提出多項(xiàng)樸素貝葉斯(MNB)模型和使用樸素貝葉斯特征的支持向量機(jī)模型(NBSVM).為了防止過(guò)擬合，Hinton等[2]提出dropout方法；Wang等[3]通過(guò)對(duì)dropout方法進(jìn)行改進(jìn)，提出高斯dropout(G-dropout)和快dropout(F-dropout).Dong等[4]從另外一個(gè)角度，根據(jù)情感表達(dá)的方式，構(gòu)建統(tǒng)計(jì)分析器，得出句子的情感極性.卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)通過(guò)卷積濾波器提取特征[5].Kalchbrenner等[6]利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)句子進(jìn)行建模.Kim[7]利用一個(gè)簡(jiǎn)單的單層卷積神經(jīng)網(wǎng)絡(luò)，通過(guò)多種輸入特征與參數(shù)設(shè)置方式進(jìn)行對(duì)比實(shí)驗(yàn).Severyn等[8]使用與Kim相似的卷積網(wǎng)絡(luò)結(jié)構(gòu)，但是參數(shù)初始化方式不同，完成對(duì)twitter文本的情感分析.Zhang等[9]針對(duì)Kim提出的卷積神經(jīng)網(wǎng)絡(luò)，從多個(gè)角度對(duì)實(shí)驗(yàn)結(jié)果的影響進(jìn)行討論.另一種網(wǎng)絡(luò)結(jié)構(gòu)是循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)，傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)在梯度反向傳播過(guò)程中，可能會(huì)產(chǎn)生梯度消失現(xiàn)象.為了解決這個(gè)問(wèn)題，Hochreiter等[10]提出了長(zhǎng)短時(shí)記憶模型.可以看出，卷積神經(jīng)網(wǎng)絡(luò)可以方便地利用濾波器的尺寸，提取句子中每個(gè)詞與其上文和下文中的關(guān)系,而通過(guò)使用長(zhǎng)短時(shí)記憶模型可以處理任意句子長(zhǎng)度序列，還可以更好地體現(xiàn)句子語(yǔ)法規(guī)范.因此，為了更加方便靈活地提取詞的上下文特征，充分利用語(yǔ)言特性，本文提出了基于多尺度的卷積循環(huán)神經(jīng)網(wǎng)絡(luò)模型.

1 多尺度的卷積循環(huán)神經(jīng)網(wǎng)絡(luò)模型

提出的多尺度卷積循環(huán)神經(jīng)網(wǎng)絡(luò)模型，如圖1所示.它包含兩級(jí)結(jié)構(gòu)：在卷積神經(jīng)網(wǎng)絡(luò)部分，使用Mikolov等[11]從谷歌新聞中訓(xùn)練出來(lái)的300維的詞向量作為每個(gè)詞對(duì)應(yīng)的特征，通過(guò)多尺度的卷積濾波器，提取多種具有豐富上下文的信息的特征；循環(huán)神經(jīng)網(wǎng)絡(luò)通過(guò)將得到的詞的上下文信息特征進(jìn)行組合，輸入到網(wǎng)絡(luò)中，最終的到情感分類(lèi)結(jié)果.

圖1 多尺度卷積循環(huán)神經(jīng)網(wǎng)絡(luò)模型Fig.1 Model architecture with multiscale convolution recurrence neural network

1.1句子矩陣

xi表示一個(gè)句子的第i個(gè)詞所對(duì)應(yīng)的詞向量，每個(gè)詞向量的維度為300維.由于句子包含的單詞數(shù)量不等，通過(guò)補(bǔ)0的方式，將句子全部擴(kuò)充成相同的長(zhǎng)度.那么,一個(gè)長(zhǎng)度為n的句子可以表示為

式(1)中：+代表詞向量的縱向連接操作.那么,利用谷歌的詞向量，就可以將所有句子都轉(zhuǎn)換成大小相同的句子矩陣X1:n∈Rn×300，作為模型的輸入.

1.2卷積提取特征

對(duì)句子矩陣卷積操作時(shí)，會(huì)涉及濾波器的選擇及初始化.一個(gè)濾波器W∈Rhk，其中，h代表每次卷積參與到的詞的數(shù)量，也就是濾波器的尺寸；k代表詞向量的維度，這樣一個(gè)濾波器通過(guò)與一個(gè)包含h個(gè)詞的字符串進(jìn)行卷積運(yùn)算后，就得到了一個(gè)標(biāo)量特征.如當(dāng)W濾波器卷積某一個(gè)字符串Xi:i+h-1時(shí)，特征ci就產(chǎn)生了,其表達(dá)式為

式(2)中：b∈R是一個(gè)偏置項(xiàng)；f是一個(gè)非線性激活函數(shù).那么，當(dāng)這個(gè)濾波器對(duì)整個(gè)句子矩陣進(jìn)行逐窗口{X1:h,X2:h+1,…,Xn-h+1:n}計(jì)算時(shí)，就會(huì)產(chǎn)生一個(gè)特征圖C∈Rn-h+1，表示為

在特征圖產(chǎn)生后，并不對(duì)它進(jìn)行池化操作，因?yàn)榈玫降奶卣黜樞驅(qū)η楦蟹诸?lèi)有很大的作用.不難理解,句子之所以構(gòu)成句子，是因?yàn)樗窃~的有序組合，所以會(huì)產(chǎn)生語(yǔ)法和句法.因此，特征的順序?qū)τ诰渥咏Y(jié)構(gòu)的表示具有重要性.

以上描述了一種尺寸的濾波器對(duì)一個(gè)句子矩陣進(jìn)行操作的過(guò)程.文中模型使用多尺寸的濾波器，每種尺寸包含多個(gè)濾波器對(duì)輸入矩陣進(jìn)行操作.所以，在對(duì)句子矩陣進(jìn)行多尺寸的多個(gè)濾波器濾波后，每種尺寸的多個(gè)濾波器產(chǎn)生出多個(gè)特征圖.那么，通過(guò)某一尺寸的某個(gè)濾波器得到的特征圖C，變換成

式(4)中:i表示第i個(gè)尺寸的濾波器，實(shí)驗(yàn)采用3種尺寸的濾波器;j表示同一尺寸的第j個(gè)濾波器，由于卷積神經(jīng)網(wǎng)絡(luò)中的濾波器的參數(shù)是隨機(jī)生成的，同一尺寸包含的多個(gè)濾波器可以提取多種不同的特征，從而獲得同一尺寸下更豐富的特征，更精準(zhǔn)地分析句子情感.對(duì)得到的多個(gè)特征圖進(jìn)行組合，即

式(5)，(6)中：i代表第i種濾波器尺寸；m代表每個(gè)尺寸濾波器的個(gè)數(shù).這樣，就得到輸入到循環(huán)神經(jīng)網(wǎng)絡(luò)的輸入特征.

1.3循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)模型是長(zhǎng)短時(shí)記憶的循環(huán)神經(jīng)網(wǎng)絡(luò)[10]，其模型結(jié)構(gòu)如圖2所示.

圖2 RNN結(jié)構(gòu)圖Fig.2 Architecture of RNN

長(zhǎng)短時(shí)記憶(long short-term memory,LSTM)算法引入了一個(gè)新的內(nèi)存單元的結(jié)構(gòu)，它主要包含4個(gè)主要元素：輸入門(mén)、自連接的神經(jīng)元、忘記門(mén)和輸出門(mén).輸入門(mén)控制輸入信號(hào)的多少；輸出門(mén)控制內(nèi)存單元輸出對(duì)其他神經(jīng)元的影響；忘記門(mén)控制自連接神經(jīng)元受多少之前狀態(tài)的影響.它的每一個(gè)內(nèi)存單元標(biāo)識(shí)為一個(gè)LSTM單元，每個(gè)LSTM單元按照下式，逐個(gè)時(shí)刻t進(jìn)行計(jì)算，即

式(7)～(12)中:σ表示sigmoid函數(shù)；W*，U*表示隨機(jī)初始化的參數(shù)，下標(biāo)i,c,f,o分別代表輸入門(mén)、自連接、忘記門(mén)和輸出門(mén).

那么，通過(guò)將每種尺寸濾波器濾波得到的特征Mi，逐一輸入到循環(huán)神經(jīng)網(wǎng)絡(luò)中的對(duì)應(yīng)位置，從而得到對(duì)應(yīng)尺寸的狀態(tài)向量hi，最后，將每種尺寸濾波器得到的狀態(tài)向量拼接成一個(gè)狀態(tài)向量，送入softmax分類(lèi)器進(jìn)行[0,1]分類(lèi)，便可得到句子所對(duì)應(yīng)的情感分類(lèi).

1.4正則化

在訓(xùn)練模型的過(guò)程中，使用dropout方法和權(quán)重向量L2范數(shù)約束[2]這兩種方法防止過(guò)擬合現(xiàn)象的發(fā)生.dropout方法是通過(guò)人為設(shè)置的隨機(jī)概率，將一些單元設(shè)置為0，從而讓網(wǎng)絡(luò)中的有些節(jié)點(diǎn)不工作.對(duì)于不工作的那些節(jié)點(diǎn),可以暫時(shí)認(rèn)為不是網(wǎng)絡(luò)結(jié)構(gòu)的一部分，但是它的權(quán)重也要保留，因?yàn)檫@些節(jié)點(diǎn)的權(quán)重只是暫時(shí)不更新.當(dāng)下一批樣本輸入時(shí)，它就有可能又要工作，那么當(dāng)訓(xùn)練模型的時(shí)候，相當(dāng)于每一次都在訓(xùn)練不同的網(wǎng)絡(luò)，所以通過(guò)這樣的方法可以有效地防止過(guò)擬合現(xiàn)象的發(fā)生.而權(quán)重向量的L2范數(shù)約束是在梯度更新過(guò)程中,將權(quán)重的L2范數(shù)強(qiáng)制的約束在某一范圍中，使權(quán)重參數(shù)的元素值都很小，避免出現(xiàn)個(gè)別元素的值較大，對(duì)分類(lèi)結(jié)果產(chǎn)生較大影響，從而有效地防止過(guò)擬合現(xiàn)象，提高模型的泛化能力.

2 實(shí)驗(yàn)與分析

為了測(cè)試文中模型，將提出的多尺度卷積循環(huán)神經(jīng)網(wǎng)絡(luò)模型與其他模型的情感分類(lèi)實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比分析.實(shí)驗(yàn)使用的是預(yù)訓(xùn)練的詞向量，它來(lái)源于谷歌開(kāi)源的word2vector工具，連續(xù)詞袋結(jié)構(gòu)從谷歌新聞中訓(xùn)練而來(lái)，向量的維度是300維[11].使用3種數(shù)據(jù)集進(jìn)行對(duì)比分析，一個(gè)是電影評(píng)論(MR)的數(shù)據(jù)集，每條數(shù)據(jù)是由一句話組成,總共包含5 331個(gè)消極評(píng)論和5 331個(gè)積極評(píng)論；一個(gè)是多種產(chǎn)品的顧客評(píng)論(CR)，總共包含1 367條消極評(píng)論和2 406條積極評(píng)論；一個(gè)是觀點(diǎn)極性判斷的數(shù)據(jù)集(MRQA)，一共包含7 293條消極觀點(diǎn)和3 311條積極評(píng)論.其中,MR數(shù)據(jù)集與CR數(shù)據(jù)集是評(píng)論數(shù)據(jù)集，它們的語(yǔ)句長(zhǎng)度更長(zhǎng)，而MRQA數(shù)據(jù)集主要是判斷觀點(diǎn)極性，所以數(shù)據(jù)集中的句子長(zhǎng)度相對(duì)較短，甚至包含部分的單個(gè)單詞和單詞短語(yǔ).3個(gè)數(shù)據(jù)集的標(biāo)簽都是采用0和1對(duì)情感極性進(jìn)行標(biāo)注，其中,0代表消極，1代表積極.

對(duì)于所有數(shù)據(jù)集，采用5折交叉驗(yàn)證;迭代次數(shù)為30次;L2范數(shù)的約束系數(shù)設(shè)置為3;每批訓(xùn)練的大小為50個(gè)句子;dropout設(shè)置為0.5;選擇3種濾波器尺寸，分別為5,7,9;特征圖選擇的數(shù)量為200.卷積前句子長(zhǎng)度是對(duì)應(yīng)數(shù)據(jù)集中句子的最大長(zhǎng)度，而當(dāng)輸入到LSTM模型時(shí)，句子長(zhǎng)度變?yōu)榫矸e前數(shù)據(jù)集中最大句子長(zhǎng)度減去濾波器大小的長(zhǎng)度，對(duì)應(yīng)每個(gè)單詞向量的維度變?yōu)樘卣鲌D的數(shù)量(即200維)，LSTM模型最終的輸出為二維向量，分別代表其情感極性.對(duì)于句子長(zhǎng)度較長(zhǎng)的數(shù)據(jù)集，濾波器的尺寸選擇在一定范圍內(nèi)的增加可以提高準(zhǔn)確率；但是當(dāng)尺寸選擇過(guò)大、甚至超越句子的平均長(zhǎng)度時(shí)，準(zhǔn)確率就會(huì)降低很多.由于特征圖是用來(lái)盡可能提取豐富的特征，所以特征圖選的數(shù)量越多，會(huì)增加實(shí)驗(yàn)的準(zhǔn)確率；當(dāng)增加到一定程度時(shí)，準(zhǔn)確率基本不變化；再繼續(xù)增大時(shí)，反而會(huì)降低準(zhǔn)確率.隨著濾波器的尺寸和特征圖數(shù)量的增加，訓(xùn)練過(guò)程會(huì)變得相當(dāng)耗時(shí)，且需要較大的內(nèi)存空間存儲(chǔ).因此，通過(guò)對(duì)比不同數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果，選擇對(duì)各個(gè)數(shù)據(jù)集都相對(duì)合適的參數(shù).

采用隨機(jī)梯度下降算法的Adadelta更新規(guī)則[12]，該更新規(guī)則可以自適應(yīng)地調(diào)整學(xué)習(xí)率，減少人為指定學(xué)習(xí)率給更新帶來(lái)的影響.為了保證算法的魯棒性，避免隨機(jī)擾動(dòng)帶來(lái)的影響，實(shí)驗(yàn)結(jié)果是經(jīng)過(guò)多次實(shí)驗(yàn)求平均值的結(jié)果，從而使該方法有更好的魯棒性.情感分類(lèi)結(jié)果準(zhǔn)確率(η)，如表1所示.表1中：

表1 情感分類(lèi)結(jié)果Tab.1 Sentiment classification results

M-CNN-RNN代表文中提出的模型.

選擇對(duì)比的模型都是近幾年比較經(jīng)典的模型，并且都在數(shù)據(jù)集中取得了不錯(cuò)的效果.通過(guò)對(duì)比實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，提出的模型獲得了很好的結(jié)果.通過(guò)卷積神經(jīng)網(wǎng)絡(luò)多種尺寸的濾波器,可以提取比一般三元語(yǔ)法特征更多更廣泛的上下文特征.在卷積神經(jīng)網(wǎng)絡(luò)后面連接循環(huán)神經(jīng)網(wǎng)絡(luò)分類(lèi)器可以將詞與句子的語(yǔ)法關(guān)系更好地體現(xiàn)出來(lái)，而且可以充分地利用卷積濾波器所提取出來(lái)的特征.所以,文中模型可以超越幾乎所有的模型，也可以看出，提出的模型很適合情感分類(lèi)任務(wù).但是在MR和CR數(shù)據(jù)集中，情感分類(lèi)結(jié)果略低于CNN兩種模型結(jié)構(gòu)的準(zhǔn)確率.因?yàn)樵谠u(píng)論數(shù)據(jù)集中，通常句子主要是表達(dá)用戶及顧客的情感，然而卻并不注意句子的語(yǔ)法規(guī)范，所以語(yǔ)句中的重點(diǎn)很明顯，其他字詞起的作用不大.而恰好在CNN-not-static和CNN-multichannel兩種模型中，它們?cè)谶M(jìn)行卷積濾波操作后，對(duì)得到的特征進(jìn)行池化操作，會(huì)將卷積濾波后所提取到特征中的最顯著的特征保存下來(lái)，然后進(jìn)行分類(lèi).而文中模型是利用卷積濾波器得到的全部特征進(jìn)行情感分類(lèi)，為了保證特征的完整性，并沒(méi)有進(jìn)行池化操作.因此，CNN兩種模型的準(zhǔn)確率會(huì)略高于文中模型.

3 結(jié)束語(yǔ)

通過(guò)結(jié)合深度學(xué)習(xí)領(lǐng)域中常用的兩種主流方法卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)，提出基于多尺度的卷積循環(huán)神經(jīng)網(wǎng)絡(luò)模型.該模型利用卷積神經(jīng)網(wǎng)絡(luò)中的多尺寸濾波器,提取出具有豐富上下文關(guān)系的詞特征，循環(huán)神經(jīng)網(wǎng)絡(luò)中的長(zhǎng)短時(shí)記憶算法將提取到的詞特征與句子的結(jié)構(gòu)聯(lián)系起來(lái)，從而將句子的結(jié)構(gòu)與詞的相互依賴關(guān)系盡可能好地體現(xiàn)出來(lái).通過(guò)實(shí)驗(yàn)對(duì)比分析，文中模型獲得了很好的實(shí)驗(yàn)結(jié)果，體現(xiàn)出該模型對(duì)情感分類(lèi)的適用性.接下來(lái)，需要探索如何將注意力模型應(yīng)用到文中模型中，改進(jìn)網(wǎng)絡(luò)的結(jié)構(gòu)，使它更適應(yīng)現(xiàn)實(shí)生活中的語(yǔ)言模型，提升文本情感分析的效果.

[1] WANG Sida,MANNING C D.Baselines and bigrams: Simple, good sentiment and topic classification[C]∥Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics.Stroudsburg:ACM,2012:90-94.

[2] HINTON G,SRIVASTAVA N,KRIZHEVSKY A,etal.Improving neural networks by preventing co-adaptation of feature detectors[J].Computer Science,2012,3(4):212-223.

[3] WANG Sida,MANNING C D.Fast dropout training[C]∥Proceedings of the 30 th International Conference on Machine Learning.Atlanta:JMLR,2013:118-126.

[4] LI Dong,WEI Furu,LIU Shujie,etal.A statistical parsing framework for sentiment classification[J].Computational Linguistics,2014,41(2):293-336.DOI:10.1162/COLI_a_00221.

[5] LECUN Y,BOTTOU L,BENGIO Y,etal.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE,1998,86(11):2278-2324.DOI:10.1109/5.726791.

[6] KALCHBRENNER N,GREFENSTETTE E,BLUNSOM P.A convolutional neural network for modelling sentences[C]∥Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics.Baltimore:Eprint Arxiv,2014:655-665.DOI:10.3115/v1/P14-1062.

[7] KIM Y.Convolutional neural networks for sentence classification[C]∥Proceedings of Conferenceon Empirical Methods in Natural Language Processing.Doha：[s.n.],2014:1746-1751.DOI:10.3115/v1/d14-1181.

[8] SEVERYN A,MOSCHITTI A.Twitter sentiment analysis with deep convolutional neural networks[C]∥Proceedings of the 38th International ACM SIGIR Conference on Research and Development in Information Retrieval.New York:ACM,2015:959-962.DOI:10.1145/2766462.2767830.

[9] ZHANG Ye,WALLACE B.A sensitivity analysis of (and practitioners′ guide to) convolutional neural networks for sentence classification[EB/OL].(2016-04-06)[2016-06-15].http://arxiv.org/pdf/1510.03820v4.pdf.

[10] HOCHREITER S,SCHMIDHUBER J.Long short-term memory neural computation[J].Neural Computation,1997,9(8):1735-1780.DOI:10.1162/neco.1997.9.8.1735.

[11] MIKOLOV T,SUTSKEVER I,CHEN Kai,etal.Distributed representations of words and phrases and their compositionality[C]∥Proceedings of Neural Information Processing Systems.South Lake Tahoe:Advances in Neural Information Processing Systems,2013:3111-3119.

[12] ZEILER M.Adadelta: An adaptive learning rate method[EB/OL].(2012-12-22)[2016-06-15].http://arxiv.org/pdf/1212.5701v1.pdf.

(責(zé)任編輯： 黃曉楠英文審校： 吳逢鐵)

SentimentClassificationWithMultiscaleConvolutionalRecurrentNeuralNetwork

WU Qiong， CHEN Duansheng

(College of Computer Science and Technology, Huaqiao University, Xiamen 361021, China)

Combining the advantages of convolution neural network (CNN) for feature extraction and recurrent neural network (RNN) for long shot-term memory, a new model based on multiscale convolutional recurrent neural network is proposed. This model utilize multi-size filter of CNN to extract word feature which contain a rich context information and use the long short-term memory algorithm of RNN to reflect the grammatical relations about the word and the sentence, and then completing the sentiment classification task. The experimental results show that: through comparing with many other sentiment classification, this new model has a high accuracy.

text sentiment classification; convolutional neural network; recurrent neural network; long short-term memory; multiscale

10.11830/ISSN.1000-5013.201606077

TP 391.4

A

1000-5013(2017)06-0875-05

2016-06-28

陳鍛生(1959-)，男，教授，博士，主要從事計(jì)算機(jī)視覺(jué)與多媒體技術(shù)的研究.E-mail:dschen@hqu.edu.cn.

國(guó)家自然科學(xué)基金資助項(xiàng)目(61370006)； 福建省科技計(jì)劃(工業(yè)引導(dǎo)性)重點(diǎn)項(xiàng)目(2015H0025)