張?zhí)? 陳輝

摘? 要：為了避免池化層重要特征信息的丟失以及改善CNN和RNN無法全面提取特征的局限性，文章提出一種基于BiGRU和膠囊網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)模型—BGCapNet模型，該模型使用兩個不同尺寸的BiGRU進(jìn)行特征提取，實現(xiàn)文本長距離相互依賴的特性，膠囊網(wǎng)絡(luò)獲取更豐富的特征信息并通過膠囊預(yù)測進(jìn)行情感分類。為了評估模型的有效性，在電影評論IMDB和SST-2這兩個數(shù)據(jù)集上進(jìn)行了實驗。實驗結(jié)果表明，BGCapNet模型在影評數(shù)據(jù)集上的準(zhǔn)確率和F1值優(yōu)于其他傳統(tǒng)方法，有效提高了文本情感分類的效果。

關(guān)鍵詞：文本情感分類;BGCapNet;BiGRU;膠囊網(wǎng)絡(luò);深度學(xué)習(xí)

中圖分類號： TP391.1? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A 文章標(biāo)號：2096-4706（2022）04-0031-04

Study on Text Sentiment Classification Based on BiGRU and Capsule Networks

ZHANG Tian， CHEN Hui

（College of Computer Science and Engineering， Anhui University of Science and Technology， Huainan? 232001， China）

Abstract： In order to avoid the loss of important feature information in the pool layer and improve the limitation that CNN and RNN can not fully extract features， this paper proposes a neural network model based on BiGRU and capsule network—BGCapNet model. The model uses two BiGRU with different sizes for feature extraction to realize the characteristics of long-distance interdependence of text. The capsule network obtains richer feature information and classifies emotion through capsule prediction. In order to evaluate the effectiveness of the model， experiments are carried out on two data sets of film review IMDB and SST-2. The experimental results show that the accuracy and F1 value of BGCapNet model in film review data set are better than other traditional methods， and the effect of text emotion classification is effectively improved.

Keywords： text sentiment classification; BGCapNet; BiGRU; capsule network; deep learning

0? 引? 言

文本情感分析是自然語言處理、文本挖掘和計算機(jī)語言學(xué)的一個重要研究領(lǐng)域，主要是對網(wǎng)絡(luò)平臺上存在的帶有情感傾向的主觀性評論文本進(jìn)行抽取、整理和分類，對文本中包含的情感詞進(jìn)行情感判斷，以便政府機(jī)關(guān)、社會團(tuán)體和個人等隨時掌控社會情緒動態(tài)，適時做出相應(yīng)干預(yù)，促進(jìn)社會和諧。

早期的情感分類任務(wù)主要基于人為規(guī)則制定。傳統(tǒng)的文本情感分析方法主要包括基于情感詞典的方法和基于機(jī)器學(xué)習(xí)的方法?；谇楦性~典的方法在分類時嚴(yán)重依賴于情感詞典，通過將目標(biāo)詞與詞典中的情感詞進(jìn)行比對的方式實現(xiàn)分類。該方法適用性差，無法廣泛應(yīng)用于多個領(lǐng)域，構(gòu)造詞典時過于依賴人力物力，靈活度不高，難以應(yīng)對不斷變化的詞形詞意，不能適時地將網(wǎng)絡(luò)新詞囊括其中[1，2]。而基于機(jī)器學(xué)習(xí)的方法雖然取得了良好的效果，但過于依賴訓(xùn)練集，需要耗費(fèi)大量的人力和時間進(jìn)行語料標(biāo)注，成本較高，效率低下，又容易忽視句子的上下文聯(lián)系和語義關(guān)聯(lián)，計算復(fù)雜度大，泛化能力不強(qiáng)[3]。為了解決手工特征提取這一問題，學(xué)者們提出了深度學(xué)習(xí)算法。

近年來，越來越多的研究者傾向于采用深度學(xué)習(xí)（Deep Learning， DL）算法來研究情感分類問題。李慧[4]采用統(tǒng)計學(xué)方法抽取屬性特征詞，結(jié)合互信息和信息熵等方法提高了分詞的準(zhǔn)確性;李洋等[5]為避免忽略詞的上下文含義，提出將CNN和BiLSTM進(jìn)行特征融合，提高了特征提取能力;孫玉霞[6]為解決主流模型訓(xùn)練時間長且無法充分提取文本特征的問題，提出了在BiGRU層提取特征的基礎(chǔ)上，通過添加注意力（Attention）機(jī)制來提取更重要的特征，提高了特征提取的能力，證明了該模型的有效性。2011年，Hinton等[7]提出膠囊是一小群神經(jīng)元，神經(jīng)元的活動用于表示一個實體的各種屬性;Sabour等[8]率先將這一概念應(yīng)用到神經(jīng)網(wǎng)絡(luò)中，采用一種新的動態(tài)路由算法來選擇主動膠囊，CapsNet的實驗表明，在圖像分類領(lǐng)域，膠囊的魯棒性明顯優(yōu)于CNN;Zhao等[9]首次在情感分類任務(wù)中采用膠囊網(wǎng)絡(luò)進(jìn)行研究，連續(xù)兩個卷積層采用動態(tài)路由替代池化操作，減少了CNN在池化層上特征信息丟失的概率，分類精度更高?？傊z囊網(wǎng)絡(luò)在情感分類任務(wù)中的應(yīng)用，改善了CNN和RNN提取特征的局限性，提高了特征提取的準(zhǔn)確率。E8783FAC-404F-4C25-BD25-730475807DD4

為了解決CNN最大池化特征信息丟失以及RNN無法全面提取特征的問題，本文提出一種基于BiGRU和膠囊網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)模型。首先使用兩個不同尺寸的BiGRU作為特征提取器，實現(xiàn)文本長距離相互依賴的特性，其次膠囊網(wǎng)絡(luò)作為頂層分類器獲取更豐富的特征信息，同時對向量特征進(jìn)行情感預(yù)測，最后通過非線性壓縮函數(shù)對特征向量的長度進(jìn)行壓縮，以表示實體的分類概率。

1? 網(wǎng)絡(luò)模型設(shè)計

BGCapNet網(wǎng)絡(luò)模型經(jīng)過基本的預(yù)處理步驟后，由3個模塊組成：基于Word2Vec的詞嵌入層、基于BiGRU的特征提取層、膠囊網(wǎng)絡(luò)層，網(wǎng)絡(luò)模型整體結(jié)構(gòu)如圖1所示。下面將對各模塊進(jìn)行詳細(xì)闡述。

1.1? 詞嵌入層

利用預(yù)先訓(xùn)練好的Word2Vec[3]方法將每個單詞表示為多維分布向量，將含有單詞的句子輸入到嵌入層中，將每個單詞轉(zhuǎn)換為多維單詞向量，最終得到矩陣M=[x1，x2 ，…，xi，…，xL]∈RL×d，其中xi=[wi1，wi2，…，wij，…，wid]，對應(yīng)句子中的單詞向量。每個句子都可作為單詞的序列，通過詞嵌入層的映射，既保留了句子的語序，又可將句子表示為矩陣形式，最終得到向量表示。

1.2? BiGRU特征提取層

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）是一種能夠獲取方向上時間信息的網(wǎng)絡(luò)。與基礎(chǔ)神經(jīng)網(wǎng)絡(luò)相比，它在同一層的神經(jīng)元之間也建立了權(quán)連接，能夠傳輸當(dāng)前時間的信息。GRU是一種特殊的RNN結(jié)構(gòu)，相較于LSTM結(jié)構(gòu)，GRU結(jié)構(gòu)簡單，參數(shù)少，更容易進(jìn)行訓(xùn)練，在需要少量樣本的情況下，研究者更傾向于使用GRU。GRU單元結(jié)構(gòu)如圖2所示。

GRU有兩個門，分別是重置門和更新門，它們能夠捕捉時間序列中的長短期依賴關(guān)系。在圖2中，ht和ht-1分別表示當(dāng)前狀態(tài)和前一時刻狀態(tài)的輸出，xt表示當(dāng)前時刻的輸入，[ht-1，xt]表示ht-1與ht進(jìn)行拼接，重置門rt和更新門zt是分別通過點(diǎn)乘Wr & [ht-1，xt]和Wz & [ht-1，xt]得到的，σ和tanh分別為sigmoid層和tanh層。通過rt和zt，我們能夠計算出t時刻的狀態(tài)輸出ht。計算公式為：

BiGRU是一個基于窗口的特征提取器，比BiLSTM更簡單，訓(xùn)練速度更快。本文采用BiGRU層進(jìn)行特征提取，由兩個方向相反的GRU單元構(gòu)成。BiGRU在t時刻的隱層狀態(tài)是通過t-1時刻的正向隱層狀態(tài)輸和反向隱層狀態(tài)輸加權(quán)求和得到的，計算公式為：

1.3? 膠囊網(wǎng)絡(luò)層

膠囊網(wǎng)絡(luò)使用膠囊作為網(wǎng)絡(luò)的基本單元，膠囊能夠表示部分實體的屬性，能夠使用特征向量而不是標(biāo)量來表示可視實體，在語義表達(dá)方面有較大的發(fā)展空間。本文所提出的膠囊網(wǎng)絡(luò)的輸入和輸出都是向量，不僅可以在BiGRU層提取到大量豐富的特征信息，而且能對語義、方位等信息進(jìn)行編碼，大大提升了獲取深層特征信息的能力。

在膠囊網(wǎng)絡(luò)中，最外層是主膠囊層，用膠囊輸出向量取代BiGRU層的標(biāo)量輸出，保留了單詞的局部順序和語義表示;接下來進(jìn)入連接層，采用路由協(xié)議生成下一層膠囊，這一過程代替了池化操作，減少了重要信息（如位置、語義等）的丟失;在整個過程中通過動態(tài)路由算法來自動更新耦合系數(shù)c的權(quán)值，通過計算特征向量的模長得出不同的分類概率，從而進(jìn)行文本情感分類。如圖3所示，u是上一層膠囊的輸入向量，c稱為耦合系數(shù)，是通過動態(tài)路由更新迭代得到的，u和c進(jìn)行線性組合就得到向量s，s為膠囊j的輸入，計算公式為：

為了使特征向量的模長能夠表示實體的分類概率，使用非線性壓縮函數(shù)將特征向量長度限制在0～1之間。在公式（11）中，若s非常大趨于1，vj趨于1，反之vj趨于0。

2? 實驗結(jié)果與分析

本文選取的數(shù)據(jù)集為已整理并標(biāo)注好的IMDB和SST-2電影評論語料，對其進(jìn)行數(shù)據(jù)劃分，數(shù)據(jù)集分布情況如表1所示。在提出的模型上進(jìn)行實驗，并與其他算法模型進(jìn)行實驗結(jié)果對比，證明該模型的有效性和適用性。

2.1? 實驗環(huán)境及參數(shù)設(shè)置

本實驗在Windows10系統(tǒng)上進(jìn)行，以pycharm作為開發(fā)環(huán)境，編程語言為Python3.8，深度學(xué)習(xí)框架為keras和Tensorflow，處理器為Intel（R） Core（TM）i5-6200U CPU @ 2.40 GHz，運(yùn)行內(nèi)存為4 G。實驗過程中，Word2Vec預(yù)訓(xùn)練模型將每一個單詞映射為300維的向量，BiGRU1和BiGRU2的尺寸分別為256和200，dropout的值設(shè)為0.2，學(xué)習(xí)率為0.001，批次大小設(shè)為100。

2.2? 評價指標(biāo)

為了更好地評估BGCapNet網(wǎng)絡(luò)模型在文本情感分類任務(wù)中的性能，本文使用準(zhǔn)確率、F1值作為本次實驗的評價指標(biāo)，具體公式為：

2.3? 實驗結(jié)果分析

本文選取準(zhǔn)確率和F1值作為評價指標(biāo)，對比實驗選擇了目前情感分析任務(wù)中常用的幾種深度學(xué)習(xí)網(wǎng)絡(luò)模型，不同分類模型在數(shù)據(jù)集上的實驗結(jié)果如表2所示。從表2中可以看出，相較于其他傳統(tǒng)深度學(xué)習(xí)模型，本文提出的模型取得了較明顯的效果，CNN-rand模型在兩種數(shù)據(jù)集上的準(zhǔn)確率和F1值的分類效果欠佳，這是因為在訓(xùn)練過程中沒有考慮到詞與詞之間的順序問題和上下文聯(lián)系，Capsule模型相較于CNN有較高的分類效果，表示比起CNN，Capsule具有更好的特征提取能力。

通過數(shù)據(jù)結(jié)果對比可以得出，在IMDB數(shù)據(jù)集上進(jìn)行情感分類時，相較于CNN-static、BiLSTM、Capsule等傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)，本文提出的模型具有較好的分類效果，準(zhǔn)確率和F1值分別達(dá)到82.5%和87.3%，與其他模型最高準(zhǔn)確率相比分別提高了0.2%和1.2%;在SST-2數(shù)據(jù)集上進(jìn)行情感分類時，CNN-multichannel模型的分類效果最高，這是因為它將static與non-static聯(lián)合作為兩通道的詞向量，提取到了更深層次的特征信息。除此之外，本文提出模型的分類效果分別達(dá)到87.6%和90.0%，相較于其他六種網(wǎng)絡(luò)模型，準(zhǔn)確率和F1值均有不同程度的提高。因此，本文提出的基于BiGRU和膠囊網(wǎng)絡(luò)的模型在解決文本情感分類問題上，較之傳統(tǒng)深度學(xué)習(xí)算法性能得到了提升。由此可見，本文提出的模型是有效的。E8783FAC-404F-4C25-BD25-730475807DD4

3? 結(jié)? 論

本文提出一種基于BiGRU和膠囊網(wǎng)絡(luò)、用于文本情感分類任務(wù)的模型，該模型不僅能提取到大量豐富的特征信息，而且能對語義、方位等信息進(jìn)行編碼，從而提高了獲取深層特征的能力。通過與目前情感分析中常用的幾種深度學(xué)習(xí)網(wǎng)絡(luò)模型對比得出，本文提出的模型在準(zhǔn)確率和F1值上有了明顯的提升，證明了模型在情感分類任務(wù)中的適用性。盡管該模型在情感分類任務(wù)中有較好的分類效果，但由于膠囊網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜、參數(shù)較多、計算量大，故容易造成模型訓(xùn)練的時間較長。因此在以后的研究中，加強(qiáng)對模型的訓(xùn)練，優(yōu)化參數(shù)，減少計算量，力求在取得較好分類效果的同時縮短訓(xùn)練時間;也可以將該模型應(yīng)用于其他情感分析任務(wù)中，以驗證模型在不同領(lǐng)域的性能，并對模型加以改進(jìn)，以取得更好的效果。

參考文獻(xiàn)：

[1] 洪巍，李敏.文本情感分析方法研究綜述 [J].計算機(jī)工程與科學(xué)，2019，41（4）：180-187.

[2] 李然，林政，林海倫，等.文本情緒分析綜述 [J].計算機(jī)研究與發(fā)展，2018，55（1）：30-52.

[3] 彭曉彬.基于word2vec的文本情感分析方法研究 [J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2016（7）：58-59.

[4] 李慧，柴亞青.基于卷積神經(jīng)網(wǎng)絡(luò)的細(xì)粒度情感分析方法 [J].現(xiàn)代圖書情報技術(shù)，2019，3（1）：95-103.

[5] 李洋，董紅斌.基于CNN和BiLSTM網(wǎng)絡(luò)特征融合的文本情感分析 [J].計算機(jī)應(yīng)用，2018，38（11）：3075-3080.

[6] 孫玉霞.基于BiGRU-Attention模型的文本情感分析研究 [D].阜新：遼寧工程技術(shù)大學(xué)，2019.

[7] HINTON G E，KRIZHEVSKY A，WANG S D. Transforming Auto-Encoders [C]// Artificial Neural Networks and Machine Learning - ICANN 2011. Espoo：Proceedings，2011：14-17.

[8] MALLIS G I，SCHMIDT D H，LINDENBAUM J. Superior bioavailability of digoxin solution in capsules[J]. Clinical Pharmacology & Therapeutics，1975，18（6）：761-768.

[9] ZHAO W，YE J，YANG M，et al. Investigating Capsule Networks with Dynamic Routing for Text Classification [C]//Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. Brussels，Association for Computational Linguistics，2018：3110-3119.

作者簡介：張?zhí)穑?997—），女，漢族，山東菏澤人，碩士研究生在讀，主要研究方向：自然語言處理、文本情感分析;陳輝（1973—），男，漢族，安徽廬江人，副教授，碩士生導(dǎo)師，博士，主要研究方向：無線傳感器網(wǎng)絡(luò)、機(jī)器學(xué)習(xí)、物聯(lián)網(wǎng)技術(shù)及應(yīng)用。E8783FAC-404F-4C25-BD25-730475807DD4