梁慧杰 朱曉娟 任萍

收稿日期：2023-06-09

基金項目：2022年度安徽省高校重點項目（2022AH050821）

DOI：10.19850/j.cnki.2096-4706.2024.04.012

摘? 要：跨語言情感分析的目的是利用數(shù)據(jù)資源豐富的源語言幫助資源較少的目標(biāo)語言進行情感分析。針對中文文本標(biāo)注語料較少和不同方面項的不同情感極性特征重疊影響文本情感分析準確率的問題，提出一種基于膠囊網(wǎng)絡(luò)的跨語言方面級情感分類方法BBCapNet，該方法利用BERT模型學(xué)習(xí)源語言的語義特征訓(xùn)練詞向量作為嵌入層，然后利用BiLSTM學(xué)習(xí)上下文信息，利用膠囊網(wǎng)絡(luò)（Capsule Network）獲取文本中局部信息和整體情感極性間的關(guān)系，從而提取不同方面項的情感特征，最后使用歸一化指數(shù)函數(shù)（Softmax）進行分類。通過與其他主流方法進行對比論證，論證結(jié)果表明，該方法在跨語言方面級情感分類效果上有顯著提升。

關(guān)鍵詞：膠囊網(wǎng)絡(luò)；情感分類；BERT；跨語言

中圖分類號：TP391.1? 文獻標(biāo)識碼：A? 文章編號：2096-4706（2024）04-0056-05

Cross-language Aspect Level Sentiment Analysis Based on Capsule Network

LIANG Huijie， ZHU Xiaojuan， REN Ping

（School of Computer Science and Engineering， Anhui University of Science & Technology， Huainan? 232001， China）

Abstract： The purpose of cross-language sentiment analysis is to use source languages with abundant data resources to assist target languages with limited resources in sentiment analysis. A cross-language aspect level sentiment classification method BBCapNet based on Capsule Networks is proposed to address the issue of limited corpus for Chinese text annotation and overlapping sentiment polarity features of different aspects， which affects the accuracy of text sentiment analysis. This method uses the BERT model to learn semantic features of the source language and train word vectors as embedding layers， and then uses BiLSTM to learn contextual information， The Capsule Network is used to obtain the relationship between the local information and the overall sentiment polarity in the text， so as to extract the sentiment characteristics of different aspects. Finally， the normalized exponential function （softmax） is used for classification. By comparing with other mainstream methods， the results show that this method has a significant improvement in cross-language aspect level sentiment classification.

Keywords： Capsule Network; sentiment classification; BERT; cross-language

0? 引? 言

電商的蓬勃發(fā)展，使人們的購物方式產(chǎn)生了變革，隨之產(chǎn)生了海量的商品評論數(shù)據(jù)。商品評論中蘊含著已購買用戶對產(chǎn)品及其服務(wù)的情緒信息。這些商品評論數(shù)據(jù)既可以幫助消費者快速了解產(chǎn)品的真實信息又有助于商家判斷用戶喜好，快速地做出市場決策。

方面級情感分類任務(wù)的目標(biāo)是判斷文本中特定方面項對應(yīng)的情感極性。方面級情感分類能夠判斷評論中不同方面的情感極性。比如，當(dāng)輸入語句“這家餐廳的服務(wù)很好”和方面項“服務(wù)”，可以提取出由方面項對應(yīng)的情感極性“正向”。實現(xiàn)文本的細粒度情感分類，在社交媒體級商品評論等領(lǐng)域中有著較強的應(yīng)用需求。目前方面級情感分類研究集中在使用深度神經(jīng)網(wǎng)絡(luò)。近年來，預(yù)訓(xùn)練語言模型[1-3]已成功地應(yīng)用在自然語言處理的各個任務(wù)中。預(yù)訓(xùn)練語言模型也已經(jīng)成為方面級情感分類任務(wù)模型的主流構(gòu)建模塊[4-8]。預(yù)訓(xùn)練語言模型的引入取得了不錯的效果，但依然存在著忽視不同方面項的不同情感極性特征重疊影響文本情感分析準確率的問題。而且訓(xùn)練一個好的情感分類模型，需要大量的標(biāo)注語料[9]，而方面級情感分類任務(wù)不僅需要像傳統(tǒng)情感分類任務(wù)一樣標(biāo)注文本的情感極性還需要標(biāo)注對應(yīng)的方面項。標(biāo)注任務(wù)目前主要依靠人工標(biāo)注，需要耗費大量的時間和人工成本。方面級情感分類標(biāo)注語料資源有限且主要是英文數(shù)據(jù)集[10]。中文公開的標(biāo)注語料匱乏，因此我們引入跨語言情感分類，將英文作為源語言利用其較為豐富的標(biāo)注語料來提取語義信息，幫助中文數(shù)據(jù)做情感分類以彌補中文語料不足的缺陷，提高中文情感分類準確率。

針對中文語料匱乏和情感特征重疊的問題，提出了一種基于膠囊網(wǎng)絡(luò)的跨語言方面級情感分類模型BBCapNet。首先，利用Bert預(yù)訓(xùn)練語言模型將文本轉(zhuǎn)化為詞向量；其次，采用雙向長短期記憶網(wǎng)絡(luò)學(xué)習(xí)上下文文本信息；然后利用膠囊網(wǎng)絡(luò)的動態(tài)路由區(qū)分重疊特征；最后，利用歸一化指數(shù)函數(shù)進行情感分類。

1? 相關(guān)工作

1.1? 方面級情感分析

與粗粒度情感分類相比細粒度情感分類通常被用于研究精度較高的大型數(shù)據(jù)集[11]。在大多數(shù)情況下，句子可能包含多個具有不同情緒的方面。因此，為了提高的準確性，有必要從不同的方面對情感進行分類?，F(xiàn)有的方面級情感分類方法可分為三類：1）基于情感詞典的方法，可以根據(jù)其相關(guān)的情感屬性對這些方面進行分類和分類。但是基于情感詞典的方法的效率取決于情感詞典的質(zhì)量。2）基于傳統(tǒng)機器學(xué)習(xí)的情感分類方法主要在于情感特征的提取以及分類器的組合選擇，不同分類器的組合選擇對情感分析的結(jié)果有存在一定的影響，這類方法在對文本內(nèi)容進行情感分析時常常不能充分利用上下文文本的語境信息，存在忽略上下文語義的問題。3）基于深度學(xué)習(xí)的方法是使用各種神經(jīng)網(wǎng)絡(luò)來進行的，典型的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法有：卷積神經(jīng)網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)、長短時記憶網(wǎng)絡(luò)等?，F(xiàn)階段的研究更多的是通過對預(yù)訓(xùn)練模型的微調(diào)和改進，從而更有效地提升實驗的效果。

遞歸神經(jīng)網(wǎng)絡(luò)（RNN）是文本分類中應(yīng)用最廣泛的深度神經(jīng)網(wǎng)絡(luò)。LSTM是RNN的一種變體，可以學(xué)習(xí)長期的依賴關(guān)系。BiLSTM由兩個方向相反的長短期記憶網(wǎng)絡(luò)組成，每個長短期記憶網(wǎng)絡(luò)都可以學(xué)習(xí)到一個時間步驟的隱藏狀態(tài)，然后將兩個方向的隱藏狀態(tài)拼接起來作為輸出。因此BiLSTM可以同時利用文本的正向和反向信息，捕捉文本中的上下文信息。為了模擬方面和句子上下文之間的交互作用，Tang等[12]提出的TC-LSTM模型通過連接方面項與句子，構(gòu)建目標(biāo)詞和上下文詞之間的聯(lián)系?？紤]到句子的不同部分在情感分類過程中的重要程度不同，Wang等[13]提出了基于注意力的LSTM方面嵌入模型ATAE-LSTM，揭示了句子的情感極性不僅由內(nèi)容決定，而且與所關(guān)注的方面高度相關(guān)。

1.2? 膠囊網(wǎng)絡(luò)

膠囊網(wǎng)絡(luò)的核心思想是用膠囊層取代傳統(tǒng)的卷積神經(jīng)元。在利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）提取特征的過程中，卷積核的大小決定了CNN可以檢測到的特征大小，這使得該模型在文本領(lǐng)域發(fā)展受限。在文本領(lǐng)域，卷積核太大會使模型難以學(xué)習(xí)單詞之間的關(guān)系，而卷積核太小會使模型無法處理倒置、代詞等復(fù)雜的句子結(jié)構(gòu)。池化操作則會導(dǎo)致文本中大量空間信息丟失。相比之下，膠囊網(wǎng)絡(luò)不會受到檢測單元的結(jié)構(gòu)和大小的限制，可以自動更新接受域，從而學(xué)習(xí)文本復(fù)雜的內(nèi)部關(guān)系[14]。膠囊層是由神經(jīng)元組成的，不同的是普通神經(jīng)元接受標(biāo)量輸入再輸出標(biāo)量，而膠囊網(wǎng)絡(luò)接受向量輸入并輸出向量。如圖1所示的膠囊結(jié)構(gòu)。

圖1? 膠囊層結(jié)構(gòu)

膠囊網(wǎng)絡(luò)被提出后，Kim等[15]對于膠囊網(wǎng)絡(luò)在文本分類領(lǐng)域的發(fā)展進行了論證。Zhao等[16，17]最先在文本分類領(lǐng)域使用膠囊網(wǎng)絡(luò)，并針對文本分類任務(wù)提出了三個策略減少背景或者噪音膠囊對網(wǎng)絡(luò)的影響。此后又提出可擴展的膠囊網(wǎng)絡(luò)并將其應(yīng)用于多標(biāo)簽分類和問答領(lǐng)域。為解決一詞多義問題，Du等[18，19]將膠囊網(wǎng)絡(luò)用于方面級情感分類任務(wù)中，使用膠囊網(wǎng)絡(luò)來構(gòu)建語義的矢量化表示。張[20]在膠囊網(wǎng)絡(luò)模型上增加了一個嵌入增強模塊，使其可以提取長文本上下文語義同時有針對性的重視文本中的關(guān)鍵內(nèi)容。程等[21]將卷積神經(jīng)網(wǎng)絡(luò)與雙向GRU網(wǎng)絡(luò)融合應(yīng)用于文本情感分析，從而更為全面地提取文本情感特征。以上研究表明，膠囊網(wǎng)絡(luò)適用于在文本領(lǐng)域。因此，本文將采用膠囊網(wǎng)絡(luò)來區(qū)分重疊特征。

2? BBCapNet模型

基于膠囊網(wǎng)絡(luò)的跨語言方面級情感分類模型BBCapNet采用Bert-base（Chinese）模型得到詞向量表示，將Bert-base（Chinese）模型的輸出作為BiLSTM的輸入，再將BiLSTM的輸出作為膠囊網(wǎng)絡(luò)層的輸入，最后經(jīng)過全連接層和Softmax得到最終的情感分類結(jié)果。模型如圖2所示。

圖2? 模型框架圖

2.1? 詞嵌入層

將源語言數(shù)據(jù)集Laptop作為訓(xùn)練集。目標(biāo)語言中文京東電商評論數(shù)據(jù)集作為測試集。首先利用谷歌翻譯將源語言數(shù)據(jù)集翻譯為目標(biāo)語言，然后通過Bert-base（Chinese）模型對翻譯為中文的訓(xùn)練集和測試集進行編碼。Sun等人[4]提出了為方面級情感分析的模型輸入構(gòu)建輔助句的方法。我們將這一方法用于構(gòu)建帶有方面類別的句子表示。將句子和帶有方面類別的構(gòu)造句連成一對。即[CLS]構(gòu)造句（ai）[SEP]s[SEP]，其中s是給定的句子，ai是s對應(yīng)的某一方面類別，構(gòu)造句（ai）是為方面類別ai構(gòu)造的問句。例如，給定句子“雙十一買太劃算了”，其對應(yīng)的方面項為“價格”，生成句子對“你覺得價格怎么樣？雙十一買太劃算了”。將句子對輸入到Bert-base（Chinese）后，得到有方面項信息的句子s的向量表示v。句子對式的輸入，使得方面項與句子的相對位置固定，有益于膠囊網(wǎng)絡(luò)獲取方面項信息和句子整體情感信息的關(guān)系。

2.2? 語義提取層

將得到的向量v輸入到BiLSTM層。BiLSTM包括正向LSTM和反向LSTM，通過正向LSTM和反向LSTM分別獲取正向讀取文本信息和反向讀取文本信息時的特征，再將正向和反向得到的特征進行整合，如式（1）至式（3）所示：

（1）

（2）

（3）

其中，hf表示正向LSTM得到的特征向量，hb表示反向LSTM得到的特征向量，·表示向量拼接。在BiLSTM層每一次訓(xùn)練時，模型以30%的概率使一些節(jié)點失效，每一次失效的節(jié)點不完全相同，從而使得模型在每次訓(xùn)練過程中都是在訓(xùn)練一個獨一無二的模型，最終集成在同一個模型中。從而達到預(yù)防過擬合的作用。

得到向量h后，我們將其輸入到膠囊網(wǎng)絡(luò)層，初級膠囊層通過簡單的通道切割將特征向量劃分為多個初級膠囊h = {u1，u2，…，ui，…，un}然后將位置信息通過仿射變換得到高層膠囊，如式（4）所示：

（4）

其中，ui表示第i個初級膠囊， 其表示經(jīng)仿射變換得到的高層膠囊，Wij表示其仿射權(quán)重。然后，膠囊網(wǎng)絡(luò)將根據(jù)式（5）動態(tài)路由高層膠囊。動態(tài)路由是一個基于權(quán)重Cij的加權(quán)和。權(quán)重Cij的計算方法如式（6）所示：

（5）

（6）

膠囊層使用協(xié)議路由，以類似于聚類的方式給予向量權(quán)重。這個過程是通過對低層膠囊i到高層膠囊j的先驗概率bij進行Softmax操作來完成的。在投影后的每個空間中，越接近簇中心權(quán)重越大。膠囊網(wǎng)絡(luò)使用路由機制來生成高級特征，根據(jù)不同詞匯被考慮的程度分配不同的耦合系數(shù)，以解決特征重疊的問題[22]。最后為保證輸出概率vj的大小保持在0和1之間使用了Squashing函數(shù)來進行歸一化，如式（7）所示：

（7）

2.3? 情感分類層

Softmax層的作用是：將向量映射為（0，1）之間的值，所有值之和為1，即將向量映射為概率，并給出分類結(jié)果。將膠囊網(wǎng)絡(luò)層的輸出經(jīng)過flatten層之后經(jīng)過Softmax函數(shù)得到最終的情感分類極性。

3? 實驗

3.1? 實驗設(shè)置

實驗采用SemEval-2016 Task5中的Laptop評論數(shù)據(jù)集作為訓(xùn)練集，實驗所用的測試集并從京東電商平臺爬取關(guān)于華為MateBook 16的用戶評論。為了統(tǒng)一數(shù)據(jù)集中的方面類別，將所有評論的方面類別分為質(zhì)量、性能、硬件、價格、電池、設(shè)計、總體。每條評論包含一個或多個方面。將評論的情感分類為對商品有明顯好感的正面，對商品有明顯反感的負面，以及對商品沒有明顯情感傾向或前后有矛盾的中性。Laptop評論數(shù)據(jù)訓(xùn)練集共包含2 082條數(shù)據(jù)，其中正面評論1 208條，中性評論164條，負面評論710條。京東電商評論數(shù)據(jù)集共601條，其中正面評論486條，中性評論49條，負面評論66條。由于中文電商評論存在默認好評的現(xiàn)象，在爬取的京東評論數(shù)據(jù)中去除了系統(tǒng)默認好評。具體實驗環(huán)境如表1所示。

表1? 環(huán)境配置

實驗環(huán)境 具體配置

操作系統(tǒng) Windows 10

CPU Intel core i5

GPU Tesla P100-PCIE-16 GB

編程語言 Python 3.9

深度學(xué)習(xí)框架 Keras

在深度學(xué)習(xí)模型訓(xùn)練的過程中，實驗參數(shù)的設(shè)置不同會產(chǎn)生不同的結(jié)果，經(jīng)過多次實驗對比，最終將參數(shù)設(shè)置如下：BERT編碼器生成的表示向量為768維，BiLSTM生成128維的向量，膠囊網(wǎng)絡(luò)生成5個5維的表示向量，dropout設(shè)置為0.3，SGD優(yōu)化器的學(xué)習(xí)率設(shè)置為0.000 1。使用正確率（Accuracy， Acc）和綜合評價指標(biāo)F1值作為衡量模型性能的指標(biāo)。

3.2? 對比實驗

將BBcapNet與其他深度學(xué)習(xí)模型在相同數(shù)據(jù)集上進行二分類和三分類的對比實驗，其中二分類實驗為去除中性評論，只對正面和負面評論做分類。實驗對比如下深度學(xué)習(xí)模型。

W2V_LSTM：使用Word2Vec訓(xùn)練詞向量，由LSTM進行特征提取再分類。

Bert_LSTM：使用Bert訓(xùn)練詞向量，由LSTM進行特征提取再分類。

Bert_BiLSTM：使用Bert訓(xùn)練詞向量，由BiLSTM進行特征提取再分類。

Multi_Bert：陳等[23]提出的一個基于多通道Bert的跨語言屬性級情感分類方法。

noQA_BBcapNet：代表本文提出的模型但不使用構(gòu)造句輸入，輸入只有句子信息沒有方面項信息。QA指第三節(jié)中提到的Question+Answer類型的輸入構(gòu)造句。

BBcapNet：指本文提出的模型。

3.3? 實驗結(jié)果與分析

本文在3.1節(jié)提出的數(shù)據(jù)集上進行了多組對比實驗，在實驗過程中記錄了本文所提出的模型與其他模型的對比實驗數(shù)據(jù)。實驗結(jié)果如表2所示。圖3為各模型在三分類時的分類正確率對比圖。

從圖3的可視化結(jié)果可以看出，BBcapNet的分類準確率高于其他模型。從表2可以看出，BBcapNet比文獻[23]中提出的Multi_Bert在二分類問題上的準確率和F1值分別提高3.5%和2.8%，三分類問題上的準確率和F1值分別提高了3.5%和10.7%，說明膠囊網(wǎng)絡(luò)比Multi_Bert使用的金字塔層提取文本特征的效果更好。通過對比Bert_LSTM和W2V_LSTM的實驗結(jié)果可以發(fā)現(xiàn)，使用預(yù)訓(xùn)練語言模型Bert作為編碼器無論是二分類任務(wù)還是三分類任務(wù)上的準確率均有提高，這說明Bert相對于Word2Vec可以獲取更高效的文本向量表示。Bert_BiLSTM比Bert_LSTM的二分類準確率提高了3.8%，三分類準確率和F1值分別提高了3.0%和2.3%，說明BiLSTM雙向提取文本信息的方法比LSTM單向提取文本信息的方法效果更好。BBcapNe比noQA_BBcapNe在二分類和三分類上的準確率都有提升，說明方面項信息的加入有利于模型學(xué)習(xí)特定方面項與情感極性的關(guān)系。BBcapNet比Bert_BiLSTM在三分類問題上的準確率和F1值分別提高了5.6%、2.3%，說明膠囊網(wǎng)絡(luò)的加入使模型學(xué)習(xí)到了部分Bert_BiLSTM未能學(xué)習(xí)到的細節(jié)信息。

表2? 實驗結(jié)果

模型 二分類 三分類

Acc F1 Acc F1

Bert_LSTM 88.0 89.1 76.7 78.1

W2V_LSTM 71.5 75.9 58.7 62.2

Bert_BiLSTM 91.8 90.6 79.7 80.4

Multi_Bert 90.5 91.1 80.6 72.0

noQA_BBcapNet 93.4 93.6 79.5 80.5

BBcapNet 94.0 93.9 84.1 82.7

圖3? 各模型準確率對比圖

3.4? 性能分析

將BBcapNet與其他5組模型在三分類數(shù)據(jù)集上花費的時間進行對比分析，T表示一輪迭代訓(xùn)練花費的時間，單位為秒，實驗結(jié)果如表3所示。從表中可以看出，模型越復(fù)雜訓(xùn)練時間越長，Bert模型訓(xùn)練時間遠多于Word2Vec模型的訓(xùn)練時間。

表3? 模型訓(xùn)練時間

模型 T / s

QA_BBcapNet 63

BBcapNet 63

Multi_Bert 92

Bert_BiLSTM 62

Bert_LSTM 61

W2V_LSTM 16

4? 結(jié)? 論

提出了一種基于膠囊網(wǎng)絡(luò)的跨語言方面級情感分類方法BBCapNet，該方法將源語料訓(xùn)練集翻譯為目標(biāo)語料后利用BERT模型訓(xùn)練詞向量作為嵌入層解決中文文本標(biāo)準語料不足的問題，然后利用BiLSTM學(xué)習(xí)上下文信息，利用膠囊網(wǎng)絡(luò)獲取文本中局部信息和整體情感傾向的關(guān)系，緩解了不同方面項的不同情感傾向重疊導(dǎo)致的文本分類準確率較低的問題。最后使用歸一化指數(shù)函數(shù)進行分類，通過與多種方法進行對比表明，此方法在跨語言方面級情感分類效果上有顯著提升。由于負面評論樣本較少，負面評論的分類準確率和F1值都低于正面評論。后續(xù)的研究將重點關(guān)注如何提升少樣本和樣本不均衡時模型的分類準確率。

參考文獻：

[1] BROWN T B，MANN B，RYDER N，et al. Language Models are Few-Shot Learners [J/OL].（2020-07-22）.https：//arxiv.org/abs/2005.14165.

[2] YANG Z，DAI Z，YANG Y，et al. XLNet： generalized autoregressive pretraining for language understanding [C]//NIPS'19： Proceedings of the 33rd International Conference on Neural Information Processing Systems.Red Hook：Curran Associates Inc.，2019：5753-5763.

[3] DEVLIN J，CHANG M W，LEE K，et al. BERT： Pre-training of Deep Bidirectional Transformers for Language Understanding [J/OL].arXiv：1810.04805 [cs.CL].[2023-05-06].https：//arxiv.org/abs/1810.04805v2.

[4] SUN C，HUANG L Y，QIU X P. Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence [J/OL].arXiv：1903.09588 [cs.CL].[2023-054-06].https：//arxiv.org/abs/1903.09588v1.

[5] XU H，LIU B，SHU L，et al. BERT Post-Training for Review Reading Comprehension and Aspect-based Sentiment Analysis [J/OL].arXiv：1904.02232 [cs.CL].[2023-05-06].https：//arxiv.org/abs/1904.02232.

[6] LI Y C，YIN C X，ZHONG S H，et al. Multi-Instance Multi-Label Learning Networks for Aspect-Category Sentiment Analysis [J/OL].[2023-05-06].https：//arxiv.org/abs/2010.02656v1.

[7] KE Z X，XU H，LIU B. Adapting BERT for Continual Learning of a Sequence of Aspect Sentiment Classification Tasks [J/OL].arXiv：2112.03271 [cs.CL].[2023-05-06].https：//arxiv.org/abs/2112.03271.

[8] RIETZLER A，STABINGER S，OPITZ P，et al. Adapt or Get Left Behind：Domain Adaptation through BERT Language Model Finetuning for Aspect-Target Sentiment Classification [C]//Proceedings of the 12th Language Resources and Evaluation Conference.2020：4933-4941.

[9] BEN DAVID S，BLITZER J，CRAMMER K，et al. A theory of learning from different domains [J].Machine learning，2010，79：151-175.

[10] 趙傳君，王素格，李德玉.跨領(lǐng)域文本情感分類研究進展 [J].軟件學(xué)報，2020，31（6）：1723-1746.

[11] MEYER B，BIKDASH M，DAI X F. Fine-grained financial news sentiment analysis [C]//SoutheastCon 2017.Concord：IEEE，2017：1-8.

[12] TANG D，QIN B，F(xiàn)ENG X，et al. Effective LSTMs for Target-Dependent Sentiment Classification [J/OL].arXiv：1512.01100 [cs.CL].[2023-05-06].http：//arxiv.org/abs/1512.01100.

[13] WANG Y Q，HUANG M L，ZHU X Y，et al. Attention-based LSTM for Aspect-level Sentiment Classification [C]//Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing.Austin：Association for Computational Linguistics，2016：606-615.

[14] WANG J，DU J P，SHAO Y X，et al. Sentiment Analysis of Online Travel Reviews Based on Capsule Network and Sentiment Lexicon [J/OL].arXiv：2206.02160 [cs.CL].[2023-05-07].https：//arxiv.org/abs/2206.02160.

[15] KIM J，JANG S，CHOI S. Text Classification using Capsules [J].Neurocomputing，2020，376：214-221.

[16] ZHAO W，YE J B，YANG M，et al. Investigating? Capsule Networks with Dynamic Routing? for? Text Classification [C]//Conference on Empirical Methods in Natural Language Processing.Brussels：ACL，2018：3110-3119.

[17] ZHAO W，PENG H Y，EGER S，et al. Towards Scalable and Reliable Capsule Networks for Challenging NLP Applications [J/OL].arXiv：1906.02829 [cs.CL].[2023-05-06].https：//arxiv.org/abs/1906.02829.

[18] DU C，SUN H，WANG J，et al. Investigating Capsule Network and Semantic Feature on Hyperplanes for Text Classification [C]//Empirical Methods in Natural Language Processing.Hong Kong：Association for Computational Linguistics，2019：456-465.

[19] DU C，SUN H，WANG J，et al. Capsule Network with Interactive Attention for Aspect-Level Sentiment Classification [C]//Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing （EMNLP-IJCNLP）.Hong Kong：Association for Computational Linguistics，2019：5489-5498.

[20] 張旭東.基于深度學(xué)習(xí)的情感分析技術(shù)研究與應(yīng)用 [D].成都：電子科技大學(xué)，2021.

[21] 程艷，孫歡，陳豪邁，等.融合卷積神經(jīng)網(wǎng)絡(luò)與雙向GRU的文本情感分析膠囊模型 [J].中文信息學(xué)報，2021，35（5）：118-129.

[22] 徐志棟，陳炳陽，王曉，等.基于膠囊網(wǎng)絡(luò)的方面級情感分類研究 [J].智能科學(xué)與技術(shù)學(xué)報，2020，2（3）：284-292.

[23] 陳瀟，王晶晶，李壽山，等.基于多通道 BERT的跨語言屬性級情感分類方法 [J].中文信息學(xué)報，2022，36（2）：121-128.

作者簡介：梁慧杰（1999—），女，漢族，安徽阜陽人，碩士研究生在讀，研究方向：自然語言處理；通訊作者：任萍（1982—），女，漢族，安徽泗縣人，講師，博士，研究方向：自然語言處理。