趙亞南,劉 淵,宋 設(shè)

(1.江南大學(xué) 數(shù)字媒體學(xué)院,江蘇 無錫 214122; 2.江蘇省媒體設(shè)計(jì)與軟件技術(shù)重點(diǎn)實(shí)驗(yàn)室,江蘇 無錫 214122;

0 概述

情緒是對(duì)某種情況或事件的看法或態(tài)度,也可稱為意見。文本情感分析是自然語(yǔ)言處理(NLP)領(lǐng)域的重要研究方向,旨在挖掘人們對(duì)產(chǎn)品、服務(wù)、個(gè)人和組織等實(shí)體的意見和情感以及文本中的事件、主題和屬性[1]。情感分析的任務(wù)是識(shí)別語(yǔ)言文本極性,如積極、消極或中立,其被廣泛應(yīng)用于電影評(píng)論、信息預(yù)測(cè)和金融決策等領(lǐng)域[2]。相關(guān)研究表明,金融領(lǐng)域文本數(shù)據(jù)的情緒和意見可以影響市場(chǎng)動(dòng)態(tài)、相關(guān)個(gè)股或者公司價(jià)值走勢(shì)[3]。因此,分析金融新聞的傾向性可以幫助個(gè)人、公司即時(shí)獲取新聞的重點(diǎn)內(nèi)容,有助于投資者進(jìn)行投資決策。

為解決文本情感分類問題,文獻(xiàn)[4]在電影評(píng)論數(shù)據(jù)集上比較了樸素貝葉斯(Naive Bayesian,NB)與支持向量機(jī)(Support Vector Machine,SVM)的性能,實(shí)驗(yàn)結(jié)果表明,SVM的準(zhǔn)確率高于NB。文獻(xiàn)[5]根據(jù)分布式同義詞,提出一種基于支持向量回歸(Support Vector Regression,SVR)和邏輯回歸集合的模型,以預(yù)測(cè)金融文本的傾向。文獻(xiàn)[6]在亞馬遜書評(píng)上評(píng)估了各種預(yù)處理技術(shù)與不同分類器相結(jié)合的有效性,其中,隨機(jī)森林(Random Forest,RF)取得了90.15%的平均準(zhǔn)確率,但其時(shí)間開銷較大。多數(shù)機(jī)器學(xué)習(xí)方法都是逐字考慮文本,分析句子中的單詞并根據(jù)單詞的屬性將句子分為正面或負(fù)面2個(gè)極性,有時(shí)為了提取句子的關(guān)鍵詞而丟失了其他單詞信息。

運(yùn)用深度學(xué)習(xí)技術(shù)研究自然語(yǔ)言處理問題是當(dāng)前的研究熱點(diǎn)。在利用神經(jīng)網(wǎng)絡(luò)挖掘文本中的情緒時(shí),可以考慮一段句子而不僅是逐個(gè)單詞。文獻(xiàn)[7]利用經(jīng)典的CNN進(jìn)行文本分類。文獻(xiàn)[8]用雙層CNN對(duì)中文微博從字到句抽取特征,其完善了短文本信息。文獻(xiàn)[9]通過對(duì)情感詞典的詞性進(jìn)行向量化操作,在網(wǎng)絡(luò)架構(gòu)中添加文本情感特征信息,然后組合不同的文本特征形成不同的通道并輸入CNN網(wǎng)絡(luò),該模型提高了情感分類的準(zhǔn)確率。文獻(xiàn)[10]采用雙層雙向長(zhǎng)短期記憶(BLSTM)網(wǎng)絡(luò)模型對(duì)金融標(biāo)題進(jìn)行情感極性分析,但其模型的訓(xùn)練時(shí)間較長(zhǎng)。文獻(xiàn)[11]基于文本細(xì)粒度意見分析問題,建立了雙向RNN的序列標(biāo)注模型。文獻(xiàn)[12]在RNN中引入注意力(Attention),將其應(yīng)用于圖片分類任務(wù)。文獻(xiàn)[13]首次在機(jī)器翻譯中使用Attention,其提高了翻譯效果。文獻(xiàn)[14]構(gòu)建分層注意力網(wǎng)絡(luò),逐步建立單語(yǔ)言文檔并進(jìn)行文檔分類。文獻(xiàn)[15]利用BLSTM對(duì)句子進(jìn)行建模,然后運(yùn)用Attention計(jì)算BLSTM隱藏單元的權(quán)重信息。文獻(xiàn)[16]采用混合注意力網(wǎng)絡(luò)進(jìn)行情感分析,其使用全局和局部Attention分別捕獲文本整體上下文的粗略情感信息和接近目標(biāo)的句法信息。

在自然語(yǔ)言處理領(lǐng)域,Google于2017年提出Transformer機(jī)器翻譯模型[17],其僅利用純Attention結(jié)構(gòu)就取得了非常好的性能,具有良好的特征抽取效果。受此啟發(fā),本文將多頭自注意力機(jī)制應(yīng)用于文本情感分析任務(wù)。相較于經(jīng)典機(jī)器學(xué)習(xí)算法,深度學(xué)習(xí)中的CNN與RNN算法在一定程度上可以自動(dòng)捕捉文本的語(yǔ)義特征,且與RNN相比,CNN算法具有可以并行運(yùn)算的優(yōu)勢(shì)。因此,本文將多頭自注意力機(jī)制與CNN網(wǎng)絡(luò)相結(jié)合,建立一種新的混合回歸模型,用以預(yù)測(cè)金融新聞的情感極性值。由于神經(jīng)網(wǎng)絡(luò)抽取特征不夠充分,因此在模型中考慮重利用淺層特征,結(jié)合文本的淺層特征與多頭自注意力特征來提升模型訓(xùn)練效果。

1 相關(guān)工作

1.1 多頭自注意力機(jī)制

神經(jīng)網(wǎng)絡(luò)中的注意力機(jī)制起源于人類視覺注意力,其模擬人類在觀察信息時(shí)會(huì)重點(diǎn)關(guān)注信息的某些特定部分。目前,基于Attention的方法已成功應(yīng)用于各種任務(wù),如圖片分類[12]、神經(jīng)機(jī)器翻譯[13,17]和文本分類[14]等。在機(jī)器翻譯領(lǐng)域,為了更準(zhǔn)確地提取文本特征,文獻(xiàn)[17]提出了多頭自注意力方法并構(gòu)建了Transformer模型。文獻(xiàn)[18]提出一種用于遠(yuǎn)程監(jiān)督關(guān)系提取的神經(jīng)網(wǎng)絡(luò)MSNet,其利用MA學(xué)習(xí)句子的結(jié)構(gòu)表示信息。文獻(xiàn)[19]建立一種SAAN情感分析模型,該模型通過CNN學(xué)習(xí)單詞表示,然后利用多頭注意力結(jié)構(gòu)進(jìn)一步學(xué)習(xí)句子表示。文獻(xiàn)[20]運(yùn)用BLSTM捕捉詞語(yǔ)間的語(yǔ)義依賴關(guān)系,再利用自注意力進(jìn)一步學(xué)習(xí)重點(diǎn)詞的特征信息,結(jié)果表明,該方法提升了情感分類的效果。上述方法驗(yàn)證了MA在文本特征提取方面的有效性,因此,本文采用MA對(duì)金融新聞數(shù)據(jù)集進(jìn)行處理,學(xué)習(xí)其句子表示。MA的原理為:縮放點(diǎn)積注意力(Scaled Dot-product Attention,SDA)[17]通過向量點(diǎn)積進(jìn)行相似度運(yùn)算,得到Attention值。SDA結(jié)構(gòu)如圖1所示,本文SDA結(jié)構(gòu)去掉了原結(jié)構(gòu)中的mask操作,其計(jì)算如式(1)所示。

圖1 SDA結(jié)構(gòu)示意圖Fig.1 Schematic diagram of SDA structure

(1)

多頭注意力機(jī)制的目的是從多方面捕獲序列的關(guān)鍵信息。Q、K、V分別通過參數(shù)不共享的線性轉(zhuǎn)換送入SDA。將SDA運(yùn)算重復(fù)h次,最后拼接所有的Attention值并進(jìn)行線性變換,如式(2)、式(3)所示。其中,由于每個(gè)head的尺寸減少,因此算法的計(jì)算成本與具有全維度的單頭注意力相似。

(2)

Head=MultiHead(Q,K,V)=

Concat(head1,head2,…,headh)WO

(3)

多頭注意力機(jī)制結(jié)構(gòu)如圖2所示。

圖2 多頭注意力機(jī)制結(jié)構(gòu)Fig.2 Structure of multi-head attention mechanism

當(dāng)Q=K=V=X時(shí),多頭注意力為多頭自注意力,X={x1,x2,…,xl,…,xL}是文本輸入序列,其本質(zhì)是將xl與X序列中的各個(gè)詞進(jìn)行對(duì)比,最后計(jì)算出每個(gè)詞的權(quán)重信息,即在序列內(nèi)部做注意力計(jì)算,進(jìn)而獲取序列的內(nèi)部結(jié)構(gòu),也稱為內(nèi)部注意力。

1.2 卷積神經(jīng)網(wǎng)絡(luò)

CNN最初應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域[7]。運(yùn)用CNN挖掘文本情緒時(shí),首先將輸入文本(長(zhǎng)度為L(zhǎng))轉(zhuǎn)換為矩陣X,每個(gè)句子矩陣的行是單詞矢量(維度為k),將矩陣輸入到CNN架構(gòu)中,CNN輸出每個(gè)句子的特定特征矩陣C,步驟如下:

X=[x2,x2,…,xL]T

cl=f(ω·xl:l+t-1+b)

C=[c1,c2,…,cL-t+1]

(4)

得到特征圖后通過池化策略對(duì)輸入特征矩陣進(jìn)行二次采樣,最后輸出層應(yīng)用Linear激活函數(shù)計(jì)算句子的情感值。

2 雙層多頭自注意力與卷積神經(jīng)網(wǎng)絡(luò)融合模型

MA的一個(gè)優(yōu)點(diǎn)是可以獲取到文本的全局聯(lián)系,但其沒有捕獲局部特征的能力,而CNN的最大特點(diǎn)在于局部感知。因此,本文建立一種融合雙層多頭自注意力與CNN的DLMA-CNN模型,其結(jié)構(gòu)如圖3所示。將MA作為一個(gè)單獨(dú)的層,區(qū)別于傳統(tǒng)的CNN結(jié)合Attention的方法[19],DLMA-CNN模型直接將MA層置于詞向量層之后。模型采用多頭自注意力表示句子,學(xué)習(xí)序列內(nèi)部的詞依賴關(guān)系[17],然后融合CNN網(wǎng)絡(luò)以預(yù)測(cè)金融文本的情感極性。

圖3 DLMA-CNN模型架構(gòu)Fig.3 DLMA-CNN model architecture

考慮到在深度學(xué)習(xí)模型訓(xùn)練過程中,神經(jīng)網(wǎng)絡(luò)存在特征抽取不充分或無法學(xué)習(xí)到更深層語(yǔ)義信息的問題,導(dǎo)致模型無法準(zhǔn)確地捕捉文本情緒的關(guān)鍵信息。為解決以上問題,本文借鑒CNN網(wǎng)絡(luò)中應(yīng)用的Inception方法[21],該方法用于改善傳統(tǒng)的卷積層結(jié)構(gòu),其級(jí)聯(lián)同一層級(jí)多個(gè)尺寸卷積核的結(jié)果,提高了深度神經(jīng)網(wǎng)絡(luò)的性能。本文將Inception方法運(yùn)用于文本情感分析模型中,提出一種重利用淺層特征改善模型,即在模型中連接文本的淺層、深層特征,豐富每一層輸入序列的特征信息,使得模型可以更充分、更全面地學(xué)習(xí)文本序列的特征信息,從而提高網(wǎng)絡(luò)文本情感分析的性能。

DLMA-CNN模型由輸入層、隱含層和輸出層組成,其中,隱含層包含雙層多頭自注意力層、卷積操作層與全局平均池化層。

1)輸入層,該層預(yù)處理SemEval-2017 Task 5金融文本數(shù)據(jù)集,將訓(xùn)練文本輸送到文本詞嵌入層,將句子變換成多頭自注意力層可以直接處理的文本詞向量矩陣。設(shè)置模型輸入大小L為訓(xùn)練文本中句子的最大長(zhǎng)度,使用零填充長(zhǎng)度小于L的輸入文本。將每個(gè)句子表示成大小為L(zhǎng)×dk的文本詞向量矩陣E:

(5)

其中,E中的每一行el為句子中第l(1≤l≤L)詞對(duì)應(yīng)的詞向量,詞向量的維度為dk。

2)隱含層,該層利用MA與CNN算法融合文本序列的全局與局部特征。

(1)第一層多頭自注意力層。MA旨在輸入特征矩陣E內(nèi)部多次計(jì)算注意力,用以捕獲句子的長(zhǎng)距離依賴性并學(xué)習(xí)不同位置不同語(yǔ)義空間的序列信息。

(6)

(7)

(8)

其中,αis是第i(1≤i≤h)次自注意力運(yùn)算得到的詞vs的權(quán)重系數(shù)。

Att1=MultiHead(E,E,E)=

Concat(head1,head2,…,headh)WO

(9)

(2)第二層多頭自注意力層。為了提取更豐富的特征信息,將淺層特征文本詞向量E與第一層MA的特征序列Att1拼接融合,并作為新的特征F1送入第二層Transformer(MA2),用以提高輸入文本中每個(gè)詞的重要程度,提取出文本更高層次的特征表示。F1計(jì)算如下:

F1=Concat(E,Att1)

Att2=MultiHead(F1,F1,F1)

(10)

F2=Concat(E,Att2)

(11)

本文采用文獻(xiàn)[7]的卷積層結(jié)構(gòu),使用多個(gè)不同尺寸大小的卷積核充分提取詞語(yǔ)特征。使用滑動(dòng)窗口大小為t的卷積核對(duì)輸入特征進(jìn)行卷積操作,如式(12)所示:

(12)

(13)

(4)全局平均池化層。將卷積層后的特征矩陣送入池化層再次進(jìn)行特征采樣,采用GAP(Global Average Pooling)[22]取代全連接層。GAP的使用降低了參數(shù)的規(guī)模,對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行正則化從而緩解了過擬合現(xiàn)象。通過GAP計(jì)算不同尺寸的卷積結(jié)果得到的特征信息表示為:

(14)

(15)

(16)

優(yōu)化算法采用均方根反向傳播算法(RMSProp)最小化損失函數(shù),模型的目標(biāo)函數(shù)應(yīng)用均方誤差(MSE),損失函數(shù)如式(17)所示:

(17)

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

本文基準(zhǔn)數(shù)據(jù)集采用SemEval-2017 Task 5的金融新聞標(biāo)題(Finance News Headlines)數(shù)據(jù)集,數(shù)據(jù)集的樣本情緒分?jǐn)?shù)標(biāo)記為-1和1之間的真實(shí)值,越靠近-1則越消極(負(fù)面、看跌),越靠近+1則越積極(正面、看漲)。為了評(píng)估DLMA-CNN模型的泛化能力,同時(shí)在SemEval-2017 Task 5的金融微博(Microblog Message)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。數(shù)據(jù)集詳情如表1所示。

表1 實(shí)驗(yàn)數(shù)據(jù)集Table 1 Experimental dataset

3.2 實(shí)驗(yàn)衡量指標(biāo)

評(píng)估指標(biāo)1余弦相似性(Cosine Similarity,CS)[17],其比較樣本情緒值與系統(tǒng)預(yù)測(cè)結(jié)果之間的一致程度,CS計(jì)算如下:

(18)

其中,G為文本標(biāo)記情感值向量,P為系統(tǒng)預(yù)測(cè)文本情感值向量。

評(píng)估指標(biāo)2該指標(biāo)為CS與回答問題的比率加權(quán):

(19)

評(píng)估指標(biāo)3該指標(biāo)為余弦和權(quán)重的乘積:

(20)

3.3 實(shí)驗(yàn)參數(shù)設(shè)置

在金融新聞標(biāo)題文本上,采用Word2vec詞嵌入方法預(yù)訓(xùn)練詞向量數(shù)據(jù),將文本輸入單詞輸出為300維向量。DLMA-CNN模型參數(shù)設(shè)置:CNN的濾波器數(shù)量為100,窗口大小分別為3、4、5,步長(zhǎng)為1,CNN單元的非線性函數(shù)均使用不易飽和的softsign,學(xué)習(xí)率設(shè)置為0.001,mini batch為16,引入梯度裁剪緩解梯度爆炸,clipvalue大小為5。為減少模型過擬合現(xiàn)象并避免手動(dòng)設(shè)置epoch次數(shù),DLMA-CNN模型采用回調(diào)函數(shù)Early Stopping(),patience=10。在訓(xùn)練過程中,對(duì)比當(dāng)前的Loss與上一個(gè)epoch的結(jié)果,當(dāng)損失函數(shù)不再減少時(shí),通過10個(gè)epoch后停止訓(xùn)練。經(jīng)過測(cè)試,在多頭自注意力層與輸出層分別將Dropout比率設(shè)置為0.1、0.5時(shí),模型具有最優(yōu)性能。實(shí)驗(yàn)采用10折交叉驗(yàn)證方法,實(shí)驗(yàn)的硬件環(huán)境:GPU為NVIDIA GTX1080Ti,CPU為i7-8700K;軟件環(huán)境:Keras2.2.1(底層Tensorflow)。

3.4 實(shí)驗(yàn)對(duì)比

為了驗(yàn)證本文DLMA-CNN模型的優(yōu)越性,將如下模型進(jìn)行對(duì)比,分別在SemEval-2017 Task 5 Finance News Headlines數(shù)據(jù)集和Microblog Message數(shù)據(jù)集上進(jìn)行文本情感極性分析。

1)機(jī)器學(xué)習(xí)算法:包括SVR與RF。SVR[10]最終找到一個(gè)回歸平面,使一個(gè)集合的所有數(shù)據(jù)到該平面的距離更近,設(shè)置SVR的懲罰參數(shù)C為0.1,epsilon為0.01。RF算法[6]使用多個(gè)決策樹訓(xùn)練和預(yù)測(cè)樣本,設(shè)置決策樹個(gè)數(shù)estimators為20。

2)ELSTM與EGRU。EGRU與ELSTM結(jié)構(gòu)[10]相同,EGRU使用GRU單元取代LSTM,其他參數(shù)設(shè)置兩者相同。

3)Att-BLSTM,使用Attention機(jī)制學(xué)習(xí)BLSTM輸出層的特征信息[15]。

4)BiLSTM+EMB_ATT,采用BLSTM學(xué)習(xí)輸入句子的語(yǔ)義信息,其與詞向量自注意力為并行結(jié)構(gòu)[20]。

5)MA,純Attention,本文模型DLMA-CNN只保留單層MA網(wǎng)絡(luò)結(jié)構(gòu),去掉CNN網(wǎng)絡(luò)層,其他參數(shù)設(shè)置相同。

6)N-DLMA與DLMA:純Attention,本文模型DLMA-CNN保留雙層MA結(jié)構(gòu),去掉CNN網(wǎng)絡(luò)層。其中,N-DLMA模型不考慮重利用淺層特征,即不將淺層特征與多頭自注意力特征進(jìn)行融合,其他參數(shù)設(shè)置相同。

7)CNN:本文模型DLMA-CNN去掉MA層,其他參數(shù)設(shè)置相同,不同于文獻(xiàn)[7]中CNN結(jié)構(gòu)使用的最大池化層,本文使用GAP。

8)DLMA-CNN:本文提出的一種融合多頭自注意力機(jī)制與CNN的混合模型。

在上述模型中,深度學(xué)習(xí)模型MA、N-DLMA、DLMA、CNN和DLMA-CNN,除了模型的功能層外其他條件均一致。

3.5 結(jié)果分析

3.5.1 多頭自注意力超參數(shù)取值對(duì)結(jié)果的影響

表2 h取值對(duì)結(jié)果的影響Table 2 Effect of h value on results

表3 注意力大小對(duì)結(jié)果的影響Table 3 Effect of attention size on results

3.5.2 Attention、CNN與DLMA-CNN模型對(duì)比

在測(cè)試集上進(jìn)行對(duì)比實(shí)驗(yàn),驗(yàn)證各模型的3個(gè)指標(biāo),結(jié)果如表4、表5所示。從表4、表5可以看出,DLMA-CNN模型相對(duì)于純Attention模型、CNN模型,在3個(gè)衡量指標(biāo)上都取得了最優(yōu)結(jié)果。DLMA模型的性能優(yōu)于MA模型、N-DLMA模型,這說明了重利用淺層特征的有效性,淺層特征與多頭自注意力特征融合能夠豐富特征信息,提高模型訓(xùn)練的結(jié)果。在評(píng)估指標(biāo)Metric1上,DLMA-CNN模型比MA模型提高了3.1%～3.8%,比CNN模型提高了6.7%～7.8%,即本文提出的混合模型優(yōu)于單一注意力模型,這是因?yàn)榧傾ttention模型更適合解決長(zhǎng)程、全局的依賴問題,在DLMA-CNN模型中引入CNN,CNN的卷積計(jì)算使得模型更加關(guān)注局部結(jié)構(gòu),從而彌補(bǔ)了純Attention的不足,因此,融合Attention和CNN的模型效果更優(yōu)。

表4 Finance News Headlines數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果1Table 4 Experimental results 1 on the Finance News Headlines dataset %

表5 Microblog Message數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果1Table 5 Experimental results 1 on the Microblog Message dataset %

3.5.3 與其他深度學(xué)習(xí)算法的對(duì)比

為了進(jìn)一步驗(yàn)證本文模型的性能,在Finance News Headlines和Microblog Message數(shù)據(jù)集上,將該模型與其他文本情感分析算法進(jìn)行對(duì)比,實(shí)驗(yàn)結(jié)果及各模型每個(gè)epoch所耗費(fèi)的時(shí)間如表6、表7所示。

表6 Finance News Headlines數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果2Table 6 Experimental results 2 on the Finance News Headlines dataset

表7 Microblog Message數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果2Table 7 Experimental results 2 on the Microblog Message dataset

從表6、表7可以看出,DLMA-CNN模型的性能優(yōu)于其他模型。對(duì)比Metric1指標(biāo)上各模型的結(jié)果,DLMA-CNN模型比ELSTM模型提高了2.1%～3.6%,比EGRU模型提高了3.8%～5.3%,分別高于Att-BLSTM、BiLSTM + EMB_ATT模型4.9%～7.6%與8.9%～9.2%。從算法運(yùn)行時(shí)間來看,RNN模型的效率較差,而DLMA-CNN混合模型的運(yùn)行時(shí)間最短,這是由于RNN存在序列依賴關(guān)系,下一時(shí)間步(t)的隱藏計(jì)算依賴上一時(shí)間步(t-1)的計(jì)算,LSTM不能很好地并行運(yùn)行,造成訓(xùn)練時(shí)間較長(zhǎng)。而MA、CNN不依賴前一時(shí)刻(t-1)的計(jì)算,具有較高的并行計(jì)算能力,因此,DLMA-CNN模型的時(shí)間復(fù)雜度遠(yuǎn)低于RNN模型。

3.5.4 與經(jīng)典機(jī)器學(xué)習(xí)算法的對(duì)比

如表8、表9所示,DLMA-CNN模型在2個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果均優(yōu)于經(jīng)典的機(jī)器學(xué)習(xí)模型SVR與RF,驗(yàn)證了本文模型的有效性和泛化能力。DLMA-CNN模型展現(xiàn)了其良好的性能,在文本情感極性分析任務(wù)中具有較大優(yōu)勢(shì)。

表8 Finance News Headlines數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果3Table 8 Experimental results 3 on the Finance News Headlines dataset %

表9 Microblog Message數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果3Table 9 Experimental results 3 on the Microblog Message dataset %

4 結(jié)束語(yǔ)

為對(duì)金融領(lǐng)域的新聞進(jìn)行情感極性分析,本文提出一種融合雙層多頭自注意力機(jī)制與CNN的混合模型DLMA-CNN。通過采用Transformer機(jī)器翻譯模型中的多頭自注意力機(jī)制獲取文本的全局信息,結(jié)合CNN算法使得模型可以捕獲文本局部結(jié)構(gòu)。在SemEval-2017 Task 5的任務(wù)數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn),結(jié)果表明,該模型的文本情感分析性能優(yōu)于MA、DLMA等模型,運(yùn)行效率相對(duì)ELSTM、EGRU等模型也具有較大優(yōu)勢(shì)。本文模型僅針對(duì)文本句子級(jí)別進(jìn)行情感分析,下一步將結(jié)合文本Aspect特征實(shí)現(xiàn)更細(xì)粒度的情感分析。