范守祥，姚俊萍，李曉軍，程開原

火箭軍工程大學(xué)301 教研室，陜西西安710025

方面信息情感分類是方面級(jí)別情感分析的重要任務(wù)，其目的是判斷給定文本中目標(biāo)方面信息在上下文環(huán)境下的情感極性，基本思路是將目標(biāo)方面信息的情感特征轉(zhuǎn)化為數(shù)值特征以便進(jìn)行自動(dòng)分類，重點(diǎn)是解決相同文本中不同目標(biāo)方面信息差異情感對(duì)應(yīng)問題。比如在評(píng)論文本“The food was mediocre and the service was severely slow.”中，方面信息“food”和“service”分別對(duì)應(yīng)了中性和負(fù)面的情感屬性。早期研究主要使用情感詞典匹配以及傳統(tǒng)機(jī)器學(xué)習(xí)如支持向量機(jī)等分類方法，隨著深度學(xué)習(xí)方法在各領(lǐng)域的廣泛使用，方面情感領(lǐng)域也產(chǎn)生了各種基于循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network,RNN）、卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network,CNN）、記憶網(wǎng)絡(luò)（memory network,MN）、膠囊網(wǎng)絡(luò)的情感分類方法。在這些方法中，注意力機(jī)制往往作為一種重要的信息篩選機(jī)制引入神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)，起到提取情感信息特征的重要作用。

基于深度學(xué)習(xí)的方面信息情感分類方法優(yōu)勢(shì)在于可以自動(dòng)提取方面信息情感特征，而無需人工構(gòu)建特征集，模型經(jīng)訓(xùn)練后可以達(dá)到較高的分類準(zhǔn)確度。但此類方法同樣存在一些問題，比如，目前在方面信息情感分類領(lǐng)域常用RNN 進(jìn)行信息底層編碼，雖能保留序列中的上下文信息，但隨著序列長度的增加，信息傳遞過程中的丟失現(xiàn)象也更加嚴(yán)重[1]，致使不同方面信息的情感特征差異嚴(yán)重弱化，導(dǎo)致多方面信息文本情感分類準(zhǔn)確度降低。此外，注意力機(jī)制雖然能夠模擬獲取信息過程中不同信息重要性差異，但存在過于關(guān)注高頻信息[2]，忽略低頻有益信息的問題，在方面信息情感分類任務(wù)中會(huì)導(dǎo)致兩方面問題：一是多方面信息文本中不同方面信息情感同質(zhì)化、中性方面信息情感化問題；二是除高頻信息以外的外圍信息在方面信息情感特征表示中的作用較弱，無法較好地提取非單一情感詞表示的復(fù)雜方面情感特征。

針對(duì)上述存在的問題，本文提出一種多模特征融合的方面信息情感分類方法。將文本中方面情感信息分為單點(diǎn)情感信息、多點(diǎn)情感信息以及局部情感信息三類情感信息表達(dá)模式。首先利用傳統(tǒng)注意力機(jī)制傾向于關(guān)注高頻詞語的特點(diǎn)提取并編碼單點(diǎn)情感信息，并利用注意力分值與長度控制參數(shù)截取離散的多詞組合作為多點(diǎn)情感信息，通過介詞、連詞以及符號(hào)等的位置信息確定局部情感信息；而后利用RNN 對(duì)提取的多點(diǎn)與局部情感信息進(jìn)行編碼，有效降低編碼序列長度，融合三類情感信息特征形成最終方面信息情感的特征表達(dá)；最后在數(shù)據(jù)集上進(jìn)行訓(xùn)練，優(yōu)化注意力分布，使模型適應(yīng)多種方面情感信息表達(dá)模式，提高對(duì)復(fù)雜情感表達(dá)的分類準(zhǔn)確度。實(shí)驗(yàn)表明，本文提出的方面信息情感分類方法能夠使分類效果得到較大提升。

1 方面信息情感分類方法研究進(jìn)展

神經(jīng)網(wǎng)絡(luò)模型可以將原始文本特征提取為抽象特征，用于文本語義分析或情感分析。在方面信息情感分類任務(wù)中，需要將文本中的情感信息傳播到最終特征表示中，最早文獻(xiàn)[3]提出一種自適應(yīng)遞歸神經(jīng)網(wǎng)絡(luò)（adaptive recursive neural network,AdaRNN）模型，可以通過上下文和句法結(jié)構(gòu)將情感信息傳播到最終特征表示中，解決目標(biāo)依賴的情感極性分類問題。隨著深度學(xué)習(xí)技術(shù)應(yīng)用的深入，利用該技術(shù)進(jìn)行方面情感分析受到越來越多關(guān)注。

目前使用基于深度學(xué)習(xí)的方法解決方面信息情感分類問題主要有以下3 種思路。1）從文本整體語義中提取方面信息情感特征。文本語義是情感的載體，于是可以把語義特征作為情感特征對(duì)方面情感極性進(jìn)行分類。比如文獻(xiàn)[4]利用長短時(shí)記憶（long short-term memory,LSTM）網(wǎng)絡(luò)可以捕獲序列語義信息的特點(diǎn)，提出了TD-LSTM（target-dependent long short-term memory）和TC-LSTM（target-connection long short-term memory）兩種構(gòu)建特定方面信息情感特征的方法，構(gòu)造兩個(gè)分別從句子左側(cè)和右側(cè)捕獲語義信息且將方面信息分別作為語義傳播終點(diǎn)的LSTM 網(wǎng)絡(luò)，并將兩個(gè)網(wǎng)絡(luò)序列末尾的隱層串聯(lián)起來形成最終情感特征表示；文獻(xiàn)[5]利用CNN 的特征抽取能力抽取文本的情感特征，使用序列方向上最大池化操作進(jìn)一步剔除不重要的情感信息，獲取了方面信息情感的特征表示，解決了LSTM 網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜及序列依賴等問題；文獻(xiàn)[6]認(rèn)為與方面信息相關(guān)的情感語義往往是連續(xù)詞語組成的語塊而非孤立詞語，提出利用雙向LSTM 網(wǎng)絡(luò)（Bi-LSTM）和條件隨機(jī)場(chǎng)（conditional random field,CRF）注意力相結(jié)合產(chǎn)生方面情感特征的方法。2）利用方面信息與上下文關(guān)系提取方面情感特征。表達(dá)方面信息情感的往往是句子中具有強(qiáng)烈情感信息的部分，如具有修辭關(guān)系的形容詞或短語。文獻(xiàn)[7]利用MN 多層注意力機(jī)制多次從記憶中提取情感信息；文獻(xiàn)[8]使用注意力機(jī)制從兩種不同的記憶模塊中分別提取與方面信息相關(guān)的單詞級(jí)和短語級(jí)情感信息；文獻(xiàn)[9]提出使用交叉注意力使上下文與方面信息中詞語相互關(guān)注生成有側(cè)重的方面情感特征的方法；文獻(xiàn)[10]提出在底層Bi-LSTM 編碼的不同位置加入不同類型注意力機(jī)制，從不同角度提取上下文情感信息，且融入方面語義信息提升情感分類能力。3）考慮句間關(guān)系提取方面情感特征。在方面情感分類任務(wù)中，常將整個(gè)評(píng)論或者方面信息所在句子作為分析對(duì)象，但句間關(guān)系對(duì)方面的情感信息也有很大影響。比如文獻(xiàn)[11]利用分層LSTM 網(wǎng)絡(luò)獲取句內(nèi)與句間信息，且利用注意力機(jī)制分別提取方面信息的局部與整體特征；文獻(xiàn)[12]提出一種雙層Bi-LSTM 模型，第1 層Bi-LSTM 網(wǎng)絡(luò)捕獲句子內(nèi)部的情感信息，而第2 層Bi-LSTM網(wǎng)絡(luò)捕獲其他句子傳遞來的情感信息；與之類似，文獻(xiàn)[13]根據(jù)標(biāo)點(diǎn)符號(hào)和一些連詞將評(píng)論切分為獨(dú)立子句，在雙層Bi-LSTM 網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上，在各層中加入注意力機(jī)制，兼顧句內(nèi)與子句間重要情感信息。

與上述方法和思路不同，本文使用門限循環(huán)單元（gated recurrent unit,GRU）網(wǎng)絡(luò)以及注意力機(jī)制作為情感信息提取的基本工具，在多點(diǎn)情感信息獲取上，通過注意力分值和預(yù)設(shè)長度參數(shù)控制序列離散情感信息的選擇與截取，克服常規(guī)注意力機(jī)制在提取情感信息時(shí)過度傾向于高頻信息的問題，優(yōu)化注意力在離散情感信息上的分布情況，同時(shí)利用GRU 網(wǎng)絡(luò)對(duì)提取的多點(diǎn)情感信息進(jìn)行編碼，減少長序列信息在編碼中的信息丟失的問題，提高序列情感信息編碼效果。在局部情感信息上，雖然與文獻(xiàn)[13]相類似使用連詞與符號(hào)對(duì)文本進(jìn)行分割，但關(guān)注點(diǎn)不同，且本文利用介詞對(duì)文本進(jìn)行分割，重點(diǎn)關(guān)注情感信息的局部連續(xù)性以及封閉性。通過對(duì)三類情感信息特征的提取與有效整合，達(dá)到提高方面信息情感分類效果的目的。

2 多模特征融合的方面信息情感分類模型

本文提出一種多模特征融合的方面信息情感分類模型，分別對(duì)單點(diǎn)情感信息、多點(diǎn)情感信息以及局部情感信息三類方面情感信息進(jìn)行提取與編碼，并融合三類情感信息特征形成最終目標(biāo)方面信息情感特征表示。使用雙層雙向GRU 網(wǎng)絡(luò)（Bi-GRU）對(duì)文本進(jìn)行初始編碼，利用注意力機(jī)制對(duì)單點(diǎn)情感信息進(jìn)行提取、利用單點(diǎn)情感信息提取過程中的注意力得分以及預(yù)設(shè)長度控制參數(shù)獲取多點(diǎn)情感信息，再利用位置信息定位局部方面情感信息。接下來對(duì)上述三類情感信息提取與編碼過程進(jìn)行詳細(xì)描述，模型整體結(jié)構(gòu)如圖1所示。

圖1 模型總體結(jié)構(gòu)圖Figure 1 Overall structure diagram of the model

2.1 問題描述與符號(hào)說明

方面信息情感分類是在給定具有方面信息情感表達(dá)的文本序列S={x1,x2,···,xn}以及句中方面信息序列A={xn-i,xn-i+1,···,xn-i+k}(k≤i) 條件下，判斷方面信息A的情感極性C屬于{正面、負(fù)面、中性} 的問題。為便于模型描述，文中使用E={e1,e2,···,en}表示文本序列對(duì)應(yīng)詞向量矩陣，使用P={p1,p2,···,pn}表示文本序列對(duì)應(yīng)的詞性向量矩陣。

2.2 單點(diǎn)情感信息特征提取

單點(diǎn)情感信息特征提取針對(duì)文本中使用單一情感詞承載情感信息的模式進(jìn)行特征提取。傳統(tǒng)注意力機(jī)制傾向于關(guān)注高頻信息，基于這一特點(diǎn)，本文將此類高頻信息作為單點(diǎn)情感信息。同時(shí)，對(duì)于構(gòu)建方面信息情感特征來說，重點(diǎn)是建立具有當(dāng)前方面信息特殊性的情感特征，一般做法是引入當(dāng)前方面信息特征到方面信息情感特征中。在此，本文借鑒文獻(xiàn)[7]構(gòu)建當(dāng)前方面信息情感特征的方式，將方面信息特征與情感特征點(diǎn)對(duì)點(diǎn)相加。在底層，使用Bi-GRU 對(duì)文本序列進(jìn)行編碼，使用輸出層作為序列中每個(gè)詞的當(dāng)前特征表示，使每個(gè)詞語融入上下文信息，更好地適應(yīng)當(dāng)前語句的整體語義。在文本序列中加入詞性信息，有助于模型加強(qiáng)依據(jù)詞性信息選取情感信息的能力。單點(diǎn)情感信息具體計(jì)算過程如下：

式中：“;”表示詞向量與詞性向量在特征方向上的拼接操作，O ∈R2n表示文本序列的輸出向量矩陣，n表示GRU 網(wǎng)絡(luò)隱狀態(tài)大小，t ∈Rn為當(dāng)前方面信息融入情感特征后的特征向量，d(S,A) 為注意力衰減系數(shù)，s ∈Rl表示當(dāng)前方面信息對(duì)文本序列中各詞的注意力分值，c ∈Rn表示當(dāng)前方面信息的情感特征向量，l表示當(dāng)前文本序列長度，W1,W2∈R2n×n,b1,b2∈Rn為可學(xué)習(xí)參數(shù)。在計(jì)算t時(shí)，利用式(3)～(5) 反復(fù)提取特征3 次，得到t最終特征表示，并將其作為單點(diǎn)情感信息特征表示。t的初始輸入為當(dāng)前方面信息特征向量，由于方面信息本身經(jīng)常出現(xiàn)多詞表達(dá)形式，其中的每個(gè)單詞在整體方面信息含義中所起作用并不相同，故方面信息特征向量同樣采用注意力機(jī)制進(jìn)行計(jì)算，公式如下：

式中：OA為從輸出向量矩陣中提取的方面信息特征向量矩陣，Oaverage表示輸出向量矩陣沿序列方向求均值得到的文本整體含義特征向量。一般而言，與當(dāng)前方面信息相關(guān)的情感信息位于其較近范圍內(nèi)，比如修辭關(guān)系、主系表關(guān)系等，故在式(3) 計(jì)算注意力分值時(shí)加入衰減系數(shù)1/d(S,A)，對(duì)注意力分值進(jìn)行修正，d(S,A) 通過lg(10+Δ) 進(jìn)行計(jì)算，Δ表示文本序列中各詞與方面信息距離，對(duì)于多詞方面信息，以方面信息首尾詞作為距離計(jì)算基準(zhǔn)。

文本中單個(gè)詞語注意力采用如下方法：

式中：“;”表示向量在特征方向上的拼接操作，W3∈R2n為可學(xué)習(xí)參數(shù)。

2.3 多點(diǎn)情感信息特征提取

在文本情感實(shí)際表達(dá)過程中，一方面，除了經(jīng)常使用單一情感詞表達(dá)當(dāng)前方面信息情感外，也常表現(xiàn)為文本中多個(gè)離散詞語共同決定當(dāng)前方面信息情感的表達(dá)模式。此時(shí)，情感載體并非簡單的具有情感信息的單一詞語，而是呈現(xiàn)出諸如敘述、比喻、反問等更加復(fù)雜的情感表達(dá)模式。比如在文本“we requested they re-slice the sushi,and it was returned to us in small cheese-like cubes.”中，方面信息“sushi”的情感并不能借助其中的某個(gè)詞語來表達(dá)，而是融入到語義的敘述中。另一方面，根據(jù)對(duì)句子的理解，文本中承載情感信息的詞語并不是所有詞語，而是其中一部分，這說明句子可以被簡化為包含核心情感以及語義詞語的簡潔形式。比如在上例中，“requested re-slice returned small cheese-like cubes”這些詞語所構(gòu)成的語義敘述核心基本決定了方面信息“sushi”情感極性為負(fù)向情感。在不同的句子中，對(duì)情感信息表達(dá)沒有貢獻(xiàn)的詞語數(shù)量不同，但對(duì)情感表達(dá)發(fā)揮作用的詞語卻是有限的，可以在一定程度上進(jìn)行量化，故可以通過控制參與情感表達(dá)的核心詞語長度來增強(qiáng)方面信息情感特征的差異化水平，降低非情感信息在特征提取過程中對(duì)情感特征的不良影響?；谏鲜鰞煞N考慮，本文設(shè)計(jì)了結(jié)合注意力分值提取定長情感信息的多點(diǎn)情感信息提取策略，并將這些定長情感信息輸入到GRU 網(wǎng)絡(luò)中進(jìn)行編碼，得到多點(diǎn)情感信息的特征表達(dá)。計(jì)算過程如下所示：

式中：函數(shù)f(O,s,η) 表示從當(dāng)前文本序列特征向量矩陣O中，按照s中注意力分值由高到低排序，提取前η個(gè)詞語對(duì)應(yīng)特征向量表示，即Oη ∈Rn×η作為當(dāng)前文本序列的簡化特征表示形式；hη ∈Rn表示Oη輸入單向GRU 網(wǎng)絡(luò)后得到的隱狀態(tài)向量，作為當(dāng)前文本序列的多點(diǎn)情感信息特征表示。

2.4 局部情感信息特征提取

情感信息具有一定的封閉性，即情感信息存在于相對(duì)完整的語義表述單元中。在多方面信息的文本中，適當(dāng)切割文本將每個(gè)方面信息的情感信息封閉在各自的子句空間中，可以對(duì)方面信息情感分類起到很好的促進(jìn)作用。之前的研究大多在修辭結(jié)構(gòu)分析的基礎(chǔ)上以連詞和標(biāo)點(diǎn)符號(hào)作為分割子句的標(biāo)志，比如文獻(xiàn)[13]利用了連詞對(duì)句子進(jìn)行切分。在對(duì)方面情感信息進(jìn)行建模研究過程中，本文對(duì)具有錯(cuò)誤分類結(jié)果的樣本進(jìn)行了大量分析，發(fā)現(xiàn)在具有中性情感的方面信息情感判斷上存在較大問題。中性方面信息往往沒有相應(yīng)的情感詞語作為表達(dá)，常存在于條件、陳述事實(shí)等表達(dá)模式中，此時(shí)使用注意力機(jī)制往往因關(guān)注高頻信息而產(chǎn)生情感極性判斷錯(cuò)誤的問題。比如在文本“the sauce is excellent(very fresh) with dabs of real mozzarella.”中，“dabs of real mozzarella”是具有中性情感極性的方面信息，但是常規(guī)注意力會(huì)將分值更多地分配給具有顯著正向情感信息的“excellent”，導(dǎo)致該方面信息情感極性判斷錯(cuò)誤?？梢钥闯?，方面信息“dabs of real mozzarella”僅僅作為該句中另一個(gè)方面信息“the sauce”表現(xiàn)為正向情感極性的條件，本身不具有正向或負(fù)向情感。針對(duì)這個(gè)問題，本文提出在方面信息的整體特征表示中加入了局部情感信息特征編碼，可以增強(qiáng)對(duì)此類情感特征判斷能力。在實(shí)際處理過程中，根據(jù)當(dāng)前方面信息的位置信息，使用預(yù)定義分割控制信息，按照就近原則選擇距離當(dāng)前方面信息最近的分割控制信息，確定局部情感信息序列，并將該文本序列輸入到GRU 網(wǎng)絡(luò)中進(jìn)行編碼，得到局部情感信息的特征表達(dá)。具體計(jì)算過程如下：

式中：函數(shù)g(O,p,λ) 表示局部情感信息序列截取操作，p表示當(dāng)前文本序列對(duì)應(yīng)的詞性序列，λ ∈{“,′′,“.”,“WP”,“WDT”,“CC”,“IN”,“WRB”,“WP$”} 表示預(yù)定義分割控制信息，Oλ ∈Rn×η′表示當(dāng)前方面信息局部情感序列特征矩陣，hλ ∈Rn表示Oλ輸入單向GRU網(wǎng)絡(luò)后得到的隱狀態(tài)向量，作為當(dāng)前文本序列的局部情感信息特征表示。

2.5 特征融合與模型訓(xùn)練

通過上述模型計(jì)算后，可以得到當(dāng)前方面信息的單點(diǎn)情感信息特征、多點(diǎn)情感信息特征以及局部情感信息特征，將此三類特征進(jìn)行拼接作為當(dāng)前方面信息最終的情感特征表示，使當(dāng)前方面信息特征中融入三類情感表達(dá)模式的特征信息，而后對(duì)此特征進(jìn)行情感分類，分為正向情感、負(fù)向情感以及中性情感三類，具體計(jì)算過程如下：

式中：“;”表示三類情感特征在特征方向上的拼接操作，ot ∈R3n表示當(dāng)前方面信息最終情感特征表示，P(y|θ)∈R3表示當(dāng)前方面信息預(yù)測(cè)的情感極性概率分布，y={positive,neutral,negative}，θ表示模型中所有參數(shù)，W4∈R3n×3,b3∈R3為可學(xué)習(xí)參數(shù)。最終，通過交叉熵計(jì)算模型損失并對(duì)模型參數(shù)進(jìn)行訓(xùn)練，其中模型參數(shù)的函數(shù)為

式中：y′表示標(biāo)準(zhǔn)情感類別對(duì)應(yīng)索引值。在當(dāng)前方面信息中融入三類情感表達(dá)模式的特征，可以優(yōu)化模型在訓(xùn)練過程中注意力分布，弱化其中某一類情感表達(dá)模式特征的錯(cuò)誤對(duì)整體分類效果的影響，達(dá)到提高分類精度的目的。

3 實(shí)驗(yàn)部分

3.1 實(shí)驗(yàn)數(shù)據(jù)與設(shè)置

本實(shí)驗(yàn)采用SemEval-2014 任務(wù)4[14]中的評(píng)論數(shù)據(jù)集，包含Laptop 評(píng)論數(shù)據(jù)集和Restaurant 評(píng)論數(shù)據(jù)集，該數(shù)據(jù)集是方面情感分析領(lǐng)域使用最為廣泛的數(shù)據(jù)集。采用與文獻(xiàn)[1]實(shí)驗(yàn)相同的處理方式，去除掉數(shù)據(jù)集中具有“Conflict”標(biāo)簽的評(píng)論樣本，故數(shù)據(jù)集中樣本情感標(biāo)簽類別分為“Positive”“Neutral”“Negative”三類，詳情參見表1。評(píng)論預(yù)處理過程中使用NLTK（Natural Language Toolkit）[15]將文本分割為單詞序列，使用斯坦福大學(xué)的自然語言處理工具包Stanford-CoreNLP[16]對(duì)評(píng)論文本進(jìn)行詞性解析，獲取單詞詞性信息。

表1 樣本數(shù)據(jù)信息統(tǒng)計(jì)表Table 1 Statistical of sample data

為提高模型通用性與實(shí)驗(yàn)可對(duì)比性，詞向量以及詞性向量使用300 維Glove 預(yù)訓(xùn)練詞向量進(jìn)行初始化，未登錄詞以及詞性標(biāo)簽采用隨機(jī)初始化。模型中所有GRU 網(wǎng)絡(luò)隱層大小設(shè)定為300，采用dropout 策略防止參數(shù)過擬合，dropout 率設(shè)定為0.1，batch 大小設(shè)定為32，使用Adam 優(yōu)化算法[17]更新模型參數(shù)，學(xué)習(xí)率設(shè)定為0.001。使用準(zhǔn)確率與F1 值作為評(píng)價(jià)指標(biāo)。

3.2 對(duì)比方法

為充分評(píng)估模型的有效性，將與下列3 類方法進(jìn)行對(duì)比，第1 類為基于RNN 或注意力機(jī)制的方法，即單獨(dú)使用RNN 或注意力機(jī)制提取方面情感信息的方法；第2 類為基于RNN 和注意力機(jī)制的方法，即同時(shí)使用RNN 以及注意力機(jī)制提取方面情感信息的方法；第3 類為其他方法，包括使用卷積網(wǎng)絡(luò)或知識(shí)遷移等方法。

3.2.1 基于循環(huán)神經(jīng)網(wǎng)絡(luò)或注意力機(jī)制的方法

1）TD-LSTM[4]：利用LSTM 網(wǎng)絡(luò)分別從文本序列首尾兩個(gè)方向開始進(jìn)行序列情感信息編碼過程中，并將目標(biāo)方面信息作為信息傳遞的終點(diǎn)，得到特定目標(biāo)方面信息情感特征。

2）記憶網(wǎng)絡(luò)（memory network,MemNet)[7]：利用注意力機(jī)制多次從記憶空間中抽取方面情感信息，最終形成方面情感信息特征表示。3）注意力編碼網(wǎng)絡(luò)-全局向量（attentional encoder network-global vectors,AEN-GloVe）[18]：使用注意力機(jī)制替代RNN 對(duì)文本信息進(jìn)行編碼，提取有效方面情感信息，從而以較輕量的模型以及資源占用提供有效的方面信息情感分類結(jié)果。

3.2.2 基于循環(huán)神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制的方法

1）ATAE-LSTM(attention-based LSTM with aspect embedding)[19]：在LSTM 網(wǎng)絡(luò)的輸入和輸出端均加入方面信息特征表示，強(qiáng)化方面信息對(duì)其特定情感信息傳遞的控制，并通過注意力機(jī)制對(duì)情感信息進(jìn)行提取，形成最終方面信息情感分類特征表示。

2）交互注意力網(wǎng)絡(luò)（interactive attention networks,IAN）[9]：使用LSTM 網(wǎng)絡(luò)和注意力機(jī)制作為基本編碼組件，通過在上下文與方面信息之間相互學(xué)習(xí)注意力，分別得到上下文以及方面信息的特征表示，而后將兩者拼接得到當(dāng)前方面信息的情感特征表示。

3）RAM（recurrent attention network on memory）[1]：使用Bi-LSTM 網(wǎng)絡(luò)編碼文本序列構(gòu)造記憶信息，并通過位置權(quán)重適配針對(duì)當(dāng)前方面信息的記憶，而后通過多層以非線性方式相連接的注意力機(jī)制獲取方面情感信息分類特征表示。

4）LSTM+SynATT+TarRep[20]：使用預(yù)定義目標(biāo)方面信息加權(quán)和對(duì)當(dāng)前目標(biāo)方面信息進(jìn)行重新表示，并在注意力機(jī)制中融入句法信息，底層使用LSTM 進(jìn)行編碼。

3.2.3 其他方法

1）門控卷積網(wǎng)絡(luò)（gated convolutional network with aspect embedding,GCAE）[5]：使用不同大小卷積核提取文本中語言模式信息，并通過Tanh-Relu 門單元過濾出情感信息，構(gòu)建當(dāng)前方面信息情感分類特征表示。

2）PRET+MULT[21]：使用LSTM 和注意力機(jī)制作為底層編碼組件，通過共享預(yù)訓(xùn)練模型參數(shù)以及多任務(wù)學(xué)習(xí)兩種方式將文檔級(jí)別的情感分類信息遷移到方面級(jí)別情感分析任務(wù)中，達(dá)到增強(qiáng)分類效果的目的。

3）TransCap(transportation system capability)[22]：通過構(gòu)建遷移膠囊網(wǎng)絡(luò)，將文檔級(jí)別的情感標(biāo)注信息遷移到方面級(jí)別情感分類任務(wù)中，以此來增強(qiáng)方面信息情感分類效果。

3.3 實(shí)驗(yàn)結(jié)果與分析

本文提出方法與對(duì)比方法的性能情況如表2所示。在表2中，帶“#”的測(cè)試數(shù)據(jù)取自文獻(xiàn)[1]，帶“*”的測(cè)試數(shù)據(jù)取自文獻(xiàn)[22]，其余數(shù)據(jù)取自各自論文中實(shí)驗(yàn)結(jié)果數(shù)據(jù)，分項(xiàng)最高分值使用加粗字體標(biāo)記；測(cè)試結(jié)果數(shù)據(jù)在長度控制參數(shù)η=6 條件下得出?？傮w上，從表格中可以看出，本文提出方法在所有方法中呈現(xiàn)出較高性能水平。同時(shí)，所有方法都存在Restaurant 評(píng)論數(shù)據(jù)測(cè)試結(jié)果好于Laptop 評(píng)論數(shù)據(jù)測(cè)試結(jié)果情況，說明在方面信息情感表達(dá)模式上，Laptop 評(píng)論比Restaurant 評(píng)論更加靈活多變，規(guī)律性更難被模型學(xué)習(xí)。另外樣本數(shù)據(jù)的不平衡性也可能是導(dǎo)致這種現(xiàn)象的原因之一。

表2 方法性能對(duì)比統(tǒng)計(jì)表Table 2 Statistical of method performance comparison

在“RNN&ATT”類方法中，TD-LSTM 方法僅使用了LSTM 網(wǎng)絡(luò)對(duì)文本信息進(jìn)行編碼，在構(gòu)建區(qū)分不同方面情感信息能力上將方面信息作為Bi-LSTM 編碼終點(diǎn)，但仍無法擺脫長距離文本信息在LSTM 網(wǎng)絡(luò)編碼過程中的信息丟失問題；在MemNet 方法中，僅使用多層注意力從記憶中提取情感信息，由于注意力本身傾向于關(guān)注高頻信息，且在多層注意力之間特征使用線性方式連接，使得該方法對(duì)正確情感信息的提取以及不同方面情感信息的區(qū)分能力均偏弱，在兩個(gè)數(shù)據(jù)集的測(cè)試結(jié)果上，與本文提出方法在準(zhǔn)確率上的差距分別達(dá)到5.75%、3.29%，在F1 值指標(biāo)上的差距分別達(dá)到8.42%、5.86%；AEN-Glove 方法雖未使用LSTM 網(wǎng)絡(luò)作為模型編碼組件，但是使用了Intra-MHA（intra multi-head attention）和Inter-MHA（inter multi-head attention）兩種注意力機(jī)制分別對(duì)上下文以及方面信息進(jìn)行編碼，且在注意力編碼組件中加入了逐點(diǎn)的卷積變換操作進(jìn)一步提取情感特征，整體性能水平比MemNet 有較大提升，在Restaurant 評(píng)論數(shù)據(jù)集上的測(cè)試準(zhǔn)確率與本文提出方法相同，但在F1 值指標(biāo)上，兩個(gè)數(shù)據(jù)集的測(cè)試結(jié)果上均弱于本文方法，分別存在1.98%、1.25% 的差距，說明在不同情感表達(dá)模式中正確提取情感信息的綜合能力上不如本文所提出方法。

在“RNN & ATT”類方法中，4 種方法均同時(shí)使用了LSTM 網(wǎng)絡(luò)以及注意力機(jī)制構(gòu)建模型，但都僅將LSTM 網(wǎng)絡(luò)作為底層編碼組件，借以在各詞的特征表示中融入當(dāng)前上下文信息，以便更好地適應(yīng)當(dāng)前語義環(huán)境。而本文在使用LSTM 網(wǎng)絡(luò)對(duì)文本進(jìn)行底層編碼的基礎(chǔ)上，在多點(diǎn)情感信息以及局部情感信息的頂層特征表達(dá)上同樣使用了LSTM 網(wǎng)絡(luò)提取情感特征，充分利用其對(duì)短距離序列情感信息的優(yōu)異提取能力，故綜合性能水平均優(yōu)于此類中4種方法。ATAE-LSTM 方法與IAN 方法在模型架構(gòu)上較為相近，但I(xiàn)AN 方法中引入了交互注意力機(jī)制，根據(jù)上下文對(duì)方面信息進(jìn)行了重新編碼，使得測(cè)試結(jié)果略好于ATAE-LSTM 方法；RAM 方法與本文提出方法在性能水平上較為接近，原因在于構(gòu)建記憶組件時(shí)不僅使用了LSTM 網(wǎng)絡(luò)融合上下文信息，而且加入了位置權(quán)重，在多層注意力使用上層間采用非線性連接，提高了對(duì)多方面情感信息識(shí)別能力；LSTM+SynATT+TarRep 方法在注意力使用上借助了句法信息，但目前句法信息解析易出現(xiàn)錯(cuò)誤，導(dǎo)致在利用此類信息時(shí)實(shí)驗(yàn)結(jié)果會(huì)出現(xiàn)波動(dòng)；本文在模型中加入了詞性信息，雖也存在受詞性解析結(jié)果錯(cuò)誤影響的問題，但利用了多模特征的相互確認(rèn)與糾正得到一定改善，使綜合性能得到一定提升。

GCAE 方法僅使用卷積網(wǎng)絡(luò)以及特定門機(jī)制提取情感信息，雖然它的性能較弱，但其并行性好、計(jì)算速度快；PRET+MULT 方法和TransCap 方法中均利用了文檔級(jí)情感標(biāo)注數(shù)據(jù)提升方面級(jí)情感分析任務(wù)，對(duì)于提升文本特征融合上下文信息的能力具有積極意義，但在應(yīng)對(duì)多樣情感表達(dá)模式的情感判斷上能力較弱。

3.4 參數(shù)η 對(duì)提取效果的影響

直覺上，文本中影響當(dāng)前方面信息情感極性的詞語是有限的。為進(jìn)一步分析多點(diǎn)情感特征提取過程中長度控制參數(shù)η對(duì)情感特征提取效果的影響，本文使η在[2,8]范圍內(nèi)變化，得到如表3所示的實(shí)驗(yàn)結(jié)果。從表3中可以初步看出，當(dāng)長度控制參數(shù)η=6 時(shí)，得到各數(shù)據(jù)集測(cè)試最佳性能值。當(dāng)2 ≤η＜6 時(shí)，測(cè)試性能指標(biāo)呈現(xiàn)波動(dòng)上升趨勢(shì)，而當(dāng)6＜η≤8 時(shí)呈現(xiàn)下降趨勢(shì)。初步分析認(rèn)為，在長度控制參數(shù)小于最佳參數(shù)值時(shí)，保留的多點(diǎn)情感信息缺乏不同方面信息情感極性區(qū)分能力，容易丟失重要情感信息，致使性能指標(biāo)下降，而在大于最佳參數(shù)值時(shí)，由于保留的多點(diǎn)情感信息中摻雜部分無用信息，弱化了有益情感信息在最終方面信息情感特征表示中的作用，導(dǎo)致性能指標(biāo)出現(xiàn)下降。

表3 長度控制參數(shù)效果Table 3 Results of length control parameter

3.5 消融實(shí)驗(yàn)

為進(jìn)一步驗(yàn)證所提方法在最終方面情感特征融入各類特征有效性，本文進(jìn)行了相關(guān)消融實(shí)驗(yàn)，主要包括排除單點(diǎn)情感特征實(shí)驗(yàn)（OURS-w/o-SSR）、排除多點(diǎn)情感特征實(shí)驗(yàn)（OURS-w/o-MSR）、排除局部情感特征實(shí)驗(yàn)（OURS-w/o-PSR）、排除多點(diǎn)與局部情感特征實(shí)驗(yàn)（OURS-w/o-MSR&PSR）、排除單點(diǎn)與局部情感特征實(shí)驗(yàn)（OURS-w/o-SSR&PSR）、排除單點(diǎn)與多點(diǎn)情感特征實(shí)驗(yàn)（OURS-w/o-SSR&MSR），具體實(shí)驗(yàn)結(jié)果如表4所示，其中，包含多點(diǎn)情感特征（MSR）實(shí)驗(yàn)測(cè)試結(jié)果數(shù)據(jù)在長度控制參數(shù)η=6 條件下得出。

表4 消融實(shí)驗(yàn)結(jié)果Table 4 Ablation results

從上述實(shí)驗(yàn)結(jié)果可以看出，排除三類情感特征中的任意一種或兩種，性能指標(biāo)均出現(xiàn)不同程度下降，表明三類特征對(duì)文本中方面信息情感極性判斷均發(fā)揮重要作用。在Laptop 評(píng)論數(shù)據(jù)集測(cè)試結(jié)果中，在分別排除了SSR(1)、MSR(2)、PSR(3) 情感特征后，準(zhǔn)確率與F1值出現(xiàn)上升趨勢(shì)，而在分別保留SSR(4)、MSR(5)、PSR(6) 情感特征后，準(zhǔn)確率與F1 值出現(xiàn)下降趨勢(shì)，初步表明在Laptop 評(píng)論數(shù)據(jù)集中，SSR、MSR、PSR 特征對(duì)最終方面信息情感極性判斷發(fā)揮作用依次減弱。在Restaurant 評(píng)論數(shù)據(jù)集測(cè)試結(jié)果中，僅排除PSR(3) 與僅保留PSR(6) 情感特征均出現(xiàn)同類組中最差性能指標(biāo)結(jié)果，表明上述情感特征并非獨(dú)立發(fā)揮作用，而是在相互關(guān)聯(lián)中發(fā)揮作用，既相互印證又弱化彼此出現(xiàn)錯(cuò)誤對(duì)整體性能的影響。為進(jìn)一步說明模型在解決多方面信息文本中不同方面信息情感同質(zhì)化、中性方面信息情感化問題的效果，在消融實(shí)驗(yàn)的基礎(chǔ)上對(duì)多方面信息文本（MUL_AS）、多方面信息且存在不同極性情感類別的文本（MUL_DIF_AS）以及中性情感極性文本（NEU_AS）的情感分類性能進(jìn)行了統(tǒng)計(jì)，具體數(shù)據(jù)見表5，其中Laptop 數(shù)據(jù)集對(duì)應(yīng)上述三類文本數(shù)量分別為367、101 和169，Restaurant 評(píng)論數(shù)據(jù)集相應(yīng)文本數(shù)量為818、219 和196。從表5可以看出，在兩個(gè)數(shù)據(jù)集上，均表現(xiàn)出保留情感特征的種類越多、分類效果越好的情況，說明各類情感特征在解決不同方面信息情感同質(zhì)化、中性方面信息情感化問題上發(fā)揮重要作用；在MUL_AS、MUL_DIF_AS、NEU_AS 文本中，情感分類的性能呈現(xiàn)明顯下降趨勢(shì)，說明三類文本情感分類難度逐漸增加；在僅保留SSR（4、11）情感特征的實(shí)驗(yàn)中，文本情感分類性能基本均為最低水平，說明MSR 和PSR 在多方面信息以及中性方面信息的情感分類上發(fā)揮重要作用，同時(shí)在去除PSR（3、4、5、10、11、12）情感特征的實(shí)驗(yàn)中，中性方面信息情感分類水平均處于較低水平，再次說明了其在中性方面信息情感分類上發(fā)揮的重要作用。

表5 三類方面信息情感分類性能Table 5 Performance based on three kinds of sentiment classification information

表6展示了消融實(shí)驗(yàn)中對(duì)特定樣本注意力分布以及情感類別跟蹤結(jié)果。其中，序號(hào)1 的數(shù)據(jù)為本文完整模型下數(shù)據(jù)，序號(hào)2～6 的數(shù)據(jù)分別對(duì)應(yīng)于表3中1～5 的方法，由于方法6中僅保留了局部情感特征，故沒有注意力數(shù)據(jù)。

從表6可以看出：注意力隨著保留情感特征的不同發(fā)生相應(yīng)變化。在本文完整模型1 中，方面信息“Indian”“food”對(duì)上下文的注意力分布集中在“know”“real”“n’t”“it”幾個(gè)詞語上，較為準(zhǔn)確地表達(dá)出方面信息情感；在排除MSR(3) 和僅保留SSR(5) 情感特征的兩個(gè)模型中均出現(xiàn)了注意力過于集中的情況，表現(xiàn)出傳統(tǒng)注意力機(jī)制的關(guān)注偏置問題；在排除SSR(2)和僅保留MSR(6) 情感特征的兩個(gè)模型中能明顯看出，由于MSR 的作用，上下文中各詞的注意力分布趨于平緩，反映出MSR 能夠有效緩解傳統(tǒng)注意力過于關(guān)注高頻信息的問題，強(qiáng)化上下文中高頻信息以外詞語對(duì)情感特征的作用。

表6 特定樣本注意力分布以及情感類別跟蹤結(jié)果Table 6 Tracking results of Attention distribution and sentiment of specific sample

4 結(jié) 語

本文針對(duì)方面信息情感分類任務(wù)，提出一種基于多模特征融合的方面信息情感分類方法，根據(jù)方面信息情感表達(dá)模式不同，區(qū)分為單點(diǎn)情感信息、多點(diǎn)情感信息、局部情感信息三類。在實(shí)現(xiàn)方式上，結(jié)合注意力機(jī)制和循環(huán)神經(jīng)網(wǎng)絡(luò)自身特點(diǎn)，使用多層注意力重點(diǎn)提取單點(diǎn)情感信息，利用注意力分值和長度控制參數(shù)提取離散情感詞作為多點(diǎn)情感信息，通過詞性與符號(hào)等位置信息提取局部情感信息，通過信息融合實(shí)現(xiàn)各類特征相互確認(rèn)與糾錯(cuò)，達(dá)到增強(qiáng)復(fù)雜情感表達(dá)模式下方面信息情感分類能力的目的。實(shí)驗(yàn)結(jié)果表明，通過區(qū)分三類情感信息并提取融合相應(yīng)特征的方式可以有效提升方面信息情感極性判斷效果，與對(duì)比方法相比，在兩個(gè)數(shù)據(jù)集上可以使準(zhǔn)確率平均提高3.31%、4.17%，F(xiàn)1 值指標(biāo)平均提高2.04%、4.89%，并且三類情感特征對(duì)整體分類效果的作用呈現(xiàn)強(qiáng)弱變化以及相互關(guān)聯(lián)的特點(diǎn)。在后續(xù)的工作中，將對(duì)各類特征的作用機(jī)理進(jìn)行深入研究，進(jìn)一步優(yōu)化模型對(duì)特征的提取與利用效果。