李 磊，吳旭輝，劉 繼

(新疆財經(jīng)大學 統(tǒng)計與數(shù)據(jù)科學學院，烏魯木齊 830012)

1 引 言

從在線評論中提煉出的情感信息在網(wǎng)絡輿情導控、商品營銷、產(chǎn)品和服務提升等方面具有重要的應用價值，針對微博評論、第3方電商平臺上的反饋評價等短文本進行情感分析，是近年來的一個研究熱點.同一條評論文本往往涉及所描述對象的不同屬性或方面(本文簡稱為評價對象)，如關于酒店的評論“環(huán)境還算可以，特別劃算”，具體的評價對象就包括“環(huán)境”和“價格”，已細化為酒店的不同屬性.此外，“價格”并沒有直接出現(xiàn)在評論中，是由上下文語義推斷得知，屬于評論中的隱式對象.基于屬性的情感分析是細粒度情感分類任務，不僅不同對象的情感語義不會完全一致，而且評論整體的情感傾向與特定對象的情感傾向也可能不同.

在線評論短文本的典型特點是句法結構不規(guī)范、主觀性較強、用詞隨意性強，而深度學習方法無需依賴人工標注的特征工程，基于多層非線性變換的神經(jīng)網(wǎng)絡結構可以實現(xiàn)對文本的抽象和學習，所以此類神經(jīng)網(wǎng)絡模型在自然語言處理領域得到了廣泛的應用[1].目前的情感分類模型主要以卷積神經(jīng)網(wǎng)絡(CNN)和循環(huán)神經(jīng)網(wǎng)絡(RNN)為基礎構建.因細粒度情感分析更加關注對特定評價對象的情感態(tài)度，所以在神經(jīng)網(wǎng)絡中引入注意力機制，可有效捕獲評論中與對象相關的情感語義表達，提升情感分類性能[2].從研究方法上看，近期的相關工作主要圍繞輸入序列建模、網(wǎng)絡模型設計、注意力機制改進等幾個方面展開，而且大部分研究僅針對事先標注的對象推斷文本內(nèi)容的情感傾向，從而驗證優(yōu)化后的模型在細粒度情感分析上的性能提升.

在實際應用中，首先要識別文本中的評價對象，并考慮評論者對不同對象在關注程度上的差異，以及不同情感之間的相關性和合成性，需綜合局部來判斷整體評論的情感傾向性.本文基于CNN實現(xiàn)關鍵評價對象的抽取和識別，利用雙向長短期記憶神經(jīng)網(wǎng)絡(Bi-LSTM)提取上下文特征信息，通過強化關鍵對象語義信息和引入自注意力機制來增強模型的性能，實驗結果驗證了本文方法的有效性.

2 相關研究

2.1 評價對象的提取與識別

文本中的評價對象可分為顯式和隱式兩種[3].直接出現(xiàn)在評論文本中的對象屬性即為顯式對象，通常是高頻率出現(xiàn)的名詞或名詞詞組，基于詞頻的抽取方法是提取顯式評價對象的常用方法.基于語法規(guī)則的方法可有效抽取低頻屬性，但對人工設計特征的依賴性較大.將機器學習與上述方法相結合來提取對象屬性，也取得了較好的效果[4].

隱式對象不出現(xiàn)在文本中，但可根據(jù)上下文語義推斷出具體屬性，對此類對象的識別可提高情感分析的精度[5].顯式對象及相應情感詞的抽取結果是識別隱式對象的基礎，大部分研究的基本思想是：挖掘屬性類與意見簇的關聯(lián)性，構建穩(wěn)健的“屬性-情感觀點”匹配規(guī)則，再以情感詞為線索，依據(jù)規(guī)則識別隱式評價對象.在屬性分類、情感詞典構建、關聯(lián)規(guī)則挖掘、相似度計算等方面的改進，有助于提升隱式對象的識別效果[6].此外，支持向量機(SVM)、條件隨機場(CRF)、CNN等模型的運用也為識別工作提供了新的思路[7].

2.2 基于對象的情感分析

深度學習模型獨立于專家知識和語料庫，在命名實體識別、語義角色標注、詞性標注等研究領域表現(xiàn)出良好的性能，也逐步應用于對象層面的情感分析.CNN可以接收平行輸入的語句，通過卷積處理提取最重要的句法和語義特征，基于CNN可完成對象抽取、特定對象判定及細粒度層面上的情感分析[8].而RNN在處理序列信息上更具優(yōu)勢，其記憶能力可捕獲上下文的依存關系，應用更為廣泛[9,10].

在神經(jīng)網(wǎng)絡中引入注意力機制，可使模型關注特定對象的相關信息，有助于提升模型的性能表現(xiàn).Wang等[11]基于LSTM隱藏層的輸出進行注意力學習，并強化了特定對象在文本特征提取和注意力權重計算中的作用.石磊等[12]利用自注意力機制提煉上下文特征，并將其補充到Tree-LSTM模型的輸入序列中.梁斌等[13]同時關注對象信息、詞性和詞語位置，用3種注意力機制增強CNN對特定對象情感極性的識別.支淑婷等[14]在基于Bi-LSTM構建的網(wǎng)絡模型中，加入位置、內(nèi)容和類別注意力機制來學習多特征信息.

很多研究工作使用的實驗數(shù)據(jù)集已事先標注了顯式對象，但沒有考慮存在隱式評價對象的情況.多重注意力機制雖然可以從不同角度關注不同的特征信息，但不同注意力之間的關系難以把握.與單層注意力學習方式相比，深層注意力機制可更有效地聚焦于關鍵信息，提升文本分類效果[15].此外，在判斷評論文本的整體情感傾向性時，現(xiàn)有研究大多基于對象層面的情感得分進行某種形式的加總處理[16]，但判定結果對得分匯總機制的依賴性較大.

由于評論者的偏好不同，對不同評價對象的預期和重視程度也不同，所以整體情感傾向并非細粒度層面上情感觀點的簡單匯總，而在很大程度上取決于評論者對重點關注對象的評價.本文提出了一種融合關鍵評價對象識別和深層自注意力的Bi-LSTM模型.從屬性角度出發(fā)，構建不同對象類的評論詞集，基于CNN卷積處理結果來提取或識別評論中的關鍵評價對象.以融合了關鍵對象信息的詞向量序列作為輸入，使用共享權重的Bi-LSTM理解和提煉整條評論特征信息，在模型的輸入層和隱藏層輸出結果上均引入自注意力機制，提升情感分類性能.

3 模 型

3.1 基于CNN的關鍵對象識別

3.1.1 對象類評論詞集的構建

電商平臺通常會對在線評論內(nèi)容進行分類匯總，提煉出主要評價方面，本文據(jù)此確定評價對象類，并將類別詞記為：A1,A2,…,Aj.類別詞是對評價對象的高度抽象和概括，而短文本評論大多僅涉及同一類對象的局部或從屬屬性，因此需要從評論中獲取充足的指示對象詞，以擴充對象類信息.在對評論文本進行分詞、刪除無用字符、去停用詞、標注詞性的預處理后，篩選出名詞或名詞短語構成候選對象詞集，基于Word2Vec計算對象類別詞與候選對象詞的相似度，并據(jù)此對候選對象詞進行分類，得到每個對象類的對象詞集.

Tang等的研究表明，對象詞附近的詞語對于情感分類準確率的影響較大[17]，同時考慮到語義表達的完整性，因此本文始終按標點符號切分并提取句子片段.以評論文本中的對象詞為中心提取子句，構成與對象類對應的子句集合Bi(i=1,2,…,j).其次，基于Bi挖掘與對象詞最常匹配的情感詞.在文本預處理的基礎上，保留名詞、動詞、形容詞(或形容詞短語)、副詞，先用關聯(lián)規(guī)則的Apriori算法挖掘出與每個對象詞最常匹配的情感詞，主要包括：形容詞、形容詞短語、動詞.考慮到程度副詞對情感強度的影響，再利用點互信息(PMI)挖掘與形容詞有修飾搭配關系的程度副詞：

(1)

其中，P(word1 &word2)表示word1和word2同時出現(xiàn)的概率，P(word1)、P(word2)分別表示word1、word2單獨出現(xiàn)的概率.結合同義詞林，最終篩選出每個對象類的評論詞集RVi={ni個對象詞，mi個程度副詞，ki個情感詞}(i=1,2,…,j).

3.1.2 關鍵對象識別

CNN可接收平行化輸入的文本信息，通過卷積操作獲取文本的N-Gram特征，適合對文本整體語義的建模.Du[18]從數(shù)學上證明了卷積運算結果就是一種對句子中不同成分的關注信號，反映了不同詞語在整體語義場景下的重要性.本文基于CNN卷積層輸出挖掘核心情感詞，進一步識別評論文本的關鍵評價對象，具體過程如圖1所示.

對于長度為n的短文本s={w1,w2,…,wn}，將每個詞wi映射為一個多維連續(xù)值詞向量xi，所有的詞向量構成一個詞向量矩陣E∈Rd×|V|，其中d為詞向量維度，|V|為詞典大小，即數(shù)據(jù)集包含的所有詞的數(shù)量.本文用CNN提取特征信息，使用大小為k×d的卷積核對輸入E進行h次卷積操作，卷積層的輸出結果記為：C1,C2,…,Ch，其中Ci∈Rn.求均值進行平滑，向量C中的數(shù)值反映了每個詞語的重要性：

圖1 基于CNN的關鍵對象識別Fig.1 Key opinion target recognition based on CNN

(2)

基于向量C，按式(3)定位核心情感詞：

(3)

其中，which.max(·)，which.min(·)分別返回最大值和最小值的位置，即為核心情感詞在句子中的位置.以核心情感詞為中心，抽取句子片段，若該子句中包含對象詞，則關鍵評價對象是顯式對象，抽出相應的對象詞.若子句中不包含對象詞，則認為是隱式評價對象的情況，按式(4)計算子句與每個對象類評論詞集之間的余弦相似度：

(4)

上式中，sg和rvi分別表示子句和對象類評論詞集在多維連續(xù)實值空間上的映射.最大相似度對應的對象類就是識別出的隱式評價對象，并將對象詞設定為對象類別詞Ai.

3.2 深層自注意力機制

注意力機制可優(yōu)化情感分類任務，使模型更多關注與特定對象相關的情感信息.本文基于CNN卷積層抽取的特征信息，使用多層感知器(MLP)進行自注意力的學習，并在特征信息上拼接關鍵對象詞向量，以增強關鍵對象在學習過程中的作用.

(5)

?

(6)

(7)

(8)

上式中，W(1)∈Rr×2d,W(2),…,W(l-1)∈Rr×r,W(l)∈R1×r是權重矩陣，b(1),…,b(l-1)∈Rr,b(l)∈R，是偏置向量，均通過訓練得到.αi是每個詞在整體語義場景下的注意力權重.

3.3 情感分類模型

在以上模型的基礎上，本文提出融合關鍵對象識別與深層自注意力的Bi-LSTM模型，整體模型結構如圖2所示，主要包括以下3個部分：

1)用CNN平行接收短文本的詞向量矩陣，基于卷積層輸出的處理結果識別關鍵評價對象，并進行深層自注意力的學習.

2)在短文本的詞向量序列上拼接關鍵對象信息，應用注意力機制后，輸入到Bi-LSTM中學習評論文本整體情感特征信息.

3)對Bi-LSTM的隱狀態(tài)向量序列再次應用注意力機制，獲得優(yōu)化調(diào)整后的特征表示，輸入softmax分類器中進行情感分類.

圖2 融合關鍵對象識別與深層自注意力的Bi-LSTM模型Fig.2 Bi-LSTM with key opinion target recognition and deeper self-attention

3.3.1 輸入層

詞向量矩陣E只是輸入文本在低維、連續(xù)實值空間上的映射，不包含其它額外信息.研究表明，在神經(jīng)網(wǎng)絡模型的詞嵌入層拼接對象信息，可有效提升情感分類效果[11].先對每個詞向量拼接關鍵對象信息，以增強輸入數(shù)據(jù)的語義信息；再將注意力權重賦予每個詞向量，使模型在編碼階段能主動關注與情感觀點關系密切的數(shù)據(jù)信息，結果如式(9)所示.

(9)

其中，E*∈R2d×|V|，是Bi-LSTM的輸入序列.

3.3.2 雙向LSTM層

與CNN相比，LSTM可對文本的順序特征進行有效建模，在一定程度上保留對上下文的記憶.使用一個共享權重的雙向LSTM神經(jīng)網(wǎng)絡，可以分別學習文本中的正向語義信息和逆向語義信息.兩個LSTM對輸入數(shù)據(jù)E*進行編碼處理后，分別生成了前向和反向的特征向量矩陣Hf∈Rdh×n和Hb∈Rdh×n，其中dh表示單向LSTM隱藏層輸出的向量維度.連接正、反兩個方向的隱狀態(tài)向量矩陣，即為Bi-LSTM生成的文本特征向量矩陣Hs∈R2dh×n，如式(10)-式(12)所示.

(10)

(11)

(12)

LSTM單元提取特征信息時傾向于重視近期輸入，無法很好地捕捉到文本中相對距離較遠的情感詞與關鍵對象之間的潛在聯(lián)系.故將深層自注意力再次應用到Bi-LSTM的隱狀態(tài)向量序列上，進一步優(yōu)化從評論文本提取的特征信息，按式(13)進行加權求和后，得到最終輸出的情感特征向量h*.

(13)

3.3.3 模型訓練

本文使用一個softmax函數(shù)接收Bi-LSTM網(wǎng)絡的輸出，來獲得待分類文本情感極性的結果，如式(14)所示，其中W為權重矩陣，b為偏重向量.

y=softmax(Wh*+b)

(14)

模型的訓練采用端到端的反向傳播算法，損失函數(shù)采用交叉熵代價函數(shù).同時為了避免過擬合問題，加入了 L2 正則項.通過最小化損失函數(shù)來優(yōu)化模型，完成情感分類任務:

(15)

4 實驗結果及分析

4.1 實驗數(shù)據(jù)及評價指標

數(shù)據(jù)集采用中科院計算所譚松波教授提供的酒店評論語料，共包括10000條評論，已標注的好評為7000條、差評為3000條.以數(shù)據(jù)集為訓練語料庫，用jieba對評論文本進行分詞和詞性標注，詞向量用Word2Vec的skip-gram訓練得到；同一評論詞集中的詞語不僅在句法結構上有較強的關聯(lián)性，而且在語義內(nèi)容上有相同的主旨，故使用Doc2Vec的DBOW訓練得到對象類評論詞集和句子片段的向量表示.在已標注數(shù)據(jù)集上采用五折交叉驗證進行多次實驗，盡可能降低隨機性對實驗結果的影響.

本文使用精確率P(Precision)、召回率R(Recall)、F值(F-measure)對實驗結果進行評價，相關計算方法如式(16)-式(18)所示.

(16)

(17)

(18)

其中，TP(True Positive)表示預測正確的正向類別數(shù)；FP(False Positive)、FN(False Negative)表示預測錯誤的正向類別數(shù)和負向類別數(shù).

4.2 實驗參數(shù)設置

通過對比不同參數(shù)值的實驗結果后，設定詞、詞集和子句向量均為100維的連續(xù)值.在CNN中使用多種窗寬的卷積核進行卷積操作，其中窗寬大小分別為3、4、5，每種卷積核的個數(shù)均為100.訓練過程采用Adadelta更新規(guī)則，其它參數(shù)如表1所示.

表1 模型參數(shù)設置Table 1 Model parameter setting

4.3 對比實驗設置

將本文提出的融合關鍵對象識別與深層自注意力的Bi-LSTM模型與典型的神經(jīng)網(wǎng)絡模型在相同環(huán)境下進行對比實驗，以驗證本文模型的有效性：

1)CNN模型：李慧等[19]提出的算法，完善了對象詞的識別和抽取，并給對象詞賦予一定的權重，將處理后的文本詞向量矩陣輸入CNN，進行情感分類.

2)Bi-LSTM：標準的雙向LSTM模型，可以分別學習句子中的正向語義信息和逆向語義信息，獲取詞語間的依賴關系.

3)TC-LSTM：Tang等[9]提出的方法，把對象詞向量與句子中的每個詞向量進行拼接，用LSTM提取特定對象的前后語境信息，使得兩個方向上的語義特征均用于情感分類.

4)ATAE-LSTM：Wang 等[11]提出的情感分析模型，在LSTM的輸入層拼接對象詞向量，基于隱藏層輸出進行注意力學習，并且強調(diào)了對象信息在學習過程的重要性.

5)character-SATT-BiLSTM：吳小華等[20]等提出的算法，使用字向量對評論文本進行向量化表示，結合自注意力與Bi-LSTM對短文本進行情感分類.

6)SA-BiLSTM-SA：在Bi-LSTM的輸入序列和隱狀態(tài)輸出序列上使用深層自注意力機制，但沒有拼接關鍵評價對象.

7)SAAE-BiLSTM-SA：本文提出的短文本情感分析模型，關鍵對象識別、深層自注意力機制與Bi-LSTM神經(jīng)網(wǎng)絡的結合.

4.4 實驗結果分析

對關鍵評價對象的識別是優(yōu)化情感分類任務的一個有效機制，基于SemEval 2014 Task4中的Laptop和Restaurant數(shù)據(jù)集，驗證關鍵對象識別方法的有效性.上述2個數(shù)據(jù)集中，已標注了評價對象和評論針對該對象的情感傾向，滿足方法驗證的基本條件.在Laptop測試集上，對評價對象的識別準確率為85.74%，在Restaurant測試集上，則達到88.83%，表明本文方法對關鍵評價對象的識別效果較好.

對于酒店評論語料，根據(jù)攜程網(wǎng)對住客點評的信息匯總，確定了設施、環(huán)境、價格、服務、交通、位置和餐飲7個評價對象類，由此擴充構建的對象類評論詞集概況如表2所示.各對象類評論詞集語義明確，除個別程度副詞外，對象詞或情感詞均沒有在不同的評論詞集中重復出現(xiàn).

表2 對象類評論詞集概況Table 2 Summary of commentary word set for target classes

表3列示了關鍵評價對象的識別樣例.在實驗數(shù)據(jù)集中，關鍵對象為隱式的評論占18.96%，基于CNN的卷積處理結果，可較好地提取或識別關鍵評價對象.由于CNN的卷積輸出較好地區(qū)分了文本中不同成分的重要程度，在此基礎上增強關鍵對象的語義信息，作為自注意力學習過程的輸入，可以更好地挖掘出與評論文本情感觀點最為相關的信息.

本文模型與其它對比模型分別在相同數(shù)據(jù)集上的實驗結果如表4所示(1)本文使用的實驗數(shù)據(jù)與文獻[19]相同，故表4直接引用了其評價指標的計算結果..盡管完善了對象詞抽取工作，并在輸入層矩陣融入對象特征權重，但該權重僅從詞頻角度反映對象詞的重要性，而且卷積神經(jīng)網(wǎng)絡在處理序列信息上不具優(yōu)勢，所以在7個模型中CNN的分類效果不太理想.Bi-LSTM比CNN在精確率、召回率和F1值上均有一定提升，說明句子的上下文語義信息在情感分類過程中有重要作用.TC-LSTM對輸入詞向量序列拼接了對象信息，并以對象詞為中心，同時提取其前文信息和后文信息用于情感分類.該方法的核心思想與Bi-LSTM類似，但是把句子的語義割裂為左右兩個部分，在分類性能上僅比Bi-LSTM略有提升.ATAE-LSTM既拼接了特定對象詞向量，又引入了注意力機制，分類效果比Bi-LSTM有進一步提升，但該模型僅從一個方向對文本的序列特征建模，其注意力權重是基于隱藏層輸出的單層學習結果，故效果提升并不明顯.

表3 關鍵評價對象識別樣例Table 3 Examples of key opinion target recognition

表4 不同模型的情感分類性能比較Table 4 Comparison of emotion classification performance of different models

character-SATT-BiLSTM在字級別上構建文本輸入序列，使用基于單層自注意力機制的Bi-LSTM進行情感分類，與TC-LSTM和ATAE-LSTM相比，有較大的性能提升.SA-BiLSTM-SA使用本文提出的深層注意力機制，并在Bi-LSTM的輸入層和隱藏層輸出上進行權重調(diào)整，其精確率、召回率和F1值達到了92.4%、92.31%和92.35%，比character-SATT-BiLSTM分別提升了0.75%、1.68%和1.21%.這一方面說明注意力機制可以讓模型重點學習關鍵情感信息，從而有效提升分類效果，另一方面也表明本文提出的深層自注意力機制優(yōu)于一般注意力機制.

從圖3看，基于CNN的特征提取結果，隨著層數(shù)的增加，MLP可獲得更加準確的句子內(nèi)部關鍵特征，學習遠距離依賴性也更有效，因此通過多層網(wǎng)絡結構可不斷調(diào)優(yōu)與關鍵對象相關的注意力特征.本文模型在MLP的層數(shù)為4時，分類效果最好.同時采取拼接關鍵對象詞向量和注意力機制后，SAAE-BiLSTM-SA的性能表現(xiàn)繼續(xù)有所提升，3個評價指標的數(shù)值均達到93%以上，表明在輸入序列增強關鍵對象語義信息有助于提高情感分類效果.

圖3 MLP不同層數(shù)對模型性能的影響Fig.3 Effect of MLP layers on model performance

實驗結果表明，對于短文本的情感分類任務，SAAE-BiLSTM-SA整體上優(yōu)于其它代表性的深度學習模型，驗證了本文模型的有效性.基于CNN的關鍵評價對象識別大大減少了對人工標注和外部知識的依賴，在Bi-LSTM中融入深層自注意力機制和關鍵對象信息，可更好地對整體語義和對象相關語義同時建模，顯著提升模型的分類性能.

5 結 論

本文提出了一種融合關鍵評價對象識別和深層自注意力的Bi-LSTM模型，能在細粒度層面上快速識別關鍵評價對象，并判斷短評論文本的情感傾向性.基于CNN對文本的卷積處理結果識別關鍵評價對象，進而通過MLP實現(xiàn)自注意力學習；利用Bi-LSTM獲得更加豐富的句子上下文語境信息，在此過程中增強關鍵對象在整體語義中的作用，引入注意力機制不斷調(diào)優(yōu)模型對不同情感特征的關注程度.實驗結果驗證了該模型在短文本情感分類上的有效性.未來研究可考慮結合句法分析來優(yōu)化關鍵對象的識別算法，在注意力學習過程中補充外部有效信息，提升注意力分布的精確性，并在模型學習的不同階段對注意力進行動態(tài)更新，更準確地實現(xiàn)情感語義提取.