慕永利，李 旸，王素格,2

(1山西大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院，山西 太原 030006；2山西大學(xué) 計(jì)算機(jī)智能與中文信息處理教育部重點(diǎn)實(shí)驗(yàn)室，山西 太原 030006)

0　引言

文本情緒分析是自然語(yǔ)言處理領(lǐng)域非常重要的研究方向之一，它主要研究文本所蘊(yùn)含的情緒及與情緒相關(guān)的深層信息。目前，文本情緒分析大都將研究聚焦在情緒分類(lèi)方法上。王蓉等人[1]采用bag-of-words表示文本，通過(guò)聯(lián)合學(xué)習(xí)對(duì)文本的情感和情緒進(jìn)行分類(lèi)。Shoushan Li等人[2]同樣采用bag-of-words表示文本，再利用依賴(lài)因子圖模型預(yù)測(cè)句子級(jí)別的情緒類(lèi)型。伴隨著深度學(xué)習(xí)技術(shù)的成熟，基于深度學(xué)習(xí)的情緒分類(lèi)方法也呈現(xiàn)出比傳統(tǒng)機(jī)器學(xué)習(xí)方法更為有效的結(jié)果。張志華[3]提出基于卷積神經(jīng)網(wǎng)絡(luò)對(duì)長(zhǎng)文本進(jìn)行情感語(yǔ)義建模，解決了長(zhǎng)文本(句子)的情感分類(lèi)問(wèn)題。Yaqi Wang等人[4]利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)句子建模，實(shí)現(xiàn)了微博文本數(shù)據(jù)的多標(biāo)簽情緒分類(lèi)。然而對(duì)于情緒分析問(wèn)題，若忽略了文本情緒相關(guān)的深層次信息的挖掘，將影響其分析的效果。例如，2016年的羅爾詐捐門(mén)事件，公眾情緒從最初的同情演變?yōu)楹竺娴膽嵟鹨幌盗械纳鐣?huì)問(wèn)題。因此，不僅要關(guān)注公眾情緒是什么，更應(yīng)該關(guān)注公眾為什么會(huì)從同情演變?yōu)閼嵟那榫w，由此可見(jiàn)，事件中的情緒原因的識(shí)別是非常重要和必需的。所謂情緒原因識(shí)別就是針對(duì)文本中出現(xiàn)的被描述者的情緒，抽取出觸發(fā)被描述者情緒產(chǎn)生的原因信息。

隨著深度學(xué)習(xí)在自然語(yǔ)言處理領(lǐng)域中的廣泛應(yīng)用，人們開(kāi)始利用神經(jīng)網(wǎng)絡(luò)模型，通過(guò)對(duì)句子進(jìn)行建模來(lái)處理文本分類(lèi)任務(wù)。Xinchi Chen[5]采用GRNN(gated recursive neural network)、Nal Kalchbrenner[6]和Yoon Kim[7]通過(guò)不同卷積和池化的CNN神經(jīng)網(wǎng)絡(luò)對(duì)句子建模，最后他們都在SST[8]、TREC[9]數(shù)據(jù)集上分別進(jìn)行情感分類(lèi)和問(wèn)題分類(lèi)，通過(guò)實(shí)驗(yàn)驗(yàn)證了采用CNN的句子建模可以獲得最好的分類(lèi)性能。由此可見(jiàn)，神經(jīng)網(wǎng)絡(luò)不僅可以應(yīng)用到文本情感分類(lèi)任務(wù)(SST[8]數(shù)據(jù)集上的情感分類(lèi))，還可以應(yīng)用到文本問(wèn)答類(lèi)型的分類(lèi)任務(wù)(TREC[9]數(shù)據(jù)集上的問(wèn)題分類(lèi))。此前，情緒歸因一般研究人員大都采用基于規(guī)則和統(tǒng)計(jì)的方法[10-16]。

本文針對(duì)文本情緒原因識(shí)別任務(wù)，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的集成(E-CNN模型)的情緒原因識(shí)別方法，首先利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)句子進(jìn)行建模，在詞向量的訓(xùn)練表示上，融合上下文語(yǔ)義信息，然后通過(guò)多個(gè)CNN的集成，用于文本情緒原因的識(shí)別。實(shí)驗(yàn)結(jié)果表明，本文提出的E-CNN(Ensemble Convolution Neural Network)方法，在情緒原因識(shí)別方面獲得了較好的實(shí)驗(yàn)性能。

1　相關(guān)工作

針對(duì)情緒原因的識(shí)別，Ying Chen[10]等人通過(guò)對(duì)標(biāo)注語(yǔ)料的分析，發(fā)現(xiàn)超過(guò)80%的情緒原因信息位于出現(xiàn)情緒的核心子句的前后兩個(gè)子句中，Sophia Yat Mei Lee[10]同樣根據(jù)對(duì)標(biāo)注的語(yǔ)料分析，獲得情緒原因信息大多位于出現(xiàn)情緒的核心子句的上下文信息中。為了獲得這些情緒原因，研究人員主要采用基于規(guī)則和基于統(tǒng)計(jì)的方法。

基于規(guī)則的情緒原因識(shí)別方法方面，Ying Chen[10]和Sophia Yat Mei Lee[10-11]等人建立了一個(gè)情緒歸因的語(yǔ)料庫(kù)，并且根據(jù)標(biāo)注的語(yǔ)料庫(kù)建立了相應(yīng)的規(guī)則，用于情緒原因子句的識(shí)別。Kai Gao[13]等人提出一種基于規(guī)則的情緒原因識(shí)別模型，然后對(duì)相應(yīng)的微博數(shù)據(jù)進(jìn)行情緒原因的抽取，然而，制定的規(guī)則并不能完全覆蓋所有的語(yǔ)言現(xiàn)象，而且同一個(gè)子句可能同時(shí)匹配多個(gè)規(guī)則，很容易造成規(guī)則沖突。再者不同領(lǐng)域語(yǔ)料的語(yǔ)言結(jié)構(gòu)有一定的區(qū)別，針對(duì)特定領(lǐng)域的文本制定的規(guī)則并不能很好地適用于其他領(lǐng)域的文本，需要耗費(fèi)巨大的人力物力重新分析語(yǔ)言結(jié)構(gòu)來(lái)添加新的規(guī)則。Alena Neviarouskaya[14]通過(guò)句法、語(yǔ)法和規(guī)則相結(jié)合的方法，分析八種情緒原因的語(yǔ)言現(xiàn)象，以此來(lái)推測(cè)一段文本的情緒類(lèi)別和情緒原因。Weiyuan Li[15]等人通過(guò)抽取情緒原因特征進(jìn)行情緒分類(lèi)，其特征抽取仍采用基于規(guī)則的方法。

在基于統(tǒng)計(jì)方法的情緒原因識(shí)別方面，袁麗[16]提取語(yǔ)言學(xué)線索詞的特征、句子距離特征、候選詞詞法特征等信息，然后得到特征向量空間，最后應(yīng)用SVM分類(lèi)器和條件隨機(jī)場(chǎng)對(duì)文本情緒歸因進(jìn)行了判別。Lin Gui等人[17]不僅通過(guò)建立25條規(guī)則來(lái)進(jìn)行文本情緒原因的預(yù)測(cè)，還運(yùn)用分類(lèi)方法來(lái)預(yù)測(cè)文本情緒原因。李逸薇等[18]將情緒歸因識(shí)別任務(wù)看成序列標(biāo)注，并建立了相應(yīng)的模型，將所有候選原因子句當(dāng)成一個(gè)序列，從而標(biāo)記出哪些屬于原因子句，她特別指出在利用序列標(biāo)注模型進(jìn)行情緒原因識(shí)別的過(guò)程中，上下文特征尤為重要。Ghazi D等人[19]利用FrameNet建立了情緒和情緒原因相關(guān)聯(lián)的數(shù)據(jù)集，然后利用CRF來(lái)預(yù)測(cè)文本句子級(jí)別的情緒。Gaoyan Ou等人[20]建立文本公眾情緒和情緒事件之間關(guān)系，利用文本情緒對(duì)文本中事件進(jìn)行預(yù)測(cè)。Lin Gui等人[21]首先構(gòu)建了一個(gè)情緒歸因語(yǔ)料庫(kù)，標(biāo)注了表達(dá)情緒的核心子句，在核心句的前后子句中標(biāo)注情緒原因子句，然后從核心句的前后每個(gè)子句中抽取候選原因事件，通過(guò)訓(xùn)練分類(lèi)器，最后判定抽取的候選原因事件是否是情緒核心子句的原因事件。

綜上可知，無(wú)論是基于規(guī)則的情緒原因識(shí)別方法，還是基于統(tǒng)計(jì)的情緒原因識(shí)別方法，二者都表明情緒原因的相關(guān)信息一般都位于文本中情緒核心句的上下文信息中。針對(duì)這一重要的語(yǔ)言現(xiàn)象，本文提出了一種基于E-CNN模型的情緒原因識(shí)別方法，該方法不同于目前的情緒原因識(shí)別方法，而是利用了詞向量和卷積神經(jīng)網(wǎng)絡(luò)，同時(shí)融合了句子的語(yǔ)義信息進(jìn)行情緒原因識(shí)別。

2　E-CNN情緒原因識(shí)別方法

2.1　情緒原因問(wèn)題描述

為了分析情緒和情緒原因在句子中出現(xiàn)的情況，我們將情緒出現(xiàn)的文本子句稱(chēng)為情緒核心子句，被描述者情緒原因信息所在的子句稱(chēng)為情緒原因子句，這里所描述的子句可以是逗號(hào)、問(wèn)號(hào)、感嘆號(hào)、句號(hào)為結(jié)尾的句子，子句示例信息見(jiàn)表1。通過(guò)在數(shù)據(jù)集中的統(tǒng)計(jì)，獲得情緒原因子句在數(shù)據(jù)集中的統(tǒng)計(jì)信息，如表2所示。

表1　情緒原因識(shí)別示例表

表2　數(shù)據(jù)集相關(guān)統(tǒng)計(jì)信息示例表

其中，表1中的S0表示情緒核心子句所在位置，S-3、S-2、S-1表示緊鄰情緒核心子句前的三個(gè)子句，S+1、S+2、S+3表示緊鄰情緒核心子句的后三個(gè)子句。標(biāo)簽信息為1表示情緒原因子句，標(biāo)簽信息為0表示非情緒原因子句。

(1) 從表1可知，示例中的上下文句子中情緒原因子句僅有一個(gè)，非情緒原因子句有六個(gè)，就單個(gè)示例來(lái)看，情緒原因信息在整個(gè)示例的上下文信息中所占比例較小，導(dǎo)致在對(duì)情緒核心子句上下文中的子句進(jìn)行情緒原因識(shí)別時(shí)，可以利用的信息也較少，從而使非情緒原因信息所占比重較大。因此，在整個(gè)上下文信息中進(jìn)行情緒原因信息的識(shí)別存在不平衡問(wèn)題。

(2) 由表2可知，整個(gè)數(shù)據(jù)集中情緒原因子句約占整個(gè)句子的18.366%，原因信息位于包含情緒核心子句在內(nèi)的上下文7個(gè)子句中約占98.06%，原因信息位于其他位置約占1.94%；包含一個(gè)原因子句信息的示例約占98.06%，包含多個(gè)原因子句信息的示例占1.94%。通過(guò)我們的考察以及對(duì)Lin Gui標(biāo)注語(yǔ)料的統(tǒng)計(jì)，發(fā)現(xiàn)幾乎所有的情緒原因信息都位于緊鄰情緒核心子句的上下文信息中。這與文獻(xiàn)[10]得到的結(jié)論相同。因此，從緊鄰情緒核心子句的上下文中識(shí)別情緒原因信息將成為情緒原因識(shí)別問(wèn)題的關(guān)鍵。

2.2　情緒原因識(shí)別模型整體框架

由2.1節(jié)對(duì)情緒原因識(shí)別問(wèn)題的分析，可將情緒原因識(shí)別任務(wù)看成一個(gè)分類(lèi)問(wèn)題，主要判別一個(gè)核心子句的上下文子句是否包含情緒原因信息。傳統(tǒng)的分類(lèi)方法普遍采用詞袋模型對(duì)句子進(jìn)行向量表示，再采用SVM等傳統(tǒng)機(jī)器學(xué)習(xí)方法進(jìn)行分類(lèi)。其不足是不能很好地充分融合句子中詞與詞之間的語(yǔ)義信息。另外，由于非情緒原因信息所占比重較大，使得情緒原因信息與非情緒原因信息之間的比例存在非平衡問(wèn)題。因此，本文結(jié)合CNN卷積神經(jīng)網(wǎng)絡(luò)提出了一種集成的卷積神經(jīng)網(wǎng)絡(luò)(E-CNN)情緒歸因模型，對(duì)情緒原因進(jìn)行分類(lèi)識(shí)別。模型整體框架如圖1所示。

圖1　E-CNN情緒原因識(shí)別框架圖

如表1所示，對(duì)于一組文本，通過(guò)E-CNN模型得到每個(gè)子句的概率值，數(shù)據(jù)集中多原因子句的情況所占比例很小，因此，將概率最大的一個(gè)候選原因子句作為每組示例的情緒原因子句。

2.3　E-CNN模型

利用情緒核心子句的上下文子句識(shí)別情緒原因子句時(shí)，由于原因子句與非原因子句所占比例是不平衡的，我們將每個(gè)示例的原因子句和非原因子句分別構(gòu)成多個(gè)較平衡的數(shù)據(jù)集，分別在各個(gè)新數(shù)據(jù)集上進(jìn)行相對(duì)應(yīng)的CNN卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練；然后將訓(xùn)練好的多個(gè)CNN集成組合，構(gòu)建E-CNN模型；最后在E-CNN模型上進(jìn)行情緒原因子句的分類(lèi)，以識(shí)別包含情緒原因信息的子句。

基于E-CNN模型進(jìn)行情緒原因識(shí)別的過(guò)程如圖2所示。

圖2　E-CNN情緒原因識(shí)別過(guò)程圖

由圖2可知，E-CNN由多個(gè)訓(xùn)練好的CNN集成。

在E-CNN模型中：(1)將句子中的詞語(yǔ)利用Word2Vec工具進(jìn)行詞向量表示，然后通過(guò)詞向量矩陣化操作將句子中的詞向量組合成為一個(gè)詞向量矩陣；(2)通過(guò)CNN模型中的卷積操作融合詞與詞之間的語(yǔ)義信息；(3)通過(guò)CNN模型中Max-pooling池化操作、連接操作和attention操作將候選原因子句表示為一個(gè)向量；(4)通過(guò)sigmoid函數(shù)和集成操作得到候選原因子句的概率值，在核心子句的上下文的七個(gè)候選子句中，概率最大的子句即為情緒原因子句。

本文建立的CNN卷積神經(jīng)網(wǎng)絡(luò)模型如圖3所示，CNN包含輸入層、卷積層、池化層、Attention層，連接層。

圖3　CNN模型圖

(1) 輸入層：該層主要是初始化輸入數(shù)據(jù)，通過(guò)Word2Vec將句子中的詞語(yǔ)表示成詞向量，采用⊕運(yùn)算操作將詞向量連接表示為一個(gè)詞向量矩陣X，如式(1)所示。

(1)

(2) 卷積層：該層采用不同大小的卷積窗口進(jìn)行卷積操作，將句子中的局部語(yǔ)義信息融合。通過(guò)卷積窗口選取c個(gè)句子中的局部詞向量首尾相連，gj被表示為一個(gè)具有局部語(yǔ)義信息的新向量，如公式(2)所示。G(n-c+1)×(c×k)為將gj通過(guò)連接運(yùn)算操作表示為一個(gè)具有句子全局語(yǔ)義信息的新矩陣，如式(3)所示。Md×(n-c+1)為G(n-c+1)×(c×k)通過(guò)σ函數(shù)表示為最終的卷積層矩陣，如式(4)所示。

σ表示sigmoid函數(shù)，c表示卷積窗口大小，Wd×(c×k)是卷積核系數(shù)矩陣，Bd×(n-c+1)是卷積核偏置矩陣。

(3) 池化層：該層通過(guò)Max-pooling操作[6]從一個(gè)卷積層矩陣中選取代表句子全局語(yǔ)義信息中的有效特征。Q表示池化后代表句子語(yǔ)義信息的池化層向量。Md×(n-c+1)表示卷積層矩陣，如式(5)和式(6)所示。

(5)

(6)

(5) Attention層：根據(jù)對(duì)所有情緒原因子句的句子結(jié)構(gòu)的分析可以得知，超過(guò)90%的原因子句含有動(dòng)詞和動(dòng)詞短語(yǔ)，而且很多情緒原因子句還含有代表原因信息的連詞，如“由于”“因?yàn)椤钡冗B詞。針對(duì)這些情緒原因子句特殊的語(yǔ)言結(jié)構(gòu)，我們通過(guò)在CNN中添加Attention層來(lái)增強(qiáng)情緒原因子句語(yǔ)言現(xiàn)象對(duì)情緒原因子句識(shí)別的影響。在模型中通過(guò)句法分析和詞性標(biāo)注選取動(dòng)詞和原因連詞。

如圖4所示，如果一個(gè)句子中至少含有一個(gè)動(dòng)詞，那么該句子的核心詞(HED表示核心關(guān)系)就是動(dòng)詞。通過(guò)詞性標(biāo)注可知，圖4中的“因”(詞性標(biāo)注中的c表示連詞)為連詞。綜上所述，從候選原因子

圖4　句法分析示例圖

句中選取核心詞(通過(guò)HED關(guān)系選取句子的核心詞)和原因連詞(詞性標(biāo)注中的c表示連詞，如果沒(méi)有連詞則不選)，選取核心詞和連詞構(gòu)成新的詞向量矩陣E，然后通過(guò)全連接操作得到一個(gè)attention向量，如式(7)所示。

A1×k=W1×a·Ea×k

(7)

如圖3中的Attention層所示，a為被選中的詞的總個(gè)數(shù)，k表示詞向量的維度。

(10)

3　實(shí)驗(yàn)與分析

3.1　實(shí)驗(yàn)數(shù)據(jù)與評(píng)價(jià)

(11)

3.2　參數(shù)設(shè)置

通過(guò)在3.1節(jié)數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn)，并進(jìn)行了參數(shù)調(diào)整，獲得的超參數(shù)設(shè)置如下：詞向量維數(shù)k設(shè)為50，CNN的個(gè)數(shù)h設(shè)為5，卷積窗口s的個(gè)數(shù)為3，3個(gè)卷積窗口c的大小分別為設(shè)為3、4、5，卷積核的大小d設(shè)為300，學(xué)習(xí)率α設(shè)為0.01，批大小batchsize設(shè)為50，λ設(shè)為10-8。

為了驗(yàn)證在一個(gè)CNN模型的迭代次數(shù)對(duì)情緒原因發(fā)現(xiàn)的影響，本文隨機(jī)選取原因子句和非原因子句為1∶1的數(shù)據(jù)集(原因子句2 167，非原因子句2 167)上進(jìn)行迭代實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如圖5所示。

圖5　測(cè)試集上的F值隨迭代次數(shù)變化圖

由圖5可知，隨著iteration的增大，在測(cè)試集上的情緒原因發(fā)現(xiàn)的F值也逐漸增大。當(dāng)iteration超過(guò)100時(shí)，F(xiàn)值就快速達(dá)到0.672 1，說(shuō)明在前100詞迭代過(guò)程中，模型快速收斂靠近最優(yōu)解。當(dāng)iteration超過(guò)1 100以后，情緒原因發(fā)現(xiàn)的F值基本保持不變，甚至略有下降，說(shuō)明當(dāng)iteration達(dá)到1 100時(shí)，模型基本達(dá)到了穩(wěn)定狀態(tài)；iteration超過(guò)1 100以后，可能出現(xiàn)了過(guò)擬合的現(xiàn)象。因此，為了使模型達(dá)到情緒原因識(shí)別的最優(yōu)狀態(tài)，也為了防止過(guò)擬合的出現(xiàn)，在實(shí)驗(yàn)過(guò)程中我們將iteration設(shè)為1 100。

3.3　實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文所提方法的有效性，設(shè)置了方法間的比較實(shí)驗(yàn)和不同評(píng)價(jià)方法的實(shí)驗(yàn)。

(1) 方法間的對(duì)比實(shí)驗(yàn)

選用了如下的方法進(jìn)行對(duì)比實(shí)驗(yàn)：

① 基于規(guī)則

? RB(Rule based method)：基于規(guī)則的方法[11]；

? CB(Commonsense based method)：基于常識(shí)的方法[22-23]；

? ML(Rule base features for machine learning)：利用基于規(guī)則的方法進(jìn)行特征抽取，然后利用機(jī)器學(xué)習(xí)方法進(jìn)行分類(lèi)[24]。

② 基于SVM分類(lèi)器

KET-O、KET-M：均是利用詞袋模型進(jìn)行句子中候選原因事件的向量表示[21]，然后利用樹(shù)核SVM[21]和修改后的樹(shù)核SVM進(jìn)行分類(lèi)[21]，如果子句中包含了原因事件，則該子句為原因子句；

Knew+O、Knew*O、Knew+M、Knew*M：均是利用詞袋模型進(jìn)行句子中候選原因事件的向量表示[21]，然后利用多種不用核函數(shù)結(jié)合的SVM進(jìn)行分類(lèi)[21]，如果子句中包含了原因事件，則該子句為原因子句。

③ 基于深度學(xué)習(xí)

? CNN：采用單個(gè)CNN在數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)；

? E-CNN：采用E-CNN在數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。

最后CNN和E-CNN均選取概率最大候選原因子句作為該組示例的情緒原因子句。

上述方法數(shù)據(jù)集與參數(shù)均在3.1和3.2節(jié)進(jìn)行了介紹。規(guī)則、SVM和CNN三大類(lèi)方法間的比較實(shí)驗(yàn)結(jié)果如表3所示。

表3　各種方法的實(shí)驗(yàn)結(jié)果比較

由表3可知：

① 與基于規(guī)則的情緒歸因方法比較，E-CNN在準(zhǔn)確率、召回率和F值上均高于RB+CB，準(zhǔn)確率、召回率、F值分別達(dá)到0.571 4、0.543 7、0.556 9。同時(shí)E-CNN的召回率高于RB+CB+ML。由上述分析可知，E-CNN比基于規(guī)則的情緒原因識(shí)別方法效果更好。

② 與基于SVM分類(lèi)器的情緒歸因方法比較，E-CNN方法在精確率、召回率、F值都明顯高于KET-M。而Knew×M中由于加入了NER以及Parsering結(jié)果，所以E-CNN方法不及Knew×M。同時(shí)Knew×M在候選原因子句抽取原因事件時(shí)，將會(huì)丟失不包含情緒原因事件的句子，主要原因在事件抽取時(shí)需要每個(gè)子句必須包含動(dòng)詞或者動(dòng)詞短語(yǔ)，而有些原因子句中并不一定包含動(dòng)詞或動(dòng)詞短語(yǔ)。另一方面，E-CNN雖然實(shí)驗(yàn)效果低于Knew×M方法，但是可以識(shí)別不包含事件信息的情緒原因子句，以及各種類(lèi)型語(yǔ)言結(jié)構(gòu)的情緒原因子句。

③ 在和單個(gè)CNN方法比較中，E-CNN方法的精確率、召回率、F值都明顯高于本文單個(gè)CNN方法。主要原因是：使用E-CNN方法，可以分別將每組示例(表1所示)中的各個(gè)非情緒原因子句和同一個(gè)情緒原因子句組成新的數(shù)據(jù)集，分別訓(xùn)練CNN會(huì)充分融合情緒原因子句和各個(gè)子句的句間關(guān)系。因此，E-CNN的實(shí)驗(yàn)效果更好。

(2) 三種評(píng)價(jià)方法

由于情緒原因識(shí)別問(wèn)題本身存在不平衡問(wèn)題，有時(shí)抽取概率最大的一個(gè)候選原因子句并不能很好地幫助研究人員進(jìn)行情緒原因識(shí)別問(wèn)題的研究，因此，在用E-CNN模型進(jìn)行情緒原因子句識(shí)別后，對(duì)每組示例預(yù)測(cè)的情緒原因子句按概率從大到小排序，分別選取概率較大的一個(gè)和多個(gè)子句同時(shí)作為情緒原因子句。這里選取概率最大的一個(gè)候選原因子句作為該組示例的情緒原因子句(E-CNN)，選取概率最大的兩個(gè)候選原因子句作為原因子句，且只要兩個(gè)子句至少包含一個(gè)原因子句即視為正確(E-CNN-2)，選取概率最大的三個(gè)候選原因子句作為原因子句，且只要三個(gè)子句中至少包含一個(gè)原因子句即視為正確(E-CNN-3)；三種方式的實(shí)驗(yàn)結(jié)果如表4所示

表4　E-CNN實(shí)驗(yàn)結(jié)果對(duì)比表

由表4可知，利用E-CNN-2識(shí)別兩個(gè)候選原因子句中至少包含一個(gè)原因子句的精確率達(dá)到0.825 2，召回率達(dá)到0.758 6。在E-CNN-3識(shí)別三個(gè)候選原因子句中至少包含一個(gè)原因子句的精確率高達(dá)0.959 3，召回率高達(dá)0.936 7。由此可知，E-CNN模型可以幫助情緒原因識(shí)別研究方法進(jìn)行情緒原因的前期識(shí)別過(guò)濾，同時(shí)也可以用于有關(guān)情緒原因識(shí)別的問(wèn)答類(lèi)問(wèn)題的候選子句的選取。

4　結(jié)束語(yǔ)

情緒原因識(shí)別方法需要對(duì)上下文信息進(jìn)行很好的融合和處理，而CNN卷積神經(jīng)網(wǎng)絡(luò)可以在句子建模過(guò)程中充分考慮句子中所有的詞義信息的融合，并且還可以從所有語(yǔ)義信息中選取有效的全局語(yǔ)義信息。另一方面，情緒原因子句與非情緒原因子句在實(shí)際語(yǔ)料中存在極不平衡情況?；趦煞N因素，本文提出的E-CNN模型，為了增強(qiáng)因果句子的顯式特征，在E-CNN模型中加入了attention機(jī)制，以增強(qiáng)對(duì)情緒原因子句的識(shí)別。

在E-CNN模型中，雖然E-CNN-2和E-CNN-3兩種實(shí)驗(yàn)的結(jié)果是最佳的，但E-CNN的識(shí)別結(jié)果不及Knew×M，下一步，需要將事件的主體信息考慮到模型中，同時(shí)引入句法信息和命名體信息。另一方面，需要給出一個(gè)更為合理的度量，用于判斷候選情緒原因子句中真正的情緒原因子句。

[1]R Wang,S Li,G Zhou,et al.Joint sentiment and emotion classification with integer linear programming[C]//Proceedings of International Conference on Database Systems for Advanced Applications.Springer International Publishing,2015：259-265.

[2]Shoushan Li,Lei Huang,Rong Wang.et al.Sentence-level emotion classification with label and context dependence[C]//Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing,2015：1045-1053.

[3]張志華.基于深度學(xué)習(xí)的情感詞向量及文本情感分析的研究[D].上海：華東師范大學(xué)碩士學(xué)位論文,2016.

[4]Yaqi Wang,S Feng,D Wang,et al.Multi-label Chinese microblog emotion classification via convolutional neural network[C]//Proceedings of Asia-Pacific Web Conference：Springer International Publishing,2016：567-580.

[5]Xinchi Chen,Xipeng Qiu,Chenxi Zhu,et al.Sentence modeling with gated recursive neural network[C]//Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing,2015：793-798.

[6]Nal Kalchbrenner,Edward Grefenstette,Phil Blunsom.A convolutional neural network for modeling sentences[C]//Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics,2014：655-665.

[7]Yoon Kim.Convolutional neural networks for sentence classification[C]//Proceedings of Conference on Empirical Methods in Natural Language Processing,2014：1746-1751.

[8]Richard Socher,Alex Perelygin,Jean Y Wu,et al.Recursive deep models for semantic compositionality over a sentiment treebank[C]//Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing,2013：1631-1642.

[9]Xin Li,Dan Roth.Learning question classifiers[C]//Proceedings of the International Conference on Computational Linguistics,2002,12(24)：556-562.

[10]Ying Chen,Sophia Yat Mei Lee,Shoushan Li,et al.Emotion cause detection with linguistic constructions[C]//Proceedings of the 23rd International Conference on Computational Linguistics,2010：179-187.

[11]Sophia Yat Mei Lee,Ying Chen,Chu-Ren Huang.A text-driven rule-based system for emotion cause detection[C]//Proceedings of the NAACL HLT 2010 Workshop on Computational Approaches to Analysis and Generation of Emotion in Tex,2010：45-53.

[12]S Y M Lee,Ying Chen,Shoushan Li,et al.Emotioncause events：corpus construction and analysis[C]//Proceedings of the International Conference on Language Resources and Evaluation,Computational Intelligence,2010：1121-1128.

[13]Kai Gao,Hua Xu,Jiushuo Wang.A rule-based approach to emotion cause detection for Chinese micro-blogs[J].Expert Systems with Applications,2015,42(9)：4517-4528.

[14]A Neviarouskaya,M Aono.Extracting causes of emotions from text[C]//Proceedings of International Joint Conference on Natural Language Processing,2013：932-936.

[15]Weiyuan Li,Hua Xu.Text-based emotion classification using emotion cause extraction[J].Expert Systems with Applications,2014,41(4)：1742-1749.

[16]袁麗.基于文本的情緒自動(dòng)歸因方法研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)碩士學(xué)位論文,2014.

[17]Lin Gui,Li Yuan,RuifengXu,Bin Liu,et al.Emotion cause detection with linguistic construction in chinese weibo text[J].Communications in Computer & Information Science,2014,496(s 3-4)：457-464.

[18]李逸薇,李壽山,黃居仁,等.基于序列標(biāo)注模型的情緒原因識(shí)別方法[J].中文信息學(xué)報(bào),2013,27(5)：93-99.

[19]Ghazi D,Inkpen D,Szpakowicz S.Detecting emotion stimuli in emotion-bearing sentences[M]//Computational Linguistics and Intelligent Text Processing.Springer International Publishing,2015,152-165.

[20]Gaoyan Ou,Wei Chen,Tengjiao Wang,et al.Exploiting community emotion for microblog event detection[C]//Proceedings of Conference on Empirical Methods in Natural Language Processing,2014：1159-1168.

[21]Lin Gui,Dongyin Wu,Ruifeng Xu,et al.Event-driven emotion cause extraction with corpus construction[C]//Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing,2016：1639-1649.

[22]Irene Russo,Tommaso Caselli,Francesco Rubino,et al.EMO-cause：An easy-adaptable approach to emotion cause contexts[C]//Proceedings of the 2nd Workshop on Computational Approaches to Subjectivity and Sentiment Analysis,2011：153-160.

[23]Ruifeng Xu,Chengtian Zou,Yanzhen Zheng,et al.A new emotion dictionary based on the distinguish of emotion expression and emotion cognition[J].Journal of Chinese Information Processing,2013,27(6)：82-90.

[24]Y Chen,S Y M Lee,S Li,et al.Emotion cause detection with linguistic constructions[C]//Proceedings of International Conference on Computational Linguistics,2010：179-187.

慕永利(1990—)，碩士研究生，主要研究領(lǐng)域?yàn)槲谋厩楦蟹治?。E-mail：1203962063@qq.com

李旸(1990—)，博士研究生，主要研究領(lǐng)域?yàn)槲谋厩楦蟹治?。E-mail：770624917@qq.com

王素格(1964—)，博士，教授，主要研究領(lǐng)域?yàn)樽匀徽Z(yǔ)言處理。E-mail：wsg@sxu.edu.cn