潘東行，袁景凌，李 琳，盛德明

(武漢理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,湖北 武漢 430070)

1 引言

隨著社交媒體用戶(hù)的爆發(fā)式增長(zhǎng)，網(wǎng)絡(luò)上積累了海量的文本信息。針對(duì)這些文本數(shù)據(jù)進(jìn)行情感分析可以幫助挖掘網(wǎng)民行為規(guī)律[1]、幫助決策機(jī)構(gòu)了解輿情傾向[2]和改善商家服務(wù)質(zhì)量[3]。因而，針對(duì)社交媒體的文本數(shù)據(jù)情感分析已經(jīng)成為國(guó)內(nèi)外研究領(lǐng)域的熱點(diǎn)話題。

情感分類(lèi)作為情感分析基礎(chǔ)性的研究任務(wù)，可以根據(jù)不同特點(diǎn)進(jìn)行劃分。根據(jù)任務(wù)目標(biāo)，情感分類(lèi)可以分為常見(jiàn)的極性分類(lèi)和多元情緒分類(lèi)[4]。根據(jù)情感詞的出現(xiàn)與否，情感分類(lèi)任務(wù)可分為顯式情感分類(lèi)和隱式情感分類(lèi)2種。由于帶有顯式情感詞的文本表述在日常生活中占有極高的比例，顯式文本情感分類(lèi)任務(wù)在自然語(yǔ)言處理NLP(Natural Language Processing)領(lǐng)域中已取得了豐富的研究成果[5]，而隱式情感分類(lèi)的相關(guān)任務(wù)還處于起步階段。對(duì)多個(gè)領(lǐng)域多個(gè)主題網(wǎng)絡(luò)文本進(jìn)行研究可以發(fā)現(xiàn)，隱式情感表達(dá)占有一部分比例。與顯式情感表達(dá)相比，隱式情感表達(dá)多采用比較含蓄的方式，如中立性事實(shí)描述和諷刺等等。如微博“再訪故地可能還會(huì)有別樣的風(fēng)景，別樣的感受哦！”中，博主并沒(méi)有采用明顯的顯式情感詞如“開(kāi)心”“快樂(lè)”等來(lái)表達(dá)重游故地的開(kāi)心，但采用了中立性事實(shí)表述表達(dá)自己內(nèi)心積極的感受；如博客“是啊，被瘋狗咬了，反正咱們不能再去咬瘋狗了。”中，博主采用諷刺的手法表達(dá)內(nèi)心的消極感受。隱式情感分類(lèi)作為情感分析的重要組成部分，其研究成果將有助于更全面、更精確地提升在線文本情感分析的性能，可為文本表示學(xué)習(xí)、自然語(yǔ)言理解、用戶(hù)建模、知識(shí)嵌入等方面的研究起到積極的推動(dòng)作用，也可進(jìn)一步促進(jìn)基于文本情感分析相關(guān)領(lǐng)域的應(yīng)用和產(chǎn)業(yè)的快速發(fā)展。

然而針對(duì)中文的隱式情感分類(lèi)任務(wù)還存在諸多困難。首先在句子語(yǔ)義特征提取上，隱式情感文本采用了較為含蓄的陳述，這給基于詞袋模型的特征提取方法帶來(lái)極大的困難。在表達(dá)載體上，中文缺乏一些詞形態(tài)上的變化，其語(yǔ)義關(guān)系和社會(huì)、文化等因素密切相關(guān)[6]，因而在底層語(yǔ)義關(guān)系的捕捉上更加困難。其次，在分類(lèi)方法選擇上，隱式主觀文本缺乏情感詞，這使得傳統(tǒng)基于詞典的情感分類(lèi)方法不再適用。在分類(lèi)模型學(xué)習(xí)句子有效特征時(shí)，情感詞的存在可以直觀地判別整個(gè)句子的傾向，如文本“今天天氣真好，我喜歡這樣的天氣?！敝?，顯式情感詞“喜歡”暗示了整個(gè)句子積極的情感傾向。在學(xué)習(xí)句子特征表示時(shí)，對(duì)顯式情感詞特征突出表示，可以提升整個(gè)句子分類(lèi)效果。采用注意力機(jī)制的分類(lèi)模型也采用類(lèi)似的思想，增加句子中情感詞的比重，從而達(dá)到提升分類(lèi)效果的目的。隱式情感文本不存在顯式情感詞，這對(duì)分類(lèi)模型有了更高的要求。最后，隱式情感表達(dá)中事實(shí)性情感表達(dá)更加依賴(lài)上下文的信息，如主觀表達(dá)“桌子上有一層灰”，不包含任何情感詞，但在情感類(lèi)別中傾向于貶義。查詢(xún)句子上下文信息，篇章內(nèi)部表述中包含諸如“簡(jiǎn)直太臟了”和“床鋪也不整潔”等重要信息，上下文特征可以輔助中立性表達(dá)的情感判別。

word2vec[7]作為底層的詞嵌入技術(shù)，可以從海量的語(yǔ)料庫(kù)中訓(xùn)練出合適的詞向量，這些詞向量可以捕捉詞與詞的語(yǔ)義關(guān)系，如詞語(yǔ)之間的相似性和差異性。作為一種詞預(yù)訓(xùn)練方法，word2vec已經(jīng)被廣泛應(yīng)用于各種NLP任務(wù)[8]。相關(guān)研究顯示，高質(zhì)量的詞向量特征可以提高分類(lèi)的性能。以預(yù)訓(xùn)練技術(shù)為基礎(chǔ)，可以更好地對(duì)中文文本特征進(jìn)行表示，同時(shí)使用該技術(shù)提取上下文語(yǔ)義特征，將其融入到分類(lèi)模型中，從而為句子的判別提供更多的特征。

本文采用底層的詞嵌入技術(shù)獲取了句子及其上下特征表示，以TextCNN[9]、長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)LSTM(Long Short-Term Memory)和雙向門(mén)控循環(huán)BiGRU(Bidrection Gated Recurrent Unit)神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)對(duì)中文隱式情感文本進(jìn)行傾向分類(lèi)研究，在各個(gè)模型基礎(chǔ)上還研究了融合注意力機(jī)制的分類(lèi)模型。針對(duì)句子上下文可以輔助隱式情感分類(lèi)的特點(diǎn)，設(shè)計(jì)了一種融合上下文特征與注意力機(jī)制的分類(lèi)模型，采用GRU對(duì)標(biāo)簽句子特征進(jìn)行編碼，使用BiGRU+Attention的結(jié)構(gòu)組合對(duì)上下文語(yǔ)句中的重要特征進(jìn)行編碼。由于在最終對(duì)句子進(jìn)行分類(lèi)時(shí)，會(huì)通過(guò)Softmax層獲得各個(gè)類(lèi)別的概率，特征數(shù)值越大概率越高，因而在獲得2者特征編碼后，獲取各維度取值最高的特征，再通過(guò)一個(gè)Softmax層獲取該句子各個(gè)類(lèi)別最終情感傾向。通過(guò)監(jiān)督學(xué)習(xí)的方式不斷完善模型內(nèi)部結(jié)構(gòu)，從而達(dá)到當(dāng)句子本身情感傾向分明時(shí)，依靠句子本身進(jìn)行傾向判別；當(dāng)句子本身情感傾向不明確時(shí)，通過(guò)Attention機(jī)制對(duì)句子上下文進(jìn)行重要信息提取，從而輔助句子情感傾向性判別。本文的主要貢獻(xiàn)如下:

(1)從情感計(jì)算的角度出發(fā)對(duì)隱式情感句的情感計(jì)算資源進(jìn)行了分析，發(fā)現(xiàn)隱式情感句本身具備較小比例的情感計(jì)算資源。針對(duì)隱式情感分類(lèi)任務(wù)困難與研究不足的問(wèn)題，探索了TextCNN、LSTM和BiGRU基礎(chǔ)模型的中文隱式情感分類(lèi)效果。

(2)在分類(lèi)模型基礎(chǔ)上，研究了為輸入分配權(quán)重的注意力機(jī)制思想，發(fā)現(xiàn)在顯式情感句分類(lèi)研究中取得效果提升的注意力機(jī)制模型無(wú)法明顯地提升隱式情感分類(lèi)效果。

(3)使用Attention機(jī)制對(duì)句子上下文重要特征進(jìn)行編碼，提出了一種融合注意力機(jī)制與上下文特征的分類(lèi)模型，為上下文特征在隱式情感分類(lèi)任務(wù)中的應(yīng)用提供了一種新思路。SMP2019評(píng)測(cè)數(shù)據(jù)結(jié)果顯示，在3個(gè)評(píng)價(jià)指標(biāo)上，本文提出的模型取得了最優(yōu)的綜合分類(lèi)性能。同時(shí)還發(fā)現(xiàn)了在隱式情感句中，褒義的情感類(lèi)別分類(lèi)任務(wù)相對(duì)于其它2個(gè)類(lèi)別的分類(lèi)任務(wù)更加困難的現(xiàn)象。

2 相關(guān)工作

根據(jù)顯式情感詞的有無(wú)，情感分析可分為隱式情感分析與顯式情感分析。顯式情感分析已經(jīng)在多個(gè)方面取得了顯著的成就，而隱式情感分析還處于起步階段.在以往的研究中，大多數(shù)研究忽視了隱式情感分析與顯式情感分析的差別，將2者的分析任務(wù)無(wú)差別對(duì)待。相關(guān)統(tǒng)計(jì)數(shù)據(jù)顯示，在不同主題領(lǐng)域中，隱式情感句占據(jù)不同的比例。由于情感分類(lèi)是情感分析的基礎(chǔ)研究領(lǐng)域，本文從隱式情感句分類(lèi)入手，主要研究社交媒體中隱式情感句的褒貶中三元傾向性分類(lèi)任務(wù)。

用于情感分類(lèi)的方法大體上可以分為3種：基于情感知識(shí)的分類(lèi)方法、基于特征提取的機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法?；谇楦兄R(shí)的分類(lèi)方法，大多數(shù)通過(guò)對(duì)文本中情感詞的識(shí)別實(shí)現(xiàn)整個(gè)句子的情感傾向性判別。由于隱式情感文本缺乏顯式情感詞，傳統(tǒng)的基于情感知識(shí)的分類(lèi)方法不再適用。基于特征提取的機(jī)器學(xué)習(xí)方法，需要選取有意義的特征，通過(guò)搭建分類(lèi)器的形式實(shí)現(xiàn)情感句的傾向性分類(lèi)[10]。機(jī)器學(xué)習(xí)方法存在著文本特征不易提取、很難處理文字長(zhǎng)度不一的問(wèn)題以及模型不容易擴(kuò)展的特點(diǎn)。基于深度學(xué)習(xí)的方法在情感分類(lèi)任務(wù)中取得了廣泛的應(yīng)用。首先，深度學(xué)習(xí)模型在結(jié)構(gòu)上更加靈活，可以更便捷地將多種關(guān)系融入到分類(lèi)模型中。文獻(xiàn)[11]設(shè)計(jì)了一種結(jié)合區(qū)域卷積神經(jīng)網(wǎng)絡(luò)和分層長(zhǎng)短期記憶網(wǎng)絡(luò)的深度分層網(wǎng)絡(luò)模型，有效獲取了句子中的局部特征和整個(gè)評(píng)論中的長(zhǎng)距離依賴(lài)關(guān)系，解決了情感極性表達(dá)不清晰、難句的情感極性判斷問(wèn)題。文獻(xiàn)[12]提出了融合區(qū)域卷積神經(jīng)網(wǎng)絡(luò)和LSTM網(wǎng)絡(luò)的混合模型，有效獲取了句子的時(shí)序關(guān)系以及整個(gè)評(píng)論的長(zhǎng)距離依賴(lài)關(guān)系。在特征融合上，基于深度學(xué)習(xí)的情感分類(lèi)方法要比基于機(jī)器學(xué)習(xí)的分類(lèi)方法更加便捷。為了將上下文特征融入到分類(lèi)模型中，本文開(kāi)展了基于深度學(xué)習(xí)的分類(lèi)模型研究。其次，深度學(xué)習(xí)模型可以更好地學(xué)習(xí)詞語(yǔ)之間的聯(lián)系、局部特征或者全局特征?；贚STM網(wǎng)絡(luò)的分類(lèi)模型[13]可以把握詞語(yǔ)之間的時(shí)序關(guān)系，獲取不同詞語(yǔ)之間的依賴(lài)關(guān)系。文獻(xiàn)[13]首次將TextCNN應(yīng)用于情感分類(lèi)任務(wù)中，采用不同長(zhǎng)度的filter對(duì)文本矩陣進(jìn)行一維卷積操作，以獲取不同詞語(yǔ)長(zhǎng)度的特征信息，并通過(guò)最大池化層完成句子特征的提取。文章還研究了不同詞嵌入技術(shù)對(duì)分類(lèi)結(jié)果的影響以及靜態(tài)(Static)方式和非靜態(tài)(Non-static)方式對(duì)訓(xùn)練過(guò)程的影響。在后續(xù)的研究中，詞嵌入技術(shù)與深度學(xué)習(xí)模型的組合[9,14]成為了情感分類(lèi)任務(wù)中的主流方法。本文以該研究思路為基礎(chǔ)，探索了LSTM模型、靜態(tài)方式的TextCNN和非靜態(tài)方式的TextCNN對(duì)隱式情感句的分類(lèi)效果。

在顯式情感分類(lèi)領(lǐng)域中，結(jié)合注意力機(jī)制的分類(lèi)模型可以在不同應(yīng)用方向取得更好的應(yīng)用效果。文獻(xiàn)[15]最早在NLP領(lǐng)域中應(yīng)用注意力機(jī)制。文獻(xiàn)[16]提出了一種簡(jiǎn)化版本的注意力機(jī)制。文獻(xiàn)[17]針對(duì)文章中重要的句子和句子中重要的詞語(yǔ)，提出了句子級(jí)和詞語(yǔ)級(jí)2種注意力機(jī)制模型。這種注意力機(jī)制模型采用BiGRU對(duì)不同級(jí)別的輸入進(jìn)行編碼，并為每個(gè)輸出分配了不同的權(quán)重，從而突出更有價(jià)值的特征信息。本文以該思路為基礎(chǔ)，首先搭建了基于BiGRU的基礎(chǔ)分類(lèi)模型，其次通過(guò)句子級(jí)的注意力機(jī)制為編碼后的特征輸入分配不同權(quán)重。

針對(duì)中文在語(yǔ)義規(guī)則和社會(huì)特征因素上有較大差異的特點(diǎn)，文獻(xiàn)[18]以word2vec技術(shù)為基礎(chǔ)，將 n-gram 特征引入上下文中，使用詞-詞和詞-字符的共現(xiàn)統(tǒng)計(jì)來(lái)學(xué)習(xí)詞向量。由于詞向量的質(zhì)量會(huì)影響到分類(lèi)的性能，本文以該文獻(xiàn)在維基百科訓(xùn)練的詞向量為基礎(chǔ)開(kāi)展中文隱式情感的分類(lèi)研究。

在中文隱式情感分類(lèi)領(lǐng)域，文獻(xiàn)[19]對(duì)中文隱式情感領(lǐng)域做了基礎(chǔ)性的研究工作。在隱式情感分類(lèi)方向，該文獻(xiàn)將上下文顯式情感語(yǔ)義背景融入到構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)中，并突出了上下文語(yǔ)義特征在隱式情感分類(lèi)中的重要作用。文獻(xiàn)[20]采用句子內(nèi)部詞語(yǔ)上下文語(yǔ)境和注意力機(jī)制融合的思想來(lái)對(duì)不同語(yǔ)境的詞特征進(jìn)行學(xué)習(xí)。上述研究文獻(xiàn)缺乏循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)隱式情感句分類(lèi)的相關(guān)研究，因此本文進(jìn)行基于循環(huán)神經(jīng)網(wǎng)絡(luò)及其變體的隱式情感分類(lèi)模型研究。循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可以捕捉句子內(nèi)部時(shí)序關(guān)系，并為句子分類(lèi)提供重要的特征信息。在上下文研究中，文獻(xiàn)[19]將句子內(nèi)部上下文語(yǔ)義信息融入到模型中，文獻(xiàn)[20]對(duì)不同語(yǔ)境下句子內(nèi)部詞語(yǔ)特征進(jìn)行學(xué)習(xí)，本文則從句子外部所在的上下文特征入手，構(gòu)建了融合句子外部上下文語(yǔ)義特征的分類(lèi)模型。

3 模型描述

本節(jié)主要介紹應(yīng)用到的基礎(chǔ)模型、注意力機(jī)制以及融合注意力機(jī)制與上下文特征的分類(lèi)模型。

3.1 隱式情感分類(lèi)

人們的情感表達(dá)是豐富而抽象的，人們?cè)谏缃幻襟w中表達(dá)直觀感受時(shí)，除采用顯式情感詞表達(dá)情感外，還會(huì)采用客觀陳述或者修辭方式來(lái)隱式地表達(dá)自己的情感。相關(guān)研究顯示，隱式情感句占總情感句的15%～20%。在隱式情感句中，句子本身不含有顯式情感詞，但表達(dá)了主觀情感。對(duì)隱式情感句進(jìn)行劃分，可以分為事實(shí)型隱式情感和修辭型隱式情感。修辭型隱式情感又可劃分為隱喻型、比喻型、反問(wèn)型和反諷型。本文研究目標(biāo)是對(duì)隱式情感句的情感傾向性進(jìn)行分類(lèi)，與以往的顯式情感句分類(lèi)的區(qū)別如表1所示。

隱式情感句與顯式情感句最主要的差別在于顯式情感詞的有無(wú)。在情感計(jì)算中，大規(guī)模的情感詞匯本體資源可以輔助文本情感識(shí)別。由于隱式情感句中不包含顯式情感詞，本文采用大規(guī)模情感詞匯本體庫(kù)[21]對(duì)隱式情感句中的詞語(yǔ)進(jìn)行分析。采用分詞技術(shù)對(duì)隱式情感句進(jìn)行分詞，查詢(xún)各個(gè)詞語(yǔ)在情感詞匯本體庫(kù)中的詞性、詞語(yǔ)強(qiáng)度以及情感分類(lèi)。隱式情感句來(lái)源于SMP2019中文隱式情感分析評(píng)測(cè)提供的數(shù)據(jù)集。數(shù)據(jù)來(lái)源主要包括微博和論壇等媒體，主要領(lǐng)域或者主題包括傳統(tǒng)文化、時(shí)事熱點(diǎn)和生活等多個(gè)方面。情感詞匯本體庫(kù)從詞語(yǔ)詞性種類(lèi)、情感類(lèi)別、情感強(qiáng)度及極性等維度對(duì)中文詞匯或短語(yǔ)進(jìn)行了描述。中文隱式情感分析評(píng)測(cè)數(shù)據(jù)集中隱式情感句包含的情感詞匯本體，統(tǒng)計(jì)結(jié)果如表2所示。

Table 1 Sentiment sentence difference comparison 表1 情感句差異對(duì)比

Table 2 Statistical results on implicit sentiment vocabulary ontology 表2 隱式情感句詞匯本體統(tǒng)計(jì)結(jié)果

根據(jù)句子中是否包含標(biāo)記的情感詞匯，句子可以分為2大類(lèi)：一類(lèi)為句子中包含1個(gè)及以上數(shù)量的標(biāo)記詞匯，另一類(lèi)為句子中完全不包含標(biāo)記的情感詞匯。對(duì)統(tǒng)計(jì)結(jié)果進(jìn)行分析，含有1個(gè)及以上數(shù)量標(biāo)記詞匯的句子約占總體的28%，這也證明了傳統(tǒng)的基于情感詞典的分類(lèi)方法對(duì)于隱式情感分類(lèi)領(lǐng)域并不適用。同時(shí)由于含有情感詞匯的句子比例較小，在情感計(jì)算中這一特點(diǎn)會(huì)加大情感傾向判別的難度。

標(biāo)記的詞匯所擁有的情感強(qiáng)度從強(qiáng)到弱大小不一，同時(shí)詞匯不帶有明顯情感傾向。將情感詞匯的類(lèi)別與句子整體類(lèi)別進(jìn)行比較，當(dāng)輔助情感詞傾向與句子整體傾向相同時(shí)，該詞匯的特征在一定程度上可以幫助句子情感傾向的判別，其中褒義類(lèi)別詞匯的輔助情感詞傾向與句子整體傾向一致比例最高為25.89%，其中還存在著某情感詞被用于相反的情感表達(dá)的情況，如“對(duì)法樂(lè)第未來(lái)而言，在近期遭遇一系列困難之后，這處總部代表了新的未來(lái)?！敝?，標(biāo)記詞匯為遭遇，詞語(yǔ)極性為貶義，詞語(yǔ)強(qiáng)度為5，句子整體表達(dá)了褒義的傾向。不含顯式情感詞、句子中較低比例的情感計(jì)算資源、標(biāo)記詞匯類(lèi)別與句子標(biāo)簽不一致等問(wèn)題的出現(xiàn)給隱式情感句的傾向性分類(lèi)帶來(lái)了極大的困難。

在社交媒體中，用戶(hù)的表達(dá)方式存在口語(yǔ)化和用詞不規(guī)范的問(wèn)題。隱式表達(dá)的情感傾向在某種程度上和表情符號(hào)的情感傾向具有一致性，如句子“[good]當(dāng)然還有蔭姐，一直等你回來(lái)！”的情感傾向?yàn)榘x，表情“[good]”在情感上偏向于褒義情感。同時(shí)，由于表達(dá)的不規(guī)范性，還存在隱式表達(dá)的情感傾向與表情符號(hào)情感不一致的特點(diǎn)，如句子“[酷]樂(lè)視員工的悲劇在于沒(méi)有選擇中國(guó)銀行的信用卡?！北磉_(dá)的傾向?yàn)橘H義，而表情符號(hào)“[酷]”更多地應(yīng)用在褒義或者中性的詞語(yǔ)表達(dá)中，如何處理文本中的表情符號(hào)和不規(guī)范用詞對(duì)于隱式情感文本分析有較為重要的影響。

本文在文本處理的基礎(chǔ)上，使用深度學(xué)習(xí)模型和添加注意力機(jī)制的分類(lèi)模型對(duì)隱式情感分類(lèi)任務(wù)進(jìn)行研究。

3.2 GRU神經(jīng)網(wǎng)絡(luò)

GRU神經(jīng)網(wǎng)絡(luò)是長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)的一種變體結(jié)構(gòu)[22]，可以有效解決循環(huán)神經(jīng)網(wǎng)絡(luò)中出現(xiàn)的梯度消失或者爆炸問(wèn)題，同時(shí)保留了LSTM較長(zhǎng)距離記憶的能力，并簡(jiǎn)化了LSTM結(jié)構(gòu)，縮短了模型訓(xùn)練的時(shí)間。在NLP領(lǐng)域，GRU可以捕獲詞語(yǔ)在句子中的長(zhǎng)短依賴(lài)關(guān)系，被廣泛應(yīng)用于機(jī)器翻譯等任務(wù)中。

GRU[23]簡(jiǎn)化了LSTM的網(wǎng)絡(luò)結(jié)構(gòu)，其主要包括2種門(mén)控：循環(huán)單元更新門(mén)和重置門(mén)。GRU使用更新門(mén)結(jié)構(gòu)代替了LSTM中的遺忘門(mén)和輸入門(mén)，使用該結(jié)構(gòu)實(shí)現(xiàn)對(duì)數(shù)據(jù)的丟棄和更新，使用重置門(mén)結(jié)構(gòu)儲(chǔ)存遺忘信息的步長(zhǎng)。如圖1所示，GRU包含重置門(mén)和更新門(mén)2個(gè)門(mén)控單元。

Figure 1 Structure of GRU unit圖1 GRU單元結(jié)構(gòu)

在不同時(shí)間步內(nèi)，GRU對(duì)輸入信息的計(jì)算如式(1)～式(4)所示:

有非常多的案例都是青少年在初次接觸毒品的時(shí)候并不知道毒品為何物，不但沒(méi)有遠(yuǎn)離，反而對(duì)它充滿(mǎn)好奇，直到在好奇心的推動(dòng)下開(kāi)始吸毒，從此走上不歸路。因此當(dāng)社會(huì)上、學(xué)校里介紹關(guān)于毒品的知識(shí)時(shí)，一定要認(rèn)真學(xué)習(xí)、牢記于心。平時(shí)也可以通過(guò)上網(wǎng)、翻閱書(shū)籍等方式了解與毒品相關(guān)的知識(shí)。總之，一定要充分了解毒品的特性以及危害，這樣才能讓自己時(shí)刻保持警惕，遠(yuǎn)離毒品。

zt=σ(Wz·[ht-1,xt])

(1)

rt=σ(Wr·[ht-1,xt])

(2)

(3)

(4)

3.3 注意力機(jī)制網(wǎng)絡(luò)

注意力機(jī)制可以從眾多信息中選取對(duì)當(dāng)前任務(wù)最有價(jià)值的信息，在機(jī)器翻譯[24]、文本分類(lèi)等自然語(yǔ)言處理領(lǐng)域中，注意力機(jī)制在提升模型效果的同時(shí)，還可以對(duì)內(nèi)部有價(jià)值的信息進(jìn)行可視化。在文本分類(lèi)任務(wù)中，注意力機(jī)制可以凸顯決定句子傾向分類(lèi)詞語(yǔ)的重要性。本文使用的注意力機(jī)制思想來(lái)源于文獻(xiàn)[17]提出的2種分層注意力模型。原文是對(duì)文檔級(jí)別的句子進(jìn)行分類(lèi)，提出的模型可以簡(jiǎn)化為如下4個(gè)部分：詞語(yǔ)序列編碼器、詞語(yǔ)級(jí)別注意力層、句子序列編碼器和句子級(jí)別注意力層。在對(duì)隱式情感句進(jìn)行分類(lèi)時(shí)，僅采用了詞語(yǔ)級(jí)別的注意力機(jī)制。句子情感分類(lèi)任務(wù)也可簡(jiǎn)化為2個(gè)部分，詞向量編碼器和Softmax處理層。詞向量編碼器可以對(duì)詞向量特征進(jìn)行提取與編碼。Softmax處理層則可以計(jì)算各個(gè)類(lèi)別的概率。添加注意力層的句子分類(lèi)模型主要包括3個(gè)部分：詞向量編碼器、Attention注意力層和Softmax處理層。添加的Attention注意力層用于強(qiáng)化句子中有價(jià)值信息的權(quán)重。在詞向量編碼器部分采用TextCNN、LSTM和BiGRU等不同的神經(jīng)網(wǎng)絡(luò)對(duì)句子的向量表示進(jìn)行編碼。以分類(lèi)模型中的Attention+BiGRU組合為例，闡述注意力層分配權(quán)重的方法，預(yù)測(cè)模型網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

Figure 2 Structure of Attention+BiGRU圖2 Attention+BiGRU結(jié)構(gòu)圖

圖2中，wt代表一個(gè)句子中每個(gè)單詞的詞向量表示，We代表BiGRU結(jié)構(gòu)的權(quán)重矩陣，T代表句子的長(zhǎng)度，經(jīng)過(guò)式(5)的計(jì)算，得到BiGRU結(jié)構(gòu)的輸入xt。

xt=Wewt,t∈[1,T]

(5)

(6)

(7)

μt=tanh(Wwht+bw)

(8)

(9)

s=∑tαtht

(10)

其中，Ww代表注意力層的權(quán)重矩陣，bw代表注意力層的偏置項(xiàng)，μw為隨機(jī)初始化的數(shù)值，在訓(xùn)練學(xué)習(xí)階段不斷改變，αt為每個(gè)輸入分配的獨(dú)立權(quán)重，s為分配權(quán)重后的輸出。

3.4 融合模型

隱式情感句的上下文信息可以輔助情感分類(lèi)。如情感句“桌子上有一層灰”是貶義的，對(duì)該句進(jìn)行情感分類(lèi)，由于該句屬于事實(shí)性陳述，會(huì)被誤判成中性標(biāo)簽，而該句的上下文“很不高興”則可以輔助該情感句的極性判別。當(dāng)句子中不存在有直接情感傾向的詞語(yǔ)時(shí)，可以尋找篇章內(nèi)部與目標(biāo)句相似的語(yǔ)句，如上下文“簡(jiǎn)直太臟了”“床鋪也不整潔”等。文獻(xiàn)[17]證明了BiGRU+Attention的組合在較長(zhǎng)語(yǔ)句中獲取重要特征的有效性，本文以此為出發(fā)點(diǎn)，采用BiGRU+Attention的組合對(duì)標(biāo)簽句的上下文重要特征進(jìn)行提取。融合注意力機(jī)制與上下文特征的分類(lèi)模型如圖3所示。

Figure 3 Classification model combining context and attentional mechanisms圖3 融合上下文特征與注意力機(jī)制的分類(lèi)模型圖

(11)

4 實(shí)驗(yàn)與分析

4.1 數(shù)據(jù)集

本文采用第八屆全國(guó)社會(huì)媒體處理大會(huì)(SMP2019)舉辦的“拓爾思杯”中文隱式情感分析評(píng)測(cè)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。由于無(wú)法獲得測(cè)試集的標(biāo)注信息，僅采用了測(cè)評(píng)任務(wù)提供的訓(xùn)練集和驗(yàn)證集，將訓(xùn)練集按照4∶1的比例進(jìn)行劃分，用于模型的訓(xùn)練過(guò)程，將官方提供的驗(yàn)證集作為測(cè)試集，用于評(píng)估各個(gè)深度學(xué)習(xí)模型的性能。數(shù)據(jù)涉及微博、旅游網(wǎng)站、產(chǎn)品論壇等多個(gè)領(lǐng)域，主要的主題又包括春晚、霧霾、樂(lè)視、國(guó)考、旅游、端午節(jié)等。情感標(biāo)簽總共包含褒義、貶義和中性3種，標(biāo)記的數(shù)據(jù)詳細(xì)數(shù)量以及相關(guān)上下文信息如表3所示。其中，測(cè)評(píng)提供的訓(xùn)練集和驗(yàn)證集中包含共現(xiàn)的句子33個(gè)，本文選擇在測(cè)試集中將其移除。

Table 3 Experimental data statistics 表3 實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)

4.2 基礎(chǔ)實(shí)驗(yàn)

在神經(jīng)元的輸出部分采用Dropout機(jī)制[25]來(lái)減弱網(wǎng)絡(luò)的過(guò)擬合現(xiàn)象，共搭建了如下所述的幾種基礎(chǔ)分類(lèi)模型:

(1)TextCNN。文獻(xiàn)[9]首次將CNN網(wǎng)絡(luò)應(yīng)用在情感分類(lèi)中。論文采用了拼接詞向量的方法，將1個(gè)句子表示成為1個(gè)矩陣，矩陣的每1行表示1個(gè)word，構(gòu)建不同尺寸的filter獲取不同步長(zhǎng)的詞語(yǔ)特征，并將卷積后的特征通過(guò)最大池化層來(lái)進(jìn)一步編碼。本文在編碼器部分采用了該文獻(xiàn)提出的Static TextCNN和Non-static TextCN 2種模型。

(2)LSTM。由于長(zhǎng)短期記憶網(wǎng)絡(luò)可以獲取詞語(yǔ)之間的時(shí)序關(guān)系，文獻(xiàn)[26]將該結(jié)構(gòu)應(yīng)用到aspect-level的情感分析中。本文采用基礎(chǔ)的LSTM對(duì)詞向量特征進(jìn)行編碼。

(3)BiGRU。雙向GRU模型可以更好地獲取句子雙向編碼特征，本文以其結(jié)構(gòu)為基礎(chǔ)，探索該結(jié)構(gòu)在隱式情感傾向性分類(lèi)中的表現(xiàn)。

(4)Attention-model。本文為各個(gè)基礎(chǔ)模型添加了注意力機(jī)制，用于探索添加權(quán)重的注意力機(jī)制思想是否可以明顯提升隱式情感句的分類(lèi)效果。Model代表先前提到的Static TextCNN、Non-static TextCNN、LSTM和BiGRU模型。

4.3 實(shí)驗(yàn)流程

4.3.1 文本預(yù)處理

對(duì)實(shí)驗(yàn)得到的數(shù)據(jù)集進(jìn)行初步的規(guī)則識(shí)別，分別提取出標(biāo)簽句子以及上下文，由于文本內(nèi)容來(lái)源于網(wǎng)絡(luò)，原始數(shù)據(jù)集中包含大量網(wǎng)絡(luò)用語(yǔ)。在實(shí)驗(yàn)中發(fā)現(xiàn)，不合理的數(shù)據(jù)處理方式會(huì)降低各個(gè)模型的分類(lèi)準(zhǔn)確率，為了最大程度保留原始句子的語(yǔ)義信息，預(yù)處理階段僅采用固定規(guī)則提取目標(biāo)句子和句子上下文信息。在句子提取完成后，采用“結(jié)巴”分詞工具對(duì)句子進(jìn)行分詞處理。

4.3.2 文本特征表示

使用文獻(xiàn)[18]提供的具有Word+Character+Ngram特征的詞向量集，該詞向量的語(yǔ)料庫(kù)來(lái)源于維基百科。在使用該向量表示時(shí)，未在詞向量集中出現(xiàn)的文本統(tǒng)一用0填充。本文提出的模型輸入為句子以及上下文，當(dāng)單獨(dú)句子無(wú)上下文信息時(shí)，用句子本身填充上下文。

4.3.3 模型參數(shù)設(shè)置

官方提供的數(shù)據(jù)集為訓(xùn)練集和測(cè)試集，訓(xùn)練集和測(cè)試集的比例大約為3∶1。將訓(xùn)練集按照4∶1的比例劃分訓(xùn)練集和驗(yàn)證集，驗(yàn)證集用于判斷分類(lèi)模型的訓(xùn)練效果及調(diào)整參數(shù)。對(duì)所有模型進(jìn)行3次重復(fù)實(shí)驗(yàn)，取平均值評(píng)估各模型的分類(lèi)效果。模型中還包括一些超參數(shù)設(shè)置，如表4所示，其余參數(shù)均為默認(rèn)值。

Table 4 Parameter setting表4 參數(shù)設(shè)置

4.3.4 評(píng)價(jià)標(biāo)準(zhǔn)

模型評(píng)估使用文本分類(lèi)中常用到的準(zhǔn)確率(P)、召回率(R)及F1值。在進(jìn)行重復(fù)實(shí)驗(yàn)后，求得3個(gè)評(píng)價(jià)指標(biāo)的平均值，并將其作為各個(gè)分類(lèi)模型的最終評(píng)價(jià)標(biāo)準(zhǔn)。

4.4 實(shí)驗(yàn)結(jié)果

4.4.1 模型的訓(xùn)練

在模型訓(xùn)練過(guò)程中，為了選取泛化性較高的分類(lèi)模型，采用不同的Epoch值訓(xùn)練各分類(lèi)模型。首選對(duì)各模型進(jìn)行較大數(shù)值Epoch的訓(xùn)練，根據(jù)模型訓(xùn)練日志確定大致的Epoch取值和模型在驗(yàn)證集上的準(zhǔn)確率。在確定Epoch數(shù)值后，丟棄欠擬合與過(guò)擬合的訓(xùn)練模型，進(jìn)行3次重復(fù)實(shí)驗(yàn)獲取每個(gè)分類(lèi)模型的平均性能。以其中1個(gè)分類(lèi)模型為例，訓(xùn)練過(guò)程如圖4所示。

Figure 4 Model training process圖4 模型訓(xùn)練過(guò)程

在第1次訓(xùn)練時(shí)，將Epoch數(shù)值設(shè)置為20。重復(fù)多次實(shí)驗(yàn)，發(fā)現(xiàn)當(dāng)模型經(jīng)過(guò)9次迭代后，驗(yàn)證集的準(zhǔn)確率和損失率穩(wěn)定在一個(gè)區(qū)間范圍內(nèi)。將模型Epoch取值設(shè)定為9，多次訓(xùn)練模型，舍棄其中欠擬合、過(guò)擬合以及未達(dá)到較好訓(xùn)練效果的分類(lèi)模型。在獲得訓(xùn)練結(jié)果較好的3個(gè)模型后，在測(cè)試集上對(duì)該分類(lèi)模型進(jìn)行測(cè)試，取各類(lèi)別評(píng)價(jià)標(biāo)準(zhǔn)的平均值。

4.4.2 實(shí)驗(yàn)結(jié)果

本文使用基礎(chǔ)分類(lèi)模型、在基礎(chǔ)模型上添加注意力的分類(lèi)模型和融合模型對(duì)隱式情感句進(jìn)行三元傾向性分類(lèi)實(shí)驗(yàn)。情感傾向類(lèi)別分別為褒義、中性和貶義。實(shí)驗(yàn)結(jié)果如表5所示，其中Static TextCNN和Non-static TextCNN為基礎(chǔ)實(shí)驗(yàn)(1)中提到的模型，Attention-Static TextCNN 和Attention-non-static TextCNN 分別為在上述2種基礎(chǔ)模型后添加注意力機(jī)制層；LSTM和BiGRU分別為基礎(chǔ)實(shí)驗(yàn)(2)和(3)中提到的模型，Attention-LSTM和Attention-BiGRU分別為在上述2種基礎(chǔ)模型后添加注意力機(jī)制層；Model proposed則為本文提出的模型。

從表5中可以看出，褒義類(lèi)別的分類(lèi)相較于其它2個(gè)類(lèi)別更加困難。對(duì)比所有的分類(lèi)模型可以發(fā)現(xiàn)，本文的融合上下文特征與注意力機(jī)制的分類(lèi)模型在褒義類(lèi)別分類(lèi)上擁有最優(yōu)的召回率與F1值，其它評(píng)價(jià)指標(biāo)雖未達(dá)到最優(yōu)，但均有良好的表現(xiàn)。對(duì)比結(jié)合注意力機(jī)制模型與對(duì)應(yīng)的基礎(chǔ)分類(lèi)模型實(shí)驗(yàn)結(jié)果，可以發(fā)現(xiàn)當(dāng)為句子分配不同權(quán)重后，句子的分類(lèi)效果并未取得較明顯的提升，在基礎(chǔ)分類(lèi)模型融合注意力機(jī)制后，部分評(píng)價(jià)指標(biāo)有所提升。為了進(jìn)一步研究各分類(lèi)模型對(duì)褒義類(lèi)別識(shí)別效果較差的原因，對(duì)所有分類(lèi)模型的預(yù)測(cè)結(jié)果進(jìn)行混淆矩陣的研究，僅列舉提出的融合模型混淆矩陣，如表6所示。

Table 5 Experiment results of classification model 表5 分類(lèi)模型實(shí)驗(yàn)結(jié)果

Table 6 Confusion matrix of classification model 表6 分類(lèi)模型混淆矩陣

從表6中可以發(fā)現(xiàn)，褒義類(lèi)別被誤分成其它2個(gè)類(lèi)別的比例大致相同。在實(shí)際的研究中發(fā)現(xiàn)，所有的分類(lèi)模型盡管在數(shù)值上有所差異，但在褒義類(lèi)別的識(shí)別上有相似的特點(diǎn)，即被誤分成其它2個(gè)類(lèi)別的比例大致相同。對(duì)具體的褒義文本進(jìn)行研究，發(fā)現(xiàn)句子本身所帶的褒義情感特征不是很明顯，如表7所示，所有的分類(lèi)模型在該類(lèi)別特征識(shí)別上都未取得良好的效果。

為了更加直觀地比較各模型的性能，統(tǒng)計(jì)各分類(lèi)模型的平均準(zhǔn)確率、召回率和F1值，實(shí)驗(yàn)結(jié)果如表7所示。

Table 7 Macro average accuracy,recall rate and F1 value of each classification model 表7 各分類(lèi)模型宏平均準(zhǔn)確率、召回率和F1值

從表7中可以看出，提出的融合上下文和注意力機(jī)制的分類(lèi)模型在準(zhǔn)確率、召回率和F1值上取得了最優(yōu)的效果，在準(zhǔn)確率上比最優(yōu)的基礎(chǔ)分類(lèi)模型提升了0.72%，在召回率上提升了0.83%，在F1值上提升了1.27%，從而驗(yàn)證了融合上下文特征和注意力機(jī)制分類(lèi)模型的有效性。

4.4.3 典型難句分析

為了進(jìn)一步分析本文的融合模型在提取上下文特征輔助隱式情感分類(lèi)的有效性，從數(shù)據(jù)集中抽取一些典型的難句進(jìn)行分類(lèi)結(jié)果對(duì)比分析，如表8所示。

表8中，其它模型代表大部分模型識(shí)別出的結(jié)果，差異結(jié)果代表占較小比例分類(lèi)模型識(shí)別的結(jié)果。從表8中可以看出，所提出的模型具備一定的優(yōu)勢(shì)與不足。在模型學(xué)習(xí)過(guò)程中，融合模型對(duì)句子進(jìn)行判別時(shí)吸納了更多的信息，因而在對(duì)某一類(lèi)別進(jìn)行判定時(shí)可以擁有更好的識(shí)別性能，如ID為1、2、4的結(jié)果。當(dāng)標(biāo)簽句子的上下文與標(biāo)簽句子類(lèi)別不同時(shí)，上下文內(nèi)容會(huì)對(duì)標(biāo)簽句子的判別產(chǎn)生一定的誤導(dǎo)作用，如ID為3、5的結(jié)果。融合模型的兩處設(shè)計(jì)對(duì)這一誤導(dǎo)現(xiàn)象產(chǎn)生一定的抑制作用。在上下文特征與注意力機(jī)制思想的融合部分，所使用的注意力機(jī)制思想會(huì)為上下文特征分配一定比例的權(quán)重，其次在Maximum層會(huì)取2個(gè)特征層中的最大值，當(dāng)標(biāo)簽句子特征大于上下文的特征時(shí)，上下文特征會(huì)被舍棄。實(shí)驗(yàn)結(jié)果也表明了本文模型在一定程度上可以提升隱式情感文本的分類(lèi)效果。

5 結(jié)束語(yǔ)

本文提出了一種融合上下文特征與注意力機(jī)制的分類(lèi)模型，并基于TextCNN、LSTM和BiGRU和注意力機(jī)制對(duì)隱式情感句的分類(lèi)進(jìn)行了研究。由于隱式情感句與顯式情感句在表達(dá)上的差異，所提出的模型可以提升隱式情感句的分類(lèi)效果。與普通的分類(lèi)模型和注意力機(jī)制模型相比，本文的融合模型可以提取更多有價(jià)值的信息。在公開(kāi)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文的融合模型在準(zhǔn)確率、召回率和F1值上優(yōu)于已有的基礎(chǔ)分類(lèi)模型和注意力機(jī)制模型。從實(shí)驗(yàn)結(jié)果可以看出，盡管本文模型提升了基礎(chǔ)分類(lèi)模型的預(yù)測(cè)效果，但在上下文特征輔助標(biāo)簽句情感判別上仍具備一定的局限性。所以，接下來(lái)的工作將著重研究基于上下文特征語(yǔ)義相似度的分類(lèi)模型，以達(dá)到更好的分類(lèi)效果。

Table 8 Typical difficult examples表8 典型難句舉例