李勝旺 楊藝 許云峰 張妍

摘 要：? 隨著深度學習的發(fā)展，方面級情感分類已經(jīng)在單領域和單一語言中取得了大量的研究成果，但是在多領域的研究還有提升的空間。通過對近年來文本方面級情感分類方法進行歸納總結(jié)，介紹了情感分類的具體應用場景，整理了方面級情感分類常用的數(shù)據(jù)集，并對方面級情感分類的發(fā)展進行了總結(jié)與展望，提出未來可在以下領域開展深入研究：1）探索基于圖神經(jīng)網(wǎng)絡的方法，彌補深度學習方法存在的局限性;2）學習融合多模態(tài)數(shù)據(jù)，豐富單一文本的情感信息;3）開展更多針對多語言文本和低資源語言的研究。

關(guān)鍵詞： 自然語言處理;情感分類;方面級別;文本分類;深度學習;圖神經(jīng)網(wǎng)絡;圖卷積網(wǎng)絡

中圖分類號：TP311.13文獻標識碼： A

doi：10.7535/hbkd.2020yx06006

A survey of text aspect-based sentiment classification

LI Shengwang， YANG Yi， XU Yunfeng， ZHANG Yan

（School of Information Science and Engineering， Hebei University of Science and Technology， Shijiazhuang， Hebei 050018， China）

With the development of deep learning， aspect-based sentiment classification has achieved a lot of results in a single field and a single language， but there is room for improvement in multi-fields. By summarizing up the methods of text aspect-based sentiment classification in recent years， the specific application scenarios of sentiment classification were introduced， and the commonly used data sets of aspect-based sentiment classification were categorized. The development of aspect-based sentiment classification were summarized and prospected， and further research can be carried out in the following areas： exploring methods based on graph neural networks to make up for the limitations of deep learning methods; learning to fuse multi-modal data to enrich the emotional information of a single text; developing more targeted research work on multilingual texts and low-resource languages.

Keywords：natural language processing; sentiment classification;aspect-based; text classification; deep learning; graph neural network; graph convolutional network

近年來，情感分析成為自然語言處理（NLP）領域中最活躍的研究方向之一，在信息檢索、數(shù)據(jù)挖掘、文本挖掘等方面得到廣泛研究。文本情感分析是對帶有情感色彩的主觀性文本進行分析、處理、歸納和推理的過程[1]。

隨著社交媒體和大數(shù)據(jù)的快速發(fā)展，情感分析已經(jīng)從計算機科學蔓延到其他學科領域，其巨大的發(fā)展前景和商業(yè)價值引發(fā)了整個社會的共同關(guān)注。情感分類是情感分析技術(shù)的核心，其任務是判斷文本的情感取向，根據(jù)文本所表達的含義和情感信息將文本劃分成積極或消極2種或多種類別。按照情感的粒度可以分為3種分類問題：二分類（積極和消極）、三分類（積極、消極和中立）和多分類。例如對推特（Twitter）評論進行“開心”、“悲傷”、“憤怒”、“驚訝”的四元情感分類就屬于多元分類問題。按照對文本研究粒度的不同可以分為3種不同級別：篇章級情感分類、句子級情感分類和方面級情感分類[2]，如圖1所示。

由于情感分類是一種具有較大實用價值的分類技術(shù)，在一些現(xiàn)實場景中有著廣泛的應用，例如產(chǎn)品推薦、電影票房預測等，一直以來都受到研究人員的重點關(guān)注?，F(xiàn)如今，生活中的方方面面變得愈加智能化，例如語音助手、智能客服等。在智能化道路上，機器的自然語言理解能力對智能化發(fā)展起著至關(guān)重要的作用。同時，對文本情感傾向的準確判斷是更加準確地理解自然語言文本的重要環(huán)節(jié)。在3種不同級別的情感分類中，方面級情感分類任務需要考慮方面詞和情感之間的交互，如果將其分離開，即在判斷情感時不考慮方面信息，可能會導致分類不正確，因為同一個形容詞對不同方面或在不同領域形容不同方面時，表達的情感是不同的。方面級情感分類可以更加細致地判斷句子在特定方面的情感極性，對文本情感的判斷更加準確，從而使得方面級情感分類成為當前情感分析領域的重點研究方向，在文本情感分類中起著舉足輕重的作用。

對于研究領域中主流的情感分類方法，可按照技術(shù)路線將其分為2大類：傳統(tǒng)方法和深度學習方法。傳統(tǒng)方法又分為基于詞典的方法、基于機器學習的方法、基于弱標注信息的方法、詞典與機器學習相混合的方法[3]。傳統(tǒng)分類方法主要針對篇章級和句子級進行粗粒度的情感分類，只能假定文本只有單一的情感（例如正向和負向），不能對文本的多個方面（即用戶從哪個角度評論，或者商品從哪個角度介紹，例如價格、性能、服務等）進行情感識別。

近年來由于神經(jīng)網(wǎng)絡的快速發(fā)展，基于深度學習的情感分析取得了良好的效果，該方法的最大優(yōu)勢是不依賴人工定義特征，可以進行端到端的自主學習。本文主要整理了當前比較熱門的傳統(tǒng)深度學習情感分類方法和基于圖域的深度學習方法即圖神經(jīng)網(wǎng)絡方法，如圖2所示。

目前對包括圖神經(jīng)網(wǎng)絡方法的情感分類綜述數(shù)量有限。申影利等[4]在方面級情感分類綜述中只整合了基于傳統(tǒng)深度學習方法的相關(guān)研究，缺乏基于圖神經(jīng)網(wǎng)絡方法的最新研究。圖卷積網(wǎng)絡GCN[5]是一種簡單有效的基于圖的卷積神經(jīng)網(wǎng)絡，可以從豐富的關(guān)系數(shù)據(jù)中捕捉相互依賴的信息，在當前基于圖神經(jīng)網(wǎng)絡的情感分類方法研究中，大多數(shù)研究人員應用了經(jīng)典的圖卷積網(wǎng)絡GCN提高分類模型的算法性能，表現(xiàn)出很大潛力。

1 定義和概念

定義1 方面級情感分類（aspect-based sentiment classification，簡稱ABSC）任務定義：給定一個由n個詞和方面詞wi組成的句子 s={w1，w2，…，wi，…，wn}，方面級情感分類旨在確定句子s針對方面詞wi的情感極性。簡單來說，其任務是給定一句話和目標提及，預測出關(guān)于目標方面的句子的情感極性。如圖3所示，在“The waiter is friendly while the pizza is very ordinary”這一句評論中，用戶分別在“pizza”和“waiter”2個方面詞項表達了負向和正向情感。同時，pizza屬于food，waiter對應service，所以在“food”和“service”2個方面類型也表達了負向和正向情感。

定義2方面級情感分類的評估指標：Accuracy和Macro-F1。Accuracy指正確預測樣本數(shù)占總預測樣本數(shù)的比值，不考慮預測樣本是正例還是負例，表示對整個樣本的判定能力。Macro-F1也叫宏觀F1分數(shù)，用于多分類問題，不受數(shù)據(jù)不平衡影響，容易受到識別性高（高recall和高precision）的類別影響。

概念1 圖（Graph，如圖4 a））是一種對一組對象（Node）及其關(guān)系（Edge）進行建模的數(shù)據(jù)結(jié)構(gòu)。

由于圖結(jié)構(gòu)的強大表示能力，近年來對圖形的分析方法研究越來越受到關(guān)注，例如社會科學中的社交網(wǎng)絡、自然科學中的蛋白質(zhì)交互網(wǎng)絡以及知識圖譜，都可以用圖結(jié)構(gòu)進行表示。

概念2 圖神經(jīng)網(wǎng)絡（GNNs）是一種基于圖域的深度學習方法。卷積神經(jīng)網(wǎng)絡（CNN）和循環(huán)神經(jīng)網(wǎng)絡（RNN）只能用于規(guī)則的歐式空間（如圖4 b）），而GNNs可用來處理不規(guī)則的非歐式圖數(shù)據(jù)，通過圖形節(jié)點之間的消息傳遞捕獲圖形的依賴性[6]。由于圖神經(jīng)網(wǎng)絡的可推理性和高可解釋性，該方法已經(jīng)被廣泛應用于圖分析當中。

2 情感分類方法介紹

傳統(tǒng)的情感分析不僅耗費人力，而且隨著大數(shù)據(jù)時代的發(fā)展，已經(jīng)不能滿足情感分類任務高效率和高質(zhì)量的要求。一個文本序列通過Word2Vec[7]等詞嵌入（word embedding）模型轉(zhuǎn)化為詞向量（word vector） 序列作為模型的輸入，使特征具有語義信息，深度學習構(gòu)建網(wǎng)絡模型模擬人腦神經(jīng)系統(tǒng)對文本進行逐步分析、特征抽取并且自動學習優(yōu)化模型輸出，以提高分類的準確性。本文圍繞傳統(tǒng)深度學習方法和圖神經(jīng)網(wǎng)絡方法2大類來介紹相關(guān)研究工作，并重點介紹圖神經(jīng)網(wǎng)絡方法的算法思想。

2.1 傳統(tǒng)深度學習方法

2.1.1 基于卷積神經(jīng)網(wǎng)絡的方法

卷積神經(jīng)網(wǎng)絡（CNN）[8]通過卷積和池化操作從原始數(shù)據(jù)中提取出高級特征，在計算機視覺領域的發(fā)展中起到了很大作用，并且不需要消耗太多的計算力就能捕獲豐富的語義信息，其有效性已經(jīng)在許多領域得到驗證。

HUANG等[9]利用參數(shù)化的濾波器門控結(jié)構(gòu)將方面詞信息引入CNN 中，提出了卷積神經(jīng)網(wǎng)絡參數(shù)化濾波器（PF-CNN）和參數(shù)化門控卷積神經(jīng)網(wǎng)絡（PG-CNN）2個模型變量。

FAN等[10]提出了一種卷積記憶網(wǎng)絡（CMN），該模型融合了注意力機制，可以同時捕捉句子中的單詞和多詞表達。為了幫助CNN特征抽取器更準確地定位情感指標，LI等[11]在重新審視了注意力機制的缺陷和阻礙CNN在分類任務中發(fā)揮作用的障礙后，提出了一種新的分類模型TNet，該模型采用了一種接近策略，利用單詞和方面詞語之間的位置相關(guān)性來縮放卷積層的輸入。

以前大部分工作使用了長短期記憶網(wǎng)絡（LSTM）和注意力機制來預測有關(guān)目標的情感極性。XUE等[12]認為該類模型很復雜并且在訓練中需要花費很長的時間，在此基礎上，提出了一個更有效的基于卷積神經(jīng)網(wǎng)絡和門機制（gating mechanisms）模型（GCAE）。該模型的計算在訓練中很容易并行化，并且門單元也能夠獨立工作。

以上研究結(jié)果表明，在方面級情感分類任務上，各種卷積神經(jīng)網(wǎng)絡變體比基本的卷積神經(jīng)網(wǎng)絡方法的分類性能更好，并且優(yōu)于傳統(tǒng)的機器學習方法。

2.1.2 基于記憶神經(jīng)網(wǎng)絡的方法

TANG等[13]將深度記憶網(wǎng)絡（DMN）應用到方面級情感分類任務中，該網(wǎng)絡采用帶有記憶網(wǎng)絡存儲的注意力機制捕獲每個上下文詞對于給定目標方面的重要性，性能大大優(yōu)于基于LSTM和注意力LSTM的體系結(jié)構(gòu)。

LI等[14]將目標識別任務整合到情感分類任務中，以更好地模擬方面情感交互。在模型架構(gòu)中，2個子任務由一個深度記憶網(wǎng)絡交錯，其目標檢測中產(chǎn)生的信號為極性分類提供線索，而預測的極性為目標的識別提供反饋。TAY等[15]設計了一個二元記憶網(wǎng)絡（DyMemN），該網(wǎng)絡通過使用神經(jīng)張量合成或全息合成進行記憶選擇操作模擬方面和上下文之間的交互作用。

CHEN等[16]提出了一種基于記憶網(wǎng)絡的遞歸注意力機制（RAM），提取被長距離分隔的情感信息。該模型采用Bi-LSTM（雙向LSTM）從輸入中產(chǎn)生記憶，根據(jù)記憶切片與目標的相對位置對記憶切片進行加權(quán)，使得來自同一句子的不同目標有了自己定制的記憶。然后，對位置加權(quán)記憶進行多重關(guān)注，并將注意結(jié)果與一個遞歸網(wǎng)絡GRU[17]非線性結(jié)合。最后，將softmax應用于GRU網(wǎng)絡的輸出，對目標進行情感預測。

目前流行的方面級情感分類的內(nèi)容注意力機制主要集中于識別情感詞或移詞，而沒有考慮此類單詞與句子中給定方面的相關(guān)性。為了解決此問題，LIU等[18]提出一種由句子層面的內(nèi)容注意力機制和上下文注意力機制2部分組成的方面級情感分類模型（CAM）。其中，句子層面的內(nèi)容注意力機制能夠從全局的角度捕捉到整個句子針對方面詞語的重要信息，而上下文注意力機制則負責將單詞的順序及其相關(guān)性嵌入到一系列自定義中。

2.1.3 基于循環(huán)神經(jīng)網(wǎng)絡的方法

RNN具有優(yōu)秀的序列學習能力，許多方面級情感分類任務中的先進方法大多數(shù)都基于RNN進行建模。

TANG等[19]提出基于目標依賴的長短期記憶神經(jīng)網(wǎng)絡（TD-LSTM）和基于目標關(guān)聯(lián)的長短期記憶神經(jīng)網(wǎng)絡（TC-LSTM）來擴展LSTM。該模型把給定的目標視為一個特征，并將其與上下文特征連接起來進行方面級情感分類。ZHANG等[20]利用門控神經(jīng)網(wǎng)絡結(jié)構(gòu)，通過Bi-RNN（雙向RNN）對句子中的句法和語義以及方面詞與周圍上下文詞之間的相互作用進行建模，設計了2種門控神經(jīng)網(wǎng)絡模型（GRNN）。門控神經(jīng)網(wǎng)絡已經(jīng)被證明可以通過更好地傳播梯度來減少標準循環(huán)神經(jīng)網(wǎng)絡對序列末端的偏差。

RUDER等[21]提出基于方面情感分類的評論層次模型（H-LSTM），使用分層雙向長短期記憶神經(jīng)網(wǎng)絡學習句內(nèi)和句間的關(guān)系。模型將單詞嵌入輸入到句子級雙向LSTM中，前向和后向LSTM的最終狀態(tài)通過方面嵌入連接在一起，并反饋到雙向評論級LSTM中。

注意力機制的核心目標是從眾多信息中選擇對當前任務目標更為關(guān)鍵的信息，利用注意力機制得到文本中關(guān)于某個方面類別的描述表示，從而進行更加準確的情感極性判別，與方面級情感分類的目標相一致。

WANG等[22]最早將注意力機制引入該任務，提出了一種使用目標嵌入的基于注意力的LSTM模型（ATAE-LSTM），在LSTM網(wǎng)絡基礎上為每個目標設置一個注意力向量，強制模型去注意句子中的重要部分，以響應特定的對象。該方法被證明是一種有效的強化神經(jīng)模型來關(guān)注句子相關(guān)部分的方法。YANG等[23]也提出了2種基于注意的雙向LSTM來提高分類性能。LIU等[24]通過區(qū)分給定目標的左上下文和右上下文獲得的注意力來擴展注意力模型。HUANG等[25]以LSTM為基礎進行研究，用聯(lián)合的方式為方面和句子建模，提出了注意力過度關(guān)注神經(jīng)網(wǎng)絡（AOA），通過AOA模塊共同學習方面和句子的表示，并自動關(guān)注句子中的重要部分。

其后，一些交互式注意力機制被應用于方面級情感分類任務上。MA等[26]提出了一種既考慮目標注意力又考慮上下文注意力的交互式注意力網(wǎng)絡（IAN），使用2個注意力網(wǎng)絡交互式檢測目標描述的重要單詞和整個上下文的重要單詞。

2.2 圖神經(jīng)網(wǎng)絡方法

注意力機制和卷積神經(jīng)網(wǎng)絡因其在特定方面及上下文詞語義對齊的固有能力，被廣泛應用于方面級情感分類。但是，此類模型缺乏解釋相關(guān)句法約束和遠距離單詞依賴的機制，因此可能會錯誤地將與語法無關(guān)的上下文單詞識別為判斷方面情感的線索。為了解決這個問題，ZHANG等[27]在句子的依賴樹上構(gòu)建圖卷積網(wǎng)絡（GCN），利用句法信息和單詞依賴，提出一種特定方面的情感分類框架（ASGCN）。該模型從Bi-LSTM層開始，捕獲有關(guān)單詞順序的上下文信息。為了獲得方面特征，在LSTM輸出的頂部加入多層圖卷積結(jié)構(gòu)，隨后用掩碼機制過濾非特定方面的單詞并保留高級特定方面的特征。特定方面的特征被反饋到LSTM輸出，檢索有關(guān)該方面的信息性特征，然后將其用于預測基于方面的情感。

現(xiàn)有的方面級情感分類方法大多是在一個句子中獨立地對不同的方面進行建模，忽略了不同方面之間的情感依賴。然而，ZHAO等[28]發(fā)現(xiàn)這種不同方面之間的依賴信息會帶來額外的有價值的信息，并提出了一種基于注意力圖卷積的方面級情感分類框架（SDGCN）。該工作將一個方面視為一個節(jié)點，一條邊代表2個節(jié)點的情感依賴關(guān)系，是第一個在一句話中考慮方面之間情感依賴性的模型。

HOU等[29]認為僅依賴樹上的GCN模型容易出現(xiàn)解析錯誤，并且為了減輕由解析錯誤引起的問題，將自我注意序列模型與GCN模型相結(jié)合，設計了一個新的基于選擇性注意的GCN模型（SA-GCN）。即在依賴樹上的GCN模型基礎上，使用多頭注意力直接為句子中每個單詞選擇注意分數(shù)最高的k個單詞。然后在生成的top k注意圖上應用另一個GCN模型整合上下文詞的信息。

XIAO等[30]指出，大多數(shù)方法不能完全捕捉上下文的語義信息，也缺乏解釋相關(guān)句法約束和遠程詞匯依賴的機制。針對這些問題，提出了一種基于注意編碼的圖卷積網(wǎng)絡模型（AEGCN），體系結(jié)構(gòu)如圖5所示。該模型主要由多頭注意力和在句子依賴樹上建立的改進圖卷積網(wǎng)絡組成。將預先訓練好的BERT[31]（一種從transformer[32]模型得來的雙向編碼表征模型）應用于該任務，實現(xiàn)了更好的性能。

圖5中，“embedding”表示GloVe[33]嵌入或預訓練的BERT嵌入;“hidden state”代表Bi-LSTM;MHSA指多頭自注意力;MHIA指多頭互動注意力。首先，將Bi-LSTM用于上下文和特定目標的初步語義建模，在獲得上下文的隱藏狀態(tài)后，將GCN和MHSA組合在一起對句法信息進行編碼。同時，利用MHSA對上下文的隱藏狀態(tài)和特定目標進行注意編碼，以獲得更豐富的語義信息。然后，上下文語義編碼和目標特定語義編碼通過MHIA與句法信息編碼相互作用，將平均池應用于交互式信息和上下文語義編碼。最后，將它們合并以獲得用于預測情感極性的最終特征表示，實驗結(jié)果如表1所示。

實驗選取了8個基線模型，在5個基準數(shù)據(jù)集上評估了AEGCN的有效性。通過實驗結(jié)果中的粗體數(shù)據(jù)可以看出，采用圖卷積網(wǎng)絡GCN的模型，在大多數(shù)情況下表現(xiàn)出更好的效果;同時，基于BERT的模型比基于GloVe的模型表現(xiàn)出更大的優(yōu)勢。

2.3 方法歸納與比較

對以上研究工作進行總結(jié)歸納，詳見表2。

由表2可以看出，已經(jīng)有大量基于傳統(tǒng)深度學習的方面級情感分類方法。大部分研究工作針對需要解決的問題和模型的特性，將不同的模型和機制相互融合。但是，由于傳統(tǒng)深度學習本身所具有的不可推理和不可解釋的局限性，導致基于傳統(tǒng)深度學習的方法進入緩慢發(fā)展時期。同時，業(yè)界研究人員認為，圖神經(jīng)網(wǎng)絡的可推理和高可解釋的特性，恰好彌補了傳統(tǒng)深度學習的局限，從而在近兩年變得愈加活躍。

通過圖神經(jīng)網(wǎng)絡方法研究給出的部分實驗結(jié)果可知，利用圖卷積網(wǎng)絡GCN捕獲遠程單詞之間的依賴關(guān)系比其他一些深度學習方法更勝一籌，表現(xiàn)出很大的潛力。因此，在今后的研究中，會有更多的圖神經(jīng)網(wǎng)絡方法逐漸登上舞臺，為方面級情感分類做出貢獻。盡管如此，圖神經(jīng)網(wǎng)絡本身仍存在著一些有待解決的問題，例如疊加多層圖卷積反而會使訓練效果變差，處理大規(guī)模數(shù)據(jù)會使算法復雜度成指數(shù)增長等。方面級情感分類在近幾年發(fā)展迅速，但是在深度學習領域的發(fā)展仍面臨著巨大的挑戰(zhàn)，且需要一個漫長的過程。

3 常用數(shù)據(jù)集與應用概述

3.1 常用數(shù)據(jù)集

方面級別情感分析（aspect-based sentiment analysis，簡稱ABSA）領域最常用的是SemEval數(shù)據(jù)集，其基本任務是對Twitter文本進行情感分析。SemEval數(shù)據(jù)集的官方鏈接如表3所示。

3.1.1 SemEval-2014 Task 4數(shù)據(jù)集的子任務[34]

1）方面詞抽?。╝spect term extraction）。給定針對某個實體（比如餐廳）的一些句子，識別其中的方面詞。

2）方面詞（aspect term）的極性分類。給定一個句子和這個句子里的所有方面詞，判定每一個方面詞的情感極性?？赡艿臉O性包括正面（positive）、負面（negative）、中性（neutral）和沖突（conflict）。

3）方面類別（aspect category）識別。給定一個句子，識別出其中的類別（一個句子可能包含多個類別）。

4）方面類別的情感分類。給定一個句子以及句子里的一個或者多個方面類別，輸出每個類別的情感分類。和子任務2的分類一樣，這里的分類也分為正面、負面、中性和沖突。

3.1.2 SemEval-2015 Task 12數(shù)據(jù)集的子任務[35]

1）域內(nèi)（in-domain）任務。給定一個完整的評論，需要完成以下3個子任務。

①方面類別識別。識別評論里所有的實體（E）和屬性（A）對。E和A都是預定義集合中的某一個值。

②想法意圖表示（opinion target expression，簡稱OTE）識別。只有餐館數(shù)據(jù)集上有標注數(shù)據(jù)，OTE任務的輸入是所有的實體和屬性對，需要識別實體和屬性對里實體E對應的字符串。

③情感分類。給定一個有上下文的句子和所有的實體和屬性對，對其情感進行分類，可能的分類為正面、負面和中性。

2）域外（out-of-domain）任務。增加了一個酒店的測試數(shù)據(jù)集（沒有訓練數(shù)據(jù)），然后考察模型在不同領域的泛化能力。

3.1.3 SemEval-2016 Task 5數(shù)據(jù)集的子任務[36]

1）句子級別的ABSA。給定某個實體（餐館或酒店）的一篇評論中的一個句子，需要確定所有觀點的以下3方面內(nèi)容。

①方面類別檢測（aspect category detection）。確定文本里出現(xiàn)的所有實體和屬性對，其中實體E來自預定義的實體類列表，屬性A來自預定義的屬性標簽列表。

②想法意圖表示（OTE）。只有餐館數(shù)據(jù)集有該任務，需要確定每個實體和屬性對里實體所對應的字符串的開始下標和結(jié)束下標，如果找不到則輸出"NULL"。

③情感極性。給定一個有上下文的句子和所有的實體和屬性對，對其情感進行分類，可能的分類為正面、負面和中性。

2）篇章級別的ABSA。句子級別的問題是模型不能參考上下文，因此還有一個篇章級別的ABSA任務。它的任務和句子級別的任務是一樣的，輸入的是整個評論文本。

3）域外（out-of-domain）ABSA。通過無訓練數(shù)據(jù)的測試數(shù)據(jù)集考察模型在不同領域的泛化能力。

3.1.4 SemEval-2017 Task 4數(shù)據(jù)集的子任務[37]

1）對Twitter文本進行情感分類，分為積極、消極和中立。

2）給定一個Twitter文本和一個topic，判斷Twitter文本內(nèi)容關(guān)于這個topic的情感傾向，分為積極和消極。

3）在子任務2的基礎上，更加精細地分類，分為非常積極、弱傾向積極、中立、弱傾向消極、非常消極5個程度。

4）給定一個topic和一組Twitter文本，估計文本在積極和消極2個情感程度上的分布。

5）給定一個topic和一組Twitter文本，估計文本在積極、消極、非常積極、弱傾向積極、中立、弱傾向消極、非常消極5個情感程度的分布。

3.2 實際應用概述

情感分類是一種具有很大實際應用價值的文本分類技術(shù)[38]，筆者從個人角度的商品評價和企業(yè)角度的民意測評來簡單闡述情感分類的應用。

3.2.1 商品評價

當個人試圖去做某個決定并轉(zhuǎn)化為行為時，通常會考慮他人的意見、建議、觀點及看法?；蛘哒f，他人的意見和看法會對一個人的決定和行為產(chǎn)生顯著影響。例如，當某人在購買一款商品時，就會主動考慮朋友、同事等對這個商品的意見。在大數(shù)據(jù)時代，更多的還會從互聯(lián)網(wǎng)上搜集與此商品有關(guān)的熱點評價或各種形式的開放信息，根據(jù)這些信息來決定是否購買商品[39]。通過情感分類技術(shù)將商品評價分類，獲取可以讓人們更好地判斷商品的價值信息。

3.2.2 民意測評

一個企業(yè)如果想要了解自己的產(chǎn)品或服務在大眾心中的品質(zhì)形象和評價等信息，過去只能通過面對面交流或采取調(diào)查問卷的方式獲取。在如今的大數(shù)據(jù)時代，可以直接從互聯(lián)網(wǎng)上獲取大量的相關(guān)信息。對于更加高效地了解大眾的情感導向，情感分類提供了關(guān)鍵的技術(shù)支持。

4 研究與展望

深度學習已經(jīng)在情感分類領域做出很大貢獻。利用深度學習模型間相互結(jié)合并加入一定的機制，可以更精確地識別句子的語義表達，從而判斷出細節(jié)以及整個文檔的情感極性，展現(xiàn)出對不同類型情感分類的適應能力。本文介紹了各種深度學習體系結(jié)構(gòu)應用在方面級情感分類中的研究，將其分為2大類并細分為4個類別，分別是基于卷積神經(jīng)網(wǎng)絡、基于記憶神經(jīng)網(wǎng)絡、基于循環(huán)神經(jīng)網(wǎng)絡以及基于圖卷積網(wǎng)絡的方法。

在情感分類研究領域，方面級情感分類發(fā)展迅速，在單領域和單一語言上不斷取得成果，但在一些方面仍面臨挑戰(zhàn)。例如由于語言的多樣性與復雜性，不同領域間的情感表達差別較大。特別是當領域差異過大時，如將商品評論領域訓練的情感分析模型應用到新聞領域上，情感分析的效率和性能則會下降。因此，訓練高效的通用領域情感分析模型非常值得研究。同時，在近兩年開始嶄露頭角的基于圖神經(jīng)網(wǎng)絡的方法所展現(xiàn)出的巨大潛力，預示著在今后的研究中，圖神經(jīng)網(wǎng)絡可能成為解決現(xiàn)有問題的一種有效途徑，使得方面級情感分類得到進一步提升。

情感分析在技術(shù)上具有廣闊的發(fā)展空間，在深度學習領域還有許多亟待解決的難點、痛點問題，今后應圍繞以下問題開展進一步研究。

1）多種不同的圖神經(jīng)網(wǎng)絡模型與不同的機制相融合。在當前基于圖神經(jīng)網(wǎng)絡方法的研究中，大多數(shù)都使用了經(jīng)典的圖卷積網(wǎng)絡GCN，然而，一些研究人員提出了同樣優(yōu)異甚至表現(xiàn)更好的GCN變體和一些其他圖神經(jīng)網(wǎng)絡模型，例如AM-GCN[40]，P-GNN[41]等。如何結(jié)合這些圖神經(jīng)網(wǎng)絡模型的特性用于方面級情感分類任務中是一個值得探索的研究方向。

2）對多語言文本和低資源語言的情感分析。目前由于低資源語言缺乏大量的權(quán)威標注數(shù)據(jù)集，并且單一語言的成果無法泛化到多語言環(huán)境，使得對多語言文本和低資源語言的研究工作較少。因此，針對多語言文本和低資源語言的情感分析將是一個新的研究方向。

3）多模態(tài)數(shù)據(jù)的情感分析。多模態(tài)數(shù)據(jù)是指包含文本、視覺和聽覺信息的多類型數(shù)據(jù)，可以為傳統(tǒng)的文本特征提供額外的情感信息。由于深度學習模型可以將輸入映射到某個潛在空間進行特征表示，因此也可以同時映射多模態(tài)數(shù)據(jù)的輸入，來學習融合多模態(tài)數(shù)據(jù)提供的情感特征信息，例如使用特征串聯(lián)、聯(lián)合潛在空間或其他更復雜的融合方法。將多模態(tài)數(shù)據(jù)與深度學習技術(shù)結(jié)合，用多模態(tài)數(shù)據(jù)幫助情感分析是一個具有潛力的方向。

隨著社會媒體數(shù)據(jù)的海量興起，研究人員可以在大數(shù)據(jù)的基礎上開展實驗。期待在不久的將來，研究人員可以搭建出更加完善的情感分析系統(tǒng)，為自然語言處理領域的發(fā)展做貢獻。

參考文獻/References：

[1]ZHANG L， WANG S， LIU B. Deep learning for sentiment analysis： A survey[J]. Wiley Interdisciplinary Reviews： Data Mining and Knowledge Discovery， 2018， 8（4）： 1253.

[2]洪巍，李敏.文本情感分析方法研究綜述[J].計算機工程與科學，2019，41（4）：750-757.

HONG Wei，LI Min.A review：Text sentiment analysis methods[J].Computer Engineering and Science，2019，41（4）：750-757.

[3]陳龍，管子玉，何金紅，等.情感分類研究進展[J].計算機研究與發(fā)展，2017，54（6）：1150-1170.

CHEN Long，GUAN Ziyu，HE Jinhong，et al.A survey on sentiment classification[J].Journal of Computer Research and Development，2017，54（6）：1150-1170.

[4]申影利，趙小兵.基于深度學習的方面級情感分析綜述[J].信息技術(shù)與標準化，2020（1）：50-53.

SHEN Yingli，ZHAO Xiaobing.A review of research on aspect-based sentiment analysis based on deep learning[J].Information Technology & Standardization，2020（1）：50-53.

[5]KIPF T N，WELLING M.Semi-supervised Classification with Graph Convolutional Networks[EB/OL].[2017-02-22].https：//arxiv.org/pdf/1609.02907v4.pdf.

[6]ZHOU J，CUI G Q，ZHANG Z Y，et al.Graph Neural Networks：A Review of Methods and Applications[EB/OL].[2019-07-10].https：//arxiv.org/pdf/1812.08434.pdf.

[7]NGUYEN H T， NGUYEN L M. Effective attention networks for aspect-level sentiment classification[C]//2018 10th International Conference on Knowledge and Systems Engineering （KSE）. Ho Chi Minh City： Institute of Electrical and Electronics Engineers， 2018： 25-30.

[8]KRIZHEVSKY A，SUTSKEVER I，HINTON G E.ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM， 2017，60（6）： 84-90.

[9]HUANG B X，CARLEY K M.Parameterizedconvolutional neural networks for aspect level sentiment classification[C]//Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. Brussels： Association for Computational Linguistics， 2018：1091-1096.

[10]FAN C， GAO Q， DU J， et al. Convolution-based memory network for aspect-based sentiment analysis[C]//The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval. New York： ACM， 2018： 1161-1164.

[11]LI X， BING L， LAM W， et al. Transformation networks for target-oriented sentiment classification[C]//Meeting of the Association for Computational.Melbourne： Association for Computational Linguistics， 2018：1805-1815.

[12]XUE W， LI T. Aspect based sentiment analysis with gated convolutional networks[C]//Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics （Long Papers）.Melbourne： Association for Computational Linguistics， 2018： 2514-2523.

[13]TANG D Y， QIN B， LIU T. Aspectlevel sentiment classification with deep memory network[C]//Proceedings of the 2016 Conference on Empirical Methods.Austin：Association for Computational Linguistics，2016：214-224.

[14]LI C， GUO X， MEI Q. Deep memory networks for attitude identification[C]//Proceedings of the Tenth ACM International Conference on Web Search and Data Mining. New York： ACM， 2017： 671-680.

[15]TAY Y， TUAN L A， HUI S C. Dyadic memory networks for aspect-based sentiment analysis[C]//Proceedings of the 2017 ACM on Conference on Information and Knowledge Management. New York： ACM， 2017： 107-116.

[16]CHEN P， SUN Z， BING L， et al. Recurrent attention network on memory for aspect sentiment analysis[C]//Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. Copenhagen： Association for Computational Linguistics， 2017： 452-461.

[17]CHUNG J Y， GULCEHRE C， CHO K H， et al. Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling[EB/OL].[2014-12-11].https：//arxiv.org/pdf/1412.3555v1.pdf.

[18]WU X， HE R， SUN Z N， et al. A light CNN for deep face representation with noisy labels[J]. IEEE Transactions on Information Forensics and Security， 2018， 13（11）：2884-2896.

[19]TANG D Y，QIN B，F(xiàn)ENG X C，et al.Effective LSTMs for target-dependent sentiment classification[C]//

Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing.Austin： Association for Computational Linguisties，2016，606-615.

[20]ZHANG M， ZHANG Y， VO D T. Gated neural networks for targeted sentiment analysis[C]//Thirtieth AAAI Conference on Artificial Intelligence. Phoenix： AAAI Press，2016： 3087-3093.

[21]RUDER S，GHAFFARI P，BRESLIN J G.A hierarchical model of reviews for aspect-based sentiment analysis[C]//Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processin. Austin： Association for Computational Linguistics， 2016：999-1005.

[22]WANG Y， HUANG M， ZHU X， et al. Attention-based LSTM for aspect-level sentiment classification[C]//Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing.Austin： Association for Computational Linguistics， 2016： 606-615.

[23]YANG M， TU W， WANG J， et al. Attention-based LSTM for target-dependent sentiment classification[C]//Proceedings of the Thirty-first AAAI Conference on Artificial Intelligence. San Francisco： AAAI Press， 2017： 5013-5014.

[24]LIU J， ZHANG Y. Attention modeling for targeted sentiment[C]//Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics： Volume 2， Short Papers. Valencia： Association for Computational Linguistics， 2017： 572-577.

[25]HUANG B， OU Y， CARLEY K M. Aspect level sentiment classification with attention-over-attention neural networks[C]//International Conference on Social Computing， Behavioral-Cultural Modeling and Prediction and Behavior Representation in Modeling and Simulation.Washington： Springer， 2018： 197-206.

[26]MA D， LI S， ZHANG X， et al. Interactive attention networks for aspect-level sentiment classification[C]//Twenty-Sixth International Joint Conference on Artificial Intelligence. Melbourne： International Joint Conferences on Artificial Intelligence， 2017： 4068-4074.

[27]ZHANG C，LI Q C，SONG D W.Aspect-based sentiment classification with aspect-specific graph convolutional networks[C]//

Proceedings of the 2019 Conference on Empircal Methods in Natural Language Processing and the 9th International

Joint Conference on Natural Language Porcessing（EMNIP-IJNLP）.Hongkong Association for Computational Linguistics，2019：4568-4578.

[28]ZHAO P L， HOU L L， WU O. Modeling sentiment dependencies with graph convolutional networks for aspect-level sentiment classification[J]. Knowledge-Based Systems， 2020， 193： 105443.

[29]HOU X C，HUANG J，WANG G T，et al.Selective Attention Based Graph Convolutional Networks for Aspect-level Sentiment Classification[EB/OL].[2020-04-07].https：//arxiv.org/abs/1910.10857.pdf.

[30]XIAO L W， HU X H， CHEN Y N， et al. Targeted sentiment classification based on attentional encoding and graph convolutional networks[J]. Applied Sciences， 2020， 10（3）： 957.

[31]DEVLIN J，CHANG M W，LEE K，et al.BERT：Pre-training of Deep Bidirectional Transformers for Language Understanding[EB/OL].

[2019-05-24].https：//arxiv.org/pdf/1810.04805.pdf.

[32]VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need[C]//Advances in Neural Information Processing Systems. Long Beach： NIPS， 2017： 5998-6008.

[33]PENNINGTON J， SOCHER R， MANNING C D. Glove： Global vectors for word representation[C]//Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing （EMNLP）.Doha： Association for Computational Linguistics， 2014： 1532-1543.

[34]PONTIKI M， GALANIS D， PAVLOPOULOS J， et al. Semeval-2014task 4： Aspect based sentiment analysis[C]//Proceedings of the 8th International Workshop on Semantic Evaluation （SemEval 2014）. Dublin： Association for Computational Linguistics， 2014： 27-35.

[35]PONTIKI M， GALANIS D， PAPAGEORGIOU H， et al. Semeval-2015 task 12： Aspect based sentiment analysis[C]//Proceedings of the 9th International Workshop on Semantic Evaluation （SemEval-2015）. Denver： Association for Computational Linguistics， 2015： 486-495.

[36]PONTIKI M， GALANIS D， PAPAGEORGIOU H， et al. Semeval-2016 task 5： Aspect based sentiment analysis[C]//Proceedings of the 10th International Workshop on Semantic Evaluation （SemEval-2016）. San Diego： Association for Computational Linguistics， 2016：19-30.

[37]ROSENTHAL S， FARRA N， NAKOV P. SemEval-2017 task 4： Sentiment analysis in Twitter[C]//Proceedings of the 11th International Workshop on Semantic Evaluation （SemEval-2017）. Vancouver： Association for Computational Linguistics，2017： 502-518.

[38]LI Q，PENG H，LI J X，et al.A survey on text classification：From shallow to deep learning[J].Association for Computing Machinery，2020，37（4）：35-69.

[39]江紅.情感分析研究綜述[J].智能計算機與應用，2018，8（5）：103-105.

JIANG Hong.Research on sentiment analysis[J].Intelligent Computer and Applications，2018，8（5）：103-105.

[40]WANG X， ZHU M， BO D， et al. AM-GCN： Adaptive multi-channel graph convolutional networks[C]//Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York： ACM， 2020： 1243-1253.

[41]YOU J X， YING R， LESKOVEC J. Position-aware graph neural networks[C]// Proceedings of the 36th International Conference on Machine Learning. Long Beach： Computer Science， 2019：1-10.