雷葉

摘 要：方面術(shù)語提取是基于方面的情感分析中的一個(gè)關(guān)鍵的任務(wù)，其目的是從在線用戶評(píng)論中提取關(guān)鍵的方面術(shù)語。本文通過在現(xiàn)實(shí)數(shù)據(jù)上使用了一個(gè)解決方面術(shù)語提取任務(wù)的新框架。該框架通過挖掘2個(gè)有用的線索，即意見摘要和方面預(yù)測(cè)的歷史。意見摘要是從整個(gè)輸入語句中提取出來的關(guān)鍵詞，以每個(gè)當(dāng)前標(biāo)記為條件進(jìn)行方面預(yù)測(cè)，因此確定的摘要可以幫助對(duì)該標(biāo)記進(jìn)行方面預(yù)測(cè)。另一條線索是方面預(yù)測(cè)的歷史，是從以前的方面預(yù)測(cè)中提取出來的關(guān)鍵詞，以便利用坐標(biāo)結(jié)構(gòu)和標(biāo)注模式約束來更好地做出方面預(yù)測(cè)。用此模型分析餐館的用戶評(píng)論，最終的實(shí)驗(yàn)結(jié)果則展示了良好的提取結(jié)果。

關(guān)鍵詞： 方面提取;長(zhǎng)短期記憶網(wǎng)絡(luò);注意力機(jī)制;展望

文章編號(hào)： 2095-2163（2019）03-0259-04 中圖分類號(hào)： TP391.1 文獻(xiàn)標(biāo)志碼： A

0 引 言

隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)上購(gòu)物、網(wǎng)上點(diǎn)餐等方便快捷的生活方式日益深入人們的生活。與之相適應(yīng)的是，人們?cè)谶@些平臺(tái)上發(fā)表的評(píng)論信息也正在呈指數(shù)級(jí)的方式增長(zhǎng)。這些信息數(shù)量龐大，在一定程度上有著重要的研究?jī)r(jià)值。對(duì)這些評(píng)論信息進(jìn)行分析，不僅能引導(dǎo)消費(fèi)者的消費(fèi)行為，而且有利于商家掌握消費(fèi)者需求，從而有針對(duì)性地做出產(chǎn)品改進(jìn)。快速有效地提取、利用網(wǎng)絡(luò)信息已成為學(xué)界關(guān)注的焦點(diǎn)，從文本中提取方面術(shù)語也是其中的一個(gè)關(guān)鍵研究課題?，F(xiàn)今，許多研究人員將方面術(shù)語提取表示為序列標(biāo)記問題或標(biāo)記級(jí)分類問題。傳統(tǒng)的序列模型如條件隨機(jī)域（CRFs） [1-3]、Long Short-Term Memory Networks （LSTMs） [4] 以及SVM等分類模型 [5]都被應(yīng)用于方面術(shù)語提取的任務(wù)處理，性能較為合理。但是上述方法也有不足，也就是根據(jù)任務(wù)的定義，方面術(shù)語應(yīng)該與表示意見的詞相一致。因此，這些方法對(duì)非主觀性句子中經(jīng)常使用的方面詞的提取上就容易出現(xiàn)偏差，如 “The restaurant installation is very comfortable， does not affect the dining” 中的 “restaurant” 一詞，不應(yīng)該提取出來，因?yàn)檫@個(gè)句子中并沒有表達(dá)任何觀點(diǎn)。

有一些文獻(xiàn)在進(jìn)行方面術(shù)語提取研究時(shí)考慮了意見術(shù)語。文獻(xiàn)[6] 提出遞歸神經(jīng)條件隨機(jī)域 （Recursive Neural Conditional Random Fields， RNCRF） ，在一個(gè)框架內(nèi)開展方面和觀點(diǎn)提取。通過聯(lián)合抽取和基于依賴的表示學(xué)習(xí)，建立了方面意見關(guān)系的模型。RNCRF的一個(gè)假設(shè)是依賴關(guān)系解析將捕獲同一句話中方面術(shù)語和觀點(diǎn)詞之間的關(guān)系，從而使聯(lián)合提取受益。這種假設(shè)通常適用于簡(jiǎn)單的句子，但對(duì)于一些復(fù)雜的結(jié)構(gòu)，如分句和括號(hào)，這種假設(shè)是很脆弱的。此外，由于RNCRF的網(wǎng)絡(luò)結(jié)構(gòu)依賴于輸入的依賴樹，因此存在依賴解析錯(cuò)誤。CMLA [7]在不使用句法的情況下對(duì)方面意見關(guān)系進(jìn)行建模。這是使2個(gè)任務(wù)能夠通過注意機(jī)制共享信息。例如，方法中利用全局意見信息，直接計(jì)算方面原型和個(gè)人意見隱藏表示之間的關(guān)聯(lián)得分，而后執(zhí)行加權(quán)聚合。然而，這種聚集可能會(huì)帶來噪聲。分析可知，這一缺陷多半在一定程度上是由注意機(jī)制繼承而來的。

為了更好地利用意見信息輔助方面項(xiàng)的提取，研究將整個(gè)輸入語句的意見信息提取作為意見摘要，這種提取是以特定的當(dāng)前令牌為條件進(jìn)行方面預(yù)測(cè)的。繼而，將意見摘要作為當(dāng)前方面預(yù)測(cè)的特征之一。以“the hotel is nice but not very quiet”這一句為例，當(dāng)本文的模型對(duì)“hotel”這個(gè)詞進(jìn)行預(yù)測(cè)時(shí)，將運(yùn)行生成一個(gè)以“hotel”為條件的對(duì)整個(gè)句子的意見總結(jié)。由于“hotel”與“quiet”（一個(gè)點(diǎn)評(píng)詞）之間存在著很強(qiáng)的相關(guān)性，因此點(diǎn)評(píng)總結(jié)會(huì)傳達(dá)更多關(guān)于“quiet”的信息，從而幫助預(yù)測(cè)“hotel”作為一個(gè)高概率的方面。需要注意的是，意見摘要是建立在輔助意見檢測(cè)任務(wù)的初始意見特征基礎(chǔ)上的，這些初始意見特征在意見詞區(qū)分上已經(jīng)顯出一定成效。此外，研究還提出了一種新的轉(zhuǎn)換網(wǎng)絡(luò)，可以幫助增強(qiáng)“hotel”和“quiet”之間的良好關(guān)聯(lián)，從而使生成的意見總結(jié)包含更少的噪音。

這里，對(duì)方面預(yù)測(cè)的研究進(jìn)行梳理后可知：一方面，在序列標(biāo)注中，之前時(shí)間步長(zhǎng)的預(yù)測(cè)是減少當(dāng)前預(yù)測(cè)誤差空間的有用線索。例如，在B-I-O標(biāo)注中（參見2.1節(jié)） ，如果之前的預(yù)測(cè)為O，則當(dāng)前的預(yù)測(cè)不能為I; 另一方面，研究中還觀察到，有些句子包含多個(gè)方面的術(shù)語。例如，蘋果在產(chǎn)品質(zhì)量、美學(xué)、工藝技術(shù)等方面都是無與倫比的，而客戶服務(wù)在各方面都有協(xié)調(diào)的結(jié)構(gòu)。在此結(jié)構(gòu)下，利用之前預(yù)測(cè)的常用方面術(shù)語（如產(chǎn)品質(zhì)量），可以幫助模型找到不經(jīng)常出現(xiàn)的方面術(shù)語（如工藝）。為了捕捉上述線索，本文研發(fā)的模型提取了之前方面檢測(cè)的信息，以便更好地預(yù)測(cè)當(dāng)前狀態(tài)。

總而言之，本文將通過一個(gè)該框架在網(wǎng)站評(píng)論的應(yīng)用，進(jìn)行方面術(shù)語的提取。研發(fā)步驟如下，旨在利用意見摘要和方面檢測(cè)歷史來更準(zhǔn)確地提取方面術(shù)語。過程中，使用了2個(gè)標(biāo)準(zhǔn)的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（LSTMs）來構(gòu)建初始方面和記錄順序信息的意見表示。為了在每個(gè)時(shí)間步將歷史信息編碼到初始方面表示中，截?cái)鄽v史注意，從最近的方面預(yù)測(cè)中提取有用的特性，并生成具有歷史意識(shí)的方面表示。研究還設(shè)計(jì)了一個(gè)選擇性的轉(zhuǎn)換網(wǎng)絡(luò)，在每一步都能得到意見摘要。也就是，文中應(yīng)用方面信息來轉(zhuǎn)換最初的意見表示，并將注意力投放在轉(zhuǎn)換后的表示上以生成意見摘要。實(shí)驗(yàn)結(jié)果表明，本文用該框架提取了網(wǎng)站評(píng)論的關(guān)鍵詞。

1 相關(guān)工作

研究最初，有學(xué)者基于意見詞通常對(duì)于方面周圍的觀察，開發(fā)了一個(gè)用于處理方面術(shù)語提取的自引導(dǎo)框架。文獻(xiàn)[8-9]中，基于復(fù)雜的句法模式對(duì)aspect terms和opinion words進(jìn)行共提取。然而，在處理非正式的在線評(píng)論時(shí)，依賴語法模式會(huì)出現(xiàn)解析錯(cuò)誤。針對(duì)這一缺陷，文獻(xiàn)[10-11]采用基于單詞的翻譯模型。具體來說，這些模型將方面術(shù)語提取任務(wù)表示為單語單詞對(duì)齊過程，而方面-意見關(guān)系由對(duì)齊鏈接捕獲，而不是單詞依賴關(guān)系。方面術(shù)語提取任務(wù)也可以表示為一個(gè)令牌級(jí)序列標(biāo)記問題。最近，基于神經(jīng)網(wǎng)絡(luò)的模型，如基于LSTM[4]和CNN[12]方法成為主流。在此基礎(chǔ)上，提出了聯(lián)合提取方面和觀點(diǎn)的神經(jīng)模型。文獻(xiàn)[6]在單個(gè)基于樹的遞歸神經(jīng)網(wǎng)絡(luò)中完成這2項(xiàng)任務(wù)。其中的網(wǎng)絡(luò)結(jié)構(gòu)依賴于依存關(guān)系語法解析，但是用于非正式的評(píng)論很容易出錯(cuò)。CMLA[7]由標(biāo)準(zhǔn)GRUs之上的多個(gè)注意層組成，提取方面和意見詞。同樣，MIN[13]在多任務(wù)學(xué)習(xí)框架下，使用多個(gè)LSTMs交互地進(jìn)行方面術(shù)語的提取和意見單詞的提取。本文的框架與前述工作的不同之處在于：

（1）能夠過濾意見摘要，在原始意見表示中加入每一步的方面特征。

（2）利用方面檢測(cè)的歷史信息，捕捉坐標(biāo)結(jié)構(gòu)和以前的方面特征。

研究至此，最終的實(shí)驗(yàn)結(jié)果表明，本文中使用的模型[14] 有著出色的表現(xiàn)。

2 模型

2.1 方面術(shù)語

給定一個(gè)包含了T個(gè)單詞的序列X={x1，…，xT}，方面術(shù)語提取可以表示為記號(hào)/單詞級(jí)序列標(biāo)記問題，用于預(yù)測(cè)方面標(biāo)記序列y={y1，…，yT}，其中每個(gè)yi來自一個(gè)有限的標(biāo)簽集Y = {B， I， O}，由其描述了可能的方面標(biāo)簽。方面術(shù)語示例見表1。

表1中，B、I和O分別表示方面跨越空間的開始、內(nèi)部（inside）和外面（outside）。

2.2 模型描述

該模型包含2個(gè)關(guān)鍵部分，即：截?cái)鄽v史記錄的注意力和選擇轉(zhuǎn)換網(wǎng)絡(luò)，用于捕獲歷史信息的方面檢測(cè)和意見摘要。該模型建立在2個(gè)LSTMs上，分別為方面術(shù)語提取和輔助意見檢測(cè)任務(wù)生成關(guān)鍵字表示。方法中將面向方面檢測(cè)歷史信息集成到當(dāng)前的面向特征中，生成一個(gè)新的面向歷史的感知表示。選擇轉(zhuǎn)換網(wǎng)絡(luò)時(shí)，首先根據(jù)當(dāng)前方面候選對(duì)象計(jì)算一個(gè)新的意見表示。然后，利用一個(gè)雙線注意網(wǎng)絡(luò)，根據(jù)新的意見表示與當(dāng)前方面表示的關(guān)聯(lián)，計(jì)算出意見摘要作為新意見表示的加權(quán)和。最后，將歷史感知方面表示和意見摘要連接起來作為當(dāng)前時(shí)間步長(zhǎng)方面預(yù)測(cè)的特征。方面術(shù)語和意見總結(jié)的預(yù)測(cè)公式可表示為：

當(dāng)T=1時(shí)，表示方面術(shù)語網(wǎng)絡(luò)中使用的公式;當(dāng)T=2時(shí)，表示意見總結(jié)中作為全連接層的預(yù)測(cè)。WTf和bTf表示全連接層的參數(shù)。

本次研究中，損失函數(shù)可寫作如下數(shù)學(xué)形式：

3 實(shí)驗(yàn)

3.1 模型對(duì)比

本數(shù)據(jù)集選自網(wǎng)上截取的數(shù)據(jù)案例進(jìn)行分析，由此研究得到的模型比較數(shù)據(jù)結(jié)果，詳見表2。

同時(shí)，關(guān)于本次研究選用的對(duì)比模型可概述如下：

（1）LSTM：普通的雙向LSTM，帶有預(yù)先訓(xùn)練好的單詞嵌入。

（2）CRF-1：帶有基本特征模板的條件隨機(jī)字段。

（3）CRF-2：帶有基本功能模板和單詞嵌入的條件隨機(jī)字段。

（4）CMLA [6] ：CMLA是一個(gè)多層架構(gòu)，每層由2個(gè)耦合的GRUs組成，用來建模方面術(shù)語和意見詞之間的關(guān)系。

本文的框架致力于提取以意見信息為輔助的方面術(shù)語，后兩種模型則是聯(lián)合提取方面和意見，研究中擬使用現(xiàn)有的意見詞典來提供較弱的意見監(jiān)督。對(duì)比結(jié)果見表3。

由對(duì)比結(jié)果可以知道，CMLA利用注意機(jī)制提取意見信息來幫助方面提取，本文提出的框架始終比其它框架表現(xiàn)得更好。對(duì)其性能優(yōu)勢(shì)可表述如下：

（1）在本文的模型中，意見摘要是在對(duì)當(dāng)前方面特征進(jìn)行選擇性轉(zhuǎn)換后加以利用的，因此，意見摘要在一定程度上可以避免由于直接應(yīng)用常規(guī)注意而產(chǎn)生的噪聲。

（2）通過歷史的關(guān)注，本文的模型可以在坐標(biāo)結(jié)構(gòu)中一些常用方面的指導(dǎo)下發(fā)現(xiàn)一些不尋常的方面。

帶有基本特征模板的CRF在運(yùn)行性能上仍有待完善，因此研究中特別添加了CRF-2作為另一個(gè)基線。由表3可知，在所有數(shù)據(jù)集上，使用word嵌入的CRF-2比CRF-1獲得更好的結(jié)果。因此，上述對(duì)比表明，word嵌入是有用的，包含結(jié)構(gòu)信息的嵌入可以進(jìn)一步提高性能。

3.2 方面提取結(jié)果

本文從美國(guó)的大眾點(diǎn)評(píng)網(wǎng)站（www.yelp.com）爬取到香港地區(qū)的餐館的評(píng)論內(nèi)容，利用這些評(píng)論數(shù)據(jù)來組織仿真測(cè)試，對(duì)爬取的數(shù)據(jù)進(jìn)行了分句處理后，則轉(zhuǎn)入注意力機(jī)制的模型中進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果見表4。

實(shí)驗(yàn)結(jié)果表明，研究可以從句子中提取出相應(yīng)的關(guān)鍵詞，為現(xiàn)在對(duì)句子的情感分析提供了幫助。

4 結(jié)束語

時(shí)下，餐館評(píng)論是在自然語言處理方面受到多方重視與關(guān)注的研究?jī)?nèi)容。為了更準(zhǔn)確地提取方面術(shù)語，研究探索了2種重要類型的信息，即歷史信息的方面檢測(cè)和意見摘要。設(shè)計(jì)了截?cái)鄽v史注意和選擇性轉(zhuǎn)換網(wǎng)絡(luò)兩部分。實(shí)驗(yàn)結(jié)果表明，該模型提取出的關(guān)鍵詞都有助于后續(xù)對(duì)于句子做文本分析。本次研究對(duì)于深度學(xué)習(xí)知識(shí)的挖掘就是為了給人們的現(xiàn)實(shí)生活帶來更多便利，做句子的情感分析也是大數(shù)據(jù)分析領(lǐng)域的一個(gè)熱門研究方向，可以預(yù)期在未來的相關(guān)工作中也將會(huì)收獲到更大的研究進(jìn)展和更多的應(yīng)用成果。

參考文獻(xiàn)

[1]CHERNYSHEVICH M. Ihs r&d belarus：Cross-domain extraction of product features using CRF[C]//Proceedings of the 8th International Workshop on Semantic Evaluation （SemEval 2014）. Dublin， Ireland： Association for Computational Linguistic， 2014： 309-313.

[2]TOH Z， WANG Wenting. Dlirec：Aspect term extraction and term polarity classification system[C]// Proceedings of the 8th International Workshop on Semantic Evaluation （SemEval 2014）. Dublin， Ireland： Association for Computational Linguistic，2014： 235-240.

[3]TOH Z， SU Jian. Nlangp at semeval-2016 task 5： Improving aspect based sentiment analysis using neural network features[C]// Proceedings of the 10th International Workshop on Semantic Evaluation （SemEval-2016）. San Diego， California：Association for Computational Linguistic， 2016：282-288.

[4]LIU Pengfei， JOTY S， MENG H. Fine-grained opinion mining with recurrent neural networks and word embeddings[C]//Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing.Lisbon， Portugal：Association for Computational Linguistic， 2015：1433-1443.

[5]MANEK A S， SHENOY P D， MOHAN M C， et al. Aspect term extraction for sentiment analysis in large movie reviews using Gini index feature selection method and SVM classifier[J]. World Wide Web， 2017，20（2）：135-154.

[6]WANG Wenya， PAN Jialin， DAHLMEIER D， et al. Recursive neural conditional random fields for aspect-based sentiment analysis[C]// Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Austin，Texas：Association for Computational Linguistic， 2016：616-626.

[7]WANG Wenya， PAN Jialin， DAHLMEIER D， et al. Coupled multi-layer attentions for co-extraction of aspect and opinion terms[C]//Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence（AAAI-17）.San Francisco，California，USA：AAAI ， 2017： 3316-3322.

[8]POPESCU A M， ETZIONI O. Extracting product features and opinions from reviews[C]//HLT '05 Proceedings of the conference on Human Language Technology and Empirical Methods in Natural Language Processing. Vancouver， British Columbia， Canada：ACM， 2005：339-346.

[9]QIU Guang， LIU Bing， BU Jiajun， et al. Opinion word expansion and target extraction through double propagation[J]. Computational Linguistics，2011， 37（1）：9-27.

[10]LIU Kang， XU Liheng，ZHAO Jun. Opinion target extraction using word-based translation model[C]// Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning. Jeju Island， Korea：ACM， 2012：1346-1356.

[11]LIU Kang， XU Hengli， LIU Yang， et al. Opinion target extraction using partially-supervised word alignment model[C]//Proceedings of the Twenty-Third International Joint Conference on Artificial Intelligence. Beijing， China ：ACM， 2013： 2134-2140.

[12]PORIA S， CAMBRIA E， GELBUKH A. Aspect extraction for opinion mining with a deep convolutional neural network[J]. Knowledge-Based Systems， 2016，108：42-49.

[13]LI Xin， LAM W. Deep multi-task learning for aspect term extraction with memory interaction[C]//Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing.Copenhagen， Denmark：Association for Computational Linguistic，2017： 2886-2892.

[14]LI Xin， BING Lidong， LI Piji， et al.? Aspect term extraction with history attention and selective transformation[J]. arXiv preprint arXiv：1805.00760，2018.