沈龍驤，鄒博偉，葉 靜，周國棟，朱巧明

(蘇州大學 計算機科學與技術學院，江蘇 蘇州 215006)

0 引言

否定語義在自然語言中十分普遍，通常用于表示人們對某一觀點的態(tài)度。否定表述通常包含一個否定運算符(例如“不”“沒有”)，該運算符對表述本身或其某一方面的語義進行了反轉(zhuǎn)。否定聚焦點是指在否定表述中最顯著被否定的文本片段，它是否定詞特別強調(diào)的語義，從更細粒度上對文本中的否定含義進行界定。在相同句子中，根據(jù)描述者所強調(diào)的否定語義之間的差別，其對應的否定聚焦點也不相同。如例1所示：

例1牛不會用叉子吃草。

在例1中，根據(jù)不同解釋，否定詞“不”的聚焦點可能對應以下三種情形之一①本文用粗體表示否定運算符，用下劃線表示否定聚焦點。：

? 否定聚焦點1：牛

解釋：牛不用叉子吃草，但其他動物可以。

? 否定聚焦點2：草

解釋：牛不用叉子吃草，但是吃其他事物。

? 否定聚焦點3：用叉子

解釋：牛吃草，但是不用叉子。

前兩種情形不符合常識及人們在使用語言時的習慣，因此例1中否定詞“不”的聚焦點應該為“用叉子”。根據(jù)以上分析可以看出，否定聚焦點識別不僅要考慮否定結構的句法特點，更重要的是其語義表示，甚至是常識及語境。Blanco和Moldovan 在否定聚焦點語料的標注工作中指出，其人工標注一致性僅為0.72[1]，這從另一個角度說明了否定聚焦點識別任務的難度。

現(xiàn)有的否定聚焦點識別方法主要集中于基于規(guī)則的方法[2]和基于特征工程的方法[1]，而這些傳統(tǒng)方法大多依賴于領域?qū)＜疫M行模板或特征設計，需要耗費很多的人力和時間代價。與傳統(tǒng)方法相比較，深度學習技術可以自動地學習特征，最小化特征工程的代價?；谏疃葘W習的方法在自然語言處理的各個任務中已經(jīng)被證明是有效的，如機器翻譯[3-4]、情感分析[5-6]、關系抽取[7-8]等。近些年來，循環(huán)神經(jīng)網(wǎng)絡(recurrent neural network，RNN)[9]及其變體長短期記憶網(wǎng)絡(long short-term memory，LSTM)[10-11]和門控循環(huán)網(wǎng)絡(gated recurrent unit，GRU)[12]在序列化數(shù)據(jù)建模方面取得了較大成功。

本文將否定聚焦點識別作為序列標注任務，采用雙向長短期記憶網(wǎng)絡(bidirectional LSTM，BiLSTM)學習否定詞上下文中前向和后向的遠距離特征，同時，在該網(wǎng)絡輸出層后增加條件隨機場(conditional random field，CRF)結構，學習輸出標簽之間的前后依賴關系。本文首先將句子中的詞進行向量化表示，同時將每個詞對應的相關特征(詞性、位置、句法信息、語義角色等)向量化，并進行組合，將組合后的向量送入BiLSTM網(wǎng)絡中進行訓練，最后通過CRF層解碼出全局最優(yōu)標注序列。

本文提出的基于BiLSTM-CRF模型的否定聚焦點識別方法在*SEM2012數(shù)據(jù)集上進行測試，準確率達到69.58%，取得了目前最好的性能。此外，相關實驗驗證了語義角色信息對否定聚焦點識別的有效性。

本文組織結構如下：第1節(jié)介紹否定聚焦點識別的相關研究及BiLSTM-CRF模型的相關工作；第2節(jié)詳細描述本文提出的基于BiLSTM-CRF模型的否定聚焦點識別方法；第3節(jié)介紹實驗設置，并對實驗結果進行分析；第4節(jié)給出本文結論。

1 相關研究

本節(jié)分別介紹否定聚焦點識別研究的進展，以及BiLSTM-CRF模型在自然語言處理研究中的相關工作。

1.1 否定聚焦點識別

否定聚焦點識別任務由德克薩斯大學的Blanco和Moldovan于2011年首次提出[1]，他們從語義角度對否定聚焦點的概念進行了定義和描述，并基于PropBank語料庫[13]標注了否定聚焦點數(shù)據(jù)集。同時，提出決策樹模型對否定聚焦點進行識別。然而，該方法采用了22類復雜繁瑣的詞法和句法特征，對特征工程依賴嚴重，需要大量人工參與和領域知識。

目前，針對否定聚焦點識別任務的研究相對匱乏，一方面原因是該任務本身難度較大(人工標注一致性僅為0.72[1])，另一方面，還未有充足的否定聚焦點識別語料供現(xiàn)有模型進行訓練(Blanco標注的數(shù)據(jù)集規(guī)模為3 993句)。*SEM2012評測任務將否定聚焦點識別作為其子任務之一[14]。Rosenberg和Bergler采用基于啟發(fā)式規(guī)則的方法來識別否定聚焦點[2]，該方法不僅需要語言專家參與制定模板，在領域適應性方面也存在一定限制。Zou等人利用上下文特征，提出基于“詞—主題”結構的雙層圖模型[15]。該方法首先需要借助海量文本建立主題模型，同時在訓練過程學習大量參數(shù)，而調(diào)參方法大多基于個人經(jīng)驗，導致該方法擴展性較差。

不同于以往的傳統(tǒng)模型，本文基于雙向長短期記憶網(wǎng)絡與條件隨機場模型來識別否定詞聚焦點。該模型能夠充分利用上下文信息，并有效捕獲相鄰詞的潛在依賴關系；此外，也擺脫了對特征工程以及基于經(jīng)驗的大量參數(shù)學習的依賴，而由神經(jīng)網(wǎng)絡自動學習參數(shù)及特征表示。據(jù)我們所知，本文首次嘗試采用神經(jīng)網(wǎng)絡模型解決否定聚焦點識別問題。

1.2 BiLSTM-CRF模型

近年來，深度學習在自然語言處理的各個任務中均取得突破性進展。其中，循環(huán)神經(jīng)網(wǎng)絡(RNN)作為一類典型的序列標注網(wǎng)絡，最早由Goller和Kuchler在1996年提出[9]；而由于RNN受限于梯度消失和梯度爆炸問題[16-17]，Hochreiter和Schmidhuber[10]提出了RNN的變體長短期記憶網(wǎng)絡(LSTM)；之后，由于LSTM只能獲取單方向的上下文信息，Graves等提出了雙向LSTM(BiLSTM)并將其應用于語音識別[18-19]，該模型可以在特定時間范圍內(nèi)有效利用過去和未來的特征。另一方面，條件隨機場(CRF)由Lafferty等于2001年提出[20]，近些年在自然語言處理領域中得到了廣泛應用。在序列標注任務中，CRF可以對輸出的相鄰標簽之間的前后依賴關系加以考慮。

基于以上原因，一些工作嘗試將BiLSTM與CRF連接起來對序列化數(shù)據(jù)進行建模。Huang等首次將BiLSTM與CRF的混合模型用于NLP的序列標注任務上[21]；Ma等將BiLSTM、CRF、CNN三種模型進行融合并應用于端到端的序列標注任務中[22]；Lample等將BiLSTM-CRF模型用于命名實體識別任務中[23]。該模型在序列標注任務上的有效性逐漸得到證實。

2 基于BiLSTM-CRF的否定聚焦點識別

本節(jié)首先介紹BiLSTM-CRF模型，然后給出基于該模型的否定聚焦點識別方法的細節(jié)。

2.1 BiLSTM-CRF模型

LSTM單元循環(huán)神經(jīng)網(wǎng)絡(RNN)適合為序列化數(shù)據(jù)建模，該模型利用前一時刻的隱藏狀態(tài)和當前輸入決定最終的輸出結果。然而，在實際應用中，RNN受限于梯度消失和梯度爆炸問題[16-17]，為解決該問題，Hochreiter和Schmidhuber提出了一個RNN的變體，LSTM網(wǎng)絡[10]。

圖1 LSTM記憶單元結構

圖1給出了LSTM記憶單元的結構，由輸入門(input gate)、輸出門(output gate)、遺忘門(forget gate)和一個細胞狀態(tài)(cell)組成，它們控制著當前信息以一定的比例傳遞到下一時刻，或者舍棄。因此，LSTM能夠有效利用長距離依賴關系，并消除冗余的上下文信息。

從圖1中可以看出，輸入門控制著輸入新信息按比例保存到細胞狀態(tài)中，遺忘門控制著細胞狀態(tài)所保留的歷史信息，輸出門決定了最終的輸出信息，t時刻的一個LSTM單元的更新公式如式(1)所示。

(1)

雙向LSTM在LSTM中僅考慮了單一方向的上下文信息，卻忽略了另一個方向。一個有效的解決方案是雙向LSTM(BiLSTM)，該模型采用兩個相反方向的并行層——前向?qū)雍秃笙驅(qū)樱謩e從序列的始端和末端開始運行，因此，可以捕獲正向與反向的上下文信息。本文將兩個LSTM層輸出的隱藏狀態(tài)進行拼接作為BiLSTM網(wǎng)絡的輸出。

CRF層在序列標注中，一個詞的標簽通常與其周圍詞的標簽存在關聯(lián)。因此，在序列標注任務中，對給定句子，一種有效的方法是將句子中當前詞與相鄰詞的標簽的關系考慮在內(nèi)，然后解碼出全局最優(yōu)的標簽序列?；诖?，本文在BiLSTM網(wǎng)絡輸出層后增加了一層條件隨機場(CRF)結構。形式地，給定句子：

S=(x1,x2,x3,…,xn)

其預測標簽序列為：

y=(y1,y2,y3,…,yn)

定義其得分如式(2)所示。

(2)

其中，T表示轉(zhuǎn)移得分矩陣，Ti,j表示從標簽i到標簽j的轉(zhuǎn)移得分，y0與yn+1是新增的句子起始標簽和終止標簽，T的維度為 (k+2)×(k+2)；E是BiLSTM的輸出得分矩陣，其維度為n×k，其中k為不同標簽的數(shù)量，Ei,j表示句子中第i個詞的第j個標簽的得分。在預測句子所有可能的標簽序列時，采用柔性最大值(softmax)對結果進行歸一化：

(3)

在訓練過程中，本文最大化正確標簽序列的對數(shù)概率如式(4)所示。

(4)

其中，YS表示句子S所有可能的標簽序列。從式(4)可以看出，該模型生成概率最大的標簽序列。解碼時，獲取最高得分的標簽序列作為最終預測的輸出序列，如式(5)所示。

(5)

BiLSTM-CRF模型圖2給出了BiLSTM-CRF模型框架。首先，將句子中的詞與其特征進行向量化；其次，將特征向量送入BiLSTM模型從前向和后向兩個方向?qū)W習上下文特征；然后，將BiLSTM的輸出結果作為CRF層的輸入；最終，由CRF層預測全局最優(yōu)的標簽序列。此外，為減小過擬合的影響，我們在BiLSTM模型兩端各添加了一個dropout層。

圖2 BiLSTM-CRF模型框架

2.2 基于BiLSTM-CRF的否定聚焦點識別

標記方案本文標注集合定義如下：

? 標記I：句子中的詞位于否定詞對應的聚焦點內(nèi)；

? 標記O：句子中的詞不屬于否定聚焦點。

以*SEM2012數(shù)據(jù)集中的一個標注實例為例，圖3給出了每個詞對應的標記。例如，該句子的否定聚焦點為mostAmericans，因此這兩個詞對應的標簽為I，而句子中其余詞對應的標簽為O。

Embedding層作為模型的輸入，本文構建embedding層對詞及對應的特征向量進行編碼。對給定句子S=(w1,w2,w3,…，wn)，首先使用向量矩陣WE將每個詞轉(zhuǎn)換成一個維度為dw的實值向量，其中WE∈dw×|V|，V表示詞表。

在自然語言處理領域的各任務中，相關研究探索了各種詞法、句法、語義等特征[24-26]。為比較各類特征在本文模型上的有效性，我們將詞性、相對位置、句法、語義角色等特征加入模型。圖3給出了各類型特征的示例，其向量化表示如下。

詞性: 向量矩陣ME1將每個詞的詞性映射為一個維度為dpos的實值向量，其中ME1∈dpos×|Vpos|，Vpos表示詞性的集合，采用隨機初始化；

相對位置：向量矩陣ME2將每個詞和動詞觸發(fā)詞之間的相對距離映射為一個維度為dloc的實值向量，其中ME2∈dloc×|Vloc|，Vloc表示相對距離的集合，采用隨機初始化；

語塊標記：向量矩陣ME3將每個詞在成分句法樹中的語塊標簽映射為一個維度為dcon的實值向量，其中ME3∈dcon×|Vcon|，Vcon表示語塊標簽的集合，采用隨機初始化；

圖3 標記規(guī)則與特征表示

依存句法節(jié)點：向量矩陣ME4將每個詞在依存句法樹中的父節(jié)點映射為一個維度為ddep的實值向量，其中ME4∈ddep×|Vdep|，Vdep表示依存句法節(jié)點的集合，采用隨機初始化；

語義角色：向量矩陣ME5將每個詞在句子中的語義角色映射為一個維度為dsr的實值向量，其中ME5∈dsr×|Vsr|，Vsr表示語義角色的集合，采用隨機初始化。

3 實驗

3.1 實驗設置

本文的實驗數(shù)據(jù)采用*SEM2012評測任務數(shù)據(jù)集，其基于PropBank語料庫[注]PropBank語料庫對謂語動詞和20多種語義角色進行了標注。進行標注，共包含3 544個否定聚焦點的實例，其中，2 302個實例作為訓練集，530個實例作為開發(fā)集，712個實例作為測試集。*SEM2012數(shù)據(jù)集中不僅人工標注了否定聚焦點，還給出了詞性、命名實體、語塊、成分句法、依存句法、語義角色等信息。表1給出了該數(shù)據(jù)集中訓練集、開發(fā)集、測試集的實例數(shù)的統(tǒng)計，以及否定聚焦點對應的語義角色類型的統(tǒng)計數(shù)據(jù)。

表1 *SEM2012數(shù)據(jù)集中否定聚焦點語義角色類型統(tǒng)計(實例數(shù))

從表1中可以看出，否定聚焦點對應名稱A1和AM-NEG兩種類型的語義角色的情況較多。在大多數(shù)實例中，否定聚焦點只對應單一語義角色，而在一小部分實例中，否定聚焦點對應多個語義角色或不對應語義角色(表1中語義角色為“None”的數(shù)據(jù))。

本文驗采用預訓練好的Senna詞向量[注]以維基百科和Reuters RCV-1語料庫為訓練數(shù)據(jù)，http://ronan.collobert.com/senna/，維度為50[27]。此外，我們同時嘗試了其他不同的向量集，包括Glove的100維詞向量[注]以維基百科和網(wǎng)頁文本60億個詞為訓練數(shù)據(jù)，http://nlp.stanford.edu/projects/glove/以及Google預訓練好的300維新聞語料[注]以谷歌新聞語料1 000億個詞為訓練數(shù)據(jù)，https://code.google.com/archive/p/word2vec/的詞向量[28-29]。

在實驗中，我們將特征維度設置為50，LSTM隱藏層的維度設置為150，mini-batch大小設置為3，dropout設置為0.3。參數(shù)更新時采用隨機梯度下降(stochastic gradient descent，SGD)算法，其中學習率設置為0.015，動量(momentum)設置為0.9。此外，我們還嘗試了其他優(yōu)化算法，包括Adadelta[30]和Adam[31]，這些方法雖然使得模型收斂速度加快，但是最終性能均不如SGD。本文采用準確率(Accuracy，以下簡寫為Acc)作為系統(tǒng)性能評價指標，以句子為單位計算，即僅當一個句子中預測的標簽序列全部正確時，才被判為正確。

3.2 不同特征對否定聚焦點識別性能影響

表2給出了不同模型的性能比較，以及使用各種特征的BiLSTM-CRF模型的性能。其中，PoS表示詞性特征，Chunk表示語塊標簽特征，Dep表示依存句法節(jié)點特征，RP表示相對位置特征，SR表示語義角色特征，ALL表示以上五種特征的組合。

表2 不同模型及特征組合的否定聚焦點識別系統(tǒng)性能比較

首先，我們比較了不同序列標注網(wǎng)絡結構在否定聚焦點識別任務上的性能(表2：第2～4行)。實驗結果表明：1)BiLSTM模型的準確率比LSTM模型高2.14%，主要原因是BiLSTM模型考慮了前向和后向兩個方向的信息，比單向的LSTM模型能夠更加充分地利用上下文特征。2)BiLSTM-CRF模型的準確率達到64.10%，比單使用BiLSTM模型的性能提升了3.25%，其原因是否定聚焦點通常由連續(xù)文本片段構成，甚至是一個完整的語義角色或句法結構，其中相鄰詞之間具有較強的依賴關系，僅采用LSTM或BiLSTM模型無法有效學習此類特征，而增加CRF層后，通過對轉(zhuǎn)移概率的訓練和學習，我們的否定聚焦點識別方法能夠捕捉這些信息。

為驗證不同特征的有效性，我們在BiLSTM-CRF模型中使用不同類型的特征，并比較其性能(表2：5～9行)。結果顯示，添加詞性、語塊標簽、依存句法節(jié)點和相對位置特征后，系統(tǒng)性能均有微弱提升。單獨添加語義角色特征后，系統(tǒng)性能提升了5.48%。由此可見，語義角色特征對否定聚焦點識別任務較為有效。根據(jù)表1的語料統(tǒng)計，*SEM2012數(shù)據(jù)集中，大多數(shù)否定聚焦點對應單一的語義角色，因此，語義角色是該任務的一個重要特征。

為進一步驗證以上結論，本文基于添加了語義角色特征的BiLSTM-CRF系統(tǒng)，分別加入其他四類特征(表2：10～14行)。實驗結果表明，分別增加這些特征后，系統(tǒng)性能并沒有獲得明顯提升。這說明，在否定聚焦點識別任務上，語義角色特征很可能包含了以上各類特征提供的信息，其他特征對識別否定聚焦點貢獻不明顯。

3.3 超參數(shù)設置與分析

本文對添加語義角色特征的BiLSTM- CRF模型(表2中BiLSTM-CRF+SR系統(tǒng))嘗試了不同的參數(shù)設置，包括語義角色特征的維度、mini-batch大小、LSTM隱藏層維度、不同的預訓練詞向量以及梯度下降算法。在觀察某一超參數(shù)值對模型性能影響時，其他參數(shù)值固定為3.1節(jié)中給出的值。

(1) 語義角色特征維度

表2中驗證了語義角色特征對否定聚焦點識別的有效性，因此本文嘗試采用不同的維度對語義角色特征進行向量化表示。實驗結果如圖4所示。

圖4 語義角色特征維度對否定聚焦點識別的影響

可以看出，提升語義角色特征的維度后，系統(tǒng)性能有比較明顯的提升，當特征維度為50時，系統(tǒng)性能達到最高值69.58%。然而，當繼續(xù)增加特征維度時，系統(tǒng)性能開始出現(xiàn)下降。其原因可能是語義角色表征能力隨著維度的增加而變強，直到維度超過某個閾值，其表示的信息開始變得稀疏或飽和，表征能力下降。

(2) Mini-batch大小

考慮到如果僅以單個實例來更新模型參數(shù)可能會使實驗結果具有偶然性，在隨機梯度下降過程中可能會越過全局最小值而僅收斂于局部最小值，我們探索了不同的mini-batch大小對模型性能的影響，實驗結果如圖5所示。

圖5 mini-batch大小對否定聚焦點識別的影響

可以看出，改變mini-batch的大小能夠使模型的性能得到進一步提升，當mini-batch的大小為3時，系統(tǒng)性能達到最高值69.58%。從圖5中還可以看出，mini-batch的值過大時，系統(tǒng)性能下降，可能是由于模型的泛化能力下降所致。

(3) LSTM隱藏層維度

LSTM隱藏層維度和輸入維度可能有著一定的聯(lián)系和相互影響：隱藏層維度偏大會使得模型更為復雜，泛化能力下降；隱藏層維度偏小會導致神經(jīng)網(wǎng)絡學習不充分，丟失一些重要特征。因此，本文驗證了LSTM隱藏層維度對模型性能的影響，實驗結果如圖6所示。結果表明，隱藏層維度為150時，系統(tǒng)性能達到最高值69.58%。

圖6 LSTM隱藏層維度對否定聚焦點識別的影響

(4) 預訓練詞向量

為驗證預訓練詞向量對模型性能的影響，本文對不同的公開詞向量以及隨機初始化的詞向量進行了對比實驗，實驗結果如表3所示。

表3 不同預訓練詞向量對否定聚焦點識別的影響

比較兩種隨機初始化詞向量的方法，采用高斯分布的方法比均勻分布高，但兩種方法均低于公開的預訓練詞向量，這表明預訓練詞向量在本任務中的重要性。在三種不同的預訓練詞向量中，Senna的50維詞向量獲得了最高系統(tǒng)性能，達到69.58%，使用斯坦福Glove的100維詞向量的性能比Senna低1.08%，而Google的300維詞向量略遜于Glove，也低于Senna。

(5) 梯度下降算法

采用不同梯度下降算法對模型性能也有一定的影響，本文嘗試了不同的優(yōu)化算法。表4給出了各優(yōu)化算法的性能，以及在10折交叉實驗中完成迭代的實驗平均收斂輪數(shù)。

表4 不同梯度下降算法對否定聚焦點識別的影響

實驗結果表明，相比SGD算法，其他優(yōu)化方法，包括Adadelta、Adam和RMSprop，均加快了模型的收斂速度，而從系統(tǒng)性能來看，這些算法性能比SGD算法的性能略低。

3.4 錯誤分析

我們選取BiLSTM-CRF+SR系統(tǒng)在測試集上的50條錯誤實例進行了分析。主要包含以下幾種類型的錯誤。

(1) 否定聚焦點識別錯誤(27/50)

*SEM2012數(shù)據(jù)集在標注聚焦點時，充分考慮了當前句子的上下文信息，即前一句和后一句，而我們的模型僅憑借當前句子，有時很難確定否定聚焦點。如下面句子所示：

Buta majority of the Addison councildidn’tbuy those arguments.

其否定聚焦點為a majority of the Addison council，而僅憑當前句子的含義，很難確定其聚焦點，換一種角度理解，也可能是those arguments或n’t。因此，在未來工作中需要考慮引入上下文信息幫助識別否定聚焦點。

(2) 否定聚焦點對應多個語義角色(8/50)

由于模型并未約束否定聚焦點對應單一語義角色，因此如果模型分配給不同語義角色的分值都比較高時，便會造成此類型的錯誤。

(3) 標準答案不符合標注規(guī)則(13/50)

我們還發(fā)現(xiàn)部分錯誤實例由標注答案錯誤所致，而我們系統(tǒng)給出的結果符合標注規(guī)則。如下所示：

標注結果：A panic on Wall Street doesn’texactly inspire confidence.

系統(tǒng)結果：A panic on Wall Street doesn’texactly inspireconfidence.

否定詞n’t聚焦點應為confidence，而語料標注為n’t本身。

此外，*SEM2012評測任務在數(shù)據(jù)標注規(guī)則[14]中指出：否定聚焦點應為單一且完整的語義角色[注]We only target verbal negations and focus is always the full text of a semantic role.。而我們發(fā)現(xiàn)數(shù)據(jù)集中標注的否定聚焦點并非嚴格對應單一且完整的語義角色。因此，我們對測試數(shù)據(jù)集進行了進一步分析，統(tǒng)計了標注結果與標注規(guī)則不一致的句子數(shù)目，結果如下：

? 否定聚焦點不對應語義角色：35句；

? 否定聚焦點對應多個語義角色：44句；

? 否定聚焦點對應不完整語義角色：34句。

該類型的實例共113個，占測試集的15.9%，而這部分否定聚焦點識別難度較大。因此，未來工作可嘗試修正此類標注不一致問題，同時需從理論層面考慮，是否存在否定聚焦點對應多個語義角色或不完整語義角色。

3.5 與現(xiàn)有方法的性能比較

本文將我們的方法與現(xiàn)有的否定聚焦點識別模型進行了比較，結果如表5所示。

表5 否定聚焦點識別性能比較

B&M[1]系統(tǒng)使用決策樹模型，融合了包括詞性、語義角色、句法節(jié)點、位置等22類特征；Zou的系統(tǒng)[15]使用基于“詞—主題”結構的雙層圖模型對否定聚焦點進行識別。本文提出的基于BiLSTM-CRF的否定聚焦點識別方法，準確率達到69.58%，比目前的最好系統(tǒng)性能高2.44%。此外，我們還嘗試了另一種序列標注網(wǎng)絡——雙向門控循環(huán)網(wǎng)絡(BiGRU)。在該網(wǎng)絡上增加CRF層之后，其性能也達到了68.47%。說明本文提出的“RNN網(wǎng)絡+CRF層”結構能夠有效地提升否定聚焦點識別性能。

4 結論

本文提出了基于BiLSTM網(wǎng)絡和CRF結構相結合的否定聚焦點識別方法，該模型在*SEM2012數(shù)據(jù)集上取得了目前最好的性能。以下是本文主要結論：

首先，憑借BiLSTM模型在捕獲全局信息和長距離依賴關系的優(yōu)勢，有效地利用了上下文信息，使模型的性能得到提升。

其次，考慮到否定聚焦點通常由幾個連續(xù)的詞所構成，為了獲取更準確的識別結果，我們將CRF融合到BiLSTM模型中，使得模型兼具了CRF在權衡相鄰標簽之間的聯(lián)系與依賴關系的優(yōu)點，從而預測全局最優(yōu)的輸出標簽序列。

最后，通過實驗比較了各種特征對否定聚焦點識別性能提升的效果。據(jù)我們所知，這是首次將深度學習方法應用于否定聚焦點識別任務，并取得該任務目前的最好性能，因此本方法可以作為基線系統(tǒng)為相關研究提供參考。

本文方法僅針對當前句子內(nèi)容識別否定聚焦點，而正如3.4節(jié)分析，對部分實例而言，需要根據(jù)前后句子的信息判斷聚焦點，這也與Zou[15]所指出的相一致。因此，未來研究考慮將上下文信息引入模型中，以進一步提升否定聚焦點識別的性能。