陳 千,陳夏飛,郭 鑫,2,王素格

(1. 山西大學 計算機與信息技術學院,山西 太原 030006; 2. 同濟大學 電子與信息工程學院，上海 201804)

機器學會閱讀是人工智能理解人類語言的里程碑式目標之一，也是自然語言處理的核心任務之一。近年來，隨著自然語言處理技術和深度學習的不斷發(fā)展，國內外自然語言處理領域的研究人員高度關注機器閱讀理解這個研究方向，如谷歌于2016年推出一個基于公眾可用的 Gigaword 數(shù)據集(AFP 部分)生成的開源機器閱讀理解數(shù)據集MC-AFP；微軟也將發(fā)布微軟機器閱讀理解數(shù)據集(簡稱MS MARCO)，包含有十萬條英文查詢及對應回答，用來幫助人工智能系統(tǒng)更好地理解人類語言。東京大學機器人項目始于2011年，目標是在2021年通過東京大學入學考試，其評測語料使用真實的日本大學入學考試閱讀理解文本。國家高科技發(fā)展計劃推出類腦計劃，其中就包含子課題閱讀理解的關鍵問題研究。

文本蘊含識別(recognizing textual entailment，RTE)是一個判斷文本之間推理關系的任務[1]。文本蘊含可以定義為： 給定一個連貫文本P與一個假設文本H，如果假設文本H的語義可以從文本P的語義中推斷出來，那么文本P蘊含文本H[2]。如何讓機器識別背景材料中候選句與選項之間的蘊含關系，從而實現(xiàn)深層語言理解，是自然語言處理領域最核心的目標之一。文本蘊含識別技術為自動問答系統(tǒng)[3]、聊天機器人、機器閱讀理解[4]、信息檢索和機器翻譯[5]等諸多應用領域提供的關鍵技術支撐。反過來，RTE還能促進語言理解任務及基礎理論研究的發(fā)展，如自動文摘[6]、實體關系識別和抽取[7]等。文本蘊含相關研究能提供一個一般化的文本信息推理引擎，在機器閱讀理解中，問題的答案可以通過判斷文檔是否蘊含問題與選項的組合來獲得[8]。

目前，面向閱讀理解的文本蘊含任務主要存在如下問題： (1)傳統(tǒng)文本蘊含主要針對句子對之間，且句子長度較短、句子長度差不大，如斯坦福自然語言推理(SNLI)[9]和日本國家情報研究所NII(national institute of informatics)識別文本推理(RITE)評測任務數(shù)據集。SNLI的Premise的平均長度是14.1，Hypothesis的平均長度是8.3，但是在真實的閱讀理解材料中，會出現(xiàn)多句—單句的蘊含，即需要判斷多個句子與一個句子間的蘊含關系，示例如表1所示；(2)缺乏大規(guī)模中文蘊含標注語料。RITE是目前唯一評測中文文本蘊含關系的研討會[10]，其中CS(simplified Chinese)評測子任務面向中文，但規(guī)模不大；SNLI規(guī)模較大，但主要面向英文；(3)面向閱讀理解的中文文本蘊含識別需要全面理解背景材料的語義信息，融合多個相關候選片段得出選項的蘊含與否，需要深層的候選片段答案融合。這些問題給中文文本蘊含帶來諸多挑戰(zhàn)。本文主要考慮從兩個方面開展相關研究，首先構建面向閱讀理解的中文文本蘊含語料，其次聚焦中文文本蘊含的多對一蘊含問題。

表1 多句—單句的文本蘊含示例

從表1可以看出H的語義信息要通過綜合P1、P2、P3的語義信息才能得到，H中前半句的意思是與P1整個句子的意思相對應的，而H后半句的語義是與P2、P3的語義相對應的。

通過以上示例可知，閱讀理解中的文本蘊含，并非是簡單的單句之間蘊含關系判斷，更多的是多句—單句的蘊含判斷。中文RTE識別常常是作為一個分類任務進行處理的，但是在P是多句時，很多特征對多句—單句的情況無法適用。因此，本文針對蘊含的多句—單句的特點，采用了層級神經網絡來識別多對一中文文本蘊含。使用層級神經網絡目的在于考慮了P中多句的句間語義和句間關系。

本文首先介紹國內外文本蘊含相關工作，接著描述了所采用的層級神經網絡模型，并將該模型用于多對一文本蘊含語料庫中，對實驗及結果進行了分析，并對論文工作進行了總結和展望。

1 相關工作

文本蘊含由Dagan等[11]在 2004 年提出，通常采用有監(jiān)督機器學習方法，即先對大量有正確蘊含關系標簽的文本進行訓練，再用訓練得到的分類模型判斷測試文本是否存在蘊含關系。傳統(tǒng)的文本蘊含處理方法是通過抽取蘊含對(P-H對)的詞匯特征(詞匯對齊特征、基于同義詞林語義相似度特征、基于知網的語義相似度特征、反義詞特征等)、句法結構特征(依存圖對齊特征、謂詞-論元結構特征)等，然后用類似 SVM 分類器進行分類，如基于 FrameNet 框架關系的文本蘊含識別[12]、基于事件語義特征的中文文本蘊含識別[13]、基于短文本隱含語義特征的文本蘊含識別[14]、多特征文本蘊涵識別研究[15]。此類方法需要人工去設計多種特征，且依賴大量外部資源。

深度學習方法依賴于大規(guī)模訓練語料，SNLI大規(guī)模語料庫的出現(xiàn)使得利用深度學習解決RTE問題成為可能，深度學習模型采用端對端模式，避免了繁瑣的人工特征設計。Bowman等人[9]首次采用神經網絡模型處理文本蘊含，首先使用Word2Vec對單詞進行向量化，然后采用三種句子向量化方式(單詞相加、LSTM、RNN)對SNLI中的P和H兩個句子進行表示，最后將兩個向量的連接傳入MLP分類器，在SNLI數(shù)據集上獲得了較好的效果。Rockt?schel等人采用的是Seq2Seq模型，用LSTM同時讀兩個句子判斷蘊含而不是每個句子獨立映射到語義空間，并提出了word-by-word attention機制，促進了句對中詞和短語對齊的蘊含推理[16]。Liu等人提出了Inner-Attention機制，即在句子內部使用attention機制，用雙向LSTM產生的句子表示去關注句子內部的單詞而非用Hypothesis去注意Premise里面的單詞。Inner-Attention的引入產生了更準確的句子表示，使得文本蘊含的準確率有了提升[17]。

真實閱讀理解材料經常需要判斷多個句子與一個句子間的蘊含關系，多句—單句的長文本蘊含概念首先是王寶鑫[2]等人提出的，采用了基于詞匯的啟發(fā)式算法來計算長文本蘊含強度，只從詞匯的角度考慮，忽略了句子級別的語義信息。

文獻[18-19]采用層級神經網絡融合句子級別語義信息，對文檔的表示采用統(tǒng)一的自下而上的方式，模型先學習文檔中的句子表示，然后用學習到的句子表示來表示文檔。文獻[18]在文檔級文本生成任務中驗證了可行性。文獻[19]將層級神經網絡應用于文檔級情感分類，取得了較好的效果。通過層級神經網絡，文檔表示較好地融合了句子語義信息和句間關系。

2 基于層級神經網絡的中文文本蘊含

在多句—單句的中文文本蘊含中，文本P是多個句子，相比較于傳統(tǒng)的對整個文本P進行序列建模方式，本章利用層級神經網絡對多句—單句蘊含對進行處理，考慮了句間語義，實驗結果也有一定的提升。

2.1 LSTM

LSTM(long short-term memory)由Hochreiter等在1997年提出，近年來LSTM被廣泛應用于自然語言處理任務中，如機器翻譯和語言建模中[20]。LSTM中含有記憶細胞，可以長時間存儲信息，同時它還有三個門結構： 輸入門(等式1)、遺忘門(等式2)和輸出門(等式3)，用來控制信息的流動。在時刻t，輸入為xt，各個值的計算如下：

其中W∈Rk×k,b∈Rk,分別為各類行中的訓練權重和偏置。h(t)表示t時刻的輸出，σ表示逐元素的應用sigmoid函數(shù)，⊙表示兩個向量進行逐元素相乘。

LSTM模型能較好地對序列數(shù)據進行建模，在文本表示中，LSTM可以學習語義豐富的句子表示[16]。將LSTM模型作為神經網絡中的一層，我們可以構建多層次LSTM神經網絡。

2.2 層級LSTM

段落或文檔由句子構成，句子由詞語構成，表達了豐富的語義?；谶@種假設，層級LSTM神經網絡模型包含文檔層、句子層和詞語層[17]。為了獲得文檔中的句子表示，采用一層LSTM將句子中的所有詞語映射變換成句子向量，每個時刻代表一個詞，任意時刻的輸出可以表示為式(7)。

(7)

為了獲得當前文檔L的表示eL，用第二層LSTM對文檔L中所有句子進行處理，此時每個時刻代表一個句子，其任意時刻的向量輸出表示為式(8)。

(8)

層級LSTM神經網絡方便地將多個句子表示成一個向量，文獻[18]利用該模型解決文檔和句子生成問題。與之不同的是，本文主要利用LSTM編碼公式解決蘊含識別問題。

2.3 層級LSTM神經網絡識別文本蘊含

多句—單句蘊含對里面的P包含多個句子，本文采用層級LSTM模型對P進行建模，能有效融合多個句子的語義信息。在語文高考現(xiàn)代文閱讀理解中，選項包含豐富的語義信息，為了更細粒度地體現(xiàn)語義對齊，需要將選項劃分為多個語義片段，每個子句常常與候選集中一個句子或多個句子語義對應。為簡單起見，我們采用規(guī)則對H中的單句進行子句劃分，進而H也能采用層級LSTM模型進行處理。模型的整體結構如圖1所示。我們采用兩階段策略方式對多句—單句蘊含對進行分類。

(1) 層級LSTM網絡對蘊含對分別進行表示： 蘊含對主要包括Premise和Hypothesis這兩個部分，首先將Premise和Hypothesis中的每個句子利用LSTM分別進行向量表示?；趯W習到的句子向量，利用第二層LSTM模型將Premise和Hypothesis對應轉換為固定大小的向量，這些向量蘊含了句間的語義和關系信息。同時，在層級LSTM神經網絡中，Premise和Hypothesis編碼器的參數(shù)形式和個數(shù)是一樣的。

(2) Text Match網絡層對Premise和Hypothesis進行連接： 在層級LSTM網絡對蘊含對分別進行表示的基礎上，我們得到Premise和Hypothesis的向量表示，采用匹配操作將Premise和Hypothesis進行聯(lián)結。聯(lián)結方式主要有三種： 向量拼接(concatenation)、逐元素相乘(element-wise product)、逐元素相差(element-wise difference)[20]。在實驗部分，我們綜合采用了三種方式進行蘊含識別。

閱讀理解最終目標是判斷候選材料是否蘊含選項，針對聯(lián)結的結果采用softmax層將輸出結果非線性映射到分類(entailment/contradiction)的目標空間。由于蘊含識別本質上是一個二分類問題，因此softmax層將退化為sigmoid層，采用的是logistic sigmoid函數(shù)。同時我們在層級LSTM之前還加了一個線性網絡層，將詞向量維度映射為LSTM的維度，產生了LSTM的輸入。

圖1 層級LSTM神經網絡模型的整體結構

2.4 層級attention神經網絡識別文本蘊含

在多句—單句的文本蘊含里，通常會出現(xiàn)P中的句子語義是與H中的子句語義是對齊的。如在表1 中，H的“朋友為……而感到遺憾”與候選句P1是對應的。為此我們引入attention機制[16]，不同于文獻[16]，attention是針對單句—單句中的詞或短語的對齊，本文利用attention完成句子—句子對齊。

在層級LSTM神經網絡的Text Encode階段，我們引入attention，從而方便地將Hypothesis中每個子句和Premise中每個句子進行對齊。attention機制形式化如式(9)～(11)所示。

其中，Y是Text Encode階段LSTM處理Premise的輸出矩陣，a(t)表示t時刻的attention向量，r(t)表示t時刻Hypothesis關注Premise輸出Y后的加權輸出。最后文檔的輸出表示為式(12)。

h*=tanh(Wpr(L)+Wxh(N))

(12)

其中，r(L)是最后時刻Hypothesis關注Premise輸出Y后的加權輸出，h(N)是LSTM處理Hypothesis的最后時刻的輸出向量。最后直接將h*傳入softmax進行分類。

3 實驗設計與結果分析3.1 數(shù)據集

如表2所示，語文高考現(xiàn)代文閱讀理解的選擇題目標是判斷每個選項對原文的理解是否正確，其特點是選項包含豐富的語義信息，表達方式多樣化。我們通過網絡爬蟲在線爬取大量高考選擇題，將高考選擇題的答案作為蘊含標簽，構建了針對閱讀理解的中文文本蘊含訓練數(shù)據集(M2OCTE)，示例如表2所示。我們整理了兩類數(shù)據集： 數(shù)據集A來自于各省高考閱讀理解真題和歷年模擬題；數(shù)據集B是從互聯(lián)網上爬取的數(shù)據整理后得到閱讀理解題目。

蘊含對構建過程如圖2所示。從大量試卷里，首先整理出選擇題的背景材料、選項、題干、答案。

接著對背景材料進行分句，并計算選項與背景材料句子之間的相似度。然后進行降序排列，選出前三個作為對應選項的候選句集。最后結合題干和答案，判斷每個選項和對應候選句集的蘊含標簽。其中基于Word2Vec的句間相似度計算步驟為： 先利用Word2Vec訓練的詞向量表示句中的詞，再計算句中詞的tfidf值，用tfidf值對詞向量加權求和得到句向量，最后對句向量計算余弦相似度。

圖2 蘊含對構建過程

為了保證數(shù)據集的質量，在后續(xù)的處理過程中我們對自動構建的多對一蘊含對進行了人工標注： 首先將數(shù)據集分為六等分，分別分發(fā)給六位同學，每位同學分別對多對一蘊含對進行校驗；其次，每位同學交換手中的數(shù)據集進行第二輪的校驗；接著，根據兩次的校驗結果，確定蘊含的P、H和對應的蘊含標簽，去除有爭議和無法界定的蘊含對，最后形成精標數(shù)據集C。精標數(shù)據集C主要用于對訓練出來的模型參數(shù)進行進一步優(yōu)化調整。中文文本蘊含數(shù)據集如表3所示。

表3 中文文本蘊含數(shù)據集

3.2 參數(shù)設置

模型訓練目標函數(shù)是交叉熵損失函數(shù)，利用標準反向傳播算法優(yōu)化參數(shù)。優(yōu)化過程中采用的是mini-batch隨機梯度，batch設為16。為防止過擬合，模型采用了dropout策略，dropout rate設置為0.3。模型的輸入詞向量是用爬取和整理的七萬散文文學作品庫和科技文語料通過Word2Vec[21]進行訓練得到。在訓練集中，不屬于詞匯表里面的詞語用[-0.05, 0.05]上的均勻分布進行初始化，并在訓練過程中進行優(yōu)化。

3.3 評測方法

由于本文的多句對單句文本蘊含對是從真實閱讀理解選擇題的基礎上構建的，要同時考慮蘊含和非蘊含兩個類別。因而系統(tǒng)的性能采用國際度量指標MacroF1和準確率(Accuracy)度量，這兩個指標的定義如式(13)～(14) 所示。

其中C為類別集合，取值為“Y”(蘊含)和“N”(非蘊含)，Pc和Rc分別為類別c的精確率和召回率，定義如式(15)、式(16)所示。

3.4 實驗結果與分析

實驗首先將P中的多個句子直接合并為一個句子，轉換為單句—單句的文本蘊含識別問題，采用傳統(tǒng)分類器(SVM)和單層LSTM進行處理。其中傳統(tǒng)分類器方法是先人工設計字符串特征和句法特征等，最后采用SVM*http://www.csie.ntu.edu.tw/～cjlin/libsvm/進行分類。接著我們采用層級神經網絡模型(hierarchical model)和層級attention神經網絡模型(hierarchical attention model)識別多句—單句的文本。注意，在H進行子句劃分時，主要采用符號規(guī)則和關鍵詞規(guī)則。符號規(guī)則主要以逗號和分號為主。關鍵詞規(guī)則通過構建關鍵詞庫、關鍵詞包括“說明”、“表現(xiàn)”和“表明”等觀點引出詞。這四種方法在A和B數(shù)據集上得到的實驗結果如表4所示。

表4 實驗結果

在表4中可以看出，采用層級神經網絡識別多句—單句的文本蘊含準確率比將多句—單句的文本蘊含轉換為單句—單句的文本蘊含后采用傳統(tǒng)分類器和單層LSTM進行實驗的準確率分別高5%和1.9%，同時MacroF1的值也是最高的。由于本文關于多句—單句的文本蘊含采用的方法是將H中的句子采用規(guī)則切分成多個子句后，分別用層級LSTM對P和H進行表示，即使用的是詞語—句子—文檔的建模思想。在層級attention神經網絡的attention階段，讓Hypothesis中的子句對齊Premise的句子。實驗證明，直接用LSTM處理后的句子來進行對齊效果不好，說明句子語義對齊還是存在一定的難度，無法達到文獻[16]中的詞語與短語對齊的效果。

在層級神經網絡識別文本蘊含的Text Match階段，對兩個文本進行連接的三種策略(concatenation，element-wise product，element-wise difference)也進行了對比實驗，結果如表5所示。

表5 不同Text Match聯(lián)結方式的實驗結果

從表5可以看出，在層級神經網絡的Text Match階段，基于concatenation，element-wise product，element-wise difference三種方式結合的效果會比其中的任何一個方法進行處理的效果要好。

為了提高模型的性能，采用精標數(shù)據集C對模型參數(shù)進行進一步優(yōu)化微調，在精標數(shù)據集C上進行測試，對比加入精標數(shù)據前后結果如表6所示。

表6 加入數(shù)據集C的實驗結果

從表6的對比結果可以看到，加入精標數(shù)據集C后接著訓練模型，準確率和MacroF1比加入前都提高了近8%。由于數(shù)據集C是對數(shù)據集A和B人工精標得到，因而加入精標數(shù)據前訓練的模型在數(shù)據集C上測試的準確率反而低于自動構建數(shù)據集的測試準確率。同時也說明自動構建數(shù)據集時，還需加入一些人工干預，以提高構建的質量。綜上可知，在訓練神經網絡時，適當添加精標數(shù)據能夠提高模型的性能。

為了驗證本文所提方法在不同語言上的有效性，本文在英文數(shù)據集Story Cloze Test*http://cs.rochester.edu/nlp/rocstories/(表7)上進行了測試。

表7 Story Cloze Test示例

依據Story Cloze Test語料庫中的每個故事都對應一個好的結局和一個壞的結局的特點，試驗時我們將每個故事和結局作為多對一蘊含對，結局的好壞作為蘊含對的蘊含標簽，結果如表8所示。

表8 不同語言數(shù)據集的實驗結果

從表8可以看到，層次神經網絡在中英文多對一蘊含對上都有較好的效果，同時在Story Cloze Test上的測試結果超過了LSDSem’17 shared task[22]中的三個評測系統(tǒng)的準確率。中文閱讀理解在用詞和表達方式上的多樣性，造成了句子語義的復雜性，因而模型在中文數(shù)據集上的效果較低于英文數(shù)據集。

4 結論與展望

本文針對閱讀理解中常出現(xiàn)的多句—單句的文本蘊含，采用了層級神經網絡的處理方法。利用高考現(xiàn)代文閱讀理解的選擇題選項正誤明確的特點，我們通過尋找每個選項的候選句，構造選項與對應候選句的多句—單句的文本蘊含數(shù)據集。最終采用多種方法在多句—單句的文本蘊含數(shù)據集上進行測試，基于層級神經網絡的蘊含識別準確率為58.92%，比將多個句子拼接為一個句子之后采用傳統(tǒng)方法和單層LSTM方法的準確率都要高。本文也在英文數(shù)據集Story Cloze Test上進行了測試，通過以上的多個實驗驗證了層級神經網絡對于多句—單句的文本蘊含有較好的效果。

對實驗結果的進一步分析可知，采用層級神經網絡處理多句—單句的文本蘊含準確率有一定的提升空間，同時我們觀察數(shù)據可知，選項通常使用代詞來指代原文中出現(xiàn)的詞語，在語料庫構造時造成H中代詞無法與P中詞語對齊的問題，使用指代消解技術對語料庫進行預處理可能會提高多句—單句文本蘊含的準確率；其次，由于現(xiàn)代文閱讀理解的數(shù)目少，導致構造的多句—單句的中文文本蘊含數(shù)據集過小，未來考慮增加數(shù)據集的數(shù)量，且加入更多的人工干預來提高數(shù)據集質量。同時在Sentence Encode階段將來考慮采用Doc2Vector[23]或Tree-structured[24]來進行處理，考慮更豐富的句子級的語義信息。

[1] 任函, 盛雅琦, 馮文賀,等. 基于知識話題模型的文本蘊涵識別[J]. 中文信息學報, 2015, 29(6): 119-126.

[2] 王寶鑫, 鄭德權, 王曉雪, 等. 基于文本蘊含的選擇類問題解答技術研究[J]. 北京大學學報 (自然科學版), 2016, 52(1): 134-140.

[3] Kim M Y, Xu Y, Goebel R. Legal question answering using ranking svm and syntactic/semantic similarity[C]//Proceedings of the JSAI International Symposium on Artificial Intelligence. Berlin Heidelberg: Springer, 2014: 244-258.

[4] Gómez-Adorno H, Pinto D, Vilarino D. A question answering system for reading comprehension tests[C]//Proceedings of the Mexican Conference on Pattern Recognition. Berlin Heidelberg: Springer, 2013: 354-363.

[5] Sebastian, Galley M, Jurafsky D, et al. Textual entailment features for machine translation evaluation[C]//Proceedings of the Workshop on Statistical Machine Translation. Association for Computational Linguistics, 2009: 37-41.

[6] Lloret E, Ferrández O, Munoz R, et al. A Text Summarization Approach under the Influence of Textual Entailment[C]//Proceedings of the 5th International Workshop on Natural Language Processing and Cognitive Science (NLPCS 2008). 2008: 22-31.

[7] Wang R, Neumann G. Relation validation via textual entailment[C]//Proceedings of the Ontology-Based Information Extraction Systems (Obies 2008). 2008: 26-33.

[8] Yin W, Ebert S, Schütze H. Attention-based convolutional neural network for machine comprehension[C]//The Workshop on Human-Computer Question Answering. 2016: 15-21.

[9] Bowman S R, Angeli G, Potts C, et al. A large annotated corpus for learning natural language inference[C]//Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. 2015: 632-642.

[10] Shima H, Kanayama H, Lee C W, et al. Overview of NTCIR-9 RITE: Recognizing inference in text[C]//Proceeding of NTCIR-9 workshop meeting.Tokyo,2011: 291-301.

[11] Dagan I, Glickman O. Probabilistic textual entailment: Generic applied modeling of language variability[C]//Proceedings of the PASCAL Workshop on Learning Methods for Text Understanding and Mining. Grenoble, France. 2004.

[12] 張鵬, 李國臣, 李茹，等. 基于FrameNet框架關系的文本蘊含識別[J]. 中文信息學報, 2012, 26(2): 46-50.

[13] 劉茂福, 李妍, 姬東鴻. 基于事件語義特征的中文文本蘊含識別[J]. 中文信息學報, 2013, 27(5): 129-136.

[14] 張晗, 盛雅琦, 呂晨,等. 基于短文本隱含語義特征的文本蘊涵識別[J]. 中文信息學報, 2016, 30(3): 163-171.

[15] 趙紅燕, 劉鵬, 李茹, 王智強. 多特征文本蘊涵識別研究[J]. 中文信息學報, 2014, 28(2): 109-115.

[16] Rockt?schel T, Grefenstette E, Hermann K M, et al. Reasoning about entailment with neural attention[C]//Proceedings of the International Conference on Learning Representations. 2016.

[17] Liu Y, Sun C, Lin L, et al. Learning natural language inferenceusing bidirectional LSTM model and Inner-Attention[J]. arXiv Preprint arXiv: 1605、09090.2016.

[18] Li J, Luong T, Jurafsky D. A nierarchical neural autoencoder for paragraphs and documents[C]//Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing. 2015: 1106-1115.

[19] Tang D, Qin B, Liu T. Document modeling with gated recurrent neural network for sentiment classification[C]//Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. 2015: 1422-1432.

[20] Lipton Z C, Berkowitz J, Elkan C. A critical review of recurrent neural networks for sequence learning[J]. arXiv preprint arXiv:2015,1506.00019.

[21] Mikolov T, Sutskever I, Chen K, et al. Distributed representations of words and phrases and their compositionality[C]//Proceedings of the Advances in Neural Information Processing Systems. 2013: 3111-3119.

[22] Mostafazadeh N, Roth M, Louis A, et al. LSDSem 2017 Shared Task: The story cloze test[C]//Proceedings of the Workshop on Linking MODELS of Lexical, Sentential and Discourse-Level Semantics. 2017: 46-51.

[23] Le Q V, Mikolov T. Distributed representations of sentences and documents[J]. Computer Science, 2014, 4: 1188-1196.

[24] Bowman S R, Gauthier J, Rastogi A, et al. A fast unified model for parsing and sentence understanding[C]//Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics. 2016: 1466-1477.

[25] Mou L, Men R, Li G, et al. Natural language inference by tree-based convolution and heuristic matching[C]//Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics. 2016: 130-136.

E-mail: guoxinjsj@sxu.edu.cn