朱海潮+劉銘+秦兵

摘要： 關(guān)鍵詞： 中圖分類(lèi)號(hào)： 文獻(xiàn)標(biāo)志碼： A文章編號(hào)： 2095-2163（2017）06-0157-04

Abstract： Understanding text is the ultimate goal for machine reading comprehension task. The understanding ability of machines can be evaluated by the accuracy of question answering for specific document. The paper proposes a deep learning model and applies it to span extraction based machine reading comprehension. The model encodes the document and question with Recurrent Neural Networks and then performs information interaction with attention mechanism. Finally， the answer can be selected by predicting the start and end position in the source document. The proposed model performs better than manual features based conventional methods and obtains 53.1% F1 and 39.6% EM.

0引言

自然語(yǔ)言理解作為一個(gè)終極的人工智能目標(biāo)，極具現(xiàn)實(shí)挑戰(zhàn)性，而且讓機(jī)器理解語(yǔ)言的意義也是非常重大的。從學(xué)術(shù)研究的角度來(lái)看，這是學(xué)術(shù)研究的最前沿，代表著機(jī)器在當(dāng)今時(shí)代可能達(dá)到的最高智能水平。從工業(yè)界的視角來(lái)看，對(duì)搜索引擎、聊天機(jī)器人、私人機(jī)器助手等重要產(chǎn)品都有直接的應(yīng)用創(chuàng)新進(jìn)展，擁有可產(chǎn)生巨大商業(yè)價(jià)值的發(fā)展空間。近年來(lái)，深度學(xué)習(xí)發(fā)展迅速，以深度學(xué)習(xí)為基礎(chǔ)的模型在圖像處理、自然語(yǔ)言處理、語(yǔ)音識(shí)別等研究領(lǐng)域已經(jīng)取得了廣泛的應(yīng)用和良好的效果，并且其自動(dòng)抽取特征的能力極大地降低了人工的參與。

閱讀理解作為常見(jiàn)的一種題型，對(duì)于絕大多數(shù)人來(lái)說(shuō)都不陌生，在中考、高考的語(yǔ)文和英語(yǔ)科目中非常普遍。機(jī)器閱讀理解任務(wù)類(lèi)似地包含原文、問(wèn)題和答案，目標(biāo)就是讓機(jī)器閱讀給定的原文和問(wèn)題，得到正確的答案，與面向人類(lèi)的閱讀理解要求是一樣的。本文以片段抽取型機(jī)器閱讀理解數(shù)據(jù)集SQuAD[1]為基礎(chǔ)，應(yīng)用深度學(xué)習(xí)方法，使用多層基于注意力的方式對(duì)原文和問(wèn)題進(jìn)行交互，最后通過(guò)類(lèi)似PointerNetwork[2]的機(jī)制來(lái)預(yù)測(cè)答案的邊界。

1基于深度學(xué)習(xí)的實(shí)驗(yàn)方法

隨著計(jì)算能力的不斷提升，基于深度學(xué)習(xí)的復(fù)雜機(jī)器閱讀理解模型是現(xiàn)在的主流方法，其效果已經(jīng)超過(guò)基于特征工程的傳統(tǒng)方法和淺層的深度學(xué)習(xí)模型，并且注意力機(jī)制的引入更是顯著可觀地提高了深度學(xué)習(xí)模型的效果。

2實(shí)驗(yàn)數(shù)據(jù)與評(píng)價(jià)指標(biāo)

2.1實(shí)驗(yàn)數(shù)據(jù)

SQuAD數(shù)據(jù)集由Rajpurkar[1]發(fā)布在EMNLP2016上，獲得該會(huì)議2016年的最佳資源獎(jiǎng)，是機(jī)器閱讀理解領(lǐng)域里頗具代表性的大規(guī)模數(shù)據(jù)集，其中每個(gè)樣例包括原文、問(wèn)題和答案，其中問(wèn)題一定與原文相關(guān)，并且答案是原文中的一段文本，如圖1中加粗部分所示。

研究中，采用眾包的方式基于536篇Wikipedia文本構(gòu)建了107 785個(gè)問(wèn)答對(duì)，數(shù)據(jù)集的主題也很豐富，包含音樂(lè)名人、抽象概念、歷史事件等類(lèi)別。質(zhì)量和難度上較之前數(shù)據(jù)集更呈明顯優(yōu)勢(shì)，而且也更具有挑戰(zhàn)和研究?jī)r(jià)值。

由于該數(shù)據(jù)集的測(cè)試集并不公開(kāi)，基于方便實(shí)驗(yàn)的考慮，本文將開(kāi)發(fā)集中部分?jǐn)?shù)據(jù)劃分為測(cè)試集進(jìn)行實(shí)驗(yàn)，劃分后的數(shù)據(jù)集規(guī)模如表1所示。

分析模型預(yù)測(cè)答案的準(zhǔn)確程度與答案長(zhǎng)度之間的關(guān)系，統(tǒng)計(jì)測(cè)試集上不同答案長(zhǎng)度對(duì)應(yīng)的平均F1值和EM值，如圖2基于答案長(zhǎng)度的統(tǒng)計(jì)所示。當(dāng)答案長(zhǎng)度較短時(shí)，模型能夠準(zhǔn)確地預(yù)測(cè)答案，并且EM值與F1值相差不多，但隨著答案長(zhǎng)度的增加，預(yù)測(cè)的準(zhǔn)確程度出現(xiàn)下降趨勢(shì)，并且EM值比F1值受長(zhǎng)度影響更大，答案越長(zhǎng)則使預(yù)測(cè)答案與標(biāo)準(zhǔn)答案完全相同就越發(fā)困難。

分析模型預(yù)測(cè)答案的準(zhǔn)確程度與問(wèn)題類(lèi)型之間的關(guān)系，本文通過(guò)問(wèn)題中前兩個(gè)詞是否包含特定疑問(wèn)詞，將問(wèn)題分為8類(lèi)，統(tǒng)計(jì)測(cè)試集上不同問(wèn)題類(lèi)型對(duì)應(yīng)的平均F1值和EM值，如圖3所示。可以看到模型在When和Who兩類(lèi)事實(shí)型問(wèn)題上表現(xiàn)最好，說(shuō)明模型通過(guò)計(jì)算問(wèn)題和原文的相似性，能夠準(zhǔn)確地在原文中找到事實(shí)類(lèi)問(wèn)題的答案。但在Why這類(lèi)原因推理型問(wèn)題上表現(xiàn)非常差，說(shuō)明模型目前只具有淺顯的推理能力，還不能圓滿(mǎn)有效地綜合問(wèn)題與原文信息經(jīng)過(guò)推理后在原文中找到答案。

4結(jié)束語(yǔ)

本文使用片段抽取型數(shù)據(jù)集SQuAD作為研究的實(shí)驗(yàn)數(shù)據(jù)，受Pointer Networks啟發(fā)提出了深度學(xué)習(xí)模型Pointer GAReader，通過(guò)Pointer來(lái)預(yù)測(cè)答案在原文中的起始和結(jié)束位置。實(shí)驗(yàn)結(jié)果表明基于深度學(xué)習(xí)的模型超過(guò)基于人工特征的Logistic回歸模型，但與人類(lèi)的表現(xiàn)仍有相當(dāng)大的差距，因而尚存較大的提升空間。通過(guò)統(tǒng)計(jì)不同答案長(zhǎng)度和問(wèn)題類(lèi)型的F1值與EM值，分析模型的表現(xiàn)可知，模型能夠在一定程度上理解文本和問(wèn)題，但缺乏回答復(fù)雜問(wèn)題時(shí)的推理能力。

參考文獻(xiàn)：

[1] RAJPURKAR P， ZHANG J， LOPYREV K， et al. SQuAD： 100，000+ questions for machine comprehension of text[J]. arXiv preprint arXiv： 1606.05250.endprint

[2] VINYALS O， FORTUNATO M， JAITLY N. Pointer networks[J]. arXiv preprint arXiv：1506.03134.

[3] DHINGRA B， LIU Hanxiao， YANG Zhilin， et al. Gatedattention readers for text comprehension[J]. arXiv preprint arXiv：1606.01549.

[4] PENNINGTON J， SOCHER R， MANNING C. Glove： Global vectors for word representation[C]// Conference on Empirical Methods in Natural Language Processing. Doha， Qatar：dblp， 2014：1532-1543.

[5] ANGELI G， MANNING C D. NaturalLI： Natural logic inference for common sense reasoning[C]// Conference on Empirical Methods in Natural Language Processing. Doha， Qatar：dblp， 2014：534-545.

[6]KADLEC R， SCHMID M， BAJGAR O， et al. Text understanding with the attention sum reader network[J]. arXiv preprint arXiv： 1603.01547.

[7] WANG Hai， BANSAL M， GIMPEL K， et al. Machine comprehension with syntax， frames， and semantics[C]//Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing. Beijing， China： ACL，2015：700-706.

[8] SACHAN M， DUBEY K， XING E， et al. Learning answerentailing structures for machine comprehension[C]// Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing. Beijing， China： ACL，2015：239-249.

[9] SMITH E， GRECO N， BOSNJAK M， et al. A strong lexical matching method for the machine comprehension test[C]// Conference on Empirical Methods in Natural Language Processing.NewYork：ACL， 2015：1693-1698.endprint