王勇 林景彥 王瑛

摘 要：閱讀理解是考試中一個基本題型，其一般形式是給定一段文本，考生在閱讀完文本后根據(jù)文本內(nèi)容解答題目。如果機(jī)器也有閱讀理解的能力，能幫助我們從眾多的文本中找到我們需要的答案。近年來，深度學(xué)習(xí)發(fā)展迅猛并應(yīng)用到機(jī)器閱讀理解領(lǐng)域中，取得了很好的效果。本文首先闡述了機(jī)器閱讀理解的基本概況，基于深度學(xué)習(xí)機(jī)器閱讀理解模型的基本架構(gòu)。然后介紹了基于深度學(xué)習(xí)的機(jī)器閱讀理解研究現(xiàn)狀，包括數(shù)據(jù)集和經(jīng)典模型。

關(guān)鍵詞： 機(jī)器閱讀理解;深度學(xué)習(xí);自然語言處理

中圖分類號： TP391? ? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2019）19-0203-02

1 機(jī)器閱讀理解概要

機(jī)器閱讀理解就是讓機(jī)器像人一樣能閱讀文本，讓計(jì)算機(jī)閱讀一篇文章，隨后讓計(jì)算機(jī)解答與文中信息相關(guān)的問題，一般題型包括選擇題、填空題和分析題。機(jī)器閱讀理解，是當(dāng)前自然語言處理研究的核心任務(wù)之一[1]。與傳統(tǒng)分詞、命名實(shí)體識別和句法分析等任務(wù)相比包含更長的篇章，更深層次的語義信息，需要綜合運(yùn)用文本表示、檢索、指代消解和推理等方法，具有很強(qiáng)的挑戰(zhàn)性。機(jī)器閱讀理解無論是在工業(yè)界還是學(xué)術(shù)界都有著很高的研究價(jià)值。當(dāng)前研究熱門主要在文本表示、相關(guān)片段檢索和答案生成三個方面。

機(jī)器閱讀理解能力的提高可輔助醫(yī)療診斷、閱卷、法官判決、智能客服、知識問答和搜索引擎等。傳統(tǒng)的機(jī)器閱讀理解做法是手工提取特征和設(shè)計(jì)規(guī)則需要大量的人工勞動力?；谏疃壬窠?jīng)網(wǎng)絡(luò)的機(jī)器閱讀理解可自動學(xué)習(xí)與任務(wù)相關(guān)的特征和規(guī)則，能捕獲更多特征信息，包括一些人工很難理解到的信息。取得與傳統(tǒng)方法相當(dāng)甚至更好的效果，同時(shí)避免了傳統(tǒng)方法中需要人工提取特征以及一些預(yù)處理工具的問題。

2 基本模型架構(gòu)

典型的基于深度學(xué)習(xí)機(jī)器閱讀理解模型包括詞向量層、表征層、交互層和輸出層。模型的輸入一般是一個三元組{P， Q， A}，其中P表示原文，Q代表問題，A表示答案。

詞向量層就是將原文、問題與答案的詞映射成低維詞向量。一般都是通過詞表查詞操作獲得詞向量。使用Word2vec、ELMo和BERT等詞向量工具大規(guī)模的文本上訓(xùn)練，可以獲得含有豐富語義和文法信息的詞向量表。

表征層就是用CNN和LSTM等深度神經(jīng)網(wǎng)絡(luò)對原文、問題和答案每個單詞及其上下文語義進(jìn)行編碼。最常用的編碼器是雙向LSTM和雙向GRU，它們都有很強(qiáng)的語義序列建模能力。雙向LSTM和雙向GRU能從正向和反向兩個方向獲取整個句子的語義信息，并將這兩個方向的隱層狀態(tài)拼接起來表征句子的整體語義。

交互層主要是通過注意力機(jī)制實(shí)現(xiàn)文本信息的交互，得到交互后文本的表示。在基于深度學(xué)習(xí)機(jī)器閱讀理解任務(wù)中，主要運(yùn)用自注意力和互注意力兩種機(jī)制。自注意力機(jī)制一般針對原文，原文間的詞交互得到原文中的關(guān)鍵信息?；プ⒁饬C(jī)制一般是原文與問題詞向量進(jìn)行交互，得到基于原文問題的表示和基于問題原文的表示。

輸出層是模型的最后一層，輸出層一般是輸出答案在原文中的起始位置與終止位置。主要是通過sigmoid函數(shù)或指針網(wǎng)絡(luò)對答案起始位置和終止位置預(yù)測。

模型評價(jià)指標(biāo)與題型相關(guān)。對于選擇題，評價(jià)標(biāo)準(zhǔn)是準(zhǔn)確率。對于填空題和分析題，評價(jià)指標(biāo)有EM、F1、BLEU和Rouge-L。

3 研究現(xiàn)狀

3.1 數(shù)據(jù)集

目前大部分大規(guī)模的機(jī)器閱讀理解數(shù)據(jù)集都是英文數(shù)據(jù)集，包括SQuAD、MS-MARCO和RACE。其中最流行的是SQuAD數(shù)據(jù)集[2]，它是由斯坦福大學(xué)于2016年發(fā)布的，被稱為是自然語言處理的“ImageNet”數(shù)據(jù)集。SQuAD通過眾包的方式，從wikipedia上的536篇文章切出了23215個自然段，每個段落提五個問題，貼近實(shí)際。數(shù)據(jù)集答案的類別包括日期、人名、地點(diǎn)、數(shù)字和名詞詞組等。文本片段及答案如圖1所示。2018年SQuAD發(fā)布了2.0版本[3]，增大了數(shù)據(jù)集的難度，新增了超過五萬個由人類眾包者設(shè)計(jì)的無法回答的問題，模型在回答問題時(shí)需要判斷哪些問題是在文本中沒有證據(jù)支持的，并拒絕回答這些問題。

3.2 經(jīng)典模型

Seo[5]等提出了多層次、多粒度模型Bi-Directional Attention Flow（BiDAF），該模型在注意力層上同時(shí)計(jì)算問題與原文和原文與問題的相似度，通過數(shù)據(jù)流動保留更多信息，更好地實(shí)現(xiàn)原文和問題的交互。通過softmax函數(shù)和BiLSTM輸出答案的起始和結(jié)束位置。

Cui Y[6]等提出了Attention Over Attention模型（AOA），原文向量和問題向量后相乘得到原文-問題矩陣，然后分別從列和行兩個維度進(jìn)行softmax操作得到原文注意力矩陣和問題注意力矩陣，其中問題注意力矩陣是每一列元素求均值，將兩個注意力矩陣相乘，得到每個詞作為答案的概率。

Wang[7]等模仿人類做閱讀理解過程，提出了R-Net。使用了詞和字兩種embedding使文本輸入特征更豐富。通過門機(jī)制與注意力機(jī)制實(shí)現(xiàn)了原文與問題交互，原文自身重要信息提取。最后通過指針網(wǎng)絡(luò)輸出答案起始和終止位置。

Shen[8]等提出了ReasoNet。模型在推理答案階段運(yùn)用增強(qiáng)學(xué)習(xí)的方法，模擬人類閱讀的過程，帶著問題多次閱讀原文，當(dāng)從已知信息得出答案后，可動態(tài)決定是否需要后續(xù)的推理或立刻停止閱讀把當(dāng)前答案作為最終答案輸出。

4 總結(jié)

隨著深度學(xué)習(xí)的發(fā)展，機(jī)器的閱讀理解能力跟人類越來越接近，但仍存在較大的差距。當(dāng)前很多機(jī)器閱讀理解的方法仍然基于文本匹配而不是真正通過理解原文與問題得出答案。下一步研究重點(diǎn)將包括外部知識（常識）的引入、基于多段落多文本的閱讀理解和可解析推理機(jī)制這三個方面。

參考文獻(xiàn)：

[1] 劉飛龍， 郝文寧， 陳剛，等. 基于雙線性函數(shù)注意力Bi-LSTM模型的機(jī)器閱讀理解[J]. 計(jì)算機(jī)科學(xué)， 2017（S1）：102-106，132.

[2] Rajpurkar P， Zhang J， Lopyrev K， et al. SQuAD： 100，000+? Questions? for Machine Comprehension of Text[C]// Conference on Empirical Methods in Natural Language Processing. 2016：2383-2392.

[3] Rajpurkar P， Jia R， Liang P. Know What You Don't Know： Unanswerable Questions for SQuAD[C]// Meeting of the Association for Computational Linguistics. 2018：784-789.

[4] He W ， Liu K ， Lyu Y ， et al. DuReader： a Chinese Machine Reading Comprehension Dataset from Real-world Applications[J]. arXiv preprint arXiv：1711.05073.

[5] Seo M， Kembhavi A， Farhadi A， et al. Bidirectional Attention Flow for Machine Comprehension[C]// International Conference on Learning Representations， 2017.

[6] Cui Y， Chen Z， Wei S， et al. Attention-over-Attention Neural Networks for Reading Comprehension[C]// Meeting of the Association for Computational Linguistics. 2017：593-602.

[7] Wang W， Yang N， Wei F， et al. Gated Self-Matching Networks for Reading Comprehension and Question Answering[C]// Meeting of the Association for Computational Linguistics. 2017：189-198.

[8] Shen Y， Huang P S， Gao J， et al. ReasoNet： Learning to Stop Reading in Machine Comprehension[C]// ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. ACM， 2017：1047-1055.

【通聯(lián)編輯：唐一東】