劉建偉

摘要：在人類智能各項能力中，閱讀理解能力就是其中較為重要的一項能力，機器閱讀理解能力是自然語言處理領(lǐng)域中不可或缺的一項能力。在我國整體對深度學(xué)習(xí)方法不斷深入研究的背景下，機器中文閱讀理解技術(shù)水平發(fā)生了顯著變化，但是其詞向量模塊、模型推理能力、模型外部推理知識、答案生成技術(shù)等仍然存在不足，為了能夠進一步機器中文閱讀理解技術(shù)，本文對深度學(xué)習(xí)下的機器中文閱讀理解進行全面分析。

關(guān)鍵詞：深度學(xué)習(xí);機器中文閱讀理解;研究方法

引言

機器中文閱讀理解是自然語言處理領(lǐng)域的一種核心技術(shù)，在對深度學(xué)習(xí)技術(shù)的輔助下，其實際發(fā)展速度顯著提升。機器中文閱讀理解，實際上就是讓機學(xué)會中文閱讀和文章理解，對于已經(jīng)給定的問題，要從閱讀中尋找相對應(yīng)的答案。機器中文閱讀理解涉及到語言理、知識推理、摘要生成多多項具有復(fù)雜性的技術(shù)，無形中也使機器中文閱讀理解技術(shù)的提升面臨著嚴(yán)峻挑戰(zhàn)。本文從機器中文閱讀理解面臨的主要問題入手，展開闡述，針對深度學(xué)習(xí)下的機器中文閱讀理解進行深入探討。

一、機器中文閱讀理解面臨的主要問題

（一）詞向量模塊缺乏完善性

現(xiàn)階段，通過運用預(yù)訓(xùn)練的語言模型，取代預(yù)訓(xùn)練的詞向量對機器中文閱讀理解模型帶來的性能提升，但是以語言模型為基礎(chǔ)的詞向量仍然存在一定局限性。比方說在機器中文閱讀理解任務(wù)中，為了能夠精準(zhǔn)的回答與人物軌跡相關(guān)的各項問題，模型自身就要具備指代消解能力，但是語言模型在此方面卻存在一定缺陷。此外，通過運用語言模型只能捕捉到其能見到的信息，對于一些具有常識性的信息而言，仍然需要其他技術(shù)輔助。

（二）模型自身缺乏推理能力和外部知識

目前的閱讀理解模型缺乏具有深度性的閱讀理解能力，而是注意某些線索以執(zhí)行粗淺的模式進行匹配。但是不論是對于語言模型而言，還是對于注意力模型而言，都缺乏相應(yīng)的推理能力。如語言模型更傾向于語法和語義模型的構(gòu)建;注意力模式與之不同，主要就是以虔誠予以的相似度進行計算，但是推理能力則是要求模型能夠以高層抽象的語義為基礎(chǔ)構(gòu)建模型。不僅如此，模型自身還缺乏外部知識[1]?，F(xiàn)階段的中文閱讀理解模型實際運用的信息，都來自于文章，在實際進行中文閱讀理解期間，需要緊緊結(jié)合外部知識對文章進行深度理解，但是因為其在此方面存在一定缺陷，導(dǎo)致模型的外部知識體系需要進行完善。

（三）答案生成技術(shù)研究缺乏全面性

現(xiàn)階段的機器中文閱讀理解技術(shù)，充分運用邊界模型對答案進行預(yù)測。即便邊界模型在SQuAD數(shù)據(jù)集上獲取了一定的成果，但是對于一些貼近真實應(yīng)用場景的數(shù)據(jù)集而言并不適用。答案生成技術(shù)目前已經(jīng)產(chǎn)生立初步的研究成果，但是為了能夠進一步的生產(chǎn)高質(zhì)量的答案，仍然需要提升其研究全面性。

二、深度學(xué)習(xí)下的機器中文閱讀理解

（一）完善詞匯量模塊

在大部分的NLP任務(wù)中，第一步程序就是運用向量來表示中文單詞，詞的向量表示始終都是NLP領(lǐng)域中重點研究的問題。在機器中文閱讀理解任務(wù)中，能否精準(zhǔn)的表示詞向量至關(guān)重要，通過運用高質(zhì)量的詞向量，能夠全面提升機器中文閱讀理解任務(wù)模型的各項性能?，F(xiàn)階段對詞向量進行研究，主要就是依據(jù)詞的相似性分布理論，也就是能夠通過上文和下文的描述將其含義表現(xiàn)出來。從生成詞向量方式的角度進行分析，詞向量的具體研究方法被分為矩陣分解法、參數(shù)學(xué)習(xí)法、上下文學(xué)習(xí)法。

（二）矩陣分解法

將相似性分布理論作為核心依據(jù)進行研究，根據(jù)實際需要，中文閱讀理解中的上文和下文不僅可以是整篇文檔，也可以是任意長度的窗口。為了能夠更加精準(zhǔn)的表示詞向量，就要準(zhǔn)確落實矩陣奇異值分解工作，并且在實際表示詞向量期間要運用合成低緯度矩陣。此種低維度、高密度的詞向量表示發(fā)揮作用，能夠有效解決維數(shù)災(zāi)難和稀疏性問題，因此其被充分利用。但是通過運用矩陣分法進行表示，仍然存在一些不足，如在對大規(guī)模語料而言，在實際對共現(xiàn)矩陣進行分解的過程中，具有較大的消耗量。此外，在對語料進行增量式更新的過程中，就要對共現(xiàn)矩陣的奇異值分解進行再一次計算。

（三）參數(shù)學(xué)習(xí)法

為了能夠彌補矩陣分解法在計算量方面的各項不足，就要要求研究人員運用參數(shù)學(xué)習(xí)法對詞向量進行表示。以神經(jīng)網(wǎng)絡(luò)的概率語言模型為基礎(chǔ)構(gòu)建的Bengio，其將詞向量作為語言模型的參數(shù)進行學(xué)習(xí)。主要就是每個單詞表示為低緯度的特征向量，之后再對詞的特征向量構(gòu)造語言模型的聯(lián)合概率密度，并要對聯(lián)合概率密度函數(shù)進行優(yōu)化，進而深入的學(xué)習(xí)詞的特征向量。但是通過運用參數(shù)學(xué)習(xí)法，也并沒有完全解決維數(shù)災(zāi)難和計算量方面的問題，如依然存在著一詞多義的現(xiàn)象，這就要對上文和下文信息進行有效利用。

（四）上下文學(xué)習(xí)法

為了能夠有效解決一詞多義的問題，就要對上下文的語境進行充分利用，其屬于動態(tài)詞詞向量表示方法的范疇，進而就會使詞向量不再處于靜態(tài)模型參數(shù)的范疇，而能夠進行動態(tài)模型輸出[2]。像Melamud就會通過用BiLSTM取代了word2vec模型中詞向量矩陣，并通過對BiLSTM進行正確應(yīng)用，對中文閱讀理解的上下文進行編碼，通過在這樣的方式獲取詞向量的標(biāo)識。

三、完善注意力機制

（一）單路注意力模型

為了能夠?qū)θ俗鲋形拈喿x理解過程中各項事項進行模擬，就要以運用單路注意力模型的方式為主，如首先明確中文閱讀理解中提出的各項問題，其次再到中文閱讀理解中尋找答案。將具體問題與文章段落的各項信息進行結(jié)合，形成關(guān)于文章段落各個部分的注意力權(quán)重，之后再對文本信息進行加權(quán)，此種注意力機制就能夠精準(zhǔn)的捕捉到文章各個段落中與問題先關(guān)的信息。

（二）雙路注意力模型

雙路注意力模型不僅能夠在文章中使用注意力機制，同時也能在問題上使用注意力機制。通過按行計算注意力的方式，來獲取文章序列和問題中每個單詞具之間的相似度;按列的方式對注意力進行計算，來獲取問題單詞和文章中每一個單詞的相似度。雙路注意力機制，主要就是從二維相似度矩陣的角度，來獲取中文閱讀的整體表達。通過對文章和問題之間的相似度的掌握，及進一步完成細(xì)粒度建模，在不斷完善各處細(xì)節(jié)信息的同時，能夠有效提升機器中文閱讀理解水平。

（三）完善答案預(yù)測機制

1 答案抽取

答案抽取機制具體是指從已經(jīng)給定的中文閱讀理解中，挑選出較為關(guān)鍵的片段，之后在生成相應(yīng)的答案。如在數(shù)據(jù)SQuAD中，每一個問題的答案都是原文中的一個單獨片段[3]。但是隨著輸入文章的長度不斷變化，有越來越多的中文閱讀理解模型以運用指針網(wǎng)絡(luò)方式為主，進行答案抽取;將指針網(wǎng)絡(luò)作為核心依據(jù)進行研究，將答案抽取模型分為序列模型和邊界模型兩種類型。將這兩種模型進行比較，不難發(fā)現(xiàn)，序列模型的靈活性比較強，但是其答案是由多個詞匯組合而成的，所以導(dǎo)致其在語法規(guī)范和語義表達方面，就會比邊界模型更弱一些。

2 答案生成

與SQuAD數(shù)據(jù)集有所不同，像微軟亞洲研究院實際發(fā)布的數(shù)據(jù)集MS MARCO都是在人工閱讀的方式后，進行總結(jié)，之后再生成答案。這樣其答案就不會再受到文章片段的限制，但是其對模型自身生成答案的能力具有較高要求。

結(jié)束語：

總之，在深度學(xué)習(xí)技術(shù)水平不斷提升的背景下，以深度神經(jīng)網(wǎng)絡(luò)機制為依據(jù)的機器中文閱讀理解技術(shù)能力有所提升。本文主要就是對機器中文閱讀理解存在的各相不足問題進行分析，結(jié)合實際要求制定科學(xué)有效的完善方案，為今后實際問題提供重要保障。

參考文獻：

[1]段利國， 高建穎， 李愛萍. 機器閱讀理解中觀點型問題的求解策略研究[J]. 中文信息學(xué)報， 2019， 33（10）.

[2]王璞， 徐蔚然. 基于機器閱讀理解的嵌套命名實體識別[J].? 2020.

[3]邱超凡. 基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的機器閱讀理解的研究[D].? 2019.