李月　周江

摘? 要：問答系統(tǒng)是繼搜索引擎之后誕生的又一用來幫助用戶在海量數(shù)據(jù)中提高檢索效率的系統(tǒng)。目前常見的問答系統(tǒng)主要應(yīng)用于商業(yè)領(lǐng)域，針對在校學(xué)生這一特定用戶群體的智能問答系統(tǒng)并不多見。本文在分析問答系統(tǒng)現(xiàn)狀以及建設(shè)難點的基礎(chǔ)上，提出了一種面向?qū)W校這一特定領(lǐng)域的，用來提升在校學(xué)生學(xué)習(xí)、生活質(zhì)量的校園智能問答系統(tǒng)建設(shè)方法，并從語料庫建設(shè)方法、問題及答案提取等多個方面進(jìn)行了詳細(xì)闡述。

關(guān)鍵詞：問答系統(tǒng);文本處理;相似度計算;語料庫

中圖分類號：TP311.52 ? ? ?文獻(xiàn)標(biāo)識碼：A 文章編號：2096-4706（2019）22-0009-05

Abstract：Question Answering System（QAS） is a system that appears after the search engine to improve the retrieval efficiency of users in massive data. At present，the common QAS is mainly used in the business field，but the intelligent QAS for the students in school is rare. Based on the analysis of the current situation and difficulties in the construction of question answering system，this paper puts forward a construction method of campus intelligent question answering system，which is oriented to the specific field of school and is used to improve the quality of students’study and life. It also elaborates on the construction method of corpus，the extraction of questions and answers and so on.

Keywords：question answering system;text processing;similarity computing;corpus

0? 引? 言

隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)絡(luò)上流通的信息日益增加，人們所面臨的問題不再是信息的貧乏，而是信息過載的問題。搜索引擎是目前常見的一種解決信息過載的通用解決方法，人們可以通過使用諸如百度、谷歌、360搜索等系統(tǒng)實現(xiàn)從海量數(shù)據(jù)里檢索自己需要的信息。但是對于一個通用型的搜索系統(tǒng)來說，系統(tǒng)往往提供的也是大量存在冗余的搜索答案，用戶還需要進(jìn)行二次檢索和分析才能取得自己真正需要的數(shù)據(jù)。在此情形之下，問答系統(tǒng)被開發(fā)出來并且搭載在各類系統(tǒng)上，成為系統(tǒng)解決用戶疑問的一種輔助手段。針對特定用戶設(shè)計和開發(fā)高效問答系統(tǒng)，可以有效解決信息過載的問題，提高用戶使用系統(tǒng)的效率。

目前常見的問答系統(tǒng)通常針對商業(yè)領(lǐng)域。在信息檢索需求上，除了商業(yè)領(lǐng)域的需求之外，還有很多非商業(yè)需求。如在校學(xué)生在學(xué)校生活中往往會遇到各種問題，而這些問題又不具備共通性，即這個學(xué)校的學(xué)生遇到的問題可能其他學(xué)校的學(xué)生并沒有遇到過，或者這個學(xué)校的學(xué)生遇到的問題在這個學(xué)校的規(guī)章制度下具有特定的解答。因此，針對非商業(yè)應(yīng)用的特定領(lǐng)域開發(fā)智能問答系統(tǒng)，能較好地解決該領(lǐng)域下用戶的疑問，方便該領(lǐng)域用戶的生活。本文即針對在校學(xué)生開發(fā)特定的非商業(yè)應(yīng)用的智能問答系統(tǒng)，提升在校學(xué)生這一龐大用戶群體在校園生活中使用信息數(shù)據(jù)的質(zhì)量。

1? 問答系統(tǒng)現(xiàn)狀

問答系統(tǒng)的雛形最早誕生于七十多年前，國外科學(xué)家希望計算機(jī)能像人一樣去理解和處理人類自然語言，但是受硬件設(shè)備和計算算法的限制，直到1980年左右，問答系統(tǒng)才開始真正受到人們的關(guān)注。計算科學(xué)之父圖靈表示，具有人工智能的計算機(jī)應(yīng)該能夠像人類一樣理解自然語言并進(jìn)行交流[1]。隨后人們開始關(guān)注并開展基于自然語言理解的研究和開發(fā)，越來越多的公司和研究機(jī)構(gòu)也投入到基于自然語言處理的問答系統(tǒng)中來。

國外在問答系統(tǒng)技術(shù)上的研究起步比較早，目前在工業(yè)界或者學(xué)術(shù)界已經(jīng)產(chǎn)出了一些比較成熟的問答系統(tǒng)和聊天機(jī)器人系統(tǒng)，例如，蘋果公司的Siri，谷歌的Google Now，MIT大學(xué)的Start系統(tǒng)，還有AnswerBus、MULDER、LAMP等，其開發(fā)機(jī)構(gòu)和使用目的如表1所示。

與國外研究相比，國內(nèi)的問答系統(tǒng)發(fā)展較為緩慢。主要原因在于中文的信息處理與英文、法文、德文等語言體系不同，在語義解析、詞法分析上較為困難，在將國外現(xiàn)有的問答系統(tǒng)遷移到中文系統(tǒng)上時存在較大的語言差異鴻溝。另外，問答系統(tǒng)的構(gòu)建基礎(chǔ)之一是語料庫的建設(shè)，基于中文的問答系統(tǒng)在構(gòu)建時需要重新設(shè)計和建立語料庫，也無法重用國外現(xiàn)有系統(tǒng)的語料資源，因此提升了中文問答系統(tǒng)的建設(shè)難度。

國內(nèi)在問答系統(tǒng)領(lǐng)域走得比較靠前的研究機(jī)構(gòu)主要有清華大學(xué)、北京大學(xué)、中科院計算所、哈工大、北京語言大學(xué)等，另外研究漢語問答系統(tǒng)的還有香港大學(xué)、香港中文大學(xué)等單位[1]。目前國內(nèi)常見的問答系統(tǒng)如表2所示。

2? 問答系統(tǒng)關(guān)鍵技術(shù)

在中文問答系統(tǒng)的實現(xiàn)中需要經(jīng)過語料收集、問題解析、答案提取及答案展示幾個階段，具體實現(xiàn)流程如圖1所示。

在系統(tǒng)實現(xiàn)過程中，首先需要構(gòu)建龐大的語料庫。語料庫內(nèi)容的廣度與深度決定了問答系統(tǒng)中答案的質(zhì)量。如果語料庫過小，則問答系統(tǒng)會遇到答案抽取失敗的情況。如果語料庫質(zhì)量過低，則在問答過程中則會出現(xiàn)“答非所問”的情形，同樣會影響用戶體驗。但是要構(gòu)建一個高質(zhì)量的龐大語料庫，需要花費大量的時間及硬件資源。本文所探討的系統(tǒng)設(shè)計針對特定領(lǐng)域，即主要針對學(xué)校這一特定環(huán)境開發(fā)智能問答系統(tǒng)，因此在語料庫的建設(shè)上必須針對特定領(lǐng)域收集、整理數(shù)據(jù)。除語料收集具有特定性之外，智能問答系統(tǒng)在建設(shè)上還具有分詞技術(shù)、語義消歧等通用型的問題需解決。

2.1? 中文分詞

中文分詞是自然語言處理過程中的一個技術(shù)問題。在問答系統(tǒng)中，用戶的提問是一個完整的句子，里面的內(nèi)容從形式上看是一個一個的漢字，但是從語義理解上來看，里面包含的既有單個漢字也有連續(xù)的詞語。中文分詞技術(shù)就是將漢字序列切割成一個個單獨的詞語。與英文分詞不同，英文的句子里單詞和單詞之間以空格作為分界符，因此英文分詞技術(shù)相對來說簡單很多[2]。中文句子里通常只包含逗號（，）、分號（;）、頓號（、）等分隔符，分隔出的也是一段具有完整含義的內(nèi)容，并不存在分隔符將詞與詞隔開，因此中文分詞要顯得復(fù)雜而困難。

目前常見的中文分詞技術(shù)主要基于以下三種：基于字符串匹配的分詞方法、基于理解的分詞方法和基于統(tǒng)計的分詞方法[3]?；谧址ヅ涞姆衷~方法又叫作機(jī)械分詞方法，該方法將需要分解的句子按照一定的規(guī)則與一個足夠大的詞典進(jìn)行逐詞掃描匹配，如果在這個足夠大的詞典中能找到某個一致的字符串，則將這個詞識別出來并將其與周圍的字分隔開。按照掃描方向的不同，串匹配分詞方法可以分為正向匹配和逆向匹配;按照不同長度優(yōu)先匹配的情況，可以分為最大（最長）匹配和最?。ㄗ疃蹋┢ヅ?按照是否與詞性標(biāo)注過程相結(jié)合，又可以分為單純分詞方法和分詞與標(biāo)注相結(jié)合的一體化方法[4]。

基于理解的分詞方法是通過算法讓計算機(jī)模擬人識別句子的過程，將輸入的句子切割成單個單詞。但是由于漢語的語言系統(tǒng)歷經(jīng)幾千年的發(fā)展，具有其特有的復(fù)雜性、概括性等特點，難以將中文像英文等西方語言體系一樣較好地轉(zhuǎn)化為計算機(jī)可以理解的形式，因此目前基于理解的分詞系統(tǒng)還處在試驗階段。

基于統(tǒng)計的分詞方法主要是采用基于統(tǒng)計學(xué)的知識對文本進(jìn)行識別并分詞。從漢語語言的使用習(xí)慣上來看，中文詞是一種相對穩(wěn)定的字與字的組合，如果一個字與另一個字相鄰出現(xiàn)的頻率越高，則這兩個字構(gòu)成詞語的可能性就越大?；诮y(tǒng)計的分詞方法就是統(tǒng)計字與字相鄰出現(xiàn)的頻率或概率，通過設(shè)定一個概率閾值判定是否構(gòu)成詞語[5]。目前基于概率統(tǒng)計的分詞方法應(yīng)用也較為廣泛，但是該方法也有一定的缺陷，即會在詞語抽取上抽取出一些經(jīng)常搭配出現(xiàn)，但是在語義上并不構(gòu)成詞語的“偽詞”。

2.2? 語義消歧

中文問答系統(tǒng)構(gòu)建中還需要解決的一個問題是語義歧義的問題。與英文詞語不同，英文單詞是天然有間隔的，計算機(jī)在分析句子的時候不存在會將一個單詞的一部分與另一個單詞的一部分連接起來從而構(gòu)成新詞去理解的情形。但是基于中文系統(tǒng)中詞語間不存在間隔的現(xiàn)狀，中文問答系統(tǒng)在理解句子時可能會出現(xiàn)對詞語存在多種解答的情況。例如一個句子“我家門前有條大河很難過”，這里面可以分割出“我家”“門前”“有”“條”“大河”“很”“難過”一種分詞結(jié)果，也可能分割出“我”“家門”“前”“有”“條”“大河”“很”“難過”這另一種分詞結(jié)果。這兩種分詞下體現(xiàn)的語義就完全不同。在漢語體系里，“家門”和“門前”是完全不同的含義。此外，即使是同一種分詞結(jié)果，系統(tǒng)在理解上也可能存在歧義。如上一句的分詞結(jié)果：“我家”“門前”“有”“條”“大河”“很”“難過”，其中對于“難過”一詞的理解也會存在不同含義?！半y過”可以表示心情低落不開心，也可以表達(dá)動作上難以通過的意思，系統(tǒng)在理解上同樣可能存在歧義。

2.3? 未登錄詞識別

問答系統(tǒng)對于問題的理解是基于語料庫知識的理解，而語料庫的創(chuàng)建具有時效性，可能會出現(xiàn)在問答過程中出現(xiàn)語料庫未收集詞語的情況。在自媒體與微媒體日益發(fā)達(dá)的今天，用戶的語言習(xí)慣也發(fā)生了巨大的改變，許多基于互聯(lián)網(wǎng)的新詞層出不窮并且擴(kuò)散速度很快，很可能有一個詞上個星期還不存在，但是這個星期人們在互聯(lián)網(wǎng)上已經(jīng)開始大面積使用了。這些未被收集及識別的詞即稱之為“未登錄詞”。常見的未登錄詞包含一些人名、地名、公司名、互聯(lián)網(wǎng)流行語等等。在問答系統(tǒng)中，對于新詞的收錄更新率也成為了問答系統(tǒng)用戶體驗度的檢驗標(biāo)志之一。

2.4? 短文本語義提取

在問答系統(tǒng)中，用戶的提問往往就是一兩個簡單的句子，文本篇幅較短。對于用戶提問，要抽取正確答案，還需要理解用戶提問數(shù)據(jù)的核心內(nèi)容，也就是需要對用戶問題實現(xiàn)核心語義提取。在用戶語義提取上，即需要理解用戶問題的關(guān)鍵詞，也需要結(jié)合用戶問題的語境，還需要綜合考慮用戶提問時的上下文環(huán)境，在多方面數(shù)據(jù)信息結(jié)合的基礎(chǔ)上，才能夠正確理解用戶問題的核心本質(zhì)，從而從語料庫中抽取最符合該問題的答案[6]。目前關(guān)于自然語言處理中的核心語義提取主要還是基于關(guān)鍵詞的提取方式。

3? 特定領(lǐng)域問答系統(tǒng)構(gòu)建方法

本文主要針對校園環(huán)境這一特定領(lǐng)域用戶構(gòu)建智能問答系統(tǒng)，因此系統(tǒng)構(gòu)建不論從用戶分類、使用目的、語料庫構(gòu)建上都存在與學(xué)校這一特定環(huán)境相關(guān)的特定內(nèi)容。與通用型的問答系統(tǒng)不同，針對校園環(huán)境構(gòu)建的問答系統(tǒng)用戶主要面向在校學(xué)生，他們希望獲取的信息內(nèi)容主要和在校生活相關(guān)，如課程相關(guān)問題、學(xué)籍管理問題、校園制度問題、后勤管理問題等。除此之外，也存在校外游客需要針對校園相關(guān)問題提問并獲得解答。因此，針對校園領(lǐng)域的智能問答系統(tǒng)的用戶主要包含以下三種，如表3所示。

3.1? 語料庫構(gòu)建

針對校園環(huán)境這一特定領(lǐng)域的問答系統(tǒng)在語料庫構(gòu)建上并無太多可以借鑒的已有語料知識，主要原因在于不同的學(xué)校具有不同的管理制度，數(shù)據(jù)信息存在較強(qiáng)的個性化特點，因此要構(gòu)建一個智能化的校園問答系統(tǒng)，首先需要收集各類校園相關(guān)的數(shù)據(jù)資料作為語料庫構(gòu)建的基礎(chǔ)。語料來源可以是學(xué)校的有關(guān)規(guī)章制度、工作手冊或管理規(guī)范，也可以來源于學(xué)校在信息化建設(shè)中形成的網(wǎng)絡(luò)數(shù)據(jù)信息。對于網(wǎng)絡(luò)數(shù)據(jù)信息可以采用爬蟲技術(shù)爬取相關(guān)內(nèi)容，然后經(jīng)過數(shù)據(jù)清洗形成可以進(jìn)入語料庫的數(shù)據(jù)。在語料庫構(gòu)建上可以采取基于以下流程的建設(shè)方法，如圖2所示。

對于獲得原始語料信息，需要將長文本切割成短文本以方便實現(xiàn)問題和答案的抽取。對于整理形成的短文本，還需要運用分詞技術(shù)提取文本核心信息。目前常見的中文分詞工具包括開源及商業(yè)應(yīng)用兩種，應(yīng)用較為廣泛的開源分詞工具包括HanLP、結(jié)巴分詞、FudanNLP分詞、THULAC分詞等，這些工具在實現(xiàn)上涵蓋了支持Java、C++、Python等主流編程語言的實現(xiàn)方式。雖然不同工具分詞的準(zhǔn)確率和時間效率有所差異，但是對于校園環(huán)境下的問答系統(tǒng)建設(shè)而言，這些開源工具的分詞結(jié)果都是可以接受的。

3.2? 文本相似度量算法

在構(gòu)建盡可能完善的語料庫的基礎(chǔ)上，提高問答系統(tǒng)效率、提升用戶使用感受的另一影響因素是對用戶問題在語料庫中的匹配檢查。因為問答系統(tǒng)中用戶提交的是文本數(shù)據(jù)，因此在語料庫中尋找與用戶問題匹配的答案時最關(guān)鍵的技術(shù)就是基于文本相似度的計算。

目前基于文本的相似度計算主要包含三種方法[7，8]。第一種是基于單詞重疊數(shù)量統(tǒng)計的計算方法。該方法主要分析兩個不同的文本中相同單詞重疊的數(shù)量，數(shù)量越多，則認(rèn)為兩個文本越接近。但是這種方法僅僅考慮單詞出現(xiàn)的數(shù)量而不考慮單詞出現(xiàn)的位置，以及其他單詞對文本語義的不同貢獻(xiàn)，屬于較為粗略的文本分析方法，在使用過程中也常常會出現(xiàn)提取共性失敗的情況。第二種方法是基于單詞語義相近度度量的方法。該方法通過將單詞轉(zhuǎn)換成向量，計算不同向量之間的相似程度來衡量不同單詞的相似性。該種方法解決了中文中同一含義可能有不同表達(dá)方式的情況，比起機(jī)械衡量兩個單詞是否一樣更加切合問答系統(tǒng)的實際使用情形，但也存在無法整體解析句子含義、上升到句子層面整體衡量相似度的缺陷。第三種方法是以句法作為衡量依據(jù)，通過計算兩個句子之間的相似程度提取問題核心。該種方法更加符合用戶實際情況，可以減少問答系統(tǒng)中提取失敗或者對應(yīng)到語料庫時問題精確度低的情況。本文設(shè)計的問答系統(tǒng)主要針對句子進(jìn)行相似度的計算。

針對文本進(jìn)行相似度計算首先需要將中文文本轉(zhuǎn)換成計算機(jī)可以識別并計算的形式。通常情況下是將文本轉(zhuǎn)化為一個向量矩陣。對于學(xué)校領(lǐng)域下的智能問答系統(tǒng)，首先可以將用戶問題轉(zhuǎn)化成向量Q，其中Q=（q1，q2，q3，…，qn），其中Q表示問題向量，qi表示向量中的第i個維度。對于兩個文本向量，可以對其相似度進(jìn)行計算。常用的相似度計算方法有余弦相似度計算（COS）、皮爾森相關(guān)系數(shù)計算（PCC）、Jaccard系數(shù)計算（JA）等方式，對于兩個問句A和B，其計算公式如下：

在文本相似度計算中，不同的相似度計算方法帶來的計算結(jié)果也各不相同。因為本文探討的智能問答系統(tǒng)中，用戶提問往往是一兩個簡短的句子，因此收集到的文本屬于較短的文本類型。對于短文本通過轉(zhuǎn)化形成的向量，往往具有較低的維度。因此，在計算問答系統(tǒng)中的提問文本相似度時，對于低維度數(shù)據(jù)，選用Jaccard系數(shù)進(jìn)行計算比較有計算優(yōu)勢。

3.3? 相似度閾值

對于計算得到的相似度數(shù)據(jù)，還需要根據(jù)實際情況設(shè)置相似度閾值。如果相似度閾值設(shè)置過高，那么在系統(tǒng)實際運行過程中會出現(xiàn)用戶問題在語料庫中找不到匹配問題的情況，導(dǎo)致系統(tǒng)無法給出回答，會極大地影響用戶體驗感受。同時，如果相似度閾值設(shè)置得過低，則會在系統(tǒng)運行中出現(xiàn)用戶的一個問題可以在語料庫中匹配到多個答案的情況，這樣系統(tǒng)實現(xiàn)的效果將與普通搜索引擎毫無區(qū)別，用戶依然需要從大量數(shù)據(jù)中二次檢索答案。因此，一個合理的相似度閾值設(shè)置在系統(tǒng)設(shè)計中至關(guān)重要。在本文中，為找到短文本相似度設(shè)置的最佳閾值進(jìn)行了多次試驗，在相同語料庫的基礎(chǔ)上，采取50名志愿者對系統(tǒng)給出的答案進(jìn)行評分（10分記為滿分），每個問題的評分取50個用戶的評價平均值。每個問題在語料庫中搜索答案時，相似度閾值分別從0.3、0.4、0.5遞增至0.8。對于不同問題在相同語料庫下獲得的答案滿意度試驗數(shù)據(jù)如表4所示。

表4? 相似度閾值試驗

從上表數(shù)據(jù)可以看到，在相似度閾值較低和較高的情況下，用戶評分都不理想，在相似度閾值為0.5或0.6時可以取得試驗中較為滿意的評價。但是需要注意的是，用戶滿意度除了與相似度閾值的設(shè)定有關(guān)系之外，還和語料庫的大小有關(guān)。只有在語料庫數(shù)據(jù)充分涵蓋用戶實際生活中會遇到的問題時，用戶才能獲得較好的問答體驗。否則在語料庫不充分的情形下，即使將相似度閾值設(shè)置為試驗取得的最好數(shù)據(jù)，用戶也會產(chǎn)生較差的用戶體驗。

4? 結(jié)? 論

問答系統(tǒng)經(jīng)歷了多年的發(fā)展，已經(jīng)取得了一定的成就。但是目前的問答系統(tǒng)一般針對商業(yè)應(yīng)用領(lǐng)域，針對在校學(xué)生構(gòu)建的問答系統(tǒng)并不多見。我國現(xiàn)有2000余所高校，在校學(xué)生人數(shù)超過3000萬人，針對這一龐大的用戶領(lǐng)域構(gòu)建面向?qū)W生的問答系統(tǒng)具有較高的應(yīng)用價值。但是針對特定領(lǐng)域的問答系統(tǒng)構(gòu)建不論從語料庫的建設(shè)還是問答方式的設(shè)計上都需要針對領(lǐng)域問題尋找最適合的方法。在本文探討內(nèi)容的基礎(chǔ)上，還可進(jìn)一步研究在智能問答系統(tǒng)中加入語料庫自動增長、語料庫自動糾錯的設(shè)計，從而使得面向?qū)W校這一特定領(lǐng)域的問答系統(tǒng)具有更高的智慧。目前問答系統(tǒng)雖然已有一定的建設(shè)成果，但是在大數(shù)據(jù)和人工智能蓬勃發(fā)展的今天，面向特定領(lǐng)域的問答系統(tǒng)也還有更多的建設(shè)細(xì)節(jié)亟待建設(shè)者去思考和探索。

參考文獻(xiàn)：

[1] 馮升.聊天機(jī)器人問答系統(tǒng)現(xiàn)狀與發(fā)展 [J].機(jī)器人技術(shù)與應(yīng)用，2016（4）：34-36.

[2] 黃偉，范磊.基于多分類器投票集成的半監(jiān)督情感分類方法研究 [J].中文信息學(xué)報，2016，30（2）：41-49+106.

[3] 王朝.面向網(wǎng)上訂餐的垂直搜索引擎的設(shè)計與實現(xiàn) [D].成都：電子科技大學(xué)，2016.

[4] 徐曉.智能答疑系統(tǒng)的設(shè)計與研究 [J].微型機(jī)與應(yīng)用，2014，33（5）：8-10.

[5] 雷鵬飛.輿情系統(tǒng)中特征選擇和情感分析的研究與實現(xiàn) [D].成都：電子科技大學(xué)，2017.

[6] 郭浩，許偉，盧凱，等.基于CNN和BiLSTM的短文本相似度計算方法 [J].信息技術(shù)與網(wǎng)絡(luò)安全，2019，38（6）：61-64+68.

[7] 趙永標(biāo)，張其林，谷瓊.社區(qū)問答系統(tǒng)中基于當(dāng)前興趣的問題推薦研究 [J].現(xiàn)代信息科技，2019，3（11）：1-4.

[8] 張明輝.情感分析在商品評論中的應(yīng)用 [J].現(xiàn)代信息科技，2019，3（10）：187-190.

作者簡介：李月（1979-），女，漢族，湖北荊門人，講師，碩士研究生，研究方向：機(jī)器學(xué)習(xí)、人工智能、軟件工程。