胡闊慧
摘 要:隨著計算機技術(shù)、自然語言理解技術(shù)和人工智能技術(shù)的發(fā)展,我們生活中隨處都可以看到FAQ系統(tǒng)。它涉及的領(lǐng)域越來越多,包括智能咨詢領(lǐng)域、人工智能領(lǐng)域、培訓教育領(lǐng)域等,隨著其深入應(yīng)用到生活中,用戶對其答案的準確度和系統(tǒng)友好性要求越來越高。本文在前人研究的基礎(chǔ)之上利用問句相似度計算結(jié)合問句相關(guān)度進行FAQ系統(tǒng)設(shè)計,主要是通過問句的語義相關(guān)度對問句進行計算,最終從知識庫中返回用戶需要的答案。
關(guān)鍵詞:FAQ系統(tǒng);問句相關(guān)度;問句相似度;人工智能
一、前言
FAQ系統(tǒng)通過一問一答的形式與提問者進行交流,目前對提問者提問的語句進行計算的方式有兩種,一種是基于問句相似度的方式對用戶的問題進行分析,然后給出答案,該種方式的準確率目前可以達到80%左右,一種是根據(jù)提問者提問問句中詞匯的相關(guān)度對用戶的問句進行計算,該種方式的準確率同樣也在80%左右。
本文主要對在結(jié)合問句相關(guān)度計算的FAQ系統(tǒng)進行分析,分析的問題計算的方式是采用基于語義相關(guān)度的方式結(jié)合問句相關(guān)度對用戶的問題進行計算,來反饋給用戶正確和期待的答案。該種結(jié)合問句語義相關(guān)度的計算方式能夠滿足用戶在人機交互方面的需求,使FAQ系統(tǒng)變得更加人性化,更能夠滿足用戶的需求。目前在各個公共場所都能夠看到FAQ系統(tǒng)的存在,例如醫(yī)院、購物商場、學校、政府大廳等,用戶通過FAQ系統(tǒng)可以得到自身所需要的信息,同時對答案的準確性要求也變得相對較高,他們在提問的同時不僅僅關(guān)注某一個問題的準確性,他們更希望通過問題的關(guān)聯(lián)性來獲取相應(yīng)的答案。為了滿足用戶該方面的要求,所以本文對FAQ系統(tǒng)研究與設(shè)計具有非常重要的意義。
二、FAQ系統(tǒng)介紹
FAQ系統(tǒng)即問答系統(tǒng),其主要是通過一問一答的形式進行問題的展示和提供指導(dǎo)服務(wù)。FAQ系統(tǒng)是目前自然語言理解領(lǐng)域研究和關(guān)注的重點,該類系統(tǒng)的特點是允許用戶通過自然語言進行問題的提問,系統(tǒng)對用戶輸入的自然語言進行處理,最終返回用戶需要的答案。目前國內(nèi)和國外的學者對于FAQ系統(tǒng)的研究主要集中在以下三類中:特定領(lǐng)域內(nèi)的FAQ系統(tǒng)、全領(lǐng)域開放式FAQ系統(tǒng)以及基于用戶常見問題集的FAQ系統(tǒng)。
一般的FAQ系統(tǒng)在進行用戶問題處理和答案反饋時一般要經(jīng)過:問句理解、問句處理、反饋答案。其中問句處理包括漢語分詞、問句中關(guān)鍵詞提取、對提取的關(guān)鍵詞進行同義詞替換、通過相似度算法對答案進行計算、對用戶的問題進行記錄、反饋最接近用戶想要的答案。
目前存在的FAQ系統(tǒng)有完全單機版的,即采用管理員實現(xiàn)收集的知識庫來為用戶進行服務(wù),也有基于網(wǎng)絡(luò)的FAQ系統(tǒng),該種FAQ系統(tǒng)依靠互聯(lián)網(wǎng)強大的知識庫,對答案信息進行抓取來解答用戶的問題。專家認為一個成熟,能夠進行應(yīng)用的FAQ系統(tǒng)至少能夠?qū)τ脩籼岢龅膯栴}的百分之八十進行解答,即使不能解答的問題也能夠找出相應(yīng)的相似問題進行解答。再進行FAQ系統(tǒng)應(yīng)用后不僅能夠方便用戶對相應(yīng)的知識信息進行了解,同時也能夠解放一部分人力,節(jié)省機構(gòu)、高校等的開支,提高用戶對于機構(gòu)和高校的滿意度。
三、系統(tǒng)設(shè)計
語義相關(guān)度是一個綜合而且相對模糊的概念,它既包括問句之間的相關(guān)度計算又包括問句之間的相似度計算。本文設(shè)計的語義相關(guān)度計算算法在基于問句語義表征計算的相似度算法之上,添加了前后問句之間的相關(guān)度計算。添加相關(guān)度計算的目的是使計算的準確率更高、問答系統(tǒng)的友好性更好。
第一,用戶首先需要輸入中文問句,系統(tǒng)在用戶輸入中文問句后對問句進行處理,得到問句的“語義表征”和“問句類型”。
第二,系統(tǒng)會對用戶輸入的問題進行判斷,如果用戶是首次使用我們設(shè)計的FAQ系統(tǒng),那么就不存在前后問句關(guān)聯(lián)性的問題。系統(tǒng)將通過用戶的問句的語義表征直接進行問句相似度計算,返回用戶所需要的答案。
第三,如果經(jīng)過判斷,用戶輸入的問題不是第一個問題,那么系統(tǒng)會對用戶目前輸入的問題和前一個問題進行相關(guān)度計算;然后形成信息的問句語義表征,最后再進行問句相似度計算。
注:在系統(tǒng)進行問句相關(guān)度計算和相似度計算的過程中,都運用了我們建立的領(lǐng)域關(guān)鍵詞詞典,目的是提高系統(tǒng)的準確率。
本文設(shè)計的結(jié)合問句語義相關(guān)度計算的FAQ系統(tǒng)的具體流程如下圖所示
圖1 結(jié)合問句語義相關(guān)度計算的FAQ系統(tǒng)流程圖
四、語句相關(guān)度計算
詞語之間的相關(guān)度是指兩個詞語之間的相關(guān)程度,例如:“統(tǒng)計大學”與“軟件學院”在一定程度上具有一定的相關(guān)度,因為后者屬于前者,目前進行詞語相關(guān)度計算的算法很多,例如基于《知網(wǎng)》的詞語相關(guān)度計算、面向語義消岐的詞語相關(guān)度計算算法等。
第一,相關(guān)度計算算法是在用戶進行問題輸入的過程中進行的,如果用戶輸入的是第一個問題,不存在該算法的計算流程。該算法只負責計算用戶輸入第一個問題后的后續(xù)問句。
第二,有兩個概念需要注意,即何為完整問句?何為不完整問句?
完整問句:我們根據(jù)本文建立的領(lǐng)域關(guān)鍵詞樹來定義完整問句和不完整問句,問句中包含領(lǐng)域關(guān)鍵詞樹的第一,第二,第三層中的一個詞以及第四層中的一次詞,就可以定義為完整問句。這里需要注意,必須包含第四層中的詞。例如:“同濟大學軟件學院簡介?”包含了第一層中的詞“軟件學院”;第四層中的詞“簡介”。所以該問句為完整問句。
不完整問句:是指不包括第一層,第二層或是第三層中的詞,只包括第四層中的詞。例如:“簡介?”就是一個不完整問句。只包含第一層,第二層或是第三層的詞也是一個不完整問句。例如:“統(tǒng)計大學人文學院呢?”就是一個不完整問句。
第三,首先系統(tǒng)會對用戶輸入的問句QuesList2進行預(yù)處理,得到該問句的語義表征以及問句的類型。對QuesList2進行判斷,判斷其是否為完整問句,如果QuesList2為完整問句,那么直接利用其語義表征進行問句相似度計算;否則進入(4)。
第四,對QuesList1和Quextion2的問句語義本文在前人研究的基礎(chǔ)之上以及對目前流行的互聯(lián)網(wǎng)旅游管理系統(tǒng)進行分析,目前基于互聯(lián)網(wǎng)建設(shè)的旅游管理系統(tǒng)應(yīng)該是一款能夠提供全方位服務(wù)的信息管理系統(tǒng)??偨Y(jié)歸納出一個基于互聯(lián)網(wǎng)的旅游管理系統(tǒng)應(yīng)該的具有的功能至少包括:新聞管理功能、酒店預(yù)訂功能、旅游線路預(yù)定功能、景區(qū)訂票功能、簽證服務(wù)功能、留言提問功能、會員注冊功能、短信群發(fā)功能、郵件群發(fā)功能、在線支付功能、SEO優(yōu)化功能、優(yōu)惠返利功能、車票飛機票代購功能。
(作者單位:同濟大學)
參考文獻:
[1] 李雅靜.新型高端旅游人才創(chuàng)新開發(fā)使用模式研究[D].北京交通大學,2014.
[2] 張俠.都市旅游發(fā)展與政府職能研究[D].華中師范大學,2009.
[3] 龐彤彤.國家旅游線路評價與初步設(shè)計[D].中國海洋大學,2010.
[4] 凌琳.地理信息系統(tǒng)(GIS)在旅游業(yè)中的應(yīng)用研究[D].復(fù)旦大學,2009.
[5] 梅杏莉.基于C/S和B/S混合型結(jié)構(gòu)的主題公園營運管理信息系統(tǒng)研究[D].暨南大學,2006.
[6] 舒永鋼.WebGIS旅游信息搜索功用研究及應(yīng)用[D].浙江工商大學,2012.