張志昌 張珍文 張治滿

(西北師范大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院 蘭州 730070)

人機(jī)對話作為智能場景中的關(guān)鍵技術(shù)，近年來引起了學(xué)術(shù)界和產(chǎn)業(yè)界的廣泛關(guān)注，相關(guān)方法已經(jīng)在不少產(chǎn)品(如蘋果Siri[注]https://en.wikipedia.org/wiki/Siri、Google Now[注]https://en.wikipedia.org/wiki/Google_Now、微軟Cortana[注]https://en.wikipedia.org/wiki/Cortana和阿里小蜜[注]http://alixiaomi.com等)中得到了廣泛應(yīng)用.人機(jī)對話系統(tǒng)運(yùn)行時(shí)，首要的任務(wù)就是在用戶輸入消息(文本或者語音)后，準(zhǔn)確理解用戶對話意圖[1]，例如判斷用戶是想和系統(tǒng)閑聊，還是希望系統(tǒng)完成特定的任務(wù)(如預(yù)定機(jī)票、訂外賣、查詢天氣等)；然后再根據(jù)用戶意圖做出正確的回應(yīng)，讓對話順利進(jìn)行.精準(zhǔn)的用戶意圖理解能有效提高人機(jī)交互的自然度[2-3]，提升用戶體驗(yàn).因此，用戶意圖分類在人機(jī)對話系統(tǒng)研究中具有重要的研究意義.表1為常見用戶意圖舉例：

Table 1 Examples of User Intent表1 用戶意圖舉例

針對人機(jī)對話中的用戶意圖分類問題目前已有不少研究，但依然存在很多需要深入解決的問題，如萬能回復(fù)、回復(fù)相關(guān)性差及對聊天文本語義理解不夠深入，無法從較短的用戶聊天文本中理解用戶意圖等問題.如當(dāng)用戶輸入“我的ThinkPad已經(jīng)用了5年了”時(shí)，可能是稱贊這個(gè)筆記本電腦性能很好，也可能是表達(dá)想換新筆記本電腦的一種意愿.在這種情況下，對話系統(tǒng)很難準(zhǔn)確判斷用戶的真實(shí)意圖到底是哪一種.現(xiàn)有的用戶意圖分類方法存在對聊天文本語義理解不夠深入、難以有效表達(dá)用戶聊天文本的真實(shí)語義信息等問題.

針對上述問題，本文提出了基于獨(dú)立循環(huán)神經(jīng)網(wǎng)絡(luò)(independently recurrent neural network, IndRNN)和詞級別注意力機(jī)制(word-level attention mechanism)的用戶意圖分類方法.通過多層IndRNN[4]網(wǎng)絡(luò)作為編碼器對用戶聊天文本編碼，有效改善了傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)結(jié)構(gòu)在序列任務(wù)處理中出現(xiàn)的“梯度消失”和“梯度爆炸”等問題，而詞級別注意力機(jī)制[5]則顯著地增強(qiáng)了領(lǐng)域詞匯對意圖分類的突出貢獻(xiàn).通過在第六屆全國社會媒體處理大會中文人機(jī)對話技術(shù)評測[6](SMP2017-ECDT)用戶意圖領(lǐng)域分類語料上實(shí)驗(yàn)發(fā)現(xiàn)，本文提出的方法相比其他已有的幾種分類方法，取得了更好的分類效果.

1 相關(guān)工作

對用戶意圖分類方面已有的研究方法進(jìn)行總結(jié)，可以劃分為3類：

1) 基于規(guī)則的方法.這種方法主要是根據(jù)知識工程師或領(lǐng)域?qū)＜业慕?jīng)驗(yàn)和知識歸納總結(jié)出相關(guān)分類規(guī)則，然后構(gòu)建相應(yīng)的規(guī)則模板作為分類器分類.Yang等人[7]提出了人們?nèi)粘Ｉ钪薪?jīng)常出現(xiàn)的12 種普遍需求,通過模板匹配方法獲得了購買產(chǎn)品的用戶,然后基于Twitter 中的Unigram特征、WordNet 中詞的語義特征和表達(dá)需求的動詞特征來訓(xùn)練分類器完成對用戶消費(fèi)意圖的識別.Fu等人[8]采用基于模板的匹配方法來檢測用戶微博消費(fèi)意圖.基于規(guī)則的方法優(yōu)點(diǎn)是分類準(zhǔn)確率較高.缺點(diǎn)是：①規(guī)則之間的關(guān)系不透明，缺乏分層的知識表達(dá)；②不具備從經(jīng)驗(yàn)中學(xué)習(xí)的能力，維護(hù)困難；③覆蓋率低，規(guī)則制定需要專業(yè)人員參與，耗時(shí)耗力，可擴(kuò)展性較差，很難在多領(lǐng)域推廣使用.

2) 基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法.傳統(tǒng)機(jī)器學(xué)習(xí)方法基于特征工程[9]，常用的方法有樸素貝葉斯(Naive Bayes, NB)、支持向量機(jī)(support vector machine, SVM)、最大熵等.用戶意圖分類任務(wù)需要獲取用戶輸入文本的語言特征，如詞法、句法等.大量相關(guān)研究證明模型所學(xué)習(xí)的語言學(xué)特征對于自然語言處理能夠提供十分重要的價(jià)值[10].Pang等人[11]提出使用N-gram特征可以有效地識別影評的極性，其中，Unigram特征的效果最佳；Wang等人[12]利用詞語Bigram特征訓(xùn)練NB和SVM模型，在句子或文本主題分類問題中取得一致較好的效果；Huang等人[13]在用戶消費(fèi)模式識別中提出了基于SVM的識別方法.基于傳統(tǒng)機(jī)器學(xué)習(xí)的分類方法，其優(yōu)點(diǎn)是不需要手動編寫規(guī)則模板，能有效解決基于規(guī)則的方法中所存在的問題.缺點(diǎn)是：①提取特征耗時(shí)，其消耗往往隨著數(shù)據(jù)集規(guī)模的變大而增長，容易出現(xiàn)維度災(zāi)難；②不容易構(gòu)造有效的分類特征，且大部分的特征基于字或詞，難以表達(dá)句子較深層的語義信息.

3) 基于深度學(xué)習(xí)的方法.深度學(xué)習(xí)的出現(xiàn)極大降低了獲取文本特征的難度.Kim[14]首次將卷積神經(jīng)網(wǎng)絡(luò)(CNN)應(yīng)用到句子分類任務(wù)中，并提出了幾種變形；Gao等人[15]在句子分類任務(wù)中提出基于稀疏自學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)對句子編碼，實(shí)現(xiàn)句子分類；Xu等人[16]提出利用神經(jīng)網(wǎng)絡(luò)的方法評估書法練習(xí)者書法臨摹的質(zhì)量；Bhardwaj等人[17]在搜索引擎查詢意圖識別任務(wù)中提出利用卷積神經(jīng)網(wǎng)絡(luò)獲取查詢文本的向量表示作為查詢分類的特征；Bhardwaj等人[18]提出利用記憶網(wǎng)絡(luò)對用戶交互信息編碼以實(shí)現(xiàn)應(yīng)用推薦任務(wù)中的意圖分類；Kim等人[19]在口語對話理解中提出利用Bi-LSTM方法對用戶交互文本編碼實(shí)現(xiàn)領(lǐng)域和意圖分類.端到端的深度學(xué)習(xí)方法使用詞向量表示，可不依賴于特定語言的句法關(guān)系，減少了人工設(shè)計(jì)和構(gòu)造分類特征的負(fù)擔(dān)，還可以抓取到視覺上無法獲取的特征，從而提高了分類的精度.

Fig. 2 Basic RNN unit structure圖2 基本RNN單元結(jié)構(gòu)

2 基于IndRNN-Attention的用戶意圖分類方法

本文提出的基于IndRNN-Attention的用戶意圖分類方法模型結(jié)構(gòu)如圖1所示，由輸入層、編碼層、注意力層和分類層組成.

Fig. 1 Architecture of IndRNN-Attention圖1 IndRNN-Attention結(jié)構(gòu)

2.1 輸入層

模型的輸入是用戶輸入的一個(gè)句子對應(yīng)的詞向量矩陣，詞向量由預(yù)先訓(xùn)練好的word2vec模型得到.對于數(shù)據(jù)集中的任意一個(gè)句子，將其分詞后參照數(shù)據(jù)集中句子的最大長度進(jìn)行填充，并將句子中的每個(gè)詞轉(zhuǎn)換成對應(yīng)的詞向量表示，便可得到該句子的詞向量矩陣.

2.2 IndRNN層

RNN被廣泛地應(yīng)用在動作識別、場景標(biāo)注和自然語言處理等領(lǐng)域.基本的RNN單元結(jié)構(gòu)如圖2所示.

在RNN中每個(gè)神經(jīng)元接收當(dāng)前時(shí)刻的輸入和上一時(shí)刻的輸出作為輸入，時(shí)刻t的狀態(tài)更新為

ht=σ(Wxt+Uht-1+b)，

(1)

其中xt∈RM和ht-1∈RN分別是時(shí)刻t的輸入和時(shí)刻t-1的隱藏狀態(tài)，W∈RN×M和U∈RN×N分別是神經(jīng)元當(dāng)前時(shí)刻的輸入和循環(huán)輸入的權(quán)重矩陣，b∈RN是偏置項(xiàng)，σ是神經(jīng)元激活函數(shù)，N是每個(gè)RNN層神經(jīng)元數(shù)量，M是輸入層的大小.

RNN在訓(xùn)練過程中容易出現(xiàn)“梯度消失”和 “梯度爆炸”問題，這使得RNN學(xué)習(xí)長期依賴關(guān)系的能力比較差.為解決這些問題，研究人員提出了長短時(shí)記憶網(wǎng)絡(luò)[20](long short-term memory, LSTM)和門控循環(huán)單元[21](gated recurrent unit, GRU).雖然這2種網(wǎng)絡(luò)結(jié)構(gòu)在一定程度上改善了這些梯度問題，但是由于LSTM和GRU使用tanh函數(shù)和sigmoid函數(shù)作為激活函數(shù)，會導(dǎo)致層與層之間的梯度衰減，因此要構(gòu)建和訓(xùn)練一個(gè)深層的循環(huán)神經(jīng)網(wǎng)絡(luò)實(shí)際上較困難.

通過使用IndRNN可以有效地解決上述問題.IndRNN單元結(jié)構(gòu)如圖3所示.

IndRNN狀態(tài)更新如式(2)所示：

ht=σ(Wxt+U⊙ht-1+b)，

(2)

其中,xt∈RM和ht-1∈RN分別是時(shí)刻t的輸入和時(shí)刻t-1的隱藏狀態(tài)，其中W∈RN×M表示輸入層到隱層的權(quán)重，U∈RN表示上一時(shí)刻隱層到當(dāng)前隱層的權(quán)重，⊙表示哈達(dá)馬積(hadamard product).IndRNN中每一層的每個(gè)神經(jīng)元之間都是獨(dú)立的，神經(jīng)元之間的連接可以通過堆疊2層或者多層IndRNN單元實(shí)現(xiàn).對于第n個(gè)神經(jīng)元，時(shí)刻t的隱藏狀態(tài)可通過計(jì)算得到：

hn,t=σ(wnxt+unhn,t-1+bn)，

(3)

其中,wn和un分別表示第n行神經(jīng)元的輸入權(quán)重和隱層權(quán)重.

Fig. 3 IndRNN unit structure圖3 IndRNN單元結(jié)構(gòu)

在IndRNN中，每個(gè)神經(jīng)元只接收來自當(dāng)前時(shí)刻的輸入和它本身在上一時(shí)刻的隱藏狀態(tài)信息，每個(gè)神經(jīng)元獨(dú)立處理一種類型的時(shí)空模式.傳統(tǒng)的RNN通常被視為通過時(shí)間共享參數(shù)的多層感知機(jī)，而 IndRNN則展現(xiàn)了一種隨著時(shí)間步的延伸(通過u)獨(dú)立地聚集空間模式(通過w)的新視角.通過堆疊2層或多層神經(jīng)元，下一層中的每個(gè)神經(jīng)元獨(dú)立地處理前一層中所有神經(jīng)元的輸出，降低了構(gòu)建深度網(wǎng)絡(luò)結(jié)構(gòu)的難度，增強(qiáng)了對更長序列的建模能力.同時(shí)，借助ReLU等非飽和激活函數(shù)，訓(xùn)練之后的 IndRNN 魯棒性更高.

2.3 注意力機(jī)制層

獲取文本語義表示常用的方法是取編碼器最后時(shí)刻的隱藏狀態(tài)輸出向量作為最終的編碼向量，優(yōu)點(diǎn)是一定程度上可以有效地涵蓋文本語義信息，缺點(diǎn)是這種辦法很難將輸入文本的所有信息編碼在一個(gè)固定長度的向量中.如果直接將每個(gè)時(shí)刻的輸出向量相加或者平均，那么可以認(rèn)為每個(gè)輸入的字或詞對計(jì)算輸入文本的語義表示結(jié)果的貢獻(xiàn)是相等的，這種方法降低了那些對表達(dá)文本含義有重要作用的字或詞的貢獻(xiàn)度.

利用智能移動終端幫用戶完成訂機(jī)票、導(dǎo)航、訂酒店等是常會發(fā)生的情景.例如用戶輸入“上?；睾戏试趺醋嚕俊?，用戶意圖是查詢路線，屬于“bus”類，在分類過程中“汽車”這個(gè)詞對正確分類貢獻(xiàn)最大，所占的權(quán)重也應(yīng)該最高.因此，我們引入詞級別注意力機(jī)制來提取對句子含義重要的詞的信息.

給定一個(gè)序列S=(w1,w2,…,wT)，T表示序列長度.序列S中的第i個(gè)詞在時(shí)刻t的隱藏狀態(tài)hit可由式(3)計(jì)算得到，詞級別注意力機(jī)制可以通過3個(gè)步驟實(shí)現(xiàn):

1) 使用多層感知機(jī)獲得hit的隱藏表示uit：

uit=tanh(Wwhit+bw)；

(4)

2) 計(jì)算uit和詞級別上下文uw的相似性將其作為單詞的重要性度量，通過softmax函數(shù)計(jì)算歸一化權(quán)重αit：

(5)

單詞上下文向量uw是在訓(xùn)練過程中隨機(jī)初始化和共同學(xué)習(xí)的.

3) 計(jì)算句子向量C：

(6)

2.4 分類層

將句子編碼結(jié)果C輸入到一個(gè)全連接層并使用全連接層的輸出作為句子最終的特征向量，將其輸入softmax層即可輸出各類別的概率.計(jì)算方法為

(7)

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集

本文實(shí)驗(yàn)數(shù)據(jù)集來源于SMP2017-ECDT，該數(shù)據(jù)集覆蓋閑聊和垂直類2大類，其中垂直類細(xì)分為30個(gè)垂直領(lǐng)域，數(shù)據(jù)集統(tǒng)計(jì)結(jié)果如圖4所示：

Fig. 4 Size of SMP2017-ECDT dataset圖4 SMP2017-ECDT數(shù)據(jù)集規(guī)模

3.2 評價(jià)指標(biāo)

本文用戶意圖分類是一個(gè)多分類問題，我們使用精確率(precision,P)、召回率(recall,R)和F值作為每個(gè)類別的評價(jià)指標(biāo)，使用宏平均值(macro-average)作為每種分類方法最終的評價(jià)指標(biāo)，計(jì)算方法為

(8)

(9)

(10)

(11)

(12)

(13)

其中，TP表示將正類預(yù)測為正類數(shù)，TN表示將負(fù)類預(yù)測為負(fù)類數(shù)，F(xiàn)P表示將負(fù)類預(yù)測為正類數(shù)，F(xiàn)N表示將正類預(yù)測為負(fù)類數(shù)，n是類別總數(shù).

3.3 實(shí)驗(yàn)設(shè)置

在數(shù)據(jù)預(yù)處理過程中，我們使用結(jié)巴分詞工具對用戶聊天文本分詞，并去除了原始文本中包含的標(biāo)點(diǎn)符號和特殊字符等.

在基于CNN的分類實(shí)驗(yàn)中，設(shè)置卷積核大小為3，4，5的過濾器各100個(gè)；在基于LSTM的分類實(shí)驗(yàn)中，采用了2層LSTM網(wǎng)絡(luò)結(jié)構(gòu)；在基于IndRNN和IndRNN-Attention的分類實(shí)驗(yàn)中，attention_size=128.上述4種實(shí)驗(yàn)中隱藏層大小均設(shè)置為128，詞向量的維度設(shè)置為300，batch_size=64，Padding的最大長度參考訓(xùn)練語料中最大文本長度設(shè)置為26，在倒數(shù)第2層與最后1層的softmax層之間設(shè)置dropout_rate=0.5，在softmax層中使用了值為1的l2正則化項(xiàng).

3.4 結(jié)果與分析

3.4.1 實(shí)驗(yàn)結(jié)果

5種分類方法在測試語料上的整體分類性能見表2，各個(gè)子類別上的F值如表3所示：

Table 2 Comparison of Overall Classification Result of Different Models表2 各種方法對比實(shí)驗(yàn)結(jié)果

Notes: The bold values are the best results obtained by our method.

Table 3 F Score Comparison of Different Models onIndividual Category表3 不同方法在每個(gè)類別的F值比較

3.4.2 實(shí)驗(yàn)分析

從表2中可以看出:相比其他4種方法(SVM,CNN,LSTM和IndRNN)，本文基于IndRNN-Attention的方法取得了最好的分類效果，在Pmacro，Rmacro，F(xiàn)macro這3個(gè)指標(biāo)上有顯著的提高.通過對不同方法與本文方法在31個(gè)類別上的F值進(jìn)行統(tǒng)計(jì)t檢驗(yàn)發(fā)現(xiàn)，本文方法在所有類別上顯著地(p<0.01)超過了SVM，CNN和LSTM這3種方法，而與IndRNN方法在統(tǒng)計(jì)上沒有顯著差異(p=0.067)，但在19個(gè)類別上，本文方法相對于IndRNN方法有一定提高.

從表2中可以看出，基于SVM的分類方法分類結(jié)果最差.可能的原因有2點(diǎn)：

1) 傳統(tǒng)機(jī)器學(xué)習(xí)方法基于特征工程，以詞或者句法結(jié)構(gòu)作為分類特征，難以考慮句子中詞之間的時(shí)序關(guān)系，也很難將句子表達(dá)的語義信息通過固定的分類特征來進(jìn)行體現(xiàn).如“上海到北京的火車”和“剛下火車，到上海了”，2句表達(dá)在用詞和結(jié)構(gòu)上基本相似，但是表達(dá)的意圖不同，使用傳統(tǒng)的機(jī)器學(xué)習(xí)方法很難將其進(jìn)行準(zhǔn)確分類.

2) 驗(yàn)證集和測試集中的部分句子(驗(yàn)證集23條、測試集24條)分詞后的結(jié)果不在通過訓(xùn)練集構(gòu)造的詞典中，導(dǎo)致這些句子的特征表示結(jié)果是一個(gè)全零向量，影響了模型的訓(xùn)練和測試.

在基于CNN的分類實(shí)驗(yàn)中，本文采用Kim[14]提出CNN分類結(jié)構(gòu).CNN可以抽取句子中豐富的局部特征，提高文本表示質(zhì)量，但是CNN對句子整體的語義結(jié)構(gòu)和上下文時(shí)序信息表達(dá)不夠，對句子的語義表達(dá)不全面，因此分類結(jié)果較基于SVM的方法在性能上有所提高，但比其他3種方法(LSTM,IndRNN和IndRNN-Attention)要低.

利用LSTM網(wǎng)絡(luò)，不僅考慮到了用戶聊天文本的上下文時(shí)序關(guān)系對語義的影響，還可以在一定長度范圍內(nèi)有效處理長期依賴問題.本文采用雙層LSTM網(wǎng)絡(luò)結(jié)構(gòu)對用戶聊天文本進(jìn)行編碼，取隱層最后的輸出作為句子的編碼表示并通過softmax層得到分類結(jié)果.

實(shí)驗(yàn)結(jié)果表明：基于LSTM的分類方法比基于SVM和CNN的分類方法性能有所提高，但存在一定的問題.LSTM網(wǎng)絡(luò)需要依賴原始的詞向量輸入，無法從聊天文本中挖掘句子表達(dá)的深層隱含信息，同時(shí)存在“梯度消失”和“梯度爆炸”等問題.對比表3發(fā)現(xiàn)，基于LSTM的分類方法在部分類別上的性能提高不明顯，反而有所下降，如“calc”，“website”等類別.通過分析實(shí)驗(yàn)結(jié)果，我們發(fā)現(xiàn)基于LSTM的分類方法將“你知不知道三十四加六十五等于多少”和“幫我算一算45的平方根”等表達(dá)錯(cuò)分到“chat”類別中，而它們的真實(shí)標(biāo)簽是“calc”.

針對這些已有分類方法中出現(xiàn)的問題，本文提出了多層獨(dú)立循環(huán)神經(jīng)網(wǎng)絡(luò)和詞級別注意力機(jī)制融合的用戶意圖分類方法(即IndRNN-Attention)，通過堆疊多層IndRNN網(wǎng)絡(luò)，構(gòu)建了一個(gè)更深更長的網(wǎng)絡(luò)結(jié)構(gòu)對用戶聊天文本編碼，有效地解決了語義信息獲取不足、梯度消失和梯度爆炸等問題；詞級別注意力機(jī)制的使用顯著地提高了對聊天文本的編碼質(zhì)量，增加了對文本含義表達(dá)有重要貢獻(xiàn)的相關(guān)詞匯的貢獻(xiàn)度，提高了分類性能.圖5是attention權(quán)重的可視化示例.

Fig. 5 Attention based weighting sample for a sentence from SMP2017-ECDT dataset圖5 SMP2017-ECDT數(shù)據(jù)集中一條用戶輸入的注意力權(quán)重示例

3.4.3 分類錯(cuò)誤原因分析

表4是本文提出方法在測試集上分類錯(cuò)誤的代表性示例：

Table 4 Classification Error Samples表4 分類錯(cuò)誤示例

分類錯(cuò)誤的原因可歸納為3個(gè)方面：

1) 部分類別之間的領(lǐng)域相似度高，用戶輸入的上下文信息嚴(yán)重不足.通過對比實(shí)驗(yàn)數(shù)據(jù)集發(fā)現(xiàn)，“website”和“app”,“video”和“cinemas”等類別之間的領(lǐng)域差異較小.對于用戶輸入“搜索米聊”，其中的上下文信息較少，用戶的確切意圖難以區(qū)分，表達(dá)的意思有可能是想查找手機(jī)中安裝的“米聊”軟件，也有可能是想在瀏覽器中搜索“米聊”軟件的信息.在這種情況下，僅根據(jù)已有的文本信息無法做出正確的分類，需要結(jié)合額外的場景信息或上下文信息來做出判斷.

2) 訓(xùn)練數(shù)據(jù)類別分布不平衡.訓(xùn)練集整體的規(guī)模較小，但類別偏多，訓(xùn)練集在各類別上的數(shù)據(jù)分布嚴(yán)重不平衡，如“chat”，“cookbook”，“video”等類別的訓(xùn)練數(shù)據(jù)有幾百條，而“bus”，“calc”，“datetime”等類別僅包含十幾條.在這種情況下，對某些類別或者領(lǐng)域來說，給定的訓(xùn)練數(shù)據(jù)遠(yuǎn)遠(yuǎn)無法覆蓋領(lǐng)域所包含的大量專業(yè)術(shù)語，如“health”類中的術(shù)語“鼻息肉”在該類別的訓(xùn)練數(shù)據(jù)集中不存在，從而在測試時(shí)模型將“鼻息肉”錯(cuò)分到“cookbook”類別.

3) 數(shù)據(jù)集中存在噪聲數(shù)據(jù).數(shù)據(jù)集中存在部分如“瓷我要上QQ”、“天最新新聞”和“你是不是”等表達(dá)錯(cuò)誤或表達(dá)不規(guī)范的句子，這樣的句子影響模型的訓(xùn)練效果，也影響測試性能.

4 結(jié) 論

本文提出了一種基于獨(dú)立循環(huán)神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制的用戶意圖分類方法，通過構(gòu)造一個(gè)多層獨(dú)立循環(huán)神經(jīng)網(wǎng)絡(luò)模型和融合詞級別注意力機(jī)制的網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)對用戶聊天文本的編碼，解決了傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)中出現(xiàn)的“梯度消失”和“梯度爆炸”等問題，提高了領(lǐng)域相關(guān)詞匯對用戶聊天文本編碼的貢獻(xiàn)度，增強(qiáng)了句子表示能力.在SMP2017-ECDT評測數(shù)據(jù)上的實(shí)驗(yàn)表明，本文方法取得了最好的分類效果，F(xiàn)macro值達(dá)到0.93，與本文實(shí)驗(yàn)中其他4種方法相比顯著提高了用戶意圖分類的效果.

在后續(xù)工作中，我們將嘗試在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中引入各類外部語義知識庫來進(jìn)一步提高用戶意圖分類的性能.