李艷玲，顏永紅

1.內(nèi)蒙古師范大學 計算機與信息工程學院，呼和浩特 010022

2.中國科學院 聲學研究所 語言聲學與內(nèi)容理解實驗室，北京 100190

統(tǒng)計中文口語理解執(zhí)行策略的研究*

李艷玲1+，顏永紅2

1.內(nèi)蒙古師范大學 計算機與信息工程學院，呼和浩特 010022

2.中國科學院 聲學研究所 語言聲學與內(nèi)容理解實驗室，北京 100190

LI Yanling,YAN Yonghong.Research on execution strategy about statistical spoken language understanding. Journal of Frontiers of Computer Science and Technology,2017,11(6)：980-987.

口語理解的語義框架包括兩個決策——關(guān)鍵語義概念識別和意圖識別，主要針對這兩個決策的執(zhí)行策略進行研究。首先研究了并聯(lián)型和級聯(lián)型兩種策略；然后在此基礎(chǔ)上提出了聯(lián)合型結(jié)構(gòu)進行中文口語理解，即通過三角鏈條件隨機場對意圖以及關(guān)鍵語義概念共同建模，用一個單獨的圖模型結(jié)構(gòu)共同表示它們的依賴關(guān)系。通過與其他幾種策略進行比較實驗得出結(jié)論：該模型可以將兩個任務(wù)一次完成，在關(guān)鍵語義概念識別任務(wù)上性能優(yōu)于其他的執(zhí)行策略。

口語理解；三角鏈條件隨機場；關(guān)鍵語義概念識別；意圖識別；執(zhí)行策略

1 引言

口語理解（spoken language understanding，SLU）是口語對話系統(tǒng)（spoken dialog system）的重要組成部分。所謂口語理解是讓機器解析出口語語句中的關(guān)鍵信息（包括關(guān)鍵語義概念和意圖），然后進行語義框架的填充?？谡Z理解任務(wù)通常分解為兩個子任務(wù)，即關(guān)鍵語義概念識別（key semantic concept recognition，KSCR）和意圖識別（intent determination，ID）。關(guān)鍵語義概念識別，又稱為語義槽填充（slot filling），主要從輸入語句中尋找特定領(lǐng)域相關(guān)的關(guān)鍵語義概念及其類別；意圖識別，主要為輸入語句確定正確的領(lǐng)域類別、動作類別等，意圖可以依據(jù)不同的應(yīng)用領(lǐng)域進行定義。例如：在生活領(lǐng)域應(yīng)用中，用戶可以通過口語查詢獲取不同領(lǐng)域（電影、餐館、酒店等）的信息，并且對于不同的子領(lǐng)域，用戶可以將領(lǐng)域的屬性信息具體化（如電影名、電影院；菜肴和參觀的營業(yè)時間；酒店星級和入住時間）[1]。

Tur等人對口語理解的兩個子任務(wù)使用的方法進行了綜述[2]，指出對于意圖識別，大間隔分類器（large margin classifier）如支持向量機（support vector machine，SVM）[3]和AdaBoost[4]效果較好，而對于關(guān)鍵語義概念識別，條件隨機場（conditional random field，CRF）建模效果較好。韓國學者Jeong等人提出使用基于三角鏈的條件隨機場構(gòu)建一個聯(lián)合模型解決韓語口語理解任務(wù)[5-6]。本文在此基礎(chǔ)上，應(yīng)用三角鏈條件隨機場解決中文口語理解問題。

傳統(tǒng)這兩個子任務(wù)主要采取的執(zhí)行策略有并聯(lián)型和級聯(lián)型。所謂并聯(lián)型，即兩個子任務(wù)分開獨立進行，它們之間不會相互影響；而級聯(lián)型是兩個子任務(wù)順序執(zhí)行，后者可以利用前者的結(jié)果作為先驗知識改進模型。級聯(lián)型又分為兩種：先進行關(guān)鍵語義概念識別，再進行意圖識別[7]，或者反過來。這兩種組合方式的不足之處在于兩個子任務(wù)不能借鑒彼此的結(jié)果作為先驗知識以提高自身的性能。鑒于此，本文提出使用聯(lián)合型的結(jié)構(gòu)進行中文口語理解，即使用三角鏈條件隨機場將兩個子任務(wù)整合到一個模型中，通過一遍運算即可得出兩個決策的結(jié)果。近年來，這種聯(lián)合方法已經(jīng)應(yīng)用于解決某些具體的任務(wù)上，如詞性標注（part-of-speech）和名詞短語分塊（noun-phrase chunking）的聯(lián)合建模[8]、句法分析和信息抽取的聯(lián)合建模[9]等。三角鏈結(jié)構(gòu)的模型在一個單獨的圖模型中聯(lián)合表示子任務(wù)可以解決兩個問題：第一，明確表示它們之間的依賴關(guān)系；第二，保留它們之間的不確定性。

本文組織結(jié)構(gòu)如下：第2章介紹口語理解執(zhí)行策略的幾種方式；第3章闡述口語理解的幾種判別式模型，包括線性鏈條件隨機場模型、最大熵模型和三角鏈條件隨機場模型；第4章介紹實驗設(shè)置并進行結(jié)果分析；第5章是總結(jié)及展望。

2 執(zhí)行策略的幾種方式

口語理解的兩個子任務(wù)：意圖識別和關(guān)鍵語義概念識別。這兩個子任務(wù)的執(zhí)行策略包括：并聯(lián)型、級聯(lián)型和聯(lián)合型。并聯(lián)型系統(tǒng)架構(gòu)如圖1（a）所示，關(guān)鍵語義概念識別和意圖識別兩個任務(wù)單獨進行，不能互相共享特征。級聯(lián)型系統(tǒng)架構(gòu)如圖1（b）所示，兩個子任務(wù)按順序執(zhí)行，可以先執(zhí)行關(guān)鍵語義概念識別再執(zhí)行意圖識別，也可以先進行意圖識別再進行關(guān)鍵語義概念識別（圖中只給出了級聯(lián)的一種情況）。聯(lián)合型系統(tǒng)結(jié)構(gòu)如圖1（c）所示，將兩個任務(wù)整合到一個模型中一起完成。

Fig.1 Block diagram about three kinds of execution strategies圖1 3種執(zhí)行策略框圖

3 口語理解的條件概率模型

口語理解的兩個子任務(wù)都可以映射為判別式模型，即條件概率模型。關(guān)鍵語義概念識別任務(wù)可以看作序列標注任務(wù)，即給定一個序列x，預(yù)測其標注序列y的問題?？梢约僭O(shè)t時刻的輸出yt與t時刻的一個輸入xt相對應(yīng)。概率模型希望通過訓(xùn)練數(shù)據(jù)(x,y)，學習p(y|x)的分布。而意圖識別任務(wù)則可以看作一個序列分類任務(wù)，即對整個輸入序列x預(yù)測一個類別z的問題。概率模型希望通過訓(xùn)練數(shù)據(jù)(x,z)，預(yù)測p(z|x)[5]。而三角鏈條件隨機場的思想是同時解決這兩個相關(guān)問題，使用聯(lián)合標注數(shù)據(jù)訓(xùn)練一個概率模型p(y,z|x)預(yù)測最優(yōu)標注(y?,z?)。該模型的目標是學習序列標注以及與序列對應(yīng)的類別之間的依賴關(guān)系。

3.1 條件隨機場模型

條件隨機場模型最早由Lafferty等人提出[9]，該模型通常用于解決序列標注問題，可以用一個無向圖模型表示。該模型在很多領(lǐng)域都得到了廣泛的應(yīng)用[10-15]。

定義1設(shè)x,y為隨機向量，Λ∈?K為參數(shù)向量，特征函數(shù)集為實值函數(shù)集，則一個線性鏈狀條件隨機場p(y|x)的定義為：

由于目標函數(shù)是凸函數(shù)，存在全局最優(yōu)解。式（1）給定了模型之后，最優(yōu)的標注y?可以通過如下的決策準則進行求解：

3.2 最大熵模型

最大熵模型（maximum entropy model，MEM）是通過求解一個有條件約束的最優(yōu)化問題得到概率分布的表達式[16]。假設(shè)有n個訓(xùn)練樣本(x1,y1)(x2,y2)…(xn,yn)，其中xi是由k個屬性特征構(gòu)成的向量xi= {xi1,xi2,…,xik}，yi是類別標記yi∈Y={y1,y2,…,yc}。所要求解的問題是，在給定一個新樣本x的情況下，求取其最佳的類別標記y。最大熵的參數(shù)形式定義為：

最大熵模型可以使用GIS（generalize iterative scaling）、IIS（improved iterative scaling）和L-BFGS等方法進行參數(shù)估計。最大熵模型作為一個判別式模型，可以很好地解決其他領(lǐng)域的問題，應(yīng)用也很廣泛[17-18]。

3.3 三角鏈條件隨機場模型

傳統(tǒng)監(jiān)督學習方法的基本假設(shè)是數(shù)據(jù)獨立同分布，然而在很多實際應(yīng)用中，這種假設(shè)通常不完全滿足。構(gòu)建聯(lián)合模型的主要出發(fā)點是為解決建模多意圖序列的問題。如果存在這樣一個分類問題：有N個訓(xùn)練樣本的集合它們可以被分成z個類別，每類數(shù)據(jù)獨立同分布。現(xiàn)在將類別變量z增加到模型中，則數(shù)據(jù)的輸入輸出變量可以表示為D=此時的目標是尋找概率分布p(y,z|x)，即對序列預(yù)測意圖z和序列標注y。這里假設(shè)意圖類別z依賴于整個序列(x,y)，而且僅考慮一個意圖變量z，即每個序列x只有一個意圖。這種表示很自然地構(gòu)建一個三角鏈的圖模型結(jié)構(gòu)。

三角鏈條件隨機場（triangular-chain CRF）[5]定義為：隨機向量x表示輸入的觀察序列，隨機向量y表示輸出的標記序列，隨機變量z是一個輸出變量，表示主題或者意圖。在口語理解任務(wù)中，用x表示詞序列，y表示實體類別，z表示意圖類別，x0表示意圖z的一個觀察特征向量。這種表示可以將其他知識整合到這個模型中。三角鏈CRF的圖模型結(jié)構(gòu)如圖2所示。其中圖2（a）為最大熵模型，是一個序列分類模型，對應(yīng)本文的意圖識別任務(wù)；圖2（b）為線性鏈CRF的圖模型結(jié)構(gòu)，是一個序列標注模型，對應(yīng)本文的關(guān)鍵語義概念識別任務(wù)；這兩個模型整合到一起，成為三角鏈CRF模型，如圖2（c）所示。

下面形式化定義三角鏈CRF。

定義2[5]y、x是隨機向量，z是隨機變量，λ是參數(shù)向量，{fk}是實值特征集合。一個三角鏈CRF模型是一個條件概率分布，有如下的形式：

Fig.2 Graphical model structures of three kinds of conditional probability models圖2 三種條件概率模型的圖模型結(jié)構(gòu)

三角鏈CRF可以分解為時間相關(guān)的?t和時間不相關(guān)的φ因子，?t表示序列在t時刻的狀態(tài)，而φ表示整個序列。一個三角鏈結(jié)構(gòu)由這兩個因子構(gòu)成，φ對于變量z表現(xiàn)為一個先驗分布。假設(shè)φ服從均勻分布，那么z僅僅取決于x1:T={x1,x2,…,xT}和y1:T={y1,y2,…,yT}。

三角鏈CRF可以看作一個線性鏈CRF和一個0階CRF的組合。這樣變量和勢函數(shù)可以很自然地來源于兩個CRF：（1）對于0階CRF，x0是觀察值，φ是預(yù)測z的勢函數(shù)；（2）對于線性鏈CRF，{xt},t= 1,2,…,T是觀察值，?t是勢函數(shù)用于預(yù)測y。這里通過在圖模型中增加邊的方法將一個線性鏈CRF和一個0階CRF結(jié)合起來。z和{xt}之間的邊表示意圖和序列的關(guān)系，即序列數(shù)據(jù)的觀察值與意圖相關(guān)。在介紹三角鏈CRF模型的因子結(jié)構(gòu)之前，首先介紹一下線性鏈CRF的因子結(jié)構(gòu)。三角鏈CRF的因子結(jié)構(gòu)可以參考文獻[5]。

假設(shè)x表示觀察序列，y表示預(yù)測的標注序列，則一階線性鏈CRF定義為：

其中，?t是勢函數(shù)，表示t時刻的因子；Z(x)為分布函數(shù)，為了保證所有狀態(tài)序列的概率和為1，Z(x)需要滿足等式注意：當t=1時，

假設(shè)勢函數(shù)根據(jù)特征集{fk}可以分解為：

線性鏈CRF兩個常規(guī)的推導(dǎo)問題都可以通過動態(tài)規(guī)劃的方法解決。第一，通過計算邊緣分布解決，Z(x)在訓(xùn)練過程中通過前向-后向算法得到。第二，計算概率最大的標注通過Viterbi算法進行求解。另外，線性鏈CRF的參數(shù)估計可以通過最大條件似然估計完成，因其為凸函數(shù)，可以保證收斂到全局最優(yōu)。

當不考慮yt和yt-1的依賴關(guān)系時，這種特殊情況等同于logistic回歸模型（或者稱為最大熵分類器）。logistic回歸模型可以看作一個非結(jié)構(gòu)化的CRF，不考慮狀態(tài)轉(zhuǎn)移，而且序列的概率pλ(y|x)可以用每個狀態(tài)概率pλ(yt|xt)的乘積表示：

其中，Z(xt)是每個狀態(tài)的分布函數(shù)。為了前后一致，將概率分布pλ(yt|xt)稱為0階CRF。注意0階CRF可以被應(yīng)用到前面的序列分類問題上。接下來解決三角鏈CRF的因子化問題。假設(shè)隨機變量z不直接影響隨機向量x，即z在給定y1:T的條件下與x1:T是獨立的，然后因子化?t和φ如下：

Fig.3 Graphical model and factor graph of triangular-chain CRF圖3 三角鏈CRF的圖模型結(jié)構(gòu)及其因子圖結(jié)構(gòu)

4 實驗部分

4.1 數(shù)據(jù)集

本文的研究領(lǐng)域限定為影視媒體、電視臺、網(wǎng)站和應(yīng)用，以幫助用戶查詢想看的視頻，或者登錄某個感興趣的網(wǎng)站，或是打開某個應(yīng)用等。本任務(wù)使用的數(shù)據(jù)為實驗室內(nèi)部收集，其中訓(xùn)練集6 000句，測試集2 039句。數(shù)據(jù)集的統(tǒng)計如表1所示。數(shù)據(jù)收集的方法如下：告知用戶本系統(tǒng)面向的領(lǐng)域，給用戶提供領(lǐng)域詞典，由用戶根據(jù)自己的需求，手工將問句錄入。本文的口語理解任務(wù)涉及到的意圖類別及分布比例見表2所示，關(guān)鍵語義概念類別見表3所示。

Table 1 Description of dataset表1 數(shù)據(jù)集描述

Table 2 Intent types and its distribution proportion表2 意圖類型說明及分布比例

Table 3 Key semantic concept types表3 關(guān)鍵語義概念類型說明

4.2 實驗設(shè)置

本文將三角鏈CRF應(yīng)用到中文口語理解中，將意圖識別和關(guān)鍵語義概念識別兩個子任務(wù)用一個聯(lián)合模型一次完成。為了驗證算法的有效性，還與兩個子任務(wù)的并聯(lián)結(jié)構(gòu)、級聯(lián)結(jié)構(gòu)進行了比較。為了和三角鏈CRF中的方法一致，這里的并聯(lián)型和級聯(lián)型結(jié)構(gòu)中的意圖識別使用最大熵模型[19-20]，特征使用單字特征；關(guān)鍵語義概念識別使用線性鏈CRF模型，選擇當前字及其前后兩個單字作為關(guān)鍵語義概念識別的特征。

4種執(zhí)行策略的比較如下所示。

（1）并聯(lián)型：獨立訓(xùn)練意圖識別和關(guān)鍵語義概念識別兩個分類器。這里使用最大熵模型進行意圖識別，線性鏈CRF進行關(guān)鍵語義概念識別。

（2）級聯(lián)型1：模型先進行關(guān)鍵語義概念識別，再將識別結(jié)果作為特征加入到意圖識別任務(wù)。關(guān)鍵語義概念識別部分和并聯(lián)型的結(jié)果一致。

（3）級聯(lián)型2：模型先進行意圖識別，再將意圖識別結(jié)果作為特征加入到關(guān)鍵語義概念識別任務(wù)。

（4）聯(lián)合型：將關(guān)鍵語義概念識別和意圖識別用一個圖模型表示，兩個任務(wù)可以互相共享特征，一遍即可得到兩個任務(wù)的結(jié)果。

4.3 評價指標及結(jié)果

意圖識別使用錯誤率（error rate，ER）進行評價[2]，關(guān)鍵語義概念識別使用準確率、召回率和F1值進行評價[2]。具體公式如下：

測試集上使用不同執(zhí)行策略的實驗結(jié)果如表4所示，表中的“—”表示該部分的性能與并聯(lián)型的一致。

Table 4 Comparison of results in test set表4 測試集上的結(jié)果對比

由以上4種執(zhí)行策略得到兩個任務(wù)的性能，分析實驗結(jié)果：首先研究關(guān)鍵語義概念識別的性能，級聯(lián)之后（級聯(lián)型2）的概念識別結(jié)果好于并聯(lián)型，說明了先進行意圖識別確實能為語義概念識別提供有效的特征。而聯(lián)合型結(jié)構(gòu)得到的關(guān)鍵語義概念識別結(jié)果是幾個策略中最好的，說明了聯(lián)合型結(jié)構(gòu)充分利用了意圖提供的信息，使關(guān)鍵語義概念識別結(jié)果達到最優(yōu)。接下來分析意圖識別的性能。測試集的意圖識別結(jié)果，并聯(lián)型得到的結(jié)果最好0.59%，其次是聯(lián)合型0.83%，最后是級聯(lián)型1.47%。主要原因是該測試集與訓(xùn)練集數(shù)據(jù)分布比較相似，使用字特征就可以達到較好的性能，而加入來自關(guān)鍵語義概念的特征之后，性能降低，究其原因是過擬合導(dǎo)致。而聯(lián)合型也是如此。由以上實驗結(jié)果，本文得到的結(jié)論是：三角鏈條件隨機場在關(guān)鍵語義概念識別任務(wù)中得到的結(jié)果優(yōu)于其他幾種執(zhí)行策略。

5 總結(jié)及展望

本文提出將三角鏈CRF模型引入中文口語理解中，將關(guān)鍵語義概念識別和意圖識別用一個圖模型表示，充分利用了兩者之間的依賴關(guān)系，同時保留了它們之間的不確定性，克服了級聯(lián)型模型中只能單一地借鑒一個任務(wù)結(jié)果的局限性。實驗結(jié)果表明，本文模型與并聯(lián)結(jié)構(gòu)、級聯(lián)結(jié)構(gòu)相比，可以使兩個子任務(wù)一次完成，其中關(guān)鍵語義概念識別性能高于其他執(zhí)行策略。

下一步工作：因為這種聯(lián)合型結(jié)構(gòu)的圖模型對應(yīng)的因子圖不唯一，而各種不同的因子圖對變量之間的影響如何，對最終性能的影響如何，將會繼續(xù)進行研究和討論。

[1]Wang Yeyi.Strategies for statistical spoken language understanding with small amount of data—an empirical study [C]//Proceedings of the 11th Annual Conference of the International Speech Communication Association,Chiba,Japan, Sep 26-30,2010.Red Hook,USA:Curran Associates,2011: 2498-2501.

[2]Tur G,Hakkani-Tur D,Heck L P.What is left to be understood in ATIS?[C]//Proceedings of the 2010 IEEE Spoken Language Technology Workshop,Berkeley,USA,Dec 12-15,2010.Piscataway,USA:IEEE,2011:19-24.

[3]Vapnik V N.The nature of statistical learning theory[M]. Berlin,Heidelberg:Springer,1995.

[4]Schapire R E,Singer Y.BoosTexter:a boosting-based system for text categorization[J].Machine Learning,2000,39 (2/3):135-168.

[5]Jeong M,Lee G G.Triangular-chain conditional random fields[J].IEEE Transactions on Audio,Speech,and Language Processing,2008,16(7):1287-1302.

[6]Jeong M,Lee G G.Jointly predicting dialog act and named entity for spoken language understanding[C]//Proceedings of the 2006 IEEE Spoken Language Technology Workshop, Palm Beach,Aruba,Dec 10-13,2006.Piscataway,USA: IEEE,2006:66-69.

[7]Wu Weilin.Robust spoken language understanding across domains and languages[D].Shanghai:Shanghai Jiao Tong University,2007.

[8]Sutton C,McCallum A,Rohanimanesh K.Dynamic conditional random fields:factorized probabilistic models for labeling and segmenting sequence data[J].The Journal of Machine Learning Research,2004,8(3):693-723.

[9]Lafferty J,McCallum A,Pereira F C N.Conditional random fields:probabilistic models for segmenting and labeling sequence data[C]//Proceedings of the 18th International Conference on Machine Learning,Williamstown,USA,Jun 28-Jul 1,2001.San Francisco,USA:Morgan Kaufmann Publishers Inc,2001:282-289.

[10]Wu Qiong,Huang Degen.Temporal information extraction based on CRF and time thesaurus[J].Journal of Chinese Information Processing,2014,28(6):169-174.

[11]Qian Yili,Feng Zhiru.Identification of Chinese prosodic based on chunk and CRF[J].Journal of Chinese Information Processing,2014,28(5):32-38.

[12]Chen Fei,Liu Yiqun,Wei Chao,et al.Open domain new word detection using condition random field method[J]. Journal of Software,2013,24(5):1051-1060.

[13]Zhai Donghai,Cui Jingjing,Nie Hongyu,et al.Research on sensitive topic detection model based on conditional random fields[J].Computer Engineering,2014,40(8):158-162.

[14]Shi Shuicai,Wang Kai,Han Yanhua,et al.Terminology recognition based on conditional random fields[J].Computer Engineering andApplications,2013,49(10):147-149.

[15]Wang Yuanyuan,Wang Bin.The conditional random fields method for human action recognition[J].Journal of Chongqing University of Technology:Natural Science,2013,27 (6):93-99.

[16]Berger A L,Pietra V J D,Pietra S A D.A maximum entropy approach to natural language processing[J].Computational Linguistics,1996,22(1):39-72.

[17]Lun Xiangmin,Hou Yimin.Optimal threshold selection for image segmentation utilizing entropy-max algorithm[J]. Computer Engineering and Design,2015,36(5):1265-1268.

[18]Tu Mei,Zhou Yu,Zong Chengqing.Automatically parsing Chinese discourse based on maximum entropy[J].Acta Scientiarum Naturalium Universitatis Pekinensis,2014,50(1): 125-132.

[19]Nigam K,Lafferty J,McCallum A.Using maximum entropy for text classication[C]//Proceedings of the 16th International Joint Conference on Artificial Intelligence Workshop on Machine Learning for Information Filtering,Stockholm, Sweden,Jul 31-Aug 6,1999:421-426.

[20]Li Ronglu,Wang Jianhui,Chen Xiaoyun.Using maximum entropy model for Chinese text categorization[J].Journal of Computer Research and Development,2005,42(1):94-101.

附中文參考文獻：

[7]吳尉林.可移植的穩(wěn)健口語理解方法研究[D].上海:上海交通大學,2007.

[10]吳瓊,黃德根.基于條件隨機場與時間詞庫的中文時間表達式識別[J].中文信息學報,2014,28(6):169-174.

[11]錢揖麗,馮志茹.基于語塊和條件隨機場(CRFs)的韻律短語識別[J].中文信息學報,2014,28(5):32-38.

[12]陳飛,劉奕群,魏超,等.基于條件隨機場方法的開放領(lǐng)域新詞發(fā)現(xiàn)[J].軟件學報,2013,24(5):1051-1060.

[13]翟東海,崔靜靜,聶洪玉,等.基于條件隨機場的敏感話題檢測模型研究[J].計算機工程,2014,40(8):158-162.

[14]施水才,王鍇,韓艷鏵,等.基于條件隨機場的領(lǐng)域術(shù)語識別研究[J].計算機工程與應(yīng)用,2013,49(10):147-149.

[15]王媛媛,王斌.人體行為識別的條件隨機場方法[J].重慶理工大學學報:自然科學版,2013,27(6):93-99.

[17]倫向敏,侯一民.運用迭代最大熵算法選取最佳圖像分割閾值[J].計算機工程與設(shè)計,2015,36(5):1265-1268.

[18]涂眉,周玉,宗成慶.基于最大熵的漢語篇章結(jié)構(gòu)自動分析方法[J].北京大學學報:自然科學版,2014,50(1):125-132.

[20]李榮陸,王建會,陳曉云,等.使用最大熵模型進行中文文本分類[J].計算機研究與發(fā)展,2005,42(1):94-101.

李艷玲（1978—），女，內(nèi)蒙古呼和浩特人，中國科學院聲學研究所博士，內(nèi)蒙古師范大學計算機與信息工程學院副教授，主要研究領(lǐng)域為自然語言處理，口語理解，機器學習等。發(fā)表學術(shù)論文10余篇，主持國家自然科學基金1項、內(nèi)蒙古自然科學基金1項、內(nèi)蒙古自治區(qū)高等學?？茖W研究項目1項、內(nèi)蒙古師范大學校級項目3項。

YAN Yonghong was born in 1967.He is professor and Ph.D.supervisor at Key Laboratory of Speech Acoustics and Content Understanding,Institute of Acoustics,Chinese Academy of Sciences.His research interests include large vocabulary speech recognition,speaker/language recognition and audio signal processing,etc.He published many papers in important journals and conferences,and presided the National Natural Science Foundation of China,863 project and 973 project.

顏永紅（1967—），男，江蘇無錫人，博士，中國科學院聲學研究所研究員、博士生導(dǎo)師，主要研究領(lǐng)域為語音識別，語音信號處理等。在重要的國際會議上發(fā)表論文多篇，主持國家自然科學基金、863項目、973項目等。

Research on Execution Strategy about Statistical Spoken Language Understanding*

LI Yanling1+,YAN Yonghong2
1.College of Computer and Information Engineering,Inner Mongolia Normal University,Hohhot 010022,China
2.Key Laboratory of Speech Acoustics and Content Understanding,Institute of Acoustics,Chinese Academy of Sciences,Beijing 100190,China
+Corresponding author:E-mail:cieclyl@imnu.edu.cn

The semantic frame based spoken language understanding involves two decisions—key semantic concept recognition and intent determination.This paper focuses on execution strategies of two decisions.Firstly,this paper studies independent and cascade strategies.Then,it proposes joint model,which is based on triangular-chain conditional random fields to build a joint model between key semantic concept recognition and intent determination to denote their dependence relationship.Experiments about these strategies show that the performance of joint model for key semantic concept recognition is better than other strategies.

g was born in 1978.She

the Ph.D.degree from Institute of Acoustics,Chinese Academy of Sciences.Now she is an associate professor at College of Computer and Information Engineering,Inner Mongolia Normal University.Her research interests include natural language processing,spoken language understanding and machine learning,etc.She published more than ten papers in journals and conferences,and presided several projects includes the National Natural Science Foundation of China,the Natural Science Foundation of Inner Mongolia,the Scientific Researches of Higher Education Institution of Inner Mongolia Autonomous Region and the School Fund of Inner Mongolia Normal University.

A

TP391

*The National Natural Science Foundation of China under Grant No.61562068(國家自然科學基金);the Foundation of Talent Cultivation in Inner Mongolia Normal University(內(nèi)蒙古師范大學“十百千”人才培養(yǎng)工程項目);the Special Project of Inner Mongolia Ethnic Affairs under Grant No.MW-2014-MGYWXXH-01(內(nèi)蒙古民委蒙古文信息化專項扶持子項目);the Talent Research Startup Foundation of Inner Mongolia Normal University under Grant No.2014YJRC036(內(nèi)蒙古師范大學引進人才科研啟動經(jīng)費項目); the Natural Science Foundation of Inner Mongolia under Grant Nos.2013MS0912,2013MS0913,2014MS0617,2015MS0629(內(nèi)蒙古自然科學基金);the Scientific Research of Higher Education Institution of Inner Mongolia Autonomous Region under Grant No.NJZY028(內(nèi)蒙古自治區(qū)高等學校科學研究項目);the School Fund of Inner Mongolia Normal University under Grant No. 2015YBXM002(內(nèi)蒙古師范大學校級基金項目).

Received 2016-02,Accepted 2016-04.

CNKI網(wǎng)絡(luò)優(yōu)先出版:2016-04-08,http://www.cnki.net/kcms/detail/11.5602.TP.20160408.1642.008.html

Key words:spoken language understanding;triangular-chain conditional random field;key semantic concept recognition;intent determination;execution strategies