許明陽(yáng),劉振元+,王承濤

(1.華中科技大學(xué) 人工智能與自動(dòng)化學(xué)院,湖北 武漢 430074;2.圖像信息處理與智能控制教育部重點(diǎn)實(shí)驗(yàn)室,湖北 武漢 430074;3.武漢問(wèn)道信息技術(shù)有限公司,湖北 武漢 430040)

1 問(wèn)題的提出

隨著新一代IT應(yīng)用廣度和深度的不斷加強(qiáng),IT運(yùn)維逐漸成為企業(yè)和信息服務(wù)部門普遍關(guān)注卻不堪重負(fù)的問(wèn)題。其中,作為服務(wù)提供者與用戶之間的橋梁,IT運(yùn)維服務(wù)臺(tái)的主要職能為:對(duì)用戶的需求提供及時(shí)的辨識(shí)、分析和響應(yīng),最終形成服務(wù)任務(wù)清單。以人工坐席為主的客服服務(wù)臺(tái)存在工作重復(fù)性高、服務(wù)不及時(shí)、人力需求大等問(wèn)題[1],對(duì)此IT服務(wù)商開(kāi)發(fā)了許多端到端的自動(dòng)化服務(wù)平臺(tái)。例如,IBM先后設(shè)計(jì)和開(kāi)發(fā)出了工單分析與處理系統(tǒng)(System for Ticket Analysis and Resolution,STAR)[2]、IT工單自動(dòng)推薦智能系統(tǒng)(An Intelligent System for online IT Ticket Automation Recommendation,AISTAR)[3]等工單自動(dòng)推薦系統(tǒng),可以及時(shí)為重復(fù)和相似的問(wèn)題提供解決方案。有些服務(wù)平臺(tái)則利用文本分類[4]技術(shù)將運(yùn)維工單自動(dòng)分派給相應(yīng)的運(yùn)維人員。然而實(shí)際上,一些簡(jiǎn)單重復(fù)的技術(shù)支持并不總是需要通知運(yùn)維人員來(lái)解決,隨著系統(tǒng)自動(dòng)化程度的提高,一些系統(tǒng)已經(jīng)具備自主處理請(qǐng)求的能力。例如,對(duì)于用戶提出的“重置密碼”的請(qǐng)求,系統(tǒng)在收集到用戶的賬戶信息、關(guān)聯(lián)的應(yīng)用軟件信息后,可以自動(dòng)執(zhí)行重置密碼操作。從實(shí)現(xiàn)智能IT服務(wù)臺(tái)的需求出發(fā),本文提出一種IT運(yùn)維服務(wù)領(lǐng)域用戶語(yǔ)義解析方法,將用戶的需求文本轉(zhuǎn)化為結(jié)構(gòu)化的語(yǔ)義表達(dá),從而為IT服務(wù)臺(tái)的進(jìn)一步任務(wù)分解和工作分派提供基礎(chǔ)。該方法具體分為意圖識(shí)別(Intention Recognition,IR)和命名實(shí)體識(shí)別(Named Entity Recognition,NER)兩個(gè)子任務(wù)。

意圖識(shí)別用于確定用戶的基本需求,屬于文本分類任務(wù)。目前IT運(yùn)維服務(wù)領(lǐng)域意圖識(shí)別的相關(guān)研究主要集中在特征提取以及各種傳統(tǒng)的機(jī)器學(xué)習(xí)方法[5-8]。人工提取特征與規(guī)則的方法擴(kuò)展和遷移性差,近年來(lái),深度神經(jīng)網(wǎng)絡(luò)也被用來(lái)處理自然語(yǔ)言,并取得了較好的效果。IBM公司[9]曾采用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)對(duì)用戶的IT運(yùn)維請(qǐng)求進(jìn)行分類;劉鵬程等[10]在神經(jīng)網(wǎng)絡(luò)模型中加入注意力機(jī)制,尤其關(guān)注故障件和故障模型兩類關(guān)鍵特征。

命名實(shí)體識(shí)別是一類序列標(biāo)注任務(wù),用于提取文本中的關(guān)鍵信息。IT運(yùn)維服務(wù)領(lǐng)域命名實(shí)體識(shí)別相關(guān)的研究以軟件、設(shè)備、故障現(xiàn)象等實(shí)體的識(shí)別為主。HAN等[11]指出用戶通常會(huì)對(duì)軟件實(shí)體起別名或用縮略語(yǔ),并采用雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(Bi-directional Long Short-Term Memory,BiLSTM)等深度學(xué)習(xí)模型進(jìn)行識(shí)別;歐一鳴等[12-13]采用預(yù)先構(gòu)建的知識(shí)圖譜提取文本中的設(shè)備和故障現(xiàn)象實(shí)體。中文語(yǔ)境下的IT運(yùn)維文本中存在大量英文詞語(yǔ),這些英文詞語(yǔ)大概率為需要識(shí)別的實(shí)體,如“VPN”“OA系統(tǒng)”,而動(dòng)詞、名詞通常最能表征一個(gè)句子的語(yǔ)義,因此本文在模型中加入包含英文類詞性在內(nèi)的詞性特征。另外,本文還將IT運(yùn)維領(lǐng)域?qū)嶓w詞典作為先驗(yàn)信息加入模型[14-15],將知識(shí)驅(qū)動(dòng)的詞典方法和數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)方法相結(jié)合。

在深度神經(jīng)網(wǎng)絡(luò)模型中,首先通過(guò)詞嵌入的方法將文本轉(zhuǎn)化為向量形式。常用的詞嵌入技術(shù)有Word2vec,Glove等。然而傳統(tǒng)的靜態(tài)詞向量無(wú)法根據(jù)語(yǔ)境動(dòng)態(tài)變化,也無(wú)法解決一詞多義的問(wèn)題。2018年,Google公開(kāi)了一種基于轉(zhuǎn)換器的雙向編碼表征(Bidirectional Encoder Representations from Transformers,BERT)模型[16],解決了語(yǔ)言的多義性,其除了可以對(duì)文本直接編碼外,還可以利用預(yù)訓(xùn)練模型在下游任務(wù)中進(jìn)行微調(diào),在小樣本上也可以取得較好的效果[17]。IT運(yùn)維領(lǐng)域暫無(wú)公開(kāi)的數(shù)據(jù)集,數(shù)據(jù)的獲取和標(biāo)注需要大量的人力成本,使用預(yù)訓(xùn)練模型可以有效解決這一問(wèn)題。

除此之外,考慮到意圖識(shí)別與命名實(shí)體識(shí)別兩個(gè)任務(wù)之間的關(guān)聯(lián)性,如果一句話中存在“軟件”類實(shí)體,則這句話的意圖大概率是“軟件安裝”或“軟件異常”,而不是“設(shè)備配送”,反之亦然。因此,本文采用多任務(wù)學(xué)習(xí)模型,通過(guò)參數(shù)共享機(jī)制將各個(gè)子任務(wù)結(jié)合起來(lái)[18]。常見(jiàn)的基于BERT的多任務(wù)學(xué)習(xí)通常共用一個(gè)編碼層,然后分別進(jìn)行解碼[19-21],然而當(dāng)輸入序列融入其他特征時(shí),難以將這些特征傳遞給意圖識(shí)別模塊。因此,本文對(duì)常見(jiàn)的基于BERT的多任務(wù)模型的參數(shù)共享方式進(jìn)行改進(jìn),使意圖識(shí)別模塊也可以共享這部分信息。

表1所示為語(yǔ)義解析的具體示例。對(duì)于“總部大樓301室,送一個(gè)無(wú)線鼠標(biāo)過(guò)來(lái)”這個(gè)服務(wù)請(qǐng)求來(lái)說(shuō),通過(guò)意圖識(shí)別可以確定其意圖是“配送設(shè)備”,通過(guò)命名實(shí)體識(shí)別技術(shù)可以提取出需要配送的設(shè)備是“無(wú)線鼠標(biāo)”,配送地點(diǎn)是“總部大樓”的“301室”。

表1 語(yǔ)義解析示例

綜上所述,本文提出一種IT運(yùn)維服務(wù)領(lǐng)域用戶語(yǔ)義解析方法。為提高模型的識(shí)別性能,在MBBC(multi-BERT-BiLSTM-CRF)基準(zhǔn)模型上,通過(guò)在編碼層融入詞性特征和實(shí)體詞典特征增強(qiáng)對(duì)領(lǐng)域語(yǔ)言特征和領(lǐng)域知識(shí)的學(xué)習(xí);同時(shí)在多特征融合的基礎(chǔ)上,對(duì)MBBC模型的參數(shù)共享方式進(jìn)行改進(jìn),提出增強(qiáng)的MBBC(Enhanced-MBBC,EMBBC)模型,以增強(qiáng)兩類任務(wù)在下游參數(shù)之間的共享能力。

2 問(wèn)題描述

在IT運(yùn)維服務(wù)中,用戶通過(guò)文本的形式向服務(wù)臺(tái)提出服務(wù)需求,這類文本被稱為需求文本,可以表示為T={t1,t2,…,tL},其中ti表示文本中的第i個(gè)字,L為文本的長(zhǎng)度。

意圖識(shí)別常被看作是一項(xiàng)文本分類任務(wù)[22],即假設(shè)用戶的意圖存在于一系列預(yù)定義的類別中。假設(shè)存在N類意圖C={c1,c2,…,cN},其中ci表示第i類意圖,意圖識(shí)別就是根據(jù)用戶的需求文本,將用戶的意圖劃分到預(yù)定義的類別中。本文需要識(shí)別的意圖共17類,包括企業(yè)大部分的日常運(yùn)維服務(wù)需求,總體分為服務(wù)請(qǐng)求和故障問(wèn)題兩大類。

命名實(shí)體識(shí)別[23]實(shí)際上是一類序列標(biāo)注任務(wù),用于提取用戶需求文本中的關(guān)鍵信息。假設(shè)存在M類實(shí)體E={e1,e2,…,eM},其中ei表示第i類實(shí)體,每一類實(shí)體都采用BIO標(biāo)記方法,B表示實(shí)體的開(kāi)始,I表示實(shí)體剩下的部分,O表示非實(shí)體,實(shí)體標(biāo)注示例如表2所示。命名實(shí)體識(shí)別就是將用戶需求文本T中的ti映射到對(duì)應(yīng)的實(shí)體標(biāo)簽。本文需要識(shí)別的命名實(shí)體共7類,除了IT運(yùn)維相關(guān)的設(shè)備、實(shí)體、故障現(xiàn)象以及涉及的人員類實(shí)體,對(duì)于需要上門的服務(wù)還需要識(shí)別地點(diǎn)信息,本文地點(diǎn)信息具體到區(qū)域、樓、房間。

表2 命名實(shí)體BIO序列標(biāo)注示例

3 模型結(jié)構(gòu)

本文采用EMBBC模型聯(lián)合學(xué)習(xí)意圖識(shí)別和命名實(shí)體識(shí)別任務(wù)。模型結(jié)構(gòu)如圖1所示,包括BERT共享層、意圖識(shí)別模塊、命名實(shí)體識(shí)別模塊3部分,其中意圖識(shí)別模塊和實(shí)體識(shí)別模塊共享BERT編碼向量。意圖識(shí)別模塊通過(guò)Softmax激活函數(shù)進(jìn)行解碼得到意圖類別;命名實(shí)體識(shí)別模塊融入詞性特征和實(shí)體詞典特征,并依次通過(guò)BiLSTM和條件隨機(jī)場(chǎng)(Conditional Random Field,CRF)進(jìn)行解碼得到實(shí)體標(biāo)簽序列。除了共享BERT編碼向量外,EMBBC模型通過(guò)Hadamard乘積共享兩個(gè)模塊之間的其他下游參數(shù)。

3.1 BERT共享層

為了將用戶的需求文本轉(zhuǎn)化為計(jì)算機(jī)可以處理的向量形式,本文采用Google提供的中文BERT預(yù)訓(xùn)練模型,包括12層編碼層、768個(gè)隱藏單元和12個(gè)自注意力頭部。中文BERT模型在大規(guī)模無(wú)標(biāo)簽的《人民日?qǐng)?bào)》數(shù)據(jù)集上預(yù)訓(xùn)練得到,將其應(yīng)用在IT運(yùn)維服務(wù)領(lǐng)域驗(yàn)證其適用性。在BERT模型中,輸入文本的編碼向量為3個(gè)詞嵌入特征的疊加(如圖2),包括通過(guò)WordPiece得到的字符嵌入,用于區(qū)分兩個(gè)句子的分割嵌入和表示字的位置信息的位置嵌入。

在WordPiece中,對(duì)文本的切分按照預(yù)定義的詞典進(jìn)行,Google提供的中文詞典以中文漢字為單位,同時(shí)包括部分常用英文單詞,切分時(shí)默認(rèn)去掉空格、換行符等空白字符。除此之外,因?yàn)锽ERT的輸入可以是一個(gè)句子,也可以是兩個(gè)句子,所以會(huì)在整個(gè)輸入的開(kāi)頭加入特殊標(biāo)記[CLS],用于得到整個(gè)輸入的編碼向量,并在每個(gè)句子的結(jié)尾加入特殊標(biāo)記[SEP],用于區(qū)分兩個(gè)句子。假設(shè)輸入文本的編碼序列為[t[CLS],t1,…,tL,t[SEP]],通過(guò)BERT得到的編碼為

(1)

式中:n為編碼層的個(gè)數(shù);ti∈R,R為BERT的隱藏層單元個(gè)數(shù)。通過(guò)BERT模型得到的編碼向量可以取代Word2vec等詞嵌入,作為共享編碼輸入后續(xù)兩個(gè)子任務(wù)中。

3.2 意圖識(shí)別模塊

意圖識(shí)別實(shí)際上是一類文本分類任務(wù),即將整個(gè)句子劃分到預(yù)定義的類別中。而B(niǎo)ERT模型的[CLS]位編碼向量就是對(duì)整個(gè)句子的編碼,將其作為句子特征輸入到一層激活函數(shù)為Softmax的全連接層進(jìn)行解碼,從而實(shí)現(xiàn)意圖識(shí)別。

yintent=Softmax(Wintent·xCLS+bintent)。

(2)

式中:Wintent和bintent為可訓(xùn)練的模型參數(shù);Softmax為激活函數(shù),

(3)

3.3 命名實(shí)體識(shí)別模塊

3.3.1 詞性與實(shí)體詞典特征

表3 詞性特征與實(shí)體詞典特征示例

最后,將詞性特征、實(shí)體詞典特征與BERT編碼向量拼接,然后饋送給上下文編碼層,其中第i個(gè)字符的向量

(4)

3.3.2 上下文編碼層

文本的上下文信息通常采用循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)來(lái)提取,長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(Long Short Term Memory,LSTM)是RNN的一種變體,其通過(guò)加入門控機(jī)制解決RNN梯度爆炸和梯度消失問(wèn)題。對(duì)于命名實(shí)體識(shí)別任務(wù),句子中的一個(gè)實(shí)體既和句子的前文有關(guān),也和句子的后文有關(guān),LSTM模型只能捕捉一個(gè)方向的依賴關(guān)系,而B(niǎo)iLSTM將兩個(gè)不同方向LSTM模型的輸出進(jìn)行了拼接,可以更好地捕捉前后文特征[25]。

假設(shè)上一步得到的特征向量為X={x1,x2,…,xL},LSTM網(wǎng)絡(luò)中的存儲(chǔ)單元更新過(guò)程定義如下:

it=σ(Wixt+Uiht-1+bi);

(5)

ft=σ(Wfxt+Ufht-1+bf);

(6)

ot=σ(Woxt+Uoht-1+bo);

(7)

(8)

(9)

ht=ot⊙tanh(ct)。

(10)

式中:σ表示Sigmoid函數(shù);⊙表示元素乘法;t表示時(shí)間步;it表示輸入門;ft表示遺忘門;ot表示輸出門;ct表示單元狀態(tài);ht表示隱藏狀態(tài);W,U,b為可訓(xùn)練參數(shù)。

單向LSTM只能捕獲句子的前向語(yǔ)義關(guān)系或后向語(yǔ)義關(guān)系,而B(niǎo)iLSTM可以捕獲句子的雙向語(yǔ)義關(guān)系,其模型結(jié)構(gòu)如圖3所示,圖中包括兩個(gè)并行的不同方向的LSTM,在輸出端將兩個(gè)LSTM的輸出串行拼接得到雙向語(yǔ)義特征st,計(jì)算公式如下:

(11)

(12)

(13)

3.3.3 解碼層

序列的標(biāo)簽是有約束關(guān)系的,例如O標(biāo)簽后面不能跟隨I標(biāo)簽,句子的開(kāi)頭不能是I標(biāo)簽。全連接輸出層對(duì)序列中的每一個(gè)元素進(jìn)行獨(dú)立預(yù)測(cè),不能考慮這種約束關(guān)系,因此本文采用CRF獲得全局最優(yōu)的標(biāo)記序列。

假設(shè)CRF輸入序列X′={x′1,x′2,…,x′L},實(shí)體的標(biāo)簽序列Y={y1,y2,…,yL},標(biāo)簽序列的得分為

(14)

式中:Ayi,yi+1為標(biāo)簽yi轉(zhuǎn)移到標(biāo)簽yi+1的概率;Pi+1,yi+1為輸入序列中第i+1個(gè)字對(duì)應(yīng)標(biāo)簽yi+1的概率。標(biāo)簽序列Y的概率為

(15)

式中Y*為所有可能的標(biāo)簽序列集合。訓(xùn)練時(shí),模型求解參數(shù)使p(Y|X′)最大化。預(yù)測(cè)時(shí),通過(guò)Viterbi算法將得分最高的序列yentities作為最終的標(biāo)注結(jié)果,

(16)

3.4 多任務(wù)建模

常見(jiàn)的基于BERT的多任務(wù)模型通常只在編碼層共享參數(shù),由于在命名實(shí)體識(shí)別模塊中加入了詞性特征和實(shí)體詞典特征,為了與意圖識(shí)別模塊共享這部分信息,對(duì)通用模型進(jìn)行了改進(jìn)。如圖1所示,采用Hadamard對(duì)意圖識(shí)別模塊和命名實(shí)體識(shí)別模塊的編碼向量進(jìn)行交叉相乘:

hintent=hCLS⊙hmean;

(17)

(18)

對(duì)于多任務(wù)學(xué)習(xí),需要對(duì)子任務(wù)進(jìn)行聯(lián)合優(yōu)化,即將各個(gè)子任務(wù)損失函數(shù)的加權(quán)和作為總損失函數(shù),訓(xùn)練時(shí)對(duì)總損失函數(shù)進(jìn)行迭代優(yōu)化。其中,意圖識(shí)別采用交叉熵?fù)p失函數(shù)。假設(shè)共有N類意圖,則意圖識(shí)別損失函數(shù)

(19)

實(shí)體識(shí)別的損失函數(shù)是對(duì)實(shí)體標(biāo)簽序列的概率值取負(fù)對(duì)數(shù),即

(20)

損失函數(shù)L為兩者的加權(quán)和,即

L=a×Lintent+(1-a)×Lentites,

a∈(0,1)。

(21)

式中a和1-a是兩個(gè)子任務(wù)的權(quán)重,決定了不同子任務(wù)在訓(xùn)練中的重要程度。

4 數(shù)據(jù)集和實(shí)驗(yàn)

4.1 數(shù)據(jù)集

本實(shí)驗(yàn)數(shù)據(jù)來(lái)自某企業(yè)IT運(yùn)維服務(wù)中產(chǎn)生的工單,共8 903條數(shù)據(jù),通過(guò)人工整理得到意圖識(shí)別樣本數(shù)分布如表4所示,實(shí)體分布如表5所示。其中共17類意圖、7類實(shí)體。

表4 意圖識(shí)別樣本分布

表5 命名實(shí)體分布

從表4可見(jiàn),不同意圖之間樣本分布差距較大,“應(yīng)用配置變更”的服務(wù)請(qǐng)求占大多數(shù),“回收設(shè)備”和“激活軟件”的請(qǐng)求則比較少,這和企業(yè)的實(shí)際運(yùn)行情況相關(guān)。對(duì)比每一類樣本的平均長(zhǎng)度和最大長(zhǎng)度可以發(fā)現(xiàn),“開(kāi)通賬號(hào)”“應(yīng)用配置變更”“開(kāi)通訪問(wèn)權(quán)限”的樣本長(zhǎng)度差距比較大,但均屬于短文本范圍。從表5可見(jiàn),軟件類實(shí)體出現(xiàn)的概率較大,其為所有實(shí)體中變化最大的一類實(shí)體,不同用戶對(duì)同一類軟件的表述相差很大,例如“windows系統(tǒng)”也可以表達(dá)為“win系統(tǒng)”或“windows”。

4.2 評(píng)價(jià)指標(biāo)

考慮到樣本分布對(duì)多分類問(wèn)題的影響,實(shí)驗(yàn)采用準(zhǔn)確率(Accuracy意圖)和加權(quán)宏平均F1值(F1w)作為意圖識(shí)別結(jié)果的評(píng)價(jià)指標(biāo),計(jì)算公式如下:

Accuracy意圖=

(22)

(23)

式中:N為總類別數(shù);F1i為第i類意圖的F1值;wi為第i類意圖樣本數(shù)占總樣本數(shù)的比例。

用F1值(F1實(shí)體)作為命名實(shí)體識(shí)別的評(píng)價(jià)指標(biāo),計(jì)算公式如下:

(24)

(25)

(26)

4.3 實(shí)驗(yàn)設(shè)置

文本在操作系統(tǒng)為Ubuntu 18.04、顯卡為NVIDIA T4、內(nèi)存為15 GB的服務(wù)器上進(jìn)行實(shí)驗(yàn)。模型搭建使用Keras深度學(xué)習(xí)框架;每條輸入序列的填充長(zhǎng)度為50;訓(xùn)練使用Adam優(yōu)化算法,訓(xùn)練批次大小(batch size)為32,訓(xùn)練輪次(epoch)為20;BERT模型使用Google在GitHub上開(kāi)源的中文預(yù)訓(xùn)練模型,共12個(gè)編碼層、768個(gè)隱藏單元和12和自注意力頭部;學(xué)習(xí)率為1×10-5;BiLSTM每層的隱藏神經(jīng)元個(gè)數(shù)為128;Doupout層的隨機(jī)丟棄率為0.5;意圖識(shí)別和命名實(shí)體識(shí)別任務(wù)的損失函數(shù)之比為0.5∶0.5;詞性特征的嵌入維度為50,實(shí)體詞典特征的嵌入維度為15。具體超參數(shù)設(shè)置如表6所示。

表6 超參數(shù)設(shè)置

5 結(jié)果及分析

5.1 模型對(duì)比

實(shí)驗(yàn)將數(shù)據(jù)集以8∶1∶1的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集,其中訓(xùn)練集用來(lái)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)模型,驗(yàn)證集用來(lái)在訓(xùn)練的過(guò)程中調(diào)節(jié)參數(shù),測(cè)試集用于測(cè)試模型效果。在BERT誕生之前,通常用CNN和RNN兩種神經(jīng)網(wǎng)絡(luò)模型及其變體進(jìn)行意圖識(shí)別和命名實(shí)體識(shí)別。為對(duì)比BERT模型與這兩種基線模型在IT運(yùn)維服務(wù)領(lǐng)域語(yǔ)義解析任務(wù)中的性能,本文分別用CNN,BiLSTM,BERT模型進(jìn)行對(duì)比實(shí)驗(yàn)。其中,CNN模型采用文本卷積神經(jīng)網(wǎng)絡(luò)(Text Convolutional Neural Network,TextCNN),包括大小分別為2,3,4的3個(gè)并行的卷積核,特征向量為3次卷積結(jié)果的串聯(lián)拼接;BiLSTM隱藏層神經(jīng)元的個(gè)數(shù)為128,特征向量為兩個(gè)方向向量串聯(lián)拼接。除此之外,CRF可以對(duì)序列標(biāo)簽有一定約束,因此將CRF也作為一項(xiàng)對(duì)比變量加入實(shí)驗(yàn)。表7所示為各模型在單任務(wù)上的實(shí)驗(yàn)結(jié)果,其中以CRF為輸出的模型只檢驗(yàn)命名實(shí)體識(shí)別結(jié)果。

表7 單任務(wù)模型實(shí)驗(yàn)對(duì)比 %

本文采用微調(diào)的方式,使用BERT預(yù)訓(xùn)練模型。實(shí)驗(yàn)結(jié)果表明,相對(duì)于TextCNN,BiLSTM基線模型,BERT對(duì)意圖識(shí)別的準(zhǔn)確率和加權(quán)F1值以及命名實(shí)體識(shí)別任務(wù)的F1值都有顯著提升。對(duì)于意圖識(shí)別任務(wù),BERT比TextCNN提升4.6%的準(zhǔn)確率和4.89%的F1值,比BiLSTM提升6.51%的準(zhǔn)確率和6.49%的F1值。對(duì)于命名實(shí)體識(shí)別任務(wù),BERT比TextCNN提升2.67%的F1值,比BiLSTM提升4.03%的F1值。除此之外,在命名實(shí)體識(shí)別任務(wù)中,CRF對(duì)結(jié)果提升較大,其中TextCNN-CRF比TextCNN提升2.45%的F1值,BiLSTM-CRF比BiLSTM提升5.82%的F1值。在BiLSTM-CRF的基礎(chǔ)上加入BERT得到BERT-BiLSTM-CRF,使F1值提升了3.64%。

在最優(yōu)模型BERT-BiLSTM-CRF的基礎(chǔ)上,將詞性特征和實(shí)體詞典特征應(yīng)用到微調(diào)的BERT模型中,驗(yàn)證其對(duì)命名實(shí)體識(shí)別任務(wù)的影響,實(shí)驗(yàn)結(jié)果如表8所示。當(dāng)添加詞性特征時(shí),F1值從90.45%提升到91.16%;當(dāng)添加實(shí)體詞典特征時(shí),F1值提升到91.65%;當(dāng)同時(shí)添加這兩種特征時(shí),F1值可以達(dá)到92.07%。由此說(shuō)明,融合詞性和實(shí)體詞典特征可以增強(qiáng)模型對(duì)詞法信息和領(lǐng)域知識(shí)的學(xué)習(xí)。除此之外,這兩種特征不需要基于大量的領(lǐng)域語(yǔ)料庫(kù)進(jìn)行提取,因?yàn)橐粋€(gè)采用通用詞性標(biāo)注器,另一個(gè)采用先驗(yàn)知識(shí)和外部資源。為了將領(lǐng)域知識(shí)融入模型,有很多將詞嵌入和字嵌入進(jìn)行融合的模型,本文沒(méi)有這樣做,因?yàn)檫@需要大量的領(lǐng)域語(yǔ)料庫(kù)來(lái)訓(xùn)練Word2vec等詞嵌入模型。

表8 詞性特征和實(shí)體詞典特征對(duì)NER的影響 %

由于意圖識(shí)別和命名實(shí)體識(shí)別在語(yǔ)義解析任務(wù)中有一定的關(guān)聯(lián)性,本文在融合詞性特征與實(shí)體詞典特征的基礎(chǔ)上,構(gòu)建了3個(gè)多任務(wù)模型進(jìn)行對(duì)比,分別是基于TextCNN+BiLSTM-CRF的多任務(wù)模型、MBBC模型和文本提出的EMBBC模型,表9所示為這3種多任務(wù)模型的實(shí)驗(yàn)結(jié)果?？梢?jiàn),與單任務(wù)模型相比,多任務(wù)模型在兩類任務(wù)上均有一定提升,而EMBBC模型的結(jié)果最優(yōu),其中意圖識(shí)別的準(zhǔn)確率達(dá)到97.19%,命名實(shí)體識(shí)別的F1值達(dá)到93.16%。這些結(jié)果說(shuō)明,本文所提EMBBC模型可以增強(qiáng)兩個(gè)任務(wù)之間的信息共享能力。

表9 融合詞性特征與實(shí)體詞典特征的多任務(wù)模型實(shí)驗(yàn)對(duì)比 %

5.2 錯(cuò)誤分析

為了對(duì)語(yǔ)義解析的結(jié)果進(jìn)行定性分析,計(jì)算每一類意圖和每一類實(shí)體的識(shí)別結(jié)果,如表10和表11所示。

表10 意圖識(shí)別結(jié)果分類統(tǒng)計(jì) %

表11 命名實(shí)體識(shí)別結(jié)果分類統(tǒng)計(jì) %

續(xù)表11

在意圖識(shí)別結(jié)果中可見(jiàn),“安裝軟件”“連接網(wǎng)絡(luò)”“回收設(shè)備”“激活軟件”和“忘記密碼”類的各項(xiàng)指標(biāo)均達(dá)到100%。對(duì)比表5可知,“激活軟件”類識(shí)別較好的原因可能是樣本量大,而剩下的幾類在小樣本上也能得到很高的F1值,因?yàn)檫@幾類文本的特征詞比較明顯,例如“聯(lián)網(wǎng)”“回收”“激活”“密碼”等詞,在對(duì)應(yīng)意圖中出現(xiàn)的概率很大而在其他意圖中出現(xiàn)的概率很小。從中隨機(jī)抽出一些具有代表性的錯(cuò)誤結(jié)果,如表12所示。

表12 意圖識(shí)別錯(cuò)誤結(jié)果示例

在第1句中,關(guān)鍵詞“賬號(hào)”在“開(kāi)通賬號(hào)”意圖中出現(xiàn)的概率很高,因此被分錯(cuò);第2句屬于歧義問(wèn)題,“無(wú)法訪問(wèn)”在該句中的意思為“無(wú)法登錄”,模型沒(méi)有很好地識(shí)別出這一點(diǎn);第3句也是因?yàn)椤皵?shù)據(jù)”屬于“應(yīng)用數(shù)據(jù)錯(cuò)誤”類的關(guān)鍵詞,因此被錯(cuò)分。

從表11可見(jiàn),各類實(shí)體的F1值相差不大,從中隨機(jī)抽出一些具有代表性的錯(cuò)誤結(jié)果,如表13所示。

表13 命名實(shí)體識(shí)別錯(cuò)誤結(jié)果示例

在第1句中,雖然出現(xiàn)了兩個(gè)軟件類實(shí)體“WIN7”和“WIN10”,但是其意圖是“安裝軟件”,真正應(yīng)該被識(shí)別出來(lái)的軟件類實(shí)體應(yīng)該是“WIN10”,模型錯(cuò)誤地識(shí)別出了“WIN7”;在第2句中,模型沒(méi)有能夠識(shí)別出“故障現(xiàn)象”這個(gè)實(shí)體,這類錯(cuò)誤在每一類實(shí)體中都有出現(xiàn),影響了模型的召回率;在第3句中,“打印機(jī)掃描一體機(jī)”屬于一個(gè)整體,因?yàn)樵谀承┪谋局?“打印機(jī)”和“掃描一體機(jī)”都屬于設(shè)備類實(shí)體,所以模型錯(cuò)誤地將其識(shí)別為兩個(gè)實(shí)體。

綜上所述,模型對(duì)模糊語(yǔ)義和歧義問(wèn)題的學(xué)習(xí)還不夠好,出現(xiàn)概率較小的樣本類型容易被出現(xiàn)概率較大的樣本類型影響。因此,今后研究可以考慮構(gòu)建IT運(yùn)維服務(wù)領(lǐng)域知識(shí)圖譜進(jìn)行語(yǔ)義推理,輔助IT運(yùn)維服務(wù)領(lǐng)域語(yǔ)義解析。

6 結(jié)束語(yǔ)

本文從實(shí)現(xiàn)智能IT服務(wù)臺(tái)的需求出發(fā),通過(guò)分析IT運(yùn)維服務(wù)領(lǐng)域語(yǔ)義解析的相關(guān)研究背景,提出一種IT運(yùn)維服務(wù)領(lǐng)域語(yǔ)義解析方法,包括意圖識(shí)別和實(shí)體識(shí)別兩個(gè)任務(wù)。在融合詞性特征與實(shí)體詞典特征的基礎(chǔ)上,通過(guò)EMBBC模型對(duì)意圖識(shí)別和命名實(shí)體識(shí)別進(jìn)行聯(lián)合學(xué)習(xí)。實(shí)驗(yàn)結(jié)果表明,融合詞性和實(shí)體詞典特征能夠在一定程度上提升識(shí)別結(jié)果,EMBBC模型比MBBC模型更擅長(zhǎng)捕捉意圖和命名實(shí)體之間的關(guān)聯(lián)。意圖識(shí)別和命名實(shí)體識(shí)別屬于語(yǔ)義解析的兩項(xiàng)基本任務(wù),因此本文方法不僅適用于IT運(yùn)維服務(wù)領(lǐng)域,未來(lái)還可根據(jù)其他服務(wù)領(lǐng)域的特點(diǎn)進(jìn)行適當(dāng)改進(jìn),應(yīng)用于相應(yīng)領(lǐng)域的智能服務(wù)系統(tǒng)中。

此外,在對(duì)錯(cuò)誤的識(shí)別結(jié)果進(jìn)行分析后發(fā)現(xiàn),本文構(gòu)建的模型還不能很好地解決語(yǔ)言的模糊性和歧義性。后續(xù)研究可以考慮構(gòu)建IT運(yùn)維服務(wù)領(lǐng)域知識(shí)圖譜進(jìn)行輔助識(shí)別,還可以考慮研究IT運(yùn)維服務(wù)領(lǐng)域?qū)嶓w的語(yǔ)義相似度,以實(shí)現(xiàn)相同實(shí)體的歸一化。