莫志強，曹 斌，范 菁，王 俊

1(浙江工業(yè)大學 計算機科學與技術學院，杭州 310023) 2(中國電信股份有限公司浙江分公司，杭州 310040)

1 引 言

如今很多企業(yè)為了給用戶提供更好的服務，都會提供電話語音或在線文字咨詢等服務.在實際場景中，企業(yè)要求客服人員使用事先規(guī)范的標準服務流程為用戶提供相關反饋服務.例如在電信行業(yè)套餐辦理的服務流程中，客服需要對用戶進行套餐(A，B)的推送.而公司事先規(guī)定的標準服務流程要求一旦涉及A和B兩類套餐的推送，必須先推送A套餐再推送B套餐，即存在一個推薦服務流程(按照套餐的優(yōu)先級).而由于不同的客服人員業(yè)務水平的不同，會導致標準服務流程未能被準確執(zhí)行，進而影響企業(yè)效益和服務質(zhì)量.因此，如何實時對客服人員的實際服務流程與標準服務流程進行一致性檢測，并對客服人員進行“糾錯”成為當前在線客服質(zhì)檢中亟待解決的問題.

目前主流研究有兩類：傳統(tǒng)面向流程模型的一致性檢測和基于文本挖掘技術的服務質(zhì)檢，二者都存在一些缺陷.例如陳鵬等人[1]提出的針對需求確認的業(yè)務流程一致性檢查方法、王磊[2]研究的面向流程模型與數(shù)據(jù)模型的一致性驗證方法以及張學偉，宋巍等人[3]研究的基于業(yè)務流程執(zhí)行語言的一致性度量等.這些方法并不基于文本，且需要對客服的表述進行實時的服務流程挖掘，在時效性上均無法應用于本文面向在線客服的服務流程一致性檢測場景.此外，傳統(tǒng)流程模型一致性檢測方法面向的是在流程模型已知的情況下進行流程的比較，進而確定流程的執(zhí)行語義是否一致.而在本文針對的在線客服服務過程中，客服實際的服務流程未知，需要實時的對客服的對話文本進行潛在的服務過程語義提取.而基于文本挖掘技術的服務流程一致性檢測方法大多先構(gòu)建關鍵詞(句)庫，再利用關鍵詞(句)匹配技術，通過檢測客服表述中的關鍵詞(句)來判斷客服是否遵守規(guī)定的服務流程[4].這些基于規(guī)則的方式明顯不具備足夠的靈活性來處理日常中的口語對話，且實際應用場景多是口語對話，口語表達的不規(guī)范與多種多樣的詞的表述形式也使得關鍵詞庫的構(gòu)建更加繁瑣.

本文將客服服務流程一致性檢測問題看作基于文本的服務流程序列分類問題，利用有監(jiān)督的機器學習分類方法予以解決.這樣做有以下好處，首先可以通過分類模型學習詞的深層語義表示，從而處理詞表述多樣性以及不規(guī)范的口語表達等問題，也免去了構(gòu)建關鍵詞(句)的繁瑣過程.其次分類模型可以根據(jù)從客服對話文本中挖掘的潛在服務過程語義實時的對客服的服務流程進行判斷.傳統(tǒng)的文本分類方法是將文本通過詞袋模型[5]表示成one-hot向量進行分類模型(例如支持向量機[6])訓練.one-hot向量表示文本時忽略了詞序特征.然而在一些特別的服務流程檢測場景下必須要對詞序特征進行考慮(例如上述推送套餐場景).若此時使用文本分類方法來判斷客服服務流程與公司規(guī)定標準服務流程是否一致，詞序特征是必不可少的.

綜上所述，本文采用CNN[7]與RNN[8]來解決在線客服場景下融合詞序語義特征的文本分類問題，并對CNN與RNN各自結(jié)構(gòu)的優(yōu)劣以及二者在本文研究問題下的表現(xiàn)進行了深入的分析與比較.當前尚未發(fā)現(xiàn)類似的解決面向在線客服服務流程一致性檢測的文本分類方法，我們首次嘗試使用CNN和RNN來解決該問題，同時也是第一個用基于真實客服對話數(shù)據(jù)進行深入分析和比較CNN與RNN在這個問題下的表現(xiàn)，且分析結(jié)果能夠為業(yè)務初期具體任務下對兩類模型取舍提供指導性意見.

2 相關工作

早期有一些針對人工語音服務質(zhì)量檢測的研究.例如關浩華[4]在其工作中提出了使用TextRank自動提取關鍵詞與人工根據(jù)業(yè)務場景構(gòu)建的自定義關鍵詞相結(jié)合的方法來輔助呼叫中心的智能質(zhì)檢任務.周世超等人[9]在對語音服務質(zhì)量進行評估時，使用深度信念網(wǎng)絡模型轉(zhuǎn)換特征從而進行分類.

CNN是一種可以利用數(shù)據(jù)內(nèi)部結(jié)構(gòu)的神經(jīng)網(wǎng)絡.早期CNN在圖像分類領域的應用很成功，例如在ImageNet大規(guī)模視覺識別挑戰(zhàn)上取得成功[10].而后CNN又在文本領域大放異彩，上世紀八九十年代被廣泛的應用于語音識別，隨后被用于一些NLP任務，例如詞性標注任務[11]、實體搜索[12]、詞嵌入[13]、特征挖掘、情感分類[14]等任務.2014年，Kim[15]首先將CNN應用于句子分類任務.

RNN是一種專用的序列模型，隱藏層向量傳遞上下文是RNN比較直觀的優(yōu)勢，使得它能夠在語言模型以及機器翻譯等序列建模任務中脫穎而出.眾所周知，基礎的RNN架構(gòu)非常難于訓練，所以衍生出更為精細的變體，例如長短時記憶(long short-term memory，LSTM)[16]和門循環(huán)單元(gated recurrent unit，GRU)[17].目前，為了評估二者的有效性已經(jīng)進行了很多研究.Chung[18]等人研究了在復調(diào)音樂建模上二者各自的有效性.Jozefowicz[19]等人探索了一萬多種不同的RNN結(jié)構(gòu)，并在不同的任務上評估它們的性能.

大多數(shù)人了解的RNN是更加適合序列問題的建模，例如語言模型和機器翻譯.CNN是更加適合注重局部特征的任務.實際上，目前自然語言的相關文獻并不能支持我們得到以上的結(jié)論.例如，一方面Tang[20]、胡均毅等人[21]的研究指出RNN也能夠在文檔級別的情感分類任務中表現(xiàn)的很好，彭祝亮等人[22]也將RNN應用到句子級別的情感分類任務中，另一方面也有研究表明卷積的架構(gòu)也能夠在如詞級別的語言模型和機器翻譯等序列任務中達到最佳效果[23-26].所以面對一個具體的任務，對CNN與RNN二者取舍，是必要并且值得的，這一點也被許多學者所認同.例如，Wenpeng Yin等人[27]研究了CNN與RNN在句子級別和文檔級別分類任務下的不同，根據(jù)結(jié)果做了針對性分析.Shaojie Bai[28]等人針對序列模型任務對RNN和CNN做了比較.考慮到目前對線上客服服務流程一致性檢測任務尚未有對RNN與CNN的系統(tǒng)性進行比較以幫助我們在該任務下選擇合適的模型.本文也在實驗中深入分析，由于業(yè)務初期數(shù)據(jù)積累緩慢及標注困難，本文主要分析基本的CNN與RNN結(jié)構(gòu).

3 架構(gòu)描述與特征表示

客服服務流程可以體現(xiàn)在客服與用戶的多輪對話中，也可以在客服單一表述中體現(xiàn)，本文先針對后一種情況進行研究與分析.例如圖1(左)中的一段電信客服的包含寬帶續(xù)包服務流程客服服務的對話，它是按以下步驟進行：1)由用戶表明意圖；2)客服根據(jù)用戶意圖實施對應的服務流程(楷體部分)；3)用戶提出疑問；4)客服解答.可以看到寬帶續(xù)包服務流程主要涉及兩種續(xù)包類型的推薦，所以在寬帶續(xù)包服務流程下存在兩類實例，一類是該段對話中的服務流程：推送包月寬帶后推送了包年寬帶，另一類是推送包年寬帶后再推送包月寬帶.而在電信專家整理的一系列服務流程中，標準的寬帶續(xù)包服務流程應該是：先向用戶推薦包年寬帶，然后再推薦包月寬帶.所以這里可以根據(jù)標準的服務流程來判斷客服服務流程是否與之一致.

本文將該問題轉(zhuǎn)化為文本分類問題，按照標準服務流程對客服的服務流程進行打標(標簽為一致或者不一致)，接著分析電信客服服務流程語料的特點構(gòu)建合適的分類模型對客服的服務流程進行識別.算法過程如圖1所示共分為兩個模塊.特征表示模塊，將客服表述轉(zhuǎn)換為相應的特征表示；模型構(gòu)建模塊，該模塊通過構(gòu)建合適的文本分類模型對客服表述對應的特征進行處理.如圖1(右)所示，首先將客服的每句話進行分詞或者按字切分，然后使用one-hot表示或者embedding的方式將詞或者字轉(zhuǎn)換為相應的特征向量，最后將這些特征向量堆疊成對應句子的特征矩陣表示.

在處理中文文本時，分詞是常見做法，但是出于以下3種考慮，本文決定加入按字級處理方式：

1)中文的常用字個數(shù)是3000左右，而詞的個數(shù)卻十分龐大.若采用one-hot表示，可能導致維度災難與稀疏問題更加嚴重，另一方面也會導致模型的訓練參數(shù)增加.

2)目前中文分詞常使用一些公開的工具包，例如Jieba分詞，HanLP分詞等.工具包中提供的分詞算法本身存在一定的誤差，而誤差會傳播到下游的任務中去.

3)分詞做法相對于按字符做法的優(yōu)勢在于：分詞能夠初步的幫助我們提取句子中塊狀語義.考慮到本文使用的模型為CNN與RNN.對于CNN，卷積核提取特征的過程即對句子進行分塊然后提取特征，這同樣是在提取句子中的塊狀語義.對于RNN，它常被用來做一些序列標注問題，并且取得較好的效果，而序列標注任務中很重要的一步同樣是分塊，所以我們相信RNN也可以學習到塊狀語義.

從圖1(左)可以看出，本任務需要對句子的詞序語義進行考慮.在客服實施其服務流程的表述(楷體部分)中包年出現(xiàn)在包月之前與包月出現(xiàn)在包年之前是判斷該服務流程是否與標準流程一致的決定性特征之一，它們表示了不同的語義，應該被算法所考慮.最后考慮到實際場景下的數(shù)據(jù)量受制于語料標注的種種困難而增長緩慢，本文在實驗部分還采用了引入外部知識的方法：采用外部語料預訓練的詞向量以及預訓練模型.

圖1 實際樣本(左)和算法過程示意圖(右)Fig.1 Actual sample(left) and algorithm process diagram(right)

4 基于CNN的服務流程一致性檢測

本章主要介紹使用CNN或者RNN來解決在線客服服務流程一致性檢測問題的基礎過程，同時做了相應的分析，并且希望根據(jù)本問題的特點選擇合適的CNN或者RNN變體.

4.1 CNN基礎方法描述

對客服的每句話，將句子中出現(xiàn)過的字的one-hot向量依次堆疊得到對應句子的特征矩陣.將該特征矩陣作為CNN模型的輸入.特征矩陣中的每個特征向量將經(jīng)過池化層，通過池化層預先確定的池化方法對特征矩陣的每一個特征向量進行篩選.特征矩陣經(jīng)過池化操作轉(zhuǎn)換為一個特征向量，最后被輸入到softmax層得到分類結(jié)果.

池化的本質(zhì)是采樣，可以對特征進行篩選.在處理圖像時，由于圖像中相鄰的像素之間的值相似，這就可能會導致這些相似值經(jīng)過卷積操作之后輸出的特征值依然相似.相似的值重復出現(xiàn)是冗余的，完全可以用一個最大值或者平均值來代替，這也是池化操作的思想所在.然而本文針對的是實際場景下的文本數(shù)據(jù)，池化操作的影響還有待考證，我們會在下文進行深入的分析.

4.2 CNN一致性檢測特點分析

對客服每句話的卷積過程相當于在提取句子中大小為k的小區(qū)域塊特征，一次卷積后得到句子的特征向量，向量的每一維對應一個塊特征.這與n-gram[29]特征表示很類似，但為何我們不直接使用n-gram特征表示的句子向量？是出于以下考慮：

1)n-gram特征表示方法完全忽視了不同的n元詞組之間共享的詞成分，不同的n元組表示不同的特征，即使兩個n元組之間很類似.而卷積通過學習得到每個n元詞組特征表示，相比之下更能夠體現(xiàn)各個n元詞組之間的語義關聯(lián).這一點在在線客服服務流程一致性檢測問題下十分重要，因為客服對套餐的表述不可能完全一致，同一個套餐很有可能出現(xiàn)不同的表述.例如S1：“這個的話是不加手機加寬帶電視的按月繳費的199，如果是包年的話，一百兆是1320.”同樣是包月套餐，可以表述為“包月”而S1表述為“按月繳費”.

2)使用n-gram特征表示方法得到的文本特征向量只考慮了n元詞組內(nèi)部的詞序順序而忽視了文本整體的詞序.

很明顯，CNN對客服每句話的特征表示矩陣進行的卷積操作都是按照詞序進行，即不同的詞序會得到不同的向量表示，這使得分類模型具有了考慮詞序特征的能力.按照這種卷積方式進行的CNN模型稱為Seq-CNN[30](Seq表示按照詞序).例如，現(xiàn)有文本“按月繳費”，分字得到[按，月，繳，費]，這4個字作為字庫(字庫大小|V|=4)構(gòu)建one-hot向量，并得到文本矩陣S：

若想提取文本中尺寸為3的小區(qū)域l1，l2特征(即k=2)，則需要一個大小為3×4的卷積核，即提取尺寸為k的區(qū)域特征需要一個k×|V|的卷積核.卷積核中包含k×|V|個訓練參數(shù).盡管本文對句子進行按字切分，一定程度上減少了|V|，但是輸入矩陣仍然比較稀疏，這會引起不必要的參數(shù)增長.Bow-CNN[30]通過對卷積方式做一個小的變換來緩解上述參數(shù)增長的問題.它使用詞袋模型表示一個個的大小為p(此處p=2)的小區(qū)域p1，p2，p3即：

此時提取“按月繳費”中大小為3的小區(qū)域特征只需要一個2×|V|的卷積核，訓練參數(shù)也會因此減少.并且，訓練參數(shù)減少的同時Bow-CNN能夠提取的區(qū)域長度還大于Seq-CNN.即不增加訓練參數(shù)的情況下使用相同尺寸的卷積核，Bow-CNN提取的特征區(qū)域長度大于Seq-CNN.我們認為這一特征在在線客服服務流程一致性檢測任務下是很重要的.因為客服考慮到用戶不清楚業(yè)務套餐，會對業(yè)務套餐進行解釋，這就導致了包含重要特征信息的序列可能會較長.Bow-CNN在不增加訓練參數(shù)的情況下，能夠提取比Seq-CNN稍長的區(qū)域特征，這對模型的效果提升有一定的幫助.然而提取的特征區(qū)域過長也是沒有意義的，區(qū)域大小需要合理的控制(本文在實驗中取p=4).卷積核一次提取的特征區(qū)域長度的增長也是存在風險的，這是由于池化操作的存在.試想特征區(qū)域長度越長意味著包含的信息可能越多，而由卷積提取出的重要特征經(jīng)過最大池化或者平均池化操作后必然會導致信息的丟失.

4.3 RNN基礎方法描述

將客服每句表述X(x1，x2，…，xt-1，xt，xt+1，…，xn)對應的詞向量依次輸入到RNN中，并取最后一個時間步的輸出，將其輸入到softmax層得到分類結(jié)果.

由于基礎的RNN難以訓練，所以常用LSTM和GRU這兩種變體.LSTM引入了3種門機制，分別是：遺忘門、輸入門、輸出門，都是用來控制信息的保留和遺忘.GRU與LSTM有類似之處，同樣采用門機制.但它只有兩個門：重置門與更新門，相比LSTM，GRU訓練時運算較少所以速度較快[27].

4.4 RNN一致性檢測特點分析

對于客服的表述，RNN能夠嚴格按照詞序進行特征抽取，并且在每個時間步的特征抽取過程中它始終都在聯(lián)系上下文.這樣的特征抽取無疑是更準確的，因為相同的字或詞在不同的上下文語境下可能會表示截然不同的含義.這是RNN相比CNN的一個優(yōu)勢所在，CNN更加注重局部特征的提取，而忽略了局部特征之間的依賴關系.

考慮下面這條樣本S2：“現(xiàn)在續(xù)包的話，我們就是有兩種資費啊，一個是手機加寬帶在此，融合套餐，另外一個就是單獨一條，寬帶續(xù)包年了，兩個實際價格差不多，想看，您想了解一下哪一個，我再給您介紹一下.”若想對這句話進行分類，我們實際上只需要如下信息“一個是手機加寬帶，融合套餐，另一個寬帶續(xù)包年”.很明顯實際場景下，客服的表述存在著許多冗余信息(還有語音轉(zhuǎn)文本出現(xiàn)的錯誤)，這些信息對該句子的判斷并沒有提升，甚至可能誤導.

對于上述問題，LSTM和GRU中引入的門機制可以有效緩解.以LSTM舉例：遺忘門能夠在每個時間步?jīng)Q定之前哪些些上下文信息是無用的、應該丟棄的.例如：“現(xiàn)在續(xù)包的話，我們就是有兩種資費啊”對于S2的識別完全沒有幫助，所以這部分文本對應的記憶細胞狀態(tài)C會被遺忘門以較大概率遺忘(此時遺忘門取值接近于0).輸入門能夠決定當前時間步輸入的信息是否值得保留，對于“現(xiàn)在續(xù)包的話，我們就是有兩種資費啊”這部分無用信息同樣會被輸入門以較大概率丟棄(此時輸入門取值接近于0).所以通過這些門機制的設計，RNN能夠?qū)头硎龅男畔⑷∩岬卯敚M而提升分類效果.

5 實驗結(jié)果與分析

本章主要介紹了實驗所用的數(shù)據(jù)集以及實驗的相關設置，最后還有實驗結(jié)果以及分析部分.

5.1 數(shù)據(jù)集

本文使用的數(shù)據(jù)集來自電信行業(yè)客服在線服務過程，由客服在線服務過程中的對話語音經(jīng)過語音轉(zhuǎn)成文本后，再由電信領域的專家閱讀整通對話并定位到客服的推送語段，最后判斷客服的推送流程是否合規(guī)并打標.現(xiàn)已累計1926條服務流程實例，共涉及以下服務流程類型：寬帶續(xù)包服務流程、費用咨詢服務流程、套餐辦理服務流程、故障檢修服務流程、寬帶升級服務流程、新裝寬帶服務流程、網(wǎng)絡電視咨詢服務流程等.

5.2 實驗設置

為了體現(xiàn)不同模型在客服對話分類任務中的特點，首先需要一些規(guī)定：1)使用不同的特征表示方法，分別包括：one-hot和embedding的方式;2)每個模型不采用復雜結(jié)構(gòu)，CNN只包含一層卷積層，RNN中LSTM和GRU接收輸入序列都是從左至右的單向;3)每個模型將做3次五折交叉驗證再取平均值作為該模型結(jié)果;4)每組模型會針對字集、不去除停用詞的詞集和去除停用詞的詞集分別做一組實驗，并且使用的停用詞集是由電信專家針對電信客服對話語料專門處理過;5)為了彌補實際場景下由于標注困難而導致的數(shù)據(jù)量不足的問題，實驗中采用以下引入外部知識的方法：外部知乎數(shù)據(jù)預訓練得到的詞向量[31]以及預訓練模型BERT[32];6)實驗中用到了StarSpace[33]模型作為不考慮詞序特征的對比模型，該模型通過將標簽和樣本同時嵌入到相同空間中，然后通過計算標簽嵌入向量和樣本嵌入向量之間的相似度來進行分類.它是一個非常有效的分類模型，但實驗中該模型并沒有考慮到詞序特征.

5.3 結(jié)果與分析

在本文提出的在線客服服務流程一致性檢測問題中，一個十分顯著的特點是必須對詞序語義特征進行考慮.表1中顯示了3類模型CNN，RNN，StarSpace在本問題下的最高準確度.可以很明顯的看出，考慮詞序語義特征對本問題的影響之大.StarSpace模型由于沒有考慮詞序特征僅有48.90%的準確度48.3%的F1值，二者與CNN相差了46個百分點，與RNN相差了44個百分點.

表1 模型的最佳結(jié)果Table 1 Best result of the model

表2顯示了CNN和RNN的所有實驗結(jié)果.兩種卷積方式和3種池化方式兩兩組合一共得到6組CNN模型，RNN模型一共兩組分別對應LSTM與GRU.訓練模型的數(shù)據(jù)集分別會經(jīng)過兩個不同的處理：按字集做、按詞集做，詞集下又分為去除停用詞和不去停用詞兩種情況.

1)詞嵌入 vs one-hot

考慮到one-hot特征表示得到的向量可能會過于稀疏，我們使用詞(字)嵌入的方式與之對比.此處的詞(字)嵌入指的是使用本任務下的1926條樣本，并使用embedding層根據(jù)下游任務訓練得到的特征表示，不同于使用大量數(shù)據(jù)訓練得到較為通用的詞(字)向量.各項實驗結(jié)果如表2所示.一共15組比較嵌入方式與one-hot方式的實驗中，僅有2組實驗one-hot方式優(yōu)于嵌入方式.這是由于在一定的樣本量下，受字詞數(shù)量的影響one-hot方式得到的向量會變得更稀疏，而嵌入方式在一定的數(shù)量下能夠?qū)W習到更加合適的稠密向量表示.

表2 實驗結(jié)果Table 2 Experimental result

2)Bow-CNN vs Seq-CNN

Bow-CNN和Seq-CNN是CNN的兩種簡單變體，主要是針對卷積層做出了調(diào)整.實驗結(jié)果如表2所示，在3組實驗中的one-hot特征表示方法下(字集、詞集(去停用詞)以及詞集(不去停用詞))，Bow-CNN的最佳結(jié)果都優(yōu)于Seq-CNN的最佳結(jié)果，Seq-CNN在嵌入表示的方式下優(yōu)于Bow-CNN.Bow-CNN不做嵌入是由于Bow-CNN的方法是以詞(字)組為單位做輸入，而詞(字)組數(shù)量十分龐大并且每個詞(字)組出現(xiàn)的頻率不高，所以不適合進行嵌入表示.但是Bow-CNN在小樣本情況下配合one-hot表示同樣能夠獲得有競爭力的效果.

3)Max-pooling vs Average-pooling vs Not pooling

為了探究在使用CNN模型做線上客服服務流程一致性檢測任務時池化操作的影響，我們實現(xiàn)了包含3組CNN模型的對比實驗，分別是：使用Max-pooling、使用Average-pooling和不使用池化，實驗結(jié)果如表2所示.不管是使用不同的詞表(字集、詞集)還是不同的卷積方式(Bow-CNN、Seq-CNN)，Max-pooling方法下取得的效果最佳，Average-pooling的作用明顯弱于Max-pooling，甚至不如不做池化操作.Average-pooling在特征處理時一方面沒有像Max-pooling那樣保留值最大的重要特征.另一方面，求均值在特征處理上并不是一個好的選擇.例如將詞向量按維度相加求平均得到句向量的做法，雖然方法簡單，但是卻會丟失詞序等重要信息.我們還發(fā)現(xiàn)去除停用詞的操作總體上對于所有的池化，求均值在特征處理上并不是一個好的選擇.例如將詞向量按維度相加求平均得到句向量的做法，雖然方法簡單，但是卻會丟失詞序等重要信息.我們還發(fā)現(xiàn)去除停用詞的操作總體上對于所有的池化操作是有很大幫助的.電信客服服務過程的口語對話語音轉(zhuǎn)譯成文本后存在大量的語氣詞、錯詞以及亂詞，針對電信對話文本整理得到的停用詞集明顯對池化這類特征篩選方式有很大的幫助.

圖2 RNN vs CNNFig.2 RNN vs CNN

4)RNN vs CNN

在線客服服務流程一致性檢測任務在CNN下的最佳準確率為94.55%，在RNN下的最佳準確率(使用外部數(shù)據(jù)訓練的詞向量)為92.83%，總體看來CNN比RNN更加適合本任務.為了進一步探究二者在本任務下的表現(xiàn)，我們選擇RNN與CNN各自表現(xiàn)最佳的變體(分別是詞集(去停用詞)下，使用詞嵌入的LSTM以及Seq-CNN + max pooling)，在不同的參數(shù)初始化條件下，進行了10組的實驗比較.實驗結(jié)果如圖2所示，在本人任務下CNN的表現(xiàn)始終優(yōu)于RNN.我們從數(shù)據(jù)集特點上對該結(jié)果進行了分析.如圖3中的S3，S4兩個服務流程實例中的“100兆”“寬帶一年”“1120元”“300兆”“按月”“169塊一個月”“一百兆”“包兩年2220塊錢”，這些都是分類所依賴的最主要的特征，成塊狀分布于文本中，并且不存在強烈序列關系.而RNN在序列建模上的強項在本任務中沒有得到發(fā)揮，相反CNN卷積過程的特點就是不斷的提取塊狀特征，所以CNN比RNN更加適合本任務.

圖3 例子Fig.3 Example

5)使用外部知識

由于實際場景下，語料的標注十分困難，其數(shù)量常受制于口語表述不規(guī)范、語音識別等錯誤而增長緩慢.為了彌補數(shù)據(jù)量上的缺陷，我們決定在實驗中采用一些使用外部知識的方法，分別是：使用外部數(shù)據(jù)訓練得到的詞向量以及預訓練模型BERT.實驗結(jié)果如表3所示，詞向量的使用并沒有使得模型

表3 使用外部知識的實驗結(jié)果Table 3 Experimental results using external knowledge

獲得顯著的提升，僅僅使得RNN的準確度提升了0.31%，F(xiàn)1值提升了0.57%.盡管結(jié)果使我們感到詫異，但仍然是有依據(jù)的.詞向量是針對知乎語料訓練得到的，缺失了許多電信領域的專有名詞.然而這些名詞很多恰恰是關鍵的分類特征，例如一些套餐名，所以不得不隨機初始化這些詞，它們不得不像上文提到的嵌入方式一樣從標注語料中自我學習.對于BERT我們是直接使用官方提供的中文預訓練模型，并且在其之上進行微調(diào)，實驗結(jié)果顯示BERT取得了次于CNN的效果，準確度為94.04%，F(xiàn)1值為94.03%，它并沒有使得本任務獲得明顯的性能提升，我們考慮其原因是BERT本身參數(shù)數(shù)量過于巨大，而我們數(shù)據(jù)集的樣本量不足以支撐BERT很好的微調(diào)其參數(shù)，所以獲得的提升效果不佳.

6 總 結(jié)

本文使用文本分類的技術來解決在線客服服務流程一致性檢測任務，首先針對本任務的特征表示做出了相應的分析，采用了不同的特征表示方法，并考慮使用CNN與RNN作為分類模型.同時，為了得到CNN與RNN在本任務下的最佳結(jié)果，本文還針對CNN與RNN的結(jié)構(gòu)做出了分析，對CNN的卷積與池化、RNN的兩種變體LSTM與GRU各自分析與比較，與采用外部知識的各種方法進行對比實驗.最終得出在本任務下具有最優(yōu)效果的CNN模型與RNN模型它們的最佳準確率分別是94.55%和92.83%，并且得到的結(jié)論對兩個模型在實際數(shù)據(jù)的實踐中能夠提供一些指導性意見.