張楊帆, 丁錳,2*

(1. 中國人民公安大學偵查學院， 北京 100038； 2. 中國人民公安大學公共安全行為科學實驗室， 北京 100038)

隨著互聯(lián)網技術的迅猛發(fā)展和移動終端的廣泛普及，移動終端每天都會產生大量的數據。在公安實踐中，為了在海量的數據中提取出與案件有關的數據，民警常常需要花費大量的時間進行分析和取證。因此如何在海量的數據中快速、準確提取與案件有關的信息，是當前公安技術工作的一大課題。在電子數據取證中，文本分析又面臨著一些難題，例如犯罪嫌疑人交流中使用方言、隱語、代號或黑話。針對對話文本進行識別，旨在將與案件有關的對話文本和無關的對話文本區(qū)分開，達到對嫌疑人關系網的快速描繪以及聊天數據的快速取證。

基于對話文本的主題分類本質上屬于文本分類的范疇。文本分類的方法早期是以傳統(tǒng)機器學習為主，具有代表性的是樸素貝葉斯和支持向量機，在此基礎上有不少學者進行了改進并將其應用于電子取證中。初沖[1]提出了一種不依靠詞頻的特征詞權重計算方法并應用于中文短文本分類。易軍凱等[2]在傳統(tǒng)詞頻-逆文本頻率指數(term frequency-inverse document frequency，TF-IDF)算法的基礎上提出了基于類別區(qū)分度的改進算法并應用于電子證據取證的證據獲取階段，同時將文本分類原理應用于文件類型識別，即使用N-gram方法對文件字節(jié)流進行“分詞”。葉明[3]通過引入正向類別和反向類別概率對特征權值算法進行改進，取得了一定的效果。程新航[4]提出了一種基于信息熵的改進TF-IDF文本分類算法并應用于電子取證中。雖然基于機器學習的文本分類模型取得了一定的成就，但其忽略了詞與詞之間以及句子和句子之間的關系，因而特征表征能力有限。基于深度學習的文本分類模型擁有更強大的特征提取和表征能力，因此隨著深度學習的發(fā)展，基于機器學習的文本分類方法逐漸被基于深度學習的文本方法所替代。深度學習在文本分類領域有多種不同的模型，基于詞嵌入向量化的文本分類模型(word2vec、CBOW、Skip-gram、FastText[5]、TextCNN[6])、基于上下文機制的文本分類模型(RCNN[7])、基于記憶存儲機制的文本分類模型(RNN、LSTM、GRU)、基于注意力機制的文本分類模型(HAN)、基于語言模型的文本分類模型(Glove、ELMO[8]、ENRIE、BERT[9])。很多學者在以上模型的基礎上進行改進使其適用于各種下游任務，如陳可嘉等[10]提出了一種基于單詞表示的全局向量模型和隱含狄利克雷分布主題模型的文本表示改進方法用于解決文本分類中文本數據表示存在稀疏性、維度災難、語義丟失的問題。鄭承宇等[11]提出了一種多基模型框架(Stacking-BERT)的中文短文本分類方法用于解決靜態(tài)詞向量表示方法無法完整表示文本語義的問題。Wang等[12]提出了一種融合聲調的雙通道注意力雙向長短期記憶(bidirectional long short time memory，Bi-LSTM)模型用于分析現代詩歌情感，提高了情感分析的準確率。王艷等[13]提出了一種融合拼音字符特征、漢字字符特征、詞級別語義特征和詞性特征的文本分類方法，提升了模型的語義表征能力。Zhu等[14]提出了融合多分類損失函數結合層級化多分類模型，實現二分類到多分類的對話文本的情感多分類，提高模型的泛化能力。李超凡等[15]提出一種基于注意力機制結合CNN-BiLSTM模型的病例文本分類模型，解決了中文電子病歷文本分類的高維稀疏性、算法模型收斂速度較慢、分類效果不佳等問題。李忠等[16]提出了基于精簡版BERT(A Lite BERT，ALBERT)和雙向門控循環(huán)單元(gated recurrent unit，GRU)的文本多標簽分類模型用于解決災害求助信息辨識不準確、響應能力不足的問題。以上改進的模型都有其獨特的優(yōu)勢，但不適用于電子取證。針對電子取證分析算法老舊準確率不高的問題，現提出基于預訓練語言模型BERT的BERT-CNN-SE模型，充分利用預訓練語言模型能夠減輕過擬合的優(yōu)勢并提高BERT模型的分類能力。

1 對話文本識別模型

1.1 BERT模型

基于Transformer的雙向編碼器(bidirectional encoder representation from transformers，BERT)是由Devlin等[9]于2018年提出的基于深層Transformer的預訓練語言模型。

BERT模型如圖1所示。文本序列首先通過embedding層，然后通過12個(BERT-base)雙向編碼的BERT層，即Transformer的Encoder，其中每層輸出的隱藏狀態(tài)既作為下一層的輸入也可以作為輸出。

圖1 BERT模型

1.1.1 BERT輸入表示

BERT的輸入表示是由詞向量(token embedding)、塊向量(segment embedding)和位置向量(position embedding)之和組成的。假設最大序列長度為L，詞表大小為V，塊數量為S，詞向量維度為e，v∈RL×e表輸入向量，vt∈RL×e代表詞向量，vs∈RL×e代表塊向量，vp∈RL×e代表位置向量，et∈RL×V為輸入序列的詞向量獨熱編碼，es∈RL×S為輸入序列的塊編碼，ep∈RL×L為輸入序列的位置獨熱編碼，wt∈RV×e為可訓練的詞向量矩陣，ws∈RS×e為可訓練的塊向量矩陣，wp∈RL×e為可訓練的位置向量矩陣，公式如下。

v=vt+vs+vp

(1)

vt=etwt

(2)

vs=esws

(3)

vp=epwp

(4)

1.1.2 BERT的預訓練方法

BERT模型的主要創(chuàng)新點在預訓練方法上，即使用了掩碼語言模型(masked language model, MLM)和下一個句子預測(next sentence prediction, NSP)兩種方法分別捕捉詞語和句子級別的文本語義信息。在預訓練階段通過對大量無標簽的文本進行無監(jiān)督學習得到豐富的語義信息，在進行下游任務的時候只需要進行微調就可以獲得非常好的效果[17]。

BERT采用了類似完型填空的做法來進行MLM任務實現了真正的雙向性，MLM任務將一個序列中15%的子詞進行掩碼，被掩碼的詞有80%的概率替換為[MASK]標記、10%的概率替換為詞表中的其他詞、10%的概率保持原詞不變。BERT通過NSP任務來學習兩段文本之間的差異，NSP任務要求輸入是句子對，即(句子A，句子B)，將來自同一個輸入的句子A和句子B視為正樣本，如果將句子B替換為語料庫中的其他句子則視為負樣本，通過對正負樣本的預測，NSP任務可以學習到句子層面的語義信息。

1.1.3 注意力機制

注意力機制的提出是受到了認知神經科學領域的啟發(fā)。Bahdanau等[18]首次將注意力機制引入NLP領域中后注意力機制就被廣泛應用于NLP領域中。2017年Vaswani等[19]大量使用了自注意力機制，從此基于自注意力機制的模型大放異彩。注意力機制是Transformer和BERT的基礎。它是Transformer的Encoder中最重要的部分，Transformer Encoder的結構如圖2所示。

圖2 transformer編碼器結構

注意力機制通過注意力匯聚將查詢(query，自主性提示)和鍵(keys，非自主性提示)結合在一起，實現對值(values，感官輸入)的選擇傾向。具體來說就是使用注意力評分函數來對keys和query的關系進行建模，將得到的輸出輸入到softmax中運算得到注意力權重(概率分布)，values和注意力權重相乘得到output。注意力機制的結構圖如圖3所示。

圖3 注意力機制

注意力匯聚函數公式如下。

f[q,(k1,v1),(k2,v2),…,(km,vm)]=

(5)

b(q,ki)=softmax[a(q,ki)]

(6)

式(6)中：q∈Rq，q為查詢；ki∈Rk，k為鍵；vi∈Rv，v為值；b(q,ki)為注意力權重；a為注意力評分函數；m為鍵值對個數。

常用的注意力評分函數是縮放點積注意力函數，公式為

(7)

式(7)中：d為查詢和鍵的長度。

設Q∈Rn×d,K∈Rm×d,V∈Rm×v，n為查詢的個數，d為查詢和鍵的長度，v為值的長度，則縮放點積注意力可表示為

(8)

1.2 改進的BERT模型

使用微調BERT進行分類任務一般是取最后一層隱藏狀態(tài)的第一個隱藏單元[CLS]作為句向量直接輸入到全連接層中做分類，這可能會丟失一部分隱藏狀態(tài)的語義信息，為了能最大化地利用最后一層的隱藏狀態(tài)的語義信息，設計將BERT最后一層隱藏狀態(tài)當作卷積層的輸入，給輸入添加一個大小為1的通道維度，然后分別使用幾個大小不同的濾波器(卷積核)捕捉BERT輸出序列的高級語義信息，然后將得到的輸出依次通過同一個SE模塊[20](squeeze-and-excitation)，對通道進行加權。由于使用的同一個SE模塊，SE模塊參數共享在一定程度上減少了參數量，增強了模型的泛化能力。將通道加權后的輸出輸入最大池化層，最后將幾種(卷積核的種類數)輸出連接(concat)起來輸入到全連接層中進行分類。改進BERT的模型圖，如圖4所示。

圖4 改進BERT模型

1.2.1 SE模塊

擠壓和激勵網絡(squeeze-and-excitation networks，SENet)是Hu等[20]在CVPR2017上提出的網絡。SENet通過建立特征通道之間的相互依賴關系，達到對通道的加權。具體來說就是通過學習的方式來自動獲取到每個特征通道的重要程度，然后依照這個重要程度去提升有用的特征并抑制對當前任務用處不大的特征。設C為通道數，L為序列長度，H為隱藏大小(經過卷積后變?yōu)?)，r為減小比率，SE模塊圖如圖5所示。

圖5 SE模塊

SE模塊實現通道加權的具體過程如下。

(1)擠壓(squeeze)。沿著特征維度(在改進BERT中為序列維度和隱藏維度)進行特征壓縮，使用自適應平均池化(adaptive average pooling)將特征圖使用變成一個實數，這個實數在一定意義上具有全局的感受野，它代表著在特征通道上響應的全局分布，因而使得靠近輸入的層也可以獲得全局的感受野，一定程度上彌補了卷積層過于關注局部特征的缺點。squeeze的公式為

(9)

式(9)中：zc為c通道特征圖的平均值；Uc為c通道的特征圖；H為隱藏大??；L為序列長度。

(2)激勵(excitation)。激勵操作可以學習各個通道之間的依賴關系，具體實現就是使用了全連接層-激活-全連接層-激活，利用全連接層和激活層的非線性來對通道之間的依賴關系進行描述。整數r為減小比率，可以限制模型復雜性減少參數量。excitation的公式為

S=Fex(z,W)=σ[g(z,W)]

=σ[W2δ(W1z)]

(10)

式(10)中：S為門控單元；z為全局統(tǒng)計向量；W1、W2為兩個全連接層的權值矩陣；σ為sigmoid激活函數；δ為ReLU激活函數。

(3)加權(reweight)。將激勵后的輸出的權重視為每個通道的重要性，然后通過乘法沿著通道加權到先前的特征圖上，完成在通道維度上的對原始特征的重標定。reweight的公式為

(11)

1.2.2 模型復雜度分析

BERT模型參數主要由嵌入層和Transformer塊兩部分組成，設詞表大小為V，隱藏大小為H，層數為L，則參數量為VH+12(4H2+8H2)。BERT-base的H為768，L為12，假設詞表大小為30 000，則總參數量為107 974 656≈108×106。

改進后的BERT模型增加了卷積層和SE模塊，設卷積核的個數為n，卷積核高的組合為(a1,a2,…)，卷積核的寬為H，通道數為C(C=n)，減小比率為r，則增加的參數量為n(a1+a2+…)H+2CC/r。如果卷積核高的組合為(2,3,4)，卷積核的寬即隱藏大小為768，卷積核個數為256，減小比率為16，則增加的參數量為1 777 664≈1.8×106。

改進BERT的參數量約為109.8×106，相比于BERT增加了1.67%。實驗發(fā)現BERT-base的參數文件大小為426 MB，改進后的BERT參數文件大小為433 MB，與理論計算的文件大小一致。

2 實驗與分析

2.1 實驗環(huán)境

實驗環(huán)境描述如表1所示。

表1 實驗環(huán)境

2.2 實驗數據集

2.2.1 原始數據集的獲取

實驗需要的犯罪類型會話文本由于法律規(guī)定的制約不能公開獲取，為獲得與研究最貼切的文本數據集，從字幕庫網站(http://zmk.pw/)節(jié)選了《犯罪心理》中的一部分字幕。首先將字幕的SRT文件轉化為TXT文件，然后將文本按對話時間進行切分并生成單獨的TXT文檔分類存儲在名為“犯罪”和“日?！钡奈募A中，一共制作了犯罪對話文本9 923條，平均輪數為3.3輪，日常對話文本15 596條，平均輪數為2.8輪。

2.2.2 實驗數據集的處理

由于特殊符號不存在實際意義，因此用正則提取將特殊符號刪除，由于在實際工作中可能遇到用數字諧音來指代的情況[21]，例如“17 666”就是“一起溜溜溜(吸毒)”的意思，因此將數字替換為對應的漢字，之后通過融合拼音字符特征便能夠將數字諧音識別出來。將“ ”替換為“/”可將對話文本置于一行便于觀察且不丟失segment信息，“/”表示對話角色的切換(不替換而直接刪除的話會將對話連成一句話而帶來錯誤的語義信息，準確率會低約2%)，最后將數據按照4∶1切分為訓練集和測試集，生成train.csv、和test.csv文件，部分數據如表2所示。

表2 部分數據展示

讀取數據集的時候使用jieba分詞工具進行分詞，將序列切分為獨立的詞并生成一個含有這些詞的列表，然后使用預訓練的分詞器(Tokenizer)將這些切分好的詞通過預訓練詞表的映射變成詞在詞表中的索引，通過這些索引就可以直接查詢word embedding詞典中對應的向量，具體過程示例如圖6所示。

[CLS]為特殊類別詞元，作為輸入序列的起始符參與訓練；[SEP]為特殊分隔詞元，作為多文本序列的分隔符參與訓練

2.3 實驗過程

2.3.1 模型訓練參數及配置

由于參數的選擇對實驗有著一定的影響，因此在顯存允許范圍內、盡可能提高訓練速度、盡可能獲得最佳準確率的情況下，就BERT基線模型進行調參，經過大量對比實驗得出最佳超參數，如表3所示。

表3 參數及配置

2.3.2 輸出層的選擇

Jawahar等[22]通過一系列的實驗證明BERT學習到了一些結構化的語言信息，比如BERT的低層網絡就學習到了短語級別的信息表征，BERT的中層網絡就學習到了豐富的語言學特征，而BERT的高層網絡則學習到了豐富的語義信息特征。

由于BERT不同層學習到的特征不同，因此不同語義分布的數據在BERT不同層的輸出進行分類準確率不同。為了探究數據在語義上的分布、輸出層的選擇以及輸出方式的選擇，設計了3種實驗方案。

方案1：分別將每一層隱藏狀態(tài)的第一個隱藏單元作為語義信息直接輸入到全連接層進行分類，比較不同層第一個隱藏單元對語義的理解。

方案2：分別將每一層的隱藏狀態(tài)按序列維度取均值作為語義信息輸入到全連接層中進行分類。

方案3：將BERT每層隱層狀態(tài)分別作為卷積層的輸入，卷積核的高取2、3、4，寬為768(hidden size)，卷積核個數為256，然后將經過了不同卷積核的輸出使用SE模塊進行通道加權，最后將3種輸出連接起來輸入到全連接層進行分類，比較不同層隱藏狀態(tài)作為卷積層輸入的結果。表4～表6是3種實驗方案的結果，圖7為表4～表6的對比圖。

通過以上的對比實驗可以發(fā)現，3組實驗的每100次迭代的時長隨層數上升而增加，因此層數越低，反向傳播路徑越短，計算圖越小，訓練時間越短。表4中負樣本召回率最高的是第3層，為92.85%；表5中負樣本召回率最高的是第4層，為92.31%；表6中負樣本召回率最高的也是第4層，為91.06%。這說明低層對負樣本的識別率最高，說明日常類里的短語級別的信息表征多，語言學特征少，語義信息少。表4中正樣本召回率最高的是第8層，為86.80%；表5中正樣本召回率最高的是第10層，為87.30%；表6中正樣本召回率最高的是第10層，為87.86%。這說明高層對正樣本的識別率最高，說明犯罪類里的短語級別的信息表征少，語言學特征多，語義信息少。 圖7中平均值分層除第1層、第10層和第11層的正確率低于[CLS]分層外，其余均高于后者，計算得平均值分層的均值比[CLS]分層的均值高0.135%，因此使用隱藏狀態(tài)在序列維度的均值進行分類比使用第一個隱藏單元進行分類效果要好。這一點已經被前人所證實， Reimers等[23]在SNLI和NLI數據集上驗證了在使用BERT進行分類任務時使用計算均值的池化策略優(yōu)于使用取[CLS]和取最大值的池化策略。根據圖7中BERT+CNN+SE均處于[CLS]分層之上，計算得BERT+CNN+SE的均值比[CLS]分層的均值高0.747%。因此將BERT每層隱藏狀態(tài)作為卷積層的輸入，準確率均高于僅使用首個隱藏單元或隱藏狀態(tài)的均值，說明使用CNN+SE后的模型對隱藏狀態(tài)的語義理解更好。

表4 使用每層的[CLS]進行分類

表5 使用每層的均值進行分類

表6 使用每層隱藏狀態(tài)+CNN+共享SE進行分類

圖7 不同層和分類方式對準確率的影響

2.3.3 SE模塊和卷積核大小的選擇

由于卷積核形狀的不同會學習到不同詞粒度的語義信息，從而給準確率帶來影響，且SE模塊一定程度上可以彌補卷積層過于關注局部特征的缺點。因此為了探究卷積核形狀對準確率的影響以及卷積層后面的SE模塊的作用，設計了兩組對比實驗。

(1)對比分別使用TextCNN模型和TextCNN+SE模型經過充分訓練后在測試集上的最高準確率。以下為使用TextCNN經過多次訓練得出的最佳參數：詞表大小為50 000，隱藏大小為300，卷積核個數為256，學習率為0.001，隨機失活率為0.3。以卷積核大小為自變量、準確率為因變量作曲線，結果如圖8所示。

(2)對比BERT、BERT+CNN、BERT+CNN+SE的準確率，以卷積核的高的組合為變量，如(2,3)代表兩種卷積核，大小分別為2×76和3×768，經過實驗發(fā)現如果每種卷積核使用獨立的SE模塊，模型過擬合比較嚴重，因此采取了多種卷積核共用一個SE模塊的方式。實驗結果如圖9所示。

通過圖8和圖9的對比實驗可以發(fā)現，圖8中TextCNN+SE始終位于TextCNN上方，計算得TextCNN+SE的均值比TextCNN的均值高0.56%，因此在TextCNN的卷積層后加SE模塊可以提高模型準確率，說明通道加權對于擴大感受野具有一定的意義，在一定程度上可以緩解CNN過于關注局部特征的缺點。TextCNN在卷積核高為6的時候準確率最高，為86.93%；TextCNN+SE在卷積核高為8的時候準確率最高，為87.74%。 圖9中，BERT+CNN+SE除(3，6)一種卷積核組合外，均高于BERT+CNN，計算得BERT+CNN+SE的均值比BERT基線高0.257%，比BERT+CNN高0.367%，說明在BERT+CNN模型的卷積層后加SE也起到了非常明顯的作用，大幅提高了模型的準確率。BERT+CNN在卷積核組合為(3,6)時準確率最高，為88.33%。BERT+CNN+SE在卷積核組合為(2,6)時準確率最高，為88.58%。在BERT模型后單獨加CNN進行高級語義特征提取效果并不好，受卷積核的組合影響較大，15種組合中只有6種組合超越了BERT基線模型，這些組合為(2,4)、(2,5)、(3,5)、(3,6)、(3,7)、(6,7)，說明只使用CNN提取隱藏狀態(tài)的高級語義信息不穩(wěn)定。而BERT+CNN+SE的準確率一直高于BERT基線，說明使用共享SE模塊后特征提取更加穩(wěn)定。

圖8 TextCNN中SE、卷積核大小對準確率的影響

圖9 BERT中SE、卷積核大小對準確率的影響

2.4 實驗結果與分析

在實踐中相比于日常文本的召回率，犯罪文本的召回率(正樣本召回率)更值得關注，因此將涉案文本的召回率作為一項指標，根據2.3.2和2.3.3的實驗結果，選擇第12層隱藏狀態(tài)作為卷積層的輸入，選擇卷積核大小組合為(2,6)，卷積核數量為256，使用權重共享的SE模塊。與BiRNN、BiLSTM、BiGRU、TextCNN以及BERT基線模型進行對比,實驗結果如表7所示，其中加粗數據為該列最大值。

表7 不同模型的實驗結果對比

實驗表明，改進后的BERT模型準確率比BERT基線模型高0.51%，召回率高4.24%，F1高1.16%，相比于其他模型，改進后的BERT及基線BERT模型準確率都更高。不管是直接使用[CLS]位對應的隱含層作為句向量還是使用隱藏狀態(tài)在序列維度的均值作為句向量，本質上都是池化操作，使用CNN+SE對隱藏單元的語義信息進行提取然后再進行最大池化也是一種池化操作，而后者在池化前進行了特征抽取，因而提取到的句向量更具有價值，因此使用后者提取到的句向量進行分類擁有更好的效果。

為了驗證模型的有效性，在公開數據集THUCNews上進行了消融實驗，THUCNews一共有14類，按類別比例隨機抽取約48萬條數據，每類樣本數量如表8所示。

表8 THUCNews數據集的樣本分布

將數據集按照5∶1切分為訓練集和驗證集，BERT和改進BERT模型都使用預訓練權重“wonezha_L-12_H-768_A-12”，除預訓練權重外其他訓練條件均與2.3.1節(jié)一致，訓練參數如下：訓練輪數為100，批量大小為128，學習率為2×10-5，權重衰減率為0.01，隱藏大小為768，隨機失活率為0.3。卷積核有4種尺寸，分別是(2,3,6,7)×768，每種256個，這是根據TextCNN-SE的大量實驗得出的最佳尺寸組合，這種尺寸組合兼顧了粗細兩種詞粒度并在詞粒度單一的情況下也有較好的表現。由于是多分類問題，且每類樣本的數量比較不均衡，因此采用準確率和宏平均F1作為衡量標準，比較結果如表9所示，其中加粗數據為該列最大值。

表9 在公開數據集上的消融實驗結果

可以看出，使用了權重共享的SE具有更強的泛化能力，在準確率和宏平均F1上都超過了BERT基線模型，結果表明使用了CNN+SE對BERT最后一層隱藏狀態(tài)進行提取以后再進行分類的效果優(yōu)于直接使用[CLS]進行分類的效果，說明添加CNN+SE能夠更加充分地理解高級語義信息，證明了改進模型的有效性。

3 結論

針對涉案文本取證的問題，提出了一種改進基于BERT模型的對話文本識別方法，實驗表明改進BERT的準確率相比于BERT基線模型提升了0.51%，召回率提升了4.24%，F1提升了1.16%，同時，還與其他模型進行了對比實驗，無論是準確率、召回率還是宏平均F1都比其他深度學習的基線模型要高，證明了改進BERT模型的有效性。同時還在公開數據集THUCNews上進行了驗證，結果表明改進BERT的準確率相比于基線BERT提升了0.26%，說明改進BERT模型能夠更好地提取BERT的隱藏狀態(tài)的高級語義信息，在一定程度上提高了BERT模型的分類能力。