霍光煜，張 勇 ，2，孫艷豐，尹寶才

1.北京工業(yè)大學(xué) 信息學(xué)部 多媒體與智能軟件技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室，北京 100124

2.北京市交通信息中心，北京 100055

隨著我國數(shù)字化檔案建設(shè)的發(fā)展，面對海量的數(shù)字化檔案數(shù)據(jù)，簡單的統(tǒng)計(jì)方法或者傳統(tǒng)的數(shù)據(jù)分析并不能發(fā)現(xiàn)檔案數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系。對檔案進(jìn)行手工分類、編研等工作也需要投入大量的人力物力，耗時過長。因此，如何發(fā)掘和利用檔案數(shù)據(jù)中的隱含價值，從而對海量數(shù)字化檔案進(jìn)行快速、準(zhǔn)確的分類，是目前檔案管理領(lǐng)域所面臨的一項(xiàng)重大挑戰(zhàn)。

現(xiàn)有的檔案數(shù)據(jù)管理方法多是依賴于傳統(tǒng)的數(shù)據(jù)庫技術(shù)，其目標(biāo)是檔案信息的羅列整理與基礎(chǔ)的統(tǒng)計(jì)分析，數(shù)據(jù)庫管理的局限是需要人為設(shè)計(jì)分析內(nèi)容，要求制定分析內(nèi)容的人有豐富的經(jīng)驗(yàn)支撐。隨著知識的快速更新，通過傳統(tǒng)統(tǒng)計(jì)分析方法不能滿足發(fā)掘檔案數(shù)據(jù)內(nèi)容方面的關(guān)聯(lián)，無法滿足檔案更高層次智能管理要求。目前，自然語言處理已經(jīng)成為人工智能的一個重要分支。自然語言處理可以針對數(shù)字檔案的內(nèi)容對數(shù)字檔案進(jìn)行分類、聚類的操作，可以很好地展現(xiàn)出數(shù)字檔案內(nèi)容關(guān)聯(lián)的變化。在眾多關(guān)聯(lián)分析方法中，基于語義特征的方式為檔案管理提供寶貴的參考。因此，對于數(shù)字檔案內(nèi)容的挖掘是檔案智能管理的基礎(chǔ)。對現(xiàn)有數(shù)字檔案數(shù)據(jù)進(jìn)行深入分析，可以更加了解不同類型檔案的內(nèi)在關(guān)聯(lián)規(guī)律，對其可能存在的關(guān)聯(lián)關(guān)系進(jìn)行預(yù)測，從而為檔案管理者的檔案關(guān)聯(lián)分析、自動分類工作等方面提供幫助。

本文的主要貢獻(xiàn)如下：

（1）提出了一種基于LDA 主題特征的文本聚類算法，根據(jù)LDA模型對文本進(jìn)行語義特征表示，基于語義特征對現(xiàn)有檔案數(shù)據(jù)進(jìn)行聚類，服務(wù)于現(xiàn)有檔案的智能挖掘。

（2）將FastText 深度學(xué)習(xí)模型應(yīng)用到檔案文本分類中，將文本的n-gram特征詞向量作為輸入，并引入分層Softmax分類，完成快速、準(zhǔn)確的檔案分類工作。

1 相關(guān)工作

傳統(tǒng)的檔案文本的研究主要是通過數(shù)學(xué)統(tǒng)計(jì)方法以及數(shù)據(jù)挖掘的手段。對于檔案文本的宏觀分析，一般是通過數(shù)學(xué)統(tǒng)計(jì)的方法，缺少對檔案內(nèi)容的分析。隨著信息科學(xué)的發(fā)展，機(jī)器學(xué)習(xí)作為一種新興的數(shù)據(jù)分析手段，被廣泛應(yīng)用于文本數(shù)據(jù)分析領(lǐng)域。其中按照是否屬于監(jiān)督學(xué)習(xí)又可以分為：無監(jiān)督的聚類算法和有監(jiān)督的分類算法。尤其值得提到的是，基于深度神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法因其優(yōu)異的性能也受到了廣泛關(guān)注。

聚類是一種不需要手動標(biāo)記文件的機(jī)器學(xué)習(xí)方法，在集群過程中具有一定的靈活性和較高的自動化處理能力，所以它已成為越來越多研究學(xué)者進(jìn)行文本挖掘的重要手段。聚類算法包括基于層次的聚類、基于劃分的聚類、基于密度的聚類和基于模型的聚類。同時，文本聚類問題也有其特殊性。一方面，文本向量是一個高維向量，通常是數(shù)千甚至數(shù)萬級別的維度；另一方面，文本向量通常是稀疏向量，因此很難選擇聚類中心。目前，文本聚類的主要方法是基于層次聚類算法和基于劃分聚類算法?；趧澐志垲愃惴ǖ男矢?，但由于文本聚類是機(jī)器學(xué)習(xí)過程的非監(jiān)督，聚類的結(jié)果是沒有依據(jù)的。劃分聚類方法中的初始設(shè)定對聚類結(jié)果具有極大的影響[1]。文本聚類K-Means算法[2]也稱為k均值聚類方法，它是一種基于劃分的簡單聚類方法。在理論上可靠、簡單和快速，所以K-Means算法已經(jīng)被運(yùn)用于解決很多不同的問題中。K-Means聚類方法的目的是減少每個聚類中每個點(diǎn)和聚類中心的平方差。該算法在時間復(fù)雜度方面具有優(yōu)勢，但需要給出聚類的種類k，即簇的數(shù)量；而且它對孤立點(diǎn)很敏感。均值漂移聚類方法也是常用的基于質(zhì)心的聚類算法，通過將中心點(diǎn)的候選點(diǎn)更新為滑動窗口內(nèi)點(diǎn)的均值來完成，來定位每個組/類的中心點(diǎn)。然后對這些候選窗口進(jìn)行相似窗口去除，最終形成中心點(diǎn)集及相應(yīng)的分組。同樣基于密度的聚類算法的DBSCAN算法在圖像和自然語言處理的聚類方面也有不錯的表現(xiàn)。

文本分類是將預(yù)定義的標(biāo)簽分配給未分類文檔的過程。作為其初步任務(wù)，分類方法預(yù)定義了有限數(shù)量的類別，并且準(zhǔn)備了一定數(shù)量的預(yù)定義標(biāo)記的樣本文本。在20 世紀(jì)50 年代，就出現(xiàn)了基于詞頻統(tǒng)計(jì)和概率模型的文本分類算法[3]，開啟了計(jì)算機(jī)文本分類的新階段。之后K-近鄰算法（KNN）[4]、決策樹算法（DT）[5]、樸素貝葉斯算法（NB）[6]、支持向量機(jī)（SVM）也相繼出現(xiàn)。Haddoud 等人通過支持向量機(jī)（SVM）與文本加權(quán)矩陣相結(jié)合，提高文本分類效果[7]。Wang 等人提出了通過LDA提取文本主題與支持向量機(jī)相結(jié)合的中文文檔分類算法[8]。Joachims 等人提出了一種基于SVM 的文本分類方法[9]。Wei 等人提出了一種基于WordNet 的修正詞的相似性測量用于消除歧義，增強(qiáng)聚類效果[10]。Tang提出了一種基于貝葉斯的分類方法，用于使用特定類的特征進(jìn)行自動文本分類，與傳統(tǒng)的文本分類方法不同，通過提出的方法為每個類選擇特定的特征子集[11]。

作為機(jī)器學(xué)習(xí)的一個分支，近些年來，深度學(xué)習(xí)受到了越來越多的關(guān)注，它的起源是人工神經(jīng)網(wǎng)絡(luò)，核心思想是通過模擬人腦的感知神經(jīng)來解決各種問題。目前深度學(xué)習(xí)也被很廣泛運(yùn)用在自然語言處理領(lǐng)域，相較于傳統(tǒng)的文本分類淺層學(xué)習(xí)算法，如樸素貝葉斯算法（NB）、支持向量機(jī)（SVM）等，深度學(xué)習(xí)算法的優(yōu)勢體現(xiàn)在對復(fù)雜函數(shù)的表達(dá)上，匹配檔案內(nèi)容復(fù)雜的特性。其通過非線性的深層網(wǎng)絡(luò)結(jié)構(gòu)以及對文本數(shù)據(jù)特征進(jìn)行分布式采集能很好地表達(dá)復(fù)雜函數(shù)[12]，實(shí)現(xiàn)準(zhǔn)確的文本數(shù)據(jù)分類。卷積神經(jīng)網(wǎng)絡(luò)（CNN）最先在圖像分類領(lǐng)域取得了成功[13]。CNN目前也被用于許多NLP任務(wù)。NLP研究應(yīng)用CNN解決了諸如詞性標(biāo)注、人機(jī)交互問答、文本摘要、命名實(shí)體識別等問題[14]。同時CNN 可以學(xué)習(xí)諸如n-gram之類的文本特征。循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）是針對有序數(shù)據(jù)設(shè)計(jì)的一種深度學(xué)習(xí)模型，理論上它可以解決文本分類中的語義問題，但是會存在梯度消失和梯度爆炸問題[15]。長短期記憶神經(jīng)網(wǎng)絡(luò)（LSTM）可以通過門控制來克服RNN中的這些限制，LSTM在大多數(shù)文本處理中的表現(xiàn)較好。Zhou 等人提出了一種基于雙向LSTM與二維最大池化方法相結(jié)合的方法，利用二維卷積來對矩陣信息進(jìn)行采樣，優(yōu)化文本分類[16]。Shen等人提出了一種新的基于深度學(xué)習(xí)的文本分類模型，以解決中文網(wǎng)絡(luò)文本分類降維的問題[17]。

本文的主要研究點(diǎn)聚焦于檔案類別的重新劃分和自動分類。運(yùn)用機(jī)器學(xué)習(xí)的聚類算法對檔案進(jìn)行內(nèi)容聚類，在此基礎(chǔ)上對檔案之間的關(guān)聯(lián)關(guān)系進(jìn)行挖掘。運(yùn)用深度學(xué)習(xí)的分類算法對新歸檔的檔案按照內(nèi)容進(jìn)行自動分類，減輕檔案工作者的工作量。

2 基于LDA主題特征的檔案聚類

目前依據(jù)檔案部門標(biāo)簽和歸檔時間標(biāo)簽劃分的檔案分類方式，忽略了不同部門、不同時間發(fā)布的檔案之間語義內(nèi)容上存在的隱含關(guān)聯(lián)。如果通過手工的方式對檔案進(jìn)行按照內(nèi)容分類，又會產(chǎn)生工作量過大的問題。針對這個問題，本文提出采用LDA（Latent Dirichlet Allocation）文檔主題生成模型提取檔案文本的主題特征并進(jìn)行表示，再運(yùn)用K-means（K均值聚類算法）重新對數(shù)字檔案文檔進(jìn)聚類處理，打破傳統(tǒng)的分類標(biāo)準(zhǔn)束縛，便于檔案工作者發(fā)現(xiàn)海量檔案之間的關(guān)聯(lián)。

每天都會有數(shù)以萬計(jì)的新檔案歸檔到檔案館，檔案的自動歸類問題也是檔案管理部門所關(guān)心的重點(diǎn)問題之一，想要對檔案進(jìn)行深入的數(shù)據(jù)挖掘還需要將新進(jìn)的檔案按照內(nèi)容進(jìn)行分類。本文采用基于FastText 深度學(xué)習(xí)模型進(jìn)行檔案分類也將進(jìn)一步的減少檔案從業(yè)者的工作量同時增加檔案文本挖掘的深度。文本數(shù)據(jù)挖掘總體框架圖如圖1所示。

圖1 文本數(shù)據(jù)挖掘總體框架

總體來說，本文主要包括兩部分內(nèi)容：

（1）基于LDA主題特征的檔案聚類

對于原始檔案數(shù)據(jù)進(jìn)行基于LDA主題模型的特征表示，并對此語義特征進(jìn)行聚類處理。通過聚類操作得到海量檔案的內(nèi)在關(guān)聯(lián)。

（2）基于FastText的文本分類

對于已經(jīng)歸檔后的檔案數(shù)據(jù)，通過基于卷積神經(jīng)網(wǎng)絡(luò)的FastText 模型進(jìn)行有監(jiān)督分類。對數(shù)據(jù)進(jìn)行n-gram 向量化處理并通過基于Softmax 的分類器進(jìn)行多分類，讓訓(xùn)練完成的模型對新進(jìn)檔案進(jìn)行自動化分類，減輕手工分類的工作量。

3 基于LDA主題特征的檔案聚類

目前的檔案多是按照管理需求分類，并未考慮各個檔案文件內(nèi)容之間的隱含關(guān)聯(lián)關(guān)系，這也造成了對檔案數(shù)據(jù)利用困難的局面。如果要對檔案文件進(jìn)行更為系統(tǒng)的分析，提出采用聚類的方式將檔案文本數(shù)據(jù)重新組織，運(yùn)用LDA 模型對檔案進(jìn)行特征提取，并采用K-means 算法對提取的文本特征進(jìn)行聚類。算法流程首先運(yùn)用LDA 主題模型提取出的特征作為輸入的作用，之后介紹采用K-means 聚類方法，根據(jù)實(shí)際需要設(shè)置K值，對檔案數(shù)據(jù)進(jìn)行重新劃分，在主題特征的基礎(chǔ)上完成檔案文本聚類。

3.1 基于LDA的檔案主題提取和表示

上式可以理解為：詞語wn在文檔Mm中的出現(xiàn)概率。其定義為特征詞的概率與主題詞概率的乘積，即wn出現(xiàn)在主題Kk中的概率，以及Kk參數(shù)和出現(xiàn)在文檔Mm中的概率乘積。N表示特征詞總數(shù)，M表示文檔的數(shù)量，K表示主題的總數(shù)。LDA 的概念可以通過矩陣的形式表達(dá)，整個文檔被認(rèn)為是文檔矩陣，可以分解成主題詞項(xiàng)矩陣和文檔主題矩陣。以這種方式，主題-詞項(xiàng)矩陣表示每個文檔相對于詞項(xiàng)的概率分布，文檔-主題矩陣表示每個文檔相對于主題的概率分布，主題的矩陣表示該主題關(guān)于詞的概率分布。其中文檔的詞項(xiàng)可以通過預(yù)處理中的TF-IDF算法加權(quán)得到。

LDA主題模型的構(gòu)建模型過程可以理解為documenttopic（文檔-主題）分布向量與topic-word（主題-詞項(xiàng)）分部向量，可以通過多種方法求解，本文將采用Gibbs抽樣學(xué)習(xí)的方式來對LDA模型進(jìn)行參數(shù)估計(jì)。在LDA主題

傳統(tǒng)的文本聚類算法都是以向量空間模型（VSM）的特征表示為基礎(chǔ)，向量空間模型概念是將文本間的比較轉(zhuǎn)化為向量之間的相似度計(jì)算，這種方式確實(shí)能在一定程度上將相似度高的文本數(shù)據(jù)聚集，但是它存在著明顯的缺陷，就是單純以TF-IDF 值來衡量文本中詞語的重要性是不夠全面的，只考慮到關(guān)鍵詞頻率對其重要性的影響，沒有考慮文本的上下文語義。根據(jù)TF-IDF 特征的缺點(diǎn)，本章在TF-IDF 特征的基礎(chǔ)上采用LDA主題提取的方式，對文本主題特征進(jìn)行聚類，希望改進(jìn)聚類的效果。

LDA 主題模型有三層結(jié)構(gòu)，分別是文本document、主題topic 以及詞項(xiàng)word，LDA 主題模型的本質(zhì)就是利用文本的特征詞的共現(xiàn)特征來挖掘文本的主題。每篇文本都可以看作是由特定主題集混合而形成的。

LDA 模型把語料庫看成是不同主題的概率分布，主題是文本特征詞上的概率分布。符合下面的公式：模型中，文本可以看作是由不同主題構(gòu)成的，各個主題都可以看作是這篇檔案文本的特征，可以將檔案文本映射到主題的特征向量空間中，進(jìn)行文本特征表示。

在優(yōu)化檔案文本聚類的過程中采用LDA主題模型進(jìn)行文本語義相似度的計(jì)算。LDA主題模型把每個詞都對應(yīng)到一個主題中，文檔中的詞為描述這個主題起到的指導(dǎo)作用，這就是LDA優(yōu)于傳統(tǒng)基于TF-IDF 權(quán)重策略的VSM 文本聚類的原因。用基于LDA 主題模型產(chǎn)生的主題文本向量代替之前計(jì)算得出的TF-IDF權(quán)重策略加權(quán)的文本向量，將其運(yùn)用到文本聚類中，從而改善文本聚類的質(zhì)量?；贚DA主題模型的主題提取和表示流程如下所示：

輸入：文本數(shù)據(jù)D；基于LDA 的文本主題數(shù)N；K-means聚類簇的數(shù)量N

輸出：文本聚類的評價指標(biāo)

1.對文本數(shù)據(jù)D進(jìn)行分詞與去停用詞等預(yù)處理；

2.將預(yù)處理后的文本數(shù)據(jù)向量化；

3.基于LDA算法的得到N類文檔的主題詞；

4.基于LDA算法獲取文檔-主題的特征向量。

3.2 基于LDA文本特征的檔案文本聚類

傳統(tǒng)的文本表示大都采用TF-IDF 空間向量模型，但是這種文本表示方法只是基于統(tǒng)計(jì)分析的模型，并不關(guān)注檔案文本所蘊(yùn)含的語義信息，不能真正準(zhǔn)確地對檔案文本進(jìn)行基于內(nèi)容的劃分?；谏鲜鰡栴}，提出一種基于LDA 主題特征和K-means 的檔案文本聚類算法，采用文檔-主題分布向量特征作為K-means 算法的輸入，進(jìn)行檔案文本的聚類。

基于劃分的聚類算法的工作原理可以看作：把眾多數(shù)據(jù)劃分為所需要的類別，類別的標(biāo)準(zhǔn)由數(shù)據(jù)間的距離決定，同類數(shù)據(jù)距離近，不同類別的數(shù)據(jù)距離遠(yuǎn)，是一種基于距離的聚類，聚類算法目的是找出數(shù)據(jù)緊湊分類的簇。

算法大體上可以分為以下幾個步驟：首先需要根據(jù)聚類的目標(biāo)設(shè)定出劃分成N個類別，之后讓隨機(jī)的挑選的點(diǎn)成為聚類的中心來得到最初的聚類結(jié)果。之后以尋找最優(yōu)的聚類中心為目的，在最初的結(jié)果上循環(huán)上述操作，讓聚類中的數(shù)據(jù)重新歸類，算法終止的條件是同一類內(nèi)的數(shù)據(jù)距離最小，類之間距離最大。

K-means算法是劃分的代表算法，K-means算法依靠計(jì)算每個類中的平均值來確定新的聚類中心。換句話說，K-means算法的類中心不一定是類內(nèi)的點(diǎn)，以下將詳細(xì)地介紹K-means算法。K-means的目標(biāo)函數(shù)可以轉(zhuǎn)化為下式：

其中between_ss代表類中每個數(shù)據(jù)的間隔距離，total_ss代表了類間總體的距離，總體的目標(biāo)就是通過迭代盡量增大公式的值，從而取得更好的聚類結(jié)果。

假設(shè)有n個數(shù)據(jù)點(diǎn)并且準(zhǔn)備分成N類，這里的N是可以改變的，與數(shù)據(jù)無關(guān)，可以根據(jù)需求自行確定N的數(shù)值。根據(jù)K-means算法，初始的聚類中心是隨機(jī)選擇的，數(shù)量為N,運(yùn)算出數(shù)據(jù)點(diǎn)到聚類中心的距離，選擇距離最小的聚類中心與之成為一個類別，形成初始的聚類結(jié)果。按照上述的步驟進(jìn)一步的迭代，不斷更新聚類的結(jié)果，直到聚類類別不再發(fā)生變化為止。聚類的終點(diǎn)可以用平均誤差準(zhǔn)則函數(shù)來表示，其定義為：

在上式中E是整體數(shù)據(jù)點(diǎn)的總誤差，x是數(shù)據(jù)點(diǎn)，m是類中平均距離，循環(huán)迭代直到E的值達(dá)到最小便可得到最優(yōu)聚類結(jié)果。

從K-means算法的流程可以看出，該算法利用最近鄰質(zhì)心決策規(guī)則將數(shù)據(jù)分為若干個簇，并重新計(jì)算每個簇的質(zhì)心，如此反復(fù)。K-means聚類在每一輪迭代后不會增加類內(nèi)散度，而算法將收斂于某個駐點(diǎn)，達(dá)到該點(diǎn)后便不可能再對其做出改進(jìn)。由于文檔-主題分布向量表示的檔案特征已經(jīng)是降維后的低維數(shù)據(jù)，采用基于劃分的K-means算法能夠在實(shí)際的應(yīng)用中更加簡單、高效地完成聚類任務(wù)。

4 基于FastText的文本分類

檔案館擁有海量的數(shù)字檔案還未被充分利用，同時每天又會接收許多檔案數(shù)據(jù)，每年檔案館都需要投入大量的人力來對檔案進(jìn)行手工分類工作，新進(jìn)檔案的自動化分類是目前檔案館所面臨的棘手問題之一。在文本分析及其相關(guān)領(lǐng)域中，深度學(xué)習(xí)的算法因其良好的分類準(zhǔn)確率近來大受歡迎，但是傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)模型需要極長時間的訓(xùn)練過程，限制了其在文本大數(shù)據(jù)上的應(yīng)用。

基于上述問題，本文提出一種采用FastText 深度學(xué)習(xí)模型的檔案快速分類方法。此模型是基于word2vec的CBOW框架提出的生成詞向量與文本分類的深度學(xué)習(xí)模型，不同的是CBOW模型是預(yù)測語境中的詞語，而FastText 模型的目標(biāo)是預(yù)測文本標(biāo)簽。如圖2 所示，F(xiàn)astText模型分為三層的訓(xùn)練圖結(jié)構(gòu)：輸入層input layer、隱藏層hidden layer以及輸出層output layer。輸入層為初始化的詞語詞向量，并且在詞向量中加入n-gram 特征，確保了具有矢量特性的詞語語義表示，增強(qiáng)語義表達(dá)的完整性。經(jīng)過隱藏層求得每個詞向量的均值，根據(jù)優(yōu)化器和梯度下降算法更新權(quán)重參數(shù)，最后計(jì)算得出損失函數(shù)以及對應(yīng)的分類類別。

圖2 FastText模型構(gòu)架圖

FastText 模型使用了一個分層分類器（而非扁平式架構(gòu)）。不同的類別被整合進(jìn)樹形結(jié)構(gòu)中。在一些有許多類別的文本分類任務(wù)中，線性分級器的計(jì)算非常復(fù)雜。為了改善運(yùn)行時間，F(xiàn)astText 模型使用Softmax 分層技術(shù)。該技術(shù)基于霍夫曼編碼，主要用于編碼文本數(shù)據(jù)標(biāo)簽，能有效地縮短訓(xùn)練時間。FastText 的訓(xùn)練過程如下所示。

輸入：文本數(shù)據(jù)D；選擇損失函數(shù)LOSS；設(shè)置學(xué)習(xí)率lr

輸出：文本輸出類別概率P

1.對文本數(shù)據(jù)D進(jìn)行分詞與去停用詞等預(yù)處理，每行結(jié)尾加入標(biāo)簽；對詞語向量進(jìn)初始化；

2.對算法的損失函數(shù)LOSS以及學(xué)習(xí)率lr進(jìn)行設(shè)置，并選用類別輸出；

3.根據(jù)梯度下降算法計(jì)算，訓(xùn)練過程中對輸入的詞向量數(shù)據(jù)、標(biāo)簽數(shù)據(jù)進(jìn)行權(quán)值更新；

4.訓(xùn)練結(jié)束，得到分類的模型；

5.分類測試，輸入測試文本集，得到該數(shù)據(jù)的類別及其概率。

FastText 模型進(jìn)行文本分類的本質(zhì)是對文本進(jìn)行Softmax 多類別分類。在FastText 模型中，模型從輸入層到隱藏層的主要任務(wù)就是產(chǎn)生文本的特征向量，也就是產(chǎn)生文本的n-gram向量，之后以文本的n-gram向量作為輸入，將Softmax 作為分類器進(jìn)行多分類。對于訓(xùn)練完成的FastText模型可以進(jìn)行文本批量類別預(yù)測，返回精準(zhǔn)率、召回率和F1值。

5 實(shí)驗(yàn)結(jié)果與分析

為了測試本章提出的方法的有效性，本章采用基于文本數(shù)據(jù)集的聚類、分類對比實(shí)驗(yàn)，來分別驗(yàn)證本文提出的基于LDA 主題特征的檔案聚類的有效性和基于FastText模型的檔案分類的有效性。由于實(shí)際的檔案數(shù)據(jù)沒有可評價內(nèi)容分類的標(biāo)簽，所以本文將采用自然語言處理領(lǐng)域的公共數(shù)據(jù)集進(jìn)行測試。所用到的數(shù)據(jù)集為復(fù)旦大學(xué)計(jì)算機(jī)信息與技術(shù)系國際數(shù)據(jù)庫中心中文文本分類語料庫數(shù)據(jù)，訓(xùn)練集共9 804篇檔案文檔，測試集共9 833 篇，共有20 個類別的文本數(shù)據(jù)，文本數(shù)據(jù)集中類別之間的文本數(shù)目不平衡。

5.1 檔案文本聚類結(jié)果

因?yàn)闄n案館的實(shí)際數(shù)據(jù)一部分不對外公布，所以本文為了驗(yàn)證聚類算法對于文本挖掘的準(zhǔn)確性與穩(wěn)定性，選擇了與檔案內(nèi)容更為切合的7個類別進(jìn)行聚類實(shí)驗(yàn)，分別為C3-Art、C11-Space、C19-Computer、C32-Agriculture、C34-Economy、C38-Politics、C39-Sports。在以上類別的文本中進(jìn)行傳統(tǒng)TF-IDF 特征與LDA 主題特征的K-means聚類實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果，通過統(tǒng)計(jì)數(shù)據(jù)總數(shù)量和正確聚類數(shù)、錯誤聚類數(shù)，實(shí)現(xiàn)對機(jī)器學(xué)習(xí)評價指標(biāo)精準(zhǔn)率、召回率和F1 值的計(jì)算，綜合各項(xiàng)指標(biāo)來證明LDA+K-means算法在文本數(shù)據(jù)聚類上的有效性。

在本文采用的數(shù)據(jù)集上，通過LDA 主題模型進(jìn)行文本特征提取，得到與數(shù)據(jù)集中文本文件相對應(yīng)的7 637個維度為20 的文檔-主題特征向量。對這些的文檔-主題特征向量進(jìn)行K-means 聚類，K值設(shè)置為7，與真實(shí)類別相對應(yīng)。從表1可以看到，本實(shí)驗(yàn)采用的數(shù)據(jù)集是不平衡標(biāo)簽數(shù)據(jù)，不同種類的檔案數(shù)量各異，所以采用加權(quán)平均的精準(zhǔn)率、召回率和F1 值的評價更能客觀地展現(xiàn)聚類算法的結(jié)果。實(shí)驗(yàn)結(jié)果的F1 值對比如表2 所示，從聚類的結(jié)果來看，運(yùn)用LDA主題特征的K-means聚類方法在5 個類別的聚類準(zhǔn)確率上都要遙遙領(lǐng)先于基于TF-IDF 特征的聚類方法，這5 類文本包括C3-Art、C11-Space、C32-Agriculture、C38-Politics、C39-Sports，平均F1 值要高出10%以上。由表3 可知，基于LDA 主題特征的聚類算法在整個數(shù)據(jù)上的Micro avg F1值上高出 0.08，Weighted avg F1 上比傳統(tǒng)基于 VSM 模型的聚類高0.06。本文的方法在Weighted avg Precision 和Weighted avg Recall 這兩項(xiàng)精準(zhǔn)率和召回率的指標(biāo)上也都有不同程度的提升，可以說基于LDA 主題特征的聚類算法的聚類效果在各項(xiàng)指標(biāo)上都有顯著的提升。精準(zhǔn)率、召回率和F1 值指標(biāo)的提升證明本文的方法可以準(zhǔn)確而全面地對檔案數(shù)據(jù)進(jìn)行聚類。

表1 檔案數(shù)據(jù)量

表2 聚類算法的F1值對比

表3 聚類算法加權(quán)F1值對比

本文提出的基于LDA主題特征與K-means相結(jié)合的聚類方法相較于傳統(tǒng)的基于TF-IDF特征的K-means聚類算法有更好的聚類效果，在實(shí)際的檔案語料聚類時會針對檔案的來源等信息，預(yù)先進(jìn)行基于LDA模型的特征向量提取，確保對原始檔案文本按內(nèi)容劃分的準(zhǔn)確性。

在完成檔案文件準(zhǔn)確分類的同時，通過對檔案進(jìn)行LDA 主題特征表示，也得到了各個檔案文件之間的內(nèi)容相似性關(guān)聯(lián)關(guān)系。這種關(guān)聯(lián)關(guān)系可以有效服務(wù)于檔案的相關(guān)性管理。

5.2 檔案文本分類結(jié)果

為模擬海量數(shù)字檔案數(shù)據(jù)的分類，選用5類數(shù)量較多的文本數(shù)據(jù)進(jìn)行分類實(shí)驗(yàn)，類別分別是C19-Computer、C32-Agriculture、C34-Economy、C38-Politics、C39-Sports，總計(jì)6 253篇文本數(shù)據(jù)。

在實(shí)驗(yàn)過程中，首先對檔案數(shù)據(jù)集進(jìn)行分詞、去停用詞的預(yù)處理工作，然后將5類分類類別標(biāo)簽分別加在對應(yīng)的檔案文本結(jié)尾處，作為訓(xùn)練數(shù)據(jù)的標(biāo)簽。將檔案訓(xùn)練放入FastText中，進(jìn)行深度學(xué)習(xí)的訓(xùn)練。

本文采用的FastText 的具體參數(shù)如下：設(shè)置學(xué)習(xí)率為0.1?？紤]到文本分類的效率，將詞向量的維度設(shè)置為50，既保證了文本中語義的準(zhǔn)確表達(dá)，又不會過度降低算法的運(yùn)行效率。在數(shù)據(jù)集充足的前提下，F(xiàn)astText算法只需要3次全數(shù)據(jù)集訓(xùn)練便可收斂，具有很高的訓(xùn)練效率。語義級別的特征n-garm=2，分類器采用分層Softmax。FastText 模型的重要參數(shù)就是上下文窗口（ws），這個參數(shù)的選取意味著可以從文本上下文句子中得到信息的量，隨著上下文窗口大小的提升，文本分類的F1值也會隨之上升，但是訓(xùn)練時間將會增加，針對當(dāng)前數(shù)據(jù)集來說，當(dāng)上下文窗口值（ws）為4 之后，文本各類別的F1值就趨于平穩(wěn)，到達(dá)0.96左右。

本實(shí)驗(yàn)選用FastText 模型、Naive_bayes（樸素貝葉斯）模型、SVM 模型分別進(jìn)行分類訓(xùn)練，采用上述的測試集驗(yàn)證分類結(jié)果，三類模型的分類結(jié)果如表4～6 所示。按照機(jī)器學(xué)習(xí)分類的評價標(biāo)準(zhǔn)，分別求出5類文本數(shù)據(jù)中每一類的精準(zhǔn)率、召回率和F1值，并計(jì)算綜合文本測試集的宏平均、微平均和加權(quán)平均精準(zhǔn)率、召回率和F1值，同時顯示每類的測試檔案數(shù)量。

表4 FastText模型分類結(jié)果

FastText 模型在測試集的測試中表現(xiàn)穩(wěn)定，在文件總數(shù)達(dá)到6 253 個的多分類實(shí)驗(yàn)中，每個類別的分類精準(zhǔn)率、召回率和F1 值都維持在0.94 以上，如表4 所示。Naive_bayes（樸素貝葉斯）模型在測試集的測試中表現(xiàn)略有浮動，在文件總數(shù)達(dá)到6 253個的多分類中，各個分類的精準(zhǔn)率、召回率和F1 值都維持在0.92 以上，如表5所示。SVM 模型在測試集的測試中表現(xiàn)較差，在文件總數(shù)達(dá)到6 253個的多分類中，各個分類的精準(zhǔn)率、召回率和F1值差別較大，最低只能達(dá)到0.52，如表6所示。

表5 Naive_bayes模型分類結(jié)果

表6 SVM模型分類結(jié)果

由于檔案文本數(shù)據(jù)絕大部分內(nèi)容明確，同時有分類歸檔的需求，適合采用深度學(xué)習(xí)的方式進(jìn)行全自動分類。在本實(shí)驗(yàn)中，基于FastText的文本分類模型在C19-Computer、C32-Agriculture、C34-Economy三個類別上的分類準(zhǔn)確度高于Naive_bayes模型，在C38-Politics、C39-Sports 這兩個類別的分類精準(zhǔn)度與Naive_bayes 模型持平。出現(xiàn)這種情況的原因是因?yàn)閷?shí)驗(yàn)所用到的數(shù)據(jù)集內(nèi)容明確，原有的文本特征已經(jīng)足以使得Naive_bayes模型做出準(zhǔn)確的分類判斷。即使如此，本文的基于FastText 的分類模型也能在有些數(shù)據(jù)類別上勝出，證明了基于FastText的分類模型在文本分類上的有效性，這種分類準(zhǔn)確率的優(yōu)勢會隨著檔案數(shù)據(jù)集的復(fù)雜而越發(fā)凸顯。

同時基于FastText 的文本分類模型在所有類別上的精準(zhǔn)度都遠(yuǎn)遠(yuǎn)高于基于SVM 的文本分類模型，從數(shù)學(xué)模型的角度分析，SVM 構(gòu)成的超平面不適用于檔案主題的文本特征，樸素貝葉斯模型雖然模型簡單，但效率尚可，但是準(zhǔn)確率方面與基于FastText的模型相比較還存在差距。

由表7 可知，在5 個類別的分類驗(yàn)證實(shí)驗(yàn)中，基于FastText 的文本分類模型分別在C19-Computer、C32-Agriculture、C34-Economy、C38-Politics、C39-Sports上的分類F1值分別達(dá)到了1.00、0.95、0.94、0.95、0.97。從表8可以看出，樸素貝葉斯分類器的加權(quán)F1值是0.95，SVM分類器的F1值是0.73，基于FastText的文本分類模型在加權(quán)F1值、加權(quán)平均精準(zhǔn)率、加權(quán)平均召回率這三項(xiàng)總體類別評價指標(biāo)中遠(yuǎn)遠(yuǎn)優(yōu)于基于SVM模型的文本分類器，比基于樸素貝葉斯的文本分類模型有1%左右的提高，而且總體評價F1值已經(jīng)達(dá)到了0.96，基本達(dá)到了代替手工分類的級別。

表7 三種模型的各類別F1值對比

表8 三種模型的總體分類加權(quán)F1值對比

6 結(jié)束語

針對當(dāng)今檔案資源分類大多數(shù)是以來源和時間分類，不利于挖掘分析檔案隱含價值的問題，同時考慮到檔案文本的內(nèi)容較為明確，本文提出了以LDA 主題為特征的文本聚類算法，實(shí)現(xiàn)了檔案文本根據(jù)內(nèi)容的劃分，為檔案的智能挖掘利用提供了基礎(chǔ)。另一方面，針對傳統(tǒng)檔案手工分類耗時費(fèi)力的問題，提出了一種基于FastText 深度學(xué)習(xí)模型的檔案文本自動分類方法，實(shí)現(xiàn)快速準(zhǔn)確的檔案文本自動分類。實(shí)驗(yàn)結(jié)果表明，以LDA模型提取的主題特征作為輸入的文本聚類方法能有效的對內(nèi)容明確的檔案進(jìn)行聚類，在測試數(shù)據(jù)集上，準(zhǔn)確率與傳統(tǒng)的TF-IDF非語義特征聚類方法相比提升6%。基于FastText 深度學(xué)習(xí)模型的檔案文本自動分類相較于傳統(tǒng)的分類方法有更好的準(zhǔn)確率，分類評價指標(biāo)F1值達(dá)到了0.96，符合檔案自動分類的要求。

采用文本的LDA 主題特征進(jìn)行聚類，此種方式雖然能得提升聚類的準(zhǔn)確度，但是需要檔案有明確的中心內(nèi)容。在接下來的工作中，將會嘗試通過對LDA 算法提取的主題特征與傳統(tǒng)的詞頻特征相結(jié)合，結(jié)合兩者的優(yōu)點(diǎn)，在大量實(shí)驗(yàn)的基礎(chǔ)上爭取實(shí)現(xiàn)更加精確的檔案類別劃分。