山東科技大學電氣與自動化工程學院 劉廣秀 宋單單

基于Adaboost框架下自動編碼器提升方法的文本分類

山東科技大學電氣與自動化工程學院 劉廣秀 宋單單

【摘要】針對文本分類問題，使用深度學習算法中的自動編碼器模型網(wǎng)絡建造Adaboost框架下的弱分類器，并且在自動編碼器神經(jīng)網(wǎng)絡部分引入噪聲，引入神經(jīng)元間歇性工作機制，更改不同參數(shù)以及層數(shù)構(gòu)造弱分類器。利用神經(jīng)網(wǎng)絡的稀疏性提高分類器的泛化性，加入Adaboost框架實現(xiàn)深度學習的集成算法。

【關鍵詞】SAE；Adaboost；文本分類；激勵函數(shù)

0 引言

大數(shù)據(jù)時代的到來，網(wǎng)絡的普及，信息量呈爆炸性趨勢增長，人們迫切需要一種實用性技術(shù)來有效的地組織和管理信息。從大量的信息中獲取有效信息變得尤為重要。文本挖掘、自然語言處理、信息檢索等技術(shù)很好地解決了信息過載時代的文本數(shù)據(jù)管理問題，文本分類技術(shù)作為這些領域的重要基礎，在近年來得到了快速發(fā)展和廣泛關注［1］。文本分類的方法有很多，典型的有樸素貝葉斯分類器［9］、BP神經(jīng)網(wǎng)絡分類器、K近鄰算法（KNN）、支持向量機（SVM）分類器等，這些分類器在文本分類中均取得了很好的效果。并且在傳統(tǒng)分類器的使用上，有很多學者提出了改進方案，使得分類效果有所提升。比如基于深度信念網(wǎng)絡的文本分類器算法［10］，基于稀疏編碼器的文本分類算法［7］等。深度學習作為一種新興的多層神經(jīng)網(wǎng)絡降維算法，通過組建含有多個隱層的神經(jīng)網(wǎng)絡深層模型，對輸入的高維數(shù)據(jù)逐層提取特征，以發(fā)現(xiàn)數(shù)據(jù)的低維嵌套結(jié)構(gòu)，形成更加抽象有效的高層表示［8］。傳統(tǒng)BP神經(jīng)網(wǎng)絡梯度越來越稀疏，易于收斂于局部最優(yōu)，有標簽的訓練數(shù)據(jù)類別涵蓋不全，且類別比例差別較大，使用深度學習網(wǎng)絡很易產(chǎn)生過擬合問題。根據(jù)已有的深度學與boosting結(jié)合案例，本文提出Adaboost與編碼器深度學習算法相結(jié)合算法。結(jié)合深度學習網(wǎng)絡提取特征良好的特點，本文提出使用深度學習網(wǎng)絡中的SAE網(wǎng)絡作為Adaboost框架下的弱分類器，使用不同激勵函數(shù)等參數(shù)變換構(gòu)造不同的自動編碼器網(wǎng)絡，加入Adaboost框架的思想實現(xiàn)深度學習集成算法。

1 Adaboost算法

Boosting算法是一種把若干個分類器整合為一個分類器的方法，能夠?qū)㈩A測精度僅比隨機猜度略高的弱學習器增強為預測精度高的強學習器，這在直接構(gòu)造強學習器非常困難的情況下，為學習算法的設計提供了一種有效的新思路和新方法.作為一種元算法框架，Boosting幾乎可以應用于所有目前流行的機器學習算法以進一步加強原算法的預測精度，因此應用十分廣泛，產(chǎn)生了極大的影響。Boosting方法有許多不同的變形，更具一般性的AdaBoost形式由ROBERT E.SCHAPIRE和YORAM SINGER在1999年提出，其核心思想是針對同一個訓練集訓練不同的分類器，然后把這些弱分類器集合起來，構(gòu)成一個更強的最終分類器［5］。Adaboost的算法流程如下：

第1步：給定一組具有標簽的訓練數(shù)據(jù)集：

第2步：初始化訓練數(shù)據(jù)的權(quán)值分布。每一個訓練樣本最開始時都被賦予相同的權(quán)值：1/N。

第3步：使用弱學習算法，迭代m=1，2，3…M次。

a.使用具有權(quán)值分布的全訓練集，進行基本元分類器Cm訓練得到hm，或按照權(quán)重w1i對訓練集進行采樣后對元分類器Cm訓練得到分類器hm。

b.計算Cm在訓練數(shù)據(jù)集上的分類誤差率公式：

即Cm在訓練集上的誤差率就是被Cm分類錯誤的樣本的權(quán)值之和。

c.計算弱分類器Cm的權(quán)值系數(shù)公式：

d.更新訓練數(shù)據(jù)集的權(quán)值公式：

Zm是規(guī)范化因子，使得Dm+1為一個概率分布：

第4步：組合各弱分類器得到最終分類器表達式：

上述式子組成了Adaboost算法的基本步驟。Adaboost算法的自適應性在于：前一個基本分類器分錯的樣本會得到加強，加權(quán)后的全體樣本再次被用來訓練下一個基本分類器。

2 降噪稀疏自動編碼器

基本自動編碼器的描述如下：自動編碼器是運用了反向傳播進行無監(jiān)督學習的神經(jīng)網(wǎng)絡，學習的目的就是輸出信號盡可能復現(xiàn)輸入信號。為了實現(xiàn)這種復現(xiàn)，自動編碼器就必須捕捉可以代表輸入數(shù)據(jù)的最重要的特征，就像主成分分析那樣，找到可以代表原信息的主要成分［4］?；镜淖詣泳幋a器接收輸入向量，在激活函數(shù)的作用下對其進行線性變化，得到一個編碼結(jié)果［3］。本文選取sigmoid函數(shù)作為激活函數(shù)，計算公式如下：為編碼參數(shù)，為解碼參數(shù)。其中是一個的權(quán)重矩陣。的轉(zhuǎn)置矩陣，是偏置向量。

稀疏自動編碼器是加上一些約束條件得到的新的Deep Learning方法。在AutoEncoder的基礎上加上L1的Regularity限制（L1主要是約束每一層中的節(jié)點中大部分都要為0，只有少數(shù)不為0），我們就可以得到Sparse AutoEncoder法［2］。

降噪自動編碼器是在自動編碼器的基礎上，在訓練數(shù)據(jù)中加入噪聲，所以自動編碼器必須學習去除這種噪聲而獲得真正的沒有被噪聲污染過的輸入［7］。因此，這就迫使編碼器去學習輸入信號更加魯棒性的表達，這也就促使了它的泛化能力比一般編碼器強。DA可以通過梯度下降算法去訓練。

3 基于Adaboost算法和降噪稀疏自動編碼器的文本分類模型

本文以DSAE（降噪稀疏自動編碼器）為弱分類器基本原型［8］，調(diào)整層數(shù)以及激勵函數(shù)種類構(gòu)造不同條件下的弱分類器，使用NLPIR分詞系統(tǒng)提取文本特征，使用TFIDF作為詞語的權(quán)值，根據(jù)該權(quán)值來選擇特征詞，并統(tǒng)計詞頻作為文本特征訓練集。整個算法的流程圖如圖1所示。

圖1 基于Adaboost算法和SAE網(wǎng)絡的人體損傷程度預測流程

設計基于SAE網(wǎng)絡弱預測器［6］：每個分類器可能出現(xiàn)的不同特征設計：加入稀疏懲罰項、不加入稀疏懲罰項、神經(jīng)網(wǎng)絡預訓練的激發(fā)函數(shù)使用sigmoid函數(shù)、神經(jīng)網(wǎng)絡訓練數(shù)據(jù)是否加入噪聲、神經(jīng)網(wǎng)絡監(jiān)督微調(diào)部分使用激發(fā)函數(shù)sigmoid函數(shù)、神經(jīng)網(wǎng)絡監(jiān)督微調(diào)部分使用tanh函數(shù)、神經(jīng)網(wǎng)絡的層數(shù)變化、節(jié)點數(shù)變化。以變化自動編碼器參數(shù)等方式，實現(xiàn)每個分類器的結(jié)構(gòu)互異性，加大各個分類器的分類各異性，實現(xiàn)網(wǎng)絡的結(jié)構(gòu)設計使得不同弱預測器具有不同的預測傾向性，運用Adaboost集成各個弱分類器加大集成分類器的泛化性，使得分類器分類效率更高。

參考文獻

［1］M.S.Bartlett，G.Littlewort，M.G.Frank，C.Lainscsek，I.Fasel，and J.R.Movellan.Recognizing facial expression∶Machine learning and application to spontaneous behavior.In CVPR，volume 2，pages.568-573，2005.

［2］J.Mairal，F(xiàn).Bach and J.Ponce.Sparse Modeling for Image and Vision Processing.Foundations and Trends in Computer Graphics and Vision.vol 8.number 2-3.pages 85-283.2014.

［3］孫志軍，薛磊，許陽明.深度學習研究綜述［J］.計算機應用研究，2012，29（8）∶2806-2810.

［4］Hinton，G.E.and Salakhutdinov，R.R.Reducing the dimensionality of data with neural networks.Science 2006.

［5］曹瑩，苗啟廣，劉家辰，高琳.AdaBoost算法研究進展與展望［J］.自動化學報，39（6）∶745-758.

［6］Bengio，Y.，Lamblin，P.，Popovici，P.，Larochelle，H.Greedy Layer-Wise Training of Deep Networks.NIPS 2006.

［7］Pascal Vincent，Hugo Larochelle，Yoshua Bengio and Pierre-Antoine Manzagol.Extracting and Composing Robust Features with Denoising Autoencoders.ICML 2008.

［8］殷力昂.一種在深度結(jié)構(gòu)中學習原型的分類方法［D］.上?！蒙虾＝煌ù髮W，2012.

［9］張雪峰.設計貝葉斯分類器文本分類系統(tǒng)［J］.電腦知識與技術(shù)，2005（20）.

［10］陳翠平.基于深度信念網(wǎng)絡的文本分類算法［J］.計算機系統(tǒng)應用，2015，24（2）∶121-126.