張鵬 張?jiān)佘S

摘 要：文本分類是自然語言處理中的一項(xiàng)重要基礎(chǔ)任務(wù)，指對(duì)文本集按照一定的分類體系或標(biāo)準(zhǔn)進(jìn)行自動(dòng)分類標(biāo)記。目前網(wǎng)絡(luò)文化監(jiān)督力度不夠、不當(dāng)言論不受限制，導(dǎo)致垃圾評(píng)論影響用戶體驗(yàn)。因此提出一種基于注意力機(jī)制的CLSTM混合神經(jīng)網(wǎng)絡(luò)模型，該模型可以快速有效地區(qū)分正常評(píng)論與垃圾評(píng)論。將傳統(tǒng)機(jī)器學(xué)習(xí)SVM模型和深度學(xué)習(xí)LSTM模型進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果發(fā)現(xiàn)，混合模型可在時(shí)間復(fù)雜度上選擇最短時(shí)間，同時(shí)引入相當(dāng)少的噪聲，最大化地提取上下文信息，大幅提高評(píng)論短文本分類效率。對(duì)比單模型分類結(jié)果，基于注意力機(jī)制的CLSTM混合神經(jīng)網(wǎng)絡(luò)模型在準(zhǔn)確率和召回率上均有提高。

關(guān)鍵詞：文本分類;深度學(xué)習(xí);注意力機(jī)制;CLSTM

DOI：10. 11907/rjdk. 191506 開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

中圖分類號(hào)：TP301文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2020）002-0084-04

英標(biāo)：Classification of Commodity Reviews Based on Attention-CLSTM Model

英作：ZHANG Peng，ZHANG Zai-yue

英單：（School of Computer Science and Engineering， Jiangsu University of Science and Technology， Zhenjiang 212003， China）

Abstract： Text classification is an important basic task in natural language processing， which automatically classifies text sets according to certain classification systems or standards. Problems prevail because of current lack of supervision of the network culture and restriction of improper comments， which leads to the problem of spam comments affecting the user experience. In this paper， a CLSTM hybrid neural network model based on attention mechanism is used to classify commodity reviews， which can quickly and effectively distinguish normal comments from spam comments. At the same time， compared with the traditional machine learning SVM model and the deep learning LSTM model， it is found that the hybrid model can select the shortest time in time complexity， introduce relatively little noise， and maximize the extraction of context information in the comments. The effect of short text classification has been significantly improved. Compared with the single model classification results， the CLSTM used in this paper has improved both accuracy and recall rate.

Key Words： text classification; deep learning;attention mechanism; CLSTM

0 引言

隨著電商網(wǎng)站的興起，網(wǎng)上購物用戶數(shù)量急劇增長，購物網(wǎng)站及各種購物APP也針對(duì)用戶開放評(píng)論功能。這些評(píng)論一方面有助于為用戶提供更好的購物體驗(yàn)，另一方面也有助于商家更好地搜集信息，但是由于網(wǎng)絡(luò)開放性及用戶言論自由，有些用戶給出垃圾評(píng)論，對(duì)其他用戶構(gòu)成誤導(dǎo)，不僅不利于系統(tǒng)維護(hù)與完善，也造成了極大的信息資源浪費(fèi)。通過對(duì)商品進(jìn)行評(píng)論短文本分類，可有效區(qū)分垃圾評(píng)論與正常評(píng)論，從而凈化網(wǎng)絡(luò)、為消費(fèi)者提供可靠信息依據(jù)。

目前垃圾評(píng)論識(shí)別研究成為研究熱點(diǎn)。垃圾評(píng)論的形式不斷變化，每個(gè)時(shí)間段呈現(xiàn)的主要形式各不相同。該類評(píng)論內(nèi)容沒有明顯規(guī)律，而且評(píng)論中主題相關(guān)信息也較少，特征較為稀疏。

本文將垃圾評(píng)論分為3類：①和主題不相關(guān)，主要表現(xiàn)為評(píng)論者出于情緒發(fā)泄而隨手發(fā)布的無意義文本，其中可能包含謾罵、色情、人身攻擊等信息內(nèi)容，與產(chǎn)品毫不相干，該類評(píng)論用戶體驗(yàn)極差，甚至使用戶產(chǎn)生厭惡情緒;②客觀性商品咨詢文本，僅將商品介紹的一些參數(shù)和性能指標(biāo)復(fù)制粘貼到評(píng)論中，不涉及對(duì)產(chǎn)品的評(píng)價(jià)內(nèi)容，用戶不能從中獲取任何有用價(jià)值;③通過圖片、鏈接等形式推銷產(chǎn)品及發(fā)布一些黃色或病毒網(wǎng)頁鏈接。垃圾評(píng)論特點(diǎn)包括：評(píng)論太短或過長、主觀意向較重、口語化用詞較多，受當(dāng)時(shí)熱點(diǎn)話題影響，含有超鏈接、圖片評(píng)論、特殊字體。

20世紀(jì)90年代以來，基于機(jī)器學(xué)習(xí)的分類算法模型[1]被應(yīng)用到文本分類中，如支持向量機(jī)SVM[2-3]、決策樹[4]、樸素貝葉斯[5]等，賦予了文本分類較高的實(shí)用價(jià)值。在實(shí)現(xiàn)文本分類的算法中，傳統(tǒng)機(jī)器學(xué)習(xí)在進(jìn)行文本分類時(shí)需要進(jìn)行特征工程[6]。如甘立國[7]指出隨著機(jī)器學(xué)習(xí)的發(fā)展，機(jī)器學(xué)習(xí)方法將逐漸取代傳統(tǒng)知識(shí)工程構(gòu)建方法，但也會(huì)存在一些問題，例如在文本表示方法上存在維度災(zāi)難，不能有效提取文本深層次的語義關(guān)系。近年來，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)[8-9]在特征自動(dòng)獲取中發(fā)揮著越來越重要的作用，給研究者們帶來了很大便捷。如Kim等[10]將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用在文本分類任務(wù)上，將向量化后的文本使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行提取特征信息，最后使用Softmax分類器對(duì)提取的特征進(jìn)行分類。它能夠最大程度池化所獲特征，但由于卷積器大小固定，所以對(duì)參數(shù)空間調(diào)節(jié)和信息存儲(chǔ)大小有很大限制。同時(shí)，也有學(xué)者[11]通過LSTM模型進(jìn)行文本分類，LSTM模型可在更復(fù)雜的任務(wù)上表征或模擬人類行為和認(rèn)知能力，但在訓(xùn)練時(shí)長及對(duì)抗梯度爆炸等方面需進(jìn)一步改善。CNN[12-13]在文本中的不同位置使用相同的卷積核進(jìn)行卷積，可以很好地提取n-gram 特征，通過池化學(xué)習(xí)文本短期和長期關(guān)系。LSTM可以用來處理任意長度的序列，并發(fā)現(xiàn)其長期依賴性?？偟膩碚f，CNN從時(shí)間或空間數(shù)據(jù)中學(xué)習(xí)局部響應(yīng)，但缺少學(xué)習(xí)序列相關(guān)性能力，而LSTM 用于序列建模，但不能并行地進(jìn)行特征提取。本文結(jié)合CNN與LSTM 兩種模型的優(yōu)點(diǎn)，充分利用CNN識(shí)別局部特征與LSTM利用文本序列的能力，最大化提取上下文信息以實(shí)現(xiàn)對(duì)評(píng)論文本的有效分類，提出一種基于注意力機(jī)制的深度學(xué)習(xí)CLSTM混合模型算法。

1 文本分類相關(guān)工作

1.1 深度學(xué)習(xí)

傳統(tǒng)機(jī)器學(xué)習(xí)在進(jìn)行文本分類時(shí)會(huì)出現(xiàn)文本表示高緯度、高稀疏的問題，同時(shí)，特征表達(dá)能力很弱，需要人工進(jìn)行特征工程，成本很高。而深度學(xué)習(xí)之所以在圖像與語音處理方面取得巨大成功，一個(gè)很重要的原因是圖像和語音原始數(shù)據(jù)是連續(xù)、稠密的，有局部相關(guān)性。應(yīng)用深度學(xué)習(xí)解決大規(guī)模文本分類問題的關(guān)鍵是解決文本表示，再利用深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)自動(dòng)獲取特征表達(dá)能力，去掉繁雜的人工特征工程，端到端地解決問題。

1.2 文本分類

本文對(duì)商品評(píng)論短文本通過語義進(jìn)行分類，處理流程包括：文本預(yù)處理、詞向量訓(xùn)練、訓(xùn)練模型以及分類效果評(píng)估4部分。首先，對(duì)收集的評(píng)論短文本進(jìn)行預(yù)處理工作;再通過Word2Vec模型[14-15]對(duì)評(píng)論短文本進(jìn)行詞向量訓(xùn)練;然后，采用混合深度神經(jīng)網(wǎng)絡(luò)模型CLSTM進(jìn)行特征提取學(xué)習(xí)，通過引入Attention注意力機(jī)制[16]獲取文本特征表示;最后通過Softmax分類器對(duì)評(píng)論短文本進(jìn)行最終分類。其流程如圖1所示。

1.3 文本預(yù)處理

文本預(yù)處理過程指在文本中提取關(guān)鍵詞表示文本的過程。不是所有商品文本數(shù)據(jù)均對(duì)研究有實(shí)際作用，且部分?jǐn)?shù)據(jù)往往帶有大量噪聲，對(duì)于這些無關(guān)數(shù)據(jù)，例如不規(guī)范的字符、符號(hào)等，應(yīng)進(jìn)行有效過濾以排除對(duì)文本數(shù)據(jù)信息挖掘的干擾，所以在文本分類前首先需預(yù)處理數(shù)據(jù)集。

中文不像英文那樣具有天然的分隔符，所以一般情況下，中文分詞[17-18]的第一步是對(duì)語料進(jìn)行分詞處理。近年來隨著機(jī)器學(xué)習(xí)研究的深入，可以選擇的分詞算法工具也越來越多，常見分詞工具有Stanford NLP、ICTClAS分詞系統(tǒng)、jieba、FudanNLP等。本文選擇Python編寫的jieba開源庫對(duì)文本進(jìn)行分詞，以行為單位，將文本保存到輸出文件。中文停用詞對(duì)文本研究沒有太大價(jià)值，故需將文本中介詞、代詞、虛詞等停用詞以及特殊符號(hào)去除。

1.4 詞向量訓(xùn)練

本文采用Word2Vec技術(shù)生成詞向量，可以實(shí)現(xiàn)將語義信息相近的詞語映射到相近的低維度向量空間中。為了減少后期計(jì)算復(fù)雜度，通常詞向量維度設(shè)置在100～300維度之間。

本文采用Skip-Gram模型[19-20]進(jìn)行詞向量訓(xùn)練，Skip-Gram通過給定輸入單詞預(yù)測上下文。該模型包含輸入層、投影層和輸出層3個(gè)層面，如圖2所示。

將Skip-Gram模型得到的詞向量存儲(chǔ)在一個(gè)詞嵌入矩陣M中，現(xiàn)假設(shè)一條評(píng)論T里面包含[n]個(gè)單詞，每個(gè)單詞在M中有唯一的索引[k]，則一句話中第[i]個(gè)單詞可表示為[ti=Mbk]，其中[bk]為二值向量。則一條評(píng)論可用矩陣向量T表示，公式如下：

最后，在語料中用特殊標(biāo)記“[]”對(duì)每一句話的結(jié)尾進(jìn)行標(biāo)記。

2 基于注意力機(jī)制的CLSTM混合模型與文本分類

為了提高商品評(píng)論中垃圾評(píng)論文本分類的精確率，結(jié)合CNN和LSTM兩種結(jié)構(gòu)優(yōu)點(diǎn)，本文提出一種基于注意力機(jī)制的CLSTM混合神經(jīng)網(wǎng)絡(luò)模型，再通過引入Attention機(jī)制計(jì)算注意力概率分布，獲得文本特征表示，從而提高模型文本分類精確率。模型結(jié)構(gòu)如圖3所示。

該混合模型由4個(gè)部分組成：首先CNN提取短語特征序列，主要使用一維卷積提取詞向量特征，按順序移動(dòng)計(jì)算前后單詞對(duì)當(dāng)前狀態(tài)下單詞的影響，生成短語特征表示;其次提取評(píng)論中的文本特征，該部分使用LSTM處理短文本特征序列，逐步合成文本向量特征表示;然后采用Attention機(jī)制計(jì)算各個(gè)輸入分配的注意力概率分布，生成含有注意力概率分布的文本語義特征表示;最后引入分類器，主要由dropout技術(shù)防止過擬合，用Softmax分類器預(yù)測文本類別。

在CNN提取短文本特征時(shí)，本文采用一維卷積核在文本不同位置滑動(dòng)以提取詞語上下文信息，生成短語的特征表示。通常，通過卷積操作提取短語特征后，會(huì)進(jìn)一步執(zhí)行池化操作，但是，文本分類是利用現(xiàn)有信息進(jìn)行預(yù)測，強(qiáng)調(diào)特征序列連續(xù)性，而池化操作會(huì)破壞特征序列連續(xù)性。因此，本文在CNN卷積層之后直接采用LSTM模型。

CNN從時(shí)間或空間數(shù)據(jù)中學(xué)習(xí)局部響應(yīng)，但缺少學(xué)習(xí)序列相關(guān)性能力，沒有考慮詞語間的相互關(guān)聯(lián)。在文本分類過程中LSTM模型可用來處理任意長度的序列，并且具有長期依賴性。假設(shè)在某一時(shí)刻，LSTM某一重復(fù)模塊的輸入包括上一時(shí)刻歷史隱藏狀態(tài)[ht-1]和當(dāng)前輸入[xt]，其輸出包含3個(gè)門（forget gate、input gate、output gate），可控制信息并將信息傳遞給下一時(shí)刻。LSTM變換函數(shù)定義如下：

其中，將Input Gate、Output Gate、Forget Gate表示為：[it][ot][ft]，當(dāng)前時(shí)刻的記憶單元為[ct]，[W∈RH？E]，[ht]為LSTM單元最終輸出，使用Sigmoid函數(shù)作為激活函數(shù)，[b∈R]為LSTM權(quán)重矩陣與偏置量。

由LSTM得到對(duì)應(yīng)隱藏層的輸出[h0]，[h1]，[h2]，…，[ht]。通過在隱藏層引入注意力機(jī)制，生成含有注意力概率分布的文本語義特征，計(jì)算各個(gè)輸入分配的注意力概率分布[α0]，[α1]，[α2]，…，[αt]，引入注意力機(jī)制可極大提高模型分類準(zhǔn)確性。[us]是一種語義表示，是一個(gè)隨機(jī)初始化的上下文向量。引入注意力機(jī)制后，文本特征表示計(jì)算過程為：

其中[ht]是由LSTM學(xué)習(xí)得到的[t]時(shí)刻的特征表示;[ut]為[ht]通過一個(gè)簡單神經(jīng)網(wǎng)絡(luò)層得到的隱層表示;[t]為[ut]通過[Softmax]函數(shù)歸一化得到的重要性權(quán)重;[v]是最終文本信息的特征向量。

為防止模型在訓(xùn)練時(shí)出現(xiàn)過擬合現(xiàn)象，本文引入dropout技術(shù)。最后，本文采用Softmax分類器對(duì)獲得的文本特征進(jìn)行分類處理。

[y]是函數(shù)計(jì)算后得到的預(yù)算類別。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 數(shù)據(jù)集

本文使用的數(shù)據(jù)集來源于從京東商城上爬取的評(píng)論語料庫，包含電腦評(píng)論、手機(jī)評(píng)論、圖書評(píng)論、鮮花評(píng)論等6個(gè)種類的消費(fèi)者評(píng)論，共計(jì)27萬余條。在數(shù)據(jù)集中，每條評(píng)論獨(dú)占一行，每條評(píng)論后面給出類別標(biāo)注。本文選取3個(gè)種類的評(píng)論數(shù)據(jù)集進(jìn)行訓(xùn)練，分別是手機(jī)評(píng)論、圖書評(píng)論、鮮花評(píng)論，每種類型的評(píng)論數(shù)量如表1所示，其它3類可用于后備工作。在實(shí)驗(yàn)中，每種類型使用80%的評(píng)論數(shù)據(jù)進(jìn)行訓(xùn)練，使用20%的數(shù)據(jù)集作為測試集。

本文所有實(shí)驗(yàn)均基于Tensorflow[21]平臺(tái)庫實(shí)現(xiàn)。實(shí)驗(yàn)使用的GPU為NVIDIA GTX1080處理器。

3.2 評(píng)價(jià)指標(biāo)

本文討論的分類類別是二分類問題，因此將樣本標(biāo)簽記為正、負(fù)兩種樣本，根據(jù)實(shí)驗(yàn)結(jié)果建立二分類結(jié)果混合矩陣，如表2所示。

本文通過采用準(zhǔn)確率P（[precision]）、R召回率（[recall]）、F1值3個(gè)標(biāo)準(zhǔn)作為模型性能評(píng)價(jià)指標(biāo)，根據(jù)表2得到計(jì)算公式為：

3.3 實(shí)驗(yàn)結(jié)果

為了證明本文混合神經(jīng)網(wǎng)絡(luò)模型算法的優(yōu)越性，同時(shí)進(jìn)行兩組實(shí)驗(yàn)對(duì)比。第1個(gè)實(shí)驗(yàn)采用常見的機(jī)器學(xué)習(xí)SVM模型算法進(jìn)行文本分類，第2個(gè)實(shí)驗(yàn)采用深度學(xué)習(xí)LSTM模型算法進(jìn)行文本分類。將數(shù)據(jù)集的20%作為測試集放入已經(jīng)訓(xùn)練好的模型中，通過給定的3個(gè)標(biāo)準(zhǔn)性能評(píng)價(jià)指標(biāo)，比較測試結(jié)果并計(jì)算分類結(jié)果。不同模型生成的結(jié)果對(duì)比如表3-表5所示。

從表格中可以看出，3種分類算法在進(jìn)行評(píng)論文本分類時(shí)均可達(dá)到較好的效果。其中深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)算法分類效果優(yōu)于機(jī)器學(xué)習(xí)SVM分類算法;在經(jīng)過一系列調(diào)參后，針對(duì)3種商品種類的評(píng)論實(shí)驗(yàn)，可以發(fā)現(xiàn)基于注意力機(jī)制的CLSTM混合神經(jīng)網(wǎng)絡(luò)模型方法在準(zhǔn)確率、召回率和F1值3個(gè)方面均比單模型深度學(xué)習(xí)方法的分類識(shí)別效果更好。

4 結(jié)語

本文采用的混合模型算法充分利用了？CNN識(shí)別局部特征與 LSTM利用文本序列的能力，可在時(shí)間復(fù)雜度上選擇最短時(shí)間，同時(shí)引入相當(dāng)少的噪聲，最大化地提取上下文信息，大幅提升評(píng)論短文本分類效率。深度神經(jīng)網(wǎng)絡(luò)可以處理多分類問題，但會(huì)增加訓(xùn)練難度。本文可以為后續(xù)文本特征多分類研究提供參考。

參考文獻(xiàn)：

[1] 王靜. 基于機(jī)器學(xué)習(xí)的文本分類算法研究與應(yīng)用[D]. 成都：電子科技大學(xué)， 2015.

[2] JOACHIMS T. Text categorization with support vector machines： learning with many relevant features[C]. Proceedings of Conference on Machine Learning， 1998：137-142.

[3] 孫晉文， 肖建國. 基于SVM的中文文本分類反饋學(xué)習(xí)技術(shù)的研究[J]. 控制與決策， 2004， 19（8）：927-930.

[4] 田苗苗. 基于決策樹的文本分類研究[J]. 吉林師范大學(xué)學(xué)報(bào)， 2008， 29（1）：54-56.

[5] 邸鵬， 段利國. 一種新型樸素貝葉斯文本分類算法[J]. 數(shù)據(jù)采集與處理， 2014， 29（1）：71-75.

[6] 姜百寧. 機(jī)器學(xué)習(xí)中的特征選擇算法研究[D]. 青島：中國海洋大學(xué)， 2009.

[7] 胡侯立， 魏維， 胡蒙娜. 深度學(xué)習(xí)算法的原理及應(yīng)用[J]. 信息技術(shù)， 2015（2）：175-177.

[8] 郭元祥. 深度學(xué)習(xí)：本質(zhì)與理念[J]. 新教師， 2017（7）：11-14.

[9] 甘立國. 中文文本分類系統(tǒng)的研究與實(shí)現(xiàn)[D]. 北京：北京化工大學(xué)， 2006.

[10] KIM Y. Convolutional neural networks for sentence classification[DB/OL]. https：//arxiv.org/pdf/1408.5882.pdf.

[11] HOCHREITER S， SCHMIDHUBER J. Long short-term memory[J]. Neural Computation， 1997， 9（8）：1735-1780.

[12] GOODFELLOW I， BENGIO Y， COURVILLE A， et al. Deep learning[M]. Cambridge：MIT press，2016.

[13] 陳先昌. 基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法與應(yīng)用研究[D]. 杭州：浙江工商大學(xué)， 2014.

[14] 周練. Word2vec的工作原理及應(yīng)用探究[J]. 圖書情報(bào)導(dǎo)刊， 2015（2）：145-148.

[15] 熊富林， 鄧怡豪， 唐曉晟. Word2vec的核心架構(gòu)及其應(yīng)用[J]. 南京師范大學(xué)學(xué)報(bào)：工程技術(shù)版， 2015（1）：43-48.

[16] 趙勤魯， 蔡曉東， 李波，等. 基于LSTM-Attention神經(jīng)網(wǎng)絡(luò)的文本特征提取方法[J]. 現(xiàn)代電子技術(shù)， 2018， 41（8）：167-170.

[17] 王威. 基于統(tǒng)計(jì)學(xué)習(xí)的中文分詞方法的研究[D].沈陽：東北大學(xué)，2015.

[18] 韓冬煦，常寶寶. 中文分詞模型的領(lǐng)域適應(yīng)性方法[J].計(jì)算機(jī)學(xué)報(bào)，2015，38（2）：272-281.

[19] 黃聰. 基于詞向量的標(biāo)簽語義推薦算法研究[D]. 廣州：廣東工業(yè)大學(xué)， 2015.

[20] 李曉軍. 基于語義相似度的中文文本分類研究[D]. 西安：西安電子科技大學(xué)， 2017.

[21] HELCL J， LIBOVICKYA A J. Neural monkey： an open-source tool for sequence learning[J]. Prague Bulletin of Mathematical Linguistics，2017， 107（1）：5-17.

（責(zé)任編輯：江 艷）