陶 愷,陶 煌

(1.深圳市英威諾科技有限公司，廣東 深圳 518000;2.山西大學(xué)數(shù)學(xué)科學(xué)學(xué)院，山西 太原 030006)

0 引言

隨著近年來深度學(xué)習(xí)領(lǐng)域的快速發(fā)展，人工神經(jīng)網(wǎng)絡(luò)逐漸顯示出了其在自然語言處理領(lǐng)域的巨大潛能[1].而近期的研究表明，循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)在文本特征向量提取方面效果十分良好[2].Xu等[3]運用RNN結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)進行了文本標(biāo)注的試驗，并取得了較好成果，但其論文中為傳統(tǒng)RNN結(jié)構(gòu)，并沒有對特征進行進一步的約束或放大，使得底層特征無法持續(xù)傳遞.因此為了緩解模型的特征消失問題，科研人員提出了具有長時記憶的LSTM模型以及改進的Bi-LSTM模型[4]，但是通過人工提取特征作為模型的輸入依舊不能提取到更好的上層特征.而相較于人工提取文本特征向量，Word-Embedding詞向量在特征表征方面更加出色[5]，再通過與RNN模型的結(jié)合,往往在文本處理中可以得到更出色的實驗結(jié)果.Yao和Huang[6]運用Bi-LSTM結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)與Word-Embedding詞向量相結(jié)合的方式進行了中文分詞模型的訓(xùn)練，可以對中文文本進行較好的切分，但是其單一的Word-Embedding表達方法仍然對于模型的分詞效果有一定局限性.

而在金融領(lǐng)域行業(yè)中，對于文本信息的主流處理方法主要包括了傳統(tǒng)機器學(xué)習(xí)方法以及神經(jīng)網(wǎng)絡(luò)+Word-Embedding詞向量兩種方法.常用于金融領(lǐng)域的傳統(tǒng)機器學(xué)習(xí)方法包括了邏輯回歸、決策樹以及SVM支持向量機等模型，該類模型的搭建要求研究人員具有較深的特征提取經(jīng)驗，且該類模型只在訓(xùn)練數(shù)據(jù)量較小的情況下表現(xiàn)出更好的分類結(jié)果，會隨著數(shù)據(jù)量的積累出現(xiàn)瓶頸.因此在金融領(lǐng)域中，也有研究者提出使用MLP或者CNN結(jié)合Word-Embedding詞向量進行文本分類模型的搭建，在數(shù)據(jù)量較大的情況下取得了較好的實驗結(jié)果，然而MLP全鏈接神經(jīng)網(wǎng)絡(luò)在提取文本特征時完全忽略了詞向量的先后關(guān)系，將整個文本只看作一個詞匯的集合，這將導(dǎo)致很多語義表達中的特征無法被獲取，進而影響到了分類正確率，在這方面CNN在特征提取時由于卷積核的存在可以獲取到中心詞一定范圍內(nèi)的詞匯順序關(guān)系，是一種很好的改善，但是對于整體的正確率提升不明顯.

為了針對文本數(shù)據(jù)進一步改進和提升文本分類模型的準(zhǔn)確率，論文提出一種新模型結(jié)構(gòu)，在構(gòu)造Word-Embedding詞向量時，根據(jù)單詞的索引和該單詞所對應(yīng)的詞性，再結(jié)合文章標(biāo)題和文章內(nèi)容綜合構(gòu)造MultiWord-Embedding詞向量，然后將構(gòu)建好的詞向量通過單層Bi-LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)提取并拼接出最終的文本特征向量，最后通過一個全鏈接FC層對文本數(shù)據(jù)進行多分類處理，在實驗中得到了更好的測試結(jié)果.

1 相關(guān)理論

1.1 Word-Embedding詞向量

特征向量的生成是將人類可理解數(shù)據(jù)轉(zhuǎn)化成機器可理解數(shù)據(jù)形式的必不可少的一步工作[7].傳統(tǒng)的特征向量生成方法，是科研人員根據(jù)經(jīng)驗用“0”或“1”的方式人工定義one-hot實數(shù)向量，這樣的向量數(shù)據(jù)雖然具有一定的特征表達性但是經(jīng)常造成維度災(zāi)難，而Word-Embedding則是一系列的低緯度浮點向量，它不借助人為定制的特征而是通過模型去自己學(xué)習(xí)對應(yīng)數(shù)據(jù)的特征[8]，實驗證明這種方法可以學(xué)習(xí)到更好的特征分布，其公式有如下表達：

Veci=Emb(Index(Wi))

(1)

其中Wi∈Dict表示字典中的某一個單詞，Dict是包含全部單詞的詞典，Index(Wi)方法將獲取單詞在詞典中的索引號，Emb(Index(Wi))為獲取構(gòu)建的Embedding詞向量矩陣中Index(Wi)所對應(yīng)的浮點向量，Veci表示某一序列中的第i個單詞所代表的詞向量.

1.2 LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)

LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)是一種RNN網(wǎng)絡(luò)的變種，它在RNN的基礎(chǔ)上對Cell中的運算方式進行了改進[9]，使得其在訓(xùn)練和推斷過程中具有長時依賴性，有效降低了梯度消失的風(fēng)險，并且在學(xué)習(xí)過程中不需要保存冗長的上下文信息.LSTM神經(jīng)網(wǎng)絡(luò)在解決時序性建模問題方面表現(xiàn)尤其突出，現(xiàn)在被廣泛地應(yīng)用于自然語言處理領(lǐng)域當(dāng)中[10].LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)最大的改變是對RNN的Cell進行了改進，引入了Memory Cell單元[11]，該單元包括四個元素：一個Input Gate，一個循環(huán)自連接的神經(jīng)元，一個Forget Gate和一個Output Gate.該單元的引入可以對RNN的神經(jīng)元狀態(tài)傳遞進行更好的調(diào)優(yōu).

圖1 LSTM Memory Cell結(jié)構(gòu)[5]

如圖1所示，LSTM在其參數(shù)傳遞的過程中會受到三種“門”的限制，分別是“輸入門”、“輸出門”和“遺忘門”，這三種門在各自的參數(shù)矩陣運算過程中會隨機地拋棄一部分參數(shù)，這樣可以舍棄大部分不起作用的參數(shù)，而根據(jù)其公式可以看出在進行訓(xùn)練求梯度時，可以讓梯度的變化強制成為“1”，這樣便有效避免求導(dǎo)時連續(xù)相乘導(dǎo)致的梯度消失或者梯度爆炸.

LSTM中的Memory Cell具體的算法定義如下：

it=σ(Wixt+Uiht-1+bi)

(2)

(3)

ft=σ(Wfxt+Ufht-1+bf)

(4)

(5)

ot=σ(Woxt+Uoht-1+VoCt+b0)

(6)

ht=ot*tanh(Ct)

(7)

xt和ht分別是t時刻的輸入與輸出向量，ft是Forget Gate的輸出矩陣，函數(shù)σ為sigmoid非線性激活函數(shù)，*代表兩個矩陣按位置相乘.

1.3 Bi-LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)

Bi-LSTM顧名思義就是具有兩個LSTM結(jié)構(gòu)的循環(huán)神經(jīng)網(wǎng)絡(luò)模型[12].由于RNN是一個基于馬爾科夫鏈的時序型模型，其當(dāng)前節(jié)點被假設(shè)只與前一時刻的節(jié)點有關(guān)系，但是實際情況同這一假設(shè)并不完全相符，因為當(dāng)前時刻節(jié)點的特征很可能也和未來某一時刻的節(jié)點特征有關(guān)系.因此科研人員通過將同一序列分別以正序和逆序生成特征向量的方式，巧妙地讓某一時刻的數(shù)據(jù)特征具有了過去和未來的相關(guān)性，這就是Bi-LSTM網(wǎng)絡(luò)結(jié)構(gòu)的最大創(chuàng)新之處，他們通過共享的Word-Embedding參數(shù)矩陣生成相反序列的特征向量，再進行加權(quán)或者拼接成為最終的向量，實驗證明這種方式使得向量具有了很好的特征表達性.特征向量h在t時刻可以有以下表達方法：

(8)

n為輸入序列的長度，f表示0到t的正向序列生成的特征向量，r表示n-t到t的逆向序列生成的特征向量，最后再將兩種向量進行拼接增強特征表達性.

2 改進的文本分類模型

2.1 基于Multi Word-Embedding的詞向量構(gòu)建

Word-Embedding詞向量構(gòu)建方法的提出，使得研究人員不再需要通過人工提取特征向量的方法構(gòu)建one-hot詞向量，Word-Embedding詞向量以它可控的詞向量維度以及稠密的浮點數(shù)數(shù)據(jù)的特點，有效解決了one-hot向量中經(jīng)常出現(xiàn)的維度災(zāi)難，以及向量的過于稀疏性.構(gòu)造一個最基礎(chǔ)的Word-Embedding詞向量時，只需要根據(jù)其單詞的索引獲得Embedding變量矩陣中的對應(yīng)變量組成的向量，就可以構(gòu)成該單詞的詞向量.并且在模型訓(xùn)練過程中，向量中的每一個元素都作為一個可優(yōu)化參數(shù)，伴隨模型共同訓(xùn)練和調(diào)優(yōu)以找到該單詞的最佳特征表達方式.

本文基于Word-Embedding技術(shù)，并結(jié)合新聞數(shù)據(jù)的特點，針對性地提出了多維度構(gòu)建Word-Embedding的Multi Word-Embedding詞向量構(gòu)建方法.首先，論文的單詞詞向量采用單詞的字典意義結(jié)合單詞對應(yīng)詞性特征的方法來生成，這樣組成一個單詞的詞向量便擁有了更多維度的特征性.具體做法是通過新聞文章構(gòu)建其中單詞的詞典索引，再根據(jù)每一個單詞構(gòu)造其對應(yīng)的詞性索引，然后將兩種索引分別構(gòu)建獨立的Word-Embedding詞矩陣，在生成一個單詞的Word-Embedding時要同時從不同的詞矩陣中取出對應(yīng)的向量并進行拼接.Multi Word-Embedding內(nèi)部單詞向量構(gòu)造方法可以用如下公式表達：

Veci=Emb_d(IndexD(Wi))||Emb_p(IndexP(Property(Wi)))

(9)

公式中Property(Wi)表示了Wi所對應(yīng)的詞性，如“名詞”“動詞”“形容詞”等，IndexD和IndexP兩個方法表示了要根據(jù)所給的單詞以及對應(yīng)的詞性文本獲取對應(yīng)的索引序列，這樣再通過Emb_d和Emb_p方法分別映射到Emebdding詞矩陣中的詞向量，最后將兩種詞向量進行拼接即得到最終的單詞Word-Embedding詞向量形式.

而本文針對新聞消息文章，將對Word-Embedding詞向量的構(gòu)建進行進一步的優(yōu)化.通過反復(fù)的觀察與實驗，筆者發(fā)現(xiàn)新聞的標(biāo)題往往包含了特征較強的關(guān)鍵詞信息，因此對新聞的標(biāo)題內(nèi)容以及對新聞的文章內(nèi)容進行獨立的詞向量構(gòu)建，有助于信息的特征提取.于是有如下的構(gòu)建方法：

1.依照上述Word-Embedding詞向量構(gòu)建新聞標(biāo)題詞向量VecTi，并對得到的標(biāo)題詞向量進行求平均處理；

2.依照上述Word-Embedding詞向量構(gòu)建新聞內(nèi)容詞向量VecCi；

3.將VecT的與VecCi的各詞向量進行拼接并得到最終的詞向量VecFi，并將VecFi向量作為模型的特征輸入層；

以上向量拼接的公式如下：

VecFi=VecCi||Mean(VecTj)

(10)

VecTj為根據(jù)新聞標(biāo)題所構(gòu)建的標(biāo)題Word-Embedding詞矩陣中的向量，但是為了與新聞內(nèi)容的Word-Embedding詞向量進行拼接，需要通過Mean函數(shù)對VecT矩陣進行平均池化處理(Mean-Pooling)從而得到與新聞內(nèi)容詞向量維度相同的向量Mean(VecTj)，最后再與VecCi即文章內(nèi)容中的第i個單詞的Word-Embedding向量進行拼接得到最終的第i個單詞的Word-Embedding向量VecFi.

因此模型的輸入矩陣即是由VecFi詞向量所組成的二維詞矩陣VecF.

2.2 Bi-LSTM+Multi Word-Embedding文本分類模型

本文基于Word-Embedding與LSTM模型，提出了MultiWord-Embedding+Bi-LSTM的文本分類模型，并針對新聞行業(yè)文章特點對MultiWord-Embedding詞向量進行了內(nèi)容與標(biāo)題結(jié)合構(gòu)建的處理，模型的總體架構(gòu)如下圖所示：

圖2 Bi-LSTM+Multi Word-Embedding文本分類模型

從圖2可知，模型的輸入為由句子轉(zhuǎn)化而成的詞向量矩陣，每一個單詞的詞向量由對應(yīng)的詞典索引和詞性索引所獲得的文章內(nèi)容Word-Embedding向量以及文章標(biāo)題Word-Embedding向量拼接而成.然后將詞向量矩陣分別以正序和逆序輸入至Bi-LSTM結(jié)構(gòu)的循環(huán)神經(jīng)網(wǎng)絡(luò)中，獲得正向詞向量序列h_f(0)到h_f(n)，以及逆向詞向量序列h_r(0)到h_r(n).之后模型將獲得的詞向量進行拼接，拼接方法為h_f(t)連接h_r(n-t)，其中t表示t時刻所生成的詞向量.此時得到的h(0)到h(n)即為所要提取的文本特征向量.為了對新聞文章進行文本分類處理，模型將所得的詞向量進行平均值池化處理并得到句子向量h_mean，再將h_mean向量輸入至一個Softmax層進行邏輯回歸分類.模型的整體結(jié)構(gòu)可以用如下公式來進行表達：

(11)

Ypred=argmaxi(P(y=i|X))

(12)

(12)式中X為輸入的詞向量矩陣，BL(X)表示經(jīng)過Bi-LSTM處理后得到的詞向量矩陣，Mean函數(shù)將詞向量矩陣進行平均池化處理得到向量h_mean，W為對應(yīng)類別i的權(quán)重矩陣，b為偏置向量，h_mean經(jīng)過Softmax處理得到i類別的預(yù)測概率，最終通過argmax獲得預(yù)測結(jié)果中概率最大的類別Ypred，得到最終的結(jié)果.

2.3 算法流程描述

基于Bi-LSTM和Multi Word-Embedding詞向量的文本分類模型的算法過程可以由以下幾個步驟進行描述：

1.構(gòu)建Multi Word-Embedding詞向量

1)輸入文本字符串；

2)對文本字符串進行分詞和詞性標(biāo)注處理，得到分詞列表，列表中的每一個元素是一個單詞和該單詞所對應(yīng)的詞性的二元組；

3)將分詞列表中的單詞和標(biāo)注的詞性轉(zhuǎn)化成單詞詞典和詞性詞典所對應(yīng)的索引，得到一個Nx2的二維矩陣，N表示該句子中的單詞數(shù)量；

4)根據(jù)二維矩陣中的每一個二元組，分別從單詞的Word-Embedding詞向量列表和詞性的Word-Embedding詞向量列表中獲取對應(yīng)的詞向量，并將它們拼接成為一個詞向量，從而生成MultiWord-Embedding詞向量矩陣；

5)根據(jù)上述步驟，分別生成新聞的文章標(biāo)題以及文章內(nèi)容兩個Multi Word-Embedding詞矩陣，并對標(biāo)題Multi Word-Embedding詞矩陣進行平均池化處理生成代表標(biāo)題的一維詞向量，最后將標(biāo)題詞向量分別拼接到新聞內(nèi)容詞矩陣的末尾從而得到最后的Multi Word-Embedding詞矩陣作為模型的輸入；

2.將詞向量矩陣輸入Bi-LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)中進行特征提取并分類

1)將詞向量矩陣以正序輸入至第一個LSTM神經(jīng)網(wǎng)絡(luò)中，獲得特征向量序列h_f(0)到h_f(n)；

2)將詞向量矩陣以逆序輸入至第二個LSTM神經(jīng)網(wǎng)絡(luò)中，獲得特征向量序列h_r(0)到h_r(n)；

3)將獲得的特征向量h_f(t)與h_r(n-t)分別進行拼接，得到最終的特征詞向量序列h(0)到h(n)，其中t表示t時刻輸入的詞向量，n表示詞向量序列的大?。?/p>

3.對文本進行分類驗證處理

1)將特征向量所構(gòu)成的矩陣按照第一維度進行Mean-pooling平均值池化操作得到句子向量h_mean；

2)將句子向量h_mean輸入至Softmax全連接層，獲取該句子的最終分類；

2.4 參數(shù)訓(xùn)練方法

論文中在訓(xùn)練該神經(jīng)網(wǎng)絡(luò)模型時所使用的誤差函數(shù)為negative log-likelihood(負(fù)似然對數(shù)函數(shù))，該誤差函數(shù)的表達式如下所示：

(13)

該函數(shù)所代表的含義是訓(xùn)練集的正確率越高，該函數(shù)則越接近0，正確率越低，則該函數(shù)的結(jié)果會越大于0.

在進行模型訓(xùn)練的過程中，論文所使用的參數(shù)誤差調(diào)整方法為Adadelta，該方法相比隨機梯度下降(sgd)方法的優(yōu)勢在于可以自適應(yīng)地調(diào)整誤差學(xué)習(xí)率，使得誤差函數(shù)可以在訓(xùn)練中更快收斂.Adadelta方法是模擬牛頓法的一種學(xué)習(xí)方法，眾所周知,牛頓法可以完美找到每一次的梯度下降方向，但是該方法需要求解函數(shù)二階導(dǎo)數(shù)的海瑟矩陣的逆矩陣，時間復(fù)雜度為O(n3)，在實際訓(xùn)練過程中難以進行運用[12].而Adadelta通過用一階方法來近似模擬二階牛頓法，有效地提高了誤差訓(xùn)練速度且擺脫了學(xué)習(xí)率設(shè)定的困擾.有關(guān)Adadelta的具體理論推導(dǎo)以及算法實現(xiàn)請參閱Matthew D.Zeiler的An Adaptive Learning Rate Method論文[13].

3 相關(guān)實驗

3.1 實驗設(shè)計

為了證明論文中所設(shè)計的神經(jīng)網(wǎng)絡(luò)模型在文本分類方面的優(yōu)越性，本文實現(xiàn)了包括論文模型在內(nèi)的四個神經(jīng)網(wǎng)絡(luò)模型，通過這四個模型進行了文本分類正確率的對比與分析.這四個神經(jīng)網(wǎng)絡(luò)模型分別是邏輯回歸LR+Word-Embedding模型(詞向量維度為128)，卷積神經(jīng)網(wǎng)絡(luò)CNN+Word-Embedding模型(詞向量維度為128，卷積層5層)，循環(huán)神經(jīng)網(wǎng)絡(luò)LSTM+Word-Embedding模型(詞向量維度為128)，以及本文的Bi-LSTM+Multi Word-Embedding模型(詞向量維度為64+64).這四個模型中所指定的Word-Embedding詞向量總體的維度均比較接近，從而排除了詞向量維度大小對實驗的干擾.模型頂層均是將詞向量矩陣進行平均池化處理并輸入一個Softmax層進行分類.

在論文實驗中所使用的數(shù)據(jù)集為金融行業(yè)相關(guān)新聞資料，其中訓(xùn)練集100 000篇，測試集20 000篇，該數(shù)據(jù)集包含了7個類別，分別是互聯(lián)網(wǎng)理財、網(wǎng)上貸款、金融政策、金融科技、眾籌、銀行、金融保險.論文在構(gòu)建訓(xùn)練集與測試集時將這些文章進行隨機打亂并保證子類別等比例.

論文實驗中的所有神經(jīng)網(wǎng)絡(luò)模型代碼是基于Google的Tensor Flow實現(xiàn)的，實驗所用機器CPU為因特爾酷睿i5處理器，主頻3.80 GHz，操作系統(tǒng)為Windows 7，64位.模型訓(xùn)練總用時為1.5 h.

3.2 實驗數(shù)據(jù)

論文將按照實驗設(shè)計中所述的方法和細(xì)節(jié)進行模型的分類實驗，訓(xùn)練集和測試集經(jīng)過打亂和隨機抽取后獲得的數(shù)據(jù)具體分布如下表1所示.

表1 實驗數(shù)據(jù)量分布

四種神經(jīng)網(wǎng)絡(luò)模型所訓(xùn)練出的最優(yōu)參數(shù)模型所獲得的訓(xùn)練集以及測試集的正確率數(shù)據(jù)如下表2所示，表2中主要的數(shù)據(jù)對比依據(jù)為各神經(jīng)網(wǎng)絡(luò)模型的測試集和訓(xùn)練集正確率百分比，可以看到論文所提出的模型在獲得最優(yōu)參數(shù)之后將正確率提升到了93%的理想結(jié)果.

表2 模型分類正確率

3.3 實驗分析

由上表的實驗數(shù)據(jù)來看，Bi-LSTM+Multi Word-Embedding模型在新聞文本分類中得到了較為優(yōu)秀的實驗結(jié)果，測試集的準(zhǔn)確率達到了93%，優(yōu)于其他對比模型.其中原因主要有兩點，首先，Word-Embedding通過構(gòu)建結(jié)合詞典和詞性構(gòu)建擴展了單詞的特征表達，而新聞內(nèi)容和標(biāo)題詞向量的合并使得Word-Embedding特征更為明顯，其次，Bi-LSTM在一定程度上解決了單詞前后順序的關(guān)系表達，相比LR、CNN以及單向LSTM提供了更多的單詞位置信息.綜上所述，Bi-LSTM+Multi Word-Embedding的模型提供了新聞數(shù)據(jù)中更好的文本分類結(jié)果.

4 結(jié)論

論文基于LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)以及Word-Embedding詞向量，提出了基于Bi-LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)加詞典和詞性的MultiWord-Embedding詞向量的文本分類模型.論文對模型的相關(guān)理論進行了深入研究，對模型的總體架構(gòu)進行了詳細(xì)設(shè)計并與邏輯回歸模型、卷積神經(jīng)網(wǎng)絡(luò)模型、單向LSTM模型進行了文本分類的正確率對比實驗.論文中實驗所使用的訓(xùn)練集和測試集數(shù)據(jù)來自各大金融網(wǎng)站獲取的公開歷史金融新聞數(shù)據(jù)，通過實驗中對測試集的分類正確率對比可知，改進的金融領(lǐng)域文本分類模型獲得了93%的測試集分類正確率，高于其他三種神經(jīng)網(wǎng)絡(luò)模型的分類正確率，也證明了論文所提出的模型結(jié)構(gòu)相比傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)擁有更好的特征表達性.該模型也為基于神經(jīng)網(wǎng)絡(luò)的文本分類方法研究提供了一種新思路.