劉月娟,王 武

(云南民族大學(xué) 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院,云南 昆明 650500)

隨著現(xiàn)代科技的不斷發(fā)展和人工智能時(shí)代的進(jìn)步，越來越多的機(jī)器學(xué)習(xí)算法，比如邏輯回歸[1]、支持向量機(jī)[2]、決策樹[3]等以及深度學(xué)習(xí)中的一些經(jīng)典網(wǎng)絡(luò)模型已經(jīng)被廣泛應(yīng)用于股票預(yù)測(cè)等金融領(lǐng)域的研究.近年來，深度學(xué)習(xí)已經(jīng)發(fā)展成為一門熱門技術(shù)[4]，并且在各大領(lǐng)域都有所突破，如文本分析、時(shí)間序列預(yù)測(cè)、計(jì)算機(jī)視覺[5]、股價(jià)預(yù)測(cè)[6～8]等等.此外，研究發(fā)現(xiàn)，在對(duì)股票數(shù)據(jù)進(jìn)行預(yù)測(cè)時(shí)，深度學(xué)習(xí)模型往往比傳統(tǒng)的機(jī)器學(xué)習(xí)模型更能取得較好的預(yù)測(cè)效果[9].

循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)是一類以序列數(shù)據(jù)為輸入，在序列的演進(jìn)方向進(jìn)行遞歸且所有節(jié)點(diǎn)(循環(huán)單元)按鏈?zhǔn)竭B接的遞歸神經(jīng)網(wǎng)絡(luò)，是一種常見的深度學(xué)習(xí)模型[10]，其被廣泛應(yīng)用于股票預(yù)測(cè)模型，但其一直以來都存在著2個(gè)極其明顯的技術(shù)缺陷，一是梯度爆炸，二是梯度消失.研究表明，RNN 在處理較長(zhǎng)的時(shí)間序列數(shù)據(jù)時(shí)會(huì)忘記之前的狀態(tài)信息，故引入了長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(LSTM)，LSTM 是 RNN 的一種變體，在時(shí)間序列學(xué)習(xí)方面表現(xiàn)出良好的性能[11]，LSTM既能保持事件的上下文信息，也能保持事件的時(shí)間行為.但是神經(jīng)網(wǎng)絡(luò)模型通常使用原始時(shí)間序列作為輸入[12]，這使得很難解釋每個(gè)輸入特征序列在預(yù)測(cè)中所起的作用，為了解決上述問題，我們提出了一個(gè)注意模型[13]來為每個(gè)輸入金融特征序列分配不同的權(quán)重來替代原始時(shí)間序列，這些權(quán)重是預(yù)測(cè)，從而增加了模型的可解釋性，注意機(jī)制的本質(zhì)是訓(xùn)練一個(gè)模型選擇性地學(xué)習(xí)輸入，并將輸出序列與其關(guān)聯(lián).近期研究發(fā)現(xiàn)，投資者的情感在股票市場(chǎng)投資中可能起著十分重要的作用.比如，Antweiler和Frank[14]通過對(duì)電子郵件的內(nèi)容和道瓊斯指數(shù)的實(shí)驗(yàn)發(fā)現(xiàn)電子郵件的內(nèi)容有助于預(yù)測(cè)股市的變化，并證實(shí)了在線評(píng)論與股票交易量之間的相關(guān)性.此外，參考文獻(xiàn)[15]也強(qiáng)調(diào)了情感在投資者決策中的重要作用.雖然有很多研究表明情感與股票價(jià)格之間存在很強(qiáng)的相關(guān)性，但是很少有研究將情感分析用于股票預(yù)測(cè).

基于上述研究，為了提高股票預(yù)測(cè)的精度，本文構(gòu)建了 BiLSTM+Attention模型來對(duì)股票次日的收盤價(jià)進(jìn)行預(yù)測(cè)，輸入特征除了歷史交易數(shù)據(jù)外，還引入了情感分析特征和語義分析特征.其中，情感分析方面運(yùn)用了 NLTK 內(nèi)置的 Vader 情感分析器.首先創(chuàng)建一個(gè)情緒強(qiáng)度分析器(SIA)來分類新聞標(biāo)題，然后使用 polarity_scores 方法來獲得情緒分?jǐn)?shù).這個(gè)模型給出了4個(gè)分?jǐn)?shù)：(i)負(fù)面情緒得分(ii)正面情緒得分(iii)中立得分(iv)句子的復(fù)合情感得分.本實(shí)驗(yàn)中將用復(fù)合情感得分這個(gè)分?jǐn)?shù)來衡量評(píng)論的情緒.通過對(duì)比預(yù)測(cè)結(jié)果的擬合圖[16]和評(píng)價(jià)指標(biāo)值，來驗(yàn)證本文提出的模型在股票預(yù)測(cè)中的可行性和有效性.

1 相關(guān)理論

1.1 LSTM 的結(jié)構(gòu)與原理介紹

因長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)(LSTM)是一種特殊的RNN，它可以長(zhǎng)時(shí)間存儲(chǔ)信息，同時(shí)可以忘掉不必要的信息，解決了RNN長(zhǎng)期依賴中梯度消失和梯度爆炸和梯度消失的問題，相比普通的RNN，LSTM 在針對(duì)較長(zhǎng)的時(shí)間序列數(shù)據(jù)進(jìn)行預(yù)測(cè)時(shí)更有優(yōu)勢(shì).

LSTM主要由記憶細(xì)胞、輸入門、輸出門和遺忘門組成，3個(gè)門的激活函數(shù)均為Sigmoid[17]，其關(guān)鍵就是細(xì)胞狀態(tài)，細(xì)胞狀態(tài)類似于傳送帶，直接在整個(gè)鏈上運(yùn)行，只有一些少量的線性交互，信息在上面流傳保持不變會(huì)很容易.

遺忘門將細(xì)胞狀態(tài)中的信息選擇性的遺忘，其決定了上一時(shí)刻的單元狀態(tài)Ct-1有多少保留到當(dāng)前時(shí)刻Ct，輸入門將新的信息選擇性的記錄到細(xì)胞狀態(tài)中，其決定了當(dāng)前時(shí)刻網(wǎng)絡(luò)的輸入Xt有多少保存到單元狀態(tài)Ct，輸出門控制單元狀態(tài)Ct有多少輸出到LSTM的當(dāng)前輸出值ht，這3個(gè)門的目的都是用來保護(hù)和控制細(xì)胞狀態(tài)，LSTM的網(wǎng)絡(luò)結(jié)構(gòu)展開圖見圖1，結(jié)構(gòu)圖中Xt表示t時(shí)刻的輸入，ht表示t時(shí)刻細(xì)胞的狀態(tài)值，

圖1 LSTM 網(wǎng)絡(luò)結(jié)構(gòu)展開圖

下面是LSTM的計(jì)算公式：

輸入門：

it=δ(Wi*[ht-1,Xt]+bi)，

(1)

(2)

輸入門用來控制當(dāng)前輸入新生成的信息Ct中有多少信息可以加入到當(dāng)前時(shí)刻發(fā)細(xì)胞狀態(tài)Ct中，tanh層用來產(chǎn)生當(dāng)前時(shí)刻新的信息，δ層用來控制有多少新信息可以傳遞給細(xì)胞狀態(tài).

遺忘門：

ft=δ(Wf*[ht-1,Xt]+bf),

(3)

遺忘門決定上一時(shí)刻細(xì)胞狀態(tài)Ct-1中的多少信息可以傳遞到當(dāng)前時(shí)刻Ct中.

(4)

輸出門：

Ot=δ(Wo*[ht-1,Xt]+bo).

(5)

ht=Ot*tanh(Ct).

(6)

基于更新的細(xì)胞狀態(tài)，輸出隱藏狀態(tài)ht.式中，Wi、Wc、Wf、Wo分別為輸入門、更新門、遺忘門和輸出門的權(quán)值矩陣，bi、bf、bc、bo分別為輸入門、更新門、遺忘門和輸出門的偏置.

雙向LSTM(BiLSTM)是LSTM的一種變體，在近年來的NLP任務(wù)中，由于能夠更好地理解上下文，其效果優(yōu)于單向LSTM[18].Bi-LSTM是由前向LSTM與后向LSTM組合而成，按順序分別從左端和右端開始運(yùn)行正向LSTM和反向LSTM[19].BiLSTM不僅可以保存過去的信息，而且可以捕捉未來的信息，BiLSTM的網(wǎng)絡(luò)結(jié)構(gòu)展開圖見圖2，

圖2 BiLSTM網(wǎng)絡(luò)結(jié)構(gòu)展開圖

1.2 注意力機(jī)制

最近幾年，注意力模型在深度學(xué)習(xí)各個(gè)領(lǐng)域被廣泛使用，無論是圖像處理、語音識(shí)別還是自然語言處理的各種不同類型的任務(wù)中，常常都需要引入注意力模型機(jī)制，其是深度學(xué)習(xí)技術(shù)中最值得關(guān)注與深入了解的核心技術(shù)之一.本質(zhì)上，注意力模型的核心目標(biāo)就是從眾多的信息中選擇出對(duì)當(dāng)前任務(wù)目標(biāo)更為關(guān)鍵的信息.

本實(shí)驗(yàn)中在BiLSTM模型基礎(chǔ)上引入注意力機(jī)制(attention)，輸入序列是描述金融市場(chǎng)歷史信息的原始特征時(shí)間序列，使用了蘋果從2010-01-04日到2018-12-31日的開盤價(jià)(open)、最高價(jià)(high)、最低價(jià)(low)、調(diào)整后的收盤價(jià)(adj close)和成交量(volume)數(shù)據(jù).注意力機(jī)制可以自適應(yīng)地選擇最相關(guān)的輸入特征，并對(duì)相應(yīng)的原始特征序列賦予更高的權(quán)重.然后我們將注意力模型的輸出作為BiLSTM深度學(xué)習(xí)模型的輸入來預(yù)測(cè)金融市場(chǎng).即利用先前的信息和關(guān)注權(quán)重來預(yù)測(cè)下一個(gè)交易日的收盤價(jià)[20].

1.3 Word2vec模型

Word2vec是一種流行的序列嵌入方法，它將自然語言轉(zhuǎn)換為分布式向量表示[21]，它可以在多維空間中捕獲上下文的詞到詞的關(guān)系，并作為預(yù)測(cè)模型的初步步驟得到廣泛應(yīng)用語義和信息檢索任務(wù).Word2vec依賴Skip-gram或連續(xù)詞袋(CBOW)來建立神經(jīng)詞嵌入[22].本文主要是基于Skip-gram方法進(jìn)行文本數(shù)據(jù)進(jìn)行詞向量處理，因?yàn)樗梢栽诖笮蛿?shù)據(jù)集上產(chǎn)生更加準(zhǔn)確的結(jié)果.首先將數(shù)據(jù)進(jìn)行預(yù)處理，切分訓(xùn)練集與測(cè)試集，其次進(jìn)行分詞處理，然后對(duì)每個(gè)句子的所有向量取均值來生成一個(gè)句子的vector，計(jì)算出詞向量，最終用于訓(xùn)練BiLSTM+Attention模型，Word2vec的2種訓(xùn)練模式見圖3.

圖3 Word2vec模型

2 股票預(yù)測(cè)模型框架設(shè)計(jì)

文中用到的股票預(yù)測(cè)網(wǎng)絡(luò)模型是在BiLSTM模塊的基礎(chǔ)上進(jìn)行搭建的.其中的BiLSTM模塊使用了單層的BiLSTM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)數(shù)據(jù)中的時(shí)序特征，有200個(gè)隱藏神經(jīng)元，輸出層采用linear激活函數(shù)來輸出最終的結(jié)果，并選用Adam優(yōu)化器做優(yōu)化.其實(shí)驗(yàn)是在Python3.6.5上配合一系列的依賴庫完成的.表1列出了BiLSTM模型結(jié)構(gòu)用到的主要軟件.基于多特征融合和BiLSTM+Attention的股票預(yù)測(cè)網(wǎng)絡(luò)模型框架見圖4，其中在語義特征提取部分，我們進(jìn)行了m維語義特征提取，經(jīng)過不斷的實(shí)驗(yàn)驗(yàn)證發(fā)現(xiàn)，當(dāng)m取1時(shí)，模型預(yù)測(cè)效果最好.

表1 BiLSTM模型軟件環(huán)境

圖4 股票預(yù)測(cè)模型總體設(shè)計(jì)框圖

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

3.1.1 數(shù)據(jù)來源

本文的數(shù)據(jù)集包括2部分：股票歷史交易數(shù)據(jù)和金融新聞標(biāo)題數(shù)據(jù).股票歷史交易數(shù)據(jù)是利用python自帶的Tushare財(cái)經(jīng)接口包下載的，從中選取了影響股票價(jià)格波動(dòng)的5個(gè)主要技術(shù)指標(biāo)[23]：最高價(jià)(high)、最低價(jià)(low)、開盤價(jià)(open)、成交量(volume)和調(diào)整后的收盤價(jià)(adj close)，金融新聞標(biāo)題信息來源于Reddit(社交新聞?wù)军c(diǎn))，選用的數(shù)據(jù)集為蘋果(AAPL.us).

其中蘋果(AAPL.us)選用的股票歷史交易數(shù)據(jù)和新聞標(biāo)題日期為2010-01-04至2018-12-31，爬取到的有關(guān)蘋果的金融新聞標(biāo)題內(nèi)容共2357條.

3.1.2 數(shù)據(jù)預(yù)處理

針對(duì)股票歷史交易數(shù)據(jù)，由于獲取到的原始數(shù)據(jù)集存在亂序、異常值和缺失值等情況，所以要先對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)清洗和排序等操作，最終獲得一個(gè)完整且排序準(zhǔn)確的數(shù)據(jù)集.由于不同的指標(biāo)數(shù)量級(jí)之間存在著巨大的差異，為了消除這種差異，本文使用Min-Max 歸一化方法，將數(shù)據(jù)的值壓縮到0到1之間，它是將觀測(cè)值減去該組觀測(cè)值中的最小值，再除以該組觀測(cè)值中的最大值與該組觀測(cè)值中的最小值的差值得到的，公式如下：

(7)

針對(duì)金融新聞標(biāo)題文本，需要對(duì)一些標(biāo)點(diǎn)符號(hào)、特定術(shù)語縮寫等字符串進(jìn)行處理；然后在百度提供的停用詞表基礎(chǔ)上對(duì)文本進(jìn)行去停用詞處理[24].

3.1.3 時(shí)間步數(shù)設(shè)置

本文為了更好的對(duì)比訓(xùn)練結(jié)果，將實(shí)驗(yàn)數(shù)據(jù)集劃分為訓(xùn)練集合測(cè)試集2部分，將2010-01-04至2016-07-29的數(shù)據(jù)集作為訓(xùn)練集，2016-08-01至2018-12-31的數(shù)據(jù)集作為測(cè)試集.在本文提出的股票預(yù)測(cè)模型中，為了達(dá)到好的訓(xùn)練效果，設(shè)置了不同的時(shí)間步長(zhǎng)，其股票預(yù)測(cè)效果圖分別如下圖5所示，實(shí)驗(yàn)表明，模型預(yù)測(cè)結(jié)果的準(zhǔn)確性與時(shí)間步長(zhǎng)的設(shè)置有很大的關(guān)系.

通過觀察圖5可以發(fā)現(xiàn)，當(dāng)時(shí)間步長(zhǎng)為5時(shí)，由于考慮到的時(shí)間步長(zhǎng)較短，預(yù)測(cè)結(jié)果有一定誤差.

圖5 不同時(shí)間步長(zhǎng)下模型預(yù)測(cè)效果圖

當(dāng)時(shí)間步長(zhǎng)設(shè)置較長(zhǎng)時(shí)，如圖5(d)，(e)和(f)，當(dāng)時(shí)間步長(zhǎng)分別為20，25，30時(shí)，考慮的時(shí)間范圍相對(duì)較大，容易忽略掉短時(shí)間內(nèi)金融新聞等因素造成的影響，預(yù)測(cè)結(jié)果誤差較大，準(zhǔn)確性偏低.可以發(fā)現(xiàn)，當(dāng)步長(zhǎng)設(shè)置為10時(shí)，預(yù)測(cè)結(jié)果準(zhǔn)確性最高，所以本文將時(shí)間步長(zhǎng)設(shè)置為10，即用前10天的7個(gè)屬性的數(shù)據(jù)特征作為神經(jīng)單元的輸入層，第11天的收盤價(jià)作為標(biāo)簽進(jìn)行模型訓(xùn)練.

3.2 實(shí)驗(yàn)結(jié)果

模型預(yù)測(cè)結(jié)果如圖6、7、8、9、10所示，紅色曲線代表股票的預(yù)測(cè)收盤價(jià)格，紫色曲線代表股票真實(shí)的收盤價(jià)格，橫坐標(biāo)代表時(shí)間，縱坐標(biāo)代表反標(biāo)準(zhǔn)化后的股票價(jià)格.

圖6表示用BiLSTM網(wǎng)絡(luò)對(duì)股票收盤價(jià)進(jìn)行預(yù)測(cè)，其中模型輸入為股票歷史數(shù)據(jù)，即最高價(jià)(high)、最低價(jià)(low)、開盤價(jià)(open)、成交量(volume)和調(diào)整后的收盤價(jià)(adj close)，共5個(gè)輸入特征.

圖6 BiLSTM

圖7表示用BiLSTM網(wǎng)絡(luò)對(duì)股票收盤價(jià)進(jìn)行預(yù)測(cè)，其中模型輸入為股票歷史數(shù)據(jù)和使用NLTK內(nèi)置的Vader情感分析器對(duì)金融新聞標(biāo)題文本數(shù)據(jù)進(jìn)行情感分析提取出的情感特征，即最高價(jià)(high)、最低價(jià)(low)、開盤價(jià)(open)、成交量(volume)和調(diào)整后的收盤價(jià)(adj close)和文本情感特征，共6個(gè)輸入特征.

圖7 BiLSTM+情感特征

圖8表示用BiLSTM+Attention網(wǎng)絡(luò)對(duì)股票收盤價(jià)進(jìn)行預(yù)測(cè)，其中模型輸入為股票歷史數(shù)據(jù)，即最高價(jià)(high)、最低價(jià)(low)、開盤價(jià)(open)、成交量(volume)和調(diào)整后的收盤價(jià)(adj close)，共5個(gè)輸入特征.

圖8 ATT-BiLSTM

圖9表示用BiLSTM+Attention網(wǎng)絡(luò)對(duì)股票收盤價(jià)進(jìn)行預(yù)測(cè)，其中模型輸入為股票歷史數(shù)據(jù)和使用NLTK內(nèi)置的Vader情感分析器對(duì)金融新聞標(biāo)題文本數(shù)據(jù)進(jìn)行情感分析提取出的情感特征，即最高價(jià)(high)、最低價(jià)(low)、開盤價(jià)(open)、成交量(volume)和調(diào)整后的收盤價(jià)(adj close)和文本情感特征，共6個(gè)輸入特征.

圖9 ATT-BiLSTM+情感特征

圖10表示用BiLSTM+Attention網(wǎng)絡(luò)對(duì)股票收盤價(jià)進(jìn)行預(yù)測(cè)，其中模型輸入為股票歷史數(shù)據(jù)和使用NLTK內(nèi)置的 Vader 情感分析器對(duì)金融新聞標(biāo)題文本數(shù)據(jù)進(jìn)行情感分析提取出的情感特征以及運(yùn)用Word2vec模型最終提取出文本的語義特征，，即最高價(jià)(high)、最低價(jià)(low)、開盤價(jià)(open)、成交量(volume)和調(diào)整后的收盤價(jià)(adj close)、文本情感特征和文本語義特征，共7個(gè)輸入特征.

圖10 ATT-BiLSTM+情感特征+語義特征

通過對(duì)圖6～10 的實(shí)驗(yàn)結(jié)果觀察對(duì)比可以發(fā)現(xiàn)單一的BiLSTM網(wǎng)絡(luò)對(duì)股票價(jià)格的預(yù)測(cè)最不敏感，圖10是文中新提出的網(wǎng)絡(luò)模型，可以發(fā)現(xiàn)預(yù)測(cè)效果較其他相比預(yù)測(cè)誤差是最小的，可以較為準(zhǔn)確的預(yù)測(cè)到股票的價(jià)格波動(dòng)趨勢(shì).因此，通過對(duì)比試驗(yàn)結(jié)果驗(yàn)證了文中提出的網(wǎng)絡(luò)模型的有效性和可行性.

3.3 評(píng)價(jià)指標(biāo)

文中提出的網(wǎng)絡(luò)模型最終目標(biāo)是預(yù)測(cè)股票未來的收盤價(jià)，選用了均方根誤差(RMSE)、平均絕對(duì)誤差(MAE)和R2作為模型的評(píng)價(jià)指標(biāo)，計(jì)算公式如下：

(8)

(9)

(10)

各個(gè)模型的評(píng)價(jià)指標(biāo)結(jié)果對(duì)比如表2.

由表2可以看出，7個(gè)屬性作為輸入特征進(jìn)行訓(xùn)練時(shí)，預(yù)測(cè)結(jié)果的準(zhǔn)確率最高，也就是我們本文提出的模型，RMSE和MAE 都低于前4種模型，RMSE 和 MAE 越低，說明預(yù)測(cè)值和真實(shí)值越接近，同時(shí)可以看出，R2值較于前4個(gè)模型更接近于1，R2的值越接近1，說明回歸直線對(duì)觀測(cè)值的擬合效果越好，并且可以發(fā)現(xiàn)，加入新聞文本的模型預(yù)測(cè)效果比只用歷史交易數(shù)據(jù)作為輸入特征的模型預(yù)測(cè)效果更好.因此可以得出結(jié)論，BiLSTM+Attention模型在股票價(jià)格預(yù)測(cè)上有很大的參考價(jià)值，并且加入新聞文本數(shù)據(jù)提取相關(guān)特征，可以使預(yù)測(cè)效果更加準(zhǔn)確，文中提出的網(wǎng)絡(luò)模型可以為投資者和研究人員提供一定的參考.

表2 網(wǎng)絡(luò)模型的預(yù)測(cè)評(píng)價(jià)指標(biāo)對(duì)比

4 結(jié)語

為了更好地對(duì)股票走勢(shì)進(jìn)行預(yù)測(cè)，在特征輸入部分考慮到股民的情緒也會(huì)對(duì)影響到股市的波動(dòng)，文中Vader情感分析器對(duì)文本數(shù)據(jù)進(jìn)行情感分析得到情感分?jǐn)?shù)，進(jìn)行得出股民的情感特征，將情感特征與運(yùn)用Word2vec模型提取出的文本特征以及股票交易數(shù)據(jù)特征進(jìn)行融合，最終使用BiLSTM+Attention模型進(jìn)行股價(jià)預(yù)測(cè)，通過與只使用股票交易數(shù)據(jù)作為輸入特征進(jìn)行股價(jià)預(yù)測(cè)的 BiLSTM和BiLSTM+Attention模型，使用了股票交易數(shù)據(jù)以及金融新聞標(biāo)題的情感特征共同作為輸入特征進(jìn)行股價(jià)預(yù)測(cè)的BiLSTM和BiLSTM+Attention模型的對(duì)比實(shí)驗(yàn)可以看出預(yù)測(cè)效果得到了一定的提升，表明了本文模型的可行性和有效性.

未來的研究中可以增大股票的相關(guān)技術(shù)指標(biāo)數(shù)據(jù)量和影響股票市場(chǎng)波動(dòng)的文本信息量，將深度學(xué)習(xí)和機(jī)器學(xué)習(xí)方法結(jié)合建立股票預(yù)測(cè)模型，進(jìn)一步提升模型的預(yù)測(cè)效果.