羅曉婷

隨著社會經(jīng)濟(jì)的加速發(fā)展，市場發(fā)展股份制已經(jīng)成為一種新的組織形態(tài)。越來越多的上市公司通過吸收投資大眾的儲蓄資金擴(kuò)大籌資來源來賦予公司更大的經(jīng)營自由度。但是股票屬于商品范圍，其價格波動不僅受市場的供求關(guān)系影響，同時還受到國家政策、基本面和行業(yè)景氣度的影響。因此，如何準(zhǔn)確的預(yù)測股票走勢對商業(yè)回報和金融領(lǐng)域具有重要意義。

近年來，深度學(xué)習(xí)不但能夠?qū)崿F(xiàn)機(jī)器學(xué)習(xí)在眾多場景的應(yīng)用，而且拓展了人工智能的領(lǐng)域范圍，并使得基于數(shù)據(jù)驅(qū)動的機(jī)器輔助功能變?yōu)榭赡堋＞矸e神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）是一種常見前饋神經(jīng)網(wǎng)絡(luò)，是多層感知機(jī)（Multilayer Perceptron，MLP）的變種。卷積神經(jīng)網(wǎng)絡(luò)通過自身的局部感受特點(diǎn)可以分別處理每個時間段的數(shù)據(jù)，將長輸入序列轉(zhuǎn)換為高級特征組成的更短序列，以此提取各數(shù)據(jù)的位置特征實現(xiàn)序列空間特征的編碼。長短時記憶網(wǎng)絡(luò)（Long Short Term Memory Network， LSTM）屬于循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）。當(dāng)RNN網(wǎng)絡(luò)處理序列較長的數(shù)據(jù)時，由于網(wǎng)絡(luò)自身的記憶能力有限，在模型訓(xùn)練過程中無法結(jié)合之前的信息對當(dāng)前數(shù)據(jù)賦予權(quán)重，從而導(dǎo)致網(wǎng)絡(luò)梯度消失。而LSTM網(wǎng)絡(luò)在處理數(shù)據(jù)序列時和殘差網(wǎng)絡(luò)相似，通過對信息元各時間段的相加相乘繞過網(wǎng)絡(luò)中的部分單元信息從而記住更長的時間步驟，解決了一直以來RNN存在的缺陷。

股票作為典型的時序數(shù)據(jù)，越來越多的學(xué)者通過神經(jīng)網(wǎng)絡(luò)致力于對股票數(shù)據(jù)的研究分析。早在1990年，Kimoto等人通過模塊化神經(jīng)網(wǎng)絡(luò)對東京證券交易所的數(shù)據(jù)進(jìn)行預(yù)測分析，取得較好效果。1996年Gen等人利用神經(jīng)網(wǎng)絡(luò)對道瓊斯工業(yè)指數(shù)進(jìn)行建模研究測試，證明了股票市場回報的可預(yù)測性。Rodriguez等人在2000年利用傳統(tǒng)神經(jīng)網(wǎng)絡(luò)實現(xiàn)了股票預(yù)測上的可收益性。2021年黃潤鵬通過將微博情感融入到篩選出的股票指標(biāo)中對股票漲跌情況進(jìn)行預(yù)測，結(jié)果證明預(yù)測模型具有較高的準(zhǔn)確性。

在時間維度上，股票市場的當(dāng)前開盤價是在之前收盤價的基礎(chǔ)上加減百分比。在空間維度上，成交量數(shù)值的變化對于股票的漲跌影響較大，一般而言，成交量不斷增加股價也將隨之上升?；诖?，我們提出一種基于卷積神經(jīng)和長短時記憶的混合網(wǎng)絡(luò)，該網(wǎng)絡(luò)綜合考慮股票數(shù)據(jù)序列之間存在的時空特性。通過卷積神經(jīng)網(wǎng)絡(luò)提取出最高價、前收盤等輸入屬性在空間位置上對收盤價產(chǎn)生影響的特征。利用長短時記憶網(wǎng)絡(luò)捕捉時間維度上之前各屬性和當(dāng)前預(yù)測值之間的關(guān)系特征。

近年來，CNN在圖像處理方面的運(yùn)用取得了良好成果，尤其是在步態(tài)識別和人臉識別方面取得的成果較為突出。CNN 可以很好地識別出數(shù)據(jù)中的簡單模式，可以從較短固定長度數(shù)據(jù)集片段中獲得感興趣特征，并且該特性在數(shù)據(jù)片段中的位置不具有高度相關(guān)性。另外，由于CNN 網(wǎng)絡(luò)本身包含池化層、全連接和卷積層，有效降低模型的復(fù)雜度提高網(wǎng)絡(luò)參數(shù)的利用率。因此，通過CNN可以學(xué)習(xí)數(shù)據(jù)集內(nèi)在關(guān)系屬性，從而將股票間多元關(guān)系信息引入到傳統(tǒng)的時序建模中，進(jìn)行端到端的趨勢預(yù)測。

RNN是根據(jù)以往的先驗知識預(yù)測當(dāng)前節(jié)點(diǎn)的數(shù)值，在自然語言等方面運(yùn)用的比較多。但是，當(dāng)需要的歷史數(shù)據(jù)時間間隔比較大時，RNN很難處理長距離依賴問題，導(dǎo)致在實際應(yīng)用中很難訓(xùn)練具有長時間關(guān)系的數(shù)據(jù)特征。LSTM網(wǎng)絡(luò)是一種特殊的遞歸循環(huán)神經(jīng)網(wǎng)絡(luò)，由于包含的特殊記憶門結(jié)構(gòu)，因此通過LSTM可以深度挖掘股票數(shù)據(jù)中存在的時序特征解決RNN訓(xùn)練過程中造成的梯度消失和梯度爆炸等問題。

一、模型構(gòu)建原理

為了充分提取股票序列數(shù)據(jù)中存在的時空特性，本文提出了一種基于卷積神經(jīng)和長短時記憶網(wǎng)絡(luò)的模型。該模型首先通過CNN提取出輸入數(shù)據(jù)的空間特性，然后將其輸出作為LSTM網(wǎng)絡(luò)的輸入提取時間特性。

預(yù)測模型結(jié)構(gòu)?；诨旌仙窠?jīng)網(wǎng)絡(luò)的股票預(yù)測系統(tǒng)，該系統(tǒng)主要包括五部分，分別是輸入層、基于二維卷積神經(jīng)網(wǎng)絡(luò)的局部空間特征子模型、基于長短時記憶網(wǎng)絡(luò)的時間特征提取子模型、用于融合全部特征的全連接層和輸出層。

（一）局部空間特征提取子模型

歷史股票數(shù)據(jù)作為輸入數(shù)據(jù)，通過多層卷積神經(jīng)網(wǎng)絡(luò)提取數(shù)據(jù)序列之間在空間位置上存在的關(guān)系形成一定的規(guī)則，然后通過最大池化減少模型的復(fù)雜度，最后通過全連接網(wǎng)絡(luò)對提取的特征進(jìn)行拼接和融合。局部空間特征提取子模型每層網(wǎng)絡(luò)的敘述如下：

輸入層：對長度為n的股票數(shù)據(jù)序列做數(shù)據(jù)清洗，將其作為整個模型的輸入，輸入數(shù)據(jù)具體表示為，式中代表股票的最高價、最低價、開盤價、收盤價和收益量等。

多層二維卷積神經(jīng)網(wǎng)絡(luò)：CNN的作用是提取歷史各數(shù)據(jù)中的空間特征，本文中為了實現(xiàn)局部感知提高特征質(zhì)量設(shè)置了兩層CNN，數(shù)據(jù)在該層中主要通過卷積核提取抽象特征。此外，由于CNN具有權(quán)值共享機(jī)制有利于減少網(wǎng)絡(luò)中的復(fù)雜參數(shù)，提高整個模型的健壯性。池化層采用的是最大池化，有利于特征降維，避免網(wǎng)絡(luò)訓(xùn)練過程中容易出現(xiàn)的過擬合現(xiàn)象。

輸出層：CNN層通過卷積、池化等操作提取出數(shù)據(jù)序列之間的空間特征，將位置關(guān)系相對獨(dú)立的特征數(shù)據(jù)相互關(guān)聯(lián)起來。

（二）時間特征提取子模型

CNN在學(xué)習(xí)過程中對于時間序列的敏感度不高，因此本文將CNN 提取出的特征作為LSTM網(wǎng)絡(luò)的輸入進(jìn)行時間序列維度方面的預(yù)測，從而解決網(wǎng)絡(luò)在訓(xùn)練階段容易出現(xiàn)的梯度爆炸和梯度消失等問題。時間特征提取子模型網(wǎng)絡(luò)描述如下：

為了提高特征提取的質(zhì)量，同時減少整個網(wǎng)絡(luò)的復(fù)雜度，我們在時間特征提取子模型中設(shè)置了三層LSTM網(wǎng)絡(luò)，LSTM網(wǎng)絡(luò)主要包括遺忘門、輸入門和輸出門和細(xì)胞結(jié)構(gòu)。遺忘門的主要作用是幫助網(wǎng)絡(luò)在訓(xùn)練的過程中選擇性的過濾掉特征不明顯的信息，以此提高網(wǎng)絡(luò)的存儲記憶能力，具體的計算公式如下：

（1）式中ft是遺忘門的輸出;ht-1和Xt代表遺忘門的輸入;bf是偏置參數(shù)，wf是線性關(guān)系的系數(shù)。

輸入門的作用是決定當(dāng)前細(xì)胞的輸入需要加入多少新信息，用來決定細(xì)胞中的哪些信息需要更新哪些信息被用做備用更新內(nèi)容。具體的表達(dá)方式如下：

（2）和（3）式主要包括兩部分內(nèi)容，第一步首先通過sigmod函數(shù)決定網(wǎng)絡(luò)需要更新的數(shù)據(jù)，第二步是通過函數(shù)用來創(chuàng)建候選值Ct，以此去掉網(wǎng)絡(luò)中暫時不需要的信息，有效提高網(wǎng)絡(luò)存儲數(shù)據(jù)的能力。

輸出門決定模型的輸出，首先是通過sigmoid層得到初始輸出，然后通過tanh函數(shù)將Ct的值縮放到[-1，1]，再與sigmoid得到的輸出逐對相乘，從而得到模型的輸出，表達(dá)公式如（4）和（5）式：

（三）特征融合及輸出

通過CNN和LSTM網(wǎng)絡(luò)提取到數(shù)據(jù)時空特征后，為了提高特征的區(qū)分性，本文進(jìn)一步利用全連接線性方程對應(yīng)的超平面逼近或者擬合了復(fù)雜的超曲面，整合了卷積層或者池化層中的局部信息，實現(xiàn)了特征的有效提取。輸出是指全連接層經(jīng)過高維到低維映射之后實現(xiàn)的回歸線性輸出，輸出特征只包括一個預(yù)測收盤價格。

二、實驗與結(jié)果

（一） 數(shù)據(jù)集介紹

本文的實驗數(shù)據(jù)選用的是從網(wǎng)易財經(jīng)獲取到的1992年到2021年滬深300指數(shù)。原始數(shù)據(jù)總共包括6700條，每條數(shù)據(jù)包括日期、股票代碼、名稱、收盤價、最高價、最低價、開盤價、前收盤、漲跌額、漲跌幅、成交量和成交金額12個屬性。經(jīng)數(shù)據(jù)清理篩選出了6000條數(shù)據(jù)作為實驗數(shù)據(jù)，其中5500條作為訓(xùn)練數(shù)據(jù)，300條數(shù)據(jù)作為驗證數(shù)據(jù)，剩余的200條數(shù)據(jù)作為測試集。同時，由于日期、股票代碼和名稱等屬性在網(wǎng)絡(luò)訓(xùn)練過程中對于每個神經(jīng)元沒有特征區(qū)分度，去除掉這些屬性減少網(wǎng)絡(luò)的輸入復(fù)雜度。

模型的輸入包括8個屬性分別是最高價、最低價、開盤價、前收盤、漲跌額、漲跌幅、成交量和成交金額，輸出是收盤價。由于股票屬于時序數(shù)據(jù)，所以當(dāng)前收盤價作為標(biāo)簽數(shù)據(jù)受到過去多個輸入數(shù)據(jù)的影響。因此在本文中利用前15條輸入數(shù)據(jù)預(yù)測第16天的股票收盤價，具體的輸入輸出數(shù)據(jù)樣例如表1所示：

（二）網(wǎng)絡(luò)超參數(shù)設(shè)置

本文提出的CNN+LSTM混合網(wǎng)絡(luò)由兩個卷積層，一個最大池化層與全連接層組成，其中為了把特征保留并映射出來，本文采用修正線性單元（Rectified linear unit， ReLU）作為提取空間特征神經(jīng)元的激活函數(shù)。第一層卷積層有32個卷積核、尺寸為1*4;第二層卷積層有16個卷積核，尺寸為1*2，步長為4。在CNN網(wǎng)絡(luò)之后設(shè)置了三層LSTM網(wǎng)絡(luò)、隱藏層為64、學(xué)習(xí)率設(shè)置為0.00008，迭代總次數(shù)為500個epoch，每次輸入網(wǎng)絡(luò)中的數(shù)據(jù)批次為500。

在CNN和LSTM網(wǎng)絡(luò)前向傳播階段，依次調(diào)用每個網(wǎng)絡(luò)層的Forward函數(shù)，得到逐層的輸出，采用均方誤差（MSELoss）將最后一層與目標(biāo)函數(shù)比較得到損失函數(shù)，然后計算二者誤差更新網(wǎng)絡(luò)中各個神經(jīng)元的權(quán)重。經(jīng)多次調(diào)參之后，最終模型接近收斂時驗證集損失函數(shù)。

橫坐標(biāo)代表迭代次數(shù)，縱坐標(biāo)代表隨著模型的訓(xùn)練收盤價預(yù)測值和真實值之間產(chǎn)生的損失值。當(dāng)?shù)螖?shù)接近于50步時，損失值的變化趨于穩(wěn)定。

（三）評價指標(biāo)

本文采用實際數(shù)據(jù)（target data， td）和預(yù)測數(shù)據(jù)（predicted data， pre）之間的平均相對誤差（Mean Relative Error， MRE）和平均絕對誤差（Mean Absolute Error， MAE）作為模型預(yù)測的評價指標(biāo)，具體的計算公式如式（6）和（7）所示：

以上兩個指標(biāo)用來衡量模型的預(yù)測能力，在股票預(yù)測系統(tǒng)，如果值越小則代表預(yù)測值和實際股票的差值越小，模型預(yù)測的精度越高。

（四）實驗結(jié)果分析

為了驗證我們提出方法的可靠性和模型的精確性，本文對于收盤價的預(yù)測值和真實值做了對比，其中橫坐標(biāo)代表不同時間點(diǎn)，縱坐標(biāo)代表不同時間點(diǎn)上的收盤價格。此外，本文設(shè)置了三組控制組試驗，分別是：CNN+全連接、LSTM+全連接和CNN+RNN。

如果只通過CNN網(wǎng)絡(luò)預(yù)測收盤價，由于卷積神經(jīng)網(wǎng)絡(luò)只提取的是特征數(shù)據(jù)之間的空間位置特性，對于股票這種時序數(shù)據(jù)的敏感度不高，因此模型效果較差。通過LSTM網(wǎng)絡(luò)預(yù)測收盤價，雖然LSTM網(wǎng)絡(luò)能夠提取數(shù)據(jù)之間的時間特性，但是迭漲額和前收盤屬性在空間位置上存在關(guān)聯(lián)，因此效果不理想。利用CNN+RNN網(wǎng)絡(luò)得到的預(yù)測值可以看出和真實值差值比較明顯，主要原因是RNN網(wǎng)絡(luò)存在的特有時間依賴性，導(dǎo)致網(wǎng)絡(luò)在訓(xùn)練過程中不能關(guān)聯(lián)長時間距離節(jié)點(diǎn)的信息，從而使得網(wǎng)絡(luò)梯度消失。利用本文提出的方法得到的收盤價預(yù)測值接近于真實值，效果最好。為了更直觀的展現(xiàn)各個方法的精確性，4種模型的平均相對誤差和平均絕對誤差。

在各模型超參數(shù)達(dá)到最優(yōu)的條件下，我們提出的模型精確度明顯優(yōu)于其它三個控制組，利用LSTM+全連接的模型精確度高于CNN+全連接，而結(jié)合CNN網(wǎng)絡(luò)模型精確度在四個控制組里最低。

三、結(jié)語

股票市場通過促進(jìn)資本的集中，有利于企業(yè)資本的有機(jī)構(gòu)成，在很大程度上加快了商品經(jīng)濟(jì)的發(fā)展。但由于受多種因素影響，股價的波動是一個極其復(fù)雜的非線性動力學(xué)系統(tǒng)，近年來對股價預(yù)測的研究結(jié)果往往不盡人意。利用神經(jīng)網(wǎng)絡(luò)的復(fù)雜函數(shù)非線性無限逼近能力使深度學(xué)習(xí)在這一領(lǐng)域取得了令人矚目的成果。本文提出了一種基于卷積神經(jīng)和長短時記憶的混合網(wǎng)絡(luò)，該網(wǎng)絡(luò)首先通過卷積神經(jīng)網(wǎng)絡(luò)提取出輸入數(shù)據(jù)在空間位置上的相關(guān)性，并經(jīng)過池化、全連接等操作實現(xiàn)特征的降維和壓縮，簡化整個的網(wǎng)絡(luò)復(fù)雜度，然后利用長短時記憶網(wǎng)絡(luò)提取出了信息之間的時間相關(guān)性，最后通過全連接網(wǎng)絡(luò)同時提取數(shù)據(jù)的時空特性。通過與控制組實驗結(jié)果的分析和比較，證明利用本文提出的混合網(wǎng)絡(luò)預(yù)測股票收盤價的預(yù)測方法在精確度方面較其他方法具有明顯的優(yōu)越性。