楊學(xué)威

(青海民族大學(xué)經(jīng)濟(jì)與管理學(xué)院，青海 西寧 810007)

1 引言(Introduction)

宏觀經(jīng)濟(jì)背景、金融市場(chǎng)發(fā)展水平和投資者心理預(yù)期等多種復(fù)雜因素共同驅(qū)動(dòng)金融工具價(jià)格變化，使得金融時(shí)序價(jià)格具有非平穩(wěn)性、非線性和高噪聲的復(fù)雜特性[1]。在國(guó)內(nèi)金融市場(chǎng)高速發(fā)展的背景下，金融時(shí)序價(jià)格預(yù)測(cè)成為一個(gè)亟待解決的難題。伴隨著人工智能技術(shù)的進(jìn)步，機(jī)器學(xué)習(xí)算法為金融時(shí)序價(jià)格預(yù)測(cè)帶來了新的研究思路，學(xué)界和業(yè)界也致力于運(yùn)用機(jī)器學(xué)習(xí)算法預(yù)測(cè)各類金融工具短期趨勢(shì)并構(gòu)建量化擇時(shí)策略，以期獲取超額投資收益。

隨著國(guó)內(nèi)量化投資的興起，眾多金融機(jī)構(gòu)已將機(jī)器學(xué)習(xí)廣泛應(yīng)用于產(chǎn)品定價(jià)、風(fēng)險(xiǎn)管理、量化選股、策略管理等領(lǐng)域。對(duì)于非線性、非平穩(wěn)、更新頻率快的金融市場(chǎng)數(shù)據(jù)，相較于傳統(tǒng)統(tǒng)計(jì)分析方法，機(jī)器學(xué)習(xí)算法能夠迅速挖掘出市場(chǎng)上更多潛在信息。本文選用支持向量回歸(Support Vector Regression,SVR)、長(zhǎng)短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)、隨機(jī)森林(Random Forest,RF)、極端梯度提升樹(Extreme Gradient Boosting,XGBoost)四種常用的機(jī)器學(xué)習(xí)算法構(gòu)建滬深300股指期貨價(jià)格預(yù)測(cè)模型，并利用貝葉斯算法對(duì)模型進(jìn)行超參數(shù)優(yōu)化，比較其預(yù)測(cè)效果，為量化擇時(shí)策略開發(fā)提供價(jià)格預(yù)測(cè)基礎(chǔ)。

2 機(jī)器學(xué)習(xí)算法(Machine learning algorithms)

2.1 支持向量回歸

SVR模型利用支持向量機(jī)分類的原理，通過在損失函數(shù)中加入松弛變量提高模型回歸擬合性能[2]。SVR模型能有效處理多維度樣本，能夠擺脫神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的局部最優(yōu)問題，達(dá)到唯一的全局最優(yōu)解。SAPANKEVYCH等[3]系統(tǒng)梳理并總結(jié)了SVR模型在時(shí)間序列預(yù)測(cè)的相關(guān)研究文獻(xiàn)。王洪平[4]運(yùn)用SVR模型根據(jù)金融機(jī)構(gòu)貸款余額預(yù)測(cè)貨幣供應(yīng)量。肖陽等[5]基于三種不同的核函數(shù)建立了SVR多因子選股模型，并通過網(wǎng)格搜索和交叉驗(yàn)證法確定了模型參數(shù)的最優(yōu)取值，回測(cè)結(jié)果表現(xiàn)優(yōu)異，其中高斯核函數(shù)績(jī)效表現(xiàn)最優(yōu)，年化收益達(dá)到24.76%。

2.2 長(zhǎng)短期記憶網(wǎng)絡(luò)

LSTM模型屬于循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)的一種，其特殊之處在于RNN僅有記憶暫存的功能，而LSTM兼具長(zhǎng)短期記憶功能，解決了RNN存在的長(zhǎng)期依賴問題。自HOCHREITER等[6]提出LSTM之后，GERS等[7]又加入了遺忘門對(duì)LSTM結(jié)構(gòu)進(jìn)行完善，自此形成應(yīng)用至今的LSTM完整結(jié)構(gòu)。AHMED等[8]將損失函數(shù)與LSTM模型組合構(gòu)建外匯損失函數(shù)長(zhǎng)短期記憶模型(FLFLSTM)，預(yù)測(cè)外匯市場(chǎng)歐元美元匯兌價(jià)格，并與其他模型進(jìn)行對(duì)比分析，其研究表明，在外匯市場(chǎng)FLF-LSTM模型預(yù)測(cè)效果優(yōu)于其他模型。GIANG等[9]提出了兩種基于LSTM的股價(jià)預(yù)測(cè)模型，在美國(guó)、德國(guó)和越南三個(gè)股票數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，此模型在預(yù)測(cè)股價(jià)波動(dòng)趨勢(shì)方面優(yōu)于其他模型。LI等[10]利用差分整合移動(dòng)平均自回歸模型(ARIMA)和LSTM，選取三種股票市場(chǎng)指數(shù)的13 個(gè)技術(shù)指標(biāo)構(gòu)建價(jià)格預(yù)測(cè)模型，預(yù)測(cè)其收盤價(jià)并與其他模型進(jìn)行對(duì)比分析，研究結(jié)果表明LSTM模型預(yù)測(cè)精度優(yōu)于其他模型。

2.3 隨機(jī)森林

RF作為近年新興起的、高度靈活的集成算法，具有不易陷入過擬合、抗噪能力強(qiáng)、不用做特征選擇、能夠平衡誤差和處理高維數(shù)據(jù)且數(shù)據(jù)集無須標(biāo)準(zhǔn)化及訓(xùn)練速度較快等優(yōu)點(diǎn)。SIVAMANI等[11]基于社交媒體情感分析，利用包括RF在內(nèi)的機(jī)器學(xué)習(xí)算法研究投資者情緒對(duì)公司股價(jià)的影響，研究表明：公眾對(duì)公司的主觀感知可以作為驅(qū)動(dòng)其股價(jià)增長(zhǎng)的因子。GHOSH等[12]采用RF和LSTM作為訓(xùn)練算法，證明了它們?cè)陬A(yù)測(cè)標(biāo)普成分股價(jià)格定向變動(dòng)方面的有效性。

2.4 極端梯度提升樹

XGBoost是陳天奇博士在梯度提升決策樹算法的基礎(chǔ)上，提出的一種改進(jìn)算法。XGBoost利用并行化提高其運(yùn)行速度，同時(shí)引入了損失函數(shù)的二階偏導(dǎo)，預(yù)測(cè)效果更具一般性。衣靜[13]通過將集合經(jīng)驗(yàn)?zāi)B(tài)分解(EEMD)與XGBoost算法結(jié)合，構(gòu)建了EEMD-XGBoost組合模型，利用模型預(yù)測(cè)深證綜合指數(shù)的日收盤價(jià)，并對(duì)模型進(jìn)行分析優(yōu)化。LIU等[14]通過XGBoost篩選評(píng)價(jià)指標(biāo)，利用遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)，構(gòu)建上證50ETF期權(quán)價(jià)格預(yù)測(cè)模型。谷嘉煒等[15]提出XGBoost-ESN的股價(jià)預(yù)測(cè)組合模型，并使用網(wǎng)格搜索法對(duì)XGBoost模型和回聲狀態(tài)網(wǎng)絡(luò)模型(ESN)進(jìn)行參數(shù)優(yōu)化。研究結(jié)果表明，改進(jìn)的XGBoost-ESN組合模型能有效減少預(yù)測(cè)誤差，對(duì)股票價(jià)格預(yù)測(cè)的精度更高。

3 模型基本原理(Model fundamentals)

3.1 SVR模型

SVR模型算法原理如下。

其中，φ(?)為映射函數(shù)，φ(xi)是將x映射到高維特征空間的特征向量。

SVR的損失函數(shù)度量：

損失函數(shù)度量在加入松弛變量后：

其中，K(?)為核函數(shù)，核函數(shù)的選擇也是SVR算法的關(guān)鍵問題之一。表1中給出了SVR模型常用的幾種核函數(shù)。本文選用金融時(shí)序研究經(jīng)常使用的高斯核徑向基函數(shù)(RBF)，它具有出色的性能，被廣泛應(yīng)用于分類和回歸問題。

表1 常用核函數(shù)Tab.1 Commonly used kernel functions

3.2 LSTM模型

LSTM通過對(duì)RNN模型結(jié)構(gòu)的優(yōu)化，能有效避免RNN存在的梯度爆炸或梯度消失問題[16]。LSTM與RNN的區(qū)別在于，RNN結(jié)構(gòu)簡(jiǎn)單，只有一個(gè)tanh層，而LSTM內(nèi)部結(jié)構(gòu)包含四個(gè)交互層：遺忘門、輸入門、內(nèi)部記憶單元、輸出門。標(biāo)準(zhǔn)RNN結(jié)構(gòu)如圖1所示，LSTM結(jié)構(gòu)如圖2所示。

圖1 標(biāo)準(zhǔn)RNN結(jié)構(gòu)Fig.1 Standard RNN structure

圖2 LSTM結(jié)構(gòu)Fig.2 LSTM structure

LSTM中的第一步是通過遺忘門決定信息的丟棄和保留，其結(jié)構(gòu)如圖3所示，算法表達(dá)式(5)如下：

圖3 遺忘門結(jié)構(gòu)Fig.3 Forget gate structure

LSTM中的第二步是確定被存放在細(xì)胞狀態(tài)中的新信息，其結(jié)構(gòu)如圖4所示，算法表達(dá)式(6)如下：

圖4 輸入門結(jié)構(gòu)Fig.4 Input gate structure

圖5 更新狀態(tài)結(jié)構(gòu)Fig.5 Update state structure

LSTM中的第四步是輸出信息，輸出前需先進(jìn)行過濾，其結(jié)構(gòu)如圖6所示，算法表達(dá)式(8)如下：

圖6 輸出門結(jié)構(gòu)Fig.6 Output gate structure

3.3 RF模型

隨機(jī)森林是一種集成學(xué)習(xí)算法，即利用引導(dǎo)聚集算法(Bagging)和決策樹算法(CART)成決策樹的過程；它通過采集多個(gè)樣本集，利用決策樹對(duì)每個(gè)樣本集建模，將所有決策樹組合起來構(gòu)建成隨機(jī)森林，取所有決策樹的結(jié)果平均值作為隨機(jī)森林輸出。由于各個(gè)決策樹之間的具有明顯的差異度，因此組合出的隨機(jī)森林具有良好的泛化能力。隨機(jī)森林的構(gòu)造過程如圖7所示。

圖7 隨機(jī)森林構(gòu)造過程Fig.7 Random Forest construction process

3.4 XGBoost模型

XGBoost模型通過建立K個(gè)回歸樹，使用貪心算法、二次優(yōu)化保證每個(gè)決策樹葉子節(jié)點(diǎn)的預(yù)測(cè)值都是最優(yōu)解，利用交叉驗(yàn)證選擇最好的參數(shù)，加入正則化防止過擬合；具有效率高、效果好、能處理大規(guī)模數(shù)據(jù)、支持自定義損失函數(shù)等優(yōu)點(diǎn)[17]。

XGBoost屬于Boost集成學(xué)習(xí)方法，應(yīng)用串行的基學(xué)習(xí)器，其中第k個(gè)學(xué)習(xí)器的學(xué)習(xí)目標(biāo)是前k-1 個(gè)學(xué)習(xí)器與目標(biāo)輸出的殘差，最終的學(xué)習(xí)器表示如下：

XGBoost的目標(biāo)函數(shù)會(huì)加入正則化項(xiàng)，決策樹會(huì)在后期進(jìn)行決策樹剪枝防止過擬合，加入正則化項(xiàng)后的目標(biāo)函數(shù)如下：

正則化項(xiàng)表示如下：

其中，T是基回歸樹的葉子節(jié)點(diǎn)總數(shù)，是基回歸樹的第t個(gè)葉子節(jié)點(diǎn)的輸出值，γ、λ是正則化項(xiàng)的系數(shù)，屬于超參數(shù)。

當(dāng)訓(xùn)練第k個(gè)基回歸樹時(shí)，前k-1個(gè)基回歸樹的正則化項(xiàng)是一個(gè)常數(shù)，我們單獨(dú)把它們提取到C(常數(shù))中，目標(biāo)函數(shù)變成：

將上面推出來的損失函數(shù)帶回目標(biāo)函數(shù)，化簡(jiǎn)得到公式(16)：

這是T個(gè)關(guān)于wt的獨(dú)立二次函數(shù)，讓每一個(gè)二次函數(shù)取最小值，即

確定基回歸樹結(jié)構(gòu)的方法主要是遞歸地確定葉子節(jié)點(diǎn)是否適合被延伸。對(duì)于某個(gè)我們想要延伸的葉子節(jié)點(diǎn)tx，計(jì)算其延伸前的目標(biāo)函數(shù)值：

利用貪心算法遍歷所有特征的所有可能取值，計(jì)算每個(gè)取值延伸后的目標(biāo)函數(shù)值，tx分割出兩個(gè)新的葉子節(jié)點(diǎn)t1與t2：

兩者求差，表示分割后的信息增益：

取信息增益最大的分割為該葉子節(jié)點(diǎn)的最優(yōu)解?？梢栽O(shè)置信息增益取值下限，限制樹生長(zhǎng)過深，同時(shí)通過設(shè)置樹的最大深度上限防止過擬合。

4 模型建立與超參數(shù)優(yōu)化(Model building and hyperparameters optimization)

本文選取滬深300股指期貨主力連續(xù)合約(IF9999)自2012 年1 月4 日至2022 年7 月29 日的開盤價(jià)、收盤價(jià)、最高價(jià)、最低價(jià)、成交量、成交額作為數(shù)據(jù)集，以約9∶1的比例將2,569 條交易數(shù)據(jù)劃分為訓(xùn)練集與測(cè)試集。本文的訓(xùn)練數(shù)據(jù)的窗口長(zhǎng)度選擇收盤價(jià)序列ADF檢驗(yàn)AIC最小準(zhǔn)則計(jì)算出的默認(rèn)滯后階數(shù)25，即用過去25 天的開盤價(jià)、收盤價(jià)、最高價(jià)、最低價(jià)、成交量、成交額作為輸入特征，未來1 天的收盤價(jià)作為標(biāo)簽，進(jìn)行模型訓(xùn)練。

由于輸入指標(biāo)開盤價(jià)、收盤價(jià)等與成交量的量綱不同，數(shù)量級(jí)上的差異會(huì)對(duì)預(yù)測(cè)模型收斂帶來不利影響，因此需要對(duì)原始數(shù)據(jù)中各項(xiàng)輸入指標(biāo)進(jìn)行歸一化處理，參照常用歸一化處理方式如下：

其中，xi是歸一化之后的輸入數(shù)據(jù)，分別表示該指標(biāo)中的最大值與最小值。

為了保持輸入數(shù)據(jù)和輸出數(shù)據(jù)在同一量綱，更真實(shí)客觀地利用模型評(píng)價(jià)指標(biāo)對(duì)模型預(yù)測(cè)能力進(jìn)行評(píng)價(jià)，需要對(duì)輸出數(shù)據(jù)進(jìn)行反歸一化處理，參照常用反歸一化處理方式如下：

模型評(píng)價(jià)指標(biāo)參照前人時(shí)序數(shù)據(jù)回歸算法預(yù)測(cè)研究經(jīng)驗(yàn)，選取R2、均方誤差(MSE)、平均絕對(duì)誤差(MAE)、對(duì)稱平均絕對(duì)百分誤差(SMAPE)、適應(yīng)度函數(shù)(LOSS)作為模型評(píng)價(jià)指標(biāo)：

4.1 SVR預(yù)測(cè)模型構(gòu)建

在構(gòu)建SVR預(yù)測(cè)模型時(shí)，利用Python中Scikit-learn模塊的SVR類實(shí)現(xiàn)回歸預(yù)測(cè)，選擇徑向基函數(shù)(RBF)作為核函數(shù)，模型在訓(xùn)練集上的預(yù)測(cè)效果如圖8所示。

圖8 SVR模型在訓(xùn)練集上預(yù)測(cè)效果Fig.8 Prediction effect of SVR model on the training set

4.2 LSTM預(yù)測(cè)模型構(gòu)建

在構(gòu)建LSTM預(yù)測(cè)模型時(shí)，利用Python中Keras模塊自帶的LSTM函數(shù)實(shí)現(xiàn)回歸預(yù)測(cè)，模型包含輸入層、LSTM層、全連接層、輸出層。batch_size設(shè)置為500，迭代100 次，設(shè)置全局隨機(jī)種子，使用Adam優(yōu)化器進(jìn)行優(yōu)化，模型在訓(xùn)練集上的預(yù)測(cè)效果如圖9所示。

圖9 LSTM模型在訓(xùn)練集上預(yù)測(cè)效果Fig.9 Prediction effect of LSTM model on the training set

4.3 RF預(yù)測(cè)模型構(gòu)建

在構(gòu)建RF預(yù)測(cè)模型時(shí)，利用Python中Scikit-learn模塊的RandomForestRegressor實(shí)現(xiàn)回歸預(yù)測(cè)，設(shè)置子決策樹最大樹深max_depth為10，子決策樹數(shù)量n_estimators為200，最小樣本葉子數(shù)量min_samples_leaf為20，分割所需最小樣本數(shù)min_samples_split為20，模型在訓(xùn)練集上的預(yù)測(cè)效果如圖10所示。

圖10 RF模型在訓(xùn)練集上預(yù)測(cè)效果Fig.10 Prediction effect of RF model on the training set

4.4 XGBoost預(yù)測(cè)模型構(gòu)建

在構(gòu)建XGBoost預(yù)測(cè)模型時(shí)，利用Python中XGBoost模塊的XGBRegressor實(shí)現(xiàn)回歸預(yù)測(cè)，設(shè)置懲罰項(xiàng)系數(shù)gamma為200，子決策樹最大深度max_depth為20，子決策樹數(shù)量n_estimators為100，隨機(jī)采樣比例subsample為0.6。模型在訓(xùn)練集上的預(yù)測(cè)效果如圖11所示。

圖11 XGBoost模型在訓(xùn)練集上預(yù)測(cè)效果Fig.11 Prediction effect of XGBoost model on the training set

4.5 貝葉斯優(yōu)化

貝葉斯優(yōu)化算法是一種“黑箱”算法，不需要提前設(shè)置目標(biāo)函數(shù)的表達(dá)式，即可尋找全局最優(yōu)解，非常適合本文四種算法的超參數(shù)優(yōu)化。

算法的主體框架不斷迭代目標(biāo)函數(shù)后驗(yàn)概率分布與極小值點(diǎn)的過程，使目標(biāo)函數(shù)極小值不斷減小，最終得到最優(yōu)超參數(shù)。算法思路如下。

第一步：定義優(yōu)化目標(biāo)。

其中，xmin是待優(yōu)化的超參數(shù)，f(x)是待優(yōu)化的目標(biāo)函數(shù)。

第二步：對(duì)觀測(cè)點(diǎn)進(jìn)行高斯過程處理。

第三步：不斷循環(huán)上述過程，最終實(shí)現(xiàn)xmin=xt+1，可得到最優(yōu)化的超參數(shù)。

按照上述貝葉斯優(yōu)化過程，構(gòu)建優(yōu)化流程如圖12所示。

圖12 貝葉斯優(yōu)化過程流程圖Fig.12 Flowchart of Bayesian Optimization process

貝葉斯優(yōu)化過程中，設(shè)置優(yōu)化次數(shù)為200 次。SVR模型優(yōu)化參數(shù)為懲罰因子C和核函數(shù)參數(shù)gamma；LSTM模型優(yōu)化參數(shù)為全連接層葉子節(jié)點(diǎn)數(shù)dense_units、學(xué)習(xí)率learning_rate、隱含層葉子節(jié)點(diǎn)數(shù)lstm_units_1；RF模型優(yōu)化參數(shù)為子決策樹最大深度max_depth、單個(gè)決策樹使用特征比例max_features、最小樣本葉子數(shù)量min_samples_leaf、分割所需最小樣本數(shù)min_samples_split、子決策樹數(shù)量n_estimators；XGBoost模型優(yōu)化參數(shù)為懲罰項(xiàng)系數(shù)gamma、學(xué)習(xí)率learning_rate、子決策樹最大深度max_depth、最小葉子節(jié)點(diǎn)樣本權(quán)重和min_child_weight、子決策樹數(shù)量n_estimators、L1正則化系數(shù)reg_alpha、L2正則化系數(shù)reg_lambda、隨機(jī)采樣比例subsample。各個(gè)模型優(yōu)化后在測(cè)試集上的表現(xiàn)如圖13至圖16所示。

圖13 優(yōu)化后SVR模型在測(cè)試集上預(yù)測(cè)效果Fig.13 Prediction effect of the optimized SVR model on the test set

圖14 優(yōu)化后LSTM模型在測(cè)試集上預(yù)測(cè)效果Fig.14 Prediction effect of the optimized LSTM model on the test set

圖15 優(yōu)化后RF模型在測(cè)試集上預(yù)測(cè)效果Fig.15 Prediction effect of the optimized RF model on the test set

圖16 優(yōu)化后XGBoost模型在測(cè)試集上預(yù)測(cè)效果Fig.16 The predicted effect of the optimized XGBoost model on the test set

5 優(yōu)化后結(jié)果分析(Analysis of the results after optimization)

利用貝葉斯優(yōu)化對(duì)各個(gè)算法模型進(jìn)行優(yōu)化訓(xùn)練后，其超參數(shù)選擇如表2所示。

表2 貝葉斯優(yōu)化后超參數(shù)選擇Tab.2 Hyperparameters selection after Bayesian optimization

根據(jù)表3可以看出，優(yōu)化前RF和XGBoost預(yù)測(cè)效果顯著優(yōu)于SVR和LSTM，優(yōu)化后各個(gè)算法模型預(yù)測(cè)效果較為均衡，而貝葉斯優(yōu)化對(duì)于SVR算法預(yù)測(cè)效果提升最為明顯。SVR算法經(jīng)過貝葉斯優(yōu)化后，MSE降低了99.54%，MAE降低了94.63%，SMAPE降低了95.06%?？梢钥闯觯瑑?yōu)化后的SVR算法預(yù)測(cè)值最接近真實(shí)值，預(yù)測(cè)精度最高。

表3 優(yōu)化前后評(píng)價(jià)指標(biāo)對(duì)比Tab.3 Comparison of evaluation indicators before and after optimization

6 結(jié)論(Conclusion)

本文利用四種機(jī)器學(xué)習(xí)算法對(duì)滬深300股指期貨主力連續(xù)合約收盤價(jià)進(jìn)行預(yù)測(cè)研究，驗(yàn)證了機(jī)器學(xué)習(xí)算法對(duì)金融時(shí)序數(shù)據(jù)預(yù)測(cè)的可行性。通過對(duì)比貝葉斯優(yōu)化前后預(yù)測(cè)效果，驗(yàn)證了貝葉斯優(yōu)化對(duì)于機(jī)器學(xué)習(xí)算法預(yù)測(cè)效果提升的可得性。研究結(jié)果表明，RF和XGBoost可以實(shí)現(xiàn)對(duì)金融時(shí)序數(shù)據(jù)的準(zhǔn)確預(yù)測(cè)，而貝葉斯優(yōu)化可以顯著提升SVR算法的預(yù)測(cè)精度。

本文具有選用輸入指標(biāo)過于簡(jiǎn)略、模型優(yōu)化方法較為單一的局限性，可通過引入價(jià)值、技術(shù)、動(dòng)量、反轉(zhuǎn)、情緒等多種指標(biāo)構(gòu)建模型輸入，引入遺傳算法、粒子群算法、鯨魚優(yōu)化算法等多種超參數(shù)優(yōu)化方法提高模型魯棒性。