莫世冰 林暉竣 陳云偉 梁毅 王振坤

摘? 要：金融商品價(jià)格作為一種經(jīng)典的時(shí)間序列，其變化通常表現(xiàn)為非線性、非平穩(wěn)性及高波動(dòng)性，使用單一的模型較難實(shí)現(xiàn)對(duì)金融商品價(jià)格的準(zhǔn)確預(yù)測(cè)。文章基于小波分析建立ARIMA-Transformer組合模型，從不同維度分析時(shí)間序列的隨機(jī)波動(dòng)、循環(huán)變化、周期變化等變化規(guī)律，對(duì)比特幣的價(jià)格進(jìn)行時(shí)間窗口滾動(dòng)式預(yù)測(cè)，預(yù)測(cè)結(jié)果與實(shí)際的比特幣價(jià)格走勢(shì)大致相同，表明該模型可作為交易者的參考投資模型。

關(guān)鍵詞：Transformer模型;多頭注意力模型;小波分析;比特幣預(yù)測(cè)

中圖分類號(hào)：TP391? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2096-4706（2022）03-0032-04

Bitcoin Price Prediction of Arima-Transformer Combination Model Based on Wavelet Analysis

MO Shibing， LIN Huijun， CHEN Yunwei， LIANG Yi， WANG Zhenkun

（South China Agricultural University， Guangzhou? 510000， China）

Abstract： As a kind of classical time series， the price change of financial goods usually shows nonlinear， non-stationary and high volatility. It is difficult to accurately predict the price of financial goods by using a single model. This paper establishes ARIMA-Transformer combination model based on wavelet analysis， analyzes the change laws of random fluctuation， cyclic change and periodic change of time series from different dimensions， makes time window rolling prediction of bitcoin price. The prediction results are roughly the same as the actual price trend of bitcoin， indicating that this model can be used as a reference investment model for traders.

Keywords： Transformer model; multi-head attention model; wavelet analysis; bitcoin forecast

0? 引? 言

隨著數(shù)據(jù)化的發(fā)展，現(xiàn)代貨幣呈現(xiàn)出虛擬化的特性，以比特幣為代表的一些數(shù)據(jù)取得了快速的發(fā)展[1，2]，但由于政策、經(jīng)濟(jì)形勢(shì)以及許多不確定因素的影響，比特幣的交易價(jià)格呈現(xiàn)出非線性、非平穩(wěn)性以及高波動(dòng)性的變化特點(diǎn)，這為比特幣價(jià)格的預(yù)測(cè)提出一個(gè)極大的難題。

對(duì)于金融商品的預(yù)測(cè)，一些研究通過結(jié)合神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)，建立多層LSTM及雙向LSTM模型，與傳統(tǒng)的ARIMA、LSTM、SVM模型相比，多層LSTM及雙向LSTM模型可以有效地對(duì)黃金期貨價(jià)格做出預(yù)測(cè)[3]。張寧、Chandrasekar Ravi等學(xué)者建立了基于LSTM的混合模型，對(duì)比特幣價(jià)格的變動(dòng)趨勢(shì)做出較為準(zhǔn)確的預(yù)測(cè)[4，5]。此外，一些研究通過結(jié)合小波分析，從不同緯度分析價(jià)格變化，實(shí)現(xiàn)對(duì)比特幣價(jià)格走勢(shì)的準(zhǔn)確預(yù)測(cè)[6，7]。

總而言之，建立深度學(xué)習(xí)組合預(yù)測(cè)模型[8]，并且結(jié)合分解重構(gòu)算法對(duì)數(shù)據(jù)進(jìn)行多維度的時(shí)序分析，是目前較為主流的預(yù)測(cè)方法，可以提高比特幣價(jià)格預(yù)測(cè)的準(zhǔn)確性。

原始Transformer模型因其出色的注意力機(jī)制，常被應(yīng)用于自然語言處理、圖像處理等領(lǐng)域并取得很好的效果，但因其點(diǎn)積注意力機(jī)制（Dot-product self-attention）對(duì)本地上下文不敏感，這可能使模型在時(shí)間序列中容易出現(xiàn)異常，空間復(fù)雜度隨著輸入序列的延長(zhǎng)呈二次增長(zhǎng)，這也導(dǎo)致對(duì)長(zhǎng)時(shí)間序列建模不可行，對(duì)此，李等人創(chuàng)新地采用了改進(jìn)的Transformer模型進(jìn)行時(shí)間序列預(yù)測(cè)。

1? 基于小波分析的ARIMA-Transformer預(yù)測(cè)模型

1.1? 小波分析

1.1.1? 小波分解

如果存在ψ（t）∈L?（R），L?（R）是由一組平方可積的函數(shù)構(gòu)成的函數(shù)空間，且ψ（t）滿足容許性條件，滿足-INF～+INF的積分為0，即，此時(shí)ψ稱為一個(gè)基波函數(shù)。基波函數(shù)是指具有震蕩性，能夠迅速減小到0的一類函數(shù)，是小波分析的關(guān)鍵。通過對(duì)ψ調(diào)整平移因子和伸縮因子，將原始信號(hào)分解成相互正交時(shí)頻信號(hào)，即近似系數(shù)和細(xì)節(jié)系數(shù)，近似系數(shù)代表了價(jià)格數(shù)據(jù)的低頻信息部分，細(xì)節(jié)系數(shù)代表了價(jià)格數(shù)據(jù)的高頻信息部分。

假設(shè)C0是時(shí)間序列數(shù)據(jù)，采用Python算法對(duì)價(jià)格進(jìn)行分解，分解公式為：

其中，Cj+1（k）為第j+1層低頻系數(shù)，h為低頻分解濾波器，m、k為平移系數(shù)，Cj（m）為第j層低頻系數(shù)，Dj+1（k）為第j+1層高頻系數(shù)，g為高頻分解濾波器，Dj（m）為第j層高頻系數(shù)。

1.1.2? 小波重構(gòu)2BE22783-D69A-47F0-93D0-1EB02B3C6EA3

小波重構(gòu)是小波分解的反向過程，通過對(duì)處理后的低高頻信號(hào)進(jìn)行重構(gòu)，可以預(yù)測(cè)出黃金、比特幣價(jià)格的走勢(shì)，從而更好地制定交易策略。重構(gòu)的公式可表示為：

其中，為低頻重構(gòu)濾波器，為高頻重構(gòu)濾波器。

1.2? 差分自回歸移動(dòng)平均模型

1.2.1? 模型原理

如果時(shí)間序列記為{Xt}，則ARIMA（p，d，q）模型的表達(dá)式為：

其中，p為自回歸階數(shù)，d為差分階數(shù)，q為移動(dòng)平均階數(shù)，Xt為時(shí)間序列中第t期的值，L為時(shí)間序列中每一期的滯后算子，為AR參數(shù)，而為MA參數(shù)。

1.2.2? 模型求解過程

如圖1所示，ARIMA模型的參數(shù)p、q、d將通過Q檢驗(yàn)、平穩(wěn)性檢驗(yàn)以及AIC和BIC準(zhǔn)則來選擇。在每次預(yù)測(cè)之前，對(duì)時(shí)間序列進(jìn)行Q檢驗(yàn)，然后設(shè)定盡可能選擇較低的差分次數(shù)d，以達(dá)到平穩(wěn)性的要求，再利用AIC原則判斷p、q的值，從而選定所使用的ARIMA模型。

1.3? Transformer模型

常規(guī)的transformer模型一般用于解決翻譯問題，也就是給定一個(gè)詞語x，通過訓(xùn)練得到的transformer映射為y。記transformer處理數(shù)據(jù)過程為f，那么就有f：x—y。假設(shè)有一個(gè)序列[x1，x2，x3…xn]，其經(jīng)過f映射得到[y1，y2，y3…yn]，這種情況下，x與y的位置是一一對(duì)應(yīng)的，它不具有預(yù)測(cè)的能力，也就是不可能映射出現(xiàn)yn+1，若需要對(duì)序列進(jìn)行預(yù)測(cè)，也就是給定序列[x1，x2，x3…xn]由f映射得到[xn+1，xn+2，xn+2…x2n]，在訓(xùn)練transformer時(shí)可以對(duì)給定的序列進(jìn)行錯(cuò)位操作，如圖2所示，也就是以[x1，x2…xn-1]作為訓(xùn)練集，以[x2，x3…xn]作為標(biāo)簽，這樣transformer就可以從x1預(yù)測(cè)得到x2，從x2預(yù)測(cè)得到x3。

根據(jù)比特幣指數(shù)的走向，可判斷出比特幣未來的走向只與短期內(nèi)的歷史值有關(guān)，在得知前t天的歷史值，并且知道當(dāng)天、第t天真實(shí)值的情況下，可以將由前t天的歷史值組成的序列x作為訓(xùn)練樣本，將由前t-1天與第t天的真實(shí)值組成的序列y作為標(biāo)簽。經(jīng)過訓(xùn)練得到的transformer模型權(quán)重以y作為輸入，即可實(shí)現(xiàn)預(yù)測(cè)后t天的值。

1.3.1? transformer模型結(jié)構(gòu)原理

如圖3所示，模型分為Input、Encoder Block、Decoder Block和Output四個(gè)部分，在輸入模塊輸入一個(gè)序列X=[x1，x2…xn]，Encoder Block、Decoder Block利用輸入序列X=[x1，x2…xn]進(jìn)行線性變換，softmax函數(shù)向輸出模塊提供一個(gè)狀態(tài)集Y=[y1，y2…yn]，yn∈（0，1）。

1.3.2? transformer encoder

1.3.2.1? 位置編碼

若要挖掘序列的順序信息，需要將序列xi∈X的相對(duì)和絕對(duì)位置信息注入到模型中去。因此在輸入的基礎(chǔ)上增添了位置編碼，位置編碼的計(jì)算公式為：

1.3.2.2? 注意力模型

圖4是注意力模型的基本結(jié)構(gòu)，注意力是利用key和value記錄已學(xué)習(xí)的參數(shù)，同時(shí)查找query得到模型的輸出。每個(gè)value的權(quán)重是根據(jù)query和相應(yīng)的key通過以下公式計(jì)算出來的：

score=Q · KT

注意力函數(shù)輸出矩陣可以按照以下公式計(jì)算：

2? 實(shí)例分析

2.1? 比特幣價(jià)格預(yù)測(cè)

為了驗(yàn)證系統(tǒng)模型的有效性，本文選擇2016-9-11至2021-9-11的比特幣價(jià)格數(shù)據(jù)作為模型運(yùn)算數(shù)據(jù)，實(shí)驗(yàn)用的處理器為Intel（R） Core（TM） i5-9300H CPU @ 2.40 GHz，內(nèi)存為8.00 GB，操作系統(tǒng)為Windows10 64位操作系統(tǒng)。

模型利用過去t天的價(jià)格數(shù)據(jù)，對(duì)未來f天的價(jià)格走勢(shì)進(jìn)行窗口滾動(dòng)式的時(shí)間序列預(yù)測(cè)。以下是采用Python語言和db4小波基對(duì)比特幣價(jià)格原始序列進(jìn)行小波分解得到的結(jié)果，圖5、圖6、圖7、圖8為比特幣價(jià)格時(shí)序圖及小波分解的結(jié)果圖。

分解后的序列不但使信息更加集中清晰，而且保存了信息的時(shí)頻特征。圖6低頻信息體現(xiàn)了比特幣價(jià)格的大致走勢(shì)，圖7、圖8體現(xiàn)了比特幣價(jià)格的隨機(jī)波動(dòng)、循環(huán)變化以及周期變化。

2.2? 單支重構(gòu)

2.2.1? ARIMA模型對(duì)高頻信號(hào)的預(yù)測(cè)

對(duì)于價(jià)格高頻細(xì)節(jié)的分析，首先通過Q檢驗(yàn)進(jìn)行時(shí)間序列的白噪聲檢驗(yàn)，然后選擇t日內(nèi)的數(shù)據(jù)（t=7）進(jìn)行平穩(wěn)性分析，確定差分系數(shù)d，再通過比較模型的AIC與BIC來最終確定適用的ARIMA（p，d，q）模型，對(duì)之后的f天進(jìn)行預(yù)測(cè)。以此為基本單元，滾動(dòng)模型工作窗口，遍歷所有的天數(shù)從而得到每一日往后f天的高頻序列預(yù)測(cè)。以下是t=7時(shí)，模型對(duì)比特幣價(jià)格高頻序列進(jìn)行預(yù)測(cè)得到的結(jié)果。

如圖9、圖10是當(dāng)選取f=7時(shí)，ARIMA模型對(duì)某日的比特幣價(jià)格高頻信號(hào)未來7天的趨勢(shì)預(yù)測(cè)，紅線為真實(shí)值，藍(lán)線為預(yù)測(cè)值，結(jié)果能夠反映所建立的模型能夠很好地預(yù)測(cè)出高頻信號(hào)的變化規(guī)律。

2.2.2? Transformer模型對(duì)低頻信號(hào)的預(yù)測(cè)

Transformer模型采用的參數(shù)如表1所示。

如圖11所示，當(dāng)選取f=7時(shí)，Transformer神經(jīng)網(wǎng)絡(luò)框架對(duì)某日的比特幣價(jià)格低頻信號(hào)未來7天的走勢(shì)預(yù)測(cè)，實(shí)線為真實(shí)值，虛線為預(yù)測(cè)值，結(jié)果表明所建立的模型能夠很好地預(yù)測(cè)出高頻信號(hào)的變化規(guī)律。

2.3? 重構(gòu)信息實(shí)現(xiàn)價(jià)格預(yù)測(cè)2BE22783-D69A-47F0-93D0-1EB02B3C6EA3

對(duì)t天內(nèi)高低頻分量的預(yù)測(cè)結(jié)果進(jìn)行小波重構(gòu)，就可以將價(jià)格高低頻信號(hào)預(yù)測(cè)的未來f天的結(jié)果進(jìn)行整合，從而實(shí)現(xiàn)對(duì)當(dāng)日未來f天比特幣價(jià)格的預(yù)測(cè)。將所有天數(shù)的預(yù)測(cè)數(shù)據(jù)進(jìn)行組合，結(jié)果如圖12所示，可以看出小波重構(gòu)的比特幣預(yù)測(cè)價(jià)格走勢(shì)與比特幣真實(shí)價(jià)格走勢(shì)基本一致，滿足預(yù)測(cè)要求，為實(shí)現(xiàn)最佳交易決策的制定提供良好的數(shù)據(jù)條件。

3? 結(jié)? 論

金融商品價(jià)格作為一種經(jīng)典的時(shí)間序列，通常表現(xiàn)出非線性、非平穩(wěn)和高波動(dòng)性，用單一的模型難以實(shí)現(xiàn)預(yù)測(cè)目的，目前主流的研究方法主要有深度學(xué)習(xí)和多模型組合預(yù)測(cè)。本文基于小波分析，從多維度分析序列信息，建立Arima-Transformer模型進(jìn)行窗口滾動(dòng)預(yù)測(cè)，對(duì)比特幣價(jià)格的預(yù)測(cè)效果較好，可作為研究金融商品價(jià)格走勢(shì)的參考。

參考文獻(xiàn)：

[1] 甘珂.比特幣價(jià)格影響因素分析 [D].武漢：華中師范大學(xué)，2021.

[2] 鄭步高，徐海東，李?yuàn)欔?數(shù)字貨幣的價(jià)格影響分析——以比特幣為例 [J].價(jià)格月刊，2021（8）：10-17.

[3] 劉璐，婁磊，劉先俊，等.基于LSTM的COMEX黃金期貨價(jià)格預(yù)測(cè)對(duì)比研究 [J].長(zhǎng)春理工大學(xué)學(xué)報(bào)（自然科學(xué)版），2021，44（2）：129-135.

[4] 張寧，方靖雯，趙雨宣.基于LSTM混合模型的比特幣價(jià)格預(yù)測(cè) [J].計(jì)算機(jī)科學(xué)，2021，48（S2）：39-45.

[5] RAVI C. Fuzzy Crow Search Algorithm-Based Deep LSTM for Bitcoin Prediction [J]. International Journal of Distributed Systems and Technologies （IJDST），2020，11（4）：53-71.

[6] 景志剛，施國良.基于小波分析的LS-SVM—ARIMA組合模型的黃金價(jià)格預(yù)測(cè) [J].黃金，2017，38（5）：5-8+14.

[7] 段格格.基于ARIMA模型的比特幣價(jià)格預(yù)測(cè)研究 [J].現(xiàn)代營(yíng)銷（下旬刊），2021（1）：27-29.

[8] 梁秋，王凡彬，余龍秀，等.基于小波分析的比特幣價(jià)格預(yù)測(cè) [J].內(nèi)江科技，2015，36（5）：129-130.

作者簡(jiǎn)介：莫世冰（2000.02—），男，漢族，廣東湛江人，本科在讀，研究方向：通信技術(shù)、深度學(xué)習(xí)、視頻壓縮編碼;林暉竣（2000.03—），男，漢族，廣東韶關(guān)人，本科在讀，研究方向：MRI圖像重建、深度學(xué)習(xí);陳云偉（2000.06—），男，漢族，廣東深圳人，本科在讀，研究方向：圖像處理、數(shù)據(jù)分析、單片機(jī);梁毅（2000.11—），男，漢族，廣東佛山人，本科在讀，研究方向：電子信息;王振坤（2001.10—），男，漢族，海南?？谌?，本科在讀，研究方向：通信工程。2BE22783-D69A-47F0-93D0-1EB02B3C6EA3