侯文濤,柴鑫杰,趙曉樂

(1.運(yùn)城學(xué)院 數(shù)學(xué)與信息技術(shù)學(xué)院,山西 運(yùn)城 044000;2.北方民族大學(xué) 數(shù)學(xué)與信息科學(xué)學(xué)院,銀川 750021)

混沌系統(tǒng)是指一類非線性動力學(xué)系統(tǒng),表現(xiàn)出一些隨機(jī)、不可預(yù)測的運(yùn)動行為,其運(yùn)動過程是高度敏感的,即微小的初始條件差異可能就會導(dǎo)致非常大的行為差異[1]?；煦缦到y(tǒng)的預(yù)測一直是研究者關(guān)注的熱點(diǎn)問題之一。然而,現(xiàn)實(shí)生活中的混沌系統(tǒng)往往還會受到外界噪聲的干擾,并且這種干擾是不可避免的[2]。因此在預(yù)測混沌系統(tǒng)未來演化的研究中,考慮噪聲的影響尤為重要[3,4]。數(shù)據(jù)科學(xué)和大數(shù)據(jù)背景下, 機(jī)器學(xué)習(xí)技術(shù)在各個領(lǐng)域都取得了突出的成果[5-7]。各種具有強(qiáng)大擬合和預(yù)測能力的機(jī)器學(xué)習(xí)算法豐富了混沌系統(tǒng)的預(yù)測方法[8-13]。支持向量回歸(Support Vector Regression, SVR)是一種基于統(tǒng)計(jì)學(xué)習(xí)理論的機(jī)器學(xué)習(xí)算法,它具有強(qiáng)大的泛化能力和較好的預(yù)測性能,在非線性系統(tǒng)的預(yù)測中具有廣泛的應(yīng)用。因此, 將SVR應(yīng)用于混沌系統(tǒng)的預(yù)測研究,具有很大的潛力和發(fā)展前景[14]。基于此,本文旨在基于SVR探討Gaussian噪聲和Lévy噪聲激勵下混沌系統(tǒng)的預(yù)測問題。

1 理論介紹

1.1 支持向量回歸

支持向量機(jī)[14]的回歸算法又稱支持向量回歸。假設(shè)給定一個樣本集

Dtrn={(xi,yi)∶i=1,2,…,m},

其中yi∈R,是樣本的標(biāo)簽值,那么模型可以表示為

f(x)=wTx+b,

其中w是權(quán)重項(xiàng),b是偏置項(xiàng)。通過計(jì)算使f(x)可以和y之間最多可以有的偏差。定義SVR的不敏感損失函數(shù)為Lε,表達(dá)式為

根據(jù)結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則,SVR的結(jié)構(gòu)風(fēng)險(xiǎn)為

(1)

其中C是正則項(xiàng),即懲罰參數(shù)。將(1)式轉(zhuǎn)化為最優(yōu)問題為

1.2 噪聲理論

Gaussian噪聲是一種常見的隨機(jī)信號,其特點(diǎn)是由一組服從正態(tài)分布的隨機(jī)變量構(gòu)成。正態(tài)分布又稱Gaussian分布,是一種連續(xù)的概率分布,可以用其概率密度函數(shù)來描述。因此Gaussian噪聲在各個領(lǐng)域中都有著廣泛的應(yīng)用,例如通信、圖像處理、聲音處理等[3,4]。

許多研究表明,真實(shí)的觀測數(shù)據(jù)通常表現(xiàn)為突變或爆發(fā)。由Lévy噪聲驅(qū)動的動力系統(tǒng)可以更準(zhǔn)確地對它們進(jìn)行建模。Lévy噪聲表現(xiàn)出大量的微小波動,或有強(qiáng)烈的“跳躍”,有望成為描述非線性系統(tǒng)中固有的隨機(jī)波動的有力工具。它已經(jīng)在不同領(lǐng)域被檢測到,Lévy噪聲擾動的隨機(jī)模型受到學(xué)者們的廣泛關(guān)注[2]。

1.3 精度計(jì)算

本文采用均方誤差損失函數(shù)(MSE)和相對度量R2評分來評估模型的預(yù)測精度和預(yù)測性能[3,4]。MSE和R2評分定義為

2 噪聲激勵下混沌系統(tǒng)預(yù)測

2.1 Henon混沌系統(tǒng)

Henon是一種經(jīng)典的二維動力系統(tǒng),由法國數(shù)學(xué)家Michel Hénon在1976年提出[4]。Henon映射的定義為

其中a和b是常數(shù),xn和yn是映射的前一個狀態(tài)。當(dāng)a=1.4和b=0.3時,Henon系統(tǒng)表現(xiàn)出混沌行為。

2.2 數(shù)據(jù)的收集與整理

我們選取Henon映射的控制參數(shù)a和b分別為1.4和0.3,初始狀態(tài)x0和y0分別隨機(jī)取為0.1和0.1。分量x產(chǎn)生2000點(diǎn),丟棄初始的10000點(diǎn),使序列完全進(jìn)入混沌狀態(tài),取之后的10000點(diǎn)構(gòu)成一維無噪聲混沌序列,對Henon系統(tǒng)的混沌狀態(tài)進(jìn)行觀察。將收集到的10000個數(shù)據(jù)進(jìn)行相空間重構(gòu),利用自相關(guān)法[14]確定延遲階數(shù)為1,Cao的方法[14]確定嵌入維數(shù)為3。

為了量化Gaussian噪聲和Lévy噪聲的影響,我們在無噪聲的確定性數(shù)據(jù)中分別添加了Gaussian擾動和α-穩(wěn)定Lévy擾動。并且考慮了三種不同的噪聲水平,將標(biāo)準(zhǔn)差設(shè)置為無噪聲數(shù)據(jù)標(biāo)準(zhǔn)差的0.5%、1%和5%。

將數(shù)據(jù)劃分為訓(xùn)練集和測試集。其中訓(xùn)練集占85%,也即10000點(diǎn)中的前8500點(diǎn);測試集占15%,也即10000點(diǎn)中的后1500點(diǎn)。

2.3 噪聲激勵下混沌系統(tǒng)預(yù)測

現(xiàn)對0%(無噪聲)、0.5%、1%和5%Gaussian噪聲激勵下的Henon混沌時間序列基于SVR模型進(jìn)行擬合。SVR網(wǎng)格搜索[15]中,網(wǎng)格搜索取值點(diǎn)如表1所示。

表1 SVR網(wǎng)格搜索超參數(shù)取值點(diǎn)

我們一共需要訓(xùn)練3×5×3=45個不同的SVR模型,采用網(wǎng)格搜索的交叉驗(yàn)證方法,從中選取MSE最小的模型超參數(shù)作為最優(yōu)的SVR超參數(shù)配置。然后在整個訓(xùn)練集上重新進(jìn)行一次訓(xùn)練,作為最終的SVR模型。選取時間序列交叉驗(yàn)證的折數(shù)為5。以0%(無噪聲)數(shù)據(jù)作為參照,最終選擇的模型超參數(shù)是:核函數(shù)為RBF核,C=100,ε=0.001。將最終選擇的模型應(yīng)用于擬合0.5%、1%和5%Gaussian噪聲激勵下的Henon混沌時間序列,最終的擬合效果詳見圖1(a—d)。

a-0%無噪聲;b-0.5%Gaussian噪聲;c-1%Gaussian噪聲;d-5%Gaussian噪聲。圖1 Gaussian噪聲激勵下模型擬合預(yù)測效果圖

同理,將最終選擇的模型應(yīng)用于擬合0.5%、1%和5%Lévy噪聲激勵下的Henon混沌時間序列。最終的擬合效果詳見圖2(a—d)。

計(jì)算不同水平Gaussian噪聲和Lévy噪聲下的精度指標(biāo)MSE和R2,詳見表2。由圖1(a—d),圖2(a—d)和表2可知,隨著噪聲水平的增加,MSE越來越大,R2越來越小。說明受噪聲水平的影響,混沌系統(tǒng)的預(yù)測性能越來越差。相比于Gaussian噪聲,Lévy噪聲對混沌系統(tǒng)預(yù)測的影響程度更大。

表2 和隨噪聲水平的變化表

3. 基于噪聲混沌理論的股票價格預(yù)測

股票市場是一個充滿不確定性的復(fù)雜系統(tǒng),這種不確定性主要是由各種因素的干擾造成,投資者需要通過分析市場趨勢來做出決策。在一個較短的時間內(nèi)股票價格的變化具有很強(qiáng)的規(guī)律性,是一種介于隨機(jī)和確定性之間的混沌現(xiàn)象[16,17]。

雖說股票價格有較強(qiáng)的隨機(jī)性,但也不是不可預(yù)測的。股票市場中最直觀的屬性便是每日開盤價,而股票每日的開盤價是受前幾日的交易情況影響的,并且與最高價、最低價、收盤價和成交量等指標(biāo)關(guān)系緊密。因此選取這四個指標(biāo)來預(yù)測股市短期內(nèi)的開盤價是有意義的。

3.1 股票價格數(shù)據(jù)的收集及整理

茅臺股票是中國股市中的一只藍(lán)籌股,其價格波動較大。本文借助混沌理論對茅臺股票的開盤價進(jìn)行預(yù)測,數(shù)據(jù)來自于Yahoo Finance網(wǎng)站https://finance.yahoo.com。數(shù)據(jù)選取的時間段為2010年4月26日到2020年4月24日,共計(jì)2426個交易日。

首先驗(yàn)證茅臺開盤價數(shù)據(jù)的混沌性。經(jīng)計(jì)算,x軸的最大李雅普諾夫指數(shù)為347.1064,y軸的最大李雅普諾夫指數(shù)為192.1266,z軸的最大李雅普諾夫指數(shù)為114.1666。三個方向上的李雅普諾夫指數(shù)均為正數(shù),說明茅臺開盤價數(shù)據(jù)確實(shí)具有混沌特性[18]。進(jìn)一步,由于五個指標(biāo)之間的數(shù)量級相差十分巨大,所以對原始數(shù)據(jù)進(jìn)行歸一化處理,使所有數(shù)據(jù)的取值都集中在0～1之間。最后將歸一化后的茅臺股票數(shù)據(jù)分成訓(xùn)練集和測試集,其中訓(xùn)練集包含前85%的數(shù)據(jù),測試集包含后15%的數(shù)據(jù)。

3.2 股票價格數(shù)據(jù)的降噪

由于股票市場的異常復(fù)雜性和非線性,股票數(shù)據(jù)序列本身是含有大量噪聲的,這些噪聲肯定會影響預(yù)測的準(zhǔn)確率和有效性。根據(jù)2.3可知噪聲會嚴(yán)重影響預(yù)測的性能,因此在對股票序列進(jìn)行預(yù)測分析之前,必要對序列進(jìn)行降噪。

小波變換是一種常用的信號處理技術(shù),可以用來對時間序列數(shù)據(jù)進(jìn)行奇異值降噪處理,消除數(shù)據(jù)中的高頻噪聲,保留數(shù)據(jù)中的低頻信息[19]。本節(jié)使用小波變換對茅臺股票價格數(shù)據(jù)進(jìn)行降噪處理,降噪結(jié)果如圖3所示。其中(a)表示降噪前的原始信號,(b)表示經(jīng)過小波變換降噪后的信號。由圖3可知,降噪后的信號比原始信號更加平滑,去除了大部分的噪聲信號。

圖3 降噪前后股票價格歸一化數(shù)據(jù)比較圖,降噪前(a),降噪后(b)

3.3 股票價格的預(yù)測

現(xiàn)基于整理好的茅臺股票開盤價、最高價、最低價、收盤價和成交量五個指標(biāo)數(shù)據(jù),利用SVR對開盤價進(jìn)行擬合[20,21]。SVR網(wǎng)格搜索中,網(wǎng)格搜索取值點(diǎn)如表1所示。

最終選擇的SVR模型超參數(shù)是:核函數(shù)為RBF核,C=1000,ε=0.1。SVR在測試集上的均方誤差為=7.88389e-07,R2=0.9999890,詳見圖4(b)。比較未進(jìn)行降噪的擬合效果圖4(a),進(jìn)一步說明降噪后噪聲激勵下混沌時間序列的預(yù)測精度明顯得到改善。

圖4 降噪前后股票價格歸一化數(shù)據(jù)預(yù)測效果圖

4 結(jié)論與后續(xù)展望

該研究主要探討了噪聲激勵下混沌系統(tǒng)的預(yù)測問題,并以Henon映射為例,實(shí)證分析了Gaussian噪聲和Lévy噪聲對混沌系統(tǒng)預(yù)測性能的影響。研究表明噪聲水平越高,混沌系統(tǒng)的預(yù)測性能越差。Lévy噪聲對混沌系統(tǒng)預(yù)測性能的影響遠(yuǎn)大于Gaussian噪聲。接著借助茅臺股票價格數(shù)據(jù),進(jìn)一步說明噪聲將嚴(yán)重影響混沌系統(tǒng)的預(yù)測性能。最后,提出的小波變換降噪法對噪聲激勵下混沌系統(tǒng)的預(yù)測性能有明顯改善。

本文基于SVR完成了噪聲激勵對混沌系統(tǒng)預(yù)測性能影響的研究。后續(xù)研究工作的重點(diǎn)包括考慮使用神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)等方法提高模型的精度和魯棒性;考慮從多個方向探索混合噪聲及其處理方法,例如基于卷積神經(jīng)網(wǎng)絡(luò),混合神經(jīng)網(wǎng)絡(luò)等,提高模型對于噪聲的容忍度和預(yù)測精度;考慮從多個應(yīng)用場景出發(fā),探索不同混沌領(lǐng)域中時間序列的應(yīng)用和預(yù)測方法,提高模型的應(yīng)用價值和實(shí)用性。