閆機(jī)超 鄭靜雅 孫勝耀

1(鄭州職業(yè)技術(shù)學(xué)院軟件工程系 河南 鄭州 450121)

2(河南大學(xué)計(jì)算機(jī)學(xué)院 河南 開封 475000)

0 引 言

混沌時間序列預(yù)測對于許多領(lǐng)域都是十分重要的技術(shù)手段,比如天氣預(yù)測、價格預(yù)測和成績預(yù)測等,因此得到了廣泛的關(guān)注[1-2]。然而,線性方法不足以學(xué)習(xí)時間序列的非線性模式,因此學(xué)者們開始將注意力放在非線性模型混沌時間序列預(yù)測的研究上[3]。

混沌動力系統(tǒng)中,由于各種因素的影響,存在著不穩(wěn)定的因素:線性相關(guān)、非線性決定機(jī)制、混沌機(jī)制、噪聲等。最大化信息開發(fā)(MIE)可以看作是充分提取數(shù)據(jù)中的特征并充分利用它們[4]。隨著神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的發(fā)展,MIE是學(xué)者們研究和追求的目標(biāo)。反向傳播算法利用反向傳播誤差來更新權(quán)重以減少輸出誤差,在一定程度上可以看作是MIE的早期階段[5]。此外,學(xué)者們開始關(guān)注網(wǎng)絡(luò)架構(gòu)的研究,以達(dá)到最大的功能利用率。文獻(xiàn)[6]近年來提出了密集網(wǎng)絡(luò)布局的層疊結(jié)構(gòu),通過創(chuàng)建更復(fù)雜的特征檢測器來追求信息的充分利用。文獻(xiàn)[7]提出了使用“門通道”來控制原始信息的傳輸,以避免信息丟失。文獻(xiàn)[8]提出的密集卷積網(wǎng)絡(luò)(DenseNet)保證了各層信息的直接連接,減少了特征的丟失。這些方法通過建立快捷連接來確保信息的完整性,但是為了獲得較好的預(yù)測效果,上述方法訓(xùn)練時間較長,需要的樣本較多,且模型的可解釋性較差。

為此,文獻(xiàn)[9]提出了廣義學(xué)習(xí)系統(tǒng)(BLS),該系統(tǒng)也使用層疊結(jié)構(gòu)來實(shí)現(xiàn)信息挖掘并進(jìn)行動態(tài)更新,因此,它不會經(jīng)歷長時間的訓(xùn)練過程。結(jié)構(gòu)化流形BLS(SM-BLS)則基于流形學(xué)習(xí)的無監(jiān)督人工學(xué)習(xí)和非均勻嵌入提取特征,挖掘時間序列潛在的確定性演化信息,提高模型的可解釋性[10]。文獻(xiàn)[11]提出了一種新的基于隨機(jī)擾動近似的正則化方法,并將其應(yīng)用于魯棒流形BLS中,用于噪聲時間序列的預(yù)測?？紤]到時間序列的時間特性,在BLS的特征節(jié)點(diǎn)中引入了一種儲層結(jié)構(gòu),用于時間序列的動態(tài)模式提取。雖然這幾種方法有效解決了訓(xùn)練時間與模型解釋性問題,但是仍舊未能充分挖掘混沌系統(tǒng)的演化信息,使得預(yù)測精度的提升有限。

為了解決上述問題,提出一種基于最大信息挖掘廣域?qū)W習(xí)系統(tǒng)的混沌時間序列預(yù)測模型,并在四個大規(guī)模數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn),結(jié)果證明了本文方法能夠有效提升預(yù)測效果。

1 相關(guān)研究

1.1 漏積分器回波狀態(tài)網(wǎng)絡(luò)

一個典型的回波狀態(tài)網(wǎng)絡(luò)(Echo State Networks,ESN)包含一個輸入層、一個輸出層和一個稱為池化層的隱藏層。從輸入層到隱藏層的權(quán)重Win和動態(tài)隱藏層的權(quán)重Wres是隨機(jī)生成的,而從隱藏層到輸出層Wout的權(quán)重矩陣是通過監(jiān)督學(xué)習(xí)得到的。令v(t)=[v1(t),v2(t),…,vN(t)]T,t=1,2,…,T表示為輸入時間序列,假設(shè)u(t)=v(t)為輸入序列,y(t)=v(t+τ)為輸出序列。改變步長τ可以實(shí)現(xiàn)不同時間域的預(yù)測?；緺顟B(tài)方程可以表示為:

x(t+1)=f[Winu(t+1)+Wresx(t)]

(1)

式中:x(t)∈RS×1表示網(wǎng)絡(luò)的第t步時間狀態(tài),S是隱藏層的維度;f(·)是輸出層的激活函數(shù),通常采用雙曲函數(shù)。當(dāng)t增大到無窮大時,當(dāng)前狀態(tài)對初始狀態(tài)的依賴性減小。

LIESNs是回聲狀態(tài)網(wǎng)絡(luò)ESN的一個變形網(wǎng)絡(luò)。其基本結(jié)構(gòu)與ESN相似。唯一的區(qū)別是,LIESNs的隱藏層包含泄漏的積分神經(jīng)元,這使得它能夠保持前一時刻的激活狀態(tài)。LIESNs的狀態(tài)方程如下:

x(t+1)=(1-a)f(Wresx(t)+Winu(t+1)+

Wbacky+ax(t))

(2)

式中:0

(3)

1.2 寬度學(xué)習(xí)系統(tǒng)

No-prop算法是克服局部最優(yōu)問題的一種有效算法,BLS是no-prop算法的一個演化,它可以動態(tài)更新且不需要重新訓(xùn)練。圖1描繪了BLS的結(jié)構(gòu),展示了信息傳播的方式以及不同權(quán)重的影響。

圖1 BLS結(jié)構(gòu)

在特征學(xué)習(xí)階段,將輸入轉(zhuǎn)換為特征節(jié)點(diǎn)并生成特征映射。假設(shè)一個BLS包含n組特征節(jié)點(diǎn)并且輸入為U,則特征映射為:

Zi=?(UWei+βei)i=1,2,…,n

(4)

式中:Wei和βei表示第i個特征映射節(jié)點(diǎn)的權(quán)重和偏差;?(·)表示特征映射節(jié)點(diǎn)的激活函數(shù)。將特征映射的輸出作為P=[Z1,Z2,…,Zn],P表示不同生成模式下的所有特征映射。特征提取中的非線性學(xué)習(xí)能力由增強(qiáng)型節(jié)點(diǎn)來補(bǔ)償。這些特征被隨機(jī)映射到增強(qiáng)節(jié)點(diǎn)。假設(shè)增強(qiáng)層中有m個節(jié)點(diǎn),則公式如下:

Hj=ξj(PWhj+βhj)j=1,2,…,m

(5)

式中:特征和第j層的增強(qiáng)節(jié)點(diǎn)之間的權(quán)重Whj和偏差βhj是隨機(jī)產(chǎn)生的,且具有適當(dāng)?shù)木S數(shù);ξj(·)表示第j個節(jié)點(diǎn)的激活函數(shù)。本文中激活函數(shù)為Sigmoid函數(shù)。增強(qiáng)層的整體輸出可以表示為:

Hm=[H1,H2,…,Hm]

(6)

則BLS被定義為:

Y=[Z1,Z2,…,Zn|H1,H2,…,Hm]W=[P|Hm]W

(7)

式中:W是BLS的輸出權(quán)重。

2 最大信息挖掘廣域?qū)W習(xí)系統(tǒng)

2.1 MIE-BLS

提出的MIE-BLS主要可以分為兩部分:基于改進(jìn)泄漏積分型隱藏層系統(tǒng)演化模式的發(fā)現(xiàn)和基于隨機(jī)映射的非線性動態(tài)特征的重新激活。首先,采用沒有非線性激活的改進(jìn)泄漏積分型動態(tài)隱藏層將系統(tǒng)的當(dāng)前狀態(tài)和歷史狀態(tài)進(jìn)行整合。其次,將模擬系統(tǒng)隱藏層的狀態(tài)發(fā)送到增強(qiáng)層,以提取非線性信息,并在大規(guī)模時間序列預(yù)測應(yīng)用中快速建模。此外,動態(tài)隱藏層和隨機(jī)非線性增強(qiáng)特征與輸出層同時連接。

假設(shè)重建的輸入數(shù)據(jù)矩陣為U=[u1,u2,…,uN]T∈RN×K,其中:N為樣本大小;K為輸入維數(shù)。為了模擬輸入時間序列的狀態(tài)演化信息,本文引入了一種改進(jìn)的泄漏積分型隱藏層來動態(tài)捕獲特征。滲漏積分神經(jīng)元的動態(tài)隱藏層狀態(tài)更新公式為:

x(t+1)=(1-a)f(Wresx(t)+Winu(t+1)+ax(t))

(8)

為了最大程度地挖掘信息,避免不同層之間的信息傳遞出現(xiàn)損失,在狀態(tài)更新公式中用一個完全線性傳遞方法代替非線性激活。

x(t+1)=(1-a)(Wresx(t)+Winu(t+1)+ax(t))

(9)

此線性傳遞方法使動態(tài)系統(tǒng)中的信息流最大化,激活了新狀態(tài)和歷史狀態(tài)之間的相互作用。為了避免隱藏層稀疏性帶來的不確定性,在模型中引入了全連接層。將所有更新后的隱藏層狀態(tài)定義為:

P=[x(1),x(2),…,x(N)]T

(10)

線性激活函數(shù)沒有復(fù)雜的映射功能,因此本文利用泄漏積分型隱藏層到增強(qiáng)層的隨機(jī)映射進(jìn)行復(fù)雜映射和快速建模,表示為:

Hj=ξ(PWhj+βhj)j=1,2,…,m

(11)

式中:Whj和βhj是隨機(jī)生成的,表示權(quán)重和偏差;P是隱藏層狀態(tài);m是增強(qiáng)節(jié)點(diǎn)的個數(shù)。增強(qiáng)層的輸出為Hm=[H1,H2,…,Hm]。Hj表示為映射值,假設(shè)U對應(yīng)的輸出為Y,則設(shè)計(jì)的模型的輸出可以表示為:

Y=[P|Hm]W=AW

(12)

式中:W是MIE-BLS的輸出權(quán)重;A=[P|Hm]W∈RN×(n+m)。層疊機(jī)制實(shí)現(xiàn)了將線性和非線性特征與輸出直接連接,恢復(fù)了增強(qiáng)層在傳輸中丟失的信息,彌補(bǔ)了網(wǎng)絡(luò)中的信息偏差。這里采用嶺回歸算法求出輸出矩陣:

W=(ATA+λI)-1ATY

(13)

式中:λ是正則化參數(shù)。嶺回歸用于計(jì)算輸出權(quán)重,因?yàn)樗梢杂行У胤乐惯^擬合現(xiàn)象。

2.2 最大程度利用信息

傳統(tǒng)的前向神經(jīng)網(wǎng)絡(luò)可以看作是面向狀態(tài)的計(jì)算技術(shù)。狀態(tài)在不同層之間傳輸。每層狀態(tài)的變化記錄了需要保留的信息。不同層之間傳輸存在信息丟失,這是不可避免的。所有的特征學(xué)習(xí)方法都可以看作是提取回歸/分類的本質(zhì)特征,避免信息丟失。從混沌時間序列預(yù)測的角度來看,MIE應(yīng)該最終利用混沌時間序列中的線性相關(guān)性、非線性確定性和混沌性。如圖2所示,采用了兩種基本機(jī)制來保證混沌動力學(xué)系統(tǒng)的MIE:改進(jìn)的泄漏積分隱藏層代表相互作用機(jī)制和具有隨機(jī)映射的增強(qiáng)層代表層疊機(jī)制。這兩項(xiàng)技術(shù)增強(qiáng)了MIE且將功能重新激活。

圖2 MIE理論描述

LIESNs隱藏層的結(jié)構(gòu)與ESN相似。在典型的ESN中,沒有單位內(nèi)存,并且隱藏層中的狀態(tài)取決于先前的非線性狀態(tài)。在LIESNs中,隱藏層中的狀態(tài)也依賴于歷史狀態(tài),同時保留了更多的時間演化動態(tài),便于時間序列預(yù)測。因此,泄漏積分型機(jī)制比標(biāo)準(zhǔn)ESN更適合于時間序列的動態(tài)建模。為了模擬混沌系統(tǒng)的動態(tài)演化過程,引入了改進(jìn)的泄漏積分型隱藏層。式(9)表明,隱藏層的泄漏積分型神經(jīng)元衡量歷史狀態(tài)和當(dāng)前狀態(tài),實(shí)現(xiàn)最后狀態(tài)和更新狀態(tài)之間的相互作用和相互補(bǔ)充。

隱藏層特征節(jié)點(diǎn)與輸出之間的增強(qiáng)層對提取的動態(tài)特征進(jìn)行非線性映射。然后,增強(qiáng)層和泄漏積分型動態(tài)特征傳輸?shù)捷敵鰧印Ｔ鰪?qiáng)層可以利用動態(tài)特征,且能夠容易地實(shí)現(xiàn)對非線性信息的探索和動態(tài)特征的重新激活。建立一條直接連接特征和輸出的短路徑,以補(bǔ)償傳輸中不可避免的信息丟失。采用層疊機(jī)制促進(jìn)信息的傳播和重利用,恢復(fù)傳輸時在不同層之間丟失的信息,并探索最大數(shù)量的信息。

2.3 與DenseNet、HighwayNet和ResNet的異同

(1) 與DenseNet的異同:本文提出的MIE-BLS與DenseNet在結(jié)構(gòu)上相似。兩者網(wǎng)絡(luò)的各層之間均采用層疊的方式。不同之處在于它們使用了不同的特征映射方法:DenseNet利用卷積神經(jīng)單元進(jìn)行圖像應(yīng)用,而MIE-BLS使用泄漏積分型神經(jīng)元進(jìn)行混沌動態(tài)發(fā)現(xiàn)。從結(jié)構(gòu)方面比較,MIE-BLS小得多,在某些情況下僅等效于四層密集模塊。

(2) 與HighwayNet的異同:在HighwayNet中有一個從輸入信號到隱藏層的門控通道。隱藏層不僅可以學(xué)習(xí)上一層的非線性激活信息,還可以通過快捷連接訪問原始信息。但是,MIE-BLS始終可以學(xué)習(xí)輸入的完整線性映射。而且,HighwayNet的權(quán)重需要訓(xùn)練和學(xué)習(xí),而MIE-BLS不需要。

(3) 與ResNet的異同:從特征重用的角度來看,提取恒等映射可以使網(wǎng)絡(luò)不必學(xué)習(xí)恒等映射,可以直接學(xué)習(xí)剩余部分,從而簡化了學(xué)習(xí)目的和難度,減少了信息的冗余。但是有可能只有少數(shù)幾個模塊學(xué)習(xí)了有用的表示,或者許多模塊共享很少的信息,從而對最終目標(biāo)的貢獻(xiàn)很小。

HighwayNet、ResNet和DenseNet都包含不同層之間的信息。與這三個網(wǎng)絡(luò)相比,本文提出的模型更適合于動力學(xué)建模和大規(guī)模混沌時間序列預(yù)測。除了信息利用層疊機(jī)制之外,這些網(wǎng)絡(luò)中還應(yīng)用了信息交互和探索的迭代機(jī)制。

2.4 隨機(jī)映射分析

假設(shè)高維特征為u∈Rm,低維特征為v∈Rn,隨機(jī)矩陣為A∈Rn×m,n<

(14)

式中:δ是非常小的正數(shù)。壓縮感知理論中的有限等距性質(zhì)證明存在一個滿足式(14)的固定隨機(jī)矩陣。同樣,JL定理也為上述結(jié)果提供了理論支持。

JL定理:假設(shè)存在U=[u1,u2,…,ud]∈Rm×d且0<δ<1,β>0,令:

(15)

對于U中的任何兩個向量ui、uj(i≠j),都有一個映射f:Rm→Rn。將映射f定義為隨機(jī)矩陣A,并將矩陣中的元素定義為A(i,j)=aij,此時,需要滿足:

(16)

文獻(xiàn)[8]證明了隨機(jī)高斯矩陣滿足條件。高斯隨機(jī)矩陣映射可以使向量之間保持適當(dāng)?shù)木嚯x。從本質(zhì)上講,所有由隨機(jī)投影實(shí)現(xiàn)的降維技術(shù)都是基于JL變換得到的。本文考慮在增強(qiáng)層中使用隨機(jī)高斯矩陣進(jìn)行映射,以保持隱藏層原始的動態(tài)關(guān)系。

算法1基于最大信息挖掘廣域?qū)W習(xí)系統(tǒng)的混沌時間序列預(yù)測算法

輸入:訓(xùn)練數(shù)據(jù),測試數(shù)據(jù)。

輸出:預(yù)測結(jié)果。

1.參數(shù)初始化:給定泄漏速率、隱藏節(jié)點(diǎn)、增強(qiáng)節(jié)點(diǎn)和迭代次數(shù)初始值;

2.首先構(gòu)建最大信息挖掘廣域?qū)W習(xí)系統(tǒng);

3.輸入訓(xùn)練數(shù)據(jù)進(jìn)行系統(tǒng)訓(xùn)練:

4.重建的輸入數(shù)據(jù)矩陣為U=[u1,u2,…,uN]T∈RN×K

5.根據(jù)式(9)狀態(tài)更新;

6.利用隨機(jī)映射式(11)進(jìn)行復(fù)雜映射和快速建模;

7.按照式(12)計(jì)算模型的輸出;

8.采用嶺回歸算法,即式(13)求出輸出矩陣W;

9.并訓(xùn)練得到相應(yīng)的特征映射節(jié)點(diǎn)的權(quán)重Wei和偏差βei以及增強(qiáng)節(jié)點(diǎn)之間的權(quán)重Whj和偏差βhj;

10.訓(xùn)練過程結(jié)束,得到訓(xùn)練的最大信息挖掘廣域?qū)W習(xí)系統(tǒng)模型;

11.將測試數(shù)據(jù)作為最大信息挖掘廣域?qū)W習(xí)系統(tǒng)模型的輸入;

12.輸出預(yù)測結(jié)果。

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集和實(shí)驗(yàn)方法

本文收集了四個混沌時間序列數(shù)據(jù)集。通過計(jì)算最大Lyapunov指數(shù),驗(yàn)證了兩個真實(shí)數(shù)據(jù)集的混沌特性。

(1) 洛倫茲時間序列:

(17)

當(dāng)α=10、β=8/3、γ=28時,系統(tǒng)表現(xiàn)出混沌特性。實(shí)驗(yàn)?zāi)M數(shù)據(jù)有50 000個樣本組。用嵌入維數(shù)[20,20,20]和延遲時間[1,1,1]分別將Lorenz時間序列重構(gòu)到相空間中。

(2) Rossler時間序列:

(18)

當(dāng)b=0.2、c=0.2、d=5.7時,系統(tǒng)表現(xiàn)出混沌特征。本實(shí)驗(yàn)用初始狀態(tài)[1,1,1]生成30 000組數(shù)據(jù),均勻嵌入維數(shù)為40,延遲時間為1。

(3) 北京空氣質(zhì)量指數(shù):北京每小時空氣質(zhì)量指數(shù)(AQI)數(shù)據(jù)采集地點(diǎn)是北京首都國際機(jī)場。2010年1月2日至2014年12月31日共采集43 824個小時的樣本,每組數(shù)據(jù)包括5個參數(shù):PM2.5、壓力、風(fēng)速、露點(diǎn)和溫度。將嵌入維數(shù)設(shè)置為[40,40,40,40,40],在PSR過程中延遲時間為[1,1,1,1,1]。

(4) 北京氣象數(shù)據(jù):這組數(shù)據(jù)是從2018年SIGGDD比賽中下載的。記錄了北京順義8782集團(tuán)2017年1月30日16:00至2018年1月31日15:00期間的氣象數(shù)據(jù),有溫度、壓力、濕度、風(fēng)向和風(fēng)速5個變量。對于缺失的值,采用三次樣條插值進(jìn)行填充。將嵌入維數(shù)和延遲時間分別設(shè)置為40和1。

3.2 實(shí)驗(yàn)結(jié)果分析

實(shí)驗(yàn)中,所有數(shù)據(jù)集按9∶1的比例分成訓(xùn)練集和測試集。本文選擇了一些其他方法進(jìn)行比較:長短期記憶網(wǎng)絡(luò)(LSTM)[12]、LIESN[13]、BLS[9]、FBLS[14]和SM-BLS[10]。用均方根誤差(RMSE)、歸一化均方根誤差(NRMSE)、平均絕對誤差(MAE)和對稱平均絕對百分比誤差(SMAPE)四個指標(biāo)來評價預(yù)測性能。

在實(shí)驗(yàn)中,泄漏積分型隱藏層的初始狀態(tài)被設(shè)為0。表1給出了一些重要的參數(shù)設(shè)置,其中隱藏節(jié)點(diǎn)包括LSTM的隱藏節(jié)點(diǎn)、LIESN和MIE-BLS中的隱藏層大小、SM-BLS中流形嵌入后的維數(shù)、FBLS中各模糊子系統(tǒng)中的規(guī)則、BLS中的特征節(jié)點(diǎn)。映射組是指FBLS中的模糊子系統(tǒng)和BLS、SM-BLS和MIE-BLS中的特征映射組。符號“-”表示對應(yīng)的參數(shù)無效。

表1 模擬實(shí)驗(yàn)參數(shù)設(shè)置

表2列出了Lorenz時間序列每一步預(yù)測的比較結(jié)果。結(jié)果表明,在Lorenz-x的預(yù)測中,MIE-BLS的效果優(yōu)于其他方法。在Lorenz-y和Lorenz-z的預(yù)測中,本文模型性能較好。Lorenz時間序列的每一步預(yù)測曲線如圖3所示。為了清楚地了解泄漏型隱藏層規(guī)模及其漏失率對Lorenz時間序列一步預(yù)測結(jié)果的影響,本文將其繪制成NRMSE的三維圖,如圖4所示。從圖4(a)可以清楚地了解到,隨著儲層尺寸的增加,總體NRMSE呈下降趨勢。此外,當(dāng)隱藏層的大小超過1 500時,NRMSE下降緩慢,并且總體下降幅度較小,訓(xùn)練時間迅速增加。因此,在圖4(c)中,當(dāng)隱藏層大小為1 500時,將NRMSE繪制為泄漏率的函數(shù)。通常,隨著泄漏率的降低,NRMSE逐漸減小。圖5的右上方顯示了最低NRMSE所在區(qū)域的曲線。可以看出,最小值是在1-a=0.99(a是泄漏率)下獲得的,它與表1中的參數(shù)相對應(yīng)。

表2 時間序列每一步預(yù)測的比較結(jié)果

(a) Lorenz-x

(a) 儲層尺寸與NRMSE

圖5 MIE-BLS對Rossler-v的一步預(yù)報(bào)結(jié)果

除了Lorenz時間序列模擬外,另一個有關(guān)Rossler時間序列的基準(zhǔn)問題測試實(shí)驗(yàn)驗(yàn)證了模型的有效性。其y序列的一步預(yù)測結(jié)果如表3所示。在本實(shí)驗(yàn)中,MIE-BLS的預(yù)測性能最好。圖5顯示了它的預(yù)測曲線和誤差,可以看出,誤差值基本不超過0.2。

表3 ROSSLER-y時間序列的一步預(yù)測性能的比較

本文還對北京市的兩組數(shù)據(jù)集進(jìn)行了MIE-BLS的進(jìn)一步驗(yàn)證。將PM2.5作為預(yù)測變量,北京市空氣質(zhì)量指數(shù)的一步預(yù)測對比結(jié)果見表4,三步預(yù)測結(jié)果對比見表5,可以看出,MIE-BLS在實(shí)際數(shù)據(jù)集的訓(xùn)練和測試過程中都取得了最好的效果。在表4和表5的大多數(shù)實(shí)驗(yàn)數(shù)據(jù)表明,測試集的訓(xùn)練結(jié)果優(yōu)于訓(xùn)練集。這對時間序列的分析是合理且實(shí)用的。與圖像不同,時間序列包含著豐富的動態(tài)信息。此外,混沌時間序列的演化不是一成不變的,它表現(xiàn)為線性相關(guān)、非線性確定性和混沌性。該數(shù)據(jù)集的時間跨度很長,訓(xùn)練集占總數(shù)據(jù)量的90%,包含有較大的波動和噪聲。而測試集的波動相對較小,比訓(xùn)練數(shù)據(jù)包含的噪聲少。相應(yīng)的三步預(yù)測曲線如圖6所示。雖然預(yù)測動態(tài)波動劇烈時的結(jié)果準(zhǔn)確率不高,但預(yù)測誤差在可接受范圍內(nèi)。

表4 北京市空氣質(zhì)量指數(shù)的一步預(yù)測性能的比較

表5 北京市空氣質(zhì)量指數(shù)的三步預(yù)測性能的比較

圖6 MIE-BI三步預(yù)測PM2.5的結(jié)果

北京市氣象資料進(jìn)一步證明了該方法的實(shí)用性和有效性。以溫度為預(yù)測變量,其預(yù)測誤差曲線如圖7所示。顯然,預(yù)測曲線基本符合原始數(shù)據(jù)曲線,誤差在可接受范圍內(nèi),無較大偏差。本文方法的一步預(yù)測結(jié)果與其他方法的比較如表6所示?？梢钥闯?盡管兩種方法的RMSE沒有太大差別,但SM-BLS的NRMSE是MIE-BLS的兩倍多。原因可能是本文方法可以動態(tài)捕捉時間信息,并成功地捕捉到混沌時間序列的峰值。

圖7 MIE-BLS一步預(yù)報(bào)溫度結(jié)果

LSTM的性能并不令人滿意。一方面,LSTM的時間復(fù)雜度高、訓(xùn)練難度大;另一方面,由于遞歸網(wǎng)絡(luò)的結(jié)構(gòu),LSTM雖然具有短期記憶能力,但特征信息的有效利用對預(yù)測也起著重要作用。與深層神經(jīng)網(wǎng)絡(luò)相比,MIE-BLS具有快速訓(xùn)練的特點(diǎn)。MIE-BLS的性能優(yōu)于LIESN。這主要是因?yàn)樘卣骱驮鰪?qiáng)層輸出之間的層疊補(bǔ)償了在傳輸過程中丟失的信息及具有特征重利用功能。雖然LIESN能夠捕捉到輸入的有效特征,但在描述輸入和輸出之間的關(guān)系方面不如MIE-BLS。此外,FBLS還應(yīng)用于圖像分類和時間序列預(yù)測。為了平衡圖像信息的處理,這種方法可能缺乏一種獨(dú)特的時間序列處理機(jī)制,因此通常應(yīng)用于多個實(shí)驗(yàn)中。與本文方法中最大化信息利用的思想不同,SM-BLS主要用于提取時間序列的多種信息,并選擇一些包含更多動態(tài)信息的流形特征,這些特征值通常較小。因此,忽視了信息的完整性。與其他基于BLS的方法相比,本文方法更注重特征信息的利用,特別是混沌時間序列信息的利用。本文方法既考慮了混沌時間序列的時間特性,又最大程度地利用了演化信息。

4 結(jié) 語

為了進(jìn)一步挖掘混沌系統(tǒng)的演化信息,提升預(yù)測精度,減少訓(xùn)練時間,提出一種基于最大信息挖掘廣域?qū)W習(xí)系統(tǒng)的大規(guī)模混沌時間序列預(yù)測模型。通過四個大規(guī)模數(shù)據(jù)集實(shí)驗(yàn)得出如下結(jié)論:

(1) 與深層神經(jīng)網(wǎng)絡(luò)相比,MIE-BLS具有快速訓(xùn)練的特點(diǎn),能夠有效地減少訓(xùn)練時間,為在大規(guī)模數(shù)據(jù)集上的應(yīng)用提供了可能。

(2) 因?yàn)樘卣骱驮鰪?qiáng)層輸出之間的層疊補(bǔ)償了在傳輸過程中丟失的信息,本文方法更注重特征信息的利用,特別是混沌時間序列信息的利用,能夠有效解決混沌時間序列預(yù)測問題。

(3) 本文方法既考慮了混沌時間序列的時間特性,又最大程度地利用了演化信息,有效地實(shí)現(xiàn)了充分的信息挖掘,提升了預(yù)測的精度。