楊光雨，李曉航

(1.國網河南省電力公司檢修公司, 鄭州 450000； 2. 國網河南省電力公司平頂山供電公司，河南 平頂山 467001)

0 引 言

混沌時間序列預測對于許多領域都是十分重要的技術手段，比如天氣預測、電力預測和成績預測等,因此得到了廣泛的關注[1-2]。然而，線性方法不足以學習時間序列的非線性模式，因此學者們開始將注意力放在非線性模型混沌時間序列預測的研究上[3-4]。

混沌動力系統(tǒng)中，尤其是電力負荷預測中，由于各種因素的影響，存在著不穩(wěn)定的因素：線性相關、非線性決定機制、混沌機制以及噪聲等[5-6]。最大化信息挖掘(Maximum Information Excavate，MIE)可以看作是充分提取數(shù)據(jù)中的特征并充分利用它們[7]。反向傳播算法利用反向傳播誤差來更新權重以減少輸出誤差，在一定程度上可以看作是MIE的早期階段[8]。此外，學者們開始關注網絡架構的研究，以達到最大的功能利用率。文獻[9]從實際運行的風電場獲得了相關風速、環(huán)境溫度和風電功率的歷史數(shù)據(jù)，建立了基于徑向基函數(shù)(Radial Basis Function，RBF)神經元網絡的短期風電功率預測模型。文獻[10]提出了基于粗糙集理論的改進神經網絡算法，并將其應用于短期負荷預測。文獻[11]采用主成分分析法(Principal Component Analysis，PCA)減少變量數(shù)，用神經網絡動態(tài)集成的方法構建出較強泛化能力的反向傳播(Back Propagation，BP)網絡集成。這些方法通過建立快捷連接來確保信息的完整性，但是為了獲得較好的預測效果，上述方法訓練時間較長，需要的樣本較多，且模型的可解釋性較差。

為提高預測速度，文獻[12]基于泄漏積分型回聲狀態(tài)網絡(Leaky Integral Echo State Network，LIESN)，提出了一種基于相似日和LS-SVM微網短期負荷預測方法。文獻[13]采用模糊寬度學習系統(tǒng)(Fuzzy Broad Learning System，F(xiàn)BLS)的負荷預測方法，可以有效降低學習時間。文獻[14]將隨機森林回歸算法引入電力系統(tǒng)短期負荷預測中一種基于聚類分析與隨機森林的短期負荷滾動預測模型。文獻[15]考慮到時間序列的時間特性，在寬度學習系統(tǒng)(Broad Learning System，BLS)的特征節(jié)點中引入了一種儲層結構，用于時間序列的動態(tài)模式提取。雖然這幾種方法有效解決了訓練時間與模型解釋性問題，但是仍舊未能充分挖掘混沌系統(tǒng)的演化信息，使得預測精度的提升有限。

為了提高電力負荷的預測精度，減少訓練時間，提出了一種基于MIE-BLS多核LS-SVM短期電力負荷預測。為了有效地捕捉電力負荷的非線性信息，引入了一種改進的漏積分器動態(tài)儲層，不僅可以獲取系統(tǒng)當前狀態(tài)的信息，而且可以學習歷史信息。進一步通過非線性隨機映射從而充分挖掘非線性信息。然后提出了一種多核LS-SVM預測模型，有效綜合了各個核函數(shù)的優(yōu)點。最后通過實驗證明了提出方法的有效性。

1 最大信息挖掘廣域學習系統(tǒng)

1.1 改進的漏積分器動態(tài)儲層

提出的MIE-BLS包括建立進化模型和動態(tài)特征激活。采用沒有非線性激活的改進泄漏積分型動態(tài)隱藏層將系統(tǒng)的當前狀態(tài)和歷史狀態(tài)進行整合。將模擬系統(tǒng)隱藏層的狀態(tài)發(fā)送到增強層，以提取非線性信息，并在大規(guī)模時間序列預測應用中快速建模。此外，動態(tài)隱藏層和隨機非線性增強特征與輸出層同時連接。

假設重建的輸入數(shù)據(jù)矩陣為U=[u1,u2,…,uN]T∈RN×K，其中N為樣本大小，K代表輸入維數(shù)。相應的滲漏積分神經元的動態(tài)隱藏層狀態(tài)更新公式為:

x(t+1)=(1-a)f(Wresx(t)+Winu(t+1)+ax(t))

(1)

線性轉換公式為：

x(t+1)=(1-a)(Wresx(t)+Winu(t+1)+ax(t))

(2)

此線性傳遞方法使動態(tài)系統(tǒng)中的信息流最大化，激活了新狀態(tài)和歷史狀態(tài)之間的相互作用[16]。為了避免隱藏層稀疏性帶來的不確定性，在模型中引入了全連接層。將所有更新后的隱藏層狀態(tài)定義為:

(3)

隨機映射表示為：

Hj=ξ(PWhj+βhj),j=1,2,...,m

(4)

式中Whj和βhj隨機生成的，表示權重和偏差；P代表隱藏層狀態(tài)信息；m為增強節(jié)點個數(shù)。增強層的輸出為Hm=[H1,H2,…,Hm]。Hj代表相應的映射值，假設U對應的輸出為Y，則：

Y=[P|Hm]W=AW

(5)

式中W是MIE-BLS的輸出權重，A=[P|Hm]W∈RN×(n+m)。采用嶺回歸算法求解輸出矩陣：

W=(ATA+λI)-1ATY

(6)

式中λ是正則化參數(shù)。嶺回歸作為一種專用于共線性數(shù)據(jù)分析的有偏估計回歸方法，對病態(tài)數(shù)據(jù)的擬合要強于最小二乘法，因此將該方法用于計算輸出權重。

改進了BLS之后，就要進一步引入到最大信息挖掘機制中。

1.2 最大信息挖掘

傳統(tǒng)神經網絡不同層之間傳輸存在信息丟失。特征提取的本質是提取回歸/分類的本質特征，避免信息丟失。從混沌時間序列預測的角度來看，MIE應該最終利用混沌時間序列中的線性相關性、非線性確定性和混沌性。如圖1所示，采用了兩種基本機制來保證混沌動力學系統(tǒng)的MIE：改進的泄漏積分隱藏層代表相互作用機制和具有隨機映射的增強層代表層疊機制。這兩種技術增強了MIE且將功能重新激活。

圖1 MIE理論描述

MIE與傳統(tǒng)方法的區(qū)別在于學習了歷史信息，考慮了狀態(tài)之間的相關性，從而有效地提升了信息的挖掘深度，并探索最多數(shù)量的信息。另外為了能夠充分挖掘非線性信息，必須進一步引入非線性隨機映射。

1.3 隨機映射分析

假設高維特征為u∈Rm，低維特征為v∈Rn，隨機矩陣為A∈Rn×m,n<

(7)

式中δ表示極小的正數(shù)。JL定理也為上述結果提供了理論支持。

JL定理：假設存在U=[u1,u2,…,ud]∈Rm×d且0<δ<1，β> 0，令：

(8)

對于U中的任何兩個向量ui,uj(i≠j)，都有一個映射f：Rm→Rn。將映射f定義為隨機矩陣A，并將矩陣中的元素定義為A(i,j)=aij，此時，需要滿足：

(9)

基于最大信息挖掘廣域學習系統(tǒng)的混沌時間序列預測算法流程如圖2所示。

圖2 混沌時間序列預測流程圖

2 LS-SVM

2.1 SVM

支持向量機作為一種經典的機器學習算法，一經提出便得到了廣泛的研究，在模式識別、系統(tǒng)辨識、建模等領域得到了應用[17]。Vapnik提出的ε不敏感損失函數(shù)表達為:

訓練集{(xi,yi),i=1,2,...l}，xi∈Rn是樣本的第i個輸入，yi∈R是對應的第i個輸出，l表示樣本數(shù)目。則ε不敏感損失函數(shù)是：

(10)

其中f(x)是通過對訓練數(shù)據(jù)進行機器學習得到的估計函數(shù)，y是實際輸出值，ε是敏感參數(shù)。此方法的目標是通過不斷調整網絡模型，使獲得的f(x)與實際輸出之間的誤差在ε范圍內，并且使網絡的維度最小化，確定好網絡模型之后，在預測新的數(shù)據(jù)集x的時候，就可以獲得高精度的預測輸出。

當需要擬合的數(shù)據(jù)為非線性數(shù)據(jù)的時候，將非線性函數(shù)φ(x)進行線性化處理，處理方式為：

f(x)=ωφ(x)+b

(11)

其中，ω∈Rn，b是偏差量。式(11)求取回歸估計函數(shù)f(x)可以變?yōu)閮?yōu)化過程：

(12)

式中，C>0，稱為正則化參數(shù)，當C越大則說明擬合的數(shù)據(jù)值與實際值的誤差越大。ξi是松弛變量。將式(12)采用Lagrange方法變成對偶問題[18]。

(13)

(14)

式中的b求取過程為：

(15)

2.2 最小二乘支持向量機算法

傳統(tǒng)的SVM具有較強的擬合和泛化性能，但是在求取SV的時候要進行二次規(guī)劃，因此提出了LS-SVM提升計算效率[20-24]?；诖?，為了實現(xiàn)電力系統(tǒng)暫態(tài)分析的實時在線預測功能，提出了一種改進的LS-SVM算法。

LS-SVM采用了二次偏離系數(shù)C，并將原問題轉變成在yi=ωTφ(xi)+b+ei,i=1,2,...,N成立的條件下，使訓練誤差最小。

(16)

式中ei為誤差。對上述問題采用Lagrange定理求解，得到：

(17)

(18)

對式(16)聯(lián)立簡化后得：

(19)

式中a=[a1,a2,a3,...,aN]T為Lagrange算子，1e=[1,1,1,...,1]T，y=[y1,y2,y3,...,yN]T。I為單位矩陣，K為核函數(shù)矩陣。K(i,j)=k(xi,xj)=φT(xi)φ(xj)表示K的第i行第j列元素。則將回歸估計方程線性化后的方程為：

K(i,j)=k(xi,xj)=φT(xi)φ(xj)

(20)

解式(17)求得ai和b，LS-SVM的模型預測輸出為：

(21)

3 仿真實驗

3.1 實例1

實例1中所有電力負荷數(shù)據(jù)均來自于A市電業(yè)局，訓練集包括2017.03.06～2017.03.12間的負荷數(shù)據(jù)，由于雙休日與工作日的生產生活方式有明顯差異，因此必須區(qū)分兩種情況進行預測。

實驗中，所有數(shù)據(jù)集按9:1的比例分成訓練集和測試集。選擇了一些其他方法進行比較：文獻[13]提出的LIESN算法、文獻[14]提出的FBLS算法和文獻[15]提出的流形結構寬度學習系統(tǒng)(Structured Manifold Broad Learning System，SM-BLS)算法。用均方根誤差(Root Mean Square Error，RMSE)、標準均方根誤差(Normalized Root Mean Square Error，NRMSE)、平均絕對誤差(Mean Absolute Error，MAE)以及對稱平均絕對百分比誤差(Symmetric Mean Absolute Percentage Error，SMAPE)四個指標來評價預測性能，指標的計算公式可以參考文獻[25]。由于周中與周末電力負荷變化較大，將所有的數(shù)據(jù)分割為周中和周末。具體的預測對比結果如圖3所示，具體的預測指標如表1所示。在線預測的周中選取為:2017.03.13，周末選擇為: 2017.03.18。

圖3 2017.03.13日的電力負荷預測結果

表1 2017.03.13日的電力負荷預測誤差表

從表1中可以看出，提出方法的平均相對誤差為4.35%，相比較于FBLS方法與SM-BLS的平均誤差分別減小了1.21%和2.12%，證明了廣義學習系統(tǒng)的引入能夠提升預測精度，另外多核函數(shù)對提高預測精度也有積極作用，而且對比SM-BLS方法與FBLS方法可知，提出方法相對于廣義學習系統(tǒng)，具有更高的預測精度。

進一步對2017.03.18 日A市的電力負荷進行預測，結果如圖4所示。

圖4 2017.03.18日的電力負荷預測結果

同理，從2017.03.18的電力負荷預測結果中可以得出相似結論，見表2。

表2 2017.03.18日的電力負荷預測誤差表

3.2 實例2

對B市的兩組數(shù)據(jù)集進行了MIE-BLS的進一步驗證。將B市全市2016年國慶7天內電力負荷作為預測變量，預測對比結果見表3，三步預測結果對比見表4，從表3和表4可以看出，MIE-BLS在實際數(shù)據(jù)集的訓練和測試過程中都取得了最好的效果，其中一步中預測訓練數(shù)據(jù)MIE-BLS的MAE相對于LIESN、FBLS和SM-BLS分別減少了22.2%、 64.5%、 3.6%。測試數(shù)據(jù)的MAE分別下降了13.0%、 68.9%、 11.7%。三步中預測訓練數(shù)據(jù)MIE-BLS的MAE相對于LIESN、FBLS和SM-BLS分別減少了7.2%、 16.9%、 6.1%。測試數(shù)據(jù)的MAE分別下降了5.4%、 21.7%、 11.9%。在表3和表4的大多數(shù)實驗數(shù)據(jù)表明，測試集的訓練結果優(yōu)于訓練集。這對時間序列的分析是合理且實用的。與圖像不同，時間序列包含著豐富的動態(tài)信息。此外，混沌時間序列的演化不是一成不變的，它表現(xiàn)為線性相關、非線性確定性和混沌性。該數(shù)據(jù)集的時間跨度很長，訓練集占總數(shù)據(jù)量的90%，包含有較大的波動和噪聲。而測試集的波動相對較小，比訓練數(shù)據(jù)包含的噪聲少。相應的三步預測曲線如圖5所示。雖然預測動態(tài)波動劇烈時的結果準確率不高，但預測誤差在可接受范圍內。

表3 B市國慶電力負荷的一步預測性能的比較

表4 B市國慶電力負荷的三步預測性能的比較

圖5 MIE-BI三步預測B市市國慶節(jié)電力負荷的結果

B市國慶電力負荷預測結果進一步證明了該方法的實用性和有效性。預測誤差曲線如圖6所示，可以看出預測誤差在可接受范圍內，無較大偏差。文中方法的一步預測結果與其他方法的比較如表5所示。其中一步中預測訓練數(shù)據(jù)MIE-BLS的MAE相對于LIESN、FBLS和SM-BLS分別減少了33.8%、 43.5%、 3.0%。測試數(shù)據(jù)的MAE分別下降了37.0%、 46.7%、 6.2%。盡管兩種方法的RMSE沒有太大差別，但SM-BLS的NRMSE明顯大于MIE-BLS，可能因為所提出的方法能夠動態(tài)捕捉時間信息，從而成功地捕捉到混沌時間序列的峰值。

圖6 MIE-BLS一步B市國慶節(jié)電力負荷的結果

表5 B市國慶電力負一步預測性能的比較

4 結束語

為了進一步提升預測精度，減少訓練時間，最大信息挖掘廣域學習系統(tǒng)多核LS-SVM短期電力負荷預測。通過實際電力負荷數(shù)據(jù)集實驗得出如下結論：

(1)MIE-BLS具有快速訓練的特點，能夠有效地減少訓練時間，為在大規(guī)模數(shù)據(jù)集上的應用提供了可能；

(2)因為特征和增強層輸出之間的層疊，補償了在傳輸過程中丟失的信息，提出的方法更注重特征信息的利用，特別是混沌時間序列信息的利用，能夠有效解決短期電力負荷序列預測問題；

(3)該方法既考慮了電力負荷時間序列的混沌時間特性，又最大限度地利用了演化信息，有效地實現(xiàn)了充分的信息挖掘，提升了預測的精度。