應(yīng)稼田 程良倫 林錦發(fā)

摘 要：文章針對風(fēng)力發(fā)電特有的間歇性和不穩(wěn)定性等特性，提出一種雙存儲神經(jīng)元的長短時記憶（LSTM）模型（Du-LSTM）用于風(fēng)電功率預(yù)測。通過建立雙存儲神經(jīng)元結(jié)構(gòu)的LSTM模型，對周期性較強(qiáng)和突變性較強(qiáng)的風(fēng)電功率分別采用不同神經(jīng)元建模，有效解決受天氣劇烈變化影響下的風(fēng)電功率預(yù)測精度較低的問題。實驗結(jié)果表明，預(yù)測誤差相對LSTM模型從10.4%下降到7.0%，改進(jìn)后的Du-LSTM神經(jīng)網(wǎng)絡(luò)模型在預(yù)測精度和擬合度上優(yōu)于原始LSTM網(wǎng)絡(luò)模型。

關(guān)鍵詞：風(fēng)電功率；神經(jīng)網(wǎng)絡(luò)；趨勢預(yù)測

風(fēng)力發(fā)電是一種清潔安全的能源，技術(shù)相對成熟，是具有大規(guī)模開發(fā)的可再生能源技術(shù)之一。然而風(fēng)是隨機(jī)的、不可控的，這就導(dǎo)致風(fēng)力發(fā)電具有不穩(wěn)定性，若能實現(xiàn)風(fēng)電功率高精度預(yù)測，就能準(zhǔn)確掌握風(fēng)電變化趨勢，有利于消除風(fēng)電對電網(wǎng)的不良影響，使其在電力市場具有更強(qiáng)的競爭力[1]。研究基于歷史數(shù)據(jù)的風(fēng)電高精度預(yù)測對我國風(fēng)電行業(yè)具有重要意義，已經(jīng)成為相關(guān)研究人員研究重點[2]。

風(fēng)電功率預(yù)測方法主要有以下幾種：基于數(shù)值天氣預(yù)報系統(tǒng)的物理模型預(yù)測方法，統(tǒng)計預(yù)測方法和空間相關(guān)性方法[3]，卡爾曼濾波法[4]，遺傳算法與預(yù)測模型結(jié)合的預(yù)測方法[5-6]。隨著人工智能發(fā)展，神經(jīng)網(wǎng)絡(luò)在風(fēng)電功率預(yù)測中應(yīng)用最為廣泛[7-8]。其中，長短時記憶網(wǎng)絡(luò)模型（Long Short-Term Memory，LSTM）神經(jīng)網(wǎng)絡(luò)模型由于其可以記憶更長遠(yuǎn)的歷史時間信息，在風(fēng)電功率預(yù)測上表現(xiàn)更好。

針對風(fēng)力具有季節(jié)性和波動性的特征，本文構(gòu)建雙存儲神經(jīng)元的長短時記憶神經(jīng)網(wǎng)絡(luò)模型（DU-LSTM），長時記憶單元存儲長期歷史風(fēng)力數(shù)據(jù)進(jìn)行訓(xùn)練，風(fēng)力出現(xiàn)短時大幅波動時將其存儲在短時記憶單元進(jìn)行訓(xùn)練?？梢越鉀Q受天氣劇烈變化影響下風(fēng)電功率變化大，導(dǎo)致預(yù)測精度較低的問題。最終提高了雙存儲神經(jīng)元LSTM模型的短期風(fēng)電功率預(yù)測精度。

1 LSTM模型相關(guān)理論

LSTM是一種遞歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）的特殊類型，可以學(xué)習(xí)長期依賴的信息[9-10]。盡管標(biāo)準(zhǔn)RNN模型能夠有效地處理非線性時間序列，但是主要存在兩個問題：一是由于梯度消失和梯度爆炸問題，RNN不能處理延遲過長的時間序列；二是訓(xùn)練RNN模型需要預(yù)先確定延遲窗口長度，然而實際應(yīng)用中很難自動地獲取這一參數(shù)的最優(yōu)值。LSTM模型改變了RNN的細(xì)胞模型，使之具有長期記憶能力。LSTM模型結(jié)果包含一組相互聯(lián)系的遞歸子網(wǎng)絡(luò)，被稱為記憶模塊。每個記憶模塊包含一個或多個自相關(guān)的記憶信元和3個增值單元。它的前向算法可以表示為：

其中：i，f，c，o分別表示輸入門、遺忘門、細(xì)胞狀態(tài)、輸出門，W和b分別為對應(yīng)的權(quán)重系數(shù)矩陣和偏置項，σ為sigmoid函數(shù)。

LSTM模型的前向傳播算法（Forward Propagation）跟反向傳播算法（Back Propagation，BP）神經(jīng)網(wǎng)絡(luò)的并無本質(zhì)不同，而其訓(xùn)練過程采用的基于時間的反向傳播算法（Back Propagation Through Time，BPTT）是經(jīng)典BP的簡單變體，其目的也是從最后一步時間向前傳遞累積的殘差，其計算過程為：

（1）按照前向傳播算法（公式（1）—公式（5））計算LSTM模型中cell的輸出值。

（2）反向計算每個cell的誤差項，包括時間和網(wǎng)絡(luò)層兩個反向傳播方向。

（3）根據(jù)誤差，計算相應(yīng)權(quán)重的梯度。

（4）應(yīng)用基于梯度的優(yōu)化算法更新權(quán)重。

2 雙存儲LSTM模型實現(xiàn)

2.1 雙存儲LSTM神經(jīng)元

為了解決不同天氣因素情況下，長期時間因素和短時時間因素對風(fēng)電功率預(yù)測不同程度的影響，本文提出了一種長時記憶單元和短時記憶單元相結(jié)合的雙存儲LSTM神經(jīng)元，定義變量ηt，用于判斷風(fēng)電功率訓(xùn)練所用的LSTM神經(jīng)元記憶單元。它們有不同的時間步長。對于時間t+1步的風(fēng)電功率預(yù)測，長時記憶單元的時間步長為起始時間到t時刻。相對應(yīng)的，短時記憶單元捕捉短周期內(nèi)的風(fēng)電功率變化趨勢，其時間步長為預(yù)測時間點t之前的最短時間步長ω，即從t-ω+1到t時刻。這種雙存儲結(jié)構(gòu)的LSTM神經(jīng)元模型如圖1所示。其中h為LSTM層輸出，x為觀測特征，y為風(fēng)電功率。

基于雙存儲神經(jīng)元的LSTM模型，需要定義兩組細(xì)胞，{ct（l）}和{ct（s）}，分別記錄長時記憶單元信息和短時記憶單元信息。c（l）和c（s）有獨立的LSTM權(quán)重參數(shù)，即對于長時記憶單元和短時記憶單元來說，它們的細(xì)胞狀態(tài)，遺忘門和輸入門分別有其各自對應(yīng)的權(quán)重矩陣，分別記為θ（l）={Wc（l），Wf（l），Wi（l）}和θ（s）={Wc（s），Wf（s），Wi（s）}，但是它們的輸出門的權(quán)重矩陣Wo是共用的。在LSTM模型的訓(xùn)練階段，參數(shù)θ（l）和θ（s）分別為長時記憶單元與短時記憶單元中的樣本數(shù)據(jù)訓(xùn)練所得。在本文中，通過變量ηt來確定隱藏層輸出ht所屬記憶單元。ηt通過所觀測特征{P1，P2，Pn}計算所得。某些時間點的風(fēng)電功率表現(xiàn)為季風(fēng)特性，趨向于長期的風(fēng)電功率變化特性，而對于某些時間點的風(fēng)電功率表現(xiàn)為受短時極端天氣影響，則趨向于短期的大幅波動變化。長時記憶單元和短時記憶單元的選擇過程可以表示為：

當(dāng)ηt大于0.5時，LSTM神經(jīng)元的細(xì)胞為長時記憶單元；當(dāng)ηt小于等于0.5時，LSTM神經(jīng)元的細(xì)胞為短時記憶單元。

在已經(jīng)設(shè)計好的雙存儲LSTM模型上，結(jié)合Adam算法計算LSTM模型各個參數(shù)的自適應(yīng)學(xué)習(xí)率。流程如圖2所示。

2.2 網(wǎng)絡(luò)訓(xùn)練

網(wǎng)絡(luò)訓(xùn)練主要是以隱藏層為研究對象。首先在LSTM神經(jīng)網(wǎng)絡(luò)輸入層中，定義原始的風(fēng)電功率時間序列為Po={P1，P2，…，P3}，將其劃分為訓(xùn)練集Ptrain={P1，P2，…，Pm}和測試集Ptest={Pm+1，Pm+2，…，Pm+3}。接著對訓(xùn)練集和測試集中的所有元素p進(jìn)行標(biāo)準(zhǔn)化。

設(shè)定時間步長為L，對訓(xùn)練集進(jìn)行切割，切割后的模型輸入為：

公式（9）中的Cn-1和Hn-1為前一個LSTM神經(jīng)元的狀態(tài)和輸出，可由公式（1）到公式（5）求得。對于訓(xùn)練過程中的損失函數(shù)，采用均方根誤差作為誤差計算公式，訓(xùn)練的目標(biāo)是使得損失函數(shù)最小化。

2.3 網(wǎng)絡(luò)預(yù)測

將訓(xùn)練完成的模型用于預(yù)測。預(yù)測采用迭代的過程，首先將LSTM訓(xùn)練模型的最終輸出結(jié)果Yt={pm-L+1'，pm-L+2'，pm}作為輸入，輸入到訓(xùn)練完成的LSTM模型（記為LSTMtrain），得到m+1時刻的預(yù)測值為pm+1。刪除Yt中第一個時間點的值pm-L+1，將pm+1與Yt合并為新的數(shù)據(jù)集。以此類推，可以得到最終的預(yù)測結(jié)果為：Yp={pm+1，pm+2，…，pn}。

得到預(yù)測結(jié)果后，對Yp進(jìn)行反標(biāo)準(zhǔn)化，得到與測試集Ptest對應(yīng)的預(yù)測序列Ytest={p*m+1，p*m+2，…，p*n}。

總的來說，Du-LSTM模型的訓(xùn)練及預(yù)測過程如下。

步驟1 設(shè)置LSTM模型參數(shù)。包括輸入層維度，輸出層維度，LSTM層神經(jīng)元個數(shù)，初始學(xué)習(xí)率。

步驟2 數(shù)據(jù)集切割與標(biāo)準(zhǔn)化處理。LSTM模型所用激勵函數(shù)為sigmoid函數(shù)，其值域為[0，1]，對數(shù)據(jù)集進(jìn)行標(biāo)準(zhǔn)化處理。將數(shù)據(jù)集劃分為訓(xùn)練集與訓(xùn)練標(biāo)簽。

步驟3 構(gòu)建雙存儲LSTM網(wǎng)絡(luò)模型，即Du-LSTM網(wǎng)絡(luò)模型。每個LSTM神經(jīng)元包括長時記憶單元與短時記憶單元兩個存儲塊，具體結(jié)構(gòu)如圖1所示。

步驟4 利用構(gòu)建好的LSTM模型對數(shù)據(jù)進(jìn)行訓(xùn)練，采用Adam算法對LSTM所有參數(shù)自適應(yīng)其學(xué)習(xí)率。

步驟5 確定預(yù)測時間范圍，逐點預(yù)測風(fēng)電功率。

3 實驗及結(jié)果分析

3.1 數(shù)據(jù)選取

為驗證所建立的預(yù)測模型的有效性，本文采用Global Energy Forecasting Competition 2012-Wind Forecasting的風(fēng)電場數(shù)據(jù)為樣本進(jìn)行風(fēng)電功率預(yù)測。時間跨度為2010年1月1日到2012年6月28日。時間分辨率為1小時。所采集數(shù)據(jù)包括實際風(fēng)電功率和風(fēng)機(jī)監(jiān)測系統(tǒng)采集的緯度方向風(fēng)分量，經(jīng)度方向風(fēng)分量，風(fēng)速和風(fēng)向等。以單臺的異步風(fēng)力發(fā)電機(jī)組為例，對該風(fēng)電機(jī)組的短期風(fēng)電功率進(jìn)行預(yù)測。為了預(yù)測短期的風(fēng)電機(jī)組輸出功率，將前一小時的風(fēng)電機(jī)組輸出功率、后一小時的風(fēng)速、風(fēng)向、緯度方向風(fēng)分量和經(jīng)度方向風(fēng)分量作為網(wǎng)絡(luò)訓(xùn)練的輸入。

對于風(fēng)電功率預(yù)測模型中輸入的訓(xùn)練特征風(fēng)速、風(fēng)電功率等，它們的量綱不一樣，數(shù)量級也不相同，因此，首先對訓(xùn)練數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，將訓(xùn)練數(shù)據(jù)映射到[0，1]，當(dāng)使用訓(xùn)練好的模型進(jìn)行預(yù)測時，將預(yù)測所得的風(fēng)電功率進(jìn)行反標(biāo)準(zhǔn)化，則可得到真實數(shù)據(jù)。

風(fēng)速是一個變化趨勢明顯的非線性函數(shù)，對風(fēng)電機(jī)組的發(fā)電功率影響最大。風(fēng)速的變化呈現(xiàn)出一定的周期性，同時存在波動較大的特點。

設(shè)置LSTM模型的參數(shù)為：隱藏層數(shù)為2，每一層的神經(jīng)元個數(shù)為10，初始學(xué)習(xí)率為0.001，最大迭代次數(shù)1 000次；兩層的Dropout層，Dropout層神經(jīng)元丟棄率為0.2；一層池化層，激勵函數(shù)為relu函數(shù)。

3.2 方法評估及誤差分析

在實際建模過程中，選取了2012年6月27日到2012年6月28日作為預(yù)測時間段，預(yù)測這兩天內(nèi)48小時中每小時的風(fēng)電功率。為了評價本文提出的Du-LSTM算法的預(yù)測效果，將通過上述的訓(xùn)練樣本分別用Du-LSTM，LSTM和XGBoost（Extreme Gradient Boosting）模型訓(xùn)練，并用同樣測試集預(yù)測檢驗。XGBoost最初是由Tianqi Chen提出，所應(yīng)用的算法就是GBDT（Gradient Boost Decision Tree），近年來在kaggle等各大數(shù)據(jù)挖掘競賽展示了強(qiáng)大的能力，有兩個以上的團(tuán)隊采用XGBoost算法獲得最終冠軍。圖3是本文方法的預(yù)測結(jié)果。

由圖3可以看出，本文提出的Du-LSTM模型不僅能很好地逼近風(fēng)電功率時間序列，同時也能迅速趨近風(fēng)電功率變化趨勢。

為了判定模型預(yù)測結(jié)果的有效性，采用絕對平均誤差，均方根誤差RMSE和相對系數(shù)R-square作為模型預(yù)測的評價指標(biāo)。其中絕對平均誤差MMAPE和RMSE用來評估模型預(yù)測結(jié)果的準(zhǔn)確性，而相對系數(shù)R-square是通過數(shù)據(jù)的變化來表征一個擬合的好壞?！按_定系數(shù)”的正常取值范圍為[0，1]，越接近1，表明模型的解釋能力越強(qiáng)，這個模型對數(shù)據(jù)擬合得也較好。

為進(jìn)一步驗證預(yù)測模型的有效性，分別利用原始LSTM和XGBoost建立風(fēng)電功率預(yù)測模型。其中原始LSTM和XGBoost的模型參數(shù)初始學(xué)習(xí)率，迭代次數(shù)與Du-LSTM的對應(yīng)參數(shù)保持一致，采用與Du-LSTM相同的訓(xùn)練樣本和測試樣本數(shù)據(jù)，同樣計算對應(yīng)的絕對平均誤差、RMSE和R-square。圖4是各個方法每個時間點的絕對平均誤差對比圖。絕對平均誤差、RMSE和R-square的對比如表1所示。

由圖4和表1可得，Du-LSTM在絕對平均誤差、RMSE和R-square 3種指標(biāo)上的表現(xiàn)均優(yōu)于原始LSTM和XGBoost，說明其在預(yù)測精度和模型擬合度上表現(xiàn)都是最好的。尤其是相對于原始LSTM，絕對平均誤差從19.40%下降到12.90%，RMSE從10.40%下降到7.04%，R-square從85.04%提升到93.20%。提升效果較為明顯。

4 結(jié)語

本文在LSTM模型基礎(chǔ)上，提出了雙存儲神經(jīng)元結(jié)構(gòu)LSTM模型對風(fēng)電功率趨勢進(jìn)行預(yù)測，可以很好地預(yù)測未來風(fēng)電功率值。

通過將Adam算法與LSTM模型結(jié)合，改變單一學(xué)習(xí)率更新網(wǎng)絡(luò)模型參數(shù)為自適應(yīng)學(xué)習(xí)率更新網(wǎng)絡(luò)模型參數(shù)。

在相同的數(shù)據(jù)條件下，Du-LSTM的雙存儲神經(jīng)元結(jié)構(gòu)能夠更好地處理長期與短期訓(xùn)練特征，使之預(yù)測結(jié)果相對LSTM模型預(yù)測精度更高，擬合度更好。在絕對平均誤差，RMSE和R-square上均有提升。但是在運算的速度上，本文的算法相對較慢，主要原因是兩層的LSTM模型訓(xùn)練過程時間復(fù)雜度更高。

對于其他預(yù)測算法，其他數(shù)據(jù)，本文提出算法是否同樣具有優(yōu)越性還有待進(jìn)一步深入研究。

[參考文獻(xiàn)]

[1]鄭婷婷，王海霞，李衛(wèi)東.風(fēng)電預(yù)測技術(shù)及其性能評價綜述[J].南方電網(wǎng)技術(shù)，2013（2）：104-109.

[2]谷興凱，范高鋒，王曉蓉，等.風(fēng)電功率預(yù)測技術(shù)綜述[J].電網(wǎng)技術(shù)，2007（S2）：335-338.

[3]安學(xué)利，蔣東翔.風(fēng)力發(fā)電機(jī)組運行狀態(tài)的混沌特性識別及其趨勢預(yù)測[J].電力自動化設(shè)備，2010（3）：15-19.

[4]潘迪夫，劉輝，李燕飛.基于時間序列分析和卡爾曼濾波算法的風(fēng)電場風(fēng)速預(yù)測優(yōu)化模型[J].電網(wǎng)技術(shù)，2008（7）：82-86.

[5]周洪煜，曾濟(jì)貧，王照陽，等.基于混沌DNA遺傳算法與PSO組合優(yōu)化的RNN短期風(fēng)電功率預(yù)測[J].電力系統(tǒng)保護(hù)與控制，2013（2）：144-149.

[6]楊洪，古世甫，崔明東，等.基于遺傳優(yōu)化的最小二乘支持向量機(jī)風(fēng)電場風(fēng)速短期預(yù)測[J].電力系統(tǒng)保護(hù)與控制，2011（11）：44-48.

[7]張穎超，王雅晨，鄧華，等.基于IAFSA-BPNN的短期風(fēng)電功率預(yù)測[J].電力系統(tǒng)保護(hù)與控制，2017（7）：58-63.

[8]范高鋒，王偉勝，劉純，等.基于人工神經(jīng)網(wǎng)絡(luò)的風(fēng)電功率預(yù)測[J].中國電機(jī)工程學(xué)報，2008（34）：118-123.

[9]HAO X，DU Q H，REYNOLDS M.SS-LSTM： a hierarchical lstm model for pedestrian trajectory prediction[C].Lake Placid：IEEE Winter Conference on Applications of Computer Vision，IEEE Computer Society，2018：1186-1194.

[10]KUMAR V，KUMAR V，KUMAR V，et al.Incremental dual-memory lstm in land cover prediction[C].Chicago：ACM SIGKDD International Conference on Knowledge Discovery and Data Mining，ACM，2017：867-876.