高 鷺，孔繁苗，張 飛，2，任曉穎，2，張曉琳，秦 嶺

（1.內(nèi)蒙古科技大學(xué)信息工程學(xué)院，內(nèi)蒙古包頭 014010；2.華北電力大學(xué)可再生能源學(xué)院，北京 102206）

0 引言

為解決不可再生能源儲備量逐漸減少、污染環(huán)境與浪費(fèi)資源問題，風(fēng)能作為一種無污染綠色可再生能源被提出，得到了世界各國的廣泛認(rèn)可與應(yīng)用發(fā)展。然而由于風(fēng)能具有波動性與不確定性，因此提高風(fēng)電功率超短期預(yù)測的精準(zhǔn)度，可以更有效地為電網(wǎng)調(diào)度和實(shí)時控制提供依據(jù)[1-2]。

現(xiàn)有的風(fēng)電功率預(yù)測方法有很多[3-5]。分析各預(yù)測方法優(yōu)缺點(diǎn)，發(fā)現(xiàn)利用不同方法的優(yōu)勢進(jìn)行組合的預(yù)測方法可以進(jìn)一步提高預(yù)測精準(zhǔn)度[6-9]。如梁濤等人通過改進(jìn)蝙蝠算法優(yōu)化前饋神經(jīng)網(wǎng)絡(luò)，自回歸滑動平均模型針對風(fēng)電功率預(yù)測模型誤差進(jìn)行修正，但是臨界概率根據(jù)經(jīng)驗(yàn)選取、自回歸滑動平均模型階數(shù)采取試湊法，不具備理論支持[10]。Pei Zhang 等人針對風(fēng)電場短期預(yù)報提出遺傳算法優(yōu)化前饋神經(jīng)網(wǎng)絡(luò)，但數(shù)據(jù)庫掃描算法的參數(shù)通過等步迭代得出，不具備理論支持[11]。譚彥聰?shù)热颂岢鲆环N改進(jìn)的螢火蟲算法結(jié)合最小二乘支持向量機(jī)的短期風(fēng)電功率預(yù)測模型，解決了最小二乘支持向量機(jī)參數(shù)的盲目選擇對預(yù)測精度造成嚴(yán)重影響的問題，但只是單純的仿真實(shí)驗(yàn)，無法真正模仿現(xiàn)實(shí)風(fēng)電場工作情況[12]。人工神經(jīng)網(wǎng)絡(luò)中，長短期記憶神經(jīng)網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）解決了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)無法長距離學(xué)習(xí)的問題，但單一LSTM 神經(jīng)網(wǎng)絡(luò)模型的預(yù)測精準(zhǔn)度還是有限[13]。

針對單一LSTM 模型的不足，栗然等人提出一種基于卷積神經(jīng)網(wǎng)絡(luò)與LSTM 的短期風(fēng)電功率預(yù)測模型，利用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)數(shù)據(jù)的特征提取和進(jìn)一步的數(shù)據(jù)降維后通過LSTM 實(shí)現(xiàn)數(shù)據(jù)的擬合[14]。Shahid Farah 等人建立一個由遺傳算法和LSTM 組成的風(fēng)電功率預(yù)測模型，遺傳算法用來優(yōu)化LSTM 層的窗口大小和神經(jīng)元數(shù)量[15]。但是兩種模型均沒有考慮到不同因素的貢獻(xiàn)度不同，因此模型有待提高。

綜上所述，本文提出一種基于LSTM 的風(fēng)電功率超短期預(yù)測模型，即改進(jìn)的粒子群優(yōu)化算法-雙向長短期記憶神經(jīng)網(wǎng)絡(luò)-注意力機(jī)制（IPSOBiLSTM-AM）模 型。其中，雙向 LSTM（Bidirectional LSTM，BiLSTM）更擅長處理長時間序列數(shù)據(jù)，承載每個節(jié)點(diǎn)的上下文信息。改進(jìn)的粒子群優(yōu)化算法（Improved Particle Swarm Optimization，IPSO）優(yōu)化BiLSTM 網(wǎng)絡(luò)的超參數(shù)，注意力機(jī)制（Attention Mechanism，AM）通過重新分配輸入特征權(quán)重進(jìn)而優(yōu)化預(yù)測結(jié)果精度。采用內(nèi)蒙古自治區(qū)某風(fēng)電場的歷史實(shí)際測量值進(jìn)行試驗(yàn)，并與其他模型的預(yù)測結(jié)果進(jìn)行對比，驗(yàn)證所提模型適應(yīng)多時間段預(yù)測且具有更高的預(yù)測精準(zhǔn)度。

1 模型方法

1.1 IPSO優(yōu)化LSTM

風(fēng)電功率數(shù)據(jù)是具有時間序列屬性的數(shù)據(jù)，LSTM 是一種針對時間序列數(shù)據(jù)預(yù)測的神經(jīng)網(wǎng)絡(luò)，突破了傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)所面臨的梯度消失、梯度爆炸問題[16]。BiLSTM 由前向LSTM 網(wǎng)絡(luò)結(jié)構(gòu)與反向LSTM 網(wǎng)絡(luò)結(jié)構(gòu)組成，雙向結(jié)構(gòu)可以同時利用上下文信息，更適合做前后有聯(lián)系的時間序列任務(wù)。

針對BiLSTM 神經(jīng)網(wǎng)絡(luò)預(yù)測模型存在的手動調(diào)整參數(shù)、收斂速度慢等問題，利用粒子群優(yōu)化算法對其超參數(shù)進(jìn)行優(yōu)化[17]。將所需優(yōu)化的超參數(shù)映射為粒子，每個粒子共享個體極值與全局極值比較，不斷更新位置與速度進(jìn)行迭代優(yōu)化[18]。慣性權(quán)重ω與粒子的全局搜索能力呈正相關(guān)，與局部搜索能力呈負(fù)相關(guān)[19]。由于傳統(tǒng)粒子群優(yōu)化算法（Particle Swarm Optimization，PSO）中ω為固定值，導(dǎo)致粒子的局部搜索能力和全局搜索能力均不突出，更容易出現(xiàn)陷入局部最優(yōu)的情況[20]。因此，根據(jù)文獻(xiàn)[21-22]對慣性權(quán)重因子的改進(jìn)，提出一種新的非線性權(quán)重方法提高粒子群算法的優(yōu)化性能。非線性慣性權(quán)重ω優(yōu)化公式如式（1）所示：

式中：ωmax為慣性權(quán)重最大值，為0.9；ωmin為慣性權(quán)重最小值，為0.4；t為當(dāng)前迭代次數(shù)；Tmax為最大迭代次數(shù)。

式（1）中，隨著迭代次數(shù)t的增大，t/Tmax值增大，而ωmax與ωmin的差值為0.5，故ω在以指數(shù)形式遞減。這使得迭代初期，粒子采用較大權(quán)重因子，趨向極值點(diǎn)的速度越快且移動步長越大，便于尋找全局最優(yōu)值；而后期，粒子采用較小的權(quán)重因子，進(jìn)而放慢速度小步長搜索，容易找到局部最優(yōu)解。且ω的范圍為[0.5，0.95]，與傳統(tǒng)PSO 算法ω的取值區(qū)間[0.4，0.9]相似。

1.2 注意力機(jī)制

在超短期風(fēng)電功率預(yù)測中，時間點(diǎn)不同，輸入的風(fēng)電信息對風(fēng)電功率的影響不同，而注意力機(jī)制給影響程度大的信息賦予高的權(quán)重[23]。讓模型更專注于權(quán)重高的輸入數(shù)據(jù)，從而降低多余維度輸入所帶來的計算負(fù)擔(dān)，進(jìn)一步提高神經(jīng)網(wǎng)絡(luò)模型預(yù)測效率[24]。

注意力機(jī)制的權(quán)重分配計算、生成新的特征向量如式（2）—式（4）所示：

式中：gi為H與hi的相關(guān)性大??；H為目標(biāo)特征狀態(tài)向量；hi為輸入特征第i時刻的狀態(tài)向量；F()為一個點(diǎn)積學(xué)習(xí)函數(shù)；ai為經(jīng)過softmax 層后，目標(biāo)特征輸出第j時刻的特征向量時，所對應(yīng)輸入特征第i時刻的特征向量的注意力大??；Ci為根據(jù)注意力分布對輸入信息進(jìn)行加權(quán)求和后的值，體現(xiàn)了模型當(dāng)前應(yīng)該關(guān)注的內(nèi)容。

2 IPSO-BiLSTM-AM模型設(shè)計

2.1 模型框架

針對超短期風(fēng)電功率預(yù)測歷史實(shí)時記錄數(shù)據(jù)，利用深度學(xué)習(xí)方法搭建風(fēng)電功率預(yù)測模型。IPSO優(yōu)化BiLSTM 的超參數(shù)，避免了手動調(diào)參的復(fù)雜度。AM 重新分配輸入特征序列的權(quán)重，將更多注意力放在重要程度高的特征上，使模型預(yù)測準(zhǔn)確度有一定提升。IPSO-BiLSTM-AM 模型設(shè)計結(jié)構(gòu)如圖1 所示。

圖1 IPSO-BiLSTM-AM模型結(jié)構(gòu)Fig.1 Structure of IPSO-BiLSTM-AM model

X1～Xt+m為BiLSTM 的輸入特征向量；Yt+1～Yt+m為風(fēng)電功率預(yù)測值；h1～ht+m為BiLSTM 的輸出特征向量；C1～Ct+m為注意力機(jī)制更新過后的特征向量；IPSO 優(yōu)化所有BiLSTM 記憶單元。

具體模型預(yù)測流程如圖2 所示。

圖2 模型預(yù)測流程圖Fig.2 Model prediction flow chart

2.2 數(shù)據(jù)歸一化

風(fēng)電功率數(shù)據(jù)波動大，因此需要將輸入數(shù)據(jù)歸為[0，1]，使數(shù)據(jù)具有相同的度量尺度，進(jìn)而提高模型的適用能力。歸一化如式（5）所示：

式中：Xd為風(fēng)電功率預(yù)測值；為風(fēng)電功率最大值；為風(fēng)電功率最小值。

由于風(fēng)向具有方向性，因此采用正弦函數(shù)進(jìn)行歸一化，如式（6）所示：

式中：Xf為歸一化后的風(fēng)向值，X′f為實(shí)測風(fēng)向值。

2.3 預(yù)測所需歷史步長

在風(fēng)電功率預(yù)測中，每個時刻的功率預(yù)測都需要利用當(dāng)前時刻前一段歷史時刻的特征數(shù)據(jù)。因?yàn)槌唐陬A(yù)測有較大的波動性和隨機(jī)性，不應(yīng)利用過長時間的歷史特征數(shù)據(jù)，時間間隔越大對當(dāng)前時刻的幫助性越小。為了確定所需歷史步長，利用偏自相關(guān)性函數(shù)找到對當(dāng)前預(yù)測時刻影響性大的歷史時刻，偏自相關(guān)性函數(shù)如式（7）所示：

式中：φss為滯后s偏自相關(guān)系數(shù)；ρs為滯后s自相關(guān)系數(shù)。

計算延遲16 步內(nèi)各時刻的偏自相關(guān)系數(shù)，得到的結(jié)果如圖3 所示。由圖3 可以看出，前4 步歷史延遲步長對當(dāng)前預(yù)測點(diǎn)的影響最大，因此確定所需歷史步長為4。

圖3 16步延遲內(nèi)各時刻的偏自相關(guān)性系數(shù)Fig.3 Partial autocorrelation coefficient for each moment within a 16-step delay

2.4 評價標(biāo)準(zhǔn)

為了對本文提出的模型預(yù)測效果進(jìn)行考量，選取均方誤差（Mean Squared Error，MSE）、均方根誤差（Root Mean Square Error，RMSE）、平均絕對誤差（Mean Absolute Error，MAE）、擬合優(yōu)度R2作為評價標(biāo)準(zhǔn)。

評價標(biāo)準(zhǔn)如式（8）—式（11）所示：

式中：yi為風(fēng)電功率預(yù)測值；為風(fēng)電功率真實(shí)值。

3 實(shí)例分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

采用內(nèi)蒙古自治區(qū)某風(fēng)電場2017 年的實(shí)測歷史數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。風(fēng)機(jī)裝載容量為1 500 kW，數(shù)據(jù)分辨率為1 min，數(shù)據(jù)特征有歷史風(fēng)電功率、風(fēng)速、風(fēng)向、溫度。

由于四季氣候狀況不同，導(dǎo)致功率波動相應(yīng)存在較大變化，為證明模型的適用性，本文選取的風(fēng)電歷史數(shù)據(jù)包括春、夏、秋、冬四種。四種數(shù)據(jù)集分別劃分為訓(xùn)練集（80%）和測試集（20%）。文中其他未提及的分析均為在冬數(shù)據(jù)集的前提下完成。四季的數(shù)據(jù)集如圖4 所示。

圖4 四季的數(shù)據(jù)集Fig.4 Data set of four seasons

3.2 IPSO有效性驗(yàn)證

采用PSO 與IPSO 對BILSTM-AM 模型優(yōu)化進(jìn)行實(shí)驗(yàn)對比，相關(guān)參數(shù)設(shè)置為：學(xué)習(xí)因子c1=c2為2，粒子數(shù)量為10，Tmax為20 次，ωmax為0.9，ωmin為0.4，PSO 中ω=0.6，粒子迭代的維度為4，優(yōu)化的參數(shù)中，各參數(shù)取值范圍為：神經(jīng)元個數(shù)units∈[50，150]，丟棄率dropout∈[0.1，0.4]，學(xué)習(xí)率lr∈[0.000 1，0.01]，迭代次數(shù)epochs∈[30，100]。使用評價標(biāo)準(zhǔn)MAE 的值作為適應(yīng)度函數(shù)。采用內(nèi)蒙古自治區(qū)某風(fēng)電場2017 年四季的實(shí)測歷史數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。PSO 與IPSO 優(yōu)化后的參數(shù)如表1 所示。

表1 PSO與IPSO優(yōu)化后的參數(shù)Table 1 Parameters optimized by PSO and IPSO

如表1 所示，IPSO 和PSO 的優(yōu)化后參數(shù)選擇不同，優(yōu)化結(jié)果不同。PSO 春、夏、秋、冬四季的ERMS分別為116.343，91.734，66.117，132.807；EMA分別為62.584，51.790，40.825，90.285。IPSO 實(shí)驗(yàn)的ERMS分別為115.447，88.842，64.283，132.086；EMA分別為61.797，49.792，38.079，86.260。

實(shí)驗(yàn)結(jié)果表明，IPSO 的誤差較PSO 的誤差小，證明IPSO 的準(zhǔn)確率較PSO 有所提高。

3.3 實(shí)驗(yàn)結(jié)果

IPSO 四季迭代優(yōu)化的結(jié)果如圖5 所示，可以看出最優(yōu)值的坐標(biāo)均靠近最小值對應(yīng)坐標(biāo)（0，0），表明只需較少的迭代次數(shù)，適應(yīng)度函數(shù)值就會降到最低。其中，夏數(shù)據(jù)集的訓(xùn)練集與測試集劃分均勻且測試集部分?jǐn)?shù)據(jù)為0，故IPSO 可以快速找到最優(yōu)值；相反，秋數(shù)據(jù)集的訓(xùn)練集與測試集劃分不均勻，因此IPSO 迭代的效果不是很理想。預(yù)測結(jié)果如圖6 所示，通過四季的預(yù)測結(jié)果可以看出，所提模型均有良好的擬合效果。

圖5 IPSO迭代優(yōu)化結(jié)果Fig.5 Results of IPSO iterative optimization

圖6 IPSO-BiLSTM-AM模型預(yù)測結(jié)果Fig.6 Prediction results of IPSO-BiLSTM-AM model

為證明本文所提模型組合的精準(zhǔn)度及有效性，與 BiLSTM，IPSO-BiLSTM，BiLSTM-AM，PSOBiLSTM-AM，IPSO-BiGRU-AM 模型進(jìn)行實(shí)驗(yàn)對比。各模型的預(yù)測結(jié)果對比如圖7 所示，放大結(jié)果圖為截取第800-1 000 條數(shù)據(jù)、第3250-3450 條數(shù)據(jù)對比。對比的評價指標(biāo)如表2—表5 所示，預(yù)測時間的對比如表6 所示。

表2 6種預(yù)測模型在春季數(shù)據(jù)集下的評價標(biāo)準(zhǔn)對比Table 2 Comparison of evaluation criteria of six prediction models in spring data set

表3 6種預(yù)測模型在夏季數(shù)據(jù)集下的評價標(biāo)準(zhǔn)對比Table 3 Comparison of evaluation criteria of six prediction models in summer data set

表4 6種預(yù)測模型在秋季數(shù)據(jù)集下的評價標(biāo)準(zhǔn)對比Table 4 Comparison of evaluation criteria of six prediction models in autumn data set

表5 6種預(yù)測模型在冬季數(shù)據(jù)集下的評價標(biāo)準(zhǔn)對比Table 5 Comparison of evaluation criteria of six prediction models in winter data set

表6 6種預(yù)測模型的預(yù)測時間對比Table 6 Comparison of prediction time of six prediction models s

由表2 可以看出，本文所提模型的4 種評價指標(biāo)相對另外5 個對比模型均有較好的表現(xiàn)。由表3可以看出所提模型的預(yù)測時間不是最短的，但本文預(yù)測的分辨率為1 分鐘，因此可以及時提供參考點(diǎn)。所提模型比IPSO-BiLSTM 模型的各項誤差值小說明注意力機(jī)制對提高模型準(zhǔn)確性起到了一定的作用；比BiLSTM-AM 模型的各項誤差值小說明粒子群算法比手動調(diào)參更容易找到最優(yōu)參數(shù)，進(jìn)而相對提高模型的準(zhǔn)確率；比PSO-BiLSTM-AM 模型準(zhǔn)確性更高證明了改進(jìn)粒子群的可行性。由圖7可以看出所提模型較其他對比模型更好的擬合真實(shí)數(shù)據(jù)的波動。

圖7 6種預(yù)測模型結(jié)果對比Fig.7 Comparison results of six prediction models

為了進(jìn)一步證明所提模型的有效性，與基準(zhǔn)模型及近期效果較好的模型算法進(jìn)行實(shí)驗(yàn)對比驗(yàn)證：支持向量回歸（Support Vector Regression，SVR）、前饋神經(jīng)網(wǎng)絡(luò)（Back Propagation，BP）、隨機(jī)森林（Random Forest，RF）、2019 年任成國等人提出的EMD-LSTM[25]、2020 年韓朋等人提出的AM-LSTM[26]。對比結(jié)果如表7 所示，其他模型的各項指標(biāo)均比所提模型差。

表7 所提模型與基準(zhǔn)模型的實(shí)驗(yàn)結(jié)果對比Table 7 Experimental results comparison of the proposed model and benchmark model

風(fēng)電場電網(wǎng)控制與電網(wǎng)調(diào)度需要提前上報預(yù)測點(diǎn)數(shù)據(jù)，因此使用本文所提模型提前預(yù)測未來0～15 min 的風(fēng)電功率，更加證明模型穩(wěn)定性與實(shí)用性。所提模型提前5 min、10 min、15 min 預(yù)測的評價標(biāo)準(zhǔn)如表8 所示，預(yù)測結(jié)果如圖8 所示。

表8 提前5 min、10 min、15 min預(yù)測評價標(biāo)準(zhǔn)Table 8 Forecast evaluation criteria 5，10，and 15 minutes in advance

圖8 提前5 min、10 min、15 min預(yù)測結(jié)果Fig.8 Predict results 5，10，and 15 minutes in advance

由表8、圖8 可以看出，隨著提前預(yù)測的步長增大，所存在的誤差大幅度增加，然而提前0～15 min 內(nèi)預(yù)測值仍然可以很好的貼合真實(shí)值，因此所提模型可以對未來0～15 min 內(nèi)的風(fēng)電功率進(jìn)行有效預(yù)測。

為證明模型在超短期任何分辨率均可以取得高預(yù)測率，選取內(nèi)蒙古某風(fēng)電場2014 年1—3 月共10 000 條數(shù)據(jù)，風(fēng)機(jī)裝載容量為2 000 kW，分辨率為10 min，訓(xùn)練集占80%，測試集占20%進(jìn)行驗(yàn)證。預(yù)測結(jié)果的ERMS為166.178，EMS為27 648.401，EMA為118.432，R2為0.931 4，驗(yàn)證了模型可適應(yīng)多時間段預(yù)測的廣泛性。預(yù)測結(jié)果如圖9 所示。

圖9 分辨率為10 min的數(shù)據(jù)預(yù)測結(jié)果Fig.9 Data prediction results with a resolution of 10 minutes

4 結(jié)論

對于神經(jīng)網(wǎng)絡(luò)人工調(diào)參工作量大且準(zhǔn)確性得不到保證的問題，提出采用優(yōu)化算法。傳統(tǒng)PSO 的固定權(quán)重系數(shù)又會使得局部最優(yōu)問題出現(xiàn)，因此本文提出非線性慣性權(quán)重系數(shù)。風(fēng)功率預(yù)測是時間序列預(yù)測，而LSTM 是善于處理時間屬性的神經(jīng)網(wǎng)絡(luò)，BiLSTM 又可以同時考慮到預(yù)測點(diǎn)前后信息。采用注意力機(jī)制更新不同時間輸入特征對風(fēng)電功率預(yù)測的權(quán)重。實(shí)驗(yàn)結(jié)果表明，本文所提模型預(yù)測精度更高；提前0～15 min 內(nèi)的多步預(yù)測穩(wěn)定性良好；模型不僅可以預(yù)測高分辨率的1 min 數(shù)據(jù)用于控制，也適合分辨率低一些的15 min 時間間隔的預(yù)測，用于調(diào)度。