康田雨，覃智君

(廣西大學電氣工程學院，南寧530004)

0 引言

可再生能源發(fā)電是當代能源革命的重要組成部分，在近十年間獲得了國際社會的廣泛關(guān)注。風力發(fā)電作為其中最具代表性的發(fā)電方式，因其清潔、易獲取、分布廣等優(yōu)點獲得了迅猛發(fā)展[1 - 2]。但由于風能的強波動性、強間歇性和弱周期性的特點，風電并網(wǎng)給電力系統(tǒng)的安全穩(wěn)定運行帶來了嚴峻的考驗。超短期風電功率預測精度的提高對于電網(wǎng)制訂合理的經(jīng)濟調(diào)度和機組組合計劃起著至關(guān)重要的作用，也有助于減少系統(tǒng)棄風量，提高經(jīng)濟性。所以，提升風電功率預測準確度對確保電力系統(tǒng)運行的安全性、穩(wěn)定性和經(jīng)濟性具有重大意義[3]。

國內(nèi)外對于風電功率預測問題的研究方法可以分為基于物理建模的方法和基于數(shù)據(jù)統(tǒng)計的方法兩類[4 - 11]。前者不需要歷史數(shù)據(jù)，以風電場地形、地表粗糙度、氣象條件和風機分布位置等為基礎(chǔ)信息, 通過求解流體力學、熱力學高維方程組進行功率預測[4 - 6]。該類方法建模復雜、求解難度高、計算量大，一般多應用于新建風場[7 - 9]。后者利用歷史功率和天氣數(shù)據(jù)樣本挖掘潛在規(guī)律，建立歷史數(shù)據(jù)和預測目標間的映射關(guān)系，應用較為廣泛。數(shù)據(jù)統(tǒng)計方法可細分為傳統(tǒng)統(tǒng)計方法和基于數(shù)據(jù)驅(qū)動的機器學習算法。近年來，人工神經(jīng)網(wǎng)絡(artificial neural network，ANN)、支持向量機(support vector machine，SVM)、極限學習機(extreme learning machine，ELM)等機器學習算法快速發(fā)展，在預測領(lǐng)域的優(yōu)越性突顯出來，逐步取代了移動平均法、自回歸移動平均法等傳統(tǒng)統(tǒng)計方法[10 - 11]。

早期機器學習算法難以處理時序數(shù)據(jù)相關(guān)性和動態(tài)特性，無法適應大規(guī)模訓練數(shù)據(jù)[12]。長短時記憶網(wǎng)絡(long short term memory, LSTM)是在循環(huán)神經(jīng)網(wǎng)絡(recurrent neural network，RNN)[13]的基礎(chǔ)上發(fā)展而來的，擁有一定的長時記憶能力，可以解決RNN的梯度消失問題[14]。所以LSTM模型在負荷預測和風電功率預測領(lǐng)域得到了廣泛的應用。常規(guī)LSTM模型只能挖掘正向時序信息，有學者提出了雙向LSTM(bidirectional LSTM，BiLSTM)結(jié)構(gòu)，它可以進行雙向時序關(guān)系的挖掘。文獻[15]使用LSTM網(wǎng)絡對風電場功率進行超短期預測，取得了比ANN和SVM更精確的效果。文獻[16]研究表明BiLSTM針對時間序列數(shù)據(jù)的預測效果優(yōu)于單向LSTM。鑒于卷積神經(jīng)網(wǎng)絡(convolutional neural network，CNN)在圖像處理領(lǐng)域上表現(xiàn)出的強特征提取能力，研究人員開始把CNN和LSTM組合使用。文獻[17 - 18]使用CNN自動提取歷史數(shù)據(jù)高維特征，使用LSTM網(wǎng)絡對多變量時間序列進行建模，比使用單一網(wǎng)絡具有更高的預測精度。

但CNN和LSTM的組合模型在風電功率預測的應用上仍存在以下不足：1)面對極端天氣時數(shù)據(jù)中的隱藏特征比良好天氣時更重要，功率波動時峰值隱藏的特征比平穩(wěn)運行時更重要，而普通CNN結(jié)構(gòu)無法辨別這些高維特征的差異性，導致重要特征有可能被忽略；2)LSTM和BiLSTM的時序信息挖掘能力，都是面對較短序列輸入時展現(xiàn)出的優(yōu)勢，只適合處理時序數(shù)據(jù)中的局部相關(guān)性，當面對風電功率數(shù)據(jù)這種多維長序列時，存在容易忽略序列結(jié)構(gòu)信息、難以解決長時依賴等問題[19 - 20]。

注意力機制[21]可以很好地解決上述問題，它本質(zhì)上是一種加權(quán)機制，根據(jù)輸入數(shù)據(jù)對結(jié)果產(chǎn)生的影響賦予不同的概率權(quán)重，使重要特征不會因時間步長的延長而被忽略。本文提出基于雙重注意力機制的CNN-BiLSTM的風電功率預測模型，將注意力機制分別引入CNN和BiLSTM中，組成特征注意力模塊和時間注意力模塊。特征注意力模塊通過對CNN輸出結(jié)果進行加權(quán)分配實現(xiàn)對原始數(shù)據(jù)中重要特征的挖掘，并加強其影響。時間注意力模塊根據(jù)BiLSTM的隱藏層狀態(tài)中各時間節(jié)點對預測結(jié)果的影響提取重要的歷史信息，加強了對中長步長中相互依賴關(guān)系的學習。

本文主要開展的研究工作如下：1)將雙重注意力機制引入CNN-BiLSTM模型，以有效解決重要高維特征提取和時間序列長時依賴問題；2)使用貝葉斯優(yōu)化對整個模型的超參數(shù)進行尋優(yōu)，提高模型最優(yōu)學習能力，避免人工調(diào)參依賴經(jīng)驗、耗時耗力以及穩(wěn)定性差等不足；3)分別用單步預測結(jié)果和多步預測結(jié)果對模型性能進行驗證，其中多步預測區(qū)別于常見的2步、3步預測，使用24步預測實現(xiàn)4 h前的超短期預測。

1 深度學習模型原理

1.1 CNN網(wǎng)絡

CNN模型[22]是當前深度學習中最流行的模型之一，利用卷積運算實現(xiàn)對原始數(shù)據(jù)更高維的表示，可以有效提取原始數(shù)據(jù)中的內(nèi)部特征[23]。

CNN結(jié)構(gòu)圖如圖1所示，標準的CNN由卷積層、池化層、全連接層組成。CNN結(jié)構(gòu)計算公式如式(1)—(3)所示。

(1)

P=δ(C)+bp

(2)

H=φ(P×ws+bs)

(3)

式中：C和P分別為卷積層和池化層的輸出狀態(tài)；H為CNN結(jié)構(gòu)輸出的特征向量；wc和ws分別為卷積層和全連接層的權(quán)重矩陣；bc、bp和bs分別為卷積層、池化層和全連接層的偏置向量；?為卷積運算；f(·)為卷積層激活函數(shù)，本文選取ReLU函數(shù)；δ(·)為池化方法，本文選取最大池化；φ(·)為全連接層激活函數(shù)，本文選取Sigmoid函數(shù)。

1.2 LSTM網(wǎng)絡

LSTM在RNN的基礎(chǔ)上增加了3個邏輯門控單元：遺忘門、輸入門、輸出門。LSTM可以保存數(shù)據(jù)狀態(tài)，實現(xiàn)在多個時間步長上穩(wěn)定學習，有效建模序列的時間依賴關(guān)系[24 - 25]。LSTM網(wǎng)絡結(jié)構(gòu)如圖2所示。

圖2 LSTM結(jié)構(gòu)圖Fig.2 Structure of LSTM

輸入門負責選擇需要被保留的當前時刻t的狀態(tài)，遺忘門負責選擇需要被忘記的上一時刻t-1的狀態(tài)，輸出門負責選擇需要輸出給隱藏狀態(tài)ht的當前時刻狀態(tài)。LSTM網(wǎng)絡計算如式(4)—(8)所示。

it=Sigmoid(wixt+uiht-1+bi)

(4)

ft=Sigmoid(wfxt+ufht-1+bf)

(5)

ot=Sigmoid(woxt+uoht-1+bo)

(6)

St=tanh(wgxt+ught-1+bg)⊙it+St-1⊙ft

(7)

ht=tanh(St)⊙ot

(8)

式中：it、ft、ot、St和ht分別為輸入門、遺忘門、輸出門、記憶單元和輸出單元的狀態(tài)矩陣；wi、wf、wo、wg為不同邏輯單元對應本時刻輸入xt的權(quán)重矩陣，下標i、f、o、g分別表示輸入門、遺忘門、輸出門和記憶單元；ui、uf、uo、ug分別為不同邏輯單元對應上一時刻輸出ht-1的權(quán)重矩陣；bi、bf、bo、bg分別為不同邏輯單元的偏置向量；⊙表示矩陣中對應位置元素相乘。

1.3 BiLSTM網(wǎng)絡

BiLSTM[26]網(wǎng)絡本質(zhì)上是一個雙層LSTM網(wǎng)絡，由正向LSTM層和反向LSTM層組合而成。在正向LSTM層中，輸入序列以順序形式輸入網(wǎng)絡進行訓練，挖掘數(shù)據(jù)的順序依賴關(guān)系。在反向LSTM層中，輸入序列以逆序形式輸入網(wǎng)絡進行訓練，挖掘數(shù)據(jù)的逆序依賴關(guān)系。這種結(jié)構(gòu)可以對輸入數(shù)據(jù)進行雙向時序特征提取，進一步提高時序特征提取的全局性和完整性。BiLSTM的網(wǎng)絡結(jié)構(gòu)如圖3所示。

圖3 BiLSTM結(jié)構(gòu)圖Fig.3 Structure of BiLSTM

1.4 注意力機制

注意力機制模型[27]的核心思想是通過合理分配不同輸入信息的注意力，為神經(jīng)網(wǎng)絡中的隱藏層狀態(tài)賦予不同的權(quán)重，突出重要信息對結(jié)果的影響，提高模型預測準確率。注意力機制的權(quán)重分配計算可用式(9)—(10)表示。

et=uatanh(waht+ba)

(9)

(10)

式中：ht為t時刻神經(jīng)網(wǎng)絡隱藏層狀態(tài)向量；et為注意力概率分布值；at為注意力得分；ua和wa為注意力權(quán)重向量；ba為注意力偏置向量。

2 基于雙重注意力機制的CNN-BiLSTM風電功率預測模型

風電功率數(shù)據(jù)中不僅包含歷史風電功率信息而且包含與之對應的歷史天氣信息，可將具有n個時段m種天氣特征的風電功率數(shù)據(jù)表示為1個n×(m+1)的矩陣X=[x1,x2,…,xn]T， 其中x=[p,c1,c2,…,cm]，p為功率數(shù)值，c為天氣數(shù)據(jù)。作為典型的多維時間序列數(shù)據(jù)，風電功率數(shù)據(jù)內(nèi)部蘊含著歷史功率與未來功率的映射關(guān)系、歷史天氣與歷史功率的映射關(guān)系、歷史天氣與未來功率的映射關(guān)系以及各天氣特征的歷史與未來的映射關(guān)系。

針對這些復雜映射關(guān)系，本文提出一種基于雙重注意力機制的CNN-BiLSTM風電功率預測模型，具體結(jié)構(gòu)如圖4所示。此模型采用encoder-decoder框架，特征注意力模塊作為編碼器，時間注意力模塊作為解碼器。特征注意力模塊由CNN網(wǎng)絡和注意力機制組合而成，CNN網(wǎng)絡憑借卷積操作和池化操作能夠充分挖掘數(shù)據(jù)中的高維特征，注意力機制對高維特征的權(quán)重進行訓練，確保關(guān)鍵特征發(fā)揮重要影響。時間注意力模塊由BiLSTM網(wǎng)絡和注意力機制組合而成。BiLSTM網(wǎng)絡能更好地學習時間序列數(shù)據(jù)中的周期特征和趨勢特征。注意力機制通過對隱藏狀態(tài)權(quán)重的訓練，自主選擇重要的歷史序列狀態(tài)信息，克服了BiLSTM網(wǎng)絡面對較長時間序列輸入時容易出現(xiàn)的信息丟失和梯度消失問題，突出了時序狀態(tài)對預測結(jié)果的影響。

圖4 模型結(jié)構(gòu)圖Fig.4 Structure of model

2.1 特征注意力模塊

特征注意力模塊由CNN網(wǎng)絡和注意力機制組合而成。輸入數(shù)據(jù)經(jīng)卷積層使其維度增加，然后經(jīng)池化層壓縮參數(shù)量，再由全連接層將特征轉(zhuǎn)換為一維結(jié)構(gòu)，最后經(jīng)注意力機制分配權(quán)重完成重要特征的提取。此模塊采用雙層CNN結(jié)構(gòu)，即由兩個卷積層和兩個池化層交替組成，將卷積層均設(shè)計為一維卷積結(jié)構(gòu)。其結(jié)構(gòu)可用式(11)—(17)表示。

C1=conv(X)

(11)

P1=pool(C1)

(12)

C2=conv(P1)

(13)

P2=pool(C2)

(14)

Hc=FC(P2)

(15)

af=Attention(Hc)

(16)

cf=afHc

(17)

式中：conv(·)表示卷積層計算，具體公式見式(1)；pool(·)表示池化層計算，具體公式見式(2)；FC(·)表示全連接層計算，具體公式見式(3)；Attention(·)表示注意力機制計算，具體公式見式(9)—(10)；af為特征權(quán)重向量；cf為特征注意力模塊輸出向量。

2.2 時間注意力模塊

輸入數(shù)據(jù)經(jīng)特征注意力模塊編碼后得到隱藏狀態(tài)cf， 在encoder-decoder框架中稱其為中間語義。時間注意力模塊作為整個模型的解碼器，對中間語義cf進行解碼操作：將蘊含關(guān)鍵特征信息的cf通過BiLSTM雙向?qū)W習，捕獲序列內(nèi)部時間變化規(guī)律；注意力機制根據(jù)歷史節(jié)點與結(jié)果的關(guān)聯(lián)程度，賦予BiLSTM輸出的隱藏狀態(tài)不同權(quán)重；最后經(jīng)輸出層得到預測結(jié)果。其結(jié)構(gòu)可用式(18)—(23)表示。

(18)

(19)

(20)

as,t=Attention(HB,t)

(21)

(22)

yt=Sigmoid(wrrt+br)

(23)

3 基于貝葉斯優(yōu)化的預測模型超參數(shù)尋優(yōu)

深度學習模型的超參數(shù)優(yōu)化問題可以看作一個黑盒函數(shù)，我們只知道其輸入和輸出，不清楚其數(shù)學性質(zhì)。深度學習模型的超參數(shù)優(yōu)化問題與其他全局優(yōu)化問題相比，其最大的特點是每一次函數(shù)評估都需要調(diào)用神經(jīng)網(wǎng)絡訓練，每一次訓練短則十幾分鐘，長則幾個小時，所以訓練成本非常高。目前廣泛應用的群智能算法，例如粒子群算法、麻雀算法等，需要對優(yōu)化函數(shù)進行初始化操作，并不斷更新初始化矩陣，這就意味著需要大量調(diào)用神經(jīng)網(wǎng)絡進行訓練，極大地增加了尋優(yōu)模型的訓練成本。因此，群優(yōu)化算法并不適合深度學習模型的超參數(shù)尋優(yōu)。貝葉斯優(yōu)化(Bayesian optimization，BO)[28]使用貝葉斯定理可以充分利用之前函數(shù)的評估信息，根據(jù)目標函數(shù)的后驗分布，選擇下一個最有潛力的采樣點。BO可以實現(xiàn)通過較少的評估找到函數(shù)的全局最優(yōu)解，對黑盒函數(shù)同樣可以達到很好的效果，適合深度學習模型的超參數(shù)尋優(yōu)問題[29 - 30]。

貝葉斯優(yōu)化算法通過概率代理模型對超參數(shù)的先驗概率進行觀測，從而獲得后驗概率分布。然后使用采集函數(shù)根據(jù)后驗概率分布得到下一個較優(yōu)的超參數(shù)評估點。該算法的核心內(nèi)容參見文獻[29]。預測模型的超參數(shù)優(yōu)化流程如圖5所示。

圖5 貝葉斯超參數(shù)優(yōu)化流程圖Fig.5 Bayesian hyperparameter optimization flowchart

4 時間序列數(shù)據(jù)填充算法

由于新能源消納策略不夠完善，風電場實際運行時會接受電網(wǎng)調(diào)度產(chǎn)生棄風，這種人為不可預見因素的引入破壞了風電功率序列的規(guī)律性。本文采用文獻[31]所提時序數(shù)據(jù)填充方法，使用生成對抗網(wǎng)絡(generative adversarial network，GAN)對棄風數(shù)據(jù)進行填充。

生成對抗網(wǎng)絡主要由生成器和判別器組成，生成器致力于將一個服從高斯分布的隨機向量映射成一組逼真的新樣本，而判別器致力于判別輸入樣本的真假，二者構(gòu)成一個零和博弈問題。文獻[31]所提方法采用WGAN結(jié)構(gòu)，在搭建生成器和判別器的過程中使用一種針對時間序列的填充神經(jīng)單元GRUI，能夠有效處理缺失時序數(shù)據(jù)，獲得其本質(zhì)特征與缺失規(guī)律。將有缺失的時間序列數(shù)據(jù)和隨機向量輸入生成器，合成一份新樣本數(shù)據(jù)送入判別器判斷。當訓練到判別器輸出的準確率保持在50%時，說明生成器學習到了原始時間序列的規(guī)律，可以生成以假亂真的樣本。

將問題描述為最小化原始數(shù)據(jù)x與新生成樣本G(z)的差異，如式(24)所示。

(24)

式中：M為缺失標識矩陣；z為隨機向量；G(·)表示生成器；D(·)表示判別器；λ為超參數(shù)。

缺失值填充方式如式(25)所示。

ximpute=x·M+(1-M)·G(z*)

(25)

式中：z*為最優(yōu)輸入向量。

5 算例分析

5.1 數(shù)據(jù)預處理

本文采用中國西北地區(qū)某風電場實際發(fā)電數(shù)據(jù)和天氣數(shù)據(jù)，選取2014年全年實測數(shù)據(jù)，包括風電功率、風速、風向、溫度，時間分辨率為10 min，風電場裝機容量為49.5 MW。此數(shù)據(jù)集全年丟失或無效記錄數(shù)據(jù)489條，數(shù)據(jù)完整率為99.07%，數(shù)據(jù)質(zhì)量符合研究要求。

針對原始數(shù)據(jù)集中的完全棄風數(shù)據(jù)，采用第4節(jié)所述基于生成對抗網(wǎng)絡的時間序列數(shù)據(jù)填充方法進行填充，模擬風場不接受調(diào)度的情況下最有可能的發(fā)電情況，可以有效保護風電數(shù)據(jù)的完整性和規(guī)律性。

為了方便神經(jīng)網(wǎng)絡的訓練，通常需要將數(shù)據(jù)進行歸一化處理，功率、風速、溫度數(shù)據(jù)采用式(26)的max-min歸一化方法將數(shù)據(jù)歸一化至[0,1]區(qū)間。風向則采用三角函數(shù)歸一化方法，即取風向的sin值和cos值共同表征風向信息[32]。

(26)

式中：x為實際值向量；xmax和xmin為x的最大值和最小值；x′為歸一化向量。

5.2 誤差指標

本文選取歸一化均方根誤差(normalized root mean square error, NRMSE)和確定系數(shù)(R-squared, R2)作為評估預測結(jié)果精度的指標，計算公式分別見式(27)和式(28)。NRMSE可以衡量預測的整體誤差，其值越小預測結(jié)果越準確。R2可以表示兩條曲線的相似程度，其值越近1則預測效果越好。預測領(lǐng)域常用的誤差指標還有平均百分比誤差(mean absolute percentage error，MAPE)，但是風電功率預測與其他預測不同點在于風電功率的實際值存在功率為零的時刻，根據(jù)式(29)所示的MAPE計算公式，會出現(xiàn)分母為零的情況，故MAPE不適合作為風電功率預測的誤差評價指標。

(27)

(28)

(29)

5.3 單步預測結(jié)果分析

本文將數(shù)據(jù)集的60%設(shè)置為訓練集，20%設(shè)置為驗證集，20%設(shè)置為測試集。采用時間步長為10步的單步預測方式，即輸入t-10至t時刻的歷史多維數(shù)據(jù)，預測t+1時刻的功率值。本小節(jié)首先進行了輸入歷史數(shù)據(jù)的單步預測實驗，然后進行了歷史數(shù)據(jù)結(jié)合數(shù)值天氣預報(numerical weather prediction，NWP)信息的單步預測實驗，從這兩個角度對本文所提方法進行驗證。為了驗證每一層注意力機制和BO方法的有效性，將本文所提模型與BiLSTM、CNN-BiLSTM、加入時間注意力的CNN-BiLSTM-Attention以及未經(jīng)BO超參數(shù)優(yōu)化的CNN-BiLSTM-dual-Attention模型進行對比試驗。每次實驗均在訓練集上訓練模型，在驗證集上調(diào)整模型超參數(shù)，固定超參數(shù)后，在測試集上驗證結(jié)果。預測結(jié)果經(jīng)反歸一化后計算NRMSE和R2的值，實驗結(jié)果如表1—2、圖6—7所示。

表1 未結(jié)合NWP的各模型單步預測結(jié)果對比Tab.1 Single-step predication results of different models without NWP

表2 結(jié)合NWP的各模型單步預測結(jié)果對比Tab.2 Single-step predication results of different models with NWP

圖6 未結(jié)合NWP的各模型單步預測結(jié)果對比Fig.6 Single-step predication results comparison of different models without NWP

圖7 結(jié)合NWP的各模型單步預測結(jié)果對比Fig.7 Single-step predication results comparison of different models with NWP

本文所提基于BO超參數(shù)優(yōu)化和雙重注意力機制的CNN-BiLSTM模型比其他模型具有更高的預測精度。從表1的對比結(jié)果可以發(fā)現(xiàn)：相比普通的BiLSTM模型，具有特征提取功能的CNN-BilSTM預測模型的NRMSE值下降了0.016 9，R2值提升了0.092 5，這是由于CNN層能夠?qū)碗s的多維風電功率數(shù)據(jù)實現(xiàn)有效的特征提??；加入時間注意力后的CNN-BiLSTM-Attention模型的NRMSE值下降了0.004 4，R2值提升了0.021 8，可見時間注意力機制能夠有效提取到重要的時間節(jié)點信息；具有雙重注意力機制的CNN-BiLSTM-dual-Attention模型比僅具有時間注意力的模型的NRMSE值下降了0.006 1，R2值提升了0.020 9，這是由于注意力機制對CNN提取的高維特征進行篩選，突出了重要特征的影響；本文所使用的基于BO超參數(shù)優(yōu)化和雙重注意力機制的CNN-BiLSTM模型預測結(jié)果的NRMSE值下降了0.007 9，R2值提升了0.012 8，說明BO超參數(shù)優(yōu)化可以尋找到一組最優(yōu)的超參數(shù)，得到更好的預測效果。

從圖6中可以更直觀地發(fā)現(xiàn)：基準模型BiLSTM的預測結(jié)果(BiLSTM曲線)整體表現(xiàn)最差；其他模型的預測結(jié)果在風電功率平穩(wěn)的區(qū)間表現(xiàn)較為接近， CNN-BilSTM模型預測結(jié)果(CNN-BilSTM曲線)和只具有時間注意力模塊的預測模型結(jié)果(CNN-BilSTM-Attention曲線)在原始數(shù)據(jù)波動幅值較大的區(qū)間的預測結(jié)果偏差較大，而且對于極值的預測存在不同程度的滯后現(xiàn)象；基于雙重注意力機制的CNN-BilSTM模型(CNN-BilSTM-dual- Attention曲線)對波動區(qū)間的預測效果更好，可以有效預測波動區(qū)間的極值，并且改善了滯后現(xiàn)象。這是由于所提模型的特征注意力模塊和時間注意力模塊解決了高維特征篩選問題和時間序列的長時依賴問題，這兩個模塊的配合使用可以有效預測下一個時間節(jié)點的趨勢和波動幅度，有利于提高整體預測的精度?；贐O超參數(shù)優(yōu)化和雙重注意力機制的CNN- BilSTM模型(本文方法曲線)比未經(jīng)超參數(shù)優(yōu)化的模型(CNN-BilSTM-dual-Attention曲線)表現(xiàn)出了更好的效果，說明BO算法可以找到一組優(yōu)秀的超參數(shù)。

從表1、表2和圖7中可以發(fā)現(xiàn)：所有測試模型在結(jié)合NWP信息后均比未結(jié)合NWP信息時表現(xiàn)更好，說明所有模型均可以有效利用NWP信息。本文提出的基于BO超參數(shù)優(yōu)化和雙重注意力機制的CNN-BiLSTM模型在結(jié)合NWP的單步實驗中的表現(xiàn)仍然是最優(yōu)秀的，其NRMSE值為0.044 2，比未結(jié)合NWP的模型下降了0.007 2，R2值達到0.938 6，比未結(jié)合NWP的模型提升了0.023 4。

本文所提的基于BO超參數(shù)優(yōu)化和雙重注意力機制的CNN-BilSTM預測模型可以捕捉風電功率序列的波動性，對極值的預測更加準確，其單步預測效果比其他算法的預測精度更高。

5.4 多步預測結(jié)果分析

在用單步預測驗證本文所提算法的有效性后，本節(jié)從實際應用角度出發(fā)，結(jié)合NWP信息進行4 h前的超短期風電功率預測。將未來4 h的NWP數(shù)據(jù)(包含風速、風向、溫度)與歷史風電數(shù)據(jù)共同輸入模型，輸入時間步長設(shè)為24，使用BO算法重新選擇適應多步預測的超參數(shù)，預測未來4 h(24個預測點)的風電功率。將本文模型與CNN-BiLSTM模型進行對比實驗，實驗結(jié)果如表3和圖8所示。

表3 結(jié)合NWP的各模型多步預測結(jié)果對比Tab.3 Multi-step predication results comparison of different models with NWP

圖8 結(jié)合NWP的各模型多步預測結(jié)果對比Fig.8 Multi-step predication results comparison of different models with NWP

本文所提的基于BO超參數(shù)優(yōu)化和雙重注意力機制的CNN-BiLSTM模型的多步預測結(jié)果比CNN-BilSTM模型精度更高。從表3中可以發(fā)現(xiàn)本文模型比CNN-BilSTM模型預測結(jié)果的NRMSE下降了0.025 7，R2提升了0.118 3；從圖8中可看出，CNN-BiLSTM模型(CNN-BilSTM曲線)對風電功率峰谷值預測能力較差，本文所提預測模型結(jié)果(本文方法曲線)對預測時段的風電功率波動情況預測效果更好。這是由于時間注意力模塊在步長較長的預測模型中很好地加強了BiLSTM的長時記憶能力，并能更夠篩選出更重要的時間節(jié)點進行預測。這個多步預測實驗說明：在結(jié)合NWP信息的超短期風電功率預測方面，本文所提模型同樣有效。

5.5 超參數(shù)優(yōu)化結(jié)果分析

使用Python的Bayesian Optimization庫實現(xiàn)對第2節(jié)所提基于雙重注意力機制的CNN-BiLSTM預測模型的超參數(shù)尋優(yōu)，并與常用的群智能尋優(yōu)算法性能進行比較。

在驗證集上對單步預測模型進行超參數(shù)尋優(yōu)，以最小化預測結(jié)果的NRMSE為優(yōu)化目標，針對學習率、迭代次數(shù)、卷積核大小和數(shù)量、BiLSTM神經(jīng)元數(shù)量、全連接層節(jié)點數(shù)等超參數(shù)，分別使用BO、粒子群優(yōu)化(particle swarm optimization，PSO)[33]、麻雀算法(sparrow search algorithm，SSA)[34]、平衡器優(yōu)化(equilibrium optimizer，EO)[35]進行尋優(yōu)實驗，結(jié)果如表4所示。

表4 超參數(shù)尋優(yōu)結(jié)果Tab.4 Results of hyperparameter optimizations

表4的實驗結(jié)果表明使用貝葉斯優(yōu)化算法對深度學習模型進行超參數(shù)優(yōu)化具有訓練成本小、收斂速度快的特點。在4種優(yōu)化方法中誤差最小的是PSO算法，BO算法精度位列第二。BO算法的誤差僅比PSO算法高出了0.23%，但耗時卻比PSO算法降低了86.6%。BO算法的精度在與常見的群智能優(yōu)化算法保持在同一水準的情況下，極大地縮短了運算時間。

6 結(jié)語

為解決一般模型無法有效提取多維風電歷史數(shù)據(jù)的重要特征以及時間序列的長時依賴問題，以提高風電功率超短期預測的精度，本文提出了一種基于超參數(shù)優(yōu)化和雙重注意力機制的CNN-BiLSTM風電功率超短期預測模型，模型使用CNN與注意力機制結(jié)合的特征注意力模塊提取多維風電歷史數(shù)據(jù)重要特征，再通過BiLSTM與注意力機制結(jié)合的時間注意力模塊對特征向量進行動態(tài)時序建模，最后通過BO優(yōu)化方法選擇模型的最優(yōu)超參數(shù)，以發(fā)揮模型的最佳性能。

通過算例分析發(fā)現(xiàn)本文模型很好地解決了多維數(shù)據(jù)重要特征的自動提取和時間序列的長時依賴問題，也解決了人工調(diào)參耗時長、效果不穩(wěn)定的問題，驗證了所提模型的有效性和穩(wěn)定性，與其他方法相比本文所提模型具有更高的預測精度。

后續(xù)工作將研究不同模型在風電功率處于不同波動狀態(tài)和不同出力水平下的預測效果，從而通過組合預測實現(xiàn)更高的預測精度。