姚岱偉， 崔雙喜， 戚元星

(新疆大學電氣工程學院， 烏魯木齊 830047)

隨著新能源技術和工業(yè)的進一步發(fā)展，風電裝機容量占比越來越大。由于風力資源受到氣象條件的制約，其波動性、間歇性等不穩(wěn)定特性對電力系統(tǒng)穩(wěn)定運行和優(yōu)化調度帶來了巨大的挑戰(zhàn)[1]。精準的風電功率預測是提高電力系統(tǒng)經(jīng)濟運行效率，減少系統(tǒng)備用容量，保證電網(wǎng)安全穩(wěn)定運行[2]，提高風電消納水平，優(yōu)化電力市場的重要方法[3]。

短期風電功率預測方法可分為物理模型、時間序列和人工智能模型。目前研究以人工智能模型為主，可分為神經(jīng)網(wǎng)絡和統(tǒng)計學習模型，具體包括長短期記憶網(wǎng)絡[4]，高斯過程回歸[5](gaussian process regression，GPR)，最小二乘支持向量機[6](least squares support vector machine，LSSVM),極限梯度提升樹[7]等。為改善模型的預測性能，已有大量研究對單一模型的結構或參數(shù)進行優(yōu)化，文獻[8]采用遺傳算法優(yōu)化卷積和長短期記憶混合神經(jīng)網(wǎng)絡；文獻[9]采用緞藍園丁鳥優(yōu)化算法對LSSVM的超參數(shù)進行尋優(yōu)，均獲得了更高的風電預測精度。這種方法改善了原本的模型的弊端，提升了預測性能，但單一模型呈現(xiàn)的假設空間有限，難以精確描述潛在的真實假設。集成預測不局限于單一模型，而是將多個預測器組合，協(xié)調工作共同完成預測任務。為訓練出具有差異的一測器，一種方法是基于某一學習算法，通過設置不同的數(shù)據(jù)結構或模型參數(shù)生成同質的預測模型，常用方法包括Bagging[10]和Boosting[11]，文獻[12]采用自適應提升算法將BP神經(jīng)網(wǎng)絡集成，通過誤差平方倒數(shù)優(yōu)化BP網(wǎng)絡的結合權重，有效地改善了預測模型的泛化能力。但同質模型基于相近的假設空間，差異性較小。另一種方法是采用不同的學習算法產(chǎn)生異質預測器，研究以結合策略為主。除了以傳統(tǒng)的簡單平均法和加權平均法，文獻[13]采用三種異質模型預測風電功率，以約束最小二乘回歸(constrained least squares regression，CLS)作為結合策略，改進預測精度，雖然每次預測前對CLS重新訓練，但CLS產(chǎn)生的是依然是固定的結合權重，難以適應風電功率的變化特性。以上研究表明，集成預測模型可有效避免單一模型或方法的弊端，異質預測器可反映多個假設空間，但需要進一步改進結合策略。

預測模型學習到的映射關系依賴給定的訓練樣本輸入特征，除了對預測模型參數(shù)或結構的改善從而提升預測性能之外，引入關于數(shù)值天氣預報(numerical weather prediction，NWP)的特征工程也是改善模型預測性能的有效手段。目前已有大量研究針對NWP特征選擇與提取。文獻[14-15]采用最大相關-最小冗余(minimal redundancy maximal relevance，mRMR)提取NWP特征子集，并分析了不同特征子集對預測精度的影響。文獻[16]采用深度自編碼器對NWP和歷史功率信息降維，該方法具有優(yōu)越的降維和原像重構性能。文獻[17]采用核主成分分析挖掘特征信息，避免“維數(shù)災”問題，提升了預測性能。以上研究表明，NWP特征工程可進一步挖掘影響功率的深度信息，不僅減少預測模型的訓練時間，也對預測性能也有很大的提升，但沒有考慮特征重要性程度的差異對預測效果的影響，可引入特征權重進一步優(yōu)化特征空間。

針對上述問題，現(xiàn)提出一種基于NCA特征加權和Stacking集成學習的短期風電功率預測模型。首先利用NCA計算歷史樣本的NWP特征權重，構建加權輸入特征。然后分別構建多組異質的預測器用于預測風電功率。最后，以多個預測值作為特征輸入，以GPR模型作為結合器，將風電功率預測值融合，構建Stacking集成預測模型。通過對2014全球能源預測競賽實際風電功率數(shù)據(jù)的預測分析和比較，驗證該方法的有效性和優(yōu)越性。

1 算法原理

1.1 近鄰成分分析原理

近鄰成分分析[18]同屬于度量學習和降維領域，學習算法基于隨機K近鄰模型(stochasticK-nearest neighbor，SKNN)，以留一驗證誤差最小作為優(yōu)化目標，尋找最優(yōu)特征權重，其學習過程就是降維過程，訓練結果為特征權重。NCA原理如下。

對于包含n個樣本的訓練集：

S={(xi,yi),i=1,2,…，n}

(1)

式(1)中：xi為p維特征向量；yi為輸出值。學習目標為根據(jù)輸入特征x在給定的樣本集S下預測輸出值y。假定存在一個隨機回歸模型具有如下特點。

(1)從S中隨機選擇一個樣本Ref(x)作為x的參考點(樣本)。

(2)將x的預測值設置為參考點Ref(x)的輸出值。

該方法選擇最近點的輸出作為預測值，類似于1-NN方法。在NCA算法中所有點都有可能被選作參考點。根據(jù)距離函數(shù)dw，與x的鄰近程度越高被選作的參考點的概率越高，dw計算公式為

(2)

式(2)中：xir和xjr表示第i個和第j個樣本點對應第r個特征的數(shù)據(jù)值；wr為第r個特征對應的特征權重。假設選中xj為參考點的概率滿足：

P[Ref(x)=xj|S]∝k[dw(x,xj)]

(3)

式(3)中：Ref(x)為從樣本集S中選取出x的參考點；k為核函數(shù)或相似性函數(shù)；dw越小則k越大，k的表達式為

(4)

式(4)中：exp表示以自然常數(shù)e為底的指數(shù)函數(shù)；σ為核寬度，用于控制每個點被選中的概率，如果x中所有特征在同一尺度，σ選定為1是合理的，因此在計算前需要對數(shù)據(jù)歸一化。

從S中選取某一點xj作為參考點的概率為

(5)

式(5)中：距離度量dw受特征權重wr影響，從而間接影響xj被選作參考點的概率。

為調整模型中特征權重wr，使用留一法預測S中xi的輸出值，此時訓練集S-i中不包含樣本(xi,yi)，則xj被選作xi參考點的概率為

pij=P[Ref(xi)=xj|S-i]

(6)

(7)

式(7)中：E為期望運算。在此基礎上引入正則項，作為最小化目標函數(shù)：

(8)

式(8)中：w為由特征權重wr構成的向量；正則化參數(shù)λ> 0，可以驅使w中某些特征權重變?yōu)?。根據(jù)給定的超參數(shù)σ和λ，優(yōu)化任務為尋找合適的權重向量w使目標函數(shù)最小化：

(9)

該優(yōu)化問題的最終解w元素的大小反映了各個特征的權重，從而實現(xiàn)特征選擇和加權的功能。

1.2 Stacking集成預測原理

集成學習是一種模型融合的框架，可以將不同預測模型融合以改善單一模型的預測精度或泛化能力[19]，在預測領域中稱為集成預測，包含基預測器和結合策略兩個重要部分。集成預測模型中基預測器應具備較好的預測能力且具有較大的差異性，差異性在于預測器采用不同的數(shù)據(jù)結構或學習算法訓練，從不同的空間觀測角度反映NWP特征到風電功率的映射關系。傳統(tǒng)的結合策略以簡單平均或加權平均為主，當樣本規(guī)模較大時以機器學習模型作為結合策略可以進一步提升模型的預測性能，作為結合策略的模型稱為元學習器或結合器，該方法即為Stacking集成預測。和其他集成方法一樣，Stacking集成預測模型關注基預測器的差異性，而改善預測性能的任務由結合器完成。

在Stacking集成模型中，結合器同樣需要學習產(chǎn)生，訓練結合器的樣本輸入是基預測器的輸出，輸出對應原樣本的輸出。由于基預測器對原訓練集的擬合程度很高，如果直接用基預測器的訓練集產(chǎn)生結合器的訓練集，容易導致最終模型過擬合，即結合器無法學習到結合策略對應的映射關系。因此一般采用k折交叉驗證或留出法分別訓練兩層模型。以留出法為例，按比例將歷史樣本集劃分為訓練集和測試集。首先通過訓練集訓練多個基預測器，訓練完成后，將驗證集樣本的輸入特征輸入基預測器，預測值和驗證集的輸出構成結合器的訓練樣本。采用留出法的Stacking模型學習流程的偽代碼如表1所示。留出法適用于樣本數(shù)量較多的情況。而k折交叉驗證將上述過程遍歷k輪，可得到數(shù)量相同的樣本用于結合器的訓練。但每次遍歷都需要重新訓練基預測器，計算開銷較大，在大規(guī)模的樣本集的預測任務中難以適用。

表1 Stacking集成預測流程

2 短期風電功率預測模型的建立

2.1 集成預測模型的基預測器和結合器

模型輸入特征為預測時刻的NWP數(shù)據(jù)，來源于氣象部門的預測，數(shù)據(jù)含有噪聲，基預測器應具有較好的魯棒性。因此選取GPR、SKNN、分類回歸樹(classification and regression tree, CART)、LSSVM和極限學習機(extreme learning machine, ELM)作為基預測器，同時選取GPR作為結合器。各個模型的原理和特點如下。

(1)SKNN：傳統(tǒng)的KNN模型預測值根據(jù)確定的K個近鄰的輸出值表示，在SKNN中所有的樣本都可能被選作近鄰，被選中的概率由相似性函數(shù)給出，SKNN的預測值即為期望值。

(2)GPR：基于貝葉斯框架實現(xiàn)映射函數(shù)從先驗分布到后驗分布的轉換，同時也是一種基于核函數(shù)的方法，訓練過程就是超參數(shù)尋優(yōu)的過程。

(3)CART：基于樹形結構，通過一系列決策過程實現(xiàn)分類或回歸功能。CART采用二分法簡化決策樹規(guī)模，使用基尼系數(shù)作為劃分變量的標準，生成效率高，魯棒性好。

(4)LSSVM：通過核函數(shù)將原始特征映射至高維空間進行回歸，將SVM訓練中的凸優(yōu)化過程轉化為求解線性方程組，提高了訓練速度。模型的性能對懲罰因子和核參數(shù)較為敏感。

(5)ELM：網(wǎng)絡結構基于傳統(tǒng)的單隱層神經(jīng)網(wǎng)絡，輸入層和隱含層的權值閾值隨機產(chǎn)生，隱含層輸出層的權值通過線性方程組求解得出，較傳統(tǒng)的BP算法具有訓練速度極快、泛化性強等優(yōu)點。

基預測器SKNN、GPR和LSSVM中含有距離度量結構，采用加權NWP特征可強化關鍵特征對距離度量的影響程度，進而改善模型預測性能。此外，權重大的特征具有更大的方差和取值范圍，進而具有更大影響程度，因此也選用加權特征作為CART和ELM的輸入。

采用留出法的方式訓練Stacking預測模型，避免訓練時間過長?？紤]到在預測時刻NWP特征已知，為了使訓練出的模型更適用于預測時刻的情景，采用加權KNN搜索選取與預測時刻中樣本相似度最高的一部分樣本作為驗證集，這部分樣本可以訓練結合器使之沿著適應預測時刻樣本的方向修正基預測器的預測結果。

2.2 預測流程

預測流程主要包括NWP特征選擇與加權、訓練Stacking集成預測模型和預測3個方面。短期風電功率集成預測流程如圖1所示，步驟描述如下。

圖1 風電功率預測流程Fig.1 Flow chart of wind power prediction

步驟1以歷史數(shù)據(jù)的NWP氣象驗證和風電功率構建歷史樣本集和預測時刻的輸入特征，并將樣本數(shù)據(jù)歸一化。

步驟2采用NCA計算模型歷史樣本的輸入特征權重，并對篩選后的特征加權。

步驟3根據(jù)預測時刻輸入特征采用加權KNN算法在歷史樣本中所搜相似樣本，將歷史樣本劃分為訓練集和驗證集，訓練Stacking集成預測模型。

步驟4將預測時刻NWP特征輸入集成預測模型，得到風電功率預測值。

2.3 預測評價指標

選取標準均方根誤差(ENRMSE)和標準平均相對誤差(ENMAPE)作為衡量預測精度的評價準則[20]，計算公式為

(10)

(11)

3 算例分析

基于2014全球能源預測競賽數(shù)據(jù)進行建模與算例分析。原始數(shù)據(jù)包含10個風電場的功率出力，以及同時刻10 m和100 m高的經(jīng)向和緯向風速的預測值，時間分辨率為1 h。數(shù)據(jù)中10個風電場的具體位置未被披露，但預測某一風電場功率出力時依然可以考慮場外數(shù)據(jù)[21]。因此選取10個風電場，共40組風速數(shù)據(jù)作為輸入特征，以3號風電場的功率出力作為輸出值，構建原始樣本集。考慮到風電功率對風速更敏感，將原始特征的經(jīng)緯風速轉換為風速和風向特征。

選取兩組預測時段作為測試集，分別為2012年9月7—13日和2013年3月7—13日。每組測試集預測時刻點數(shù)為168，并將前180日數(shù)據(jù)作為訓練集。

3.1 NCA氣象特征加權及驗證

采用NCA計算預測時刻NWP特征權重，原始數(shù)據(jù)采用Z-score歸一化，內核寬度σ設置為1。模型中正則化參數(shù)λ采用貝葉斯優(yōu)化算法尋優(yōu)(圖2)，搜索區(qū)間為(0, 1]，根據(jù)加權SKNN在訓練集的5折交叉驗證的預測均方誤差作為目標函數(shù)，最終λ設置為0.001 4。經(jīng)計算得到各個特征的權重分布如圖3所示。

圖2 λ尋優(yōu)過程Fig.2 Optimization process of λ

圖3 特征權重分布Fig.3 Feature weight distribution

為驗證NCA特征加權的有效性，選取mRMR、主成分分析(principal component analysis，PCA)，灰色關聯(lián)分析(grey relation analysis，GRA)進行對比。其中mRMR計算出特征的重要性評分，GRA計算出每個特征和功率的關聯(lián)度，可根據(jù)指標分配相應的權重。PCA是一種特征提取方法，變換后的主成分中已經(jīng)包含了重要性信息，因此PCA選取貢獻度大于95%的前12個主成分作為輸入。將上述加權特征作為預測模型SKNN的輸入特征，計算不同方法在第一組驗證集的預測誤差，預測誤差如表2所示。

以2012年9月7—13日的預測時段為例，當輸入特征為NCA加權特征時，預測誤差最小，其ENRMSE較mRMR降低了3.65%，較GRA降低了3.9%，較PCA降低了4.03%，其ENMAPE同樣優(yōu)于其他特征加權方法。另一預測時段具有相同的規(guī)律。說明基于NCA特征加權可以有效改善模型的預測性能，提高短期風電功率預測精度，因此在預測之前引入NWP特征加權有效可行的。

表2 不同特征加權方法預測誤差對比

3.2 預測結果對比

在訓練之前按照2.2節(jié)中方法劃分訓練集和驗證集。為了控制訓練集和驗證集的比例規(guī)模，選取每個測試樣本的10個近鄰樣本作為驗證集，最終選取的驗證集占歷史樣本比例約為15%。

模型的超參數(shù)都會對其預測性能有較大影響，為使最終的預測效果達到最優(yōu)，需要對超參數(shù)進行尋優(yōu)?；A測器SKNN預測過程基于訓練樣本，不包含任何參數(shù)。其余模型的超參數(shù)優(yōu)化根據(jù)預測時段2012年9月7—13日的訓練集計算得出，最終確定的超參數(shù)結果如表3所示，另一預測時段的預測模型設置相同的超參數(shù)。

為驗證Stacking集成方法對預測性能的改進和合理性，現(xiàn)將其預測結果和基預測器進行對比。兩組預測時段的風電功率預測曲線和實際曲線如圖4所示，預測誤差ENRMSE和ENMAPE如表4所示。

以預測時段2012年9月7—13日為例，從表4可看出，基預測器中SKNN和GPR預測精度相當，優(yōu)于其他3種預測器。集成預測模型將五組預測結果融合，ENRMSE和ENMAPE較GPR分別降低了0.66%和0.89%，優(yōu)于單一模型。而另一預測時段風功率較低且較平穩(wěn)，基預測器均具有較高的預測精度，集成后預測誤差ENRMSE和ENMAPE較CART分別降低了1.57%和1.13%，有更顯著的下降。因此，融合多預測器的Stacking集成模型可顯著提高預測精度。

表3 各類模型的參數(shù)

表4 不同預測模型預測誤差對比

圖4 風電功率預測曲線Fig.4 Curves of wind power prediction

為進一步驗證Stacking集成模型以結合器GPR作為集成策略的有效性，對不同結合策略下集成模型的預測性能進行比較。另選取最小二乘(least squares regression，LSR)回歸，簡單平均法和基于誤差倒數(shù)加權平均法作為結合策略。預測曲線和預測誤差對比分別如圖5和表5所示。

對比表5各個結合策略的集成模型可看出，采用簡單平均法作為結合策略，得到的集成模型預測誤差接近預測性能最佳基預測器。誤差倒數(shù)法根據(jù)基預測器在驗證集的誤差ENRMSE倒數(shù)分配組合權重，較簡單平均法預測性能有所改善，但實際上由于基預測器的誤差比較接近，導致其分配的權重大小相當，其性能和簡單平均法接近。

相較于傳統(tǒng)的結合策略，以機器學習模型作為結合策略具有更高的預測精度。LSR即線性回歸，學習能力弱于GPR，但LSR作結合器依然使集成模型預測誤差有所降低。在兩組預測時段ENRMSE比最佳的基預測器降低了0.37%和0.94%，ENMAPE降低了0.34%和0.27%。而學習能力更強的GPR作為結合器進一步減少預測誤差，ENRMSE進一步降低了0.29%和0.63%，ENMAPE降低了0.55%和0.89%。說明以學習能力更強的GPR作為集成預測模型的結合策略是進一步改善集成預測性能有效方案。

圖5 不同結合策略風電功率預測結果對比Fig.5 Comparison of wind power prediction results by different combination methods

表5 不同結合策略的預測誤差對比

4 結論

以提升短期風電預測精度為目標，提出一種基于NCA特征加權和Stacking集成預測的短期風電功率預測模型。經(jīng)過分析研究，得出以下結論。

(1)特征權重可以優(yōu)化特征空間，改進模型預測性能，NCA特征加權優(yōu)于其他方法。

(2)集成預測模型可以避免單一方法預測性能的局限性，得到比單一模型更高的預測精度。

(3)相較于簡單平均法和誤差倒數(shù)法，以學習能力較強的GPR作為Stacking集成預測模型的結合策略可進一步降低預測誤差，其性能優(yōu)于以LSR作為結合策略的Stacking集成預測模型。

預測模型的差異性是集成預測的關鍵，本文選取的輸入特征僅考慮了預測時刻，未考慮其時序性。如何從多特征類型建立集成預測模型將是下一步研究的內容。