陸臣斌，包哲靜，于淼，蔡昌春

(1.浙江大學 工程師學院，杭州 310015； 2.浙江大學 電氣工程學院，杭州 310027；3.河海大學 物聯(lián)網(wǎng)工程學院，江蘇 常州 213022)

0 引 言

準確的電力負荷預測在現(xiàn)代電力系統(tǒng)經(jīng)濟和安全運行中至關重要。近年來，在能源互聯(lián)網(wǎng)的大背景下[1]，負荷影響因素更加多元化，負荷特性也呈現(xiàn)出新的特點和趨勢[2]。同時，電力系統(tǒng)高效經(jīng)濟運行對負荷預測精度的要求逐步提高，傳統(tǒng)的點預測方法越來越難以滿足實際需求。負荷區(qū)間預測能夠量化預測結(jié)果的不確定，可以給電力工作人員帶來更多的參考信息，有利于制定各種科學合理的策略，因而越來越受到重視。

廣泛用于電力負荷區(qū)間預測的方法主要包括統(tǒng)計方法、人工智能方法和混合方法[2]?；跁r間序列的統(tǒng)計模型，如：自回歸、指數(shù)平和差分整合移動平均自回歸模型可以分解歷史數(shù)據(jù)中的長期趨勢，并將歷史趨勢推演到未來[2-5]。因此，這些方法需要大量的過去數(shù)據(jù)來進行模型開發(fā)[5]。與上述方法相比，許多研究提出了直接產(chǎn)生預測區(qū)間上下界的人工智能方法[6-11]。這些方法基于各種機器學習模型，如人工神經(jīng)網(wǎng)絡、支持向量機和核極限學習機方法[6-9]，并利用各類啟發(fā)式算法對參數(shù)進行優(yōu)化，如模擬退火和粒子群優(yōu)化算法[10-11]。在以往的研究中[12-14],采用基于區(qū)間覆蓋概率(Prediction Interval Coverage Probability，PICP)和區(qū)間平均寬度(Prediction Interval Normalized Average Width，PINAW)的雙目標優(yōu)化預測方法，可以得到最優(yōu)的預測區(qū)間。然而，在帕累托前沿的眾多非支配解中平衡這兩個目標是非常困難的[15]。因此，為了解決這個問題，在后續(xù)相關研究中，有使用覆蓋寬度標準(Coverage Width Criterion，CWC)指標將雙目標優(yōu)化問題轉(zhuǎn)化為單目標優(yōu)化問題[15-17]，這些方法被稱為基于上下界估計(Lower Upper Bound Estimation，LUBE)的方法。隨著優(yōu)化參數(shù)的增加，啟發(fā)式算法往往需要較長的搜索時間。因此，這些方法僅限于應用在參數(shù)相對較少的淺層機器學習模型。

深度學習已成為近年來的研究熱點，更復雜結(jié)構(gòu)的神經(jīng)網(wǎng)絡具有更強的非線性映射能力，并且可以從數(shù)據(jù)中提取比傳統(tǒng)機器學習模型更多的內(nèi)在特征[18]。代表性的深度學習模型包括卷積神經(jīng)網(wǎng)絡、堆疊式自動編碼器和長短期記憶神經(jīng)網(wǎng)絡(Long and Short-Term Memory，LSTM)[19-21]。近年來，門控循環(huán)單元(Gate Recurrent Unit，GRU)被開發(fā)出，作為具有簡化門控機制的LSTM的擴展，具有與LSTM類似的性能以及較低的計算負擔[22]。但這些模型很少應用于區(qū)間預測問題?；谝酝难芯?，文獻[23]提出了一種具有高學習能力的GRU預測模型，可以直接生成預測區(qū)間，并采用高效的梯度下降算法進行模型訓練，如均方根傳遞(Root Mean Square Prop，RMSProp)和自適應動量(Adaptive momentum，Adam)算法[24-25]?；谔荻鹊男再|(zhì)，這些算法需要可微的代價函數(shù)進行監(jiān)督學習，故其不能對CWC這類不可微的評估指標進行優(yōu)化[7]。為了解決這個問題，文獻[23]提出了一種基于構(gòu)造區(qū)間的自適應優(yōu)化方法，為模型的監(jiān)督學習建立高質(zhì)量的訓練標簽。但該方法在應用時并未考慮預測區(qū)間寬度的優(yōu)化，且每次訓練得到的預測區(qū)間具有較大不確定性。

文章對基于構(gòu)造區(qū)間的自適應優(yōu)化方法加以改進，在優(yōu)化過程中引入?yún)^(qū)間平均寬度，采用基于PID思想的閉環(huán)自適應調(diào)節(jié)策略提高了預測效果，同時應用驗證集的訓練指標選出最好的訓練模型，提高了預測的穩(wěn)定性。下面先介紹區(qū)間預測評估指標，基于GRU的區(qū)間預測模型以及基于構(gòu)造區(qū)間的自適應優(yōu)化方法，再以澳大利亞新南威爾士AEMO(2006年～2010年)及歐洲阿爾巴尼亞(2017年～2019年)的歷史負荷數(shù)據(jù)為例進行對比，驗證改進的效果。

1 算法實現(xiàn)

1.1 門控循環(huán)神經(jīng)網(wǎng)絡(GRU)

近年來，GRU被廣泛應用于處理時間序列數(shù)據(jù)。作為LSTM的改進版，GRU通過放棄記憶細胞并引入更新門來替換輸入門和遺忘門，簡化了LSTM結(jié)構(gòu)。許多研究表明，GRU與LSTM具有相似的性能，但其計算量更少。GRU的結(jié)構(gòu)單元如圖1所示。

圖1 GRU結(jié)構(gòu)單元

對于某一時間步t，假設輸入為小批量樣本Xt∈Rn×d，其中n為樣本個數(shù)，d為樣本維數(shù)，上一個時間步的隱藏狀態(tài)為Ht-1∈Rn×h，h為隱藏單元個數(shù)。重置門Rt∈Rn×h和更新門Zt∈Rn×h的計算如下：

Rt=σ(XtWxr+Ht-1Whr+br)

(1)

Zt=σ(XtWxz+Ht-1Whz+bz)

(2)

(3)

式中Wxh∈Rd×h和Whh∈Rh×h是權(quán)重參數(shù)矩陣；bh∈Rl×h是偏差參數(shù)矩陣，采用tanh()激活函數(shù)將候選隱藏狀態(tài)的值保持在區(qū)間(-1，1)中。從式(3)可以看出，重置門通過控制上一時間步的隱藏狀態(tài)矩陣來影響當前時間步的候選隱藏狀態(tài)，可以選擇性得丟棄和保留歷史信息。

(4)

1.2 基于GRU的區(qū)間預測模型

為了將最先進的深度學習技術引入負荷區(qū)間預測，構(gòu)建了一個多層神經(jīng)網(wǎng)絡模型，如圖2所示。

圖2 GRU區(qū)間預測結(jié)構(gòu)

在該模型中，GRU輸入層用于時間序列的特征提取，再通過全連接層對特征進一步處理，輸出預測區(qū)間上下界。具體解釋如下：第一層為GRU循環(huán)輸入層，基于輸入序列x={x1,…,xn}完成特征向量Ht的提取，時間序列長度為n，其中每個xi為第i時刻的負荷值，最后一個GRU單元的輸出為提取的特征向量，輸入至其后的全連接層。全連接層主要由幾個隱藏層和一個輸出層組成，輸出層包括兩個神經(jīng)元，分別輸出預測區(qū)間的上界和下界。激活函數(shù)的作用是提供規(guī)?；姆蔷€性化能力，文中采取ReLU作為全連接層后的激活函數(shù)，如式(5)所示，可以有效緩解梯度消失的問題，并且加快收斂速度。

(5)

1.3 區(qū)間預測評估指標

區(qū)間預測評估結(jié)果可以用區(qū)間覆蓋率(PICP)和區(qū)間平均寬度(PINAW)來描述。其中，在同一置信度(Prediction Interval Nominal Confidence，PINC)下，PICP值越大，同時PINAW值越小，表明模型的性能越好[26]，其定義如下：

(6)

(7)

(8)

式中n為測試集樣本的個數(shù)；Ui、Li分別為生成的區(qū)間上下限；yi為第i個樣本的觀測值，觀測值在區(qū)間內(nèi)時為1，否則為0；R表示測試集的范圍，用于對該指標進行歸一化。

為了綜合考慮區(qū)間寬度和覆蓋率，引入基于PICP和PINAW的綜合指標CWC作為評價標準，其定義如下：

CWC=PINAW(1+γe-ηPICP-μ)

(9)

式中μ是由置信度決定的；η為懲罰系數(shù)，當區(qū)間覆蓋率小于給定置信度時，給予指數(shù)級的懲罰，當覆蓋率大于置信度時，只考慮區(qū)間平均寬度PINAW；綜合指標CWC值越小，代表預測結(jié)果越好。

1.4 基于構(gòu)造區(qū)間的自適應優(yōu)化方法及其改進

1.4.1 基于構(gòu)造區(qū)間的自適應優(yōu)化方法

該方法是文獻[23]提出的，其中采用了一種結(jié)合了自適應學習策略和動量機制的梯度下算法Adam來訓練預測模型，該算法可以加快收斂速度，并有效的避免陷入局部最優(yōu)[25]。Adam在本質(zhì)上是基于反向傳播算法的，因此必須構(gòu)造一個可導的代價函數(shù)來實現(xiàn)有監(jiān)督學習。為了定義這樣的代價函數(shù)，訓練標簽是必須的。故文中針對給定的區(qū)間預測置信度PINC，通過人工構(gòu)造上下界的方法直接獲得訓練標簽[23]。對于訓練集中一系列訓練標簽Y=[y1,y2,…,yn]，其中n是訓練集樣本數(shù)，構(gòu)造區(qū)間定義如下：

(10)

式中Yu和Yl分別是構(gòu)造區(qū)間的上界和下界；du、dl是構(gòu)造區(qū)間的上下寬度，作為自適應優(yōu)化的變量，由此可構(gòu)建基于均方誤差的代價函數(shù)：

(11)

式中Ui、Li分別是模型的第i個輸出上界和下界，因為每個訓練樣本的fcost可導，因此Adam算法可以使用該函數(shù)來計算神經(jīng)網(wǎng)絡中每個權(quán)重和偏差的梯度。

問題轉(zhuǎn)化為尋找合適的上下寬度du、dl進行訓練，針對梯度下降算法不能像柔性啟發(fā)式算法那樣優(yōu)化寬度的問題，提出了一種自適應寬度優(yōu)化方法。在每個訓練周期之后，模型輸出的預測區(qū)間將逐漸接近構(gòu)建的訓練區(qū)間，并且兩者之間會產(chǎn)生擬合誤差。平均擬合誤差定義如下：

(12)

式中el、eu分別為下界和上界的平均擬合誤差。因為擬合誤差是逐漸優(yōu)化并最終趨于穩(wěn)定的，所以期望構(gòu)建的區(qū)間能夠跟隨輸出的預測區(qū)間。根據(jù)上述假設，在每個訓練周期后，若el上升，需要增加構(gòu)造的區(qū)間寬度dl；若eu上升，則需要減少構(gòu)造的區(qū)間寬度du。同時引入?yún)?shù)α用于在每個訓練周期后對PICP進行優(yōu)化，在PICP

(13)

式中參數(shù)k1用于控制更新速度，參數(shù)α的更新策略如式(14)所示：

(14)

式中參數(shù)k2用于控制α的更新速度。

1.4.2 改進的基于構(gòu)造區(qū)間的自適應優(yōu)化方法

由于上述方法在實際訓練過程中,PICP達到給定PINC的速度較慢，需要比較長的訓練周期，且在訓練時會出現(xiàn)一定的震蕩，因此文中提出改進的基于構(gòu)造區(qū)間的自適應優(yōu)化方法，采用基于PID思想的閉環(huán)自適應調(diào)整策略，引入比例和微分控制，加快動態(tài)過程，將式(14)調(diào)整為：

(15)

式中ki1、kp1、kd1分別為積分、比例、微分項控制的系數(shù)。積分項用于確保PICP隨著訓練過程的迭代，最終收斂于PINC附近；比例項根據(jù)v(T)的變化趨勢來調(diào)節(jié)α，若v(T)

為了在訓練過程中考慮PICP的同時兼顧PINAW，增加參數(shù)β用于在每個訓練周期后對PINAW進行優(yōu)化，調(diào)整原理與優(yōu)化PICP類似。因此，在改進的基于構(gòu)造區(qū)間的自適應優(yōu)化方法中，具體調(diào)整過程為：

(16)

式中參數(shù)k3用于控制區(qū)間寬度的更新速度;α和β根據(jù)式(17)和式(18)進行調(diào)整為：

(17)

(18)

式中ki2、kp2、kd2分別為積分、比例、微分項控制的系數(shù)。由于訓練過程中PICP與PINAW的優(yōu)化存在一定的矛盾，故在訓練樣本的PICP未達到給定的置信度時，暫不考慮優(yōu)化PINAW，按照式(13)更新構(gòu)造的區(qū)間寬度。當訓練樣本的PICP達到給定的置信度時，期望PINAW越小越好，故預設PINAW的訓練指標為0，并按照式(16)更新構(gòu)造的區(qū)間寬度。

如圖3所示，GRU預測模型的具體訓練過程包括以下步驟：

步驟1：對負荷數(shù)據(jù)樣本進行預處理，主要是處理異常數(shù)據(jù)，并通過劃窗將負荷序列劃分出特征和標簽，歸一化后將數(shù)據(jù)集按8∶1∶1的比例劃分為訓練集、驗證集和測試集；

圖3 GRU預測模型訓練流程圖

步驟2：初始化GRU模型與參數(shù)。

步驟2.1：初始化GRU模型的權(quán)重和偏差，給定PID參數(shù)ki1、kp1、kd1、ki2、kp2、kd2；

步驟2.2：初始設定du、dl、α、β為0，令其在訓練過程中進行自適應優(yōu)化；

步驟3：訓練GRU區(qū)間預測模型。

步驟3.1：根據(jù)式(10)，采用當前的du、dl以及標簽Y構(gòu)建訓練區(qū)間，將訓練集樣本代入到模型中完成一個周期的訓練；

步驟3.2：通過Adam優(yōu)化算法及式(11)的代價函數(shù)計算梯度，并以小批量的形式更新權(quán)重和偏差；

步驟3.3：根據(jù)式(12)計算平均擬合誤差，計算當前預測區(qū)間的PICP、PINAW，根據(jù)式(17)、式(18)更新α、β。若PICP

步驟4：計算驗證集預測區(qū)間的CWC指標；

步驟5：若達到最大的訓練周期，且存在優(yōu)質(zhì)模型則退出訓練，否則重復步驟3～步驟4；

步驟6：取出CWC指標最小的模型用于預測。

2 算例分析

選取澳大利亞新南威爾士AEMO(2006年～2010年)的歷史負荷數(shù)據(jù)，以及歐洲阿爾巴尼亞(2017年～2019年)的歷史負荷數(shù)據(jù)為樣本進行所提區(qū)間預測算法性能的驗證。

AEMO歷史負荷數(shù)據(jù)采樣頻率為半個小時一次。應用改進前后的負荷區(qū)間預測的方法分別進行短期預測，預測對象為次日全天48點負荷值(從0∶00～23∶30每隔30 min進行一次采樣，共計48個采樣點)。根據(jù)所有的歷史負荷數(shù)據(jù)，以該日之前一周的336(7×48)個點的負荷數(shù)據(jù)作為輸入向量。將模型的驗證集以及測試集均劃分為182天，剩余的劃分到訓練集中。設定置信度PINC為93%，改進前后訓練集預測區(qū)間的PICP和PINAW在訓練過程中的變化如圖4所示。

圖4 改進前后PICP和PINAW在訓練過程的變化曲線圖

由圖4可以看出，改進前的PICP在第35個訓練周期達到PINC，但在訓練過程中存在一定的震蕩，在第70個訓練周期后趨于穩(wěn)定。而PINAW在PICP達到置信水平后，在0.4左右不斷震蕩，直至在第175個訓練周期后開始下降，在訓練結(jié)束后下降至0.2。改進后PICP在第25個訓練周期即迅速接近至PINC，且在接下來的訓練過程中趨于穩(wěn)定。當PICP保持在PINC附近之上，訓練的優(yōu)化方向轉(zhuǎn)向PINAW。PINAW在第25個訓練周期后不斷下降，訓練結(jié)束后其值為0.15。綜合來看，改進后PICP在訓練過程中的變化更加平穩(wěn)，且能夠更快速的達到設定的置信水平，PINAW在PICP穩(wěn)定后也呈現(xiàn)出下降的趨勢，驗證了方法的有效性。

改進前后模型對測試集的區(qū)間預測結(jié)果如圖5所示。

圖5 改進前后測試集的預測結(jié)果圖

如圖5所示，由于改進后的算法在訓練時要對區(qū)間平均寬度進行優(yōu)化，會犧牲一定的區(qū)間覆蓋率，可能會出現(xiàn)個別實際值超出預測范圍的情況。但改進后的預測區(qū)間在達到PINC的同時，具有更小的區(qū)間寬度，表明其預測區(qū)間的效果更好。區(qū)間預測置信度PINC分別取0.7、0.8、0.9情況下的區(qū)間預測結(jié)果如表1所示?？梢钥闯?，在區(qū)間覆蓋率滿足置信度要求的前提下，改進后的方法在區(qū)間寬度上明顯更優(yōu)，即具有較窄的區(qū)間寬度。

表1 改進前后區(qū)間預測指標比較

考慮到深度學習算法在多次訓練結(jié)果上會呈現(xiàn)不一致的情況，分別對改進前后的算法訓練10次，取PINC為0.93，記錄其區(qū)間預測結(jié)果指標如表2所示?？梢钥闯?，改進后的模型可以保證在PICP達到PINC的同時，PINAW整體會更小，意味著其預測區(qū)間質(zhì)量更高，且改進后的算法訓練后得到的10個模型預測結(jié)果接近，表明其具有較強的一致性。

表2 改進前后區(qū)間預測指標比較(10次訓練)

歐洲阿爾巴尼亞(2017年～2019年)的歷史負荷數(shù)據(jù)采樣頻率為一個小時一次。應用改進前后的負荷區(qū)間預測的方法分別進行短期預測，預測對象為次日全天24點負荷值。分別對改進前后的算法訓練10次，取PINC為0.9，記錄其區(qū)間預測結(jié)果指標如表3所示，可見文中所提出的基于改進自適應構(gòu)造區(qū)間法的電力負荷區(qū)間預測方法在區(qū)間覆蓋率滿足置信度要求的前提下，在區(qū)間寬度上明顯更優(yōu)。

表3 改進前后區(qū)間預測指標比較(10次訓練)

3 結(jié)束語

電力負荷具有較強的不確定性，一定置信度下的區(qū)間預測方法比點預測方法更加適合描述這種不確定性?？紤]到區(qū)間預測中有兩個量化指標，區(qū)間覆蓋率PINC和平均區(qū)間寬度PINAW，文中對基于GRU模型的自適應構(gòu)造區(qū)間的區(qū)間預測方法進行了改進，將PINAW指標引入自適應構(gòu)造區(qū)間的調(diào)整策略中，使得區(qū)間構(gòu)造中綜合考慮上述兩個指標；同時借鑒PID控制的思想，在調(diào)整策略中引入了PINC和PINAW的一階和二階差分項，對訓練過程進行改進?；诎拇罄麃喰履贤柺緼EMO及歐洲阿爾巴尼亞近年的歷史負荷數(shù)據(jù)，對所提出的負荷區(qū)間預測方法進行了不同置信度下的驗證。結(jié)果表明，改進區(qū)間預測方法的訓練過程更加平穩(wěn)；在PINC滿足置信度的前提下，改進方法得出的PINAW更窄，綜合PINC和PINAW的CWC指標更優(yōu)；同時，改進的區(qū)間預測方法對于多次訓練具有較好的一致性。