孫 寧, 陳 田, 徐桂安

(上海電機(jī)學(xué)院 機(jī)械學(xué)院, 上海 201306)

電力系統(tǒng)負(fù)荷預(yù)測(cè)按預(yù)測(cè)時(shí)間分類可分為時(shí)分、日度、月度、年度預(yù)測(cè)等,在幫助電力部門合理安排發(fā)電目標(biāo)的同時(shí),精確的負(fù)荷預(yù)測(cè)還能降低發(fā)電成本、提升企業(yè)效益、增加電力系統(tǒng)的穩(wěn)定性、保障正常的社會(huì)生產(chǎn)活動(dòng),因此負(fù)荷預(yù)測(cè)是電力系統(tǒng)經(jīng)濟(jì)調(diào)度中的一項(xiàng)重要內(nèi)容[1],也引起了國(guó)內(nèi)外專家的廣泛討論。

經(jīng)過多年發(fā)展,電力負(fù)荷預(yù)測(cè)有了多種方法,這些方法大致可以分為3類。第1類為統(tǒng)計(jì)學(xué)方法,代表有專家系統(tǒng)法、線性回歸法[2]、自回歸法[3]等,優(yōu)點(diǎn)是結(jié)構(gòu)簡(jiǎn)單,建模方便,但是對(duì)于非線性問題效果不好,且歷史數(shù)據(jù)一旦有較大誤差就會(huì)導(dǎo)致結(jié)果不準(zhǔn)確,無(wú)法進(jìn)行預(yù)測(cè)。第2類為應(yīng)用到了人工智能領(lǐng)域的方法,如支持向量機(jī)[4](Support Vector Machine,SVM)、粒度級(jí)聯(lián)森林算法[5]、人工神經(jīng)網(wǎng)絡(luò)[6](Artificial Neural Network,ANN)等。SVM 無(wú)論對(duì)線性還是非線性都有著較好的效果,并且具備一定的泛化能力,但在數(shù)據(jù)量大的情況下收斂速度慢、準(zhǔn)確率也會(huì)降低。而在ANN 方法中,雖然有著較好的非線性映射能力,但容易出現(xiàn)局部最優(yōu)的情況。上述方法都各有其缺陷,單一模型不能全面考慮到各種影響因素。第3類為利用組合模型的方法,結(jié)合算法優(yōu)化進(jìn)行預(yù)處理,著名的有經(jīng)驗(yàn)?zāi)B(tài)分解(Empirical Mode Decomposition,EMD)技術(shù)、集合經(jīng)驗(yàn)?zāi)B(tài)分解(Ensemble Empirical Mode Decomposition,EEMD)技術(shù)、互補(bǔ)集合經(jīng)驗(yàn)?zāi)B(tài)分解(Complementary Ensemble Empirical Mode Decomposition,CEEMD)技術(shù)[7]等,通過對(duì)時(shí)序數(shù)據(jù)預(yù)處理達(dá)到提升預(yù)測(cè)準(zhǔn)確率的目的。組合模型能夠做到互相補(bǔ)充、取長(zhǎng)補(bǔ)短,擅長(zhǎng)應(yīng)對(duì)各種狀況[8]。統(tǒng)計(jì)學(xué)方法難以處理非線性信息,機(jī)器學(xué)習(xí)方法難以保留信息中的時(shí)序信息[9]。隨著計(jì)算機(jī)算力的增強(qiáng),很多深度學(xué)習(xí)思想都能得到實(shí)現(xiàn)并加以運(yùn)用,很快成為了負(fù)荷預(yù)測(cè)研究的關(guān)注目標(biāo)。循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)一經(jīng)提出便成為深度學(xué)習(xí)中主要網(wǎng)絡(luò)之一,其自反饋的神經(jīng)元有著短期記憶的能力,能夠處理時(shí)序信息,但在處理過程中,由于每一步都需要進(jìn)行雅可比矩陣的累乘,一旦步數(shù)過多,就容易導(dǎo)致梯度爆炸或梯度消失,為解決這一問題,長(zhǎng)短期記憶網(wǎng)絡(luò)[10](Long Short-Term Memory,LSTM)應(yīng)運(yùn)而生,比起傳統(tǒng)的RNN 網(wǎng)絡(luò)多出來(lái)了3個(gè)門控制器:輸入門、輸出門和忘記門,在處理時(shí)序信息問題上得到了極為廣泛的應(yīng)用[11-13]。但是,仍然存在收斂慢、結(jié)構(gòu)復(fù)雜的缺點(diǎn),于是進(jìn)一步優(yōu)化了雙向門控循環(huán)單元[14-15](Bidirectional Gated Recurrent Unit,BiGRU),簡(jiǎn)化結(jié)構(gòu)的同時(shí)保證了良好的運(yùn)算效率。

為提升電力系統(tǒng)短期負(fù)荷的預(yù)測(cè)精度,本文提出了一種基于注意力機(jī)制(Attention Mechanism,AM)[16-17]的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)網(wǎng)絡(luò)和BiGRU 單元組合預(yù)測(cè)的方法,本方法先通過注意力機(jī)制應(yīng)用于CNN 之上將權(quán)重分配給輸出信息以達(dá)到對(duì)所需信息突出化的目的,使BiGRU 中的重要特征不會(huì)隨著處理步數(shù)增加而消失。結(jié)果表明,本方法運(yùn)行效率高、魯棒性高。

1 相關(guān)模型原理

1.1 CNN

CNN在深度學(xué)習(xí)中是最為常見的網(wǎng)絡(luò)結(jié)構(gòu),二維卷積神經(jīng)網(wǎng)絡(luò)(2D-CNN)在圖像處理領(lǐng)域應(yīng)用廣泛,能夠提取圖像的特征信息,一維卷積神經(jīng)網(wǎng)絡(luò)(1D-CNN)也類似,可以權(quán)值共享、并行處理等。多用于自然語(yǔ)言處理,提取時(shí)序特征等,1DCNN可以通過卷積核從時(shí)序信息中提取多個(gè)具有細(xì)粒度特征的特征信息。

1.2 門控循環(huán)單元

門控循環(huán)單元是在LSTM 結(jié)構(gòu)上進(jìn)一步優(yōu)化所得到的變體,結(jié)構(gòu)簡(jiǎn)單的同時(shí),有著良好的效果。LSTM 結(jié)構(gòu)中有3個(gè)門控單元:輸入門、輸出門和忘記門,分別控制著輸入值、輸出值和記憶值。而門閥循環(huán)單元(Gate Recurrent Unit,GRU)中只有2 個(gè)門控單元:重置門r t和更新門z t,因此GRU 模型中參數(shù)更少,運(yùn)算效率得到大幅提高,GRU 網(wǎng)絡(luò)的基本結(jié)構(gòu)如圖1所示。圖中,重置門和更新門的輸入為t時(shí)刻的x t和t-1時(shí)刻的隱藏狀態(tài)h t-1;σ為Sigmoid 激活函數(shù),隱藏狀態(tài)h t-1經(jīng)過r t后與x t相加,通過tanh激活函數(shù)將范圍控制在[-1,1],更新隱藏狀態(tài)h t-1后得到h t。內(nèi)部計(jì)算公式為

圖1 GRU網(wǎng)絡(luò)的基本結(jié)構(gòu)

式中:Wz、Wr、W為重置門、更新門、隱藏層對(duì)應(yīng)的權(quán)值為t時(shí)刻的隱藏狀態(tài)。

1.3 BiGRU

在GRU 中,狀態(tài)的傳輸是從前向后單方向傳播的,然而在處理某些問題時(shí),要考慮的不光是在之前的信息,之后的信息也同樣重要,這種情況下就需要用到BiGRU 網(wǎng)絡(luò)結(jié)構(gòu)。

BiGRU 由前向GRU 和后向GRU 組成,其結(jié)構(gòu)如圖2所示,BiGRU 可以對(duì)整個(gè)時(shí)序信息進(jìn)行預(yù)測(cè),t時(shí)刻輸入會(huì)同時(shí)提供給前向GRU 與后向GRU,最后輸出t時(shí)刻的隱藏層狀態(tài)由前向隱層狀態(tài)與后向隱層狀態(tài)取一定權(quán)重得到,其計(jì)算過程為

圖2 BiGRU網(wǎng)絡(luò)的基本結(jié)構(gòu)

1.4 AM

AM 是在模型中嵌入的一種特殊的結(jié)構(gòu),能夠使模型對(duì)重要的特征賦予更多的權(quán)重[19]。在負(fù)荷預(yù)測(cè)模型中,CNN 經(jīng)常被用來(lái)提取歷史數(shù)據(jù)與通道特征,但是所提特征的重要性往往不一而足,如果不經(jīng)過處理直接將信息傳入至下一層,很有可能造成信息丟失。AM 模塊的加入可以改善這一情況的發(fā)生,強(qiáng)化模型對(duì)重要特征的保留能力,忽略次要的特征。AM-CNN的結(jié)構(gòu)模型如圖3所示。

圖3 AM-CNN網(wǎng)絡(luò)的基本結(jié)構(gòu)

由圖可知,特征通道數(shù)X的數(shù)量為C、特征列數(shù)的數(shù)量為Q,序列的長(zhǎng)度為H的原始輸入數(shù)據(jù),經(jīng)過一次卷積操作后得到U,全局最大池化(Global Max Pooling,GMP)和全局平均池化(Global Average Pooling,GAP)處理后得到通道信息提取向量T1,T2是非線性變化處理后的T1,最后經(jīng)過加權(quán)得到～x。

2 預(yù)測(cè)模型簡(jiǎn)述

2.1 完全集合經(jīng)驗(yàn)?zāi)B(tài)分解

為降低數(shù)據(jù)集中的噪聲干擾以及數(shù)隨機(jī)波動(dòng)性,需要先對(duì)數(shù)據(jù)進(jìn)行優(yōu)化處理,傳統(tǒng)的經(jīng)驗(yàn)?zāi)B(tài)分解技術(shù)在分解信號(hào)的過程中會(huì)出現(xiàn)模態(tài)混疊的問題,在此基礎(chǔ)上提出算法加入白噪聲來(lái)減緩模態(tài)混疊,但無(wú)法完全消除白噪聲的殘留,其對(duì)后續(xù)處理形成了干擾[20]。

為解決上述問題,提出一種完全自適應(yīng)噪聲集合經(jīng)驗(yàn)?zāi)B(tài)分解法(Complete EEMD with Adaptive Noise,CEEMDAN)改進(jìn)算法,主要通過2個(gè)方面解決:①加入經(jīng)驗(yàn)?zāi)B(tài)分解技術(shù)處理后的固有模態(tài)函數(shù)分量,不再直接向原始信號(hào)中添加白噪聲;②CEEMDAN在每一次得到固有模態(tài)函數(shù)分量時(shí)進(jìn)行一次集總運(yùn)算,高效的解決了噪聲的傳遞問題。處理過程如圖4所示。

圖4 CEEMDAN與預(yù)測(cè)模型組合預(yù)測(cè)流程

2.2 歸一化

在電力負(fù)荷預(yù)測(cè)過程中,如果一次性網(wǎng)模型中輸入大量的歷史數(shù)據(jù),模型的處理時(shí)間會(huì)顯著提升,為了提高效率,需要對(duì)數(shù)據(jù)進(jìn)行一定的預(yù)處理操作。采集到的數(shù)據(jù)集多軸之間量綱不同,為避免單一特征權(quán)重過大,需要對(duì)所采集到的數(shù)據(jù)進(jìn)行歸一化操作,通過線性方法將他們映射至(0,1),具體實(shí)現(xiàn)公式為

2.3 評(píng)價(jià)指標(biāo)

為了能夠有效的評(píng)估模型的效果,本文中采用平均絕對(duì)誤差(Mean Absolute Error,MAE)、均方根誤差(Root Mean Squared Error,RMSE)、平均絕對(duì)百分比誤差(Mean Absolute Percent Error,MAPE),三者的數(shù)值越小越好,代表各自的模型的預(yù)測(cè)效果更好,其各自的表達(dá)式為

式中:n為預(yù)測(cè)樣本的個(gè)數(shù);A t、F t為測(cè)試集中的實(shí)際值和預(yù)測(cè)值。

2.4 優(yōu)化器與損失函數(shù)的選擇

本實(shí)驗(yàn)中的所有模型,在訓(xùn)練過程中選擇的優(yōu)化器均為Adam 優(yōu)化算法,損失函數(shù)均選擇RMSE。Adam 算法是在梯度下降基礎(chǔ)上的擴(kuò)展,既能用于梯度稀疏的場(chǎng)合也能緩解梯度波動(dòng)的問題,迭代權(quán)重的效果更加理想,優(yōu)化損失函數(shù)MSE。損失函數(shù)Loss為

式中:n為預(yù)測(cè)樣本的個(gè)數(shù);A t、F t為模型中的實(shí)際值和預(yù)測(cè)值。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)環(huán)境

本文實(shí)驗(yàn)所用的環(huán)境為64位Win 10系統(tǒng),運(yùn)行內(nèi)存為160 GB,顯卡為Tesla K80。處理器型號(hào)Intel(R)Xeon(R)Platinum 8160 CPU,使用以Python為主體語(yǔ)言的深度學(xué)習(xí)框架TensorFlow進(jìn)行網(wǎng)絡(luò)的搭建,根據(jù)系統(tǒng)選擇cuda 10.2作為GPU 支持,開發(fā)環(huán)境配置工具為Anaconda3(64-bit),編程語(yǔ)言選用Python3.9。

3.2 CEEMDAN算法分解

為了獲取更加穩(wěn)定的數(shù)據(jù)序列,在使用CEEMDAN算法對(duì)電力系統(tǒng)負(fù)荷時(shí)序數(shù)據(jù)分解過程中,將添加入每組的噪聲信號(hào)幅度設(shè)置為0.1,原始電力系統(tǒng)負(fù)荷時(shí)序數(shù)據(jù)經(jīng)過CEEMDAN 算法的分解后得到的結(jié)果如圖5所示,經(jīng)過分解后得到8組固有模態(tài)函數(shù)分量和一組殘余量。

圖5 CEEMDAN算法分解后的電力負(fù)荷數(shù)據(jù)

由圖可知,分解后的每一個(gè)固有模態(tài)分量序列都十分有序,充分說(shuō)明CEEMDAN 在處理時(shí)序信息上的優(yōu)越性。

3.3 結(jié)果分析

本文采用澳大利亞維多利亞州負(fù)荷數(shù)據(jù)進(jìn)行預(yù)測(cè)實(shí)驗(yàn),將2015年1月—2015年6月的負(fù)荷數(shù)據(jù)作為訓(xùn)練集,將7月的負(fù)荷數(shù)據(jù)作為測(cè)試集。

為了體現(xiàn)本文方法的優(yōu)越性,用RNN、BiGRU、本文中提出模型得到的結(jié)果和實(shí)際數(shù)據(jù)進(jìn)行對(duì)比。預(yù)測(cè)結(jié)果對(duì)比如圖6所示。明顯看出本文中提出模型預(yù)測(cè)精度優(yōu)于其他模型,且穩(wěn)定性更好,驗(yàn)證了AM-CNN模型對(duì)BiGRU的優(yōu)化效果。

圖6 預(yù)測(cè)結(jié)果對(duì)比

為了能和其他模型有更為直觀的比較,采用MAE、MAPE、RMSE進(jìn)行對(duì)比展示,詳細(xì)4個(gè)模型的3個(gè)評(píng)價(jià)指標(biāo)數(shù)據(jù)見表1。

表1 4種模型預(yù)測(cè)效果對(duì)比

由表可知,文中所提出的模型在這3個(gè)指標(biāo)評(píng)價(jià)中都有著較優(yōu)的表現(xiàn)。MAE、MAPE、RMSE較其他3種方法都有著提升。

4 結(jié) 語(yǔ)

為提高電力系統(tǒng)未來(lái)負(fù)荷數(shù)據(jù)的預(yù)測(cè)效果,對(duì)電力工作人員提供一個(gè)更有參考價(jià)值的數(shù)據(jù),利用CEEMDAN算法,減少數(shù)據(jù)不穩(wěn)定對(duì)預(yù)測(cè)結(jié)果的不良影響。通過對(duì)多個(gè)模型實(shí)例分析和對(duì)比論證,AM-CNN-BiGRU 組合模型在電力負(fù)荷預(yù)測(cè)上有優(yōu)越的預(yù)測(cè)性能和高魯棒性,能夠滿足目前對(duì)于預(yù)測(cè)上的精度要求,為短期負(fù)荷預(yù)測(cè)提供了理論參考和方法依據(jù)。