劉海峰 王艷如

摘? 要：基于組合預(yù)測(cè)方法的研究思路，在LSTM神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，引入強(qiáng)化學(xué)習(xí)思想，采用簡(jiǎn)化的Inception網(wǎng)絡(luò)結(jié)構(gòu)，構(gòu)造成隱藏狀態(tài)矩陣，實(shí)現(xiàn)LSTM網(wǎng)絡(luò)的改進(jìn)與優(yōu)化，并據(jù)此構(gòu)建短期電力負(fù)荷預(yù)測(cè)模型。實(shí)驗(yàn)結(jié)果表明，與DBN、RBF等網(wǎng)絡(luò)模型相比，基于強(qiáng)化學(xué)習(xí)的改進(jìn)LSTM網(wǎng)絡(luò)模型可更好地捕捉依賴信息，具有更高的短期負(fù)荷預(yù)測(cè)準(zhǔn)確性。

關(guān)鍵詞：短期電力負(fù)荷;深度學(xué)習(xí)網(wǎng)絡(luò);LSTM網(wǎng)絡(luò);強(qiáng)化學(xué)習(xí)

中圖分類號(hào)：TP18? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2096-4706（2021）23-0040-04

Research on Short-term Power Load Forecasting Algorithm Based on LSTM

LIU Haifeng1， WANG Yanru2

（1.Big Data Center of State Grid Corporation of China， Beijing 100053， China; 2.Beijing Fibrlink Communications Co.， Ltd.， State Grid Information & Telecommunication Group Co.， Ltd.， Beijing 100052， China）

Abstract： Based on the research idea of combined forecasting method， on the basis of LSTM neural network， the reinforcement learning idea is introduced， the simplified Inception network structure is adopted to construct a hidden state matrix， so as to improve and optimize the LSTM network， and a short-term power load forecasting model is constructed based on it. The experimental results show that compared with DBN， RBF and other network models， the improved LSTM network model based on reinforcement learning can better capture the dependency information and has higher accuracy of short-term load forecasting.

Keywords： short-term power load; deep learning network; LSTM network; reinforcement learning

0? 引? 言

電力工業(yè)是國(guó)民經(jīng)濟(jì)的命脈，對(duì)我國(guó)經(jīng)濟(jì)建設(shè)、社會(huì)穩(wěn)定、國(guó)家安全和生活質(zhì)量都具有非常重要的作用。電力負(fù)荷是指在一段時(shí)刻內(nèi)，用電設(shè)備的電功率總和，是電力協(xié)調(diào)調(diào)度的關(guān)鍵。若能準(zhǔn)確預(yù)測(cè)電力負(fù)荷，將對(duì)輔助電力系統(tǒng)協(xié)調(diào)調(diào)度有著非常重要的意義。

電力負(fù)荷預(yù)測(cè)利用歷史用電數(shù)據(jù)，預(yù)測(cè)未來(lái)一段時(shí)間的負(fù)荷情況。由于電力負(fù)荷預(yù)測(cè)受諸多因素影響，為了提高預(yù)測(cè)精度，就需深入研究與創(chuàng)新電力負(fù)荷預(yù)測(cè)方法。短期負(fù)荷預(yù)測(cè)的研究，也從回歸分析[1]、時(shí)間序列[2]、指數(shù)平滑[3]等單一經(jīng)典預(yù)測(cè)方法，向灰色預(yù)測(cè)[4]、人工神經(jīng)網(wǎng)絡(luò)[5]、LSTM（Long Short-Term Memory，長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)）[6]、模糊預(yù)測(cè)、小波分析等組合現(xiàn)代預(yù)測(cè)方法發(fā)展。在本文的研究中，也主要基于組合預(yù)測(cè)方法的研究思路，通過(guò)強(qiáng)化學(xué)習(xí)對(duì)LSTM算法的改進(jìn)優(yōu)化，對(duì)改進(jìn)后LSTM網(wǎng)絡(luò)在短期電力負(fù)荷預(yù)測(cè)中的應(yīng)用進(jìn)行研究。

1? LSTM網(wǎng)絡(luò)概述

1.1? LSTM技術(shù)基礎(chǔ)

前饋神經(jīng)網(wǎng)絡(luò)的輸出只依賴當(dāng)前輸入，但是在文本、視頻、語(yǔ)音等時(shí)序數(shù)據(jù)中，時(shí)序數(shù)據(jù)長(zhǎng)度并不固定，前饋神經(jīng)網(wǎng)絡(luò)的輸入輸出維數(shù)不能任意更改，因此難以適應(yīng)這類型時(shí)序數(shù)據(jù)的處理。短期電力負(fù)荷預(yù)測(cè)的輸入與輸出均為時(shí)間序列，其本質(zhì)仍是基于先前元素的序列預(yù)測(cè)問(wèn)題，為此需要采用與前饋神經(jīng)網(wǎng)絡(luò)不同的方法，進(jìn)行短期電力負(fù)荷預(yù)測(cè)。

循環(huán)神經(jīng)網(wǎng)絡(luò)具有記憶功能，可提升網(wǎng)絡(luò)性能。與前饋神經(jīng)網(wǎng)絡(luò)相比，循環(huán)神經(jīng)網(wǎng)絡(luò)具備可同時(shí)接受自身信息與其他神經(jīng)元信息的神經(jīng)元，更貼合生物神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，在文本等序列數(shù)據(jù)分析中有廣泛應(yīng)用。循環(huán)神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)隨時(shí)間反向傳播，錯(cuò)誤信息前傳遞學(xué)習(xí)，建立長(zhǎng)時(shí)間間隔的狀態(tài)間依賴，支持序列數(shù)據(jù)的分析處理。但隨著網(wǎng)絡(luò)層數(shù)增多與時(shí)間加長(zhǎng)，循環(huán)神經(jīng)網(wǎng)絡(luò)容易因梯度消失或爆炸問(wèn)題，導(dǎo)致只能學(xué)習(xí)短距離依賴，無(wú)法解決長(zhǎng)距離依賴問(wèn)題。為了解決循環(huán)神經(jīng)網(wǎng)絡(luò)的長(zhǎng)程依賴問(wèn)題，在循環(huán)神經(jīng)網(wǎng)絡(luò)上添加門控機(jī)制，實(shí)現(xiàn)調(diào)度信息積累速度控制，這類方法被稱之為基于門控的循環(huán)神經(jīng)網(wǎng)絡(luò)，例如LSTM長(zhǎng)短期記憶網(wǎng)絡(luò)。

LSTM是一種基于RNN的改進(jìn)模型，通過(guò)引入門和單元的概念，解決長(zhǎng)距離依賴問(wèn)題，具有比RNN更強(qiáng)的適應(yīng)性。LSTM網(wǎng)絡(luò)的單元結(jié)構(gòu)如圖1所示。

每個(gè)神經(jīng)單元內(nèi)部結(jié)構(gòu)如圖2所示。

每個(gè)LSTM神經(jīng)單元都包含遺忘門、輸入門和輸出門三個(gè)門控結(jié)構(gòu)，以控制數(shù)據(jù)有信息的換地。其中，遺忘門負(fù)責(zé)丟棄和保留上一個(gè)時(shí)刻的有效信息在CtCt內(nèi)，輸入門將當(dāng)前時(shí)刻有效信息存放在Ct內(nèi)，輸出門決定神經(jīng)單元輸出中Ct的信息。

1.2? LSTM網(wǎng)絡(luò)分析

與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法相比，LSTM網(wǎng)絡(luò)具有更強(qiáng)的自適應(yīng)學(xué)習(xí)能力，對(duì)復(fù)雜樣本數(shù)據(jù)有更好的擬合效果。LSTM網(wǎng)絡(luò)通過(guò)門控結(jié)構(gòu)，有效避免了時(shí)間增加所導(dǎo)致的梯度消失的問(wèn)題，且由于采用了三個(gè)輸入值與兩個(gè)輸入值的當(dāng)前時(shí)刻記憶單元，因此模型也具有更好的泛化能力。

但是，在LSTM網(wǎng)絡(luò)在實(shí)際應(yīng)用中也存在一些缺陷。例如，LSTM網(wǎng)絡(luò)采用梯度下降法進(jìn)行權(quán)值更新，導(dǎo)致模型的收斂速度較慢，容易出現(xiàn)梯度發(fā)散問(wèn)題，使更容易陷入局部極小值，且沒有科學(xué)的方法，確定模型的隱含層節(jié)點(diǎn)數(shù)量、學(xué)習(xí)率與迭代等參數(shù)。

2? 預(yù)測(cè)模型的設(shè)計(jì)

強(qiáng)化學(xué)習(xí)通過(guò)樣本與環(huán)境的不斷交互，提供延遲的反饋獎(jiǎng)勵(lì)。強(qiáng)化學(xué)習(xí)的算法基本可分為時(shí)序差分學(xué)習(xí)、動(dòng)態(tài)規(guī)劃等基于值函數(shù)的方法和策略梯度函數(shù)兩類方法。其中，基于值函數(shù)的方法，因?yàn)橹岛瘮?shù)在更新過(guò)程中的改變較大，其收斂性受到影響;基于策略函數(shù)的方法，在更新時(shí)具有更強(qiáng)的穩(wěn)定性，但采樣難度大，容易收斂到局部最優(yōu)解，基于強(qiáng)化學(xué)習(xí)的LSTM模型結(jié)構(gòu)設(shè)計(jì)如圖3所示。

第一層為輸入層，將歷史負(fù)荷數(shù)據(jù)X=[x1，x2，… ，xt]T輸入網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練;

第二層為L(zhǎng)STM層，結(jié)合強(qiáng)化學(xué)習(xí)，構(gòu)建隱藏狀態(tài)矩陣H，動(dòng)態(tài)學(xué)習(xí)網(wǎng)絡(luò)輸入負(fù)荷數(shù)據(jù)中的長(zhǎng)期依賴;

第三層為Inception網(wǎng)絡(luò)層，通過(guò)一系列并行的一維卷積分支，處理與分析輸入負(fù)荷數(shù)據(jù)，并將處理與分析結(jié)果合并為張量;

第四層為全連接輸出層，由于預(yù)測(cè)結(jié)果輸出個(gè)數(shù)匹配的神經(jīng)元構(gòu)成，輸出結(jié)果為電力負(fù)荷預(yù)測(cè)結(jié)果輸出矩陣L。

在本文所研究的基于強(qiáng)化學(xué)習(xí)的LSTM網(wǎng)絡(luò)模型中，借鑒動(dòng)態(tài)跳躍LSTM[57]在語(yǔ)言處理方面對(duì)序列數(shù)據(jù)處理的優(yōu)勢(shì)，通過(guò)強(qiáng)化學(xué)習(xí)選擇最優(yōu)依賴，以學(xué)習(xí)電力負(fù)荷的周期性特征，改進(jìn)的LSTM模型結(jié)構(gòu)如圖4所示。

在如圖4所示的改進(jìn)型LSTM模型中，在t-1時(shí)刻的隱藏狀態(tài)發(fā)生變化，細(xì)胞候選狀態(tài)ct-k與ct-1間、隱藏狀態(tài)ht-k與ht-1間根據(jù)預(yù)測(cè)效果選擇最優(yōu)依賴。

采用改進(jìn)LSTM模型作為Inception節(jié)點(diǎn)輸入模塊的改進(jìn)短期電力負(fù)荷預(yù)測(cè)模型如圖5所示。

設(shè)計(jì)與改進(jìn)的短期電力負(fù)荷預(yù)測(cè)模型，其核心為策略梯度代理，在時(shí)間步長(zhǎng)t中，代理與環(huán)境st交互將決定LSTM單元的動(dòng)作，基于當(dāng)前選擇的模型性能為更新代理參數(shù)的獎(jiǎng)勵(lì)。代理的環(huán)境、動(dòng)作與獎(jiǎng)勵(lì)三個(gè)關(guān)鍵點(diǎn)的介紹為：

（1）環(huán)境。由當(dāng)前輸入xt與前狀態(tài)ht-1形成的環(huán)境表示如式（1）所示：

St=xt⊕ht-1? ? ? （1）

（2）動(dòng)作。根據(jù)環(huán)境St確定對(duì)后續(xù)LSTM單元影響最佳的狀態(tài)，構(gòu)建一個(gè)保留最近K狀態(tài)，最大尺寸為K的狀態(tài)集合SK，采用如式（2）、式（3）所示的多項(xiàng)式分布πK（h|St）對(duì)狀態(tài)集合SK中的最優(yōu)狀態(tài)進(jìn)行采樣。

（2）

（3）

其中，softmax（）用戶將向量變換為概率分布P，MLP（）為多層感知器將環(huán)境St變換為K維向量，pi為概率分布P第i個(gè)元素。

（3）獎(jiǎng)勵(lì)。獎(jiǎng)勵(lì)函數(shù)選擇一系列最佳跳過(guò)動(dòng)作，進(jìn)行預(yù)測(cè)模型學(xué)習(xí)與訓(xùn)練，選擇最佳跳過(guò)達(dá)到提升短期電力負(fù)荷預(yù)測(cè)模型性能的目的，算法中的獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)如式（4）所示。

（4）

基于改進(jìn)LSTM模型的短期電力負(fù)荷預(yù)測(cè)模型采用簡(jiǎn)化的Inception網(wǎng)絡(luò)結(jié)構(gòu)，采用基于時(shí)間步長(zhǎng)向量，構(gòu)造隱藏狀態(tài)矩陣，生成一組優(yōu)化的特征。因此，雖然當(dāng)前狀態(tài)為不正確隱藏狀態(tài)向量，在通過(guò)1-D初始模塊，和級(jí)聯(lián)濾波器隱藏狀態(tài)向量后，輸出未來(lái)短期的預(yù)測(cè)結(jié)果。

3? 預(yù)測(cè)模型的實(shí)驗(yàn)

3.1? 實(shí)驗(yàn)數(shù)據(jù)

此次實(shí)驗(yàn)使用的是新英格蘭2004年3月至2014年12月間，以小時(shí)為單位的電網(wǎng)總負(fù)荷，總計(jì)103 000項(xiàng)數(shù)據(jù)。

實(shí)驗(yàn)程序底層采用Tensorflow框架，基于Keras深度鏈接庫(kù)，實(shí)驗(yàn)結(jié)果采用平均絕對(duì)百分比誤差（Mean Absolute Percentage Error， MAPE）作為實(shí)驗(yàn)效果的評(píng)價(jià)。

（5）

其中，ti為負(fù)荷值，為預(yù)測(cè)值，m為樣本數(shù)，MAPE值越小，表明預(yù)測(cè)值相對(duì)偏離程度越低，模型的預(yù)測(cè)精度越高。

3.2? 實(shí)驗(yàn)實(shí)施與結(jié)果分析

本次實(shí)驗(yàn)用數(shù)據(jù)總計(jì)約10萬(wàn)項(xiàng)，按照8：2的比例，隨機(jī)將實(shí)驗(yàn)數(shù)據(jù)劃分為模型訓(xùn)練集和模型測(cè)試集。其中，訓(xùn)練集中數(shù)據(jù)用于短期負(fù)荷預(yù)測(cè)模型的學(xué)習(xí)與訓(xùn)練，測(cè)試集中數(shù)據(jù)中數(shù)據(jù)用于短期負(fù)荷預(yù)測(cè)模型的測(cè)試與驗(yàn)證。經(jīng)過(guò)多次試驗(yàn)，確定模型結(jié)構(gòu)的參數(shù)設(shè)置如表1所示。

為了增強(qiáng)實(shí)驗(yàn)的可對(duì)比性，采用RBF徑向基神經(jīng)網(wǎng)絡(luò)、DBN深度信念網(wǎng)絡(luò)進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖7所示。

如圖7所示，與DBN、RBF等深度學(xué)習(xí)模型相比，本文所研究的改進(jìn)LSTM網(wǎng)絡(luò)模型，通過(guò)引入強(qiáng)度學(xué)習(xí)，更好的捕捉長(zhǎng)期依賴信息，具有更高的預(yù)測(cè)性能。

4? 結(jié)? 論

采用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，深度分析與挖掘電力負(fù)荷歷史數(shù)據(jù)，構(gòu)建短期電力負(fù)荷預(yù)測(cè)模型，預(yù)測(cè)未來(lái)一段時(shí)間的電力負(fù)荷。本文研究基于LSTM網(wǎng)絡(luò)的短期電力負(fù)荷預(yù)測(cè)方法，通過(guò)引入強(qiáng)化學(xué)習(xí)思想，與LSTM網(wǎng)絡(luò)的時(shí)序特征結(jié)合，有效提高了LSMT網(wǎng)絡(luò)模型的預(yù)測(cè)性能。隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展與完善，傳統(tǒng)與預(yù)測(cè)模式結(jié)合的方法有待更進(jìn)一步的研究與完善，通過(guò)各種模型與算法優(yōu)勢(shì)的組合，提高負(fù)荷預(yù)測(cè)精度，更好地推動(dòng)開展電力系統(tǒng)高相關(guān)領(lǐng)域工作。

參考文獻(xiàn)：

[1] 廖旎煥，胡智宏，馬瑩瑩等.電力系統(tǒng)短期負(fù)荷預(yù)測(cè)方法綜述 [J].電力系統(tǒng)保護(hù)與控制，2011，39（1）：147-152.

[2] 夏博，楊超，李沖.電力系統(tǒng)短期負(fù)荷預(yù)測(cè)方法研究綜述 [J].電力大數(shù)據(jù)，2018，21（7）：22-28.

[3] 張文哲，陳剛.電力市場(chǎng)下負(fù)荷預(yù)測(cè)綜述 [J].渝西學(xué)院學(xué)報(bào)（自然科學(xué)版），2003（3）：71-74.

[4] 黎華盛，王宇，黎軍.基于灰色理論的GM（1，1）模型對(duì)配電網(wǎng)進(jìn)行中長(zhǎng)期負(fù)荷預(yù)測(cè) [J].通訊世界，2017（18）：218-219.

[5] 張靜，石鑫.基于改進(jìn)MOPSO-BP算法的短期電力負(fù)荷預(yù)測(cè)研究 [J].電力學(xué)報(bào)，2019，34（6）：556-563.

[6] 張旭東，錢仲文，沈思琪，等.一種基于LSTM與LGBM的電力負(fù)荷預(yù)測(cè)算法 [J].系統(tǒng)工程，2019，37（1）：152-158.

作者簡(jiǎn)介：劉海峰（1983.04—），男，漢族，陜西榆林人，工程師，碩士研究生，研究方向：電力大數(shù)據(jù)開發(fā)及研究;王艷如（1987.09—），男，漢族，山東成武人，工程師，碩士研究生，研究方向：用電負(fù)荷預(yù)測(cè)及應(yīng)用。