張思揚(yáng)，匡芳君，周文俊

（溫州商學(xué)院 信息工程學(xué)院，浙江 溫州 325035）

0 引言

電力負(fù)荷預(yù)測(cè)是智能電網(wǎng)建設(shè)和規(guī)劃的基礎(chǔ)，負(fù)荷預(yù)測(cè)結(jié)果的準(zhǔn)確性對(duì)電網(wǎng)的動(dòng)態(tài)估計(jì)、負(fù)荷調(diào)度和降低發(fā)電成本具有重要意義，直接關(guān)系到電力投資的效益、供電的可靠性、電力需求的正常發(fā)展以及整個(gè)社會(huì)的經(jīng)濟(jì)效益和社會(huì)效益［1-3］。準(zhǔn)確快速的短期負(fù)荷預(yù)測(cè)不僅可以有效降低發(fā)電成本，而且是電力企業(yè)在市場(chǎng)環(huán)境下實(shí)施需求響應(yīng)工程、安排供電調(diào)度計(jì)劃的前提。

面對(duì)海量、高維、異構(gòu)的電力負(fù)荷數(shù)據(jù)，用傳統(tǒng)數(shù)據(jù)挖掘方法進(jìn)行負(fù)荷特性分析和預(yù)測(cè)，已難以滿(mǎn)足需求，如何提高預(yù)測(cè)精度是研究負(fù)荷預(yù)測(cè)理論和負(fù)荷特性的重點(diǎn)內(nèi)容，也深受學(xué)者們關(guān)注，近年來(lái)學(xué)者進(jìn)行了大量研究［4-5］，有靜態(tài)短期電力負(fù)荷預(yù)測(cè)方法［6-8］，這些方法不能準(zhǔn)確預(yù)測(cè)非線(xiàn)性載荷和時(shí)間序列，但可以解釋其物理特性。也有智能方法在處理STLF中的不確定性和非線(xiàn)性時(shí)間序列方面表現(xiàn)得更好［9-14］，如秦昌平利用級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)短期電力負(fù)荷［15］；Ahmad等利用非線(xiàn)性自回歸和隨機(jī)森林模型預(yù)測(cè)中長(zhǎng)期電力負(fù)荷［16］；Suryanarayana等提出了一種用于熱負(fù)荷預(yù)測(cè)的深度學(xué)習(xí)方法［17］；Gou等利用深度前饋網(wǎng)絡(luò)進(jìn)行短期電力負(fù)荷預(yù)測(cè)［18］；Chen等提出了一種能集成領(lǐng)域知識(shí)和研究人員理解的深度殘差網(wǎng)絡(luò)短期電力負(fù)荷預(yù)測(cè)模型［19］；孔祥玉等提出了一種基于有監(jiān)督和無(wú)監(jiān)督結(jié)合的深度信念網(wǎng)絡(luò)短期負(fù)荷預(yù)測(cè)模型［20］；這些智能方法對(duì)高維數(shù)據(jù)的處理能力較強(qiáng)，

但存在共同問(wèn)題是缺少考慮時(shí)序數(shù)據(jù)中的時(shí)間相關(guān)性，需要添加時(shí)間特征來(lái)確保預(yù)測(cè)效果。還有學(xué)者提出了提高預(yù)測(cè)精度的混合預(yù)測(cè)模型［21-29］，如Ribero等提出了用于短期負(fù)荷預(yù)測(cè)的小波神經(jīng)網(wǎng)絡(luò)集成模型［23］；Rafiei等提出了結(jié)合廣義極值學(xué)習(xí)機(jī)、小波預(yù)處理和bootstrapping混合模型用于概率電力負(fù)荷預(yù)測(cè)［24］等。Hamed提出了基于Kalman濾波、小波和人工神經(jīng)網(wǎng)絡(luò)的短期負(fù)荷預(yù)測(cè)組合模型［25］；Vrablecová等提出利用在線(xiàn)支持向量回歸進(jìn)行短期電力負(fù)荷預(yù)測(cè)［26］；Sideratos等提出了基于人工神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的混合模型，用于周負(fù)荷預(yù)測(cè)［27］；Zhang等提出了基于長(zhǎng)短期記憶的短期電力負(fù)荷組合預(yù)測(cè)模型［28］；葉琳等［29］綜述了深度學(xué)習(xí)在電力系統(tǒng)和負(fù)荷預(yù)測(cè)中的應(yīng)用。這些方法中深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Networks，DNN）由于其具有更多隱含層，并能通過(guò)強(qiáng)有力的訓(xùn)練程序重組，是電力負(fù)荷預(yù)測(cè)中相對(duì)較好的解決方案，但這些方法大多以集中式的迭代運(yùn)算為基礎(chǔ)，計(jì)算資源消耗很大，面對(duì)海量、高維、異構(gòu)的電力負(fù)荷數(shù)據(jù)，已不能很好地滿(mǎn)足負(fù)荷效率和預(yù)測(cè)精度要求。

針對(duì)短期電力負(fù)荷模型計(jì)算量大，維度高以及負(fù)荷數(shù)據(jù)采集越來(lái)越快，增大了數(shù)據(jù)規(guī)模，同時(shí)運(yùn)用短期電力負(fù)荷預(yù)測(cè)的深度學(xué)習(xí)模型，在訓(xùn)練中需要進(jìn)行系列復(fù)雜繁瑣的大規(guī)模計(jì)算，并且還需要不斷地調(diào)整超參數(shù)訓(xùn)練模型來(lái)得到相對(duì)最合適的預(yù)測(cè)模型。因此，短期電力負(fù)荷預(yù)測(cè)模型極需并行化實(shí)現(xiàn)方案來(lái)解決海量、高維和異構(gòu)負(fù)荷數(shù)據(jù)下的負(fù)荷效率和預(yù)測(cè)精度要求。Liu等［30］分析比較了神經(jīng)網(wǎng)絡(luò)算法在Spark和Hadoop兩種并行版本各種情況的性能，得出Spark在各種情況下是最有效。因此，本文從短期負(fù)荷預(yù)測(cè)模型規(guī)模和實(shí)際預(yù)測(cè)需求考慮，通過(guò)搭建分布式集群，利用Spark計(jì)算平臺(tái)實(shí)現(xiàn)數(shù)據(jù)并行，在各節(jié)點(diǎn)上對(duì)數(shù)據(jù)進(jìn)行計(jì)算和數(shù)據(jù)處理，即每個(gè)機(jī)器都擁有模型的完整副本，然后用不同的訓(xùn)練數(shù)據(jù)子集訓(xùn)練，得到的參數(shù)結(jié)果發(fā)送給中心參數(shù)服務(wù)器，由中心參數(shù)服務(wù)器組合每個(gè)節(jié)點(diǎn)的結(jié)果并更新模型后反饋?zhàn)钚履Ｐ偷母北竞托碌臄?shù)據(jù)子集給各個(gè)節(jié)點(diǎn)，并將每輪結(jié)果都被納入預(yù)測(cè)模型，為下一輪做準(zhǔn)備，從而提升運(yùn)行效率。

1 粒子群優(yōu)化深度神經(jīng)網(wǎng)絡(luò)的短期負(fù)荷預(yù)測(cè)模型

深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network，DNN）結(jié)構(gòu)如圖1所示［31］，由1個(gè)輸入層、1個(gè)輸出層和多個(gè)隱含層組成，其預(yù)測(cè)性能影響的關(guān)鍵因素主要是模型構(gòu)造和對(duì)模型的有效訓(xùn)練。

圖1 深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Structure of deep neural network

DNN的輸入向量X=[x1，…，xm]T經(jīng)輸入層到達(dá)第1層隱含層，按式（1）處理后輸出。

式（1）中，R1、W1、B1分別表示第1層隱含層輸出矩陣及該層與輸入層的權(quán)重和閾值。

式（2）中，f、g分別表示隱含層和輸出層的非線(xiàn)性激活函數(shù)，本文都使用sigmoid函數(shù)。

利用DNN進(jìn)行電力負(fù)荷預(yù)測(cè)時(shí)，應(yīng)先考慮DNN結(jié)構(gòu)參數(shù)和各層間的最優(yōu)權(quán)重和閾值參數(shù)，即判斷DNN隱含層數(shù)量及層內(nèi)節(jié)點(diǎn)數(shù)以及層間權(quán)重和閾值參數(shù)等，但考慮DNN的這些參數(shù)較難選擇，需要對(duì)其參數(shù)進(jìn)行優(yōu)化處理后，再進(jìn)行預(yù)測(cè)，以提升其預(yù)測(cè)性能。而粒子群優(yōu)化算法（Particle Swarm Optimization，PSO）是一種群智能優(yōu)化算法，它因原理簡(jiǎn)單、收斂快和易于實(shí)現(xiàn)的特點(diǎn)常被用于模型參數(shù)的選擇和優(yōu)化［32］。因此，本文采用PSO對(duì)DNN網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)進(jìn)行優(yōu)化，以提高模型的性能。限于篇幅，PSO算法描述在此不再贅述。

本文主要通過(guò)PSO優(yōu)化DNN網(wǎng)絡(luò)結(jié)構(gòu)、權(quán)重和閾值參數(shù)，其實(shí)施方案如下：

1）通過(guò)PSO優(yōu)化DNN結(jié)構(gòu)隱含層數(shù)和層內(nèi)神經(jīng)元數(shù)，此過(guò)程可以看作離散性問(wèn)題，讓DNN結(jié)構(gòu)與PSO粒子狀態(tài)形成映射關(guān)聯(lián)。用粒子位置取1與0來(lái)判斷是否存在隱含層和層間神經(jīng)元，當(dāng)粒子的位置為1時(shí)表示存在神經(jīng)元，當(dāng)粒子位置為0時(shí)表示不存在神經(jīng)元。

2）通過(guò)PSO優(yōu)化DNN權(quán)重和閾值，通過(guò)讓DNN各層權(quán)重和閾值與PSO中粒子狀態(tài)形成對(duì)應(yīng)關(guān)系，以便更新粒子狀態(tài)時(shí)就能實(shí)現(xiàn)DNN參數(shù)更新，然后查找所有解空間中隨機(jī)粒子位置，將DNN預(yù)測(cè)負(fù)荷值與實(shí)際負(fù)荷值間的平均絕對(duì)百分比誤差定義為PSO粒子適應(yīng)度F，即按式（3）計(jì)算適應(yīng)度以便獲取最優(yōu)解。

式（3）中，N為測(cè)試樣本規(guī)模；y(i)為實(shí)際負(fù)荷值；yˉi為預(yù)測(cè)負(fù)荷值。

2 基于Spark的粒子群優(yōu)化深度神經(jīng)網(wǎng)絡(luò)短期負(fù)荷預(yù)測(cè)

對(duì)深度學(xué)習(xí)網(wǎng)絡(luò)采用集群方式進(jìn)行分布式訓(xùn)練，在Spark平臺(tái)下構(gòu)建基于改進(jìn)群智能算法的深度神經(jīng)網(wǎng)絡(luò)短期負(fù)荷預(yù)測(cè)模型，其預(yù)測(cè)流程和運(yùn)行機(jī)制如圖2所示。首先將訓(xùn)練數(shù)據(jù)轉(zhuǎn)換為支持并行操作的RDD格式訓(xùn)練副本，同時(shí)利用Spark計(jì)算框架使深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程在內(nèi)存上運(yùn)行，通過(guò)對(duì)深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程的并行化，避免不必要的I/O操作以提升可拓展性，從而提高模型的性能和效率。同時(shí)，針對(duì)深度學(xué)習(xí)網(wǎng)絡(luò)參數(shù)難以選擇和隱含層層數(shù)難確定的問(wèn)題，利用粒子群優(yōu)化算法來(lái)優(yōu)化深度學(xué)習(xí)模型參數(shù)和隱含層層數(shù)，以提高深度神經(jīng)網(wǎng)絡(luò)模型的性能，最后利用訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)短期負(fù)荷預(yù)測(cè)模型去預(yù)測(cè)待預(yù)測(cè)日的電力負(fù)荷。

圖2 基于Spark和深度神經(jīng)網(wǎng)絡(luò)的負(fù)荷預(yù)測(cè)運(yùn)行機(jī)制Fig.2 Operation mechanism of load forecasting based on spark and deep learning

3 實(shí)驗(yàn)與分析

所有實(shí)驗(yàn)運(yùn)行在搭建好的Hadoop2.6.0平臺(tái)上，平臺(tái)有16個(gè)節(jié)點(diǎn)，計(jì)算機(jī)配置內(nèi)存8G，處理器為i7，主頻為2.30 Hz，硬盤(pán)1 TB等。Hadoop版本為2.6.0，Spark版本為2.2.0，所有算法程序都是利用Python和MATLAB語(yǔ)言編程，仿真環(huán)境為Python3.6和MATLAB R2019b。

3.1 數(shù)據(jù)集

本文數(shù)據(jù)來(lái)源于第九屆全國(guó)大學(xué)生電工數(shù)學(xué)建模競(jìng)賽所提供的標(biāo)準(zhǔn)數(shù)據(jù)集［33］，即選取某地區(qū)2012年1月1日至2015年1月10日的電力負(fù)荷值、氣象因素?cái)?shù)據(jù)對(duì)電力短期負(fù)荷預(yù)測(cè)，其中，電力負(fù)荷值是每隔15 min采樣1次，所以每天有96個(gè)采樣時(shí)刻點(diǎn)，氣象因素則包括相對(duì)濕度，降雨量，最高、最低和平均溫度，日期類(lèi)型等數(shù)據(jù)。

3.2 數(shù)據(jù)預(yù)處理

3.2.1 處理缺失數(shù)據(jù)

使用的數(shù)據(jù)集相對(duì)較規(guī)整，本文采用線(xiàn)性插值法填充缺失數(shù)據(jù)，公式如下：

式（4）中，fn和fn+1分別為n、n+1時(shí)刻的負(fù)荷值；fn+j為中間時(shí)刻n+j缺失的負(fù)荷值。

3.2.2 處理異常數(shù)據(jù)

在處理異常數(shù)據(jù)時(shí)，如果某一時(shí)刻的負(fù)荷值與前一時(shí)刻的負(fù)荷值偏差大于±10%，則采用水平處理。當(dāng)某一時(shí)刻負(fù)荷值與前一天及前兩天同期負(fù)荷值偏差大于±10%時(shí)，采用垂直處理。

1）水平處理：考慮到電力負(fù)荷的連續(xù)性，相鄰時(shí)段的負(fù)荷不會(huì)發(fā)生突變，采用平均值方法對(duì)異常數(shù)據(jù)進(jìn)行平滑處理。

2）垂直處理：考慮電力負(fù)荷的周期性，對(duì)不在其范圍內(nèi)的異常數(shù)據(jù)進(jìn)行校正。

3.3.3 數(shù)據(jù)標(biāo)準(zhǔn)化

1）利用對(duì)數(shù)對(duì)負(fù)荷數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，公式如下：

式（7）中，xij，x′ij分別為原始負(fù)荷值和標(biāo)準(zhǔn)化后的負(fù)荷值。

2）用數(shù)字表示日期類(lèi)型的標(biāo)準(zhǔn)化：根據(jù)負(fù)荷的周期性，周一取0.7，周二至周五取0.8，周六取0.4，周日取0.3。

3）采取離差標(biāo)準(zhǔn)化處理溫度、濕度和降雨量數(shù)據(jù)：

式（8）中，Tij為濕度、降雨量和溫度的原始數(shù)據(jù)；Tjmin，Tjmax分別為濕度、降雨量和溫度中的最小值、最大值；T′ij為標(biāo)準(zhǔn)化后的濕度、降雨量和溫度數(shù)據(jù)。

3.3 性能評(píng)價(jià)指標(biāo)

本文采用平均絕對(duì)百分比誤差和均方根相對(duì)誤差來(lái)評(píng)價(jià)模型的性能，公式如下：

1）平均絕對(duì)百分比誤差（Mean Absolute Percentage Error，MAPE）

2）均方根相對(duì)誤差（Root-Mean-Square Error，RMSE）

式（9）、式（10）中，yi為實(shí)際負(fù)荷；yˉi為預(yù)測(cè)負(fù)荷；N為預(yù)測(cè)負(fù)荷數(shù)據(jù)個(gè)數(shù)，N=96，即統(tǒng)計(jì)一天中96個(gè)時(shí)刻的絕對(duì)百分比誤差對(duì)算法性能進(jìn)行評(píng)估；MAPE和RMSE越小，說(shuō)明算法的預(yù)測(cè)效果越好。

3.4 實(shí)驗(yàn)結(jié)果分析

在構(gòu)建預(yù)測(cè)模型時(shí)，考慮到溫度、濕度、降雨量、日期類(lèi)型對(duì)短期負(fù)荷的影響，對(duì)每天96個(gè)預(yù)測(cè)點(diǎn)分別建立預(yù)測(cè)模型，即選用預(yù)測(cè)點(diǎn)前一天的氣象數(shù)據(jù)、前一天的同期負(fù)荷數(shù)據(jù)、前兩天同期負(fù)荷數(shù)據(jù)和當(dāng)天的氣象數(shù)據(jù)形成訓(xùn)練輸入數(shù)據(jù)，得到預(yù)測(cè)點(diǎn)的輸出數(shù)據(jù)，再將此輸出數(shù)據(jù)對(duì)應(yīng)預(yù)測(cè)點(diǎn)的同期負(fù)荷數(shù)據(jù)作為輸入數(shù)據(jù)繼續(xù)預(yù)測(cè)下一個(gè)預(yù)測(cè)日，直到完成全部日期的預(yù)測(cè)，得到預(yù)測(cè)模型，最后利用訓(xùn)練好的預(yù)測(cè)模型對(duì)待預(yù)測(cè)日進(jìn)行預(yù)測(cè)。

3.4.1 模型性能誤差對(duì)比分析

利用訓(xùn)練樣本集對(duì)基于Spark的粒子群優(yōu)化深度神經(jīng)網(wǎng)絡(luò)（Spark_DNN_PSO）短期負(fù)荷預(yù)測(cè)模型進(jìn)行訓(xùn)練，并對(duì)預(yù)測(cè)日2015年1月10日的96個(gè)采樣點(diǎn)的負(fù)荷進(jìn)行預(yù)測(cè)，并與PSO優(yōu)化支持向量機(jī)（SVM_PSO）、深度神經(jīng)網(wǎng)絡(luò)（DNN）、隨機(jī)森林（Random Forest，RF）、支持向量機(jī)（SVM）5種負(fù)荷預(yù)測(cè)模型進(jìn)行比較，不同模型算法運(yùn)行30次后的負(fù)荷預(yù)測(cè)結(jié)果如圖3所示。5種負(fù)荷預(yù)測(cè)模型在預(yù)測(cè)日上的MAPE、RMSE和運(yùn)行時(shí)間（RunTime）如表1所示。

圖3 各負(fù)荷預(yù)測(cè)模型預(yù)測(cè)結(jié)果Fig.3 Prediction results of load forecasting models

從圖3和表1可以看出，本文提出的Spark_DNN_PSO預(yù)測(cè)模型與其他模型相比，具有更好的預(yù)測(cè)效果。預(yù)測(cè)負(fù)荷曲線(xiàn)更接近實(shí)際負(fù)荷曲線(xiàn)，其MAPE、RMSE和運(yùn)行時(shí)間最小，而且擬合效果更好，尤其是在負(fù)荷變化的峰谷值時(shí)，本文提出的方法預(yù)測(cè)效果更能準(zhǔn)確地捕捉負(fù)荷變化趨勢(shì)。因此，該模型能較好地應(yīng)用于短期電力負(fù)荷預(yù)測(cè)。

表1 各預(yù)測(cè)模型的預(yù)測(cè)誤差和運(yùn)行時(shí)間統(tǒng)計(jì)Table 1 Prediction error and running time statistics of models

3.4.2 算法并行性能分析

為了比較平臺(tái)集群節(jié)點(diǎn)數(shù)以及數(shù)據(jù)集大小對(duì)短期負(fù)荷預(yù)測(cè)結(jié)果的影響，本實(shí)驗(yàn)設(shè)置節(jié)點(diǎn)數(shù)分別為4，8，16，觀察模型預(yù)測(cè)結(jié)果的運(yùn)行時(shí)間，并采用加速比來(lái)測(cè)試算法的并行性能。將原始數(shù)據(jù)擴(kuò)大，采用不同大小的數(shù)據(jù)文件來(lái)檢測(cè)算法預(yù)測(cè)精度是否受到影響，對(duì)各數(shù)據(jù)容量運(yùn)行預(yù)測(cè)模型Spark_DNN_PSO，并計(jì)算其MAPE和運(yùn)行時(shí)間，如表2所示。

表2 不同數(shù)據(jù)文件大小的模型預(yù)測(cè)誤差與運(yùn)行時(shí)間Table 2 Model prediction error and running time of different data file sizes

由表2可以看出，當(dāng)數(shù)據(jù)樣本較大時(shí)，集群節(jié)點(diǎn)數(shù)大的預(yù)測(cè)模型運(yùn)行時(shí)間相對(duì)較小，能有效縮短運(yùn)行時(shí)間，而當(dāng)樣本數(shù)據(jù)量較小時(shí)，各節(jié)點(diǎn)數(shù)在運(yùn)行時(shí)間上基本差不多，沒(méi)有明顯優(yōu)勢(shì)，而且節(jié)點(diǎn)數(shù)大的運(yùn)行時(shí)間還稍長(zhǎng)些，這是因?yàn)镾park在集群運(yùn)算進(jìn)行CPU和內(nèi)存分配時(shí)所花時(shí)間占比較大，但隨著數(shù)據(jù)量的增加，這種開(kāi)銷(xiāo)占比會(huì)越來(lái)越小，其集群性能優(yōu)勢(shì)明顯，所以當(dāng)數(shù)據(jù)集較小時(shí)搭建分布式集群環(huán)境進(jìn)行預(yù)測(cè)時(shí)需要考慮成本和實(shí)際情況，而且并不是節(jié)點(diǎn)數(shù)越多越好。另外，隨著數(shù)據(jù)項(xiàng)目條數(shù)增大，MAPE預(yù)測(cè)誤差稍有增加，但波動(dòng)范圍較小，沒(méi)有明顯規(guī)律性，最大MAPE誤差為1.24%，最小MAPE誤差為0.85%。實(shí)驗(yàn)表明，Spark_DNN_PSO算法能較好地應(yīng)用于電力大數(shù)據(jù)預(yù)測(cè)環(huán)境下進(jìn)行短期負(fù)荷預(yù)測(cè)。

4 結(jié)語(yǔ)

針對(duì)單機(jī)電力負(fù)荷預(yù)測(cè)模型存在的問(wèn)題，本文提出了基于Spark的PSO優(yōu)化DNN負(fù)荷預(yù)測(cè)模型，通過(guò)Spark計(jì)算平臺(tái)部署16個(gè)節(jié)點(diǎn)的集群來(lái)提升模型的運(yùn)行效率，此外將負(fù)荷輸入數(shù)據(jù)集分片成RDD數(shù)據(jù)集提高了算法的適應(yīng)性和泛化能力，同時(shí)，通過(guò)PSO確定深度神經(jīng)網(wǎng)絡(luò)的隱含層層數(shù)和各層的神經(jīng)元個(gè)數(shù)以及優(yōu)化DNN權(quán)重和閾值參數(shù)能有效地提升模型的性能，減少預(yù)測(cè)誤差。下一步將研究機(jī)器學(xué)習(xí)集成算法在Spark計(jì)算平臺(tái)上的并行性，進(jìn)一步提高并行算法的執(zhí)行效率和負(fù)荷預(yù)測(cè)精度，以及研究輕量級(jí)的預(yù)測(cè)模型加快訓(xùn)練和預(yù)測(cè)速度，進(jìn)而更好地應(yīng)用于實(shí)際的電力大數(shù)據(jù)預(yù)測(cè)環(huán)境。