欒 毅， 剡文林，劉 巖，楊永強(qiáng)

(1.云南電力調(diào)度控制中心，云南 昆明 650041；2.華北電力大學(xué)能源動(dòng)力與機(jī)械工程學(xué)院，北京 102206)

0 引 言

風(fēng)電是一種重要的低碳能源，它具有低成本、清潔、可再生等諸多優(yōu)點(diǎn)，具有可持續(xù)能源供應(yīng)的潛力[1]。風(fēng)能固有的間歇性、隨機(jī)性和波動(dòng)性等特點(diǎn)給大規(guī)模風(fēng)電并網(wǎng)的安全調(diào)度和平穩(wěn)運(yùn)營(yíng)帶來挑戰(zhàn)[2]。準(zhǔn)確的風(fēng)電預(yù)測(cè)不僅可以有效解決風(fēng)電消納問題，也會(huì)增強(qiáng)風(fēng)電在電力市場(chǎng)中的競(jìng)爭(zhēng)力[3]。

風(fēng)電預(yù)測(cè)問題屬于數(shù)據(jù)密集型應(yīng)用，其核心挑戰(zhàn)是如何處理大量、復(fù)雜、豐富多樣、快速變化的數(shù)據(jù)。機(jī)器學(xué)習(xí)在數(shù)據(jù)密集型應(yīng)用中非常成功，但當(dāng)數(shù)據(jù)集很小時(shí)，機(jī)器學(xué)習(xí)模型無法很好的學(xué)習(xí)到數(shù)據(jù)的完整特征[4]。國(guó)內(nèi)外已有大量研究[5-7]表明，統(tǒng)計(jì)方法的模型并不直接建立風(fēng)速與功率的物理關(guān)系，而是試圖找出數(shù)據(jù)之間的映射關(guān)系，需要對(duì)大量的歷史數(shù)據(jù)進(jìn)行識(shí)別、擬合、訓(xùn)練，才能達(dá)到一定的精度。為了解決這一問題，近年來提出了小樣本學(xué)習(xí)(Few-shot learning， FSL)[8]。利用先驗(yàn)知識(shí)，F(xiàn)SL可以快速地泛化到只包含少量有監(jiān)督信息的樣本的新任務(wù)中[9]。

本文主要開展了以下3方面工作：①針對(duì)區(qū)域電網(wǎng)內(nèi)的風(fēng)電場(chǎng)缺少大量歷史數(shù)據(jù)的問題，本文提出了一種基于FSL的生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network， GAN)[10]模型用以擴(kuò)充樣本集，從而更好地完成風(fēng)電預(yù)測(cè)模型的訓(xùn)練與預(yù)測(cè)功能；②針對(duì)傳統(tǒng)生成對(duì)抗網(wǎng)絡(luò)模型無法處理回歸問題的情況，提出了改進(jìn)-生成對(duì)抗網(wǎng)絡(luò)(GR-GAN)的模型，使其可以在樣本有限的條件實(shí)現(xiàn)風(fēng)電預(yù)測(cè)這一回歸問題；③使用兩個(gè)不同地區(qū)風(fēng)電場(chǎng)的歷史發(fā)電量數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)驗(yàn)證，結(jié)果表明與基線方法相比，本文模型方法達(dá)到了最佳預(yù)測(cè)效果并且在輸入較少樣本時(shí)模型就表現(xiàn)出較小的預(yù)測(cè)誤差。

1 算法理論介紹

1.1 小樣本學(xué)習(xí)

機(jī)器學(xué)習(xí)(Machine Learning)是一種計(jì)算機(jī)程序，可針對(duì)特定任務(wù)T學(xué)習(xí)經(jīng)驗(yàn)E，并根據(jù)性能評(píng)價(jià)指標(biāo)P不斷提高經(jīng)驗(yàn)E在任務(wù)T上的表現(xiàn)。小樣本學(xué)習(xí)(FSL)是一類機(jī)器學(xué)習(xí)問題(使用E、T、P表示)，其中對(duì)目標(biāo)任務(wù)T，E只有有限數(shù)量的有標(biāo)簽信息。

目前的小樣本研究主要聚焦在監(jiān)督學(xué)習(xí)，具體可分為以下3類：小樣本分類問題(Few-shot classification)，其目的是在對(duì)每一個(gè)類別都只有少量有標(biāo)簽樣本的情況下學(xué)習(xí)一個(gè)分類器；小樣本回歸(Few-shot regression)，其任務(wù)則是在有限的輸入-輸出樣本對(duì)上評(píng)估一個(gè)回歸函數(shù)h，其中yi是因變量y的觀測(cè)值，xi是模型輸入，即自變量x的觀測(cè)值；小樣本強(qiáng)化學(xué)習(xí)(Few-shot reinforcement learning)，其目標(biāo)是在少量狀態(tài)-動(dòng)作對(duì)的情況下學(xué)習(xí)強(qiáng)化策略。風(fēng)電預(yù)測(cè)問題的預(yù)測(cè)目標(biāo)變量是連續(xù)變量，因此屬于一類回歸問題，本文主要基于小樣本回歸實(shí)現(xiàn)風(fēng)電預(yù)測(cè)。

1.2 生成對(duì)抗網(wǎng)絡(luò)

GAN包括2個(gè)獨(dú)立的深度網(wǎng)絡(luò)：生成器和判別器。生成器接收一個(gè)隨機(jī)變量z并將其映射到數(shù)據(jù)分布pdata(x)，其中z的分布為pz(z)。生成器的輸出分布應(yīng)收斂到訓(xùn)練期間的數(shù)據(jù)分布。判別器通過輸出0或1來判別生成器產(chǎn)生的樣本是否為真樣本。在GAN的訓(xùn)練過程中，生成器和判別器分別用于生成樣本和分類樣本，采用對(duì)抗的方式提升彼此的性能。GAN采用對(duì)抗損失函數(shù)來訓(xùn)練生成器和判別器

minGmaxDV(D，G)=Ex～Pdata(x)[logD(x)]+
Ez～Pz(z)[log(1-D(G(z)))]

(1)

G(z)是生成數(shù)據(jù)分布，因此公式可以改為

minGmaxDV(D，G)=Ex～Pdata(x)[logD(x)]+
Ex～PG(x)[log(1-D(x))]

(2)

式中，maxDV(D，G)為最大化判別器D的價(jià)值函數(shù)。判別器的任務(wù)是，對(duì)于真數(shù)據(jù)，輸出1；對(duì)于假數(shù)據(jù)，輸出0。由此可知Ex～Pdata(x)[logD(x)]表示了真數(shù)據(jù)的價(jià)值，Ex～PG(x)[log(1-D(x))]表示假數(shù)據(jù)的價(jià)值，兩部分的結(jié)果相加得到了判別器的價(jià)值函數(shù)，其數(shù)值越大表示判別器越準(zhǔn)確。minG部分則是要最小化生成器G的價(jià)值函數(shù)，訓(xùn)練生成器時(shí)目標(biāo)與判別器訓(xùn)練目標(biāo)相反，希望D(x)接近與0，即迭代器對(duì)假數(shù)據(jù)的判斷結(jié)果越錯(cuò)誤越好，這樣就表示了生成數(shù)據(jù)分布接近真實(shí)數(shù)據(jù)分布。

GAN算法的目的是推導(dǎo)出由兩方參與的極小化極大算法的納什均衡點(diǎn)(Nash-equilibrium point)[11]。在本文的風(fēng)電預(yù)測(cè)算法中，針對(duì)風(fēng)電場(chǎng)發(fā)電數(shù)據(jù)樣本偏少的問題，基于GAN模型完成風(fēng)電樣本的生成與判定任務(wù)。

2 基于GR-GAN的風(fēng)電預(yù)測(cè)模型

各地區(qū)風(fēng)電場(chǎng)保存的歷史數(shù)據(jù)包含了大量的缺失值，并且存在一些噪音，不利于算法模型的訓(xùn)練。因此首先需要對(duì)風(fēng)電場(chǎng)原始數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理，得到標(biāo)準(zhǔn)的、干凈的、連續(xù)的數(shù)據(jù)。

隨后基于風(fēng)電場(chǎng)的歷史功率、歷史風(fēng)速、地形地貌、數(shù)值天氣預(yù)報(bào)、風(fēng)電機(jī)組運(yùn)行狀態(tài)等數(shù)據(jù)建立風(fēng)電場(chǎng)的特征表達(dá)和融合，進(jìn)而構(gòu)建風(fēng)電場(chǎng)輸出功率的預(yù)測(cè)模型。受到改進(jìn)的GAN技術(shù)的啟發(fā)[12]，改進(jìn)GAM模型，使其能夠處理風(fēng)電預(yù)測(cè)這一回歸問題。本文應(yīng)用GAN生成逼真的高質(zhì)量樣本，并預(yù)測(cè)與這些生成的樣本相對(duì)應(yīng)的連續(xù)標(biāo)簽。

最終對(duì)整個(gè)網(wǎng)絡(luò)模型(包括生成器和判定器)進(jìn)行訓(xùn)練，最終得到訓(xùn)練好的預(yù)測(cè)模型。以風(fēng)速、功率或數(shù)值天氣預(yù)報(bào)數(shù)據(jù)作為模型的輸入，結(jié)合風(fēng)電場(chǎng)機(jī)組的設(shè)備狀態(tài)及運(yùn)行工況，得到風(fēng)電場(chǎng)未來的輸出功率。具體流程如圖1所示。

圖1 GR-GAN模型流程

2.1 數(shù)據(jù)表示

針對(duì)風(fēng)電場(chǎng)歷史數(shù)據(jù)集中重要性相對(duì)較低的溫度數(shù)據(jù)和濕度數(shù)據(jù)的缺失部分，基于溫度數(shù)據(jù)與濕度數(shù)據(jù)服從正態(tài)分布的性質(zhì)，使用期望值最大化方法(Expectation maximization，EM)進(jìn)行填充。對(duì)于風(fēng)力特征及其他重要性靠前且缺失率適中的特征參數(shù)，根據(jù)歐式距離確定缺失數(shù)據(jù)樣本最近的K個(gè)樣本，將這K個(gè)值加權(quán)平均來估計(jì)該樣本的缺失數(shù)據(jù)，同時(shí)使用K最近鄰模型(K-means clustering)預(yù)測(cè)補(bǔ)充缺失值。

2.2 預(yù)測(cè)模型構(gòu)建

借鑒改進(jìn)的GAN模型原理，提出了GR-GAN模型，重點(diǎn)是基于生成對(duì)抗網(wǎng)絡(luò)的半監(jiān)督學(xué)習(xí)來解決回歸問題，它包含一個(gè)生成器和一個(gè)判別器，其中生成器負(fù)責(zé)生成接近訓(xùn)練集的真實(shí)樣本；判別器用于驗(yàn)證生成的樣本并且將這些樣本預(yù)測(cè)成連續(xù)的標(biāo)簽。使用特征匹配技術(shù)訓(xùn)練生成器。判別器產(chǎn)生兩個(gè)輸出：一個(gè)用于預(yù)測(cè)風(fēng)電場(chǎng)的功率標(biāo)簽，一個(gè)用于預(yù)測(cè)生成樣本是真/假的概率。預(yù)測(cè)標(biāo)簽歸一化到[0，1]范圍后，在判別器網(wǎng)絡(luò)的最后一層使用sigmoid函數(shù)進(jìn)行非線性變換。

我們使用一個(gè)無監(jiān)督GAN損失函數(shù)以及一個(gè)有監(jiān)督回歸損失訓(xùn)練判別器

(3)

基于回歸的GR-GAN模型結(jié)構(gòu)如圖2所示，其中D(x)和預(yù)測(cè)標(biāo)簽均使用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network， CNN)。其中，xgen為生成器產(chǎn)生的無標(biāo)簽風(fēng)電場(chǎng)數(shù)據(jù)；xlabel為有標(biāo)簽的真實(shí)風(fēng)電場(chǎng)數(shù)據(jù)；xunlab為無標(biāo)簽的真實(shí)風(fēng)場(chǎng)數(shù)據(jù)。

圖2 GR-GAN模型結(jié)構(gòu)示意

3 實(shí)驗(yàn)結(jié)果及分析

3.1 評(píng)價(jià)指標(biāo)

為評(píng)估風(fēng)電預(yù)測(cè)模型GR-GAN的準(zhǔn)確性，選用2個(gè)指標(biāo)作為評(píng)估標(biāo)準(zhǔn)。一是平均絕對(duì)百分比誤差(Mean Absolute Percentage Error，MAPE)用于評(píng)估實(shí)時(shí)誤差，代表線性回歸損失，公式為

(4)

式中，n為數(shù)據(jù)集中包含風(fēng)電場(chǎng)數(shù)據(jù)樣本的天數(shù)；Wi為第i天的實(shí)際發(fā)電量，kW·h；W′i為第i天的預(yù)測(cè)發(fā)電量， kW·h。

另一個(gè)指標(biāo)是均方根百分比誤差(Root Mean Squard Percentage Error，RMSPE)用于評(píng)估預(yù)測(cè)期間的總體誤差，代表誤差的平方的期望值，表達(dá)式為

(5)

3.2 對(duì)比算法

為驗(yàn)證GR-GAN算法的生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)的性能及其對(duì)電場(chǎng)日風(fēng)力發(fā)電功率的預(yù)測(cè)性能，使用原始生成對(duì)抗網(wǎng)絡(luò)(Original-RGAN)、支持向量回歸(Support vector regression， SVR)、長(zhǎng)短期記憶(Long-short term memory， LSTM)算法進(jìn)行對(duì)比驗(yàn)證。

Original-RGAN是以原始GAN模型為基礎(chǔ)，在一個(gè)生成模型G、一個(gè)判別模型D上加入一個(gè)回歸模型R?；谂袆e模型D通過對(duì)抗學(xué)習(xí)得到的一系列潛在特征層，通過R與D共享特征層可以提高風(fēng)電預(yù)測(cè)回歸模型R的性能表現(xiàn)。同時(shí)利用回歸模型R估計(jì)生成模型G的條件變量與生成樣本之間互信息的下界值，約束生成模型G使其產(chǎn)生更真實(shí)的樣本。

SVR方法作為支持向量機(jī)(support vector machine， SVM)在回歸問題上的應(yīng)用，SVR方法使用核函數(shù)將風(fēng)電場(chǎng)數(shù)據(jù)映射到特征空間并尋找一個(gè)最佳區(qū)域，再對(duì)區(qū)域外的點(diǎn)進(jìn)行回歸操作。

LSTM方法是LSTM網(wǎng)絡(luò)，通過訓(xùn)練時(shí)在風(fēng)電場(chǎng)時(shí)間序列上的反向傳播來克服梯度消失問題，由于其易于處理時(shí)間序列的特性，可以用來構(gòu)建大規(guī)模的遞歸神經(jīng)網(wǎng)絡(luò)來處理機(jī)器學(xué)習(xí)中復(fù)雜的序列問題，并取得不錯(cuò)的結(jié)果[12]。

3.3 仿真實(shí)驗(yàn)與結(jié)果分析

實(shí)驗(yàn)風(fēng)電場(chǎng)的數(shù)據(jù)集分別來自新疆某風(fēng)電場(chǎng)和內(nèi)蒙古某風(fēng)電場(chǎng)，前者保存了2015年～2018年的數(shù)據(jù)，后者保存了2014年～2019年的數(shù)據(jù)。將最后一年的數(shù)據(jù)作為測(cè)試集，其余作為訓(xùn)練集。模型對(duì)2個(gè)測(cè)試集的1月時(shí)間尺度預(yù)測(cè)結(jié)果如圖3所示。

圖3 實(shí)驗(yàn)對(duì)比

由圖3可以看出，GR-GAN模型曲線與真實(shí)發(fā)電量曲線表現(xiàn)出相同的趨勢(shì)，在所有模型中最接近真實(shí)發(fā)電量數(shù)據(jù)。通過觀察可知，GR-GAN模型與其他三種模型相比大幅減小了誤差，表現(xiàn)出最好的預(yù)測(cè)性能，證明了模型在風(fēng)電預(yù)測(cè)問題的有效性；LSTM模型表現(xiàn)出比Original-RGAN模型更好的預(yù)測(cè)效果，這是由于LSTM模型基于風(fēng)電場(chǎng)數(shù)據(jù)的時(shí)間序列建模，更好的表征了數(shù)據(jù)，而Original-RGAN模型雖然可以生成更多樣本，但其內(nèi)部結(jié)構(gòu)簡(jiǎn)單的卷積網(wǎng)絡(luò)層與回歸模型制約了其預(yù)測(cè)效果；SVR方法表現(xiàn)出了最差的預(yù)測(cè)性能，這說明SVR這種基于機(jī)器學(xué)習(xí)的方法在本案例中不能很好表示風(fēng)電場(chǎng)的數(shù)據(jù)特征。

本文同時(shí)驗(yàn)證了模型在少量樣本情況下的預(yù)測(cè)性能，實(shí)驗(yàn)結(jié)果如圖4所示，橫坐標(biāo)表示模型使用x天的訓(xùn)練數(shù)據(jù)，縱坐標(biāo)為模型的平均絕對(duì)百分比誤差。由圖4可見，在訓(xùn)練的初始階段，基于GAN模型的GR-GAN和Original-RGAN就表現(xiàn)出了較小的誤差，而LSTM模型和SVR模型在實(shí)驗(yàn)初期誤差較高，說明基于生成對(duì)抗網(wǎng)絡(luò)的模型更適用于小樣本的風(fēng)電預(yù)測(cè)問題；隨著加入訓(xùn)練的真實(shí)樣本數(shù)越來越多，LSTM模型的誤差小于Original-RGAN模型，說明在樣本足夠的情況下LSTM模型可以保持較好的預(yù)測(cè)性能。

圖4 小樣本實(shí)驗(yàn)對(duì)比

表1、2列出了兩個(gè)數(shù)據(jù)集中小樣本實(shí)驗(yàn)的誤差，進(jìn)一步證明了本文方法的有效性。實(shí)驗(yàn)分別使用了200、500、1 000 d以及全部真實(shí)樣本進(jìn)行訓(xùn)練，對(duì)比分析各模型的平均誤差。由觀察可知，GR-GAN模型相比Original-RGAN其MAPE降低了2.19%，這表明，GR-GAN中的無監(jiān)督網(wǎng)絡(luò)模型對(duì)生成樣本有很好的增強(qiáng)效果；GR-GAN模型相比LSTM模型MAPE降低了0.33%，說明GR-GAN模型表現(xiàn)了較有競(jìng)爭(zhēng)力的預(yù)測(cè)性能，與LSTM模型的全樣本預(yù)測(cè)結(jié)果差別較小的原因可能是由于GR-GAN模型內(nèi)部的CNN結(jié)構(gòu)不能像LSTM模型可以對(duì)時(shí)間序列有更好的表示。

表1 小樣本實(shí)驗(yàn)預(yù)測(cè)誤差統(tǒng)計(jì)(新疆電場(chǎng)數(shù)據(jù)集) %

表2 小樣本實(shí)驗(yàn)預(yù)測(cè)誤差統(tǒng)計(jì)(內(nèi)蒙古電場(chǎng)數(shù)據(jù)集) %

4 結(jié) 論

本文對(duì)新疆、內(nèi)蒙古地區(qū)兩個(gè)風(fēng)力發(fā)電量的短期預(yù)測(cè)問題進(jìn)行了研究，提出了一種基于小樣本學(xué)習(xí)與生成對(duì)抗網(wǎng)絡(luò)的風(fēng)電發(fā)電量預(yù)測(cè)模型，在兩個(gè)風(fēng)電場(chǎng)數(shù)據(jù)集上進(jìn)行了驗(yàn)證，結(jié)論如下：

(1)在多個(gè)對(duì)比方法中，基于GAN的方法在所有驗(yàn)證方法中表現(xiàn)最好，說明此類網(wǎng)絡(luò)結(jié)構(gòu)更適用于小樣本的風(fēng)電預(yù)測(cè)問題，其中GR-GAN模型體現(xiàn)出了最好的預(yù)測(cè)性能。

(2)在處理復(fù)雜風(fēng)電數(shù)據(jù)時(shí)，基于深度學(xué)習(xí)的方法表現(xiàn)出更強(qiáng)的學(xué)習(xí)能力。

(3)LSTM模型對(duì)全樣本訓(xùn)練的風(fēng)電預(yù)測(cè)問題仍然表現(xiàn)了較小的誤差，說明LSTM模型更適合處理風(fēng)電數(shù)據(jù)所構(gòu)成的時(shí)間序列，鑒于其既適用于風(fēng)電預(yù)測(cè)的小樣本學(xué)習(xí)，又能對(duì)時(shí)間序列進(jìn)行更準(zhǔn)確的預(yù)測(cè)，因此后續(xù)工作將進(jìn)一步探索融合LSTM網(wǎng)絡(luò)的GAN回歸模型。