白冰青，劉江濤，王 旭，蔣傳文，江 婷，張沈習

（1. 電力傳輸與功率變換控制教育部重點實驗室（上海交通大學）,上海市 200240；2. 南京電力設計研究院有限公司,江蘇省南京市 210036）

0 引言

在“雙碳”目標的背景下,城市能源系統(tǒng)因其能源利用效率高和可再生能源消納比例高的優(yōu)勢,成為低碳化發(fā)展的重要方向［1-3］。為了保證城市能源系統(tǒng)的正常調(diào)度運行,需要在調(diào)度前預知系統(tǒng)內(nèi)的負荷需求情況。但不同于傳統(tǒng)的電力調(diào)度,城市能源系統(tǒng)是城市供熱、供冷、供電和滿足其他需求的能源系統(tǒng)的集合,負荷結(jié)構(gòu)多樣且復雜［4-5］,包含商業(yè)、辦公、娛樂等多種建筑,人員分布不規(guī)律,空調(diào)等能源設備開關頻繁,用戶需求波動性強［6］。城市能源系統(tǒng)通過能源轉(zhuǎn)換裝置和存儲裝置實現(xiàn)能源間的聯(lián)動［7-9］,能源系統(tǒng)在調(diào)度運行時需要考慮大量的非線性約束和離散變量,導致能源負荷彼此會受到復雜的非線性影響［10-12］。因此,城市能源系統(tǒng)負荷波動性強、耦合關系復雜,需要精準的多元負荷預測結(jié)果以保證能源系統(tǒng)的正常運行。為解決這一問題,本文提出一種基于最小冗余最大相關性（minimum redundancy maximum relevance,MRMR）方法和雙重注意力（dual-attention,DA）機制的城市能源系統(tǒng)多元負荷短期預測方法。

現(xiàn)有的負荷預測方法可以分為統(tǒng)計方法和機器學習方法［13］。統(tǒng)計方法包括線性回歸［14］、指數(shù)平滑［15］、自回歸差分移動平均［16］等,調(diào)節(jié)參數(shù)簡單且可解釋性強；而機器學習方法包括支持向量機［17］、人工神經(jīng)網(wǎng)絡［18］、深度神經(jīng)網(wǎng)絡［19］、模糊邏輯［20］等,調(diào)節(jié)參數(shù)相對復雜,解釋性也較弱,但預測精度高于一般統(tǒng)計方法［21］,是未來研究的重要方向。

在使用機器學習進行負荷預測的過程中,需要進行特征分析并建立神經(jīng)網(wǎng)絡模型。常用的特征分析方法包括協(xié)方差法、皮爾遜系數(shù)法、最大互信息系數(shù)（maximal information coefficient,MIC）法［22］和以MIC 法為基礎的MRMR 方法［23］。其中,協(xié)方差法和皮爾遜系數(shù)法能夠分析序列之間的線性關系,但城市能源系統(tǒng)中的能源耦合存在大量非線性關系,用戶的用能需求也難以線性描述,更適合使用MIC法和MRMR 方法?，F(xiàn)有研究將MIC 法應用到短期電價預測［24］,有效提高了特征序列的篩選效果,但城市能源系統(tǒng)中特征序列的冗余度較高,MIC 指標沒有考慮這一問題,而MRMR 方法將序列中的冗余度融入篩選指標,更適用于高冗余度的城市能源系統(tǒng)。常用的神經(jīng)網(wǎng)絡主要有小波神經(jīng)網(wǎng)絡（wavelet neural network,WNN）［25］、卷 積 神 經(jīng) 網(wǎng) 絡（convolutional neural network,CNN）［26］、循 環(huán) 神 經(jīng)網(wǎng) 絡（recurrent neural network,RNN）［27］及 其 變種—— 長 短 期 記 憶（long short-term memory,LSTM）網(wǎng)絡［28-29］。

CNN 和LSTM 網(wǎng)絡已被應用于城市能源負荷預測。文獻［30］使用皮爾遜系數(shù)法分析負荷與特征之間的相關性,將卷積網(wǎng)絡和支持向量回歸相結(jié)合來預測城市能源系統(tǒng)的負荷,但受限于分析方法,相關性分析階段沒有考慮輸入信息的冗余問題。文獻［31］對多能負荷進行像素重構(gòu)和特征融合,在CNN-LSTM 網(wǎng)絡的基礎上結(jié)合圖像識別領域的方法實現(xiàn)負荷預測,但特征處理工作相對復雜,且預測跨度為1 h。實際調(diào)度工作中需要更久的時間跨度,以便提前制作調(diào)度方案。在神經(jīng)網(wǎng)絡模型的基礎上,可以添加注意力機制以提高網(wǎng)絡的性能［32］。文獻［33］采用灰色關聯(lián)度法分析多元負荷之間的耦合性,將注意力機制應用到LSTM 網(wǎng)絡中,驗證了注意力機制的作用。文獻［34］應用核主成分分析和模態(tài)分解將能源系統(tǒng)的負荷數(shù)據(jù)降維分解為非平穩(wěn)序列和平穩(wěn)序列,再分別采用深度雙向LSTM 網(wǎng)絡和多元線性回歸預測最終結(jié)果,預測步長仍為1 h,僅通過降維分解對負荷特征的處理也較為有限。上述研究中建立的神經(jīng)網(wǎng)絡模型均表現(xiàn)為LSTM 網(wǎng)絡或者CNN 的拼接,未將神經(jīng)網(wǎng)絡內(nèi)部結(jié)構(gòu)做出創(chuàng)新性修改以應對城市復雜能源耦合系統(tǒng)的預測需求。因此,可以采用LSTM 網(wǎng)絡搭建序列到序列（sequence to sequence,Seq2Seq）結(jié)構(gòu),并輔以DA機制搭建適用于城市能源系統(tǒng)的神經(jīng)網(wǎng)絡模型。其中,Seq2Seq 模型在處理文本翻譯、時序預測等問題時易于解釋、拓展性強,具有明顯優(yōu)勢［35］。該模型使用了2 個RNN,分別為編碼器和解碼器。編碼器處理輸入序列后生成語義向量,交由解碼器生成輸出序列,可以對這2 個神經(jīng)網(wǎng)絡特別設計以適用于城市能源系統(tǒng)。文獻［36］提出了DA 機制,在解碼器和編碼器階段分別加入注意力機制,以突出輸入和輸出環(huán)節(jié)中重要信息的作用,將其應用到城市能源系統(tǒng)多元負荷預測領域中,可以使Seq2Seq 模型充分學習多元能源間的耦合關系。

因此,在能源系統(tǒng)負荷波動性強和能源耦合關系復雜的背景下,為了提高多元負荷的預測精度,本文使用MRMR 方法篩選特征序列,在LSTM 網(wǎng)絡的基礎上,應用Seq2Seq 模型針對性地學習城市能源序列的信息,應用DA 機制加強神經(jīng)網(wǎng)絡的特征提取能力,在輸出階段考慮歷史數(shù)據(jù)特征和能源系統(tǒng)特征以應對能源負荷的隨機波動,得到間隔24 h的負荷預測結(jié)果。最后,提出一種基于MRMR 方法和DA 機制的城市能源系統(tǒng)多元負荷短期預測方法。主要包含以下兩方面貢獻:

1）針對輸入數(shù)據(jù)特征處理的問題,對不同類型的數(shù)據(jù)進行無量綱化和特征序列篩選,并對比了MIC 法和MRMR 方法的原理與篩選結(jié)果,有效降低了特征序列的冗余度。實驗結(jié)果表明,與MIC 法相比,采用MRMR 方法篩選的特征序列的預測精度明顯提高,為城市能源系統(tǒng)多元負荷特征處理提供了技術基礎。

2）建立基于DA 機制的Seq2Seq 神經(jīng)網(wǎng)絡,在編碼器和解碼器階段都引入注意力機制,學習城市能源負荷序列的時空特征,突出其中的關鍵信息。實驗結(jié)果表明,DA 機制提高了模型的精度和魯棒性,可以服務于城市能源系統(tǒng)多元負荷預測的神經(jīng)網(wǎng)絡構(gòu)建。

1 輸入數(shù)據(jù)特征處理

城市能源系統(tǒng)的結(jié)構(gòu)包括能源輸入、能源轉(zhuǎn)換和能源輸出。電和天然氣等能源進入系統(tǒng)后,在冷熱電聯(lián)供、電轉(zhuǎn)氣等系統(tǒng)內(nèi)轉(zhuǎn)化為電、熱、冷負荷,輸出給用戶。這個過程中涉及的數(shù)據(jù)繁多,需要在原始數(shù)據(jù)的基礎上重新調(diào)整數(shù)據(jù)格式,調(diào)整數(shù)據(jù)分布,提高數(shù)據(jù)信息密度,從而和神經(jīng)網(wǎng)絡模型匹配。因此,在進行多元負荷預測前需要進行數(shù)據(jù)預處理和特征篩選工作。

1.1 數(shù)據(jù)修正和無量綱化

城市能源系統(tǒng)中存儲的數(shù)據(jù)存在數(shù)據(jù)缺失和數(shù)據(jù)突變的情況,本文采用插值法保證數(shù)據(jù)的平滑性。當判斷原始數(shù)據(jù)為0 或突變時,使用前一時刻和后一時刻的數(shù)據(jù)平均值代替缺失數(shù)據(jù)。若出現(xiàn)連續(xù)數(shù)據(jù)為0 的情況,則統(tǒng)一使用前一時刻數(shù)據(jù)代替。

式中:dt-1為前一時刻數(shù)據(jù)；dt+1為后一時刻數(shù)據(jù)；dt和d't分別為當前時刻t修正前和修正后的數(shù)據(jù)。

城市能源系統(tǒng)中的數(shù)據(jù)包括能源數(shù)據(jù)和相關氣象數(shù)據(jù),都具有不同的量綱,需要進行無量綱化,使數(shù)據(jù)具有相同規(guī)格,加速神經(jīng)網(wǎng)絡的收斂。

城市能源系統(tǒng)中,能源負荷和氣象序列的數(shù)據(jù)可以歸一化到[-0.5,0.5]區(qū)間以實現(xiàn)無量綱化,不同于常見的[0,1]區(qū)間,神經(jīng)網(wǎng)絡偏向于以0 為中心的數(shù)據(jù)輸入。因此,將歸一化區(qū)間的中心設置為0有利于神經(jīng)網(wǎng)絡的收斂。數(shù)據(jù)d的表達式為:

式中:dmax和dmin分別為數(shù)據(jù)d的最大值和最小值。

星期數(shù)據(jù)序列將雙休日定義為0,工作日定義為1,用以分辨雙休日的能源特征。時刻數(shù)據(jù)若使用[-0.5,0.5]區(qū)間,則區(qū)分度較低,所以將時刻數(shù)據(jù)[1,24]的區(qū)間映射到[0.25,6]區(qū)間上,以更大的區(qū)間范圍提高對時刻信息的敏感度。

1.2 特征序列選擇

城市能源系統(tǒng)中存在諸多類別的特征序列,包括城市能源系統(tǒng)內(nèi)各子系統(tǒng)的多元負荷、新能源出力、碳排放水平、氣象數(shù)據(jù)、日期數(shù)據(jù)等,需要計算這些特征序列和待預測負荷序列之間的相關性,選擇合適的特征序列集合作為預測模型的輸入。

為了考慮單特征變量和目標變量之間的相關性,同時考慮線性關系和非線性關系,可以選擇MIC 法來判斷2 個序列間的相關性。

MIC 法 由Reshef 在2011 年 提 出,可 以 有 效 檢 測2 個變量之間的線性或其他函數(shù)關系［17］。MIC 法利用互信息的概念,可表示為:

式 中:dX和dY分 別 為 離 散 化 的dx和dy；a和b分 別為dX和dY方向上離散化的個數(shù)；IMIC(x,y)為序列x和y的MIC。

本文采用的數(shù)據(jù)集特征向量包含13 個負荷序列維度:電、熱、冷3 種能源負荷和其他能源類型在不同時間和空間下的數(shù)據(jù)；2 個時間序列維度（時刻和星期數(shù)據(jù)）；8 個氣象維度（太陽輻射、溫度、濕度等）。對上述數(shù)據(jù)進行無量綱化后計算MIC,結(jié)果如圖1 所示。圖中,23 種特征序列每小時采集一次,共采集8 784 個點。Y1-e、Y2-h、Y3-c 分別表示待預測區(qū)域內(nèi)的電、熱、冷3 種負荷；e-24、h-24、c-24 分別表示輸入信息中同預測時段間隔24 h 的已知電、熱、冷負荷；all-e-24、all-h-24、all-c-24 分別表示城市能源系統(tǒng)總的電、熱、冷負荷；Carbon 表示碳排放水平；Combined 表示聯(lián)合機組出力；Total 表示能源負荷之和；PV 表示光伏出力；Week 表示星期數(shù)據(jù)；Time 表示時刻數(shù)據(jù)；DHI 表示太陽散射輻射；DNI表示太陽直接輻射；Humidity 表示濕度；Temperature 表示溫度；Dew Point 表示露點；S Albedo 表示地表反射率；Wind Speed 表示風速；Pressure 表 示 氣 壓。Week 序 列 和S Albedo 序 列 與自身相關的MIC 分別為0.86 和0.89,這是因為計算MIC 時需要對給定dX、dY進行網(wǎng)格化,當序列為離散數(shù)據(jù)且分布非常不均勻時,同自身的MIC 很可能出現(xiàn)不為1 的現(xiàn)象,屬于正常情況,不影響結(jié)論。

圖1 各特征序列間的MICFig.1 MIC among each characteristic sequence

按照MIC 法從高到低選擇的特征子集如表1 所示?？梢钥吹?所選擇的特征子集存在很多冗余信息,例如:e-24 和all-e-24 的相關性非常高（0.85）,h-24 和all-h-24 的相關性為1,信息幾乎完全重復,它們不應該同時存在特征子集中；Week、Time 和Y1-e、Y1-h、Y1-c 的相關性僅為0.06、0.04 和0.06,被剔除出特征子集,但這些信息可以對時間序列進行關鍵判別,不應該被剔除,因此,MIC 法有待改進。

表1 采用MIC 法的特征序列選擇Table 1 Selection of characteristic sequence using MIC method

為了降低特征序列的冗余性,本文在MIC 法的基礎上選擇MRMR 方法來實現(xiàn)特征選擇［18］。MRMR 方法可以對已選擇特征中相關性較高的冗余特征進行處罰。在所有的特征序列中,遞增式地選擇新的特征序列,每次都選擇局部最優(yōu)的特征。

定義D(S,y)為所有特征和目標變量y之間的相關度,R(S)為所有特征的冗余度,其中,S為所有特征共同構(gòu)成的特征集合,即

式中:di為第i個特征序列；m為最終選擇的特征集合中特征序列的數(shù)量；IMRMR為特征序列的MRMR值。通過求解優(yōu)化問題式（8）即可得到最終的特征子集。針對本文數(shù)據(jù)集選擇的特征子集如表2所示。

表2 采用MRMR 方法的特征序列選擇Table 2 Selection of characteristic sequence using MRMR method

在MRMR 方法中,重點考慮降低特征序列內(nèi)部之間的冗余性,面對不同目標變量時,特征序列和目標變量之間相關性發(fā)揮的作用較小,所以3 種負荷通過MRMR 方法篩選為同一組特征序列。所選擇的11 種特征序列包含常規(guī)數(shù)據(jù)中同負荷數(shù)據(jù)強相關的數(shù)據(jù),其中濕度、太陽輻射、溫度數(shù)據(jù)直接影響負荷需求,電、冷、熱負荷作為直接相關的負荷數(shù)據(jù),是負荷預測必備的輸入特征,碳排放出力和光伏出力反映了綜合能源系統(tǒng)內(nèi)的能源輸入和輸出信息,也是關鍵的特征信息,同時去掉了冗余的總負荷和無關的氣象信息,因此,經(jīng)過MRMR 方法篩選的結(jié)果符合正常認知,是符合負荷預測需要的篩選結(jié)果。從算例結(jié)果可以看出,采用MRMR 方法的預測效果得到了提高。

2 預測模型的構(gòu)建

在特征處理的基礎上建立多元負荷的預測模型,考慮到城市能源系統(tǒng)負荷波動性強和能源耦合關系復雜,本文使用基于LSTM 網(wǎng)絡的Seq2Seq 模型來簡化預測數(shù)據(jù)輸入格式的限制,引入DA 機制增強模型的特征提取能力,改善預測效果,以有效提高城市能源系統(tǒng)的預測精度。

2.1 Seq2Seq-LSTM 模型

Seq2Seq 模型由編碼器和解碼器構(gòu)成。在編碼器階段將輸入序列編碼為指定長度的向量,在解碼器階段將編碼后的向量按照神經(jīng)網(wǎng)絡訓練得到的規(guī)則解碼,生成輸出序列。Seq2Seq 模型可以搭載多種神經(jīng)網(wǎng)絡,但一般保持編碼器和解碼器中的神經(jīng)網(wǎng)絡一致。本文選擇LSTM 網(wǎng)絡,這種方法適用于時間序列的處理,與注意力機制的親和度高。LSTM 網(wǎng)絡是一種特殊的RNN,用于解決RNN 在訓練中存在的梯度爆炸或梯度消失的問題［23-24］。本文在預測模型的編碼器階段和解碼器階段分別用到了一次LSTM 網(wǎng)絡,建立的Seq2Seq-LSTM 模型整體結(jié)構(gòu)如圖2 所示。

圖2 Seq2Seq-LSTM 模型結(jié)構(gòu)Fig.2 Structure of Seq2Seq-LSTM model

2.2 DA 機制的定義

1）注意力機制

注意力機制是神經(jīng)網(wǎng)絡中的常用模塊,首先應用于機器翻譯,隨后在眾多領域中廣泛應用,因其出色的數(shù)據(jù)處理能力和良好的解釋性,近年來在電力系統(tǒng)的負荷預測中也發(fā)揮了重要作用。

注意力機制源自對人類思維模式的模擬,人類在理解事物時會自動忽略低價值的信息,而將注意力集中到價值最高的信息上。因此,在人工神經(jīng)網(wǎng)絡中模擬這一現(xiàn)象,可以避免無關信息的干擾,實現(xiàn)信息的高效利用。在一般的神經(jīng)網(wǎng)絡中,輸入資源被平均分配,而注意力機制可以根據(jù)預測對象的重要程度重新分配資源,優(yōu)化資源對應的權(quán)重配比,如附錄A 圖A1 所示。

2）DA 機制

傳統(tǒng)的注意力機制能夠有效篩選提取模型內(nèi)部信息,解決一般的RNN 中存在的輸入長度、輸入順序不合理而造成收斂效率不高、信息丟失的問題,因此,在一般電力負荷的預測上具有良好的表現(xiàn)。但是在城市能源系統(tǒng)中,不同于傳統(tǒng)電力負荷只需進行單一電力負荷預測,其同時存在冷、熱、電等多種能源,不同能源之間存在復雜的耦合關系,在預測數(shù)據(jù)輸入的信息中存在很多難以直觀描述但關聯(lián)明顯的特征信息,因此需要采用DA 機制強化特征信息的提取。

DA 機制下的編碼器和解碼器中各包含一個注意力層,可以分別從空間和時間上尋找特征表示和目標序列之間的相關性,為不同的信息賦予不同的權(quán)重,以便更準確地預測目標序列,編碼器注意力機制和解碼器注意力機制的原理分別如圖3和圖4所示。

圖3 編碼器注意力機制Fig.3 Attention mechanism of encoder

圖4 解碼器注意力機制Fig.4 Attention mechanism of decoder

2.3 基于DA-Seq2Seq 的城市能源系統(tǒng)負荷預測模型

1）編碼器階段

在編碼器階段,引入空間注意力機制在模型輸入的每個時間步中進行特征提取,分析該時間步下所有特征向量序列中價值更高的一組,賦予其更高的權(quán)重,學習多元負荷同其他輸入特征之間空間上的依賴關系。

2）解碼器階段

在解碼器階段,引入時間注意力機制在模型輸入的多個時間步隱藏層狀態(tài)中進行特征提取,分析不同時間步的隱藏層狀態(tài)中價值更高的時間步,賦予其更高的權(quán)重,作為參數(shù)更新語義向量ct,并結(jié)合負荷序列的歷史數(shù)據(jù),得到最終的預測結(jié)果。

傳統(tǒng)的Seq2Seq 模型中,對編碼器輸出的隱藏層狀態(tài)取平均值或直接僅以T時刻編碼器輸出的隱藏層狀態(tài)hen,T作為編碼器的語義向量,但這樣神經(jīng)網(wǎng)絡不能將注意力集中到關鍵部分。因此,可以通過解碼器的注意力機制,利用解碼器的隱藏層狀態(tài)hde,t-1和神經(jīng)元狀態(tài)sde,t-1對編碼器隱藏層狀態(tài)hen,t進行加權(quán)平均。

首先,根據(jù)編碼器隱藏層狀態(tài)和解碼器的神經(jīng)元狀態(tài)、隱藏層狀態(tài)計算權(quán)重βm t:

式中:fde(?)為解碼器階段LSTM 函數(shù)。

3）輸出階段

在輸出階段,傳統(tǒng)統(tǒng)計方法中一般會輸入臨近時間點的歷史負荷序列和其他特征序列的集合。因此,選擇hde,T代表[1,T]時段內(nèi)的歷史負荷特征,cT代表[1,T]時段內(nèi)的能源系統(tǒng)特征,共同輸入得到結(jié)果yT+Δt:

式中:vy、Wy、bm、b0為待學習的參數(shù)；Δt為預測負荷序列和輸入的歷史負荷序列的時間間隔,本文取24 h；f(y1,y2,…,yT,x1,x2,…,xT)表示最終結(jié)果由(y1,y2,…,yT)和(x1,x2,…,xT)決定。

3 預測流程

本文的預測模型流程如圖5 所示,主要分為原始數(shù)據(jù)處理、神經(jīng)網(wǎng)絡構(gòu)建和模型訓練及預測3 個部分。其中,原始數(shù)據(jù)處理采用歸一化和MRMR 方法得到訓練集和測試集。神經(jīng)網(wǎng)絡構(gòu)建采用本文所提的基于DA-Seq2Seq 的城市能源負荷預測模型。最后,根據(jù)所選擇的數(shù)據(jù)集和網(wǎng)絡進行模型訓練與測試,得到最終的城市能源系統(tǒng)電、熱、冷負荷的預測結(jié)果。

圖5 預測模型流程圖Fig.5 Flow chart of forecasting model

4 算例分析

4.1 實驗環(huán)境

本文實驗均通過Python（版本3.6.10）實現(xiàn),以PyTorch（版本1.7.1）作為深度學習框架。使用的計算機配置為Intel Core i5-10210U 1.60 GHz CPU,操作系統(tǒng)為Windows 10。

4.2 數(shù)據(jù)來源

本文選擇的數(shù)據(jù)集為美國亞利桑那州立大學Campus Metabolism 項 目 網(wǎng) 站［37］2020 年1 月1 日 至2020 年12 月31 日的能源系統(tǒng)負荷數(shù)據(jù)和美國國家氣象局網(wǎng)站［38］的氣象數(shù)據(jù),數(shù)據(jù)集為距離亞利桑那州立大學最近的數(shù)據(jù)點同時間段的氣象序列,數(shù)據(jù)以1 h 為單位進行采樣,每天采集24 個點,共8 784 個采集點。 輸入序列分別由MIC 法和MRMR 方法選擇,序列選擇如表1 和表2 所示。

4.3 誤差評價指標

選用下述指標對城市能源負荷預測的整體結(jié)果和峰值結(jié)果進行評價。

式 中:y?i為 預 測 負 荷；yi為 實 際 負 荷；IRMSE和ISMAPE分別為預測結(jié)果的絕對誤差和相對誤差；IMASE為預測結(jié)果和天真預測結(jié)果之間的誤差,其中天真預測［39］直接將前一天對應時刻的結(jié)果作為預測時刻的結(jié)果。IMASE值越小,說明預測效果越好,當IMASE值大于1 時,說明預測效果差于天真預測。

4.4 不同模型的預測結(jié)果

各深度學習模型的學習率設為0.001,步長T設為10,批大小設為256,迭代次數(shù)設為200 次,隱藏層的神經(jīng)元數(shù)量為128,Seq2Seq 模型編碼器和解碼器的隱藏層神經(jīng)元數(shù)量也設為128。

模型訓練樣本為2020 年1 月1 日至2020 年6 月15 日的數(shù)據(jù),測試樣本為6 月16 日至6 月29 日的數(shù)據(jù)。選取作為對比的模型包括差分整合移動平均自回 歸（ARIMA）模 型、LSTM 網(wǎng) 絡 模 型、CNNLSTM 模型、Seq2Seq 模型、注意力機制-LSTM（ALSTM）模型、MRMR-注意力機制-LSTM（MR-ALSTM）模 型、MRMR-DA-Seq2Seq（MR-A-DASeq2Seq）模型等。MR-A-LSTM 模型采用MRMR方法進行特征選取,輸入序列如表2 所示,其他模型均采用MIC 法進行特征選擇,輸入序列如表1 所示。全部模型預測結(jié)果如表3 所示,其中,mmBTU 表示百萬英熱單位。圖6 展示了以LSTM 網(wǎng)絡模型和Seq2Seq 模型為基礎的5 種模型后7 天的預測結(jié)果曲線。

圖6 負荷預測結(jié)果Fig.6 Result of load forecasting

表3 不同模型的預測結(jié)果對比Table 3 Comparison of forecasting results with different models

首先,關注電、熱、冷3 種能源負荷的MASE 按照2∶1∶1 的比例加權(quán)平均得到的wMASE 指標,可以通過對比天真預測反映預測方法的有效性。Seq2Seq 和ARIMA 模型預測結(jié)果的wMASE 指標分別為1.04 和1.70,均大于1,預測效果差于手動平移前一天負荷的天真預測方法,說明城市能源系統(tǒng)通過一般方法進行預測時難以學習到系統(tǒng)內(nèi)的耦合關系,預測難度較大。LSTM、CNN-LSTM、ALSTM、DA-Seq2Seq 模型的wMASE 指標都在0.9附近,說明在單純MIC 法的特征序列篩選下,上述負荷預測模型都不能實現(xiàn)有效預測,輸入特征的選擇對神經(jīng)網(wǎng)絡具有顯著的影響。而MR-A-LSTM和MR-DA-Seq2Seq 模型的wMASE 指標都明顯小于1,說明選擇正確的特征輸入后可以顯著提升預測效果,而MR-A-LSTM 模型的wMASE 指標相較A-LSTM 模型降低了0.13,MR-DASeq2Seq 模型的wMASE 指標相較DA-Seq2Seq 模型降低了0.37,說明MRMR 指標的特征選擇方法適用于Seq2Seq 模型,能夠使其顯著提高預測效果。

其次,關注電、熱、冷3 種能源負荷的SMAPE按照2∶1∶1 的比例加權(quán)平均得到的wSMAPE 指標,可以反映預測模型的精度。對比所有模型可以看出,本文所提MR-DA-Seq2Seq 模型具有最好的測試效果,其平均相對誤差相比A-LSTM 模型降低了1.32%,相比Seq2Seq 模型降低了2.27%,相比MR-A-LSTM 模型降低了0.67%。說明本文所提模型可在注意力機制和Seq2Seq 模型的基礎上,提高城市能源多元負荷預測的精度。

具體到每一種負荷,可以看到電負荷預測中本文模型具有最好的效果,MR-A-LSTM 模型緊隨其后,ARIMA 模型的預測效果很差,這是因為電負荷波動水平高,對輸入特征依賴程度高,ARIMA 模型只能輸入歷史電負荷數(shù)據(jù),所以預測精度最差。如圖6（a）所示,90～95 h 時段內(nèi),本文所提MR-DASeq2Seq 模型貼合實際負荷曲線效果最好,交錯在實際負荷之間,對負荷變化趨勢掌握準確。而MRA-LSTM 模型的預測波動較大,說明可以學習到負荷變化的趨勢但仍有缺陷,其他模型的預測結(jié)果都比較保守,精度不高。

熱負荷預測中,眾多預測模型精度區(qū)別不大,本文所提模型表現(xiàn)最好。由圖6（b）中的熱負荷預測結(jié)果可以看出,這段時間內(nèi)熱負荷的相對波動性非常強,而且沒有明顯規(guī)律,但波動的絕對值很小,這是因為所選時段為夏季,綜合能源系統(tǒng)內(nèi)具有熱負荷需求的區(qū)域很少,熱負荷需求變化受到的隨機影響很多,但本文所提MR-DA-Seq2Seq 模型仍能學習到熱負荷的波動規(guī)律,提高了熱負荷預測的精度。

冷負荷需求的規(guī)律較為明顯,整體波動性較小。 由 圖6（c）可 以 看 出,本 文 所 提MR-DASeq2Seq 模型全程貼近實際負荷,在22～30 h 時段內(nèi)距離實際負荷最近,在最后3 天內(nèi)實際冷負荷向下波動時,也很好地預測了負荷的波動趨勢,相比沒有及時發(fā)現(xiàn)負荷下降的LSTM 模型,具有更好的表現(xiàn)。

同樣模型架構(gòu)下采用LSTM 網(wǎng)絡建立神經(jīng)網(wǎng)絡模型時,應用注意力機制和MRMR 方法可以提升預測效果,但提升效果不夠明顯。而使用Seq2Seq模型作為基礎的模型中,使用DA 機制后可以降低0.36%的平均相對誤差,使用MRMR 方法后可以再降低1.84%的平均相對誤差,說明MRMR 方法和DA 機制在Seq2Seq 模型上具有比較好的應用效果,能夠更好地提取負荷特征信息,提升預測負荷的精度。

4.5 注意力機制在能源耦合關系上的體現(xiàn)

模型的訓練集為2020 年1 月1 日至2020 年6 月22 日 的 數(shù) 據(jù),測 試 集 為6 月23 日 至6 月29 日 的 數(shù)據(jù)。分別考慮如下4 種算法:

算法1:分別輸入電、熱、冷單一能源的數(shù)據(jù),不考慮注意力機制,輸出對應類型能源；

算法2:分別輸入電、熱、冷單一能源的數(shù)據(jù),考慮注意力機制,輸出對應類型能源；

算法3:同時輸入電、熱、冷能源數(shù)據(jù)和其他相關耦合信息,不考慮注意力機制,分別輸出電、熱、冷能源數(shù)據(jù)；

算法4:同時輸入電、熱、冷能源數(shù)據(jù)和其他相關耦合信息,并考慮注意力機制,分別輸出電、熱、冷能源數(shù)據(jù),為本文采用的方法。

4 種算法的預測結(jié)果如表4 所示。

表4 不同算法的預測結(jié)果對比Table 4 Comparison of forecasting results with different algorithms

從表4 可以看出,同時輸入多種能源并考慮注意力機制的算法4 效果最好。輸入單一能源數(shù)據(jù)時,考慮注意力機制帶來的提升不夠明顯,即算法2較算法1 的平均相對誤差降低了0.50%,說明當輸入信息不夠充足,難以反映城市能源系統(tǒng)的能源耦合關系時,注意力機制發(fā)揮的作用有限,模型預測的精度也不夠高。而在預測模型同時輸入多種能源時,考慮注意力機制明顯提升了精度,即算法4 的平均相對誤差相比算法3 降低了1.90%,說明當信息密度充足時,DA 機制能夠幫助神經(jīng)網(wǎng)絡學習到多種能源間的復雜耦合關系,從而提高城市能源系統(tǒng)多元負荷預測的精度。

4.6 預測算法的魯棒性分析

1）不同季節(jié)數(shù)據(jù)間的對比

使用K均值聚類算法對每個季節(jié)的電、熱、冷負荷進行聚類,得到一個聚類中心。然后,計算每天負荷同聚類中心的均方根并進行從小到大排序,平均排名最低的日期是同聚類中心最相似的日期,選擇其作為典型日進行不同季節(jié)的負荷預測。

根據(jù) 上述方法選擇2 月27 日、6 月23 日、9 月17日和11 月29 日分別作為4 個季節(jié)的典型日,該訓練集選擇典型日前60 天,預測模型使用A-LSTM 模型和MR-DA-Seq2Seq 模型。

不同季節(jié)的多元負荷預測結(jié)果如表5 所示,可以看到,常用的A-LSTM 模型預測精度在2%～10%波動,不能保持穩(wěn)定的預測精度,而本文所提模型在每一個季度典型日的預測誤差都能保持在3%左右,預測精度比較穩(wěn)定。因此,本文所提模型具有足夠的魯棒性應對季節(jié)變化。

表5 不同季節(jié)的預測結(jié)果對比Table 5 Comparison of forecasting results in different seasons

2）氣象預測誤差的影響

模型訓練樣本為2020 年1 月1 日至2020 年6 月22 日的數(shù)據(jù),評價指標為SMAPE,測試樣本為6 月23 日至6 月29 日的數(shù)據(jù)。在模型訓練完成后,調(diào)整測試數(shù)據(jù)的氣象信息,在無氣象誤差的基礎上,分別增加10%、20%、100%的隨機誤差,重新得到測試集結(jié)果,如表6 所示。預測模型使用A-LSTM 模型和MR-DA-Seq2Seq 模型。

表6 氣象預測誤差的影響Table 6 Impact of meteorological forecasting errors

城市能源系統(tǒng)中的電、熱、冷負荷都會受到氣象數(shù)據(jù)的影響,從表6 中可以看到,當氣象數(shù)據(jù)誤差為100% 時,預 測 模 型A-LSTM 和MR-DA-Seq2Seq的預測精度都有明顯的下降。但是在城市能源系統(tǒng)的生產(chǎn)實踐中,氣象數(shù)據(jù)都是預測數(shù)據(jù),預測誤差不容忽視。因此,需要預測模型在面對氣象預測誤差時具有足夠的魯棒性。

本節(jié)分別考慮了輸出氣象數(shù)據(jù)存在0%～20%隨機誤差帶來的影響,表6 中對比A-LSTM 和MRDA-Seq2Seq 模型可以看到,在應對氣象誤差時本文所提模型依然能夠保持良好的預測效果,平均預測誤差在“20%誤差”時僅從2.8%上升到3.0%,說明本文所提模型具有足夠的魯棒性應對氣象的變化。

5 結(jié)語

針對城市能源系統(tǒng)多元負荷短期預測問題,本文提出了一種基于MRMR 方法和DA 機制的預測方法。所提方法首先對輸入序列特征進行處理,即無量綱化處理和基于MRMR 方法的特征序列選?。蝗缓?輸入DA-Seq2Seq 神經(jīng)網(wǎng)絡進行訓練和預測,并在實際城市能源系統(tǒng)數(shù)據(jù)集上進行了仿真實驗,得到如下結(jié)論:

1）相比已有負荷預測方法,所提基于DA 機制的城市能源系統(tǒng)多元負荷預測方法具有更好的預測精度。常用的A-LSTM 模型的平均誤差為4.20%,而本文所提多元負荷預測技術的平均誤差僅為2.88%,有效提高了城市能源系統(tǒng)多元負荷短期預測的精度。

2）DA 機制可以反映城市能源系統(tǒng)中的能源耦合關系,在多種能源負荷需求同時存在時,能更好地解決負荷預測問題。

3）MRMR 的相關性分析方法能有效篩選與城市能源負荷信息相關的特征序列,同時有效降低信息的冗余度,提升A-LSTM 模型和DA-Seq2Seq 模型的城市能源系統(tǒng)多元負荷預測精度。

4）不同季節(jié)和氣象數(shù)據(jù)精度會對負荷預測的精度造成明顯的影響,基于DA 機制的方法在不同季節(jié)和不同氣象場景下都具有很高的預測精度,驗證了本文所提方法的魯棒性。

此外,本文所建立的基于MRMR 方法和DA 機制的城市能源多元負荷短期預測模型中可以加入多種能源的價格數(shù)據(jù)和城市能源系統(tǒng)的運行數(shù)據(jù)以提高預測精度,但受限于數(shù)據(jù)集中缺乏相關的信息,所以尚未在本文方法中考慮,在后續(xù)研究過程中可以進一步分析,以提高預測模型的精度。

附錄見本刊網(wǎng)絡版（http：//www.aeps-info.com/aeps/ch/index.aspx），掃英文摘要后二維碼可以閱讀網(wǎng)絡全文。