楊安云 孫宏彬

DOI：10.19850/j.cnki.2096-4706.2021.09.003

摘? 要：隨著新能源技術(shù)以及智能電網(wǎng)的發(fā)展，電采暖技術(shù)也得到了廣泛的應(yīng)用。若要促進(jìn)該技術(shù)快速健康發(fā)展，電采暖負(fù)荷類型的有效識(shí)別尤為關(guān)鍵。因此，文章提出了基于強(qiáng)化學(xué)習(xí)的電采暖識(shí)別方法。文章首先介紹了結(jié)合K-Means和最大期望（EM）方法對(duì)實(shí)際功率數(shù)據(jù)進(jìn)行聚類的方式，然后建立針對(duì)電采暖識(shí)別的強(qiáng)化學(xué)習(xí)的框架，最后對(duì)處理后的電采暖數(shù)據(jù)進(jìn)行識(shí)別驗(yàn)證，分析驗(yàn)證了該方法的可行性。

關(guān)鍵詞：電采暖;強(qiáng)化學(xué)習(xí);分類識(shí)別

中圖分類號(hào)：TP391.4? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2021）09-0010-04

Research on Electric Heating Load Type Identification Based on?Reinforcement Learning

YANG Anyun，SUN Hongbin

（Changchun Institute of Technology，Changchun? 130012，China）

Abstract：With the development of new energy technology and smart grid，electric heating technology has also been widely used. In order to promote the rapid and healthy development of this technology，the effective identification of electric heating load type is particularly important. Therefore，this paper proposes an electric heating identification method based on reinforcement learning. It first introduces the way of clustering the actual power data by combining K-means and expectation maximum（EM）method，and then establishes a reinforcement learning framework for electric heating identification. Finally，the processed electric heating data is identified and verified，and the feasibility of this method is analyzed and verified.

Keywords：electric heating;reinforcement learning;classification and identification

0? 引? 言

我國(guó)以北京、天津?yàn)榇淼谋狈匠鞘幸约伴L(zhǎng)江一帶冬季無集中供熱地區(qū)的電采暖發(fā)展較好，特別是近幾年受冬季天然氣供應(yīng)緊張，燃煤供暖污染的累積^[1]以及霧霾日趨頻發(fā)的影響，河北、吉林、內(nèi)蒙古、新疆等省和自治區(qū)電采暖增長(zhǎng)速度明顯加快。隨著電采暖技術(shù)被廣泛應(yīng)用，采暖數(shù)據(jù)也累計(jì)得越來越龐大，這阻礙了能源的調(diào)度管理，在處理大量數(shù)據(jù)時(shí)需要靈活快速的方法，特別是人為參與較少的方法。而強(qiáng)化學(xué)習(xí)成為解決該問題的一個(gè)有效方法。因此本文以電采暖負(fù)荷類型識(shí)別為研究方向，驗(yàn)證該方法的有效性。

本文首先論述了電采暖設(shè)備的類型，然后對(duì)電采暖負(fù)荷數(shù)據(jù)進(jìn)行聚類分析，并提出基于強(qiáng)化學(xué)習(xí)的電采暖識(shí)別方法，最后進(jìn)行算例驗(yàn)證和分析。

1? 電采暖識(shí)別方案

1.1? 數(shù)據(jù)預(yù)處理

目前應(yīng)用的電采暖設(shè)備^[2，3]主要可分為電鍋爐、地源/水源/空氣源熱泵系統(tǒng)、分散電采暖設(shè)備。電鍋爐根據(jù)蓄熱與否分為直熱式和蓄熱式。直熱式電鍋爐即傳統(tǒng)直熱電極式電鍋爐，其直接將電能轉(zhuǎn)化為熱能，無蓄熱裝置。蓄熱式電鍋爐是電加熱裝置結(jié)合蓄熱載體形成的供熱系統(tǒng)，根據(jù)蓄熱介質(zhì)的不同又分為水蓄熱電鍋爐、固體蓄熱電鍋爐、相變儲(chǔ)能蓄熱電鍋爐。分散式電采暖設(shè)備主要有發(fā)熱電纜、電熱膜、電暖器、發(fā)熱地板等。

而電采暖技術(shù)經(jīng)過長(zhǎng)期的應(yīng)用，使得電采暖設(shè)備與電采暖負(fù)荷形成了一定的對(duì)應(yīng)規(guī)律。企事業(yè)單位多采用集中式的電鍋爐進(jìn)行采暖，而居住在偏僻地方的居民更多的選擇分散式采暖設(shè)備。另外電采暖用戶的采暖習(xí)慣也有所不同。學(xué)校用戶屬于間斷用熱類型用戶，且對(duì)室內(nèi)溫度的要求不高（不低于18攝氏度即可）。日內(nèi)，學(xué)校用戶的電采暖主要在低谷時(shí)段進(jìn)行用電蓄熱，在其他時(shí)段根據(jù)室溫情況補(bǔ)充加熱;在整個(gè)采暖期內(nèi)，日用電量與學(xué)校作息時(shí)間相關(guān)性較高，在工作日用電量較大、在節(jié)假日用電量較小。而醫(yī)院用戶屬于24小時(shí)連續(xù)用熱類型用戶，且對(duì)室內(nèi)溫度的要求較高。日內(nèi)，雖然醫(yī)院用戶的電采暖也主要在低谷時(shí)段進(jìn)行用電蓄熱，并在其他時(shí)段根據(jù)室溫要求靈活加熱;但在整個(gè)采暖期內(nèi)，日用電量與室外氣溫相關(guān)性較高，溫度較低時(shí)日用電量較大、溫度較高時(shí)日用電量較小。對(duì)于企事業(yè)單位，因?yàn)槠鋵?duì)用電成本十分關(guān)注，該類型用戶在電價(jià)低谷時(shí)段用大量的電蓄熱，白天工作時(shí)段僅在較冷時(shí)進(jìn)行補(bǔ)充加熱。在工作日用電量較大，與溫度具有負(fù)相關(guān)性，在節(jié)假日用電量較小。因此，通過分析電采暖數(shù)據(jù)就可以識(shí)別出用戶類型，以及該用戶采用的采暖設(shè)備。

本文采用的數(shù)據(jù)來自供暖單位，主要為電采暖用戶在采暖季每天96個(gè)采集點(diǎn)的負(fù)荷功率數(shù)據(jù)。而基于強(qiáng)化學(xué)習(xí)的電采暖識(shí)別方法在訓(xùn)練時(shí)用到的電采暖負(fù)荷數(shù)據(jù)需要標(biāo)簽。因此本文首先完善電采暖負(fù)荷功率數(shù)據(jù)，主要基于用戶的采暖設(shè)備型號(hào)以及行業(yè)信息，利用數(shù)據(jù)清洗排除異常數(shù)據(jù)，對(duì)缺失數(shù)據(jù)采用引入臨近數(shù)據(jù)均值的方式進(jìn)行補(bǔ)充、重構(gòu)為相對(duì)完整的電采暖數(shù)據(jù)集，然后對(duì)負(fù)荷功率進(jìn)行歸一化處理，使其映射到0到1之間。該數(shù)據(jù)被構(gòu)建成“供熱日期”ד歸一化功率”ד日供熱時(shí)刻”的數(shù)據(jù)矩陣。以采用蓄熱式電采暖的某醫(yī)院為例，其部分?jǐn)?shù)據(jù)如圖1所示。根據(jù)圖1可知，該電采暖負(fù)荷運(yùn)行特性規(guī)律性極強(qiáng)，日內(nèi)，從06：00到20：00負(fù)荷的歸一化數(shù)值都低于0.5，而在其他時(shí)間處于較高水平，因此該用戶主要在夜間蓄熱。供暖期內(nèi)，1月30日整體的數(shù)值較高，3月21日最低，這說明用戶受氣溫變化影響較大，另外，歸一化的負(fù)荷功率能夠在0到1之間變化，這說明該醫(yī)院的電采暖設(shè)備有較強(qiáng)的靈活調(diào)整和運(yùn)行能力。

對(duì)于一個(gè)用戶的數(shù)據(jù)矩陣，本文采用了K-Means方法^[4]對(duì)所有的功率數(shù)據(jù)分段，并指定分段為5段（最低、較低、中等、較高、最高），將數(shù)據(jù)矩陣離散化。在離散化的基礎(chǔ)上分別基于供熱日期、供熱時(shí)段，對(duì)處于每一個(gè)分段的數(shù)據(jù)量進(jìn)行計(jì)數(shù)，在計(jì)數(shù)基礎(chǔ)上對(duì)所有數(shù)量進(jìn)行歸一化。

通過最大期望（EM）方法^[5]對(duì)所有數(shù)據(jù)進(jìn)行無監(jiān)督聚類，獲得較多數(shù)量相近的電采暖用戶數(shù)據(jù)團(tuán)塊，形成分層次的聚類。在團(tuán)塊基礎(chǔ)上引入分層次合并聚類的方式，迭代的過程中將相近的團(tuán)塊進(jìn)行合并，最終獲得三級(jí)分類。實(shí)現(xiàn)2個(gè)一級(jí)分類，4個(gè)二級(jí)分類負(fù)荷以及12個(gè)三級(jí)分類，并根據(jù)類目中代表的典型用戶或典型供熱設(shè)備對(duì)類目進(jìn)行人工命名，獲得的聚類結(jié)果如圖2所示。

1.2? 識(shí)別網(wǎng)絡(luò)

強(qiáng)化學(xué)習(xí)是通過反復(fù)迭代來修正人工神經(jīng)網(wǎng)絡(luò)（簡(jiǎn)稱網(wǎng)絡(luò)）的參數(shù)，從而得到具有特定輸出的網(wǎng)絡(luò)。訓(xùn)練好的網(wǎng)絡(luò)能夠在無人為干預(yù)的情況下完成一定的工作。這成為處理大數(shù)據(jù)的一個(gè)有效方法，而由上一節(jié)可知，電采暖負(fù)荷所產(chǎn)生的采暖功率數(shù)據(jù)特性與負(fù)荷本身有著一一對(duì)應(yīng)的關(guān)系。這使得利用強(qiáng)化學(xué)習(xí)來識(shí)別電采暖負(fù)荷成為可能。

由于訓(xùn)練樣本已經(jīng)被預(yù)處理成歸一化的數(shù)據(jù)，所以在構(gòu)建神經(jīng)網(wǎng)絡(luò)時(shí)，只需要考慮網(wǎng)絡(luò)結(jié)構(gòu)與更新方式，因此，根據(jù)96個(gè)采樣點(diǎn)設(shè)置輸入層網(wǎng)絡(luò)為96個(gè)神經(jīng)元，激活函數(shù)采用Sigmoid函數(shù)，中間隱含層設(shè)置成兩層，神經(jīng)元個(gè)數(shù)分別為960和12。激活函數(shù)采用ReLU，Softmax函數(shù)。網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，層與層之間的連接方式為全連接方式。而網(wǎng)絡(luò)參數(shù)通過迭代更新，該過程中損失函數(shù)使用交叉熵的方式計(jì)算。

網(wǎng)絡(luò)訓(xùn)練迭代步驟為：

（1）初始化網(wǎng)絡(luò)模型參數(shù)，將網(wǎng)絡(luò)的權(quán)重和偏執(zhí)都設(shè)置為0。

（2）初始化訓(xùn)練集E。

（3）初始化學(xué)習(xí)率m。

（4）循環(huán)（從1到E）執(zhí)行。

（5）隨機(jī)抓取一批訓(xùn)練數(shù)據(jù)送入網(wǎng)絡(luò)模型。

（6）計(jì)算網(wǎng)絡(luò)模型的預(yù)測(cè)值。

（7）將預(yù)測(cè)值與真實(shí)值進(jìn)行比較，通過損失函數(shù)計(jì)算損失值。

（8）以最小化損失值更新網(wǎng)絡(luò)模型參數(shù)。

（9）保存網(wǎng)絡(luò)參數(shù)。

2? 算例分析

本文的強(qiáng)化學(xué)習(xí)訓(xùn)練與算例驗(yàn)證是以Intel（R） Core（TM） i7-9700CPU，主頻3.00 GHz，RAM 16.0 GB的計(jì)算機(jī)為平臺(tái)，基于Tensorflow3.2構(gòu)建強(qiáng)化框架并利用Python 3.8編程完成。

在訓(xùn)練網(wǎng)絡(luò)的超參數(shù)設(shè)置中，訓(xùn)練集（E）為20 000，學(xué)習(xí)率（m）為0.001。訓(xùn)練的損失結(jié)果如圖4所示。損失值在開始時(shí)具有較高的收斂性。隨著訓(xùn)練次數(shù)的增加，訓(xùn)練的損失值在3 000次處開始平緩，并持續(xù)到結(jié)束。

訓(xùn)練好的網(wǎng)絡(luò)在測(cè)試集上的部分表現(xiàn)如表1所示。不同的采暖負(fù)荷擁有特定的數(shù)值，在一定范圍內(nèi)變化的數(shù)值被歸類到對(duì)應(yīng)的類目中。網(wǎng)絡(luò)對(duì)每個(gè)輸入2×96的矩陣數(shù)進(jìn)行運(yùn)算，得到網(wǎng)絡(luò)識(shí)別數(shù)值，該數(shù)值對(duì)應(yīng)網(wǎng)絡(luò)識(shí)別的電采暖類型。網(wǎng)絡(luò)識(shí)別數(shù)值越接近預(yù)測(cè)數(shù)值代表網(wǎng)絡(luò)的識(shí)別性能越準(zhǔn)確。從表1的結(jié)果中可以看出，在允許的范圍內(nèi)網(wǎng)絡(luò)能夠準(zhǔn)確識(shí)別出以本文方式分類的電采暖類型。識(shí)別的結(jié)果中不僅包含了采暖方式而且還包含了負(fù)荷類型。從識(shí)別數(shù)值4.819 576中就可以得出該數(shù)值對(duì)應(yīng)的采暖方式是蓄熱式，負(fù)荷類型為學(xué)校;而13.921 049就對(duì)應(yīng)蓄熱方式下的醫(yī)院類型。

然而序號(hào)9和序號(hào)7所對(duì)應(yīng)的識(shí)別數(shù)值分別為40.087 814和38.276 728。這兩個(gè)數(shù)值與預(yù)測(cè)值有較大的偏差，但卻相近。通過對(duì)測(cè)試集進(jìn)行分析可知，對(duì)應(yīng)測(cè)試的數(shù)據(jù)集本身就具有很高的相似性，變化的范圍在0.4到0.5之間，變化的規(guī)律也都是升降交替，這導(dǎo)致兩個(gè)測(cè)試集的識(shí)別數(shù)值相近，如圖5所示。這解釋了本文設(shè)計(jì)網(wǎng)絡(luò)主要依據(jù)數(shù)據(jù)的變化范圍以及具體時(shí)刻的變化方向?qū)﹄姴膳?fù)荷進(jìn)行識(shí)別，而不注重?cái)?shù)據(jù)整體幅值以及局部變化。從圖5的整體來看，數(shù)據(jù)集的主要區(qū)別在于數(shù)據(jù)的邊界是否統(tǒng)一以及整體的數(shù)值范圍。這為改進(jìn)網(wǎng)絡(luò)提供了一定的指導(dǎo)方向。可以通過改變網(wǎng)絡(luò)的連接方式以及激活函數(shù)來提高網(wǎng)絡(luò)對(duì)數(shù)據(jù)整體幅值以及局部變化的捕捉能力。

3? 結(jié)? 論

電采暖數(shù)據(jù)的急劇增長(zhǎng)對(duì)能源的調(diào)度管理有了一定的限制，而電采暖負(fù)荷的識(shí)別是解決問題的首要步驟之一。本文通過對(duì)電采暖數(shù)據(jù)進(jìn)行補(bǔ)充和重構(gòu)以及對(duì)其進(jìn)行歸一化處理后，采用無監(jiān)督聚類的方法把電采暖負(fù)荷進(jìn)行了分類，并提出了基于強(qiáng)化學(xué)習(xí)的電采暖識(shí)別方法，然后通過算例驗(yàn)證和分析得到了以下結(jié)論：

（1）電采暖的負(fù)荷功率數(shù)據(jù)具有很高的辨識(shí)性，能夠進(jìn)行分類識(shí)別。

（2）基于強(qiáng)化學(xué)習(xí)的識(shí)別方法能夠?qū)﹄姴膳瘮?shù)據(jù)進(jìn)行識(shí)別，并具有很高的適用性。

本文提出的電采暖識(shí)別方法能夠在一定程度上對(duì)電采暖負(fù)荷進(jìn)行識(shí)別，但識(shí)別數(shù)值具有波動(dòng)，需要進(jìn)一步的提高網(wǎng)絡(luò)的結(jié)構(gòu)與更新方式。

參考文獻(xiàn)：

[1] 陳強(qiáng)，孫豐凱，徐艷嫻.冬季供暖導(dǎo)致霧霾？來自華北城市面板的證據(jù) [J].南開經(jīng)濟(jì)研究，2017（4）：25-40.

[2] 李偉，張帆，張磊，等.計(jì)及電采暖類型差異的“煤改電”工程諧波分析與評(píng)估 [J].電網(wǎng)與清潔能源，2016，32（10）：34-41.

[3] 畢正軍，高長(zhǎng)征.吉林省電采暖發(fā)展應(yīng)用情況及推廣策略研究 [J].中國(guó)市場(chǎng)，2017（28）：85-87.

[4] 王千，王成，馮振元，等.K-means聚類算法研究綜述 [J].電子設(shè)計(jì)工程，2012，20（7）：21-24.

[5] 王愛平，張功營(yíng)，劉方.EM算法研究與應(yīng)用 [J].計(jì)算機(jī)技術(shù)與發(fā)展，2009（9）：108-110.

作者簡(jiǎn)介：楊安云（1995—），男，漢族，安徽宿州人，碩士研究生在讀，研究方向：綜合能源優(yōu)化;通訊作者：孫宏彬（1969—），男，漢族，吉林長(zhǎng)春人，教授，博士，研究方向：智能電網(wǎng)、綜合能源優(yōu)化。

收稿日期：2021-04-13

基金項(xiàng)目：吉林省科技計(jì)劃項(xiàng)目（20180101 057JC，20190302106GX）