張 劍 崔明建 何怡剛

結(jié)合數(shù)據(jù)驅(qū)動與物理模型的主動配電網(wǎng)雙時間尺度電壓協(xié)調(diào)優(yōu)化控制

張 劍1崔明建2何怡剛3

（1. 合肥工業(yè)大學電氣與自動化工程學院 合肥 230009 2. 天津大學電氣自動化與信息工程學院 天津 300072 3. 武漢大學電氣與自動化學院 武漢 430072）

高比例電動汽車、分布式風電、光伏接入配電網(wǎng)，導致電壓頻繁地劇烈波動。傳統(tǒng)調(diào)壓設備與逆變器動作速度差異巨大，如何協(xié)調(diào)是難點問題。該文結(jié)合數(shù)據(jù)驅(qū)動與物理建模方法，提出一種配電網(wǎng)雙時間尺度電壓協(xié)調(diào)優(yōu)化控制策略。針對短時間尺度（min級）電壓波動，以靜止無功補償器、分布式電源無功功率為決策變量，以電壓二次方偏差最小為目標函數(shù)，針對平衡與不平衡配電網(wǎng)，基于支路潮流方程，計及物理約束構(gòu)建了二次規(guī)劃模型。針對長時間尺度（h級）電壓波動，以電壓調(diào)節(jié)器匝比、可投切電容電抗器擋位、儲能系統(tǒng)充放電功率為動作，當前時段配電網(wǎng)節(jié)點功率為狀態(tài)，節(jié)點電壓二次方偏差為代價，構(gòu)建了馬爾可夫決策過程。為克服連續(xù)-離散動作空間維數(shù)災，提出了一種基于松弛-預報-校正的深度確定性策略梯度強化學習求解算法。最后，采用IEEE 33節(jié)點平衡與123節(jié)點不平衡配電網(wǎng)驗證了所提出方法的有效性。

智能配電網(wǎng) 電壓控制 深度強化學習 二次規(guī)劃 雙時間尺度

0 引言

未來一二十年，我國配電網(wǎng)將接入大量可再生分布式電源（Distributed Generators, DG）與電動汽車（Electrical Vehicles, EV）。DG、EV對配電網(wǎng)的影響與利用、配電網(wǎng)優(yōu)化運行、主動配電網(wǎng)技術等已成為電氣工程領域的研究熱點[1]。某些情況下，傳統(tǒng)電壓調(diào)節(jié)方法無法將所有節(jié)點電壓調(diào)整至額定范圍[2]。文獻[3]針對實際配電網(wǎng)以10 min為動作周期進行的仿真結(jié)果表明，電壓調(diào)節(jié)器（Voltage Regulators, VR）、電容器與DG相互作用，導致動作次數(shù)急劇上升，甚至達到10萬余次/年。

高比例DG接入配電網(wǎng)可能導致潮流反向，超過允許的最大值，損壞VR。間歇性DG、EV與VR、電容器、電動機相互作用可能導致分接頭達到最高/最低擋位，失去控制，加重公共并網(wǎng)點電壓下降/上升幅度，電壓調(diào)節(jié)失敗、惡化[4]，甚至引起暫態(tài)電壓失穩(wěn)與振蕩[5]。DG啟停、出力變化、EV無序充電、快充亦可能導致電壓越限、失穩(wěn)與振蕩[6]。光伏發(fā)電有功功率變化量在1 min內(nèi)能夠達到其額定功率的15%。文獻[1]針對某實際配電網(wǎng)的仿真表明，處于配電網(wǎng)末端的快速充電站內(nèi)6輛EV同時快充即可導致電壓越限。

基于物理模型的無功功率優(yōu)化是解決上述電壓問題的常用手段。根據(jù)對通信系統(tǒng)的依賴程度，無功優(yōu)化可分為集中式、分布式與本地控制。集中式控制主要基于混合整數(shù)二次規(guī)劃、二階錐規(guī)劃、半定規(guī)劃[7]、模型預測控制[8]、靈敏度分析、進化算法[9]等；分布式控制主要基于交替方向乘子法[10]、多智能體技術[11]、一致性算法[12-13]等；本地控制主要基于梯度投影法、下垂控制等。由于存在整數(shù)變量與非線性約束，集中式控制模型一般是非凸的，求解十分困難，屬于NP難題。本地控制難以保證最優(yōu)性。分布式控制一般要求模型是凸的。

計及源荷不確定性，傳統(tǒng)基于物理模型的配電網(wǎng)多時段有功無功協(xié)調(diào)優(yōu)化屬于大規(guī)?；旌险麛?shù)非凸非線性隨機或魯棒優(yōu)化，求解復雜度隨配電網(wǎng)拓撲規(guī)模與可調(diào)設備數(shù)量的增加呈指數(shù)增長，屬于NP難題。同時，DG逆變器、VR、可投切電容電抗器（Switchable Capacitors Reactors, SCR）、儲能系統(tǒng)（Energy Storage Systems, ESS）、靜止無功補償器（Static Var Compensators, SVC）等可調(diào)設備動作速度與特性差異很大，使得配電網(wǎng)有功無功協(xié)調(diào)優(yōu)化面臨維數(shù)高、建模困難、求解緩慢等難題。如何快速找到全局最優(yōu)解已成為主動配電網(wǎng)最優(yōu)潮流領域的研究熱點。

為消除對配電網(wǎng)精確模型與源荷不確定性先驗知識的依賴，近年來基于強化學習的數(shù)據(jù)驅(qū)動方法受到了眾多專家與學者的關注。深度強化學習（Deep Reinforcement Learning, DRL）已成功應用于電力系統(tǒng)狀態(tài)估計與預測[14]、微電網(wǎng)經(jīng)濟調(diào)度[15]、電網(wǎng)安全穩(wěn)定控制[16]、混合動力汽車能量管理[17]、園區(qū)綜合能源系統(tǒng)優(yōu)化管理[18]、風儲聯(lián)合電站實時調(diào)度[19]、配電網(wǎng)無功優(yōu)化與電壓控制[20-23]等。文獻[24]提出了一種配電網(wǎng)雙時間尺度電壓協(xié)調(diào)優(yōu)化控制策略，采用深度Q網(wǎng)絡（Deep Q Network, DQN）算法協(xié)調(diào)控制電容器投切，但未計及配電網(wǎng)三相不平衡、ESS、VR、電抗器的作用。

目前，DQN算法廣泛應用于配電網(wǎng)無功功率-電壓優(yōu)化問題。然而，當配電網(wǎng)中存在大量VR或電容器時，DQN算法導致離散動作空間維數(shù)災[24]。針對此問題，文獻[25]提出了一種多智能體DQN算法。然而，連續(xù)決策變量被離散化，導致離散動作維數(shù)急劇增加。此外，逆變器、VR與電容器的動作時間間隔設置為相同，降低了靈活性與最優(yōu)性。盡管多智能體DRL能夠有效地克服維度災，但訓練過程收斂速度與平穩(wěn)度遠低于單智能體。

此外，上述基于數(shù)據(jù)驅(qū)動的方法未計及傳統(tǒng)可調(diào)設備與新出現(xiàn)的DG、ESS在不同時間尺度上的協(xié)同優(yōu)化。VR、SCR、ESS與SVC、DG逆變器動作速度與特性不同（VR、SCR動作速度慢，為降低磨損，延長使用壽命，不宜頻繁動作；ESS充放電功率變化率與循環(huán)次數(shù)亦存在限制），適用于不同時間尺度的電壓調(diào)節(jié)。當前時刻VR匝比、SCR擋位、ESS充放電功率設定值對下一時段SVC、DG逆變器無功功率設定值具有重大影響。反之，當前時刻SVC、DG逆變器無功功率設定值對未來時段VR匝比、SCR擋位、ESS充放電功率設定值亦具有重大影響。事實上，這種雙向長期互動很難刻畫、建模與求解。因此，本文從可調(diào)設備動作速度與特性出發(fā)，結(jié)合數(shù)據(jù)驅(qū)動與物理建模方法，提出了一種在短、長時間尺度上協(xié)調(diào)優(yōu)化控制VR、SCR、ESS、SVC與DG逆變器五種不同類型可調(diào)設備的策略。

1 雙時間尺度電壓協(xié)調(diào)優(yōu)化控制策略

1.1 系統(tǒng)模型

圖1 輻射狀配電網(wǎng)支路潮流

圖2 電壓調(diào)節(jié)器支路等效電路

圖3 可調(diào)設備雙時間尺度動作時刻劃分

1.2 雙時間尺度有功無功功率-電壓協(xié)調(diào)優(yōu)化控制模型

2 短時間尺度無功功率-電壓二次規(guī)劃模型

2.1 平衡配電網(wǎng)支路潮流方程

2.2 不平衡配電網(wǎng)支路潮流方程

2.3 DG的模型

2.4 SVC的模型

SVC注入配電網(wǎng)的無功功率約束為

2.5 目標函數(shù)

對于三相平衡配電網(wǎng)，短時間尺度電壓協(xié)調(diào)優(yōu)化控制模型為

對于三相不平衡配電網(wǎng)，短時間尺度電壓協(xié)調(diào)優(yōu)化控制模型為

值得指出的是，本文對源荷不確定性處理方法如下：短時間尺度凸優(yōu)化模型時隙間隔可根據(jù)實際配電網(wǎng)功率波動情況設置為幾分鐘。因此，源荷功率可采用超短期預測方法得到精確值[14]。

3 長時間尺度ESS VR與SCR設置

3.1 基于數(shù)據(jù)驅(qū)動的求解方法

隨機優(yōu)化與魯棒優(yōu)化是處理源荷不確定性的常用方法。然而，隨機優(yōu)化需要大量數(shù)據(jù)樣本，計算開銷巨大，難以滿足大規(guī)模配電網(wǎng)實時控制需求。魯棒優(yōu)化針對最惡劣場景進行決策，未利用源荷不確定性概率密度信息，使得優(yōu)化結(jié)果偏于保守。因此，針對傳統(tǒng)大規(guī)模混合整數(shù)優(yōu)化NP難題，本文第一層長時間尺度（h級）控制基于數(shù)據(jù)驅(qū)動方法構(gòu)建MDP，采用DRL方法能夠快速求解離散可調(diào)設備匝比/擋位與ESS充放電功率（近似）最優(yōu)設定值。為克服離散動作空間維數(shù)災，本文提出一種基于松弛-預報-校正的改進深度確定性策略梯度（Deep Deterministic Policy Gradient, DDPG）強化學習算法，能夠高效處理離散與連續(xù)決策變量聯(lián)合動作。針對高比例間歇性DG、快充EV接入配電網(wǎng)引起的源荷功率與電壓頻繁、快速、劇烈波動問題，本文第二層短時間尺度（min級）控制在給定第一層控制變量設定值后，通過構(gòu)建單一時隙無功優(yōu)化二次規(guī)劃（Quadratic Programming, QP）物理模型，能夠快速求解SVC與DG逆變器無功功率設定值，滿足實時控制需求。源荷功率采用超短期預測方法得到精確值[14]。長時間尺度（h級）內(nèi)求解每個短時間尺度（min級）QP得到的最優(yōu)目標函數(shù)值累加后作為MDP的代價。因此，數(shù)據(jù)驅(qū)動與物理建模方法融為一體，相互協(xié)調(diào)，互相配合，能夠保證解的（近似）最優(yōu)性。

長期回報：MDP的目標是采用最優(yōu)策略使得長期折扣回報最大。

3.2 基于松弛-預報-校正的改進DDPG求解算法

圖4 消除離散-連續(xù)動作空間維數(shù)災的改進DDPG算法

本文提出的雙時間尺度電壓協(xié)調(diào)優(yōu)化控制程序流程如圖5所示。

圖5 雙時間尺度電壓協(xié)調(diào)優(yōu)化控制程序流程

4 仿真算例

4.1 仿真條件

表1 ESS的參數(shù)

Tab.1 Parameters of ESS

表2 可調(diào)設備的參數(shù)

表3 DDPG人工神經(jīng)網(wǎng)絡的參數(shù)

Tab.3 Settings of DDPG

在33節(jié)點配電網(wǎng)中，SVC容量為[-0.5 0.5]Mvar；每個SCR最小、最大無功功率分別為-0.5、0.5 Mvar，步長為0.1 Mvar；VR步長為0.006 25；每臺WTG最大有功功率與額定容量分別為0.1 MW、0.1 MV·A；時隙間隔長度設置為5 min。

在123節(jié)點配電網(wǎng)中，每個SVC容量為[-0.15 0.15]Mvar；每個on-off電容器無功功率分別為0.2、0.2、0.2、0.05、0.05、0.05 Mvar；每個VR步長為0.025；每臺WTG最大有功功率與額定容量分別為0.09 MW、0.09 MV·A；節(jié)點123為平衡節(jié)點，電壓固定為1.05(pu)；時隙間隔長度設置為10 min；每個節(jié)點最大負荷功率與文獻[28]相同。

值得指出的是，目前配電網(wǎng)調(diào)度周期是固定的，如1 h。未來，高比例光伏、（快充）EV接入配電網(wǎng)，導致電壓頻繁、快速、劇烈波動。配電網(wǎng)調(diào)度周期將會發(fā)生改變，如變?yōu)?～15 min。文獻[24]設置配電網(wǎng)調(diào)度周期為5 min。因此，本文提出的結(jié)合數(shù)據(jù)驅(qū)動與物理模型的主動配電網(wǎng)雙時間尺度電壓協(xié)調(diào)優(yōu)化控制方法中，ESS、VR與SCR動作周期為每個時段（h級），在每個時隙（min級）均不動作，SVC、DG逆變器無功動作周期為每個時隙（min級），如圖3所示。

4.2 33節(jié)點配電網(wǎng)仿真結(jié)果

圖6 33節(jié)點配電網(wǎng)平均每小時代價

圖8 第600天數(shù)據(jù)被訓練后當天節(jié)點18與33電壓幅值

圖9 第172 800時隙所有節(jié)點電壓幅值

4.3 123節(jié)點配電網(wǎng)仿真結(jié)果

圖10 123節(jié)點配電網(wǎng)平均每小時代價

圖12 在第600天數(shù)據(jù)被訓練后節(jié)點96當天電壓幅值

圖13 第86 400時隙所有節(jié)點電壓幅值

4.4 與現(xiàn)有多智能體DQN算法比較

5 結(jié)論

本文訓練集是固定的，而且未采用測試集驗證基于松弛-預報-校正的DDPG算法泛化能力。進一步研究的工作重點是采用滾動測試集在線實時驗證基于松弛-預報-校正的DDPG算法泛化能力。

[1] Yong Jiaying, Ramachandaramurthy V K, Tan Kangmiao, et al. Bi-directional electric vehicle fast charging station with novel reactive power compensation for voltage regulation[J]. International Journal of Electrical Power & Energy Systems, 2015, 64: 300-310.

[2] Wang Pengfei, Liang D H, Yi Jialiang, et al. Integrating electrical energy storage into coordinated voltage control schemes for distribution networks[J]. IEEE Transactions on Smart Grid, 2014, 5(2): 1018-1032.

[3] Ranamuka D, Agalgaonkar A P, Muttaqi K M. Examining the interactions between DG units and voltage regulating devices for effective voltage control in distribution systems[J]. IEEE Transactions on Industry Applications, 2017, 53(2): 1485-1496.

[4] Agalgaonkar Y P, Pal B C, Jabr R A. Distribution voltage control considering the impact of PV generation on tap changers and autonomous regulators[J]. IEEE Transactions on Power Systems, 2014, 29(1): 182-192.

[5] Kawabe K, Tanaka K. Impact of dynamic behavior of photovoltaic power generation systems on short-term voltage stability[J]. IEEE Transactions on Power Systems, 2015, 30(6): 3416-3424.

[6] Taranto G N, Assis T M L, Falcao D M, et al. Highlighting the importance of chronology on voltage protection and control in active distribution networks[J]. IEEE Transactions on Power Delivery, 2017, 32(1): 361-369.

[7] Bose S, Low S H, Teeraratkul T, et al. Equivalent relaxations of optimal power flow[J]. IEEE Transactions on Automatic Control, 2015, 60(3): 729-742.

[8] Valverde G, Van Cutsem T. Model predictive control of voltages in active distribution networks[J]. IEEE Transactions on Smart Grid, 2013, 4(4): 2152-2161.

[9] 黃大為, 王孝泉, 于娜, 等. 計及光伏出力不確定性的配電網(wǎng)混合時間尺度無功/電壓控制策略[J]. 電工技術學報, 2022, 37(17): 4377-4389. Huang Dawei, Wang Xiaoquan, Yu Na, et al. Hybrid timescale voltage/var control in distribution network considering PV power uncertainty[J]. Transactions of China Electrotechnical Society, 2022, 37(17): 4377-4389.

[10] Magnússon S, Qu Guannan, Fischione C, et al. Voltage control using limited communication[J]. IEEE Transactions on Control of Network Systems, 2019, 6(3): 993-1003.

[11] Bolognani S, Carli R, Cavraro G, et al. Distributed reactive power feedback control for voltage regulation and loss minimization[J]. IEEE Transactions on Automatic Control, 2015, 60(4): 966-981.

[12] 楊珺, 侯俊浩, 劉亞威, 等. 分布式協(xié)同控制方法及在電力系統(tǒng)中的應用綜述[J]. 電工技術學報, 2021, 36(19): 4035-4049. Yang Jun, Hou Junhao, Liu Yawei, et al. Distributed cooperative control method and application in power system[J]. Transactions of China Electrotechnical Society, 2021, 36(19): 4035-4049.

[13] 李忠文, 程志平, 張書源, 等. 考慮經(jīng)濟調(diào)度及電壓恢復的直流微電網(wǎng)分布式二次控制[J]. 電工技術學報, 2021, 36(21): 4482-4492. Li Zhongwen, Cheng Zhiping, Zhang Shuyuan, et al. Distributed secondary control for economic dispatch and voltage restoration of DC microgrid[J]. Transactions of China Electrotechnical Society, 2021, 36(21): 4482-4492.

[14] Zhang Liang, Wang Gang, Giannakis G B. Real-time power system state estimation and forecasting via deep unrolled neural networks[J]. IEEE Transactions on Signal Processing, 2019, 67(15): 4069-4077.

[15] 巨云濤, 陳希, 李嘉偉, 等. 基于分布式深度強化學習的微網(wǎng)群有功無功協(xié)調(diào)優(yōu)化調(diào)度[J]. 電力系統(tǒng)自動化, 2023, 47(1): 115-125. Ju Yuntao, Chen Xi, Li Jiawei, et al. Active and reactive power coordinated optimal dispatch of networked microgrids based on distributed deep reinforcement learning[J]. Automation of Electric Power Systems, 2023, 47(1): 115-125.

[16] 顧雪平, 劉彤, 李少巖, 等. 基于改進雙延遲深度確定性策略梯度算法的電網(wǎng)有功安全校正控制[J]. 電工技術學報, 2023, 38(8): 2162-2177. Gu Xueping, Liu Tong, Li Shaoyan, et al. Active power correction control of power grid based on improved twin delayed deep deterministic policy gradient algorithm[J]. Transactions of China Electrotechnical Society, 2023, 38(8): 2162-2177.

[17] 陳澤宇, 方志遠, 楊瑞鑫, 等. 基于深度強化學習的混合動力汽車能量管理策略[J]. 電工技術學報, 2022, 37(23): 6157-6168. Chen Zeyu, Fang Zhiyuan, Yang Ruixin, et al. Energy management strategy for hybrid electric vehicle based on the deep reinforcement learning method[J]. Transactions of China Electrotechnical Society, 2022, 37(23): 6157-6168.

[18] 陳明昊, 孫毅, 謝志遠. 基于雙層深度強化學習的園區(qū)綜合能源系統(tǒng)多時間尺度優(yōu)化管理[J]. 電工技術學報, 2023, 38(7): 1864-1881. Chen Minghao, Sun Yi, Xie Zhiyuan. The multi-time-scale management optimization method for park integrated energy system based on the Bi-layer deep reinforcement learning[J]. Transactions of China Electrotechnical Society, 2023, 38(7): 1864-1881.

[19] 宋煜浩, 魏韡, 黃少偉, 等. 風儲聯(lián)合電站實時自調(diào)度的高效深度確定性策略梯度算法[J]. 電工技術學報, 2022, 37(23): 5987-5999. Song Yuhao, Wei Wei, Huang Shaowei, et al. Efficient deep deterministic policy gradient algorithm for real-time self-dispatch of wind-storage power plant[J]. Transactions of China Electrotechnical Society, 2022, 37(23): 5987-5999.

[20] Xu Hanchen, Domínguez-García A D, Sauer P W. Optimal tap setting of voltage regulation transformers using batch reinforcement learning[J]. IEEE Transactions on Power Systems, 2020, 35(3): 1990-2001.

[21] Al-Saffar M, Musilek P. Reinforcement learning-based distributed BESS management for mitigating overvoltage issues in systems with high PV penetration[J]. IEEE Transactions on Smart Grid, 2020, 11(4): 2980-2994.

[22] Wang Wei, Yu Nanpeng, Gao Yuanqi, et al. Safe off-policy deep reinforcement learning algorithm for volt-VAR control in power distribution systems[J]. IEEE Transactions on Smart Grid, 2020, 11(4): 3008-3018.

[23] Cao Di, Hu Weihao, Zhao Junbo, et al. A multi-agent deep reinforcement learning based voltage regulation using coordinated PV inverters[J]. IEEE Transactions on Power Systems, 2020, 35(5): 4120-4123.

[24] Yang Qiuling, Wang Gang, Sadeghi A, et al. Two-timescale voltage control in distribution grids using deep reinforcement learning[J]. IEEE Transactions on Smart Grid, 2020, 11(3): 2313-2323.

[25] Zhang Ying, Wang Xinan, Wang Jianhui, et al. Deep reinforcement learning based volt-VAR optimization in smart distribution systems[J]. IEEE Transactions on Smart Grid, 2021, 12(1): 361-371.

[26] Dulac-Arnold G, Evans R, Van Hasselt H, et al. Deep reinforcement learning in large discrete action spaces[J]. Computer Science, 2015. DOI:10.48550/ ARXiv.1512.07679.

[27] Zhang Jian, He Yigang. Fast solving method for two-stage multi-period robust optimization of active and reactive power coordination in active distribution networks[J]. IEEE Access, 2022, 11: 30208-30222.

[28] Ding Tao, Liu Shiyu, Yuan Wei, et al. A two-stage robust reactive power optimization considering uncertain wind power integration in active distribution networks[J]. IEEE Transactions on Sustainable Energy, 2016, 7(1): 301-311.

Dual Timescales Coordinated and Optimal Voltages Control in Distribution Systems using Data-Driven and Physical Optimization

Zhang Jian1Cui Mingjian2He Yigang3

（1. School of Electrical and Automation Engineering Hefei University of Technology Hefei 230009 China 2. School of Electrical and Information Engineering Tianjin University Tianjin 300072 China 3. School of Electrical and Automation Wuhan University Wuhan 430072 China）

A large number of electric vehicles (EVs), distributed solar and/or wind turbine generators (WTGs) connected to distribution systems lead to frequent and sharp voltages fluctuations. The action rates of conventional adjustable devices and smart inverters are very different. In this context, a novel dual-timescale voltage control scheme is proposed by organically combining data-driven with physics-based optimization. On fast timescale, a quadratic programming (QP) for balanced and unbalanced distribution systems is developed based on branch flow equations. The optimal reactive power of renewable distributed generators (DGs) and static VAR compensators (SVCs) is configured on several minutes. Whereas, on slow timescale, a data-driven Markovian decision process (MDP) is developed, in which the charge/discharge power of energy storage systems (ESSs), statuses/ratios of switchable capacitors reactors (SCRs), and voltage regulators (VRs) are configured hourly to minimize long-term discounted squared voltages magnitudes deviations using an adapted deep deterministic policy gradient (DDPG) deep reinforcement learning (DRL) algorithm. The capabilities of the proposed method are validated with IEEE 33-bus balanced and 123-bus unbalanced distribution systems.

Smart distribution systems, voltage control, deep reinforcement learning(DRL), quadratic programming(QP), dual-timescale

10.19595/j.cnki.1000-6753.tces.222273

TM732

國家自然科學基金資助項目（52207130）。

2022-12-12

2023-09-27

張 劍 1982年生，男，博士，講師，研究方向為電力系統(tǒng)建模、主動配電網(wǎng)技術、電動汽車有序充電等。E-mail：z_jj1219@sina.com（通信作者）

崔明建 1987年生，男，博士，教授，研究方向為風力預測、機組組合、配電網(wǎng)物理信息系統(tǒng)等。E-mail：mingjian.cui@ ieee.org

（編輯 赫 蕾）