胥 鵬，張 悅，王蓓蓓，朱 紅，劉少君，許洪華

（1. 東南大學(xué) 電氣工程學(xué)院，南京 210096；2. 國(guó)網(wǎng)江蘇省電力有限公司 南京供電分公司，南京 210000）

0 引言

近年來(lái)，住宅、商業(yè)屋頂光伏系統(tǒng)以及兆瓦級(jí)光伏發(fā)電場(chǎng)的裝機(jī)容量快速增長(zhǎng)。DG 的高滲透性會(huì)導(dǎo)致在線(xiàn)電壓頻繁而大幅度地波動(dòng)，并給工業(yè)生產(chǎn)帶來(lái)安全問(wèn)題和經(jīng)濟(jì)損失［1—3］。解決在線(xiàn)電壓波動(dòng)問(wèn)題成為配電網(wǎng)面臨的挑戰(zhàn)之一。

傳統(tǒng)的在線(xiàn)電壓調(diào)節(jié)主要依賴(lài)于安裝的設(shè)備。文獻(xiàn)［2］中，智能逆變器和并聯(lián)電容器被用來(lái)處理電壓偏差，但只有前者用于在線(xiàn)調(diào)節(jié)。文獻(xiàn)［4］采用半定松弛啟發(fā)式算法對(duì)調(diào)壓變壓器分接頭位置進(jìn)行優(yōu)化。文獻(xiàn)［5］提出了用緊急需求響應(yīng)處理光伏逆變器以達(dá)到調(diào)節(jié)上限時(shí)的在線(xiàn)電壓?jiǎn)栴}。文獻(xiàn)［6］提出了一種基于電壓負(fù)荷靈敏度矩陣的電壓控制分層需求響應(yīng)策略。雖然需求響應(yīng)技術(shù)發(fā)展迅速，但目前仍受通信延時(shí)、用戶(hù)響應(yīng)速度等因素影響，可在線(xiàn)調(diào)度的柔性負(fù)荷有限。在DG大幅波動(dòng)的情況下，現(xiàn)有資源無(wú)法完全解決在線(xiàn)電壓?jiǎn)栴}，而且盲目地增加新調(diào)壓設(shè)備又是非常昂貴和浪費(fèi)的。

拓?fù)渥鳛橐环N電力系統(tǒng)調(diào)節(jié)方法，已被用于解決長(zhǎng)時(shí)間尺度下的網(wǎng)損、電壓優(yōu)化等問(wèn)題。近年來(lái)，智能電網(wǎng)中不同的智能終端設(shè)備使得電網(wǎng)拓?fù)淠軌蜢`活調(diào)節(jié)，進(jìn)而處理在線(xiàn)電壓?jiǎn)栴}。但獲得最優(yōu)的拓?fù)淇刂撇呗孕枰蠼饣旌险麛?shù)圓錐規(guī)劃，因此這種基于優(yōu)化的方法通常需要大量的計(jì)算時(shí)間。一些啟發(fā)式算法例如粒子群優(yōu)化算法（particle swarm optimization，PSO）［7］或遺傳算法（genetic algorithm，GA）［8］，被用來(lái)解決這個(gè)問(wèn)題。但這些啟發(fā)式方法具有很強(qiáng)的優(yōu)化隨機(jī)性，容易導(dǎo)致局部最優(yōu)解。由于這些限制，上述方法都不能滿(mǎn)足在線(xiàn)拓?fù)鋬?yōu)化（online topology optimization，OTO）的要求。

深度強(qiáng)化學(xué)習(xí)（deep reinforcement learning，DRL）是機(jī)器學(xué)習(xí)的一個(gè)理論分支，它使用數(shù)據(jù)驅(qū)動(dòng)的方法，在動(dòng)態(tài)環(huán)境中通過(guò)不斷探索和嘗試，找到高質(zhì)量的解決方案［9—10］。在電壓調(diào)節(jié)方面，DRL 方法一般被用于控制調(diào)壓裝置。但大多數(shù)現(xiàn)有的DRL 方法只關(guān)注于調(diào)整不同類(lèi)型的調(diào)節(jié)裝置，如智能逆變器［2］、電容器［4］、電池儲(chǔ)能［11］等，或者嘗試調(diào)用端側(cè)需求響應(yīng)資源。文獻(xiàn)［12］中，當(dāng)智能逆變器用完后，需求響應(yīng)資源被用來(lái)作為調(diào)壓資源的補(bǔ)充。文獻(xiàn)［13］中，集群空調(diào)資源被用來(lái)與分布式光伏進(jìn)行配合調(diào)壓工作。需求響應(yīng)資源參與調(diào)壓時(shí)，一般根據(jù)其節(jié)點(diǎn)電壓功率靈敏度矩陣得到需求響應(yīng)調(diào)節(jié)量［6］。但目前已有的研究成果中很少考慮到靈活拓?fù)湓陔妷嚎刂浦械臐摿Α?/p>

針對(duì)在線(xiàn)拓?fù)鋬?yōu)化問(wèn)題，本文基于DRL對(duì)其進(jìn)行建模與求解，提出的DRL算法能夠在數(shù)秒內(nèi)得到合理的控制策略。此外，在IEEE 14 節(jié)點(diǎn)算例中驗(yàn)證了本文算法的有效性，相比于啟發(fā)式或者經(jīng)典優(yōu)化方法，DRL 可以快速得到優(yōu)質(zhì)的拓?fù)浞桨?，滿(mǎn)足在線(xiàn)調(diào)壓的需求。

1 重構(gòu)問(wèn)題數(shù)學(xué)建模

在這一節(jié)中，給出了在線(xiàn)拓?fù)鋬?yōu)化問(wèn)題的簡(jiǎn)單數(shù)學(xué)公式，包括目標(biāo)和相關(guān)約束條件。

1.1 目標(biāo)函數(shù)

對(duì)于在線(xiàn)拓?fù)湔{(diào)節(jié)，安全性和經(jīng)濟(jì)性可能是配電網(wǎng)運(yùn)營(yíng)商最關(guān)心的問(wèn)題。目標(biāo)函數(shù)為

式中：f1、f2和f3分別為電壓偏移量、開(kāi)關(guān)次數(shù)和網(wǎng)損分量；α、β、δ分別為各分量的系數(shù)。具體來(lái)說(shuō)，vi為總線(xiàn)i的電壓幅值；si為表示開(kāi)關(guān)i狀態(tài)的二進(jìn)制變量；對(duì)于E組中連接節(jié)點(diǎn)i和j的每條線(xiàn)路，Pi,j和Qi,j分別為相應(yīng)的有功和無(wú)功功率；v?為標(biāo)準(zhǔn)電壓標(biāo)么值，在不喪失一般性的情況下，設(shè)為1；為原始拓?fù)鋵?duì)應(yīng)的開(kāi)關(guān)狀態(tài)；ri,j為線(xiàn)路阻擾。

1.2 約束條件

在線(xiàn)重構(gòu)問(wèn)題的基本約束條件是功率平衡約束，節(jié)點(diǎn)電壓約束，線(xiàn)路電流約束和拓?fù)浼s束，具體如下

式中:Pi,Grid/Qi,Grid、Pi,Load/Qi,load、Pi,DG/Qi,DG分別為節(jié)點(diǎn)i變電站有功/無(wú)功注入、負(fù)荷有功/無(wú)功需求與DG 有功/無(wú)功出力；Vi、Vj分別為節(jié)點(diǎn)i和j的電壓；Yi,j為網(wǎng)絡(luò)的導(dǎo)納矩陣；分別為節(jié)點(diǎn)i電壓幅值上限和下限；Imaxi為支路i上允許流過(guò)的最大電流；Tr為放射性網(wǎng)絡(luò)結(jié)構(gòu)；Ii為線(xiàn)路i上的電流；G為配電網(wǎng)拓?fù)浣Y(jié)構(gòu)。

根據(jù)圖論，網(wǎng)絡(luò)結(jié)構(gòu)保持放射性需要滿(mǎn)足以下3個(gè)條件中的任意2個(gè)：

（1）閉合支路等于網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)減去變電站數(shù)

式中：Non為控制變量，表示閉合支路的個(gè)數(shù)；Nnode與Nsub分別為節(jié)點(diǎn)個(gè)數(shù)與變電站個(gè)數(shù)。

（2）網(wǎng)絡(luò)圖是連通的。

式中：E(Nnode)為Nnode階單位矩陣；A′為網(wǎng)絡(luò)鄰接矩陣的轉(zhuǎn)置矩陣。

（3）網(wǎng)絡(luò)無(wú)環(huán)，不存在閉合回路。

2 DRL建模

本節(jié)基于DRL 對(duì)OTO 進(jìn)行建模，對(duì)OTO 的狀態(tài)、動(dòng)作和獎(jiǎng)勵(lì)功能進(jìn)行了建模。

2.1 深度Q網(wǎng)絡(luò)

針對(duì)OTO問(wèn)題中的離散變量，設(shè)計(jì)了一種基于深度Q網(wǎng)絡(luò)（deep Q network，DQN）算法的DRL模型，該算法是目前應(yīng)用較為廣泛的DRL算法之一，自提出以來(lái)已經(jīng)進(jìn)行了多次改進(jìn)。DQN實(shí)際上是Q-learning算法的一種升級(jí)，其基于Bellman方程［13］，通過(guò)更新動(dòng)作值函數(shù)迭代確定最優(yōu)策略。

式中：Q(s,a)為狀態(tài)-動(dòng)作值函數(shù)；a、s、r分別為RL的動(dòng)作、環(huán)境及獎(jiǎng)勵(lì)；s′、a′分別為新的環(huán)境與動(dòng)作；γ、α分別為折扣與學(xué)習(xí)因子。然而Q-learning作為一種RL 算法，只能處理狀態(tài)空間很小的問(wèn)題。因此，DQN 提出深度Q 網(wǎng)絡(luò)來(lái)起到函數(shù)逼近器的作用。網(wǎng)絡(luò)的輸入是狀態(tài)，輸出對(duì)應(yīng)于所有動(dòng)作的Q值。同時(shí)，為了降低Q(s,a)與Q(s′,a′)之間的相關(guān)性，引入了另一個(gè)深度網(wǎng)絡(luò)，稱(chēng)為目標(biāo)網(wǎng)絡(luò)。每訓(xùn)練一定次數(shù)，將Q 網(wǎng)絡(luò)的權(quán)值傳遞給目標(biāo)網(wǎng)絡(luò)。訓(xùn)練的損失函數(shù)可以表示為

式中：θ′為深度網(wǎng)絡(luò)參數(shù)。

DQN的另一個(gè)重要特性是經(jīng)驗(yàn)回放，其中agent可以將其以前的經(jīng)驗(yàn)存儲(chǔ)為Q網(wǎng)絡(luò)的訓(xùn)練樣本。訓(xùn)練時(shí)，agent 隨機(jī)抽取一定數(shù)量的樣本，以避免相關(guān)問(wèn)題。DQN 結(jié)構(gòu)的具體說(shuō)明如圖1 所示。DQN 在訓(xùn)練過(guò)程中通過(guò)不斷地迭代計(jì)算，使用隨機(jī)梯度下降算法更新網(wǎng)絡(luò)參數(shù)，以逼近目標(biāo)網(wǎng)絡(luò)。

圖1 DQN算法示意圖Fig.1 Schematic diagram of DQN algorithm

2.2 狀態(tài)定義

狀態(tài)是智能體所處的外界環(huán)境信息，而環(huán)境狀態(tài)的具體表現(xiàn)形式可以有很多種，例如多維數(shù)組、圖像和視頻等。外界環(huán)境的狀態(tài)需要能夠準(zhǔn)確地描述外界環(huán)境，并盡可能地將有效信息包括在內(nèi)，通常越充足的信息越有利于智能體學(xué)習(xí)。在OTO問(wèn)題中，為了盡可能地將環(huán)境中的有效信息表達(dá)出來(lái)，同時(shí)考慮到日前優(yōu)化中調(diào)用的調(diào)壓資源，本文以并聯(lián)電容器為代表。需要定義的狀態(tài)具有如下形式

式中：G為當(dāng)前配電網(wǎng)的拓?fù)浣Y(jié)構(gòu)，由節(jié)點(diǎn)元素V與邊元素E構(gòu)成；s為本文定義的狀態(tài)；PLoad和QLoad分別為節(jié)點(diǎn)V上的有功和無(wú)功負(fù)荷；PDG為DG的有功出力；Qcap為電容器的無(wú)功調(diào)節(jié)。

2.3 動(dòng)作定義

在OTO問(wèn)題中，本文認(rèn)為每條線(xiàn)路的狀態(tài)都由一個(gè)饋線(xiàn)開(kāi)關(guān)控制。饋線(xiàn)開(kāi)關(guān)為1時(shí)，表示該條線(xiàn)路閉合；為0時(shí)，表示該條線(xiàn)路斷開(kāi)。DQN的控制對(duì)象包括配電網(wǎng)中所有的饋線(xiàn)開(kāi)關(guān)，其動(dòng)作維度為2M。隨著網(wǎng)絡(luò)規(guī)模增大，動(dòng)作維度將出現(xiàn)組合爆炸。本文引入圖論中的樹(shù)枝交換理論，有效減小動(dòng)作空間，加速DQN的學(xué)習(xí)效率。圖論中的相關(guān)理論如下：

（1）樹(shù)、樹(shù)枝、連枝：對(duì)于連通圖G，包含連通圖的全部節(jié)點(diǎn)，但不含任何回路的連通子圖t稱(chēng)為圖G的樹(shù)；樹(shù)t上的邊稱(chēng)為樹(shù)枝；圖G上非樹(shù)t上的邊稱(chēng)為連枝。

（2）基本割集（basic cut set，BCS）：t為連通圖G中的一棵樹(shù)；e為t的任一樹(shù)枝；圖G中僅包含t的一條樹(shù)枝，其余均為連枝的割集叫做圖G的基本割集；包含樹(shù)枝e的基本割集記為Se(t)。

（3）樹(shù)枝交換：t為節(jié)點(diǎn)數(shù)為N的圖G中的一棵樹(shù)。

若e∈t（即e為其任一樹(shù)枝），支路b∈Se(t)，用b取代e后則可得到樹(shù)t′，記為

若b≠e（即支路b是包括e的樹(shù)t的基本割集中的連枝），那么t′≠t，意味著t′為新樹(shù)；若b=e（即支路b是樹(shù)枝e本身），那么t′=t。

重構(gòu)問(wèn)題中配電網(wǎng)的放射性約束即要求網(wǎng)絡(luò)結(jié)構(gòu)是一棵樹(shù)，本文將DQN的動(dòng)作設(shè)計(jì)為一次樹(shù)枝的交換操作。具體來(lái)說(shuō)，DRL從集合X中選擇一條支路斷開(kāi)，并從該支路的基本割集中選擇一條閉合，最終形成的拓?fù)浔囟M(mǎn)足放射性拓?fù)浼s束。

2.4 獎(jiǎng)勵(lì)定義

在DQN的建模中，對(duì)于獎(jiǎng)勵(lì)函數(shù)的設(shè)計(jì)沒(méi)有固定的規(guī)律，往往需要根據(jù)實(shí)際問(wèn)題具體分析，其在很大程度上影響DQN的學(xué)習(xí)方向與學(xué)習(xí)效率。本文獎(jiǎng)勵(lì)機(jī)制如表1所示。簡(jiǎn)單來(lái)說(shuō)，當(dāng)DQN選擇動(dòng)作后，會(huì)進(jìn)一步從該動(dòng)作的基本割集中按一定規(guī)則選擇1條線(xiàn)路，若這條線(xiàn)路是其自身，則說(shuō)明算法已經(jīng)陷入局部最優(yōu)，DQN會(huì)根據(jù)解的質(zhì)量獲得最終獎(jiǎng)勵(lì)rfinal，其大小由最終收斂拓?fù)渌鶎?duì)應(yīng)的目標(biāo)值決定。目標(biāo)函數(shù)f越小，得到的獎(jiǎng)勵(lì)將越大，因此，定義rfinal為

表1 機(jī)制1獎(jiǎng)勵(lì)機(jī)制Table 1 Incentive mechanism of mechanism 1

式中：f為式（1）中的目標(biāo)函數(shù)；ω為其系數(shù)。

2.5 模型整體框架

在上述建模的基礎(chǔ)上，本文對(duì)于OTO 問(wèn)題的DQN算法流程如圖2所示。根據(jù)配電網(wǎng)觀測(cè)到的狀態(tài)信息，DQN可根據(jù)不同動(dòng)作的Q值選擇要斷開(kāi)的線(xiàn)路，并計(jì)算該線(xiàn)路對(duì)應(yīng)的基本割集。然后基于潮流計(jì)算從基本割集中選擇1 條獎(jiǎng)勵(lì)最大的線(xiàn)路閉合，最終實(shí)現(xiàn)拓?fù)涞囊淮尾僮?。通過(guò)重復(fù)以上過(guò)程直到達(dá)到動(dòng)作停止條件。

圖2 算法流程圖Fig.2 Algorithm flow chart

3 算例分析

本節(jié)以IEEE 標(biāo)準(zhǔn)14 節(jié)點(diǎn)網(wǎng)絡(luò)為基礎(chǔ)，進(jìn)行多個(gè)方面的案例研究，以證明所提出方法的可行性和有效性。第3.1節(jié)詳細(xì)說(shuō)明了算例設(shè)置；第3.2節(jié)闡述了基于拓?fù)涞碾妷嚎刂频挠?xùn)練過(guò)程和測(cè)試結(jié)果；第3.3 節(jié)為了說(shuō)明本文算法的優(yōu)越性，進(jìn)行了不同方法的對(duì)比分析。

3.1 算例設(shè)置

IEEE 14節(jié)點(diǎn)網(wǎng)絡(luò)如圖3所示，假設(shè)每段線(xiàn)路都有1 個(gè)智能開(kāi)關(guān)，可以靈活地控制線(xiàn)路的狀態(tài)。本文在節(jié)點(diǎn)2與節(jié)點(diǎn)7接入分布式新能源。負(fù)荷和風(fēng)電數(shù)據(jù)的時(shí)間序列取自Pecan Street Dataport。該數(shù)據(jù)集包含幾十個(gè)住宅客戶(hù)和2 個(gè)風(fēng)電場(chǎng)的數(shù)據(jù)，數(shù)據(jù)長(zhǎng)度為1年，間隔為15 min。對(duì)于14 節(jié)點(diǎn)網(wǎng)絡(luò)的每個(gè)節(jié)點(diǎn)，本文將隨機(jī)10個(gè)用戶(hù)的功率聚合為節(jié)點(diǎn)實(shí)際注入功率。所有節(jié)點(diǎn)的功率注入都通過(guò)1個(gè)轉(zhuǎn)換因子進(jìn)行調(diào)整以創(chuàng)建合理的負(fù)荷水平。

圖3 IEEE 14節(jié)點(diǎn)示意圖Fig.3 IEEE 14 node schematic diagram

其中轉(zhuǎn)換因子β根據(jù)14 節(jié)點(diǎn)網(wǎng)絡(luò)的標(biāo)準(zhǔn)負(fù)荷數(shù)據(jù)選擇。另外，不同的拓?fù)鋽?shù)據(jù)由基于樹(shù)枝交換操作的仿真得到。表2給出DQN的超參數(shù)設(shè)置。

表2 算法超參數(shù)設(shè)置Table 2 Algorithm super parameters setting

3.2 訓(xùn)練過(guò)程及測(cè)試結(jié)果

在這一部分中，首先給出訓(xùn)練過(guò)程的結(jié)果，然后利用基于數(shù)學(xué)優(yōu)化算法求出的最優(yōu)基準(zhǔn)測(cè)試其有效性。

（1）訓(xùn)練過(guò)程：本文在每個(gè)訓(xùn)練集中學(xué)習(xí)200個(gè)樣本，并計(jì)算其平均獎(jiǎng)勵(lì)。在訓(xùn)練了400集后，平均獎(jiǎng)勵(lì)的演變?nèi)鐖D4 所示。在這個(gè)過(guò)程中，使用ε-greedy 策略幫助代理選擇動(dòng)作。在前95集的學(xué)習(xí)過(guò)程中，DQN 采取隨機(jī)行動(dòng)的概率從1.0 線(xiàn)性衰減到0.05。在接下來(lái)的305集里隨機(jī)系數(shù)保持0.05不變。平均獎(jiǎng)勵(lì)在前95集以線(xiàn)性趨勢(shì)迅速增加，然后振蕩約100 集，最后從200 集開(kāi)始穩(wěn)定在2.7 左右。值得一提的是，雖熱概率固定在0.95，但平均報(bào)酬仍有小幅波動(dòng)。訓(xùn)練結(jié)果表明，所提出的基于DQN的方法可以逐漸學(xué)習(xí)到一個(gè)好的策略以獲得大的獎(jiǎng)勵(lì)值，從而獲得較大的拓?fù)湔{(diào)整回報(bào)。

圖4 平均獎(jiǎng)勵(lì)示意圖Fig.4 Schematic diagram of average reward

（2）訓(xùn)練結(jié)果：為了檢驗(yàn)DQN 模型在學(xué)習(xí)了400集之后，在不同樣本下找到的拓?fù)浞桨傅馁|(zhì)量，本文利用CPLEX求解器求解混合整數(shù)規(guī)劃問(wèn)題，得到最優(yōu)解，并將DQN的方案與對(duì)應(yīng)樣本的最優(yōu)方案進(jìn)行比較，如圖5所示。

圖5 DQN方案誤差率分布圖Fig.5 Error rate distribution of DQN scheme

DQN方法得到的結(jié)果與最優(yōu)解相等，而對(duì)于其他大多數(shù)樣本，該方法得到的結(jié)果接近最優(yōu)解，說(shuō)明了基于DQN的拓?fù)鋬?yōu)化方法的有效性。同時(shí)，為了進(jìn)一步評(píng)估DQN 模型的泛化能力，在400 個(gè)訓(xùn)練集后固定了DQN 參數(shù)，從測(cè)試集中隨機(jī)選取100 個(gè)新樣本進(jìn)行測(cè)試，并將結(jié)果與最優(yōu)解進(jìn)行比較，如圖6所示。對(duì)于智能體從未遇到過(guò)的大多數(shù)樣本，DQN仍然可以立即給出最優(yōu)或接近最優(yōu)的策略。

圖6 DQN與最優(yōu)方案結(jié)果對(duì)比Fig.6 Comparison between DQN and optimal solution

3.3 算法對(duì)比分析

為了評(píng)估提出的基于DQN的算法的性能，比較了其他幾種求解方法，包括GA、PSO 和基于二階錐的優(yōu)化算法（mixed integer second-order cone programming，MISOCP）。GA和PSO都是求解拓?fù)鋬?yōu)化問(wèn)題的常用方法。目標(biāo)函數(shù)與基于DQN 的方法相同，是使電壓偏移量和網(wǎng)損最小。此外，基于二階錐規(guī)劃模型的商業(yè)求解器CPLEX-12.9 對(duì)1 個(gè)基于優(yōu)化的MICP問(wèn)題進(jìn)行了求解。

基于每種算法對(duì)給定問(wèn)題求解20次，并將求到的結(jié)果統(tǒng)計(jì)在表3中。相比于2種啟發(fā)式算法，本文用DQN 方法求解20 次的結(jié)果更加貼近最優(yōu)解。從計(jì)算時(shí)間來(lái)看，傳統(tǒng)數(shù)學(xué)方法：二階錐規(guī)劃（secondorder cone programming，SOCP）所需要的時(shí)間遠(yuǎn)遠(yuǎn)大于其他3種方法。SOCP屬于傳統(tǒng)數(shù)學(xué)解析法求解，其所得解都是最優(yōu)解，但其求解時(shí)間長(zhǎng)也是數(shù)學(xué)解析法的固有問(wèn)題，并且當(dāng)問(wèn)題規(guī)模變大后，求解時(shí)間會(huì)以指數(shù)級(jí)上升甚至使問(wèn)題變得不可解。而PSO與GA 屬于啟發(fā)式求解方法，其求得的解是次優(yōu)解，每次都可能不一樣，但求解時(shí)間相比于SOCP 要短很多。PSO平均需要30.53 s，GA平均需要24.45 s。而本文DQN方法則都能在2 s內(nèi)得到拓?fù)浞桨?。這種速度的主要原因是SOCP 方法和啟發(fā)式算法（包括PSO和GA）都不能使用先驗(yàn)知識(shí)。對(duì)于每個(gè)OTO問(wèn)題，這些方法從一開(kāi)始就尋找解決方案，這需要大量的計(jì)算時(shí)間。相比之下，DQN算法花費(fèi)時(shí)間離線(xiàn)學(xué)習(xí)歷史訓(xùn)練數(shù)據(jù)，并將學(xué)習(xí)到的信息保存在Q網(wǎng)絡(luò)中。在處理在線(xiàn)問(wèn)題時(shí)，本文提出的基于DQN的方法可以通過(guò)離線(xiàn)學(xué)習(xí)和保存的知識(shí)快速找到最優(yōu)解。

表3 不同方法求解結(jié)果Table 3 Solution results of different methods

4 結(jié)束語(yǔ)

本文提出了一種基于DQN 的OTO 問(wèn)題求解算法。借助于所提出的DQN動(dòng)作機(jī)制，減少了動(dòng)作維度和動(dòng)作空間。仿真結(jié)果表明，所提出的基于DQN的拓?fù)淇刂扑惴軌騾f(xié)調(diào)現(xiàn)有的調(diào)節(jié)資源，保證系統(tǒng)的安全性，并且DQN算法能夠在數(shù)秒內(nèi)處理OTO問(wèn)題，給出合理的解決方案，并可與配電網(wǎng)中的現(xiàn)有資源協(xié)調(diào)處理在線(xiàn)電壓?jiǎn)栴}。