劉林鵬，朱建全，陳嘉俊，葉漢芳

（華南理工大學電力學院，廣東 廣州 510640）

0 引言

近年來，為了實現(xiàn)可再生能源的就地消納，微電網(wǎng)中可再生能源的占比日益提高［1-2］。為抑制可再生能源的間歇性和隨機性，維持微電網(wǎng)的穩(wěn)定運行，有必要裝設一定比例的儲能，實現(xiàn)源儲協(xié)同運行［3］。在這種背景下，如何充分地考慮可再生能源與儲能系統(tǒng)的特點，對微電網(wǎng)進行源儲協(xié)同優(yōu)化調(diào)度成為一個熱點問題。

目前，微電網(wǎng)的優(yōu)化調(diào)度問題已經(jīng)得到了大量的研究。已有的方法可以分為基于模型的數(shù)學優(yōu)化算法和無模型的強化學習算法2 類。基于模型的數(shù)學優(yōu)化算法通常是通過直接求解集中式的數(shù)學優(yōu)化問題以獲取最優(yōu)策略。例如：文獻［4］將微電網(wǎng)調(diào)度問題轉(zhuǎn)化成二次型最優(yōu)控制問題，并利用黎卡提方程解的特性對其進行求解；文獻［5］將微電網(wǎng)調(diào)度問題轉(zhuǎn)化為二階魯棒優(yōu)化模型，利用列約束生成和強對偶原理將原問題分解后交替求解；文獻［6］使用KKT（Karush-Kuhn-Tucker）條件及二階錐松弛技術將微電網(wǎng)調(diào)度模型轉(zhuǎn)換為單層的混合整數(shù)線性規(guī)劃問題，并調(diào)用CPLEX 求解器對其進行求解；文獻［7］構(gòu)建了微電網(wǎng)雙層調(diào)度模型，并利用交替方向乘子法對其進行求解。上述文獻為求解微電網(wǎng)優(yōu)化調(diào)度問題，對原問題中的非凸非線性約束進行了一定簡化處理。這些簡化處理方法通常建立在一定假設的基礎上，它們求得的最優(yōu)策略與原問題的最優(yōu)策略在某些情況下并不等價。無模型的強化學習算法將智能體不斷與環(huán)境進行交互，通過觀察交互后得到的結(jié)果改進策略。例如：文獻［8］使用基于值的深度Q 網(wǎng)絡DQN（Deep Q-Network）算法得到了微電網(wǎng)的在線調(diào)度策略；文獻［9］使用基于隨機性策略的策略-評價網(wǎng)絡AC（Actor-Critic）算法求解微電網(wǎng)的最優(yōu)調(diào)度策略；文獻［10］使用基于確定性策略的深度確定性策略梯度DDPG（Deep Deterministic Policy Gradient）算法求解微電網(wǎng)中共享儲能的最優(yōu)控制問題。上述強化學習算法相較于基于模型的數(shù)學優(yōu)化算法的優(yōu)勢在于其不需要模型的信息，可通過觀察到的數(shù)據(jù)尋找最優(yōu)策略。此外，其得到的策略泛化能力強，在強隨機性環(huán)境下有較好的表現(xiàn)［8-9］。盡管強化學習方法在微電網(wǎng)優(yōu)化調(diào)度問題的求解過程中有較好的表現(xiàn)，但由于它在訓練過程中為保證智能體的探索性能，往往需要在策略探尋過程中加入一定的隨機性，這可能導致所搜尋的策略不滿足約束條件。為解決這個問題，已有的文獻主要采取了以下措施：文獻［11］結(jié)合了壁壘函數(shù)的特性以保證智能體在滿足約束的條件下進行策略學習；文獻［12］通過在獎勵函數(shù)中設置懲罰因子，使智能體在學習過程中避開不滿足約束條件的策略；文獻［13］使用元學習的方式使得策略更新過程滿足約束條件。上述方法本質(zhì)上都是通過無模型學習的方式使得智能體朝著滿足約束條件的方向?qū)Σ呗赃M行更新，但這類方法并不能保證所得策略嚴格滿足約束條件。

針對以上問題，本文結(jié)合有模型的數(shù)學優(yōu)化與無模型的強化學習的思想，提出了一種基于柔性策略-評價網(wǎng)絡SAC（Soft Actor-Critic）的微電網(wǎng)源儲協(xié)同優(yōu)化調(diào)度方法。一方面，所提方法在不對原問題進行簡化處理的前提下，利用強化學習算法將原問題分解為多個子問題進行求解，并通過貝爾曼最優(yōu)定理保證了所得策略與原問題最優(yōu)策略的等價性；另一方面，所提方法利用部分模型信息使得策略嚴格滿足約束條件。此外，為減少智能體在訓練過程中與環(huán)境的交互時長，本文提出了一種基于深層長短期記憶LSTM（Long Short-Term Memory）網(wǎng)絡的環(huán)境建模方法。

1 微電網(wǎng)源儲協(xié)同調(diào)度模型

1.1 目標函數(shù)

以微電網(wǎng)的運行成本最小化為目標，則有：

式中：Pg，t和Ps，t分別為t時段機組g和儲能s的有功出力，Ps，t取值為正時表示儲能放電，取值為負時表示儲能充電，其最大值為Pmaxs；Pl，t為t時段聯(lián)絡線l傳輸?shù)挠泄β?，其取值為正時表示從主網(wǎng)購電，取值為負時表示向主網(wǎng)售電；og，t為t時段機組g狀態(tài)，其取值為0時表示處于離線狀態(tài)，取值為1時表示處于工作狀態(tài)；ct為t時段即時成本。

1.2 馬爾可夫決策過程

在利用強化學習求解優(yōu)化問題時，需要先將原問題構(gòu)建為一個馬爾可夫決策過程［14］。本文從時間維度對原問題進行解耦，構(gòu)建了以下的馬爾可夫決策過程。

1）狀態(tài)。

式中：Pcha，t和Pdis，t分別為t時段儲能的充電和放電功率；η為儲能的充放電效率系數(shù)；μL，t+1、μwt，t+1、μpv，t+1和μp，t+1分別為分布DL、Dwt、Dpv和Dp的均值；σL，t+1、σwt，t+1、σpv，t+1和σp，t+1分別為分布DL、Dwt、Dpv和Dp的標準差。

4）獎勵。

獎勵是智能體每次與環(huán)境進行交互時收到的反饋信號，可用于指導策略的更新方向。為了實現(xiàn)微電網(wǎng)的運行成本最小化，本文將獎勵設置為即時成本的負值：

式中：rt為t時段智能體在狀態(tài)st下做出動作at獲得的獎勵。

5）環(huán)境。

在本文的微電網(wǎng)源儲協(xié)同優(yōu)化調(diào)度模型問題中，智能體所處的環(huán)境為原問題在時間維度解耦后的單時段優(yōu)化問題：

在微電網(wǎng)源儲協(xié)同調(diào)度問題中，決策變量包含機組出力、儲能充放電功率、機組的啟停狀態(tài)以及聯(lián)絡線功率。若直接用無模型的強化學習算法搜尋這4 個變量對應的策略，將無法保證其搜尋的策略嚴格滿足約束條件。為解決這一問題，將這4個變量分成了兩部分：一部分為儲能充放電功率和機組的啟停狀態(tài)，這部分變量通過強化學習的策略網(wǎng)絡輸出得到；另一部分為機組的出力和聯(lián)絡線功率，這部分變量由策略網(wǎng)絡輸出儲能充放電功率和機組的啟停狀態(tài)后通過CPLEX 商業(yè)求解器求解式（10）—（15）組成的單時段的優(yōu)化問題得到。通過這種方式求解這4個決策變量可以保證它們嚴格滿足約束條件。

2 基于SAC的源儲協(xié)同優(yōu)化調(diào)度

2.1 SAC優(yōu)化策略

2.1.1 智能體的目標函數(shù)

SAC 算法作為無模型的強化學習算法之一，能夠有效地在模型未知的情況下，通過不斷地與環(huán)境進行交互以搜尋最優(yōu)策略［15］。本文將利用SAC算法學習最優(yōu)策略的智能體稱為SAC智能體。在微電網(wǎng)源儲協(xié)同優(yōu)化調(diào)度問題中，SAC 智能體的目標可定義為最大化智能體調(diào)度周期內(nèi)的總獎勵與策略熵的期望值［16］：

通過求解式（18）所示的目標函數(shù)，所得策略便可實現(xiàn)總獎勵的最大化（即運行成本最小化）。另一方面，由于目標函數(shù)考慮了將策略熵最大化，所得策略具有更強的探索性能以及更好的魯棒性。

2.1.2 智能體結(jié)構(gòu)

式中：γ為獎勵折扣系數(shù)。

根據(jù)貝爾曼方程，可以推導出狀態(tài)-動作值函數(shù)Qπ(st，at)的遞歸方程為［14］：

2.1.3 評價網(wǎng)絡的參數(shù)更新

對于評價網(wǎng)絡，其參數(shù)是朝著真實狀態(tài)-動作值函數(shù)的方向更新的。因此，基于式（21）以及時序差分算法可得SAC 智能體評價網(wǎng)絡的參數(shù)更新公式為［17］：

式中：θQ和θπ分別為評價網(wǎng)絡和策略網(wǎng)絡的參數(shù)，可利用文獻［18］所提的小批量梯度下降法分別求解式（22）和式（24）以獲得θQ和α的更新值；H′為目標策略熵；M為小批量更新的樣本數(shù)量；i表示樣本編號，每個樣本由(si，ai，ri，s′i)構(gòu)成，其中s′i為轉(zhuǎn)移后狀態(tài)；a′i為智能體在s′i下根據(jù)當前策略所得動作。智能體每次與環(huán)境進行交互時均會產(chǎn)生一個樣本，并將其存入經(jīng)驗回放池中［19］。

2.1.4 策略網(wǎng)絡的參數(shù)更新

對于策略網(wǎng)絡，其參數(shù)是朝著最大化總獎勵和策略熵的方向進行更新的。因此，可利用梯度上升法求解式（25）對其參數(shù)θπ進行更新。

SAC 智能體不斷地與環(huán)境進行交互產(chǎn)生新的樣本并存入經(jīng)驗回放池中，且每次與環(huán)境進行交互后都根據(jù)經(jīng)驗回放池中的樣本對評價網(wǎng)絡和策略網(wǎng)絡進行一次參數(shù)更新。在超參數(shù)設置合理的前提下，通過一定次數(shù)的交互訓練后，SAC 智能體的策略最終可收斂到最優(yōu)策略［20］。

通過這種方式，可以將原問題分解為多個子問題求解。根據(jù)貝爾曼最優(yōu)定理，所得策略與原問題最優(yōu)策略具有等價性，相關證明見附錄B。

2.2 基于深層LSTM網(wǎng)絡的環(huán)境建模

由于SAC 智能體每次與環(huán)境進行交互時，都需要求解一個由式（10）—（16）組成的單時段優(yōu)化問題，這將導致訓練的時間大幅增加。為加快SAC 智能體的訓練速度，本文利用深層LSTM 網(wǎng)絡對環(huán)境進行建模。

深層LSTM 神經(jīng)網(wǎng)絡是循環(huán)神經(jīng)網(wǎng)絡RNN（Recurrent Neural Network）的一種類型，其基本結(jié)構(gòu)如附錄C 圖C1所示。從圖中可以看出，RNN 的隱藏層包含了當前時刻的輸入信息以及上一時刻的輸入信息，因此它具有記憶功能。為解決RNN 的梯度爆炸和消失問題，LSTM 對RNN 進行了改進，其結(jié)果如附錄C 圖C2 所示，圖中σ表示Logistic 函數(shù)，輸出區(qū)間為（0，1）。LSTM 在RNN 的基礎上引入內(nèi)部狀態(tài)ct，用于傳遞循環(huán)信息，引入外部狀態(tài)ht用于接收內(nèi)部狀態(tài)傳遞的信息，具體如下：

式中：⊙表示向量元素相乘；ft、it、ot分別為遺忘門、輸入門和輸出門，它們控制其對應的信息通過比例，且ft、it、ot中各元素取值范圍為［0，1］；Wc、Uc和bc為可學習的神經(jīng)網(wǎng)絡參數(shù)。

與傳統(tǒng)的前饋神經(jīng)網(wǎng)絡類似，使用小批量梯度下降法更新LSTM網(wǎng)絡參數(shù)θn：

式中：K為小批量樣本數(shù)目；xj、yj分別為樣本j的特征與標簽；y?j為樣本j的LSTM 網(wǎng)絡輸出量；β為學習率。

3 算例分析

3.1 參數(shù)設置

以圖1 所示的微電網(wǎng)為例對所提方法進行測試，相關參數(shù)見附錄D。評價網(wǎng)絡與策略網(wǎng)絡結(jié)構(gòu)參數(shù)以及用于環(huán)境建模的深層LSTM 網(wǎng)絡超參數(shù)見附錄E。所有算例均基于MATLAB R2021a實現(xiàn)，并在64位Windows系統(tǒng)、Intel Core i7-6700K@3.7 GHz的環(huán)境下運行。

圖1 微電網(wǎng)結(jié)構(gòu)Fig.1 Structure of microgrid

由于深層LSTM 網(wǎng)絡的訓練是一種“端到端”的有監(jiān)督學習方法，因此在訓練前，首先需要準備一定數(shù)量的樣本。本文通過CPLEX 商業(yè)求解器求解1 000 個不同場景下由式（10）—（16）組成的優(yōu)化問題，得到了1 000 個樣本，并將90%的樣本作為訓練集，用于訓練深層LSTM 網(wǎng)絡；將其余10%的樣本作為測試集，用于測試模型的準確性。每個樣本包含了用于訓練的標簽和特征，其中標簽為ct，特征為{Ps，t，og，t+1，ES，t，pt，Pwt，t，Ppv，t，Lt，og，t}。

3.2 智能體的離線訓練過程

為驗證SAC 智能體在隨機環(huán)境下的學習能力，假設負荷、風電出力、光伏出力和電價分別服從式（31）—（34）中均值和標準差的高斯分布。

圖2 展示了SAC 智能體在設置的隨機環(huán)境訓練時，微電網(wǎng)的運行成本期望隨訓練次數(shù)增加而變化的過程，其中該期望值通過最近100 次訓練結(jié)果的平均值近似表示。從圖2 中可以看出：在訓練前期，微電網(wǎng)運行成本的期望值隨著訓練次數(shù)的增加而降低；在完成2 400 次訓練之后，微電網(wǎng)運行成本的期望值基本保持不變，因此可以認為此時SAC 智能體找到了近似最優(yōu)策略。

圖2 SAC智能體訓練過程Fig.2 Training process of SAC agent

為驗證本文所提方法的優(yōu)勢，圖3 展示了無模型的SAC智能體在設置的隨機環(huán)境訓練時的運行成本變化情況。其中，無模型的SAC 智能體采用了文獻［12］中的方法，在獎勵函數(shù)中對于不滿足約束條件的策略設置了懲罰因子。在本算例中，對不滿足式（12）的策略增加一個值為$200 的懲罰成本。從圖3 中可以看出，這種在獎勵函數(shù)中增加懲罰因子的無模型強化學習方法無法保證策略嚴格滿足約束條件，造成其運行成本產(chǎn)生較大波動。

圖3 無模型的SAC智能體訓練過程Fig.3 Training process of model-free SAC agent

3.3 智能體在線決策分析

將離線訓練后的SAC智能體用于微電網(wǎng)源儲協(xié)同優(yōu)化調(diào)度的在線決策，并與短視（myopic）策略進行對比。其中，短視策略通過求解式（35）中的單時段優(yōu)化問題得到。

圖4 展示了2 種策略連續(xù)進行1 個月的在線決策的情況。從圖中可以看出，所提方法的優(yōu)化效果明顯優(yōu)于短視策略。采用短視策略時，微電網(wǎng)在該月運行成本均值為$766.90；而采用本文策略后，微電網(wǎng)在該月運行成本均值為$726.36（比短視策略所得運行成本降低了5.29%），這主要得益于本文所提的方法具有遠視能力，能全局考慮調(diào)度周期內(nèi)的情況以獲得更優(yōu)的結(jié)果。

圖4 運行1個月的結(jié)果對比Fig.4 Comparison of results in a month

進一步地，圖5 以第一天的在線決策結(jié)果為例，詳細展示了采用本文所提方法進行在線決策時各時段的狀態(tài)變量以及動作變量情況?？梢园l(fā)現(xiàn)，在電價較低時，微電網(wǎng)需要從主網(wǎng)購電以滿足負荷需求。由于此時微電網(wǎng)自備機組的運行成本比購電成本高，所以發(fā)電機處于停機狀態(tài)。另一方面，儲能選擇在電價較低時盡可能充電，隨后在電價較高時放電以獲取更高的利益。

圖5 日內(nèi)在線決策結(jié)果Fig.5 Intra-day online decision results

3.4 LSTM網(wǎng)絡環(huán)境建模分析

為測試本文所提的LSTM 網(wǎng)絡環(huán)境建模方法的有效性，將基于原環(huán)境和深層LSTM 網(wǎng)絡模型得到的微電網(wǎng)的源儲協(xié)同優(yōu)化調(diào)度策略進行對比分析。

圖6 展示了不同測試場景下基于原環(huán)境和深層LSTM 網(wǎng)絡模型得到的成本對比情況。從圖中可以看出，基于深層LSTM 模型的輸出成本曲線與基于原環(huán)境的成本曲線基本重合，均方根誤差僅為0.315 3，這說明深層LSTM 模型所建的環(huán)境與原環(huán)境近似等效。

圖6 深層LSTM網(wǎng)絡誤差分析Fig.6 Error analysis of deep LSTM network

表1 進一步對比了SAC 智能體在原環(huán)境與深層LSTM 網(wǎng)絡所建環(huán)境下的離線訓練時長以及在線決策的平均成本。從表中可見，深層LSTM 網(wǎng)絡所構(gòu)建的環(huán)境減少了80.03%的離線訓練時長，而在線決策平均成本僅與原環(huán)境相差0.01%。這表明所提深層LSTM 網(wǎng)絡環(huán)境建模在不影響在線決策精度的前提下，顯著減少了智能體的離線訓練時長。需要說明的是，盡管智能體的離線訓練時間較長，但在在線決策階段，由于可以直接利用離線訓練好的策略網(wǎng)絡進行決策，其耗時僅為0.41 s，因而可以滿足在線決策的需求。

表1 2種環(huán)境模型效果對比Table 1 Comparison of effects between two environment models

4 結(jié)論

本文提出了一種基于SAC的微電網(wǎng)源儲協(xié)同調(diào)度策略，得到的主要結(jié)論如下：

1）所提方法能夠通過不斷地與環(huán)境進行交互的方式獲得最優(yōu)策略，并基于部分模型信息進行策略搜尋，確保所得策略滿足安全約束；

2）所提環(huán)境建模方法在不影響策略準確性的前提下，減少了SAC智能體的訓練時長，提高了SAC智能體的學習效率；

3）所提方法對模型信息的依賴程度較低，僅用時0.41 s 便可獲得顯著優(yōu)于短視策略的解，可以較好地滿足微電網(wǎng)源儲協(xié)同調(diào)度的在線決策要求。

附錄見本刊網(wǎng)絡版（http：//www.epae.cn）。