牛亞琳李華玥李松嶺楊涌文

1.上海電力大學能源與機械工程學院

2.上海電力大學計算機科學與技術學院

0 引言

綠色發(fā)展是建設生態(tài)文明、構建高質(zhì)量現(xiàn)代化經(jīng)濟體系的必然要求，核心是節(jié)約資源和保護生態(tài)環(huán)境。近年來，為了解決環(huán)境污染問題，政府加大了對分布式能源的支持，提高可再生能源的占比，對電動汽車既具備移動負荷又具有儲能特性的設備提出了一系列的政策支持和目標規(guī)劃。但大量電動汽車和分布式能源直接入網(wǎng)會造成電網(wǎng)原有的功率平衡破壞，使電網(wǎng)負荷的峰谷變大。因此，如何將電動汽車與分布式能源有機結(jié)合，充分發(fā)揮分布式能源和大電網(wǎng)之間的協(xié)同作用，幫助電網(wǎng)實現(xiàn)削峰填谷成為眾多研究關注的熱點。

如今，針對分布式能源接入后電動汽車實時電價響應控制策略的研究主要集中在分布式能源與大電網(wǎng)的協(xié)同優(yōu)化運行方面。文獻[1]提出了一種發(fā)電側(cè)與供電側(cè)的分時電價聯(lián)動模型，并結(jié)合實際數(shù)據(jù)對不同的電動汽車入網(wǎng)方式和放電電價模式進行仿真，驗證了模型的有效性，但其提出的峰谷電價響應度是一個固定值，尚未考慮車主充放電行為受價格信號等因素的影響。文獻[2]根據(jù)計及網(wǎng)內(nèi)可再生能源出力與負荷情況不平衡率所發(fā)布的實時電價，通過對比有序充電和無序放電情況下微電網(wǎng)運行情況，驗證了其策略在微網(wǎng)運行優(yōu)化方面的有效性，但尚未提出當微電網(wǎng)儲能不夠供應汽車充電時應如何進行處理的方案。文獻[3]提出了考慮可再生能源利用率和投資運行成本的多目標優(yōu)化配置數(shù)學模型，通過算例求解，得到不同光伏利用率下的充電站各單元最優(yōu)容量配置。文獻[4-6]雖考慮了微網(wǎng)內(nèi)RES出力不確定性，但電價形式較為單一，在反映系統(tǒng)動態(tài)供需關系方面有失靈活。文獻[7]提出了一種批量強化學習（RL）算法，從一批轉(zhuǎn)換樣本中學習最優(yōu)的降低成本計費策略，并在新情況下進行成本降低的計費決策，使用實際定價數(shù)據(jù)的模擬結(jié)果表明，在使用建議的充電方法時，PEV所有者可節(jié)省10%～50%的成本。

綜上所述，隨著分布式能源的規(guī)模化應用，分布式能源與大電網(wǎng)協(xié)同作用的研究日益增多，但在考慮當電動汽車接入后，如何有效運用分布式能源與電網(wǎng)之間的作用，并在微網(wǎng)儲能系統(tǒng)不夠供應汽車充電時應如何進行處理等方面研究甚少。針對以上問題，本文將分布式能源和電動汽車相結(jié)合，實現(xiàn)可再生能源就地消納，并提出了一種基于強化學習的電網(wǎng)實時電價控制策略制定科學的實時電價，進一步通過實時電價調(diào)控機制，引導用戶有序充電，使分布式能源和大電網(wǎng)之間的協(xié)同作用得到充分發(fā)揮，從而達到能源的綠色使用。

1 分布式能源接入后電動汽車的充電策略

1.1 風光儲充電站

含有風光儲的充電站微電網(wǎng)如圖1所示。微網(wǎng)內(nèi)有風力和光伏發(fā)電兩種分布式電源，當可再生能源出力小于電動汽車群負荷時，考慮充電站儲能系統(tǒng)和電網(wǎng)兩種電源協(xié)同供電。電動汽車負荷通過充電站內(nèi)充電樁進行充電。充電站管理系統(tǒng)監(jiān)測各部分的運行情況，合理發(fā)布電價，充分調(diào)動網(wǎng)內(nèi)電能。

圖1 風光儲充電站微電網(wǎng)示意圖

1.2 電動汽車負荷模型

為便于研究，引入電動汽車群的概念。電動汽車群是指一定數(shù)量的電動汽車聚集體，其起始充電時刻服從于式（1）的充電分布規(guī)律。

式中：μs，σs為對應的期望和標準差，x為起始充電時刻。

1.3 能量協(xié)同策略

微電網(wǎng)內(nèi)不平衡功率可以表示為：

1.4 風光儲充電站儲能系統(tǒng)的電價模型

根據(jù)調(diào)查研究，制定充電站的儲能系統(tǒng)SOC與電價的關系[8]如圖2所示：

圖2 充電站儲能系統(tǒng)SOC與電價的關系

電價隨儲能的減少而線性增加。當SOC=1時，充電站儲能系統(tǒng)電價為0.8元/kWh，與僅靠風光出力時的電價相等；當SOC＜1且Pgap＜0時，此時電網(wǎng)介入?yún)f(xié)同供電，電費按照儲能系統(tǒng)與電網(wǎng)供電比例綜合收??；當SOC接近0時，此時幾乎完全由電網(wǎng)供電，電價也基本與電網(wǎng)電價一致。

在傳統(tǒng)充電方式中，電動汽車先由風光儲充電站先行供電，當SOC降為0時，再接入電網(wǎng)繼續(xù)供電。此類由儲能系統(tǒng)供電直接切換至電網(wǎng)供電方法會導致電網(wǎng)瞬時功率不平衡，影響電網(wǎng)的穩(wěn)定運行。并且，該充電方式并未考慮到隨著SOC的降低，儲能系統(tǒng)供電的電價將不斷上升，由此將降低總體的經(jīng)濟性。因此，我們考慮儲能系統(tǒng)和電網(wǎng)協(xié)同給電動汽車供電，從而有效地解決了以上問題。

2 基于強化學習的實時電價調(diào)控策略

當微網(wǎng)儲能系統(tǒng)不足以供電動汽車充電而接入電網(wǎng)時，本文提出了一種基于強化學習的電網(wǎng)實時電價控制策略。通過實時電價調(diào)控機制，鼓勵用戶在谷時段充電。

強化學習是智能體以“試錯”的方式進行學習，通過與環(huán)境進行交互獲得的獎賞指導行為，目標是使智能體獲得最大的獎賞，強化學習不同于連接主義學習中的監(jiān)督學習，主要表現(xiàn)在教師信號上，強化學習中由環(huán)境提供的強化信號是對產(chǎn)生動作的好壞作一種評價(通常為標量信號)，而不是告訴強化學習系統(tǒng)RLS如何去產(chǎn)生正確的動作。由于外部環(huán)境提供的信息很少，RLS必須靠自身的經(jīng)歷進行學習。通過這種方式，RLS在行動-評價的環(huán)境中獲得知識，改進行動方案以適應環(huán)境。

2.1 模型的建立

在強化學習中，我們定義算法的狀態(tài)空間

我們希望電網(wǎng)負荷能穩(wěn)定在一個可控范圍內(nèi)，因此制定一個基準負荷l，并將回報函數(shù)定義如下：

其中，ta為初始時刻。

遺憾的是，由于電價的不確定性，我們很難對其進行有效的預測。因此，采用Q-learning算法，其中，Q函數(shù)可以定義為：

由上式，我們可以得到一個最優(yōu)策略：

即為在系統(tǒng)狀態(tài)g下，能夠最大化Q函數(shù)的策略。

2.2 算法流程

算法流程見表1。

表1 基于強化學習電網(wǎng)實時電價算法流程

3 算例分析

以某地區(qū)的微網(wǎng)為例，該微網(wǎng)分布式能源由800個光伏陣列和50臺風力發(fā)電機組成。光伏陣列由4×5光伏電池板組成，其額定功率為4kW，光電轉(zhuǎn)化效率為20%。風機的容量為6MW，切入風速、切出風速和額定風速分別為3.5m/s,25m/s,15 m/s。該地區(qū)使用充電服務的電動汽車數(shù)量為2 000輛，其電池容量為20 kWh，充電功率為6kW，充電效率為85%。

為驗證分布式充電站與電網(wǎng)聯(lián)合運行策略的有效性，我們對聯(lián)合運行和無聯(lián)合運行時電網(wǎng)負荷分別做了仿真模擬如圖3所示。

圖3 聯(lián)合運行和無聯(lián)合運行時電網(wǎng)的負荷情況

從圖3中可以看出，當無聯(lián)合運行時，由于在開始僅使用儲能供電，在凌晨5∶00時，當充電站儲能被消耗完，此時如果將充電汽車直接接入電網(wǎng)，會造成電網(wǎng)負荷的迅速上升，給電網(wǎng)造成極大沖擊。同理，雖然白天用戶較少，且光伏為儲能充電，但由于中午充電需求較大，依然會在短時間造成較大的峰谷差。在使用分布式充電站與電網(wǎng)聯(lián)合運行并利用強化學習算法實時調(diào)整電價后，當充電站儲能較少時，由電網(wǎng)提前介入分擔部分充電壓力，防止儲能消耗殆盡，使電動汽車充電負荷對電網(wǎng)沖擊相對平緩；同時，因在儲能充足時電價較為經(jīng)濟，使充電站儲能得到及時高效的利用。

4 結(jié)論

本文基于風光儲的微電網(wǎng)系統(tǒng)與大電網(wǎng)的交互，提出一種不同于電動汽車分時電價的動態(tài)響應控制策略。首先考慮了分布式能源接入后，通過計算微網(wǎng)不平衡功率，提出了一種儲能系統(tǒng)與電網(wǎng)協(xié)同運行的策略，既實現(xiàn)了可再生能源的就地消納，又有效地防止了電網(wǎng)瞬間接入可能造成的電網(wǎng)負荷迅速上升，造成峰谷差過大的問題。針對電動汽車接入電網(wǎng)充電部分，通過強化學習算法，得到了電價控制模型。綜合考慮了可再生能源出力及負荷的波動，根據(jù)微電網(wǎng)的實時運行情況進行調(diào)整，適用性較強，并得出以下結(jié)論：

(1)本文所提及的動態(tài)電價調(diào)整策略相比分時電價策略能更好地發(fā)揮電動汽車的儲能特性，且提高了新能源利用率，實現(xiàn)了微電網(wǎng)中分布式電源和電動汽車的協(xié)調(diào)控制。

(2)電動汽車有序的充放電使日用電負荷曲線變得平緩，更利于微電網(wǎng)與大電網(wǎng)的穩(wěn)定運行。

(3)電動汽車的有序充放電可以減少微電網(wǎng)中儲能的配置，相比無序充電可以配置更少的儲能裝置，提高資源利用率，使微電網(wǎng)運行更經(jīng)濟。