霍龍，張譽(yù)寶，陳欣*

（1.西安交通大學(xué)電力設(shè)備電氣絕緣國(guó)家重點(diǎn)實(shí)驗(yàn)室新型儲(chǔ)能能量轉(zhuǎn)換納米研究中心，陜西省 西安市 710049；2.西安交通大學(xué)電氣工程學(xué)院，陜西省 西安市 710049）

0 引言

為順利實(shí)現(xiàn)2030年的“碳達(dá)峰”和2060年的“碳中和”目標(biāo)，發(fā)展以可再生、分布式、聯(lián)起來(lái)、開(kāi)放式、融進(jìn)去為特征的能源互聯(lián)網(wǎng)至關(guān)重要[1]。分布式儲(chǔ)能是有效改善間歇性可再生能源功率波動(dòng)、能量供需平衡以及電壓/頻率穩(wěn)定性等問(wèn)題的關(guān)鍵支撐技術(shù)之一。同時(shí)，隨著電氣廣域量測(cè)技術(shù)的發(fā)展和外部信息(環(huán)境、氣象、社會(huì)等)等大量數(shù)據(jù)的接入，各環(huán)節(jié)全面數(shù)字化和調(diào)控體系高度智能化推動(dòng)了人工智能(artificial intelligence，AI)在電力系統(tǒng)中的廣泛應(yīng)用。將人工智能應(yīng)用于分布式儲(chǔ)能的建模、分析和控制已成為近年來(lái)的熱點(diǎn)研究方向。

分布式儲(chǔ)能是一種容量小且普遍靠近負(fù)荷側(cè)的儲(chǔ)能配置形式，常應(yīng)用于中低壓配電網(wǎng)及智能微電網(wǎng)中。相較于集中式儲(chǔ)能，分布式儲(chǔ)能安裝地點(diǎn)靈活、投資費(fèi)用低，功率介于幾千瓦至幾兆瓦之間，持續(xù)放電時(shí)間較短，且容量一般不大于10 MW·h[2]。近年來(lái)，國(guó)內(nèi)外政府、企業(yè)已展開(kāi)分布式儲(chǔ)能的工程項(xiàng)目實(shí)踐和配套政策制定。2018年，由國(guó)網(wǎng)江蘇省電力有限公司主導(dǎo)實(shí)施的全國(guó)最大規(guī)模用戶側(cè)分布式儲(chǔ)能項(xiàng)目正式在鎮(zhèn)江新區(qū)落地，總投資金額達(dá)5億元，充電功率合計(jì)3.15萬(wàn)kW，電池容量合計(jì)25.2萬(wàn)kW·h[3]。2020年，美國(guó)特斯拉公司開(kāi)發(fā)了電池儲(chǔ)能管理軟件平臺(tái)Autobidder，該平臺(tái)融合了機(jī)器學(xué)習(xí)、優(yōu)化算法等技術(shù)，其目標(biāo)是最大化用戶利益，在市場(chǎng)環(huán)境下根據(jù)不同用戶的需求以及風(fēng)險(xiǎn)大小進(jìn)行電池組運(yùn)行優(yōu)化[4]。2022年，加拿大政府和洛克希德·馬丁公司投資1 900萬(wàn)美元用于太陽(yáng)能+儲(chǔ)能項(xiàng)目，太陽(yáng)能板和電池產(chǎn)生的電能將輸入到阿爾伯塔互聯(lián)電網(wǎng)系統(tǒng)，補(bǔ)償電網(wǎng)高峰供電需求[5]。澳大利亞分布式光伏以及集中式可再生能源發(fā)展迅速，推動(dòng)了數(shù)萬(wàn)套配套分布式光伏的小型家用儲(chǔ)能系統(tǒng)的安裝，澳大利亞能源市場(chǎng)委員會(huì)于2021年發(fā)布規(guī)則草案，允許電網(wǎng)公司在網(wǎng)絡(luò)阻塞時(shí)對(duì)用戶上網(wǎng)電量進(jìn)行收費(fèi)，這進(jìn)一步激發(fā)了市場(chǎng)對(duì)家用儲(chǔ)能的需求[6]。截至2020年年底，德國(guó)的光伏電池儲(chǔ)能系統(tǒng)已經(jīng)超過(guò)5萬(wàn)臺(tái)，由于德國(guó)電池儲(chǔ)能系統(tǒng)和光伏系統(tǒng)價(jià)格下降，上網(wǎng)電價(jià)下降，銷售電價(jià)上升，光伏電池儲(chǔ)能系統(tǒng)具有良好的經(jīng)濟(jì)性[7]。

分布式儲(chǔ)能類型多樣，內(nèi)部的物理和化學(xué)反應(yīng)機(jī)理復(fù)雜，且需要協(xié)同運(yùn)行，加之配套的高比例可再生能源和高比例電力電子裝備等設(shè)備，使得儲(chǔ)能具有系統(tǒng)強(qiáng)非線性、不確定性和時(shí)空尺度多樣性等復(fù)雜技術(shù)特征。傳統(tǒng)基于數(shù)學(xué)模型的儲(chǔ)能系統(tǒng)分析和控制手段需要獲取系統(tǒng)內(nèi)部具體的參數(shù)和狀態(tài)，但實(shí)踐過(guò)程中精確的參數(shù)辨識(shí)較為困難，很多狀態(tài)往往不可觀測(cè)，此外，大規(guī)模、多尺度和高維的數(shù)值模擬仿真也對(duì)算力提出了較高要求。作為數(shù)據(jù)驅(qū)動(dòng)方法代表，人工智能及其相關(guān)的大數(shù)據(jù)、云計(jì)算和先進(jìn)傳感計(jì)算技術(shù)有望成為解決分布式儲(chǔ)能建模、分析和控制的新型解決方案，從而避免復(fù)雜的數(shù)學(xué)建模過(guò)程，提升計(jì)算效率和準(zhǔn)確性。

針對(duì)人工智能在分布式儲(chǔ)能技術(shù)中的應(yīng)用問(wèn)題，本文簡(jiǎn)要回顧了人工智能在電力領(lǐng)域的發(fā)展歷程及其在分布式儲(chǔ)能技術(shù)中的應(yīng)用適配性，歸納總結(jié)了人工智能在微電網(wǎng)、智能樓宇和車網(wǎng)協(xié)同(vehicle-to-grid，V2G)3種不同尺度場(chǎng)景下的分布式儲(chǔ)能中的具體應(yīng)用方向和研究成果，并對(duì)未來(lái)人工智能在分布式儲(chǔ)能中的應(yīng)用前景進(jìn)行了展望，以期為分布式儲(chǔ)能的智能化研究和發(fā)展提供有益參考。

1 人工智能技術(shù)

人工智能是一種機(jī)器系統(tǒng)，對(duì)于人為給定的目標(biāo)，可以做出影響真實(shí)或虛擬環(huán)境的預(yù)測(cè)、建議或決策。作為智能機(jī)器系統(tǒng)，人工智能嘗試去理解人類智能的實(shí)質(zhì)，像人那樣思考，并且可能超過(guò)人的智能[8]。電力行業(yè)是人工智能的重要應(yīng)用發(fā)展領(lǐng)域。在構(gòu)建新型電力系統(tǒng)的過(guò)程中，各環(huán)節(jié)全面數(shù)字化和調(diào)控體系高度智能化成為其主要技術(shù)特征，體現(xiàn)了電力系統(tǒng)對(duì)人工智能技術(shù)的需求性。智能傳感芯片、通信技術(shù)與物聯(lián)網(wǎng)、邊緣計(jì)算與云邊融合等是新型電力系統(tǒng)正在發(fā)展的共性關(guān)鍵技術(shù)，將有力支撐人工智能在電力系統(tǒng)中的落地部署。

人工智能在電力系統(tǒng)中的應(yīng)用方向可總結(jié)為分類、擬合和優(yōu)化三大類問(wèn)題。就具體場(chǎng)景而言，人工智能已應(yīng)用于負(fù)荷和新能源發(fā)電預(yù)測(cè)[9-10]、暫態(tài)穩(wěn)定性分析[11]、電力設(shè)備故障診斷[12]、電網(wǎng)優(yōu)化運(yùn)行[13]和儲(chǔ)能控制方法[14]等多種不同場(chǎng)合。從20世紀(jì)80年代開(kāi)始，人工智能在電力系統(tǒng)的早期研究集中在專家系統(tǒng)的應(yīng)用，例如：電氣操作票的自動(dòng)開(kāi)出和校核[15]。專家系統(tǒng)對(duì)數(shù)據(jù)量需求小，但知識(shí)獲取依賴領(lǐng)域?qū)＜业慕?jīng)驗(yàn)，自主學(xué)習(xí)能力差。同期相關(guān)技術(shù)還包括形式簡(jiǎn)單的反向傳播(back propagation，BP)人工神經(jīng)網(wǎng)絡(luò)[16]。受限于當(dāng)時(shí)電力系統(tǒng)的數(shù)據(jù)采集存儲(chǔ)和算力瓶頸，BP人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練所需樣本短缺，且無(wú)法滿足在線使用需求。隨著電力系統(tǒng)中先進(jìn)通信和計(jì)算機(jī)硬件技術(shù)的不斷更新發(fā)展，以及海量電力大數(shù)據(jù)的積累，新一代人工智能由傳統(tǒng)知識(shí)表示轉(zhuǎn)向深度、自主知識(shí)學(xué)習(xí)，深度學(xué)習(xí)成為電力系統(tǒng)近期研究熱點(diǎn)[17]。

目前，人工智能在電力系統(tǒng)中的應(yīng)用研究已經(jīng)廣泛涵蓋了網(wǎng)、源、荷、儲(chǔ)各個(gè)環(huán)節(jié)，未來(lái)分布式電源替代出力不確定性和電動(dòng)汽車(electric vehicle，EV)的時(shí)空不確定性將帶來(lái)更多隨機(jī)性。傳統(tǒng)分析方法在調(diào)度、交易、管理等方面將面臨諸多挑戰(zhàn)，人工智能將是解決這一類問(wèn)題的有力措施[18]。特別是在儲(chǔ)能側(cè)，人工智能技術(shù)在其建模、分析和控制應(yīng)用中適配性高，具體體現(xiàn)為：1）儲(chǔ)能設(shè)備內(nèi)部物理和電化學(xué)機(jī)理復(fù)雜，傳統(tǒng)數(shù)學(xué)模型法難以完整且準(zhǔn)確地描述多變的真實(shí)工況[19]，而人工智能則是以數(shù)據(jù)驅(qū)動(dòng)方法構(gòu)建儲(chǔ)能模型，將儲(chǔ)能視作“黑箱”系統(tǒng)進(jìn)行輸入與輸出的關(guān)系擬合，這個(gè)過(guò)程中僅需儲(chǔ)能外部端口的電壓、電流等可觀測(cè)變量，即可重構(gòu)系統(tǒng)內(nèi)外的復(fù)雜映射關(guān)系；2）儲(chǔ)能類型多樣，具有多時(shí)空尺度特點(diǎn)，且常與電力電子設(shè)備耦合，在進(jìn)行穩(wěn)定性和暫態(tài)響應(yīng)分析時(shí)，一般使用數(shù)值積分法和實(shí)驗(yàn)分析，但算力和成本代價(jià)要求高，當(dāng)可以獲取足夠多的數(shù)據(jù)作為樣本時(shí)，人工智能能夠高效率、低成本地深度挖掘儲(chǔ)能的靜態(tài)和動(dòng)態(tài)特性，實(shí)現(xiàn)穩(wěn)定性能分析；3）大規(guī)模、分布式儲(chǔ)能的協(xié)調(diào)控制是一個(gè)多變量、多目標(biāo)的時(shí)序控制問(wèn)題，經(jīng)典優(yōu)化方法、基于規(guī)劃的方法和啟發(fā)式算法難以求解。人工智能中的深度強(qiáng)化學(xué)習(xí)(deep reinforcement learning，DRL)主要優(yōu)點(diǎn)是不依賴于先驗(yàn)知識(shí)，可以滿足實(shí)時(shí)調(diào)度要求，將儲(chǔ)能協(xié)調(diào)控制轉(zhuǎn)化為動(dòng)態(tài)規(guī)劃問(wèn)題，通過(guò)數(shù)據(jù)和環(huán)境交互，實(shí)現(xiàn)價(jià)值函數(shù)的不斷優(yōu)化，表現(xiàn)出高效、準(zhǔn)確的求解性能。

2 人工智能在車網(wǎng)協(xié)同中的應(yīng)用

電動(dòng)汽車的迅猛發(fā)展給電網(wǎng)的經(jīng)濟(jì)、安全運(yùn)行帶來(lái)了巨大的機(jī)遇與挑戰(zhàn)。V2G作為分布式儲(chǔ)能參與電網(wǎng)調(diào)度，引導(dǎo)其有序充放電，可以提供輔助服務(wù)[20]、平穩(wěn)負(fù)荷[21]，促進(jìn)可再生能源吸納[22]。充放電調(diào)度控制策略是發(fā)揮V2G效益實(shí)現(xiàn)的基礎(chǔ)和先決條件；采用人工智能技術(shù)對(duì)V2G實(shí)施合理調(diào)度，可以減少負(fù)荷對(duì)電力系統(tǒng)造成的負(fù)面影響，發(fā)揮V2G充放電控制的移動(dòng)儲(chǔ)能效益[20]。

近年來(lái)，中低壓配電網(wǎng)中采用人工智能技術(shù)的V2G實(shí)時(shí)調(diào)度策略受到了廣泛關(guān)注。在實(shí)時(shí)調(diào)度的研究中，文獻(xiàn)[23]采用分布式人工智能算法中的交替方向乘子法制定了大規(guī)模EV的實(shí)時(shí)調(diào)度策略。文獻(xiàn)[24]實(shí)現(xiàn)了EV儲(chǔ)能與樓宇風(fēng)電的實(shí)時(shí)統(tǒng)籌優(yōu)化調(diào)度，但策略沒(méi)有研究風(fēng)力的時(shí)間波動(dòng)性；文獻(xiàn)[25-26]利用集群電動(dòng)汽車平抑新能源波動(dòng)，但實(shí)時(shí)調(diào)度的滾動(dòng)優(yōu)化造成了計(jì)算資源的消耗與浪費(fèi)。Yao等人[27]開(kāi)發(fā)了一種基于二進(jìn)制編程的策略，以協(xié)調(diào)充電站中的多輛電動(dòng)汽車充電，以響應(yīng)電網(wǎng)公司的實(shí)時(shí)限電請(qǐng)求。Binetti等人[28]提出了協(xié)調(diào)電動(dòng)充電問(wèn)題的策略，其中考慮了插入和關(guān)閉頻率；然后，設(shè)計(jì)了一種實(shí)時(shí)貪心算法，分布式求解該問(wèn)題。Liao等人[29]采用隨機(jī)動(dòng)態(tài)規(guī)劃方法，使運(yùn)營(yíng)商的利潤(rùn)最大化，以便實(shí)時(shí)調(diào)度配備光伏板的電動(dòng)汽車充電站。Huang等人[30]提出了電動(dòng)汽車調(diào)度問(wèn)題的馬爾可夫決策過(guò)程公式，同時(shí)考慮了風(fēng)能出力的不確定性和動(dòng)態(tài)性。上述方法將電動(dòng)汽車儲(chǔ)能調(diào)度問(wèn)題描述為基于模型的控制問(wèn)題。這些基于模型的人工智能方法對(duì)電動(dòng)汽車的分布式儲(chǔ)能調(diào)度問(wèn)題具有良好的效果。

最近，人工智能中不需要任何系統(tǒng)模型信息的無(wú)模型方法在復(fù)雜決策應(yīng)用中取得了巨大成功[31]。這一成功啟發(fā)了智能電網(wǎng)應(yīng)用的無(wú)模型方法的發(fā)展[31-33]。與人工智能算法中的基于模型方法相比，無(wú)模型人工智能方法的優(yōu)勢(shì)在于，它可以基于強(qiáng)化學(xué)習(xí)學(xué)習(xí)良好的控制策略，并且不依賴于系統(tǒng)的先驗(yàn)知識(shí)[34]。例如，Wen等人[31]使用Q表對(duì)電價(jià)和收費(fèi)行為進(jìn)行離散化，從而估算該函數(shù)。這種方法的局限性在于它只能處理少量的狀態(tài)和操作。為了克服Q表的缺點(diǎn)，采用線性基函數(shù)的組合來(lái)近似其中的作用值函數(shù)。然而，線性逼近器無(wú)法處理現(xiàn)實(shí)分時(shí)電價(jià)和通勤行為中的非線性[32]。除此線性近似器外，Chis等人[33]還應(yīng)用非線性核平均回歸算子來(lái)擬合作用值函數(shù)。這種方法的缺點(diǎn)是核函數(shù)及其參數(shù)的確定對(duì)其性能有很大影響。總之，上述人工智能方法的有限近似能力阻礙了它們?cè)诂F(xiàn)實(shí)場(chǎng)景中的實(shí)現(xiàn)。人工智能算法中的神經(jīng)網(wǎng)絡(luò)具有通用逼近器的潛力，并已廣泛用于強(qiáng)化學(xué)習(xí)[35-37]。

近年來(lái)，人工智能中的深度神經(jīng)網(wǎng)絡(luò)在從高維數(shù)據(jù)學(xué)習(xí)復(fù)雜映射方面取得了令人鼓舞的成果。通過(guò)利用深度神經(jīng)網(wǎng)絡(luò)，DRL在復(fù)雜的決策應(yīng)用中取得了顯著的成就。例如，深度Q網(wǎng)絡(luò)已經(jīng)達(dá)到了與Atari 2600中的專業(yè)人員相當(dāng)?shù)乃絒38]。EV優(yōu)化調(diào)度的本質(zhì)是對(duì)分布式儲(chǔ)能進(jìn)行充放電狀態(tài)的最優(yōu)時(shí)空調(diào)度，而DRL適用于在復(fù)雜場(chǎng)景下做出最優(yōu)決策[39]，有限制反饋中實(shí)現(xiàn)序列決策問(wèn)題的優(yōu)化[40]。文獻(xiàn)[41]開(kāi)展了新能源場(chǎng)景下基于DRL優(yōu)化EV充電控制研究，但對(duì)EV的儲(chǔ)能和時(shí)空特性并未進(jìn)行研究。文獻(xiàn)[42]提出了考慮用戶個(gè)人特性和動(dòng)態(tài)電價(jià)的DRL實(shí)時(shí)調(diào)度方法，但所提策略僅靠獎(jiǎng)懲函數(shù)反映車主需求，不能保證策略滿足用電需求。

人工智能算法中的多智能體強(qiáng)化學(xué)習(xí)(multiagent deep reinforcement learning，MADRL)遵循隨機(jī)博弈過(guò)程，經(jīng)過(guò)數(shù)年的發(fā)展創(chuàng)新，MADRL誕生了眾多算法、規(guī)則、框架，并已廣泛應(yīng)用于各類現(xiàn)實(shí)領(lǐng)域。文獻(xiàn)[43-44]制定單臺(tái)EV最優(yōu)策略與整體EV最優(yōu)MADRL策略后，根據(jù)優(yōu)化結(jié)果的權(quán)重，在局部最優(yōu)與整體最優(yōu)二者間選擇最終決策，影響策略的具體應(yīng)用。文獻(xiàn)[45]基于MADRL的多層電價(jià)響應(yīng)機(jī)制對(duì)不同層級(jí)上復(fù)雜的源、網(wǎng)、荷結(jié)構(gòu)進(jìn)行協(xié)調(diào)，充分發(fā)揮高比例可再生能源和EV分布式儲(chǔ)能的潛力。

3 人工智能在微電網(wǎng)儲(chǔ)能中的應(yīng)用

典型微電網(wǎng)通常包含分布式電源、儲(chǔ)能裝置、負(fù)荷、能量轉(zhuǎn)換器，以及監(jiān)控、保護(hù)裝置和控制器等[46]。其中，各種類型的分布式電源和電力電子設(shè)備會(huì)給微電網(wǎng)帶來(lái)功率波動(dòng)和低慣性問(wèn)題，合理配置儲(chǔ)能系統(tǒng)，是提升微電網(wǎng)穩(wěn)定性和可靠性的重要手段。此外，儲(chǔ)能裝置還能提高微電網(wǎng)和微電網(wǎng)群的運(yùn)行經(jīng)濟(jì)性。人工智能在含儲(chǔ)能的微電網(wǎng)中主要用于規(guī)劃和調(diào)度環(huán)節(jié)。在規(guī)劃環(huán)節(jié)，人工智能可以優(yōu)化儲(chǔ)能配置，制定合理選型方案，進(jìn)而提高系統(tǒng)慣性和電能質(zhì)量，降低建設(shè)成本；在調(diào)度環(huán)節(jié)，人工智能可以提供儲(chǔ)能和其他電源的協(xié)調(diào)控制策略，進(jìn)而實(shí)現(xiàn)削峰填谷，改善電壓/功率分布，降低運(yùn)行成本。

儲(chǔ)能合理配置主要涉及儲(chǔ)能的類型、容量、數(shù)量、位置和充放電規(guī)則等變量，屬于混合整數(shù)優(yōu)化問(wèn)題。文獻(xiàn)[47]提出模糊邏輯算法對(duì)儲(chǔ)能容量、數(shù)量和充放電時(shí)間進(jìn)行優(yōu)化，有效降低了微電網(wǎng)的投資和運(yùn)行成本。然而，對(duì)于多變量和多目標(biāo)優(yōu)化，模糊邏輯算法的維數(shù)災(zāi)問(wèn)題仍有待解決。文獻(xiàn)[48]采用多層感知器對(duì)儲(chǔ)能的容量和位置進(jìn)行優(yōu)化，能夠改善系統(tǒng)的電壓/功率分布，降低微電網(wǎng)的總成本。文獻(xiàn)[49]應(yīng)用輕量級(jí)神經(jīng)網(wǎng)絡(luò)和Q學(xué)習(xí)方法對(duì)儲(chǔ)能電池健康狀態(tài)(state of health，SOH)進(jìn)行定量評(píng)估，在此基礎(chǔ)上優(yōu)化儲(chǔ)能容量和充放電規(guī)則，兼顧了微電網(wǎng)的經(jīng)濟(jì)性和電池壽命，提高了微電網(wǎng)的運(yùn)行性能，但是沒(méi)有考慮新能源和負(fù)荷變動(dòng)的影響。此外，相關(guān)學(xué)者已嘗試使用各種啟發(fā)式智能算法，如粒子群算法、和聲搜索、人工蜂群等[50]，來(lái)獲取儲(chǔ)能配置問(wèn)題的優(yōu)化解。啟發(fā)式智能算法不依賴模型內(nèi)部機(jī)理，適用儲(chǔ)能類型廣，但無(wú)法保證優(yōu)化解的質(zhì)量和求解穩(wěn)定性。

微電網(wǎng)中儲(chǔ)能的協(xié)調(diào)控制和能量管理屬于典型的時(shí)序控制，學(xué)者們通常采用經(jīng)典優(yōu)化方法、基于規(guī)劃的方法和啟發(fā)式算法進(jìn)行控制，但是當(dāng)實(shí)際場(chǎng)景較為復(fù)雜，難以用明確數(shù)學(xué)模型描述，且數(shù)據(jù)量巨大時(shí)，這些算法將很難適用。近年來(lái)興起的深度強(qiáng)化學(xué)習(xí)算法則為處理復(fù)雜微網(wǎng)控制提供了新的思路。經(jīng)典強(qiáng)化學(xué)習(xí)方法之一的深度Q學(xué)習(xí)(deep Q-learning network，DQN)已被用于微電網(wǎng)儲(chǔ)能協(xié)調(diào)控制的分析中，例如：文獻(xiàn)[51]應(yīng)用DQN實(shí)現(xiàn)微電網(wǎng)儲(chǔ)能調(diào)度策略，同時(shí)還使用深度卷積神經(jīng)網(wǎng)絡(luò)提取微電網(wǎng)調(diào)度時(shí)間序列信息特征，使微電網(wǎng)獲得最大運(yùn)行收益；文獻(xiàn)[52]針對(duì)含有多種異質(zhì)類型電池的微電網(wǎng)場(chǎng)景，采用DQN控制不同電池系統(tǒng)的充放電周期，提高了微電網(wǎng)運(yùn)行效率，但對(duì)于大量特性截然不同的電池，該方法需要額外的計(jì)算時(shí)間；文獻(xiàn)[53]提出了一種改進(jìn)DQN模型指導(dǎo)微電網(wǎng)儲(chǔ)能的動(dòng)態(tài)調(diào)度，使用蒙特卡洛樹(shù)搜索來(lái)估計(jì)DQN期望的最大動(dòng)作值，并在DQN中內(nèi)嵌了一些調(diào)度規(guī)則指導(dǎo)訓(xùn)練；文獻(xiàn)[54]采用DQN制定微電網(wǎng)儲(chǔ)能系統(tǒng)在并網(wǎng)和孤島模式下的最優(yōu)運(yùn)行策略，并網(wǎng)模式下，目標(biāo)是利潤(rùn)最大化，孤島模式下，使整個(gè)系統(tǒng)的減載量最小。DQN本身存在顯著高估(overestimation)問(wèn)題[55]，文獻(xiàn)[14,46,56]引入雙層深度Q網(wǎng)絡(luò)(double deep Q-learning network，DDQN)方法，緩解了訓(xùn)練過(guò)程中的高估問(wèn)題。其中，文獻(xiàn)[46]考慮了蓄電池(短期儲(chǔ)能)和儲(chǔ)氫設(shè)備(長(zhǎng)期儲(chǔ)能)的時(shí)序安排方案，對(duì)于不同時(shí)刻、天氣、季節(jié)的場(chǎng)景均能有效處理，但沒(méi)有考慮并網(wǎng)的情況、電價(jià)以及規(guī)劃的部分；文獻(xiàn)[14]以儲(chǔ)能的實(shí)時(shí)充放電功率為控制變量，訓(xùn)練得到儲(chǔ)能控制的優(yōu)化策略，驗(yàn)證了所提方法在優(yōu)化購(gòu)電費(fèi)用上的有效性；文獻(xiàn)[56]提出儲(chǔ)能分布式運(yùn)行策略，考慮了功率的不確定性，在并網(wǎng)和孤島場(chǎng)景的微電網(wǎng)中均具有良好的穩(wěn)定性和經(jīng)濟(jì)性。針對(duì)高估問(wèn)題，還有學(xué)者使用TD3(twin delayed deep deterministic policy gradient)強(qiáng)化學(xué)習(xí)進(jìn)行光儲(chǔ)充電站儲(chǔ)能系統(tǒng)全壽命周期優(yōu)化運(yùn)行[57]，制定基于移動(dòng)儲(chǔ)能車的協(xié)調(diào)微網(wǎng)系統(tǒng)調(diào)度和微網(wǎng)資源調(diào)度的綜合業(yè)務(wù)恢復(fù)策略[58]。

除了強(qiáng)化學(xué)習(xí)，已有工作表明，還有多種人工智能方法適用于微電網(wǎng)儲(chǔ)能調(diào)控。文獻(xiàn)[59]提出結(jié)合注意力機(jī)制的模糊邏輯算法，能夠快速、準(zhǔn)確平抑母線功率波動(dòng)的同時(shí)保護(hù)儲(chǔ)能系統(tǒng)，提高微電網(wǎng)的經(jīng)濟(jì)性和可靠性。文獻(xiàn)[60]則提出基于深度置信網(wǎng)絡(luò)的含儲(chǔ)能微電網(wǎng)電能質(zhì)量評(píng)估方法。針對(duì)利用儲(chǔ)能實(shí)現(xiàn)微電網(wǎng)削峰填谷問(wèn)題，文獻(xiàn)[61]引入基于決策樹(shù)的峰值負(fù)載管理算法，在不同負(fù)載的孤島微電網(wǎng)場(chǎng)景下，均有穩(wěn)健的性能表現(xiàn)，但沒(méi)有考慮儲(chǔ)能系統(tǒng)最佳規(guī)模的配置。文獻(xiàn)[62]提出采用雙層多智能體算法實(shí)現(xiàn)含儲(chǔ)能的微電網(wǎng)能量管理，在底層，智能體決定單個(gè)微電網(wǎng)實(shí)體(如儲(chǔ)能、備用發(fā)電機(jī)和負(fù)載)的最優(yōu)運(yùn)行策略；在上層，利用中央微電網(wǎng)協(xié)調(diào)器協(xié)調(diào)多個(gè)智能體，進(jìn)而使整個(gè)微電網(wǎng)能夠匹配電網(wǎng)運(yùn)營(yíng)商要求的減載。文獻(xiàn)[63]采用含卷積層的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)進(jìn)行孤島微電網(wǎng)的光伏和儲(chǔ)能的分布式協(xié)調(diào)控制，結(jié)果表明，相對(duì)于傳統(tǒng)集中式控制，該算法可以有效降低通信成本，保護(hù)用戶信息隱私。針對(duì)風(fēng)電微電網(wǎng)中的電池能量管理系統(tǒng)，文獻(xiàn)[64]提出多層多核極限學(xué)習(xí)機(jī)自編碼器算法，提升了蓄電池壽命，且滿足本地負(fù)荷需求和電網(wǎng)調(diào)度，同時(shí)確保在風(fēng)力發(fā)電差異下電池堆性能得到優(yōu)化。

4 人工智能在智能樓宇儲(chǔ)能中的應(yīng)用

相對(duì)于傳統(tǒng)大容量集中式發(fā)電，分布式新能源和儲(chǔ)能技術(shù)更靠近用戶側(cè)，伴隨著數(shù)字化家居的不斷發(fā)展，智能樓宇(社區(qū))用電結(jié)構(gòu)促進(jìn)了能源局域網(wǎng)的用戶側(cè)主動(dòng)需求響應(yīng)。近年來(lái)，家庭能量管理系統(tǒng)(home energy management system，HEMS)、樓宇能源局域網(wǎng)(building energy local network，BELN)[65]以 及 云 儲(chǔ) 能(cloud energy storage，CES)[66]等相關(guān)新興概念受到學(xué)者高度關(guān)注。分布式儲(chǔ)能技術(shù)提供了能量雙向流動(dòng)條件，新能源發(fā)電低谷時(shí)儲(chǔ)能可以填補(bǔ)電能缺額，新能源發(fā)電高峰時(shí)段，儲(chǔ)能多余的電能可以通過(guò)與大電網(wǎng)互聯(lián)，將電能輸送給大電網(wǎng)，使樓宇能量形成小型局域網(wǎng)，獨(dú)立儲(chǔ)能裝置能提升局域網(wǎng)的運(yùn)行穩(wěn)定性。

對(duì)于智能樓宇場(chǎng)景中的配套儲(chǔ)能，人工智能主要用于解決對(duì)應(yīng)的主動(dòng)需要響應(yīng)、協(xié)同調(diào)度控制和合理配置等問(wèn)題。我國(guó)電力市場(chǎng)改革通過(guò)合理的價(jià)格機(jī)制引導(dǎo)用戶通過(guò)儲(chǔ)能和可調(diào)節(jié)負(fù)荷，主動(dòng)參與需求側(cè)響應(yīng)，緩解了電網(wǎng)的供需壓力。文獻(xiàn)[67]基于分時(shí)電價(jià)的儲(chǔ)能電池需求響應(yīng)，采用BP神經(jīng)網(wǎng)絡(luò)和粒子群算法配置光儲(chǔ)容量，構(gòu)建了以用戶用電成本最小化為目標(biāo)的儲(chǔ)能運(yùn)行策略和容量配置的協(xié)同優(yōu)化模型。智能樓宇微網(wǎng)系統(tǒng)存在的非線性、時(shí)變、分布式發(fā)電不確定性等特點(diǎn)導(dǎo)致傳統(tǒng)數(shù)學(xué)建模方法難以全面反映系統(tǒng)復(fù)雜的運(yùn)行狀態(tài)，文獻(xiàn)[65]提出了一種基于啟發(fā)式動(dòng)態(tài)規(guī)劃算法用于儲(chǔ)能系統(tǒng)調(diào)度，建立數(shù)據(jù)驅(qū)動(dòng)的智能樓宇儲(chǔ)能模型，結(jié)果表明，該算法能夠節(jié)約用電成本、避免蓄電池深度充放電，具有良好的經(jīng)濟(jì)收益。文獻(xiàn)[68]提出一種能夠應(yīng)對(duì)復(fù)雜環(huán)境的基于深度強(qiáng)化學(xué)習(xí)的家庭能量管理分層優(yōu)化策略，通過(guò)調(diào)節(jié)儲(chǔ)能系統(tǒng)的充放電功率，解決因滿足用戶用電需求和減少電費(fèi)所造成負(fù)荷集中至低電價(jià)時(shí)段導(dǎo)致的功率越限。云儲(chǔ)能是用戶側(cè)儲(chǔ)能領(lǐng)域的共享經(jīng)濟(jì)儲(chǔ)能商業(yè)模式，不再由用戶自建儲(chǔ)能，而是由云儲(chǔ)能提供商投資建設(shè)實(shí)體儲(chǔ)能和云平臺(tái)，需要進(jìn)行統(tǒng)一調(diào)度和控制。文獻(xiàn)[69]提出了一種基于門(mén)控循環(huán)單元多步預(yù)測(cè)技術(shù)的云儲(chǔ)能充放電策略形成方法，并在此基礎(chǔ)上建立了云儲(chǔ)能充放電決策滾動(dòng)優(yōu)化模型。文獻(xiàn)[65]以含有光伏和儲(chǔ)能裝置的樓宇為對(duì)象，采用改進(jìn)離散二進(jìn)制粒子群優(yōu)化算法優(yōu)化了可調(diào)度負(fù)荷的工作時(shí)間。文獻(xiàn)[70]將樓宇中的空調(diào)聚合成一個(gè)虛擬儲(chǔ)能系統(tǒng)，設(shè)計(jì)了人工神經(jīng)網(wǎng)絡(luò)模型來(lái)預(yù)測(cè)虛擬儲(chǔ)能系統(tǒng)的能量容量，在不影響住戶舒適度的情況下，達(dá)到預(yù)期的經(jīng)濟(jì)性運(yùn)行。針對(duì)電力互聯(lián)的住宅建筑集群中共享屋頂光伏發(fā)電和儲(chǔ)能系統(tǒng)，文獻(xiàn)[71]采用長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)和Q學(xué)習(xí)，提供了優(yōu)化的電價(jià)制定方法。智能樓宇的儲(chǔ)能系統(tǒng)合理配置是優(yōu)化調(diào)度控制的重要前提之一，相關(guān)人工智能算法，如差分進(jìn)化-粒子群BP神經(jīng)網(wǎng)絡(luò)[72]、人工蜂群算法[73]、遺傳算法和CPLEX聯(lián)合算法[74]和模糊控制算法[75]等，已成功應(yīng)用于儲(chǔ)能系統(tǒng)合理配置，提高了儲(chǔ)能的使用壽命，改善了系統(tǒng)的動(dòng)態(tài)響應(yīng)特性。除電能存儲(chǔ)外，熱水箱和暖通空調(diào)系統(tǒng)等儲(chǔ)熱系統(tǒng)也是智能樓宇中常見(jiàn)的儲(chǔ)能形式。已有多種人工智能算法分別應(yīng)用于儲(chǔ)熱系統(tǒng)的建模[76]、配置[77]和控制[78]，對(duì)應(yīng)的數(shù)據(jù)驅(qū)動(dòng)模型為傳統(tǒng)耗時(shí)的熱力學(xué)數(shù)值仿真提供了替代方案，避免了復(fù)雜的物理建模過(guò)程，相關(guān)控制方法提高了數(shù)據(jù)利用率，對(duì)不確定性場(chǎng)景具有較強(qiáng)的魯棒性。

5 結(jié)論

人工智能技術(shù)的突破發(fā)展對(duì)電力系統(tǒng)分布式儲(chǔ)能環(huán)節(jié)的發(fā)展形式、運(yùn)行方式和運(yùn)行模式帶來(lái)了變革性的影響，也成為目前電力系統(tǒng)的前瞻性研究方向之一。未來(lái)人工智能在分布式儲(chǔ)能中的應(yīng)用前景和研究方向，還有廣闊的探索空間：

1）模型可解釋性是人工智能在電力領(lǐng)域所面臨的共性難點(diǎn)之一，數(shù)據(jù)驅(qū)動(dòng)的人工智能方法把研究對(duì)象視為“黑箱”系統(tǒng)，而實(shí)際工業(yè)行業(yè)對(duì)方法可靠性的要求需要明確模型內(nèi)部機(jī)制。研發(fā)內(nèi)嵌物理知識(shí)和專家經(jīng)驗(yàn)的人工智能以及數(shù)據(jù)-模型融合方法，有望進(jìn)一步增強(qiáng)人工智能在分布式儲(chǔ)能應(yīng)用中的模型可解釋性。

2）開(kāi)發(fā)合理配套的算力、數(shù)據(jù)存儲(chǔ)和通信解決方案是將人工智能用于分布式儲(chǔ)能的重要前提。分布式儲(chǔ)能一般處于中低壓配電網(wǎng)和微電網(wǎng)中，統(tǒng)籌協(xié)調(diào)利用系統(tǒng)內(nèi)和用戶側(cè)分散的算力和存儲(chǔ)空間，發(fā)展云計(jì)算、邊緣計(jì)算、先進(jìn)傳感器技術(shù)以及分布式智能算法，能加快推動(dòng)人工智能在分布式儲(chǔ)能中的應(yīng)用落地。

3）分布式儲(chǔ)能類型和形式多樣，但功能性多有交集。研究用于分布式儲(chǔ)能的通用型人工智能方法和遷移學(xué)習(xí)架構(gòu)，能夠更好地解決多元異構(gòu)分布式儲(chǔ)能的協(xié)同優(yōu)化和控制問(wèn)題。