范晶晶

摘要：針對直流輸電系統(tǒng)中換相失敗問題，在控制系統(tǒng)中引入強化學習算法，在故障發(fā)生時通過實時采集逆變側電氣量，動態(tài)調整整流側的電流參考值，通過與低壓限流環(huán)節(jié)相互配合，抑制直流線路電流增大，利于逆變側電弧熄滅，從而抑制連續(xù)換相失敗問題，在故障消失后系統(tǒng)能盡快恢復穩(wěn)定運行。實驗結果表明，系統(tǒng)采用基于強化學習的換相失敗抑制策略比沒有采用該策略的故障恢復效果要好。

關鍵詞：強化學習;動態(tài)調整;換相失敗

中圖分類號： TP391? ? ?文獻標識碼： A

文章編號：1009-3044（2020）36-0150-03

Abstract： Aiming at the problem of commutation failure in the DC transmission system， a reinforcement learning algorithm is introduced into the control system. When a fault occurs， the inverter side electrical quantity is collected in real time， and the current reference value of the rectifier side is dynamically adjusted. Suppressing the increase of DC line current facilitates the extinguishment of the arc on the inverter side， thereby suppressing the problem of continuous commutation failure， and the system can resume stable operation as soon as possible after the fault disappears. The experimental results show that the system adopts the commutation failure suppression strategy based on reinforcement learning better than the failure recovery effect without adopting this strategy.

Key words： reinforcement learning; dynamic adjustment; commutation failure

1 引言

隨著我國社會經濟的飛速發(fā)展，直流輸電以大容量、低損耗的獨特優(yōu)勢，逐步參與到大電網的建設上來[1]。于是，建設特高壓、遠距離的交直流混聯(lián)輸電系統(tǒng)成為必然趨勢。然而，直流系統(tǒng)的運行過程中會出現(xiàn)一系列的故障，其中直流系統(tǒng)的換相失敗問題最為嚴重[2]。

LCC-HVDC換流器具有兩種方式實現(xiàn)對換流站換流閥的觸發(fā)，分別為分相觸發(fā)和等間隔觸發(fā)[3]，換流站在運行過程中，如果觸發(fā)脈沖丟失故障發(fā)生，逆變器便會發(fā)生換相失敗問題，歸根結底，逆變器換相失敗發(fā)生的根本原因是其換流閥關斷角小于換相失敗發(fā)生時的臨界關斷角，在換相失敗發(fā)生時，換流閥關斷角接近于0。

針對換相失敗問題，相關文獻提出通過投入無功補償裝置維持受端交流電壓穩(wěn)定，當受端交流系統(tǒng)發(fā)生故障后，交流電壓迅速跌落，無功補償不足，可采用靜止無功補償裝置的投入，抬高跌落的交流電壓 [4]。另外，有文獻提出可通過調整直流線路平波電抗器的數(shù)值來抑制換相失敗，在換相過程無法正常完成，直流系統(tǒng)的電容器會釋放電流，導致直流線路直流電流的迅速增大，如果此時增大直流線路平波電抗器的數(shù)值，可以有效抑制直流電流的增大。在直流系統(tǒng)的控制方面，相關文獻[5]提出通過控制系統(tǒng)增發(fā)觸發(fā)脈沖來緩解換相失敗帶來的危害，但當受端交流系統(tǒng)為弱交流系統(tǒng)時，逆變站換流閥很有可能出現(xiàn)連續(xù)換相失敗問題，此時再進行觸發(fā)脈沖的調整，將會進一步增加系統(tǒng)擾動。也有文獻提出將觸發(fā)超前角[β]和關斷角[γ]的整定值提高，增大觸發(fā)超前角將有利于預防換相失敗的發(fā)生，然而增大觸發(fā)超前角將造成換流站吸收的無功功率增加，導致有功功率的傳輸效率降低，影響了整個直流系統(tǒng)運行的經濟型[6]。

本文通過引入強化學習整流側參考電流動態(tài)調整模塊，在故障發(fā)生時，通過實時采集逆變側電氣量，動態(tài)調整整流側的電流參考值，同時與低壓限流環(huán)節(jié)相互配合，抑制直流線路電流增大，利于逆變側電弧熄滅，抑制連續(xù)換相失敗問題，從而在故障消失后系統(tǒng)能盡快恢復穩(wěn)定運行。

2 相關理論

2.1 強化學習

在強化學習中[7，8]，一個智能體（Agent）在不同時間步與環(huán)境交互盡可能得到累積最大獎賞。強化學習問題可以以一個五元組的形式[]建模成一個馬爾可夫決策過程（Markov Decision Process，MDP）。其中，[S]表示狀態(tài)空間，[A]表示動作空間，[P：S×A×S→0，1]表示概率轉移函數(shù)，[R：S×R→r∈R]獎賞函數(shù)，[γ∈（0，1）]是折扣因子。Agent的目標是通過學習到一個最優(yōu)策略從而最大化累積折扣獎賞的期望值，通常用累積折扣獎賞來定義[t]時刻的狀態(tài)回報，即：

尋找出最優(yōu)策略是強化學習的關鍵，并在該策略基礎上進行決策。在強化學習中，策略為[π]，[π（s，a）]是指在狀態(tài)[s]下選擇動作[a]的概率。如果策略[π]是一個確定的策略，在任意狀態(tài)[s∈S]，[π（s）]表示在狀態(tài)[s]下所選擇的動作[a]。

強化學習中用來評估策略[π]的好壞的是值函數(shù)，由狀態(tài)值函數(shù)[Vπ]、動作值函數(shù)[Qπ]組成，[Vπ（s）]表示在狀態(tài)[s]下，根據策略[π]得到的期望回報，[Qπ（s）]表示在狀態(tài)[s]下，選擇動作[a]并根據策略[π]得到的期望回報。通常用[Qπ（s）]來評估策略[π]的好壞。

公式（2）為Bellman方程。

強化學習中[π*]表示最優(yōu)策略，該策略能最大化獎賞函數(shù)，對應的[Q*（s，a）]可以表示為：

公式（3）為最優(yōu)Bellman方程。

2.2 換相失敗機理

正常情況下兩個橋臂可以正常換相，但當發(fā)生故障后，其中一個橋臂的換流閥未能及時換相成功卻又收到了反向電壓的作用，這種情形被定義為換相失敗。對于逆變側受端交流系統(tǒng)發(fā)生故障而導致的直流系統(tǒng)換相失敗問題，有文獻指出：逆變側受端交流系統(tǒng)故障導致?lián)Q相支撐電壓跌落，使得換相電壓作用逆變器的時間面積變小，而引起逆變器的關斷角小于換相失敗發(fā)生時的臨界關斷角，這是直流系統(tǒng)逆變器發(fā)生換相失敗的根本原因[9]。

相關文獻研究表明[10]，逆變系統(tǒng)關斷角[γ]與換流變壓器變比k、逆變側直流電流Id、逆變系統(tǒng)等效換相電抗Xc、逆變側交流母線電壓有效值UL、觸發(fā)超前角β的相互關系為：

直流輸電系統(tǒng)運行中逆變側交流系統(tǒng)故障情況下，直流電流會發(fā)生不平穩(wěn)變化，然而根據換相過程分析，逆變器換相過程中直流電流的變化不應被忽略。為此，本文計及考慮逆變側交流系統(tǒng)故障時，直流輸電系統(tǒng)逆變側直流電流變化。

以逆變器運行關斷角[γ]大小定義逆變器換相過程，當換相結束即

從上式可以看出，逆變系統(tǒng)換相成功與否與逆變器觸發(fā)延遲角[α]、換相電壓幅值及換相起止時刻的直流電流大小有關。

據此分析，逆變側交流系統(tǒng)故障造成流過逆變器的直流電流增大、交流系統(tǒng)母線電壓下降時，其直流電流控制則可貫穿整個換相過程始終，在逆變系統(tǒng)故障運行時可增強LCC-HVDC逆變站控制系統(tǒng)對其換相過程的控制。因此，可通過直流電流控制，充分降低逆變器發(fā)生換相失敗的概率。

2.3 強化學習算法在直流控制系統(tǒng)中的應用

低壓限流環(huán)節(jié)在LCC-HVDC的作用異常重要，具有左右交流系統(tǒng)故障時直流電壓、電流沖擊大小及故障后直流功率恢復速度等，其曲線設定與具體系統(tǒng)的特性關系密切，因此，為了不致改變VDCOL對原系統(tǒng)運行特性的影響作用，直流電流整定值[Ido_rec]取VDCOL與直流電流預測控制整定值[Id_PREV]之間的較小值，實施方案以對CIGRE HVDC輸電系統(tǒng)控制系統(tǒng)的改進為例，如下圖所示。

直流電流預測值[Id_PREV]表達式如下所示：

其中CF表示為直流控制系統(tǒng)通過關斷角來判斷逆變器是否可能發(fā)生換相失?。ㄊ菫?，否為0）。[Id_NOR]是為發(fā)生換相失敗時系統(tǒng)正常運行狀態(tài)下的整流側直流電流參考值。

[Id_PREVC]是換相失敗發(fā)生后通過強化學習動態(tài)跟蹤系統(tǒng)而得到的整流側直流電流參考值。強化學習模塊包括采集測量模塊、強化學習數(shù)據處理模塊、參考電流輸出模塊。采集測量模塊主要用來采集逆變側的狀態(tài)數(shù)據，所述狀態(tài)數(shù)據主要包括逆變側交流系統(tǒng)母線電壓有效值以及直流系統(tǒng)逆變側直流電流值。強化學習數(shù)據處理模塊與所述采集測量模塊相連，以獲取所述數(shù)據采集模塊的狀態(tài)數(shù)據。其中，數(shù)據處理模塊包括數(shù)據存儲庫和Q-學習算法模型，Q-學習算法模型利用獲取的狀態(tài)數(shù)據對逆變側直流電流的狀態(tài)數(shù)據進行預測，選擇最佳的動作，即動態(tài)調整整流側的參考值。例如在逆變側電流變大時，通過降低整流側直流電流參考值來動態(tài)調整直流線路上的電流，從而起到抑制逆變側直流電流升高作用，利于逆變器熄弧，在故障發(fā)生期間可抑制連續(xù)換相失敗問題，減小故障對系統(tǒng)造成的危害。其中，動態(tài)整流側參考值[Id_PREVC]為動作Action提供選擇區(qū)間，根據低壓限流的歷史數(shù)據，區(qū)間下限選取得比低壓限流值中的電流參考值要小一些，本文中的[Id_PREVC]的選擇區(qū)間為[0.5，1.0]。由于整流側電流參考值[Id_PREVC]的動態(tài)跟蹤作用，會有效抑制直流電流在故障時的增大，同時動態(tài)得到一個關斷角實測值。直流系統(tǒng)換相失敗發(fā)生判斷的標準便是關斷角小于臨界關斷角的值，這個值接近于0，正常運行狀態(tài)下的關斷角約為18°，當系統(tǒng)關斷角實測值在故障期間離目標值18°的誤差綜合最小，那便是最優(yōu)的動作情況，這種最優(yōu)動作情況即是整流側直流電流參考值[Id_PREVC]的數(shù)據選擇過程。實測值關斷角[γ]和目標值關斷角[γobj]之間的誤差為：[E=γ-γobj]，那么設模型中的獎賞為一個負值的變量。

如公式7所示：

3 實驗分析

3.1 實驗數(shù)據及設置

為了驗證強化學習算法模塊在抑制直流系統(tǒng)故障發(fā)生換相失敗的有效性，以下實驗的直流系統(tǒng)選自PSCAD仿真軟件中自有算例CIGRE標準直流輸電系統(tǒng)，系統(tǒng)模型及數(shù)據如下所示，圖及表中所有值的單位為[Ω]、H或mF。

強化學習的狀態(tài)數(shù)據來自沒有加入強化學習換相失敗預測模塊前的歷史仿真數(shù)據。仿真數(shù)據包括單相故障時的數(shù)據以及三相故障時的數(shù)據，如表2和表3所示，數(shù)據集中包括逆變側直流電流值[Id_inv]、逆變側交流電壓有效值[VAC_inv]。強化學習算法程序基于matlab編程環(huán)境，模型中的學習速率為0.4，折扣率因子為0.99。仿真過程是基于matlab和PSCAD的聯(lián)合仿真，在測試算法時建立了PSCAD和MATLAB之間的接口模塊，采集到的實時狀態(tài)數(shù)據經過算法處理，返回系統(tǒng)最佳動作值，從而有效抑制故障發(fā)生后的連續(xù)換相失敗。

3.2 實驗結果分析

本文仿真測試分別以受端交流系統(tǒng)三相短路和單相接地故障為典型。不同類型故障設置于逆變側交流系統(tǒng)母線處，故障持續(xù)時間均為0.05s，仿真測試中所的Lf為故障電抗。

（1）逆變側交流母線單相故障

下圖為逆變側交流系統(tǒng)母線單相接地故障開始時刻6.000s、故障電抗0.55H情況下，未加入強化學習算法與加入所提算法下逆變系統(tǒng)逆變側電氣量的對比圖，[VAC_inv]受端電力系統(tǒng)的交流母線電壓有效值、[Id_inv]為LCC-HVDC逆變側直流電流、[Δαinv_PREV]為系統(tǒng)面對故障自適應調節(jié)的觸發(fā)延遲角提前值，以及[Id_PREV]為強化學習算法輸出的整流側直流電流動態(tài)參考值。

從圖3可以看出，相對于未引入算法的系統(tǒng)控制效果，引入強化學習算法可以及時抑制受端交流系統(tǒng)故障情況下LCC-HVDC直流電流的短時上升、逆變側交流母線電壓的進一步下降，從而更為有效地降低逆變器換相失敗發(fā)生的概率，而且從仿真曲線可以看出引入強化學習模塊后對并網系統(tǒng)故障后直流輸電系統(tǒng)恢復的快速性和有效性上也有一定提高。

（2）逆變側交流母線三相故障

圖4為未引入強化學習算法與引入算法兩種情形下逆變器發(fā)生換相失敗（故障時刻6.000s，故障電抗1.14H）時相應的[VAC_inv]、[Id_inv]、[Δαinv_PREV]及[Id_PREV]波形。由圖中波形可以看出，引入算法后在逆變側交流系統(tǒng)三相故障情況下，對逆變器換相失敗的抑制和故障后直流系統(tǒng)的快速恢復均有效果。

4 結束語

本文針對直流輸電系統(tǒng)中換相失敗問題，引入強化學習算法模塊，在故障發(fā)生時通過實時采集逆變側電氣量，動態(tài)調整整流側的電流參考值，通過與低壓限流環(huán)節(jié)相互配合，抑制直流線路電流增大，利于逆變側電弧熄滅，抑制連續(xù)換相失敗問題。實驗結果表明，引入強化學習算法后，直流輸電控制系統(tǒng)在抑制換相失敗方面有較好的效果。

參考文獻：

[1] 韓民曉，文俊，徐永海.高壓直流輸電原理與運行[M].2版.北京：機械工業(yè)出版社，2013.

[2] 張文峰. 交直流混聯(lián)受端電網故障特性變異分析[M]. 北京： 中國電力出版社， 2015

[3] 黃玉東.高壓直流輸電換相失敗的研究[D].北京：華北電力大學，2006.

[4] 陳樹勇，李新年，余軍，等.基于正余弦分量檢測的高壓直流換相失敗預防方法[J].中國電機工程學報，2005，25（14）：1-6.

[5] 王智冬.交流系統(tǒng)故障對特高壓直流輸電換相失敗的影響[J].電力自動化設備，2009，29（5）：25-29，38.

[6] Tamai S，Naitoh H，Ishiguro F，et al.Fast and predictive HVDC extinction angle control[J].IEEE Transactions on Power Systems，1997，12（3）：1268-1275.

[7] Sutton R S，A G.Reinforcement learning：an introduction[J].IEEE Transactions on Neural Networks，1998，9（5）：1054.

[8] 劉全，翟建偉，章宗長，等.深度強化學習綜述[J].計算機學報，2018，41（1）：1-27.

[9] 王鋼，李志鏗，黃敏，等.HVDC輸電系統(tǒng)換相失敗的故障合閘角影響機理[J].電力系統(tǒng)自動化，2010，34（4）：49-54，102.

[10] Sun Y Z，Peng L，Ma F，et al.Design a fuzzy controller to minimize the effect of HVDC commutation failure on power system[J].IEEE Transactions on Power Systems，2008，23（1）：100-107.

【通聯(lián)編輯：梁書】