周曉華，宋春寧，王荔芳，黃 玲

(1.廣西工學(xué)院電子信息與控制工程系，廣西柳州 545006;2.廣西大學(xué)電氣工程學(xué)院，廣西南寧 530004;3.昆明學(xué)院自動(dòng)控制與機(jī)械工程系，云南昆明 650118)

基于ADHDP方法的HVDC整流控制器設(shè)計(jì)

周曉華1，2，宋春寧2，王荔芳3，黃 玲1

(1.廣西工學(xué)院電子信息與控制工程系，廣西柳州 545006;2.廣西大學(xué)電氣工程學(xué)院，廣西南寧 530004;3.昆明學(xué)院自動(dòng)控制與機(jī)械工程系，云南昆明 650118)

針對(duì)傳統(tǒng)PI控制器在HVDC系統(tǒng)受到大干擾時(shí)難于產(chǎn)生有效控制作用的問(wèn)題，設(shè)計(jì)了一種基于執(zhí)行依賴啟發(fā)式動(dòng)態(tài)規(guī)劃(ADHDP)方法的整流控制器，控制器的執(zhí)行網(wǎng)絡(luò)和評(píng)價(jià)網(wǎng)絡(luò)均采用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行設(shè)計(jì)，并利用直流線路電流偏差信號(hào)在線訓(xùn)練兩個(gè)網(wǎng)絡(luò)以優(yōu)化控制器性能。仿真結(jié)果表明，與傳統(tǒng)PI控制器相比，所設(shè)計(jì)的的控制器具有更好的控制效果。

執(zhí)行依賴啟發(fā)式動(dòng)態(tài)規(guī)劃(ADHDP);高壓直流輸電;整流控制器

0 引言

高壓直流輸電(HVDC)是一個(gè)典型的非線性系統(tǒng)，直流輸電線路中的換流器具有很強(qiáng)的非線性。為確保HVDC系統(tǒng)安全穩(wěn)定運(yùn)行，整流和逆變控制器必須具有良好的控制性能。然而，常規(guī)的整流和逆變控制器主要為PI型，雖然在正常穩(wěn)態(tài)運(yùn)行狀態(tài)下，控制器具有較好的魯棒性和較滿意的運(yùn)行效果，但當(dāng)交流系統(tǒng)受到大干擾時(shí)，交流系統(tǒng)的暫態(tài)穩(wěn)定性下降［1］，控制器將難以產(chǎn)生有效的控制作用。

近幾年來(lái)，許多先進(jìn)的控制策略被應(yīng)用到HVDC系統(tǒng)的換流器控制中，并獲得了較好的控制效果。文獻(xiàn)［2-8］將非線性控制理論應(yīng)用到HVDC控制系統(tǒng)中，體現(xiàn)出了非線性控制策略的優(yōu)越性。由于智能控制具有處理各種非線性的能力、并行計(jì)算的能力、自適應(yīng)、自組織和自學(xué)習(xí)的能力，而且能有效控制不精確模型甚至不確定系統(tǒng)，因而成為HVDC系統(tǒng)控制［1，9-10］的研究熱點(diǎn)。

自適應(yīng)動(dòng)態(tài)規(guī)劃(Approximate Dynarnic Programming，ADP)是一類可以在線地通過(guò)與系統(tǒng)(環(huán)境)的相互作用從而不斷改善控制效果的方法，有強(qiáng)化學(xué)習(xí)(Reinforcement Learing，RL)、自適應(yīng)評(píng)價(jià)設(shè)計(jì)(A-daptive Critic Design，ACD)等不同的分支和名稱［11-12］。自適應(yīng)動(dòng)態(tài)規(guī)劃可分為三類:啟發(fā)式動(dòng)態(tài)規(guī)劃(HDP)，雙啟發(fā)式動(dòng)態(tài)規(guī)劃(DHP)和全局雙啟發(fā)式動(dòng)態(tài)規(guī)劃(GDHP)。ADHDP(Action-dependent Heuristic Dynamic Programming)方法是啟發(fā)式動(dòng)態(tài)規(guī)劃HDP(Heuristic Dynamic Programming)的執(zhí)行依賴形式，本文采用BP神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)了ADHDP的執(zhí)行網(wǎng)絡(luò)和評(píng)價(jià)網(wǎng)絡(luò)，并將其應(yīng)用到HVDC系統(tǒng)的整流控制中。執(zhí)行網(wǎng)絡(luò)和評(píng)價(jià)網(wǎng)絡(luò)可利用實(shí)時(shí)測(cè)量數(shù)據(jù)進(jìn)行在線訓(xùn)練，在一定程度上消除由于內(nèi)部模型誤差和某些不確定性干擾產(chǎn)生的影響。仿真結(jié)果表明，與傳統(tǒng)PI控制器相比，ADHDP控制器具有更好的控制效果。

1 ADHDP原理

給定一個(gè)離散時(shí)間非線性系統(tǒng):

式中:x(t)——系統(tǒng)的狀態(tài);

u(t)——控制量。

給定一個(gè)初始狀態(tài)x(i)，動(dòng)態(tài)規(guī)劃的目標(biāo)是選擇合適的控制序列u(k)，k=i，i+1，…，從而使系統(tǒng)的代價(jià)函數(shù)(cost-to-go)(式(2))為極小，以獲得全局最優(yōu)解。

并以此來(lái)獲得次優(yōu)解。圖1所示為其原理圖［13-15］，圖中虛線表示反向傳播的路徑。

圖1 ADHDP原理圖

執(zhí)行網(wǎng)絡(luò)的訓(xùn)練目標(biāo)是最小化評(píng)價(jià)網(wǎng)絡(luò)輸出的代價(jià)函數(shù)J，其權(quán)值的更新主要通過(guò)定義下式的誤差來(lái)實(shí)現(xiàn):

評(píng)價(jià)網(wǎng)絡(luò)則采用監(jiān)督學(xué)習(xí)方法將網(wǎng)絡(luò)的實(shí)際輸出與期望輸出的差作為誤差反向傳播來(lái)調(diào)整網(wǎng)絡(luò)各層權(quán)值的大小，其誤差定義式為:

2 ADHDP整流控制器設(shè)計(jì)

整流控制器采用定電流控制方式，其執(zhí)行網(wǎng)絡(luò)和評(píng)價(jià)網(wǎng)絡(luò)均采用三層BP神經(jīng)網(wǎng)絡(luò)進(jìn)行設(shè)計(jì)，隱層神經(jīng)元轉(zhuǎn)移函數(shù)均采用S型雙曲正切函數(shù)，輸出層神經(jīng)元轉(zhuǎn)移函數(shù)均為線性函數(shù)。執(zhí)行網(wǎng)絡(luò)的輸入取直流線路電流Id與參考電流Idref的偏差ΔId(ΔId=Id－Idref)在t、t－1和t－2時(shí)刻的值，分別記為ΔId(t)、ΔId(t－1)和ΔId(t－2)，輸出為為整流器的觸發(fā)延遲角的調(diào)節(jié)量Δα，隱層神經(jīng)元取6個(gè)。評(píng)價(jià)網(wǎng)絡(luò)的輸入為ΔId(t)、ΔId(t－1)、ΔId(t－2)和Δα，評(píng)價(jià)網(wǎng)絡(luò)的輸出為代價(jià)函數(shù)J的近似值，其隱層神經(jīng)元取10個(gè)。ADHDP整流控制器的結(jié)構(gòu)如圖2所示。

圖2 ADHDP整流控制器結(jié)構(gòu)

其中，γ為折扣因子，lc為評(píng)價(jià)網(wǎng)絡(luò)的學(xué)習(xí)率。

效用函數(shù)U(t)反映了每一步的控制效果，可根據(jù)控制目標(biāo)進(jìn)行定義。本文定義的效用函數(shù)形式［16］如下:

3 仿真結(jié)果與分析

利用MATLAB/Simulink建立了一個(gè)兩端單極直流輸電仿真系統(tǒng)，整流側(cè)交流系統(tǒng)為 500kV、5000MVA的等效網(wǎng)絡(luò)，逆變側(cè)交流系統(tǒng)為345kV、10000MVA等效網(wǎng)絡(luò)，換流器均采用2個(gè)6脈沖橋串聯(lián)而成的12脈沖橋結(jié)構(gòu)，換流器間連接0.5H的平波電抗器和長(zhǎng)度為300km的直流架空線路。整流器采用定電流控制方式，逆變器采用定β角控制方式，ADHDP算法通過(guò)編寫S函數(shù)并利用MATLAB的SFunction功能嵌入Simulink仿真系統(tǒng)。

圖3為參考電流發(fā)生階躍變化時(shí)控制器的穩(wěn)態(tài)響應(yīng)曲線，0.4s時(shí)，參考電流 Idref由1.0pu下降到0.8pu，0.7s由 0.8pu回到 1.0pu?？梢钥闯觯珹DHDP控制器的穩(wěn)定性、快速響應(yīng)性均優(yōu)于傳統(tǒng)PI控制器。

圖3 參考電流變化時(shí)控制器的穩(wěn)態(tài)響應(yīng)曲線

圖4、圖5分別為整流側(cè)交流系統(tǒng)發(fā)生三相短路故障時(shí)，傳統(tǒng) PI控制下的直流線路電流曲線和ADHDP控制下的直流線路電流曲線。圖6、圖7分別為直流線路發(fā)生接地短路故障時(shí)，傳統(tǒng)PI控制下的直流線路電流曲線和ADHDP控制下的直流線路電流曲線。故障均在0.5s發(fā)生，0.51s時(shí)切除，由仿真曲線可以看出，ADHDP控制具有更小的超調(diào)量、較快的響應(yīng)速度和較好的穩(wěn)定性，采用ADHDP方法設(shè)計(jì)的HVDC系統(tǒng)整流控制器能獲得更好的控制效果。

圖4 整流側(cè)交流系統(tǒng)三相短路時(shí)PI控制下的直流電流

4 結(jié)束語(yǔ)

高壓直流輸電系統(tǒng)是一個(gè)典型的非線性系統(tǒng)，按照自適應(yīng)動(dòng)態(tài)規(guī)劃ADHDP方法設(shè)計(jì)的控制器，結(jié)構(gòu)相對(duì)簡(jiǎn)單，不僅不依賴于系統(tǒng)的數(shù)學(xué)模型而且可以很好地實(shí)現(xiàn)在線訓(xùn)練。仿真結(jié)果表明，與傳統(tǒng)PI控制器相比，將ADHDP方法應(yīng)用到高壓直流輸電系統(tǒng)的整流控制中，可以獲得更好的控制效果，其在減小超調(diào)量、提高響應(yīng)速度和提高穩(wěn)定性方面更具優(yōu)勢(shì)，具有一定的理論研究意義和現(xiàn)實(shí)意義。

［1］陳漢雄，劉天琪.HVDC系統(tǒng)中換流站的輔助模糊控制［J］. 電網(wǎng)技術(shù)，2003，27(1):5-8.

［2］都洪基，丁一.一種HVDC非線性主控制器的設(shè)計(jì)［J］.繼電器，2003，31(10):28-31.

［3］蔡超豪.HVDC的非線性H∞控制［J］.電網(wǎng)技術(shù)，2004，28(5):38-40.

［4］姜素霞，李春文，崔光照，等.高壓直流輸電系統(tǒng)中換流器的非線性控制及仿真研究［J］.電氣應(yīng)用，2008，27(5):72-75.

［5］李明，梁小冰，程麗.高壓直流輸電系統(tǒng)的魯棒非線性控制規(guī)律的設(shè)計(jì)［J］.電力系統(tǒng)及其自動(dòng)化學(xué)報(bào)，2004，16(1):19-21.

［6］X.Y.Li A nonlinear emergency control strategy for HVDC transmission systems［J］.Electric Power Systems Research，2003，67:153-159.

［7］李興源，陳凌云，顏泉，等.多饋入高壓直流輸電系統(tǒng)非線性附加控制器的設(shè)計(jì)［J］.中國(guó)電機(jī)工程學(xué)報(bào)，2005，25(15):16-19.

［8］張躍鋒，顏偉，黃淼，等.基于LMI技術(shù)的交直流非線性H2控制［J］. 中國(guó)電力，2007，40(7):70-73.

［9］P.K.Dash，Aurobinda Routray，Sukumar Mishra.A neural network based feedback linearising controller for HVDC links［J］.Electric Power Systems Research，1999，50:125-132.

［10］H.J.C.Peiris，U.D.Annakkage，N.C.Pahalawaththa.Frequency regulation of rectifier side AC system of an HVDC scheme using coordinated fuzzy logic control［J］.Electric Power Systems Research，1998，48:89-95.

［11］陸超，謝小榮，童陸園，等.使用直接神經(jīng)動(dòng)態(tài)規(guī)劃方法的SVC附加阻尼控制［J］.中國(guó)電機(jī)工程學(xué)報(bào)，2004，24(12):8-12.

［12］趙冬斌，劉德榮，易建強(qiáng).基于自適應(yīng)動(dòng)態(tài)規(guī)劃的城市交通信號(hào)優(yōu)化控制方法綜述［J］.自動(dòng)化學(xué)報(bào)，2009，35(6):676-681.

［13］ Prokhorov D.Wunsch D.Adaptive critic designs［J］.IEEE Transactions on Neural Networks，1997，8(5):997-1007.

［14］LIU D.Action-dependent Adaptive Critic Designs［C］.Proceedings of IEEE International Joint Conference on Neural Networks.2001:990-995.

［15］林小峰，喻亮，宋紹劍，等.自適應(yīng)評(píng)價(jià)設(shè)計(jì)的執(zhí)行依賴方法［J］. 控制工程，2008，15(4):423-425.

［16］Salman Mohagheghi，Yamille del Valle，Ganesh Kumar Venayagamoorthy.A Proportional-Integrator Type Adaptive Critic Design-Based Neurocontroller for a Static Compensator in a Multimachine Power System［J］.IEEE Transactions on Industrial Electronics，2007，54(1):86-96.

(編輯 趙蓉)

Design of Rectifier Controller Based on ADHDP for HVDC

ZHOU Xiao-hua1，2，SONG Chun-ning2，WANG Li-fang3，HUANG Ling1
(1.Department of Electronic Information and Control Engineering，GuangXi University of Technology，GuangXi LiuZhou 545006，China;2.College of Electrical Engineering，GuangxiUniversity，GuangXiNanning 530004，China)

Aimed at the problem which the effective function of conventional PIcontroller can’t display in time when bigger disturbance occurs in HVDC system,a rectifier controller based on ADHDP was designed.The action network and critic network of this controllerwere built up by BP neural network,and they were trained online by error signals of DC line current to optimize performance of ADHDP controller.The simulation results show that the ADHDP controller can obtain better control effect comparing w ith conventional PI controller.

Action-dependant heuristic dynamic programming;HVDC system;rectifier controller

TM721

A

1001-2265(2011)06-0057-04

2010-12-30

周曉華(1976—)，男，云南牟定人，廣西工學(xué)院電子信息與控制工程系講師，廣西大學(xué)碩士研究生，主要從事智能優(yōu)化控制、供配電技術(shù)等方面的教學(xué)和科研工作，(E-mail)zhxh76@126.com。