胡榮春 應祖光朱位秋

（浙江大學航空航天學院力學系，杭州 310027）

不確定擬哈密頓系統(tǒng)的隨機最優(yōu)控制*

胡榮春 應祖光?朱位秋

（浙江大學航空航天學院力學系，杭州 310027）

本文提出了不確定擬哈密頓系統(tǒng)、基于隨機平均法、隨機極大值原理和隨機微分對策理論的一種隨機極大極小最優(yōu)控制策略.首先，運用擬哈密頓系統(tǒng)的隨機平均法，將系統(tǒng)狀態(tài)從速度和位移的快變量形式轉化為能量的慢變量形式，得到部分平均的It?隨機微分方程；其次，給定控制性能指標，對于不確定擬哈密頓系統(tǒng)的隨機最優(yōu)控制，根據(jù)隨機微分對策理論，將其轉化為一個極小極大控制問題；再根據(jù)隨機極大值原理，建立關于系統(tǒng)與伴隨過程的前向-后向隨機微分方程，隨機最優(yōu)控制表達為哈密頓控制函數(shù)的極大極小條件，由此得到最壞情形下的擾動參數(shù)與極大極小最優(yōu)控制；然后，將最壞擾動參數(shù)與最優(yōu)控制代入部分平均的It?隨機微分方程并完成平均，求解與完全平均的It?隨機微分方程相應的Fokker-Planck-Kolmogorov（FPK）方程，可得受控系統(tǒng)的響應量并計算控制效果；最后，將上述不確定擬哈密頓系統(tǒng)的隨機最優(yōu)控制策略應用于一個兩自由度非線性系統(tǒng)，通過數(shù)值結果說明該隨機極大極小控制策略的控制效果.

不確定性，極大極小最優(yōu)控制，極大值原理，隨機平均法

引言

工程結構動力學大多可以通過擬哈密頓系統(tǒng)建立數(shù)學模型，擬哈密頓系統(tǒng)的隨機最優(yōu)控制研究具有重要的理論與實際意義.基于隨機動態(tài)規(guī)劃原理的隨機最優(yōu)控制已有較多研究［1－3］.然而，隨機極大值原理是隨機最優(yōu)控制的另一個基本原理［2］，基于此的隨機最優(yōu)控制研究相對較少，需要進一步深入研究.此外，實際結構系統(tǒng)例如參數(shù)總存在一定的隨機性，相應的數(shù)學模型具有不確定性.不確定擬哈密頓系統(tǒng)的基于隨機極大值原理的隨機最優(yōu)控制有待于研究發(fā)展.不確定系統(tǒng)的魯棒控制已有很多研究，而微分對策理論是解決不確定系統(tǒng)最優(yōu)控制的一個重要方法.本文簡要介紹一個不確定擬哈密頓系統(tǒng)的隨機最優(yōu)控制策略，它綜合運用隨機平均法、隨機極大值原理與微分對策理論.

1 隨機平均控制系統(tǒng)

考慮如下多自由度受控的具有不確定參數(shù)的擬哈密頓系統(tǒng)：

式中Qi、Pi分別為廣義位移與廣義動量，Q＝［Q1，Q2，…，Qn］T，P＝［P1，P2，…，Pn］T；H′＝H′（Q，P）為具有連續(xù)偏導數(shù)的哈密頓函數(shù)；cij＝cij（Q，P）表示擬線性阻尼系數(shù)；gil＝gil（Q）表示非線性恢復力；fik＝fik（Q，P）表示隨機激勵幅值；為ξk（t）隨機過程；分別表示參數(shù)與激勵的擾動部分；ui＝ui（Q，P）表示反饋控制力.假定系統(tǒng)擾動及控制力的量級分別為，其中ε為小量.擾動參數(shù)都是有界的，即以及.

式中H為平均的哈密頓函數(shù)，B為標準Wiener過程.類似地，對于可積非共振情形，擬可積哈密頓系統(tǒng)的平均方程為：

式中H為獨立積分向量.系統(tǒng)控制的性能指標［5］，如不確定擬不可積哈密頓系統(tǒng)（2）的有限時間控制指標

式中E［.］表示平均算子；tf是控制的終止時間；L稱為成本函數(shù)；h為終止成本.

2 基于極大極小的隨機最優(yōu)控制

方程（2）和（6）組成不確定系統(tǒng)的隨機最優(yōu)控制問題.根據(jù)隨機微分對策理論，該控制問題可以表達為下列極小極大控制問題：

根據(jù)隨機極大值原理［2］，極小極大控制問題可以轉化為哈密頓函數(shù)Hc的極大極小控制問題，Hc滿足前后向隨機微分方程.哈密頓函數(shù)的極大極小條件為

式中λ、κ是伴隨過程，

對于二次型控制力的函數(shù)L：

式中R對稱正定，f（H）＞0.由式（9）右端項關于ui極大化，可得最優(yōu)控制［5］：

將最優(yōu)控制（12）和最壞擾動（10）代入式（2），得到平均系統(tǒng)方程：

相應的隨機極大值原理確定的一階伴隨方程為

方程（13）和（14）組成確定哈密頓函數(shù)Hc的前后向隨機微分方程，求解該方程得到受控系統(tǒng)的響應和伴隨過程，從而確定最優(yōu)控制（12）.

假設伴隨過程λ（t）僅僅通過系統(tǒng)能量而隨時間t變化，即：

這里λ（H）是某個確定性函數(shù).對等式（15）應用It?微分得到關于λ的微分方程，與（14）比較可得關于λ和κ的方程，簡化后得到關于λ（H）的方程：

給定邊界條件，求解該二階常微分方程，得到伴隨函數(shù)λ（H），代入式（12）即得最壞擾動下的最優(yōu)控制［7］.

3 應用簡例

考慮一個兩自由度不確定非線性控制系統(tǒng)：

式中a1，a2，b，c1和c2為理想情形的剛度和阻尼系數(shù)；為有界擾動，滿足及；ξk（t）是強度為2Dk的獨立高斯白噪聲；ui為反饋控制力.該系統(tǒng)為擬不可積系統(tǒng)，運用擬不可積哈密頓系統(tǒng)的隨機平均法，可得平均的It?微分方程（2）.對于性能指標（6），根據(jù)極大極小控制策略確定最壞擾動：

進一步確定最優(yōu)控制力：

相應的伴隨過程可由式（16）確定，其中f（H）＝s0＋s1H＋s2H2＋s3H3，u＝（u1，u2），R＝（R1，R2）.將最壞擾動（18）和最優(yōu)控制力（19）代入式（13），得到平均方程，建立相應的FPK方程，求解之可得概率密度，從而可估計受控系統(tǒng)的響應方差，及系統(tǒng)響應的相對降低，即：

圖1 系統(tǒng)第一個自由度位移的相對降低隨參數(shù)相對擾動界b0／b的變化（Km是本文最優(yōu)控制的效果，Kn是平均參數(shù)系統(tǒng)最優(yōu)控制的效果）Fig.1 The relationships of control effectiveness（Km／Kn）to the ratio of parameter disturbance（b0／b）for the first DOF of the system（where Kmfor minimax control and Knfor nominal control）

圖2 極大極小控制系統(tǒng)與未控系統(tǒng)的位移和速度（虛線為未控系統(tǒng)響應，實線為控制系統(tǒng)響應）Fig.2 Time history of the system displacement and velocity（where dashed line for uncontrolled system，while solid line for minimax controlled system）

選取無量綱量參數(shù)值a1＝1，a2＝2，b＝2，c1＝c2＝0.5，R1＝R2＝0.4，s1＝0，s2＝2.0，s3＝0，b0＝0.2，λ（0）＝－3.7.圖1給出系統(tǒng)第一個自由度位移的相對降低隨參數(shù)相對擾動界b0／b的變化情況，可見系統(tǒng)響應的相對降低即控制效果隨擾動參數(shù)界b0的增大而非線性地提高.本文介紹的極大極小最優(yōu)控制效果高于相應的平均參數(shù)系統(tǒng)最優(yōu)控制.圖2為極大極小最優(yōu)控制前后系統(tǒng)的位移和速度樣本圖.研究表明：本文提出的極大極小最優(yōu)控制策略能有效地降低系統(tǒng)的速度和位移等響應量，在控制效果方面明顯優(yōu)于平均參數(shù)系統(tǒng)最優(yōu)控制，而相應的控制效率尚則有待于進一步研究.

1 Stengel R F.Stochastic optimal control.New York，Wiley，1986

2 Yong JM，Zhou X Y.Stochastic controls，hamiltonian systems and HJB equations.New York，Springer-Verlag，1999

3 朱位秋，應祖光.擬哈密頓系統(tǒng)非線性隨機最優(yōu)控制.力學進展，2013，43（1）：39～55（Zhu W Q，Ying Z G.Nonlinear stochastic optimal control of quasi-Hamiltonian systems.Advances in Mechanics，2013，43（1）：39～55（in Chinese））

4 應祖光，洪沁.一種基于隨機平均的最優(yōu)時滯控制方法.動力學與控制學報，2008，6（3）：260～264（Ying Z G，Hong Q.An optimal time delay control method based on the stochastic averaging.Journal of Dynamics and Control，2008，6（3）：260～264（in Chinese））

5 陳林聰，朱位秋.隨機擾動下簡單電力系統(tǒng)的可靠度反饋最大化.動力學與控制學報，2010，8（1）：19～23（Chen L C，Zhu W Q.Feedback maximization of reliability of a simple power system under random perturbations.Journal of Dynamics and Control，2010，8（1）：19～23（in Chinese））

6 Zhu W Q，Yang Y Q.Stochastic averaging of quasi non-integrable Hamiltonian systems.ASME Journal of Applied Mechanics，1997，64（1）：157～164

7 Zhu W Q，Ying Z G，Soong T T.An optimal nonlinear feedback control strategy for randomly excited structural systems.Nonlinear Dynamics.，2001，24（1）：31～51

8 Ying ZG.A minimax stochastic optimal control for bounded-uncertain systems.Journal of Vibration and Control，2010，16（11）：1591～1604

9 Hu R C，Ying ZG，Zhu W Q.Stochastic minimax optimal control strategy for uncertain quasi-Hamiltonian systems using stochastic maximum principle.Structural and Multidisciplinary Optimization，2014，49（1）：69～80

Received 12 January 2015，revised 4 February 2015.

*The project Supported by the National Natural Science Foundation of China（11432012，11572279）

?Corresponding author E-mail：yingzg＠zju.edu.cn

STOCHASTIC OPTIMAL CONTROL OF UNCERTAIN QUASI-HAMILTONIAN SYSTEMS*

Hu Rongchun Ying Zuguang?Zhu Weiqiu
（Department of Mechanics，School of Aeronautics and Astronautics，Zhejiang University，Hangzhou 310027，China）

In this paper，a stochastic minimax optimal control strategy for uncertain quasi-Hamiltonian systems is proposed based on stochastic averaging method，stochastic maximum principle and stochastic differential game theory.Firstly，the partially averaged It? stochastic differential equations are derived using the stochastic averaging method for quasi-Hamiltonian systems，while the system state transits from rapid variable of velocity and displacement into the slow variable of energy.Secondly，the stochastic optimal control of Hamiltonian system with a given performance index is converted into a minimax control problem based on the stochastic differential game theory.Thirdly，forward-backward stochastic differential equations of the system and the adjoint process were established according to stochastic maximum principle.The worst disturbances are generated by minimizing the Hamiltonian function，while maximizing the minimal Hamiltonian function results in the worst-case optimal controls.The worst disturbances and the worst-case optimal controls are then substituting into the partially averaged It? equation in order to obtain the fully averaged It? equation.The responses of controlled system are predicted by solving the Fokker-Planck-Kolmogorov（FPK）equation associated with the fully averaged It? equation.Meanwhile，the control effectiveness can also be computed.Finally，the proposed stochastic optimal control of uncertain quasi-Hamiltonian system is applied into a two-DOF nonlinear system.The effectiveness of the minimax control strategy is validated by numerical results.

Hamiltonian system，uncertainty，minimax optimal control，stochastic maximum principle，stochastic averaging method

10.6052／1672-6553-2016-065

2015-01-12收到第1稿，2015-02-04收到修改稿.

*國家自然科學基金資助項目（11432012，11572279）

?通訊作者E-mail：yingzg＠zju.edu.cn