楊恒占，張曉倩，畢雪琴

(西安工業(yè)大學(xué) 電子信息工程學(xué)院，陜西 西安 710021)

隨機(jī)系統(tǒng)穩(wěn)態(tài)概率密度函數(shù)控制算法

楊恒占，張曉倩，畢雪琴

(西安工業(yè)大學(xué) 電子信息工程學(xué)院，陜西 西安 710021)

對(duì)于非線性隨機(jī)系統(tǒng)，以均值、方差為控制目標(biāo)的傳統(tǒng)控制方法難以達(dá)到滿意的控制效果，而概率密度函數(shù)控制能夠反映非線性隨機(jī)系統(tǒng)的各階統(tǒng)計(jì)特征，可實(shí)現(xiàn)較為理想的控制效果。為此，針對(duì)非線性隨機(jī)系統(tǒng)，提出了一種對(duì)系統(tǒng)狀態(tài)穩(wěn)態(tài)響應(yīng)的概率密度函數(shù)進(jìn)行控制的算法。該算法將概率密度函數(shù)展開為多項(xiàng)式形式，以FPK方程為工具，分析并得出多項(xiàng)式系數(shù)和控制多項(xiàng)式增益的關(guān)系方程組，以該方程組的解為控制增益的函數(shù)，通過進(jìn)一步構(gòu)造一個(gè)優(yōu)化問題來解決該方程組存在的超定問題。根據(jù)目標(biāo)概率密度函數(shù)的要求，確定出控制多項(xiàng)式的各項(xiàng)增益，給出并實(shí)現(xiàn)該算法的計(jì)算機(jī)實(shí)施步驟。仿真結(jié)果表明，所提出的算法有效可行，可離線計(jì)算且計(jì)算效率較高，能夠?qū)崿F(xiàn)概率密度函數(shù)的良好控制。

隨機(jī)系統(tǒng)；概率密度函數(shù)；多項(xiàng)式；非線性

1 概 述

隨機(jī)控制的基本理念就是處理系統(tǒng)中的不確定性，通過對(duì)被控對(duì)象施加特定的輸入信號(hào)，驅(qū)動(dòng)被控系統(tǒng)朝著期望的目標(biāo)運(yùn)行。隨著計(jì)算機(jī)技術(shù)的快速發(fā)展，隨機(jī)控制理論也得到了深入研究與應(yīng)用。由于在隨機(jī)環(huán)境下對(duì)系統(tǒng)進(jìn)行分析非常困難，因此，對(duì)于具有特殊結(jié)構(gòu)的動(dòng)態(tài)系統(tǒng)，以均值、方差等低階統(tǒng)計(jì)特征為目標(biāo)的分析與調(diào)節(jié)方法得到了深入研究和快速發(fā)展[1]。這些方法大都以某個(gè)目標(biāo)函數(shù)的最優(yōu)化為出發(fā)點(diǎn)，能夠有效解決線性系統(tǒng)的控制問題，典型代表如最小方差控制[2]、線性二次型高斯控制理論[3-6]。

對(duì)于確定性系統(tǒng)來說，狀態(tài)是系統(tǒng)歷史行為的總結(jié)，包含過往施加于系統(tǒng)的控制和系統(tǒng)所處的初始狀態(tài)，完全刻畫了系統(tǒng)的全部行為。而對(duì)于隨機(jī)系統(tǒng)來說，即使系統(tǒng)能夠準(zhǔn)確地從同一個(gè)初始狀態(tài)出發(fā)，并且在每個(gè)時(shí)刻用完全精確的同一控制律進(jìn)行控制，由于測(cè)量和狀態(tài)受到隨機(jī)擾動(dòng)，系統(tǒng)每次運(yùn)行到同樣時(shí)刻的狀態(tài)仍然各不相同，狀態(tài)以概率轉(zhuǎn)移的方式運(yùn)作。因此，與確定性情況下的狀態(tài)不同，隨機(jī)情況下的狀態(tài)對(duì)系統(tǒng)行為的描述是不完全的。而概率密度函數(shù)則包含了系統(tǒng)的動(dòng)態(tài)信息、擾動(dòng)信息，尤其是非線性的所有統(tǒng)計(jì)特征信息。

一旦概率密度函數(shù)確定下來，傳統(tǒng)方法中的均值、方差等低階統(tǒng)計(jì)特征信息都能夠很容易地計(jì)算出來。而且，概率密度函數(shù)相比傳統(tǒng)的均值、方差等低階統(tǒng)計(jì)特征包含了更多的系統(tǒng)過程信息，更能揭示出隨機(jī)系統(tǒng)運(yùn)行過程中的豐富信息。例如控制過程中經(jīng)常需要確定系統(tǒng)動(dòng)態(tài)過程結(jié)束后的穩(wěn)態(tài)情況，就對(duì)應(yīng)于概率密度函數(shù)的末端形狀。在傳統(tǒng)以均值、方差為指標(biāo)的方法中，這些信息都無法顧及到，從而出現(xiàn)信息丟失情況，只有高斯對(duì)稱形狀的概率密度函數(shù)才可以使用隨機(jī)變量的低階統(tǒng)計(jì)特征來度量。線性隨機(jī)系統(tǒng)之所以使用傳統(tǒng)方法控制就能取得良好效果，原因就在于系統(tǒng)狀態(tài)的概率密度函數(shù)是高斯型形狀，除了均值和方差外，其余高階統(tǒng)計(jì)特征都無實(shí)際意義。

而對(duì)于非線性系統(tǒng)，其性能指標(biāo)除了均值、方差外，還需要顧及更高階的統(tǒng)計(jì)特征，例如峭度、陡度等。在控制指標(biāo)上，某些工業(yè)生產(chǎn)過程常常以安全、質(zhì)量、環(huán)保等為控制指標(biāo)。這些指標(biāo)往往不需要達(dá)到最優(yōu)，只需要約束在某個(gè)允許的范圍內(nèi)。這類控制問題使用概率密度函數(shù)形狀作為控制目標(biāo)就更為合適，控制器設(shè)計(jì)的目的是讓系統(tǒng)在要求的指標(biāo)范圍內(nèi)運(yùn)行[7]。在這種情況下，以完全統(tǒng)計(jì)特征為目的的分析與控制方法在近年來應(yīng)運(yùn)而生，受到越來越多的重視[8-10]。概率密度函數(shù)控制方法是對(duì)隨機(jī)過程統(tǒng)計(jì)特征的完整刻畫，遠(yuǎn)遠(yuǎn)優(yōu)于以低階矩近似的統(tǒng)計(jì)量的控制方法，也因此表現(xiàn)出了優(yōu)秀的控制性能和研究?jī)r(jià)值[11-14]。

針對(duì)非線性隨機(jī)系統(tǒng)，為克服FPK方程求解的固有難題，在分析概率密度函數(shù)跟蹤問題的基礎(chǔ)上，提出了一種對(duì)系統(tǒng)狀態(tài)穩(wěn)態(tài)響應(yīng)的概率密度函數(shù)進(jìn)行控制的算法。該算法通過將概率密度函數(shù)展開為多項(xiàng)式，以FPK方程組為工具，成功推導(dǎo)出穩(wěn)態(tài)概率密度函數(shù)和隨機(jī)系統(tǒng)的關(guān)系，將方程組的解為控制增益的函數(shù)。同時(shí)，為使被控概率密度函數(shù)形狀具有期望的形式，構(gòu)造了一個(gè)優(yōu)化問題，并搜索出了最優(yōu)控制增益，實(shí)現(xiàn)了概率密度函數(shù)的良好跟蹤。

2 問題描述

考慮處于隨機(jī)環(huán)境中的如下標(biāo)量非線性系統(tǒng)：

(1)

其中，z(t)∈為系統(tǒng)狀態(tài)；z0為初始狀態(tài)；w(t)∈為高斯白噪聲，其均值為零，譜密度為S0；φ(·)∈為非線性函數(shù)，表示系統(tǒng)模型。

假定φ(z)為如下多項(xiàng)式形式：

φ(z)=α0+α1z+α2z2+…+αmzm

其中，m為多項(xiàng)式階數(shù)。

如果φ(z)不具備多項(xiàng)式形式，可以將φ(z)關(guān)于z進(jìn)行Taylor級(jí)數(shù)展開，用Taylor級(jí)數(shù)展開的前m+1項(xiàng)逼近φ(z)。

希望確定一個(gè)狀態(tài)反饋函數(shù)μ(t)=u(z)，在該函數(shù)的控制下，z(t)到達(dá)穩(wěn)態(tài)時(shí)對(duì)應(yīng)的概率密度函數(shù)ρ(z)能夠跟蹤期望的形狀ρd(z)。

一般來說，非線性系統(tǒng)的控制需要使用非線性控制律，如果使用線性控制律則很難達(dá)到控制目的。因此，采用的u(z)形式如下：

u(z)=β0+β1z+β2z2+…+βnzn

其中，n為多項(xiàng)式階數(shù)。

因此，問題描述如下：

確定u(z)的參數(shù)β0,β1,…,βn，使系統(tǒng)

(2)

穩(wěn)態(tài)時(shí)對(duì)應(yīng)的概率密度函數(shù)ρ(z)能夠跟蹤期望的形狀ρd(z)。其中h(z)=φ(z)+u(z)=b0+b1z+b2z2+…+bxzx。bi和αi、βi關(guān)系如下：

(3)

其中，x取值為max(m,n)。顯然，如果m較大，則βn+1到βm都為0；如果n較大，那么αm+1到αn則都為0。

3 多項(xiàng)式展開概率密度函數(shù)控制方法

系統(tǒng)(2)對(duì)應(yīng)的FPK方程為[15]：

(4)

其中，D=πS0。

假設(shè)FPK方程具有如下v次多項(xiàng)式形式的近似解：

(5)

(6)

因?yàn)棣裿(z)僅為方程(4)的近似解，也即為方程(6)的近似解。這樣，將式(5)直接代入方程(6)不會(huì)使得該方程成立。不過，可以采用如下方法確定待定的常數(shù)si。

首先固定常數(shù)v，然后將式(5)代入式(6)的左邊，則有：

(7)

求解y(z)的具體形式，有：

R{[(s0b1+s1b0)+2(s0b2+s1b1+s2b0)z+…+

(v+x)svbxzv+x-1]+D[2s0+6s3z+…+

v(v-1)zv-2]}=R[(s0b1+s1b0+2Ds0)+

2(s0b2+s1b1+s2b0+3Ds3)z+…+

(v+x)svbxzv+x-1]=R[c0+2c1z+…+

(v+x)cv+x-1zv+x-1]

(8)

可見，y(z)也具有多項(xiàng)式形式。如果ρv(z)是方程(6)的精確解，則y(z)=0。如果ρv(z)不是方程(6)的精確解，則y(z)≠0，此時(shí)y(z)可以認(rèn)為是用近似解ρv(z)代替精確解ρ(z)所引起的誤差。該誤差越小，ρv(z)越精確。為使誤差盡可能小，令y(z)多項(xiàng)式各階系數(shù)c0,c1,…,cv+x-1都為0，得到如下線性方程組：

(9)

可見，隨機(jī)系統(tǒng)(2)中多項(xiàng)式h(z)的各項(xiàng)系數(shù)b0,b1,…,bx和該系統(tǒng)的穩(wěn)態(tài)概率密度函數(shù)ρ(z)的多項(xiàng)式形式的各項(xiàng)系數(shù)s0,s1,…,sv之間存在式(9)所蘊(yùn)含的關(guān)系。如果h(z)形式已知，解該方程組，可以求出s0,s1,…,sv，進(jìn)而得到隨機(jī)系統(tǒng)(2)的穩(wěn)態(tài)概率密度函數(shù)ρ(z)。

反之，如果ρ(z)已知，解該方程組，則可以求出b0,b1,…,bx，進(jìn)而通過式(10)得到β0,β1,…,βn的值，從而確定出控制器u(z)的具體形式：

(10)

研究目的為根據(jù)期望的密度函數(shù)ρd(z)來確定控制器u(z)的結(jié)構(gòu)形式。結(jié)合該方法，s0,s1,…,sv可由ρd(z)求出，代入方程組(9)，求出b0,b1,…,bx，就可以實(shí)現(xiàn)研究的目的。

遺憾的是，一般情況下，方程組(9)中的方程個(gè)數(shù)都超過了變量b0,b1,…,bx的個(gè)數(shù)，即出現(xiàn)超定現(xiàn)象，導(dǎo)致方程組的求解出現(xiàn)困難，甚至解不存在。

為解決上述超定問題，構(gòu)造如下優(yōu)化問題：

(11)

(12)

通過該方法，能夠確定出u(z)的參數(shù)，使得在u(z)的作用下，系統(tǒng)(2)穩(wěn)態(tài)時(shí)對(duì)應(yīng)的概率密度函數(shù)ρ(z)能夠跟蹤期望的概率密度函數(shù)ρd(z)，從而達(dá)到研究目的。

4 仿真分析

綜合上述分析，隨機(jī)系統(tǒng)概率密度函數(shù)算法的計(jì)算機(jī)實(shí)現(xiàn)步驟如下：

Step1：約束ρd(z)具備多項(xiàng)式展開形式，指定多項(xiàng)式最高次數(shù)為x；

Step3：判斷e是否滿足精度要求。如果滿足要求進(jìn)入Step4，否則增大x的值并返回Step2；

Step4：按照式(10)計(jì)算βi的值；

Step5：根據(jù)式(12)確定控制器u(z)的結(jié)構(gòu)。

下面給出實(shí)例仿真。

考慮如下白噪聲激勵(lì)的非線性系統(tǒng)：

(13)

其中，w(t)是均值為0的高斯白噪聲，其譜密度為1/π。

期望的概率密度函數(shù)為：

(14)

ρe(z)形狀上是一個(gè)半圓。容易得到其θe0,θe1,…,θen分別為：θe0=0.798，θe1=0，θe2=-1.253，θe3=0，θe4=-5.906，θe5=0

取u(z)最高階數(shù)和φ(z)最高階數(shù)一致,按照所提出的方法，調(diào)節(jié)后的概率密度函數(shù)為：

(15)

對(duì)應(yīng)的調(diào)節(jié)函數(shù)為：

u(z)=-0.941z+0.182z2+2.392z3

(16)

用u(z)調(diào)節(jié)目標(biāo)系統(tǒng)，狀態(tài)z穩(wěn)態(tài)時(shí)的概率密度函數(shù)的形狀如圖1所示。可見，調(diào)節(jié)后的概率密度函數(shù)對(duì)目標(biāo)概率密度函數(shù)跟蹤較好。

圖1 u(z)控制下的概率密度函數(shù)

5 結(jié)束語

針對(duì)非線性隨機(jī)系統(tǒng)，通過對(duì)概率密度函數(shù)展開為多項(xiàng)式的方法，以FPK方程為工具得到了控制增益和概率密度函數(shù)多項(xiàng)式系統(tǒng)的關(guān)系，并進(jìn)一步實(shí)現(xiàn)了概率密度函數(shù)的良好控制。針對(duì)普通的非線性隨機(jī)系統(tǒng)，通過把概率密度函數(shù)表述為多項(xiàng)式方式，一般能夠解決概率密度函數(shù)的控制問題，線性方程組計(jì)算盡管存在超定問題，但通過優(yōu)化問題計(jì)算起來也比較簡(jiǎn)單。從仿真實(shí)例可以發(fā)現(xiàn)，針對(duì)一般的非線性隨機(jī)系統(tǒng)，該算法達(dá)到了理想的控制效果。但若被控概率密度函數(shù)過于復(fù)雜，可能出現(xiàn)解出的概率密度函數(shù)出現(xiàn)負(fù)值的情況，會(huì)影響系統(tǒng)的控制效果。這個(gè)問題是后續(xù)進(jìn)一步研究解決的重點(diǎn)。

[1] 郭尚來.隨機(jī)系統(tǒng)[M].北京:清華大學(xué)出版社,1999.

[2] Guo X Y,Li J M. Stochastic adaptive synchronization for time-varying complex delayed dynamical networks with heterogeneous nodes[J].Applied Mathematics and Computation，2013,222(5):381-390.

[3] Li D,Qian F C,Gao J J.Performance-first control for discrete-time LQG problems[J].IEEE Transactions on Automatic Control,2009,54(9):2225-2230.

[4] 錢富才,李 江,趙 平.雙重不確定性系統(tǒng)的跟蹤與辨識(shí)[J].系統(tǒng)工程理論與實(shí)踐,2012,32(4):839-846.

[5] Qian F C,Gao J J,Li D.Complete statistical characterization of discrete-time LQG and cumulant control[J].IEEE Transactions on Automatic Control,2012,57(8):2110-2115.

[6] Yue H,Wang H.Minimum entropy control of closed-loop tracking errors for dynamic stochastic systems[J].IEEE Transactions on Automatic Control,2003,48(1):118-122.

[7] Yang H Z,Qian F C,Gao S,et al.The shape control of probability density function for a class of stochastic systems[J].System s Engineering - Theory & Practice,2016,36(9):2424-2431.

[8] 姜文濤,劉萬軍,袁 姮.基于軟特征理論的目標(biāo)跟蹤研究[J].計(jì)算機(jī)學(xué)報(bào),2016,39(7):1334-1355.

[9] Amineh A,Teh Y W,Hadi S.On density-based data streams clustering algorithms:a survey[J].Journal of Computer Science & Technology,2014,29(1):116-141.

[10] 王法勝,魯明羽,趙清杰,等.粒子濾波算法[J].計(jì)算機(jī)學(xué)報(bào),2014,37(8):1679-1694.

[11] 楊恒占,錢富才,黃姣茹,等.一類隨機(jī)系統(tǒng)完全統(tǒng)計(jì)特征控制[J].控制理論與應(yīng)用,2016,33(5):669-675.

[12] 欒小麗,劉 飛.隨機(jī)系統(tǒng)輸出概率密度函數(shù)的有限時(shí)間鎮(zhèn)定[J].控制與決策,2009,24(8):1161-1166.

[13] Guo L,Wang H.Stochastic distribution control system design[M].London:Springer,2010.

[14] 黃錦旺,李廣明,馮久超,等.一種無線傳感器網(wǎng)絡(luò)中的混沌信號(hào)重構(gòu)算法[J].物理學(xué)報(bào),2014,63(14):77-83.

[15] Wagner U V,Wedig W V.On the calculation of stationary solutions of multi-dimensional Fokker-Planck equations by orthogonal functions[J].Nonlinear Dynamics,2000,21(3):289-306.

Dual Control Algorithm for Stochastic System with Parameters Drifting

YANG Heng-zhan，ZHANG Xiao-qian，BI Xue-qin

(School of Electronic and Information Engineering,Xi’an Technological University,Xi’an 710021,China)

For nonlinear stochastic systems，the traditional control methods with the mean or variance as control target are difficult to achieve good control effect.The probability density function could express the complete characterization of the system,therefore it can reach an ideal performance.A novel algorithm of probability density function control is proposed for the nonlinear stochastic systems in the stationary case.The relationship between steady-state probability density function and stochastic system is successfully deduced with the method of expanding the probability density function into polynomial according to the FPK equations.An optimization problem is further constructed to solve the over-determined problem of the equations.Thus the gain control of polynomials is calculated according to the requirements of the target probability density function.Its computer implementation steps are given eventually.Simulation illustrates it is effective and feasible,which can be offline computation wwith high efficiency and good control effect.

stochastic system;probability density function;polynomial;nonlinear

2016-11-01

2017-02-21 網(wǎng)絡(luò)出版時(shí)間：2017-07-05

陜西省教育專項(xiàng)科研計(jì)劃項(xiàng)目(16JK1364)

楊恒占(1976-)，男，講師，碩士，研究方向?yàn)榍度胧较到y(tǒng)、隨機(jī)控制、最優(yōu)控制。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170705.1653.090.html

TP301.6

A

1673-629X(2017)08-0102-04

10.3969/j.issn.1673-629X.2017.08.021