楊恒占 高韻 付月園

（西安工業(yè)大學(xué)電子信息工程學(xué)院西安710021）

參數(shù)未知系統(tǒng)的多模型對(duì)偶控制算法?

楊恒占 高韻 付月園

（西安工業(yè)大學(xué)電子信息工程學(xué)院西安710021）

論文針對(duì)參數(shù)未知的隨機(jī)系統(tǒng)提出一種多模型對(duì)偶控制算法。首先使用多個(gè)子模型代替參數(shù)未知的系統(tǒng)模型，然后以傳統(tǒng)的線性二次型高斯控制（LQG）為理論依據(jù)，引入后驗(yàn)概率，在多個(gè)模型中篩選出綜合的參數(shù)模型，最后利用該模型對(duì)系統(tǒng)進(jìn)行控制，獲得一種新的多模型對(duì)偶控制策略。仿真結(jié)果表明了該文算法的有效性。

隨機(jī)系統(tǒng)；對(duì)偶控制；多模型

Class NumberTP301.6

1 引言

不確定性無(wú)處不在。不確定性的存在使得在很多領(lǐng)域都不能用簡(jiǎn)單的模型進(jìn)行分析，例如在實(shí)際工業(yè)生產(chǎn)、航天航空、經(jīng)濟(jì)等領(lǐng)域等，而必須采用隨機(jī)理論方法進(jìn)行控制。系統(tǒng)長(zhǎng)期運(yùn)行或運(yùn)行于不同環(huán)境導(dǎo)致的參數(shù)變化，使得系統(tǒng)不僅會(huì)受到外界的隨機(jī)噪聲干擾（濕度、溫度、風(fēng)速等），而且系統(tǒng)模型參數(shù)本身也可能存在不確定性（零件的磨損程度、質(zhì)量變化、壓強(qiáng)等），即同時(shí)存在噪聲的不確定性和模型參數(shù)的不確定性這兩種不確定性［1］。

當(dāng)系統(tǒng)模型中已知時(shí)，經(jīng)典的隨機(jī)理論現(xiàn)在可通過(guò)成熟的算法求出系統(tǒng)的最優(yōu)解，但是經(jīng)典控制理論的系統(tǒng)為簡(jiǎn)單的系統(tǒng)，即系統(tǒng)僅僅只有外部的噪聲，當(dāng)系統(tǒng)的模型未知時(shí)，經(jīng)典理論不能求出最優(yōu)解，因此，需尋求一種新算法對(duì)未知參數(shù)模型系統(tǒng)進(jìn)行控制。從20世紀(jì)50年代開(kāi)始，自適應(yīng)控制問(wèn)題已經(jīng)開(kāi)始進(jìn)入研究者的視線，在其控制中，需要對(duì)兩個(gè)方面需求進(jìn)行滿足：一是對(duì)被控對(duì)象的學(xué)習(xí)功能，即就是在控制的過(guò)程中累積有關(guān)對(duì)象特性的知識(shí)；二是控制功能，即在累積知識(shí)的同時(shí)對(duì)系統(tǒng)施加控制，使系統(tǒng)輸出達(dá)到期望值［2～3］。

針對(duì)雙重不確定性系統(tǒng)，傳統(tǒng)自適應(yīng)控制方法大致有兩種思路：一是讓均值取代未知參數(shù)，未知系統(tǒng)構(gòu)造出一個(gè)已知系統(tǒng)，這種方法為確定性等價(jià)原理。但是此方法誤差太大，且不能靈活地調(diào)節(jié)系統(tǒng)。二是首先對(duì)系統(tǒng)進(jìn)行激勵(lì)，收集系統(tǒng)運(yùn)行信息，然后對(duì)收集的信息進(jìn)行處理，辨識(shí)出未知參數(shù)，最后再依據(jù)辨識(shí)結(jié)果進(jìn)行控制［4～7］。在這個(gè)過(guò)程中，一方面，信息收集過(guò)程對(duì)生產(chǎn)過(guò)程而言是一個(gè)消耗過(guò)程，本身不產(chǎn)生正向收益；另一方面，如果系統(tǒng)運(yùn)行過(guò)程中參數(shù)發(fā)生變化，則控制效果必然會(huì)發(fā)生偏差甚至無(wú)法控制［8］。

對(duì)偶控制的出現(xiàn)，有效地解決了上述自適應(yīng)控制存在的問(wèn)題。對(duì)偶控制把對(duì)未知參數(shù)的辨識(shí)學(xué)習(xí)和對(duì)系統(tǒng)的目標(biāo)跟蹤綜合一起，對(duì)系統(tǒng)邊一邊控制，一邊辨識(shí)。即使系統(tǒng)運(yùn)行過(guò)程匯總參數(shù)發(fā)生漂移或突變，也能夠跟蹤辨識(shí)參數(shù)變化并完成既定控制目標(biāo)。相比傳統(tǒng)的先辨識(shí)后控制的方法，對(duì)偶控制不僅具有閉環(huán)系統(tǒng)穩(wěn)定性，而且對(duì)系統(tǒng)變化的參數(shù)可實(shí)時(shí)更新［9～10］。

本文針對(duì)一類參數(shù)未知的隨機(jī)系統(tǒng)，將系統(tǒng)在不同情況下的系統(tǒng)結(jié)構(gòu)和參數(shù)采用不同的辨識(shí)模型描述，以傳統(tǒng)的線性二次型高斯控制（LQG）為理論基礎(chǔ)，采用“簡(jiǎn)化分割，分而治之”的思想，根據(jù)每個(gè)子系統(tǒng)的模型分別設(shè)計(jì)各自的子控制器，以各子系統(tǒng)的后驗(yàn)概率為協(xié)調(diào)變量整合各子模型的控制率，對(duì)系統(tǒng)進(jìn)行控制的同時(shí)進(jìn)行模型辨識(shí)，設(shè)計(jì)出一種多模型對(duì)偶控制算法。

2 問(wèn)題描述

參數(shù)模型未知且是多模型時(shí)，系統(tǒng)模型為

其中y(k)為m×1觀測(cè)向量，x(k)是n×1狀態(tài)向量，u(k)為r×1控制向量；{w(k)}，{v(k)}為模型噪聲向量和量測(cè)噪聲向量，且相互獨(dú)立，均值都為0，協(xié)方差為高斯白噪聲，分別為Q(k)和R(k)。θ為p×1向量，在參數(shù)空間Θθ內(nèi)取值，可以認(rèn)為參數(shù)未知且有多個(gè)模型。

狀態(tài)轉(zhuǎn)移陣Φ，增益陣G，量測(cè)陣H未知，在空間Θθ={Φi，Gi，Hi}，i=1，…，M內(nèi)取值，由多個(gè)模型構(gòu)成，模型的組數(shù)為M，θ在確定的或假定的先驗(yàn)概率密度函數(shù)p(θ)下是不確定的，系統(tǒng)參數(shù)真值是未知的。

控制目標(biāo)是取得控制量{} u(0)，u(1)，…，u(N-1)，讓性能指標(biāo)為最小：

其中，Q0(N)，Q1(k)是半正定矩陣，Q2(k)是正定矩陣(k=0，1，…，N-1)。

3 控制器設(shè)計(jì)

當(dāng)系統(tǒng)中參數(shù)包含未知的參數(shù)θ，即Φ，G，H參數(shù)未知的情況下，并且都由多個(gè)模型組成，因此要解決的問(wèn)題為多模型參數(shù)未知的對(duì)偶問(wèn)題。而經(jīng)典的LQG問(wèn)題中參數(shù)為已知，因此，在參數(shù)模型未知的情況下，原有的控制器不能繼續(xù)使用。但是，從經(jīng)典LQG問(wèn)題求解的思路可以得到啟示，通過(guò)在線計(jì)算和離線計(jì)算把各獨(dú)立的函數(shù)乘積而得到的控制器，這種分離在對(duì)任意的閉環(huán)系統(tǒng)中都是可取的。因此，針對(duì)此問(wèn)題，也可以對(duì)多模型進(jìn)行設(shè)計(jì)：

根據(jù)動(dòng)態(tài)規(guī)劃可知，其中Jm是一個(gè)在k每一次取值都會(huì)利用前一時(shí)刻的值計(jì)算得到的最優(yōu)性能指標(biāo)。

因此，根據(jù)動(dòng)態(tài)規(guī)劃性質(zhì)可知：

根據(jù)式（1）求出的u(k)為最優(yōu)控制策略。但是由于維數(shù)災(zāi)問(wèn)題，不能獲得上式中的最小閉合解，因此，可對(duì)上式進(jìn)行近似等價(jià)變型，可以最小化每一步的性能指標(biāo)，從而求出一個(gè)問(wèn)題次優(yōu)解。因此，對(duì)式（1）進(jìn)行近似，J1(k)的值可用下面的J2(k)給出，如下：

上式給出的J2(k)認(rèn)為是一個(gè)加權(quán)平均值，當(dāng)模型中的每一組參數(shù)為系統(tǒng)模型時(shí)，這時(shí)問(wèn)題就成為經(jīng)典的LQG問(wèn)題，后驗(yàn)概率作為加權(quán)系數(shù)，具有以下特征：當(dāng)參數(shù)模型為真實(shí)模型時(shí)，后驗(yàn)概率趨近于1，而當(dāng)參數(shù)模型為非真實(shí)參數(shù)模型時(shí)，后驗(yàn)概率趨近于0。

后驗(yàn)概率是基本的信息理論，在實(shí)際中也有很多實(shí)例，在控制系統(tǒng)中，傳感器接收到反饋的信息之后，測(cè)量端通過(guò)所了解到信息得出發(fā)送的概率就稱為后驗(yàn)概率。后驗(yàn)概率在得到信息之后重新對(duì)概率進(jìn)行修正，如貝葉斯公式中的反向推理問(wèn)題，就是后驗(yàn)概率問(wèn)題。而先驗(yàn)概率和后驗(yàn)概率有著密切的關(guān)系，先驗(yàn)概率可作為后驗(yàn)概率的基礎(chǔ)［28］。

因此，對(duì)于多模型的加權(quán)控制問(wèn)題，設(shè)計(jì)出多模型自適應(yīng)控制系統(tǒng)框圖如圖1。

如圖1所示，可以先通過(guò)動(dòng)態(tài)規(guī)劃離線計(jì)算狀態(tài)增益矩陣K(k，θ)和濾波增益F(k，θ)，此過(guò)程是離線過(guò)程；然后針對(duì)每一個(gè)模型θ組成的系統(tǒng)，通過(guò)卡爾曼濾波預(yù)測(cè)出狀態(tài)向量x(k|k，θ)和協(xié)方差矩陣，并通過(guò)LQG經(jīng)典算法求出每一個(gè)模型的控制量u(k|k)，接著在根據(jù)后驗(yàn)概率P(k，θ)的公式求出每個(gè)模型的后驗(yàn)概率，最后，把每個(gè)模型的控制量乘以自己的后驗(yàn)概率，再通過(guò)加權(quán)的方式求出最終的控制器。在此過(guò)程中，離線的計(jì)算過(guò)程減小了在線計(jì)算的工作量，從而對(duì)運(yùn)算速度有很大提高。

因此，針對(duì)參數(shù)未知的多模型自適應(yīng)控制完整的算法流程給出如下步驟：

Step1：離線計(jì)算狀態(tài)增益：

Step2：對(duì)第i個(gè)模型，利用Kalman濾波方法求解狀態(tài)估計(jì)x(k/k，θi)：

Step3：第i個(gè)模型后驗(yàn)概率的求解：

其中，

Step4：求出自適應(yīng)控制器：

4 仿真分析

為了更好地驗(yàn)證本文算法的可行性，通過(guò)仿真實(shí)例來(lái)進(jìn)行分析說(shuō)明，并分別在兩種情況下進(jìn)行仿真：一種是參數(shù)為多模型未知參數(shù)，并且運(yùn)行過(guò)程中參數(shù)不變；二是參數(shù)為多模型未知參數(shù)，但在運(yùn)行過(guò)程中會(huì)發(fā)生切換。

考慮如下參數(shù)未知且為多模型的一階系統(tǒng)：

其中，未知參數(shù)a和b為常數(shù)。狀態(tài)噪聲和測(cè)量噪聲w(k)和v(k)分別是均值為0，方差為σw2=0.25，σ2=0.04，高斯白噪聲，步數(shù)N=100。性能指標(biāo)

v

為：

要做的就是尋找控制律u(k)，使上述性能指標(biāo)最小。

1）多模型參數(shù)不發(fā)生切換：

模型不切換，認(rèn)為參數(shù)模型一：a=0.8，b=0.5，為真實(shí)參數(shù)模型；

模型二為：a=0.4，b=1.0，為非真實(shí)參數(shù)模型。兩個(gè)后驗(yàn)概率初始值都為0.5，仿真步數(shù)100步，后驗(yàn)概率仿真情況如圖2所示。

圖2后驗(yàn)概率圖

從圖2中可以看出兩個(gè)模型開(kāi)始的后驗(yàn)概率都是1/2，隨著仿真步數(shù)的增加，真實(shí)參數(shù)模型一的后驗(yàn)概率逐漸趨近1，而非真實(shí)模型二的后驗(yàn)概率逐漸趨近于0，說(shuō)明對(duì)偶自適應(yīng)算法在針對(duì)不同模型有一定的識(shí)別能力。

當(dāng)系統(tǒng)中的參數(shù)模型為已知的真實(shí)模型時(shí)候，對(duì)系統(tǒng)進(jìn)行控制成為最優(yōu)控制，圖3是最優(yōu)控制與多模型的控制率比較。

圖3最優(yōu)控制與多模型的控制率比較

圖3是真實(shí)參數(shù)模型的經(jīng)典LQG最優(yōu)控制率與多模型基于后驗(yàn)概率的控制率的比較，可以看出，多模型后驗(yàn)概率基本和最優(yōu)控制率形態(tài)保持一致，波動(dòng)較大的原因?yàn)橄到y(tǒng)在識(shí)別參數(shù)模型時(shí)，需要有一定控制率進(jìn)行識(shí)別控制，從而篩選出真實(shí)的參數(shù)。

2）多模型參數(shù)發(fā)生切換

基于仿真一多模型系統(tǒng)參數(shù)不切換的情況下，在此基礎(chǔ)設(shè)定系統(tǒng)參數(shù)模型在運(yùn)行過(guò)程中發(fā)生切換，當(dāng)系統(tǒng)在運(yùn)行過(guò)程中，參數(shù)模型不僅是一個(gè)有限集合，而且參數(shù)會(huì)發(fā)生切換，在基于上述仿真結(jié)果的前提下，設(shè)定真實(shí)參數(shù)不是一個(gè)定值，而是不斷切換，為了更好的對(duì)上述情況進(jìn)行對(duì)比，認(rèn)為系統(tǒng)模型為式（2），參數(shù)在第二階段發(fā)生切換，基于這種情況下，多模型自適應(yīng)算法對(duì)這種情況同樣進(jìn)行分析，仿真步數(shù)為200步。

前100步：真實(shí)參數(shù)為模型一，取a=0.8，b=0.5，非真實(shí)參數(shù)為模型二，取a=0.4，b=1.0；

后100步：真實(shí)參數(shù)為模型二：取a=0.4，b=1.0，非真實(shí)參數(shù)為模型一：取a=0.8，b=0.5。

結(jié)果如圖4所示。

圖4參數(shù)模型切換后驗(yàn)概率圖

從圖4中可看出來(lái)，100步之前，當(dāng)系統(tǒng)真實(shí)參數(shù)為模型一，從圖中看出，模型一的后驗(yàn)概率為隨著仿真步數(shù)的增加，逐漸趨近于1，而非真實(shí)參數(shù)模型二的后驗(yàn)概率逐漸趨近于0；在100步之后，系統(tǒng)真實(shí)參數(shù)切換為模型二，非真實(shí)參數(shù)模型切換為一，從圖中可以看出，經(jīng)過(guò)短暫的調(diào)整之后，模型一的后驗(yàn)概率由原來(lái)的1又慢慢的趨近于0，而模型二的后驗(yàn)概率又逐漸趨近于1，可見(jiàn)此方法不僅可以對(duì)多模型參數(shù)系統(tǒng)中的真實(shí)參數(shù)進(jìn)行識(shí)別，而且對(duì)于多模型參數(shù)切換的系統(tǒng)同樣可以進(jìn)行有效的控制識(shí)別。

5 結(jié)語(yǔ)

本文針對(duì)系統(tǒng)未知參數(shù)的多模型隨機(jī)系統(tǒng)進(jìn)行分析，通過(guò)傳統(tǒng)的LQG模型的求解，加入后驗(yàn)概率來(lái)識(shí)別模型，針對(duì)每一個(gè)模型進(jìn)行去求控制器時(shí)，就成為經(jīng)典LQG問(wèn)題，每個(gè)模型的控制器乘以它所對(duì)應(yīng)的后驗(yàn)概率，最后在把每個(gè)模型的乘積加權(quán)在一起，就得出多模型未知參數(shù)隨機(jī)系統(tǒng)的控制器。通過(guò)仿真圖可以看出，系統(tǒng)的后驗(yàn)概率有很強(qiáng)的識(shí)別能力。

從仿真結(jié)果也可以看出，針對(duì)參數(shù)模型發(fā)生切換的情況，盡管在參數(shù)發(fā)生切換之后系統(tǒng)的后驗(yàn)概率能進(jìn)行有效的切換更改，但是響應(yīng)速度不夠迅速，后續(xù)研究可從這方面入手進(jìn)行進(jìn)一步的優(yōu)化。

［1］Li D，Qian F C，F(xiàn)u P L.Optimal nominal dual control for discrete-time LQG problem with unknown parame-ters［J］.Automatica，2008，44（1）：119-127.

［2］D.O.Brian，etc.Twenty-five seminal papers in control［J］.IEEE control systems magazine，2002，20（1）：69-70.

［3］郭尚來(lái).隨機(jī)控制［M］.北京：清華大學(xué)出版社，1999：97-117. GUO Shanglai.Random Control［M］.Beijing：Tsinghua University Press，1999：97-117.

［4］Sokolov V F.Model evaluation for robust tracking under unknown upper bounds on perturbations and measurement noise［J］.IEEE Transactions on Automatic Control，2014， 59（2）：483-488.

［5］Deshpande J G，Upadhyay T N，Lainiotis D G.Adaptive Control of Linear Stochastic Systems［J］.IEEE Transac?tions on Automatic Control，1973，18（9）：107-115.

［6］He W G，Howard K，Rob R.Multiple Model Adaptive Con?trol Procedure for Blood Pressure Control［J］.IEEE Trans?actions on Biomed Eng，1986，33（1）：10-19.

［7］Watanabe K.A hierarchical Multiple Model Adaptive Con?trol of discrete-time Stochastic Systems for Sensor and Ac?tuator Uncertainties［J］.Automatica，1990，26（5）：875-886.

［8］Filipe N，Tsiotras P.Adaptive position and attitude-track?ing controller for satellite proximity operations using dual quaternions［J］.Journal of Guidance，Control，and Dy?namics，2014，38（4）：566-577.

［9］Li D，Qian F C，F(xiàn)u P L.Variance minimization approach for a class of dual control problems［J］.IEEE Transactions on Automatic Control，2002，47（12）：2010-2020.

［10］楊恒占，高韻，錢富才.雙重不確定隨機(jī)系統(tǒng)對(duì)偶控制與RLS辨識(shí)控制比較分析［J］.西安工業(yè)大學(xué)學(xué)報(bào)，2016，36（10）：843-847. YANG Hengzhan，GAO Yun，QIAN Fucai.The analysis of dual control and RLS identification control for system with dual uncertainties［J］.Journal of Xi'an Technologi?cal University，2016，36（10）：843-847.

Dual Control Algorithm for System with Parameters Unknown

YANG HengzhanGAO YunFU Yueyuan
（School of Electronic and Information Engineering，Xi'an Technological University，Xi'an710021）

A multi-model dual control algorithm is presented for stochastic system with parameters unknown.Multiple models are used to describe the system model first，and then the integrate model is identified from multiple models via joining the posterior probability based on the LQG control theory.Finally，the integrate model is uesd to control the system.Simulation results illustrate the effectiveness of the algorithm.

stochastic system，dual control，multi-model

TP301.6

10.3969/j.issn.1672-9722.2017.07.004

2017年1月14日，

2017年2月17日

國(guó)家自然科學(xué)基金（編號(hào)：61273127）資助。

楊恒占，男，博士，講師，研究方向：隨機(jī)控制、最優(yōu)控制、故障診斷等。高韻，女，碩士研究生，研究方向：控制理論與控制工程。付月園，女，碩士研究生，研究方向：控制理論與控制工程。