余自權(quán)，程月華，張友民，姜 斌*

(1.南京航空航天大學(xué)自動(dòng)化學(xué)院，江蘇南京210016；2.加拿大康考迪亞大學(xué)機(jī)械、工業(yè)與航空工程系，蒙特利爾H3G 1M8)

集群無人機(jī)逐漸被用于執(zhí)行廣域監(jiān)視、資源勘查、森林火情檢測(cè)等復(fù)雜、危險(xiǎn)且耗時(shí)的任務(wù)[1-3].與單架無人機(jī)只能掛載少量特定類型的任務(wù)載荷相比，集群無人機(jī)可以掛載龐大數(shù)量和多種類型的任務(wù)載荷.通過將不同任務(wù)載荷分配至不同的無人機(jī)，集群無人機(jī)可以協(xié)作完成單架無人機(jī)難以完成的任務(wù)[4].目前，國(guó)內(nèi)外均已開展集群無人機(jī)的相關(guān)研究，例如：國(guó)內(nèi)中國(guó)電子科技集團(tuán)電子科學(xué)研究院完成的119架(2017)和200架(2018)無人機(jī)集群飛行試驗(yàn)；國(guó)外的“小精靈”項(xiàng)目、“低成本無人機(jī)集群技術(shù)”項(xiàng)目等.集群無人機(jī)協(xié)同執(zhí)行任務(wù)涉及感知技術(shù)、通信技術(shù)、計(jì)算機(jī)技術(shù)、控制技術(shù)和管理技術(shù)，為典型的“感-傳-算-控”系統(tǒng)，屬多學(xué)科交叉研究領(lǐng)域[5].在上述技術(shù)中，控制技術(shù)主要用于確保集群無人機(jī)系統(tǒng)協(xié)同編隊(duì)的穩(wěn)定性[6].比較典型的協(xié)同編隊(duì)控制架構(gòu)包括基于領(lǐng)航-跟隨、行為、虛擬結(jié)構(gòu)和圖論的控制架構(gòu)[7].基于上述控制架構(gòu)，神經(jīng)網(wǎng)絡(luò)自適應(yīng)、滑模、有限時(shí)間、勢(shì)能場(chǎng)等控制方法被廣泛用于集群無人機(jī)的協(xié)同控制中[8-9].

集群無人機(jī)協(xié)同執(zhí)行任務(wù)過程中經(jīng)常會(huì)遭遇陣風(fēng)、風(fēng)切變、常值風(fēng)等外界風(fēng)擾的影響，給整個(gè)集群編隊(duì)的安全控制帶來極大的挑戰(zhàn).此外，集群無人機(jī)編隊(duì)飛行過程中可能會(huì)遭遇致命性和非致命性故障[10].在突遭致命性故障情況下，如何將完全失效無人機(jī)從集群編隊(duì)中移除而不碰撞鄰近無人機(jī)，并且確保通信拓?fù)渥儞Q后的編隊(duì)穩(wěn)定性是亟待解決的關(guān)鍵性難題之一.另外一個(gè)關(guān)鍵性技術(shù)難題是當(dāng)集群無人機(jī)遭遇非致命性故障時(shí)，如何利用硬件冗余或者容錯(cuò)控制算法確保故障集群編隊(duì)依舊能較好地完成既定任務(wù).在非致命性故障情況下，集群無人機(jī)容錯(cuò)飛行控制算法的設(shè)計(jì)主要面臨如下挑戰(zhàn)性問題：1) 外界風(fēng)擾與集群內(nèi)部故障耦合情況下的容錯(cuò)協(xié)同控制問題；2) 考慮性能強(qiáng)約束需求的集群容錯(cuò)協(xié)同控制問題；3) 機(jī)間通信中斷/網(wǎng)絡(luò)攻擊下的集群容錯(cuò)協(xié)同控制問題；4) 集群無人機(jī)分布式故障診斷與容錯(cuò)協(xié)同控制的集成設(shè)計(jì)問題；5) 面向故障執(zhí)行器二次損傷防護(hù)的平穩(wěn)快響容錯(cuò)協(xié)同控制問題；6) 考慮輸入、狀態(tài)、輸出約束下的容錯(cuò)協(xié)同控制設(shè)計(jì)[10].為提升集群無人機(jī)編隊(duì)遭遇非致命性故障情況下的飛行安全性，基于預(yù)設(shè)性能函數(shù)，Yang等[11]針對(duì)多架三自由度無人直升機(jī)設(shè)計(jì)了分布式協(xié)同控制策略，確保了無人機(jī)編隊(duì)在遭遇故障、不確定性和輸入飽和情況下的飛行安全性.Yu等[12]采用分布式滑模估計(jì)器與容錯(cuò)控制分層設(shè)計(jì)架構(gòu)，基于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法、最小參數(shù)學(xué)習(xí)方法和一階滑模微分器設(shè)計(jì)了集群固定翼無人機(jī)有限時(shí)間容錯(cuò)協(xié)同控制方案，提升了集群無人機(jī)遭遇故障情況下的編隊(duì)飛行安全性.Yu等[10]針對(duì)集群無人機(jī)容錯(cuò)協(xié)同控制研究的歷史及現(xiàn)狀，以及未來可能的研究方向進(jìn)行了詳細(xì)分析，并闡述了目前用于容錯(cuò)協(xié)同控制研究的方法.

作為一種可用于解決強(qiáng)非線性控制問題的強(qiáng)化學(xué)習(xí)方法，Actor-Critic強(qiáng)化學(xué)習(xí)方法集成了基于Value的Q-Learning方法和基于Policy的Policy Gradients方法，其中Critic神經(jīng)網(wǎng)絡(luò)用于評(píng)估控制行為，Actor神經(jīng)網(wǎng)絡(luò)基于Critic神經(jīng)網(wǎng)絡(luò)評(píng)估結(jié)果修正控制信號(hào).與四旋翼無人機(jī)的運(yùn)動(dòng)特性相比，固定翼無人機(jī)具有較強(qiáng)的非線性，并且各個(gè)控制通道之間存在強(qiáng)耦合特性[13-14].將強(qiáng)化學(xué)習(xí)機(jī)制引入集群固定翼無人機(jī)容錯(cuò)協(xié)同控制設(shè)計(jì)中，可以有效解決風(fēng)擾、故障、強(qiáng)非線性耦合影響下的容錯(cuò)協(xié)同控制設(shè)計(jì)難題.最近，越來越多的研究者開始在非線性控制設(shè)計(jì)中引入強(qiáng)化學(xué)習(xí)機(jī)制，以提升控制方案的學(xué)習(xí)能力[15-19].Xian等[15]針對(duì)遭遇外界干擾與系統(tǒng)不確定性的小型無人機(jī)，設(shè)計(jì)了Actor神經(jīng)網(wǎng)絡(luò)和Critic神經(jīng)網(wǎng)絡(luò)，分別用于估計(jì)未建模動(dòng)態(tài)不確定性和跟蹤性能函數(shù)，并構(gòu)建了基于Actor-Critic神經(jīng)網(wǎng)絡(luò)的強(qiáng)化學(xué)習(xí)魯棒自適應(yīng)控制策略，確保了無人機(jī)的飛行安全.Shi等[16]針對(duì)無向通信拓?fù)湎碌亩嗪教炱髯藨B(tài)編隊(duì)控制問題，引入預(yù)設(shè)性能函數(shù)，設(shè)計(jì)了可在線補(bǔ)償系統(tǒng)不確定性和估計(jì)代價(jià)函數(shù)的Actor-Critic神經(jīng)網(wǎng)絡(luò)強(qiáng)化學(xué)習(xí)機(jī)制，提出了一種航天器智能編隊(duì)控制方法，滿足航天器編隊(duì)跟蹤性能預(yù)設(shè)要求.Elhaki等[17]進(jìn)一步采用基于Actor-Critic神經(jīng)網(wǎng)絡(luò)的強(qiáng)化學(xué)習(xí)策略，研究存在未建模動(dòng)態(tài)和不確定性的欠驅(qū)動(dòng)自主無人潛航器跟蹤控制問題，提出了基于強(qiáng)化學(xué)習(xí)機(jī)制的魯棒自適應(yīng)神經(jīng)網(wǎng)絡(luò)控制方法.雖然目前基于強(qiáng)化學(xué)習(xí)機(jī)制的控制研究已取得部分成果，但針對(duì)遭遇風(fēng)擾、故障下的集群固定翼無人機(jī)強(qiáng)化學(xué)習(xí)容錯(cuò)協(xié)同控制研究還較少，亟待進(jìn)一步研究.

基于上述分析，本文將針對(duì)外界風(fēng)擾與內(nèi)部故障耦合影響下的集群無人機(jī)容錯(cuò)協(xié)同控制問題，結(jié)合強(qiáng)化學(xué)習(xí)機(jī)制，研究集群無人機(jī)容錯(cuò)協(xié)同控制方法，確保集群無人機(jī)在遭遇非致命性故障和風(fēng)擾情況下可同步跟蹤上參考指令信號(hào).

1 理論基礎(chǔ)

1.1 無人機(jī)數(shù)學(xué)模型

本文研究N架固定翼無人機(jī)集群編隊(duì)飛行過程中遭遇風(fēng)擾與執(zhí)行器故障情況下的容錯(cuò)協(xié)同控制方案，其中，第i架無人機(jī)的姿態(tài)動(dòng)力學(xué)模型可表示為[20]：

(1)

(2)

進(jìn)一步地，第i架無人機(jī)的姿態(tài)角速率運(yùn)動(dòng)模型可表示為：

(3)

(4)

其中：Cil0、Cilβ、Cilδa、Cilδr、Cilp、Cilr、Cim0、Cimα、Cimδe、Cimq、Cin0、Cinβ、Cinδa、Cinδr、Cinp和Cinr為氣動(dòng)力矩系數(shù).

基于式(1)～(3)，可得：

(5)

其中：fi11、fi12、fi13、di11、di12和di13具有如下的表達(dá)式：

(6)

其中：fi

χ

0、fiγ0、di

χ

和diγ可表示為：

(7)

(8)

將氣動(dòng)參數(shù)表達(dá)式(4)帶入角速率式(3)，可得：

(9)

(10)

定義xi1=[μi,αi,βi]T、xi2=[pi,qi,ri]T、ui=[δia,δie,δir]T，則可以獲得如下姿態(tài)模型：

(11)

其中：fi1=[fi11,fi12,fi13]T，fi2=[fi21,fi22,fi23]T，di1=[di11,di12,di13]T，gi1和gi2的表達(dá)式如下：

(12)

(13)

考慮副翼、升降舵、方向舵執(zhí)行器效率下降和作動(dòng)偏差故障，則可獲得如下面向控制的故障無人機(jī)模型：

(14)

其中:ρi=diag{ρi1,ρi2,ρi3}為效率下降矩陣，bif=[bif1,bif2,bif3]T為有界作動(dòng)偏差向量，ρiv=1代表第v個(gè)執(zhí)行器未遭遇故障；ρiv∈(0,1)代表第v個(gè)執(zhí)行器遭遇了效率下降故障，v=1, 2, 3分別代表副翼、升降舵、方向舵.

1.2 分?jǐn)?shù)階微積分

將分?jǐn)?shù)階微積分引入整數(shù)階系統(tǒng)中可以有效改善控制系統(tǒng)的暫態(tài)和穩(wěn)態(tài)性能[21]，本文采用下述分?jǐn)?shù)階微積分進(jìn)行控制器設(shè)計(jì)[22]：

(15)

其中：a∈(n-1,n]為分?jǐn)?shù)階微積分算子，n∈N.Γ(·)是Gamma函數(shù).

針對(duì)微積分定義(15)，存在如下等式[23]：

(16)

1.3 神經(jīng)網(wǎng)絡(luò)

本文采用神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)強(qiáng)化學(xué)習(xí)算法.神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)包括輸入層、隱含層和輸出層，當(dāng)隱含層的神經(jīng)元節(jié)點(diǎn)數(shù)量足夠大時(shí)，可以用來逼近強(qiáng)未知非線性函數(shù).神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)結(jié)構(gòu)可以表示為[24]：

f(z)=wTφ(z)+ε,

(17)

其中：z為神經(jīng)網(wǎng)絡(luò)的輸入向量，w和φ分別代表神經(jīng)網(wǎng)絡(luò)的最優(yōu)權(quán)重矩陣和高斯基函數(shù)向量，ε為有界偏差.基函數(shù)向量φ中的元素φκ可表示為

(18)

其中：κ=1,2,…,n，n為基函數(shù)向量的維度，c和σ分別為基函數(shù)輸入信號(hào)的中心向量和寬度.

1.4 基本圖論知識(shí)

本文采用無向通信拓?fù)銰=(Ω,E,A)描述集群無人機(jī)之間的通信關(guān)系，其中，Ω={1,2,…,N}為集群無人機(jī)集合，E?Ω×Ω為機(jī)間通信鏈路集合，A=[aij]N×N為鄰接矩陣.如果(UAV#i,UAV#j)∈E，則說明第j架無人機(jī)的狀態(tài)信息可以傳輸至第i架無人機(jī)，同時(shí)有aij>0，否則，aij=0.定義第i架無人機(jī)的鄰近無人機(jī)集合為Ni={UAV#j|(UAV#i,UAV#j)∈E}.在集群分布式通信架構(gòu)中，如果對(duì)于任意兩架無人機(jī)，均存在至少一條通信鏈路，則認(rèn)為通信拓?fù)銰=(Ω,E,A)是無向聯(lián)通圖.

2 強(qiáng)化學(xué)習(xí)自適應(yīng)容錯(cuò)協(xié)同控制

本節(jié)首先構(gòu)建分布式分?jǐn)?shù)階同步跟蹤偏差，并在此基礎(chǔ)上利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)機(jī)制設(shè)計(jì)強(qiáng)化學(xué)習(xí)算法；然后，基于同步跟蹤偏差與強(qiáng)化學(xué)習(xí)算法，設(shè)計(jì)集群無人機(jī)容錯(cuò)協(xié)同控制器；最后，利用Lyapunov方法對(duì)系統(tǒng)的穩(wěn)定性進(jìn)行分析.

2.1 控制目標(biāo)

2.2 分?jǐn)?shù)階跟蹤偏差

將式(14)中的xi1進(jìn)行二次求導(dǎo)，可得：

(19)

類似文獻(xiàn)[26]，定義第i架無人機(jī)與近鄰無人機(jī)的同步跟蹤偏差為：

(20)

其中：λ1和λ2分別用于調(diào)節(jié)第i架無人機(jī)的跟蹤性能和第i架無人機(jī)相對(duì)于鄰近無人機(jī)的同步性能.

基于同步跟蹤偏差(20)，設(shè)計(jì)如下分?jǐn)?shù)階滑模面：

(21)

其中：λ3和η為正的設(shè)計(jì)參數(shù)，a∈(0,1]為分?jǐn)?shù)階微積分算子.

對(duì)式(21)求導(dǎo)，可得：

(22)

2.3 Actor-Critic神經(jīng)網(wǎng)絡(luò)容錯(cuò)協(xié)同控制器設(shè)計(jì)

本小節(jié)采用強(qiáng)化學(xué)習(xí)中的Actor-Critic神經(jīng)網(wǎng)絡(luò)機(jī)制，設(shè)計(jì)如下智能自適應(yīng)容錯(cuò)協(xié)同控制信號(hào)：

(23)

圖1 控制結(jié)構(gòu)Fig.1Control structure

將控制信號(hào)(23)代入式(22)，則可得：

(24)

借鑒文獻(xiàn)[17]，定義如下包含Critic神經(jīng)網(wǎng)絡(luò)的Critic函數(shù)：

(25)

上述Critic神經(jīng)網(wǎng)絡(luò)函數(shù)的估計(jì)值為：

(26)

設(shè)計(jì)Actor-Critic神經(jīng)網(wǎng)絡(luò)的自適應(yīng)律如下：

(27)

(28)

其中：κ21、κ22、κ31和κ32為正的設(shè)計(jì)參數(shù).基于自適應(yīng)律(27)和(28)，Actor-Critic神經(jīng)網(wǎng)絡(luò)組成強(qiáng)化學(xué)習(xí)單元，并用于調(diào)整控制信號(hào)(23)的輸出.整體控制框圖如圖1所示.

2.4 穩(wěn)定性分析

定理1考慮N架固定翼無人機(jī)組成的集群編隊(duì)，假設(shè)機(jī)間通信鏈路為無向連通，并且部分無人機(jī)遭遇執(zhí)行器故障，設(shè)計(jì)同步跟蹤偏差(20)、分?jǐn)?shù)階滑模面(21)、控制信號(hào)(23)、Actor-Critic神經(jīng)網(wǎng)絡(luò)自適應(yīng)律(27)～(28)，則所有固定翼無人機(jī)均可同步跟蹤上參考指令信號(hào)xid，并且同步跟蹤偏差ei最終一致有界.

證明定義如下Lyapunov函數(shù)：

(29)

對(duì)上式求導(dǎo)，可得：

(30)

進(jìn)一步，可得：

(31)

定義

(32)

則有

T≤‖si‖·‖εia‖+‖si‖·‖wia‖F(xiàn)·

(33)

(34)

設(shè)計(jì)自適應(yīng)律：

(35)

其中：κ41和κ42是正的參數(shù).

將式(33)、(35)代入公式(31)，可得：

(36)

利用如下不等式：

(37)

可得：

(38)

進(jìn)一步利用如下不等式：

(39)

(40)

可得：

(41)

其中:πi1和πi2的表達(dá)式為

(42)

3 仿真分析

為檢驗(yàn)容錯(cuò)協(xié)同控制方案的性能，假設(shè)UAV#1～UAV#3分別在t=15 s,t=30 s,t=45 s遭遇如下故障：

圖2 無人機(jī)通信拓?fù)鋱DFig.2Communication topology of UAVs

UAV#1副翼、升降舵、方向舵故障(t≥15 s)：

(43)

UAV#2副翼故障(t≥30 s)：

(44)

UAV#3升降舵故障(t≥45 s)：

(45)

無人機(jī)的結(jié)構(gòu)參數(shù)和氣動(dòng)參數(shù)取自文獻(xiàn)[29].仿真中的控制參數(shù)設(shè)為λ1=0.9，λ2=0.2，λ3=1.5，K1=diag{18,27,13}，ξi=0.08，κ21=19.6，κ22=2，κ31=48，κ32=2.7，κ41=98，κ42=2.3.

圖3為所有無人機(jī)的側(cè)滾角、攻角和側(cè)滑角響應(yīng)曲線.從圖3中可以看出，即使UAV#1～UAV#3在t=15,30,45 s時(shí)遭遇執(zhí)行器故障，但在所設(shè)計(jì)容錯(cuò)協(xié)同控制方案的作用下，所有無人機(jī)的姿態(tài)均保持有界.圖4為所有無人機(jī)的角速率響應(yīng)曲線.從圖中可以觀察到，當(dāng)無人機(jī)遭遇故障時(shí)，角速率信號(hào)出現(xiàn)了瞬態(tài)變化，但在控制方案的作用下，角速率信號(hào)很快穩(wěn)定下來，從而確保了集群編隊(duì)系統(tǒng)的穩(wěn)定性.

圖3 無人機(jī)姿態(tài)角響應(yīng)曲線Fig.3Time responses UAVs′ attitudes

圖4 無人機(jī)角速率響應(yīng)曲線Fig.4Time response of UAVs′ rates

圖5 無人機(jī)姿態(tài)同步跟蹤偏差Fig.5Attitude synchronization tracking errors of all UAVs

圖6 無人機(jī)個(gè)體姿態(tài)跟蹤偏差Fig.6Individual attitude tracking errors of all UAVs

圖7 無人機(jī)控制輸入信號(hào)Fig.7Control input signals of all UAVs

4 結(jié) 論

本文針對(duì)風(fēng)擾和故障條件下的集群無人機(jī)容錯(cuò)控制問題，基于Actor-Critic神經(jīng)網(wǎng)絡(luò)強(qiáng)化學(xué)習(xí)機(jī)制，設(shè)計(jì)了分?jǐn)?shù)階強(qiáng)化學(xué)習(xí)容錯(cuò)協(xié)同控制方案.首先，構(gòu)建了可同時(shí)反映個(gè)體跟蹤性能與同步性能的同步跟蹤偏差，并引入了分?jǐn)?shù)階微積分算子，形成分?jǐn)?shù)階偏差變量；其次，基于Actor神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)了智能自適應(yīng)容錯(cuò)協(xié)同控制信號(hào)；再次，設(shè)計(jì)Actor-Critic神經(jīng)網(wǎng)絡(luò)自適應(yīng)律，激活強(qiáng)化學(xué)習(xí)算法的學(xué)習(xí)能力；然后，結(jié)合Lyapunov穩(wěn)定性理論證明所有無人機(jī)的姿態(tài)同步跟蹤偏差均收斂至含零的很小區(qū)域內(nèi)；最后，數(shù)值仿真結(jié)果驗(yàn)證了所設(shè)計(jì)的強(qiáng)化學(xué)習(xí)容錯(cuò)協(xié)同控制方案的有效性.