王淑一, 邢曉宇*, 劉 磊, 劉文靜

1. 北京控制工程研究所, 北京 100094

2. 空間智能控制技術(shù)全國重點實驗室, 北京 100094

0 引 言

由于太空環(huán)境的極端惡劣和航天器長期運行的復(fù)雜性,航天器在運行中難免會出現(xiàn)各種故障.如果這些故障不能及時有效地得到解決,將會導(dǎo)致任務(wù)失敗、財產(chǎn)損失甚至人員傷亡.因此,航天器故障診斷是確保航天器安全穩(wěn)定運行的一項重要技術(shù).

航天器故障診斷的方法主要有基于知識的方法、基于模型的方法和基于數(shù)據(jù)的方法3種:1)基于模型的方法[1-3]是指根據(jù)航天器系統(tǒng)的物理模型或數(shù)學(xué)模型,利用模型仿真和優(yōu)化等技術(shù),對故障進行診斷和推 理.這種方法適用于復(fù)雜系統(tǒng)和多變量系統(tǒng),可以對不同系統(tǒng)的故障進行研究和分析,但對模型精度的要求較高.2)基于數(shù)據(jù)的方法[4-7]是指通過采集和分析航天器運行數(shù)據(jù),利用機器學(xué)習(xí)和數(shù)據(jù)挖掘等技術(shù),對故障進行診斷和推理.這種方法適用于實時處理和大規(guī)模數(shù)據(jù)分析,可以快速有效地診斷故障,但需要大量的數(shù)據(jù)和較高的算力支持.3)基于知識的方法[8-9]是指根據(jù)航天器系統(tǒng)的結(jié)構(gòu)、設(shè)計規(guī)范、運行參數(shù)等相關(guān)知識,利用專家系統(tǒng)或規(guī)則庫等人工智能技術(shù),對故障進行診斷和推理.這種方法優(yōu)點在于可靠性高、解釋性強,但需要建立完備的知識庫,對知識的獲取和維護成本較高.

傳統(tǒng)的航天器故障診斷方法,雖然在一定程度上可以快速準(zhǔn)確地確定故障位置和原因,但存在許多缺陷,比如對隱蔽故障的診斷能力較弱,需要大量的歷史數(shù)據(jù)支持,無法適應(yīng)復(fù)雜系統(tǒng)和大規(guī)模數(shù)據(jù)等.知識圖譜作為知識的圖形化表示方法在人工智能領(lǐng)域發(fā)展迅速,為故障診斷技術(shù)提供了新思路,基于知識圖譜的故障診斷方法擁有簡潔直觀、準(zhǔn)確高效、可解釋性強和易于實現(xiàn)復(fù)雜推理等優(yōu)點,目前基于知識圖譜的故障診斷研究取得較大進展.郭榕等[10]利用知識圖譜技術(shù)構(gòu)建了電網(wǎng)故障處置知識圖譜,利用多個深度學(xué)習(xí)模型對知識圖譜進行文本分類、知識抽取,實現(xiàn)故障知識的可視化以及輔助故障診斷的功能.聶同攀等[11]提出的知識圖譜構(gòu)建方法能夠?qū)崿F(xiàn)自主化的知識提取,針對飛機電源系統(tǒng)構(gòu)建了故障知識圖譜,并在此基礎(chǔ)上實現(xiàn)了面向飛機電源系統(tǒng)故障診斷的智能問答與智慧搜索功能設(shè)計及軟件平臺開發(fā).喬驥等[12]等提出了電網(wǎng)調(diào)度故障處理領(lǐng)域的知識圖譜框架,將其分為5個層次4種類別,并針對不同層次不同類別的知識圖譜提出了多種構(gòu)建方式,為后續(xù)智能故障診斷提供支持.曹明等[13]針對各個于民用航空發(fā)動機健康管理功能模塊的需求、差距和解決方案進行了深入論證分析,重點討論了民用發(fā)動機地面綜合診斷、壽命管理和智能視情維護維修決策的需求、必要性、現(xiàn)狀及未來發(fā)展趨勢和熱點技術(shù).卞嘉楠等[14]將知識圖譜與推薦算法結(jié)合,應(yīng)用于工業(yè)生產(chǎn)關(guān)鍵設(shè)備故障診斷領(lǐng)域, 能夠有效解決領(lǐng)域內(nèi)故障數(shù)據(jù)稀疏的問題.

上述文獻為知識圖譜技術(shù)在故障診斷領(lǐng)域的實際應(yīng)用提供了有力支撐,但主要采用深度學(xué)習(xí)模型輔助專業(yè)人員進行故障診斷,診斷準(zhǔn)確率不高,缺乏可解釋性,難以直接應(yīng)用于航天器故障知識圖譜實現(xiàn)自主化故障診斷.本文基于航天器故障知識圖譜進行故障推理方法研究,實現(xiàn)航天器的故障診斷和故障定位.針對傳統(tǒng)故障診斷方法的問題,本文將基于知識的航天器故障診斷方法與人工智能方法結(jié)合,提出利用圖注意力機制進行深度強化學(xué)習(xí)故障推理的航天器故障推理模型(graph attention deep deterministic policy gradient, GADDPG),在構(gòu)建航天器故障知識圖譜的基礎(chǔ)上采用深度強化學(xué)習(xí)算法(deep deterministic policy gradient, DDPG)與圖注意力網(wǎng)絡(luò)(graph attention network, GAT)對其進行故障推理.首先,根據(jù)潛在失效模式及影響分析報告 (potential failure mode and effects analysis, FMEA)、歸零報告和故障樹等非結(jié)構(gòu)化知識構(gòu)建用于故障診斷的航天器知識圖譜,本文稱之為航天器性能-故障關(guān)系圖譜;其次,將航天器性能-故障關(guān)系圖譜作為DDPG算法的環(huán)境,實體作為狀態(tài),關(guān)系作為動作,根據(jù)不同實體的物理意義設(shè)置相應(yīng)的獎勵;最后,構(gòu)建GAT網(wǎng)絡(luò)作為DDPG算法的策略網(wǎng)絡(luò),構(gòu)建多層感知機模型(multilayer perceptron,MLP)作為價值網(wǎng)絡(luò),采用表示學(xué)習(xí)將航天器性能-故障關(guān)系圖譜中的實體與關(guān)系轉(zhuǎn)換為語義向量,將其作為神經(jīng)網(wǎng)絡(luò)模型的輸入,輸出動作預(yù)測向量與動作價值,供GADDPG模型進行故障推理.模擬CMG故障發(fā)生時的測點特征,對GADDPG模型進行實驗驗證,實驗結(jié)果表明該模型能實現(xiàn)清晰簡潔、高效準(zhǔn)確和可視化的航天器故障診斷.

1 結(jié)合圖注意力機制的深度強化學(xué)習(xí)故障診斷模型

GADDPG模型是在已有的關(guān)系推理模型SPMLP模型[15]與SPDDPG模型[16]的基礎(chǔ)上,加入圖注意力網(wǎng)絡(luò)替代SPDDPG模型的策略網(wǎng)絡(luò).故障推理相對關(guān)系推理有很多模型、知識和數(shù)據(jù)等先驗知識,而直接采用SPDDPG等模型進行故障推理會丟失這些知識,導(dǎo)致其推理的準(zhǔn)確性受到限制,因此本文提出GADDPG模型進行基于性能-故障關(guān)系圖譜的故障推理.關(guān)于航天器性能-故障關(guān)系圖譜的構(gòu)建、實體關(guān)系的語義位置關(guān)系提取可參考文獻[15],應(yīng)用于航天器性能故障關(guān)系圖譜推理的DDPG算法流程可參考文獻[16],本文對這兩部分作簡要介紹,著重介紹將GAT網(wǎng)絡(luò)應(yīng)用于DDPG算法的過程.

1.1 GADDPG模型及流程

利用GADDPG模型在航天器性能-故障關(guān)系圖譜上進行故障診斷的過程如下:1)構(gòu)建用于航天器性能-故障關(guān)系圖譜故障診斷的GADDPG框架.提取性能-故障關(guān)系圖譜中各實體與關(guān)系的位置與語義信息,配置DDPG算法的環(huán)境、狀態(tài)、動作、獎勵.2)由策略網(wǎng)絡(luò)預(yù)測選擇最優(yōu)動作.選擇GAT網(wǎng)絡(luò)作為策略網(wǎng)絡(luò),將當(dāng)前狀態(tài)的實體向量輸入GAT網(wǎng)絡(luò),GAT聚合全圖信息后輸出最優(yōu)的動作預(yù)測向量,達到下一狀態(tài).3)由價值網(wǎng)絡(luò)擬合價值函數(shù).選擇SPMLP模型作為價值網(wǎng)絡(luò),根據(jù)當(dāng)前動作與狀態(tài)的向量信息進行動作價值計算,由輸出的動作價值進行神經(jīng)網(wǎng)絡(luò)參數(shù)的反向更新.GADDPG模型的故障診斷流程如圖1所示,DDPG算法的過程如圖2所示.

1.2 GADDPG框架構(gòu)建

本文采用DDPG算法進行故障診斷,首先要搭建深度強化學(xué)習(xí)算法的框架.根據(jù)航天器性能-故障關(guān)系圖譜的實體關(guān)系與物理意義等內(nèi)容設(shè)置框架的基本元素,包括環(huán)境、狀態(tài)、動作和獎勵.

(1)環(huán)境設(shè)置

將航天器性能-故障關(guān)系圖譜作為環(huán)境與智能體交互,根據(jù)實體與關(guān)系為智能體提供狀態(tài)與動作.本文將性能-故障關(guān)系圖譜轉(zhuǎn)換為n×n維的環(huán)境矩陣E,n為實體個數(shù),將n個實體與u種關(guān)系按順序排列,若實體i與實體j間存在關(guān)系q∈(0,u),則將Eij置為q,實體間無關(guān)系則置0,由此得到環(huán)境矩陣E.

(2)狀態(tài)與動作設(shè)置

h+r=t

(1)

因此根據(jù)h+r與t的歐氏距離或曼哈頓距離設(shè)置得分函數(shù)

(2)

式中,‖·‖L1/L2表示L1范數(shù)或L2范數(shù),本文采用L1范數(shù).根據(jù)transE模型的訓(xùn)練目標(biāo),要保證正樣本的得分函數(shù)盡量小,負(fù)樣本的得分函數(shù)盡量大,損失函數(shù)設(shè)置為

(3)

其中,S為正樣本集合,(h′,r,t′)為正樣本(h,r,t)對應(yīng)的負(fù)樣本,γ是一個需要設(shè)置大于零的超參數(shù),表示損失函數(shù)中的間隔.通過基于梯度的優(yōu)化算法不斷更新實體與關(guān)系的向量元素,直至訓(xùn)練收斂,使其滿足式(1),得到實體與關(guān)系的m維包含語義信息的嵌入向量.

然后使用主成分分析法(principal component analysis, PCA)[18]對n個實體的m維嵌入向量進行主成分提取,得到降成k維后的語義向量.

首先將n個實體的m維嵌入向量排列組成m行n列的嵌入向量矩陣Z.對Z的每一行進行去中心化處理得到Zc

(4)

zcij為矩陣Zc的第i行j列元素,zij為矩陣Z的第i行j列元素.

計算協(xié)方差矩陣C

(5)

用特征值分解法求出矩陣C的特征值及對應(yīng)的特征向量.將特征向量按對應(yīng)特征值由大到小的順序進行排列并將其轉(zhuǎn)換為單位特征向量,取前k列組成轉(zhuǎn)換矩陣P∈Rm×k.利用轉(zhuǎn)換矩陣P將嵌入向量矩陣Z轉(zhuǎn)換到k個特征向量構(gòu)成的新空間

Y=PTZ

(6)

得到降維矩陣Y∈Rk×n,按列分離即可得到n個實體的k維語義向量.

將環(huán)境矩陣E中實體i對應(yīng)第i行Ei的轉(zhuǎn)置向量作為位置向量.將實體的語義向量S與位置向量P拼接作為狀態(tài)向量,將關(guān)系的語義向量作為動作向量.對于狀態(tài)和動作的后續(xù)推理轉(zhuǎn)換為向量形式的計算,便于智能體進行高效計算.

(3)獎勵設(shè)置

獎勵是判斷當(dāng)前狀態(tài)是否處于最優(yōu)路徑的依據(jù),需根據(jù)當(dāng)前狀態(tài)與終止?fàn)顟B(tài)間的路徑距離、路徑種類進行人為設(shè)置.本文采用的GADDPG方法后續(xù)采用價值網(wǎng)絡(luò)擬合復(fù)雜的動作價值函數(shù),因此狀態(tài)獎勵的設(shè)置可遵循簡單有效的原則.將狀態(tài)分為普通狀態(tài)與終止?fàn)顟B(tài)與臨終止?fàn)顟B(tài),臨終止?fàn)顟B(tài)是指與終止?fàn)顟B(tài)一階相鄰的狀態(tài),當(dāng)智能體達到終止?fàn)顟B(tài)時即完成關(guān)系推理尋徑.將普通狀態(tài)獎勵置0,臨終止?fàn)顟B(tài)獎勵置1,終止?fàn)顟B(tài)獎勵置2,公式如下:

(7)

其中t為智能體尋徑的步數(shù),St為當(dāng)前狀態(tài),Rt為當(dāng)前狀態(tài)對應(yīng)的獎勵,END為終止?fàn)顟B(tài),N1(END)為終止?fàn)顟B(tài)的一階鄰域.

本文獨特設(shè)置的臨終止?fàn)顟B(tài)獎勵能夠幫助智能體從復(fù)雜眾多的路徑中快速接近終止?fàn)顟B(tài),增強訓(xùn)練效果.

1.3 基于GAT網(wǎng)絡(luò)的動作選擇

本文對于DDPG算法的改進之一是采用更適合處理圖數(shù)據(jù)類型的GAT網(wǎng)絡(luò)作為策略網(wǎng)絡(luò),接下來闡述GAT網(wǎng)絡(luò)的原理以及將其嵌入DDPG算法的方式.

圖注意力網(wǎng)絡(luò)由多個注意力層構(gòu)成,假設(shè)當(dāng)前狀態(tài)S對應(yīng)航天性能-故障關(guān)系圖譜的故障模式實體向量h1,獎勵為R,圖注意力層如圖3所示.

圖3 圖注意力層的結(jié)構(gòu)Fig.3 Graph attention layer structure

圖中α1i表示實體向量h1與hi之間的注意力系數(shù),代表了該注意力層不同實體對h1特征聚合的影響力大小,α11表示自注意力機制,使h1保留一定自身特征.αij計算公式如下:

αij=softmax(σ(a([Whi‖Whj])))

(8)

(9)

式中,N1為實體h1的鄰接實體.經(jīng)過t個圖注意力層的信息聚合,最后一層圖注意力層的輸出為ht,權(quán)重為θy,偏置值為by,輸出層的激活函數(shù)fo選用softmax函數(shù),可得到最后的輸出動作預(yù)測向量A

A=fo(θyht+by)

(10)

動作預(yù)測向量A的元素位置與故障知識圖譜中的關(guān)系一一對應(yīng),A中概率最大的元素Ai即為選擇的最優(yōu)動作a.從環(huán)境矩陣E中找到最優(yōu)動作對應(yīng)的下一狀態(tài)S′,將S′作為當(dāng)前狀態(tài),重復(fù)運用策略網(wǎng)絡(luò)進行動作預(yù)測到達下一狀態(tài),直至達到終止?fàn)顟B(tài),得到故障原因,并輸出故障判斷路徑.

1.4 基于價值網(wǎng)絡(luò)的參數(shù)更新

采用多層感知機模型作為價值網(wǎng)絡(luò),輸入層是當(dāng)前狀態(tài)對應(yīng)的狀態(tài)向量與當(dāng)前動作對應(yīng)的動作向量,輸出動作價值,模型的隱含層結(jié)構(gòu)與SPMLP相同,如圖4所示,輸出的動作價值是一個實數(shù).

將狀態(tài)向量S與動作向量a拼接得到輸入層的輸入向量X.X的每個元素與第一個隱含層的權(quán)重W1分別相乘后求和,加上偏置值b1后經(jīng)過激活函數(shù)得到該層的輸出h1,激活函數(shù)f1選用便于前向傳輸?shù)膕igmoid函數(shù),公式如下:

h1=f1(W1X+b1)

(11)

將隱含層1的輸出作為下個隱含層2的輸入,重復(fù)式(11),可得到最后一層隱含層的輸出向量為ht,權(quán)重為Wy,偏置值為by,輸出層的激活函數(shù)fo選用訓(xùn)練速度快的Relu函數(shù),可得到當(dāng)前狀態(tài)的動作價值Q(S,a,w)

Q(S,a,w)=fo(Wyht+by)

(12)

(13)

γ為折扣因子,取值范圍為(0,1),本文取0.9.

通過神經(jīng)網(wǎng)絡(luò)的梯度反向傳播來更新當(dāng)前價值網(wǎng)絡(luò)的所有參數(shù)w,價值網(wǎng)絡(luò)的損失函數(shù)使用均方差誤差MSE

(14)

通過神經(jīng)網(wǎng)絡(luò)的梯度反向傳播來更新當(dāng)前策略網(wǎng)絡(luò)的所有參數(shù)θ,策略網(wǎng)絡(luò)的損失函數(shù)為

(15)

設(shè)定目標(biāo)網(wǎng)絡(luò)的更新頻率C,每第C次循環(huán)軟更新目標(biāo)策略網(wǎng)絡(luò)與目標(biāo)價值網(wǎng)絡(luò)的參數(shù)

w′←τw+(1-τ)w′

(16)

θ′←τθ+(1-τ)θ′

(17)

τ為更新系數(shù),一般取值較小,為0.1.

2 航天器典型部件級性能-故障關(guān)系圖譜的故障推理

本文選擇基于專家知識構(gòu)建的CMG性能-故障關(guān)系圖譜作為實驗對象,驗證GADDPG模型對基于知識的性能-故障關(guān)系圖譜的故障推理效果.文獻[15]按照“CMG-功能模塊-故障模式”的實體層次構(gòu)建的CMG性能-故障關(guān)系圖譜如圖5所示,含148個實體,10種關(guān)系,339個三元組.

圖5 CMG性能-故障關(guān)系圖譜Fig.5 CMG Performance-Fault Relationship Graph

圖6 平均尋徑步數(shù)曲線Fig.6 Average pathfinding step curve

GADDPG模型的參數(shù)設(shè)置如下.TransE模型的向量維數(shù)設(shè)置為100,PCA降維后的語義向量維數(shù)設(shè)置為20.GAT網(wǎng)絡(luò)的輸入狀態(tài)向量為42維,輸出預(yù)測動作向量為7維,設(shè)置四層圖注意力層,圖注意力機制K=3,學(xué)習(xí)率lr=0.000 5,每層的全連接神經(jīng)元個數(shù)為200.價值網(wǎng)絡(luò)的輸入向量為40維,輸出動作價值為一維,設(shè)置四層隱含層,神經(jīng)元個數(shù)(60,200,200,200),學(xué)習(xí)率lr=0.000 5.訓(xùn)練次數(shù)設(shè)置為60 000,由于部件級故障知識圖譜最長故障尋徑步數(shù)為4,因此當(dāng)每百次的平均尋徑步數(shù)小于4或達到最大訓(xùn)練次數(shù)即訓(xùn)練結(jié)束.實際訓(xùn)練在7 642次達到終止條件,平均故障尋徑步數(shù)為3.63,尋徑成功率為100%,智能體平均尋徑步數(shù)訓(xùn)練曲線如下:

將GADDPG模型訓(xùn)練好后,進行模擬故障尋徑.假設(shè)故障發(fā)生的功能模塊為導(dǎo)電環(huán),將實體“測點”作為GADDPG模型的初始狀態(tài),由GADDPG模型自主進行故障推理,實驗結(jié)果證明GADDPG模型能夠按“測點-測點特征-故障模式-故障模塊-CMG”的路徑反向故障推理進行準(zhǔn)確故障定位.為了清楚直白地展示實驗效果,本文取CMG局部故障知識圖譜,展示GADDPG具體故障推理尋徑過程,程序可視化過程如圖7所示,故障尋徑可視化過程如圖8所示.導(dǎo)電環(huán)有多個故障模式,當(dāng)給出故障測點為串口框架角度時,GADDPG模型能夠以“串口框架角度(測點)→數(shù)據(jù)異常(測點特征)→軸承摩擦力矩增大或卡死(故障模式)→導(dǎo)電環(huán)(功能模塊)→CMG(部件)”的物理路徑反向推理得到具體的故障發(fā)生模塊為導(dǎo)電環(huán),故障模式為軸承摩擦力矩增大或卡死.使用計算機的CPU運行此程序,計算機的CPU為英特爾i5處理器,其單次尋徑計算時間為0.15 s,本次實驗證明該模型能實現(xiàn)快速準(zhǔn)確的故障推理尋徑.

圖7 GADDPG模型故障推理程序可視化過程Fig.7 Visualization of GADDPG fault inference

圖8 GADDPG模型故障推理尋徑可視化過程Fig.8 GADDPG fault inference pathfinding visualization

實驗結(jié)果表明,本文提出的GADDPG模型能夠針對不同測點與測點特征快速準(zhǔn)確地在部件級故障知識圖譜上推理故障路徑,得到具體故障模塊、故障模式等故障發(fā)生的相關(guān)內(nèi)容,在基于知識的航天器故障知識圖譜上實現(xiàn)清晰簡潔、高效準(zhǔn)確、可視化的航天器故障推理和定位.

3 結(jié) 論

本文針對航天器性能-故障關(guān)系圖譜存在的物理意義復(fù)雜、實體關(guān)系眾多、故障數(shù)據(jù)少且分布不平衡的問題,提出一種結(jié)合圖注意力網(wǎng)絡(luò)與DDPG算法的航天器故障推理模型 GADDPG,優(yōu)點如下:

1)采用DDPG算法進行故障路徑推理.針對航天器故障數(shù)據(jù)少、狀態(tài)動作空間龐大的問題,采用DDPG算法擬合復(fù)雜的價值函數(shù)與動作函數(shù),以較少數(shù)據(jù)達到很好的訓(xùn)練效果,進行精準(zhǔn)的故障路徑推理.

2)將GAT網(wǎng)絡(luò)嵌入GADDPG模型進行動作預(yù)測.由于航天器性能-故障關(guān)系圖譜是非歐氏空間的圖結(jié)構(gòu)數(shù)據(jù),傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)難以對其進行準(zhǔn)確計算預(yù)測,而GAT網(wǎng)絡(luò)適合處理圖結(jié)構(gòu)數(shù)據(jù),聚合圖譜信息,嵌入GADDPG模型能夠提高故障診斷效率與準(zhǔn)確率.

未來計劃對多個系統(tǒng)級與部件級性能-故障關(guān)系圖譜進行重構(gòu)整合,提升GADDPG模型的泛化性,構(gòu)建完整、規(guī)范、富有層次的大規(guī)模航天器故障診斷系統(tǒng).