張偉， 許愛強，*， 平殿發(fā)， 夏菲

(1. 海軍航空大學, 煙臺 264001； 2. 國網(wǎng)遼陽供電公司 信息通信分公司, 遼陽 111000)

針對航空電子設備故障特點開展故障診斷算法及其應用的研究，已成為提升航空保障能力的關鍵。航空電子設備及其子系統(tǒng)故障模式多樣[1-4]，各功能模塊交聯(lián)關系復雜，這些存在的問題使得征兆與故障之間不具有嚴格的對應關系，增加了故障診斷的難度和復雜性[5-7]。

當前，基于核的學習算法，例如支持向量機(Support Vector Machine, SVM)、核超限學習機(Kernel Extreme Learning Machine, KELM)等，已經(jīng)被廣泛應用到故障診斷領域中，并且展示出優(yōu)越的性能[8-9]。多核學習(Multi-Kernel Learning, MKL)作為一種靈活性更強、解釋能力更好的核學習算法[10]，近些年來受到了廣泛的關注。文獻[11-12]已經(jīng)將MKL引入到了包括模擬電路、變壓器等系統(tǒng)的故障診斷中，并通過大量實例證明基于MKL的診斷算法在面對單故障、多故障以及并發(fā)故障時均能取得更高的診斷精度。

目前，大多數(shù)的文獻主要面向基于SVM的MKL算法研究，而對于MKL的具體形式則主要采用有限個給定基核的線性凸組合。半定規(guī)劃，二次約束二次規(guī)劃，半無限線性規(guī)劃等算法相繼被提出去解MKL問題。文獻[13]在2008年提出了一種更有效的算法，稱作SimpleMKL，其使得MKL對于大樣本問題更加實用。但在這些算法中，每個基核的權重在整個輸入空間保持不變，顯然忽視了輸入空間的局部多樣性。不同的核函數(shù)針對不同的樣本具有不同的可用性，為了體現(xiàn)這種可用性上的差異性，有必要為每一個樣本點調(diào)節(jié)核系數(shù)[14-15]?；谶@種思想，局部算法被引入MKL中，即采用一種依賴樣本的方式為基核分配權重。為此，科研人員已經(jīng)開展了相關研究。

G?nen和Alpaydin提出了最初的局部多核學習(Localized Multi-kernel Learning, LMKL)算法[16]。取代直接優(yōu)化局部權重，文獻[16]采用一系列選通函數(shù)去近似局部權重，以解決局部權重的優(yōu)化形式二次非凸的問題。文獻[17-18]基于文獻[16]的思想，提出2種改進算法。前者依據(jù)半徑-間距界將最小超球的半徑融入到LMKL中；后者構(gòu)造了一種概率置信核以此充當選通函數(shù)。文獻[19]提出了一個p范數(shù)約束的LMKL模型。通過使用二階Taylor展開來近似p范數(shù)，將局部權重的優(yōu)化問題轉(zhuǎn)化為一個非凸的單約束二次規(guī)劃問題，最終采用半定規(guī)劃進行求解。LMKL算法將局部權重擬合到每一個確定樣本上，雖然可以充分描述樣本的類內(nèi)多樣性，但也可能會導致過擬合問題的出現(xiàn)。同時，需要優(yōu)化的變量個數(shù)等于樣本數(shù)乘以基核數(shù)，當數(shù)據(jù)規(guī)模較大時算法的復雜性將變得無法控制。

為此，考慮到來自于同一聚類的數(shù)據(jù)具有相似的局部特征，趨向于具有相似的性質(zhì)。本文結(jié)合航空電子設備及其子系統(tǒng)故障診斷的實際，提出一種基于近鄰傳播(Affinity Propagation, AP)局部聚類MK-ELM(LCMKELM)診斷模型。該模型通過為具有相似分布特性的故障樣本分配相同的局部權重，在繼承一般LMKL算法局部特征自適應表示能力的同時，避免了過學習風險的出現(xiàn)，有效約減了局部算法的計算復雜性。同時，通過分別構(gòu)造面向輸入空間和特征空間的選通函數(shù)，并以選通函數(shù)近似局部權重，提出一種2步交替優(yōu)化的策略，有效解決了局部權重二次非凸的優(yōu)化形式難以求解的問題。

1 問題描述

(1)

基于初始優(yōu)化問題的Lagrange函數(shù)，可以進一步得到LMK-ELM的對偶優(yōu)化問題：

(2)

式中：αi為Lagrange乘子，對應于ELM的模型參數(shù)，且α=[α1,α2,…,αn]T，αi=[αi1,αi2,…,αim]T。

為了解上述的對偶優(yōu)化問題，通常采用一種交替優(yōu)化的策略交替更新ELM模型參數(shù)和局部核權重，最終得到?jīng)Q策函數(shù)：

(3)

無論怎樣，在優(yōu)化過程中：①局部權重的數(shù)量等于基核數(shù)乘以樣本數(shù)，算法復雜性較高，且存在過學習風險；②在式(2)中關于局部權重的優(yōu)化是一個困難的二次非凸問題。

針對上述問題，本文取代一般LMKL算法中將局部權重擬合到每一個確定樣本上，而是將局部權重擬合到空間中具有相似局部結(jié)構(gòu)的一類群組上，進而提出一種新的面向聚類的LMK-ELM模型。該模型的基本框架如圖1所示。

2 LCMKELM診斷模型

2.1 基于AP算法的樣本空間劃分

為挖掘故障樣本中隱含的局部分布特征，本節(jié)引入AP算法[20-21]。相比于經(jīng)典的K-均值聚類，AP算法不需要指定聚類的數(shù)目，對初始值的選取不敏感，并且文獻[20]證明其具有更低的誤差平方和。這使得在AP算法中先驗經(jīng)驗成為應用的非必要條件，因而更適合本文的應用背景。

首先，定義樣本間的相似性度量準則為

(4)

顯然，φ(i,j)越大，則2個數(shù)據(jù)點之間的相似性越高。進一步得到n個樣本點組成的相似度矩陣S，即

AP算法中傳遞2種類型的消息，分別稱作吸引信息和歸屬信息，并存儲在2個矩陣V和W中。V中的v(i,j)描述了數(shù)據(jù)對象j適合作為數(shù)據(jù)對象i的聚類中心的程度，表示的是從i到j的消息。而W中的w(i,j)描述了數(shù)據(jù)對象i選擇數(shù)據(jù)對象j作為其聚類中心的適合程度，表示的是從j到i的消息。v(i,j)與w(i,j)越強，則j點作為聚類中心的可能性就越大，并且i點隸屬于以j點為聚類中心的聚類的可能性也越大。吸引信息和歸屬信息的更新方程分別定義為

wt+1(i,j)=

式中：下標t為當前迭代次數(shù)。

為了避免振蕩，AP算法更新信息時引入了衰減系數(shù)λ∈(0,1)。通常，λ越接近于0，振蕩越大，收斂越慢，生成的聚類個數(shù)較多；而λ越接近于1，振蕩越小，收斂越快，生成的聚類個數(shù)也相對較少。為此，進一步令

vt+1(i,j)←(1-λ)vt+1(i,j)+λvt(i,j)

wt+1(i,j)←(1-λ)wt+1(i,j)+λwt(i,j)

V和W初始均為全0矩陣，AP算法通過迭代過程不斷更新每一個點的吸引度和歸屬度，如果決策信息經(jīng)過若干次迭代之后保持不變或者算法執(zhí)行超過設定的最大迭代次數(shù)，則算法終止。此時，決策矩陣定義為V+W，決策矩陣主對角線元素{v(i,i)+w(i,i)}中所有大于0的G個點被選擇作為聚類中心，其余的點根據(jù)式(5)定義的規(guī)則被分配到相應的聚類中:

(5)

式中：οg為第g個聚類中心在原始訓練數(shù)據(jù)集中對應的樣本序號；c(xi)為xi所對應的聚類標簽。

2.2 LCMKELM診斷模型優(yōu)化

(6)

式中：c(xi)和c(xj)分別為樣本xi和xj通過式(5)得到的聚類標簽。

由式(6)可知，J是一個關于α和γ的多目標函數(shù)。當γ固定時，關于α最大化J，意味著最小化全局分類誤差；當α固定時，關于γ最小化J，意味著在最大化類內(nèi)相似性的同時，最小化類間相似性。下面采用一種兩步交替優(yōu)化的策略，交替更新ELM模型參數(shù)α和局部核權重γ。

2.2.1 在已知γ的條件下更新α

(7)

式(7)對α′求偏導，并令結(jié)果等于0，得到

α′=(K′+I/C)-1Y′

(8)

式中：I為一個m×n階單位矩陣。

最終，ELM的模型參數(shù)可以通過一個矩陣向量化的反操作得到，記作α=ψ-1(α′)。

2.2.2 在已知α的條件下更新γ

結(jié)合聚類信息，式(6)所示的優(yōu)化問題的目標函數(shù)等效于下面的形式：

J(α,γ)=

為了表示方便，不妨令

(9)

(10)

式(10)中局部權重的優(yōu)化是一個困難的二次非凸問題。受文獻[16]的啟發(fā)，本節(jié)從訓練數(shù)據(jù)在輸入空間和特征空間的統(tǒng)計特性出發(fā)，提出2種不同的選通函數(shù)。

1) 函數(shù)M1：面向輸入空間的選通函數(shù)

在輸入空間中，第g個聚類在第q個基核上的選通函數(shù)定義為

(11)

基于上述結(jié)果，式(10)中的J(γ)對μp，σp分別求偏導，進一步得到

(12)

(13)

得到目標函數(shù)J(γ)關于模型參數(shù)的梯度之后，采用梯度下降法依次更新各模型參數(shù)，即

(14)

式中：τ11(t)和τ12(t)為迭代步長，在迭代過程中采用線性搜索算法得到。

2) 函數(shù)M2：面向特征空間的選通函數(shù)

在特征空間中，第g個聚類在第q個基核上的選通函數(shù)定義為

(15)

(16)

(17)

同理得到

(18)

得到目標函數(shù)J(γ)關于模型參數(shù)的梯度之后，同樣采用梯度下降法更新各模型參數(shù)，即

(19)

式中：τ21(t)和τ22(t)為迭代步長，在迭代過程中采用線性搜索算法得到。

2.3 診斷決策

(20)

決策過程如圖2所示。

(21)

本文故障診斷模型流程圖如圖3所示。

3 算法流程

為表示方便，將本文診斷模型記作LCMKELM。當采用不同選通函數(shù)時，分別記作M1-LCMKELM和M2-LCMKELM。根據(jù)圖3將診斷模型的詳細流程總結(jié)如下：

步驟6令t=1，通過式(10)計算Jt(γ)。

步驟8執(zhí)行步驟3～步驟5；通過式(10)計算Jt+1(γ)；如果|Jt+1(γ)-Jt(γ)|>10-3，t=t+1，返回步驟7；否則，執(zhí)行步驟9。

4 實驗分析

本節(jié)通過2個實驗來驗證本文模型的性能。SimpleMKL[13]、GMKL-SVM[12]和LMKL[16]被采用作為比較算法，對于多分類問題，其均采用“一對一”的原則。在實驗中所有的數(shù)據(jù)首先進行Z-score標準化處理，而所有的核矩陣則被正規(guī)化到具有單位跡，即tr(Kq)=1。正則化參數(shù)C采用5倍交叉驗證從集合{10-2,0.1,1,10,102,103,104}中選擇。AP算法中令λ=0.8，最大迭代次數(shù)設置為1 000。算法復雜性通過訓練時間(不包括交叉驗證時間)和測試時間共同評價。所有實驗結(jié)果通過MATLAB 2015a得到，實驗電腦配置為：2.27 GHz Intel Core i3 CPU，2 GB RAM。

4.1 算法有效性驗證

本節(jié)采用文獻[16]中使用的人工數(shù)據(jù)集Gauss 4來驗證本文模型的有效性。該數(shù)據(jù)集由服從4種不同高斯分布的1 200 個樣本組成，包括2個類別，每個類別包括2種分布。每種分布的先驗概率、均值向量和協(xié)方差矩陣分別為

ρ11=ρ12=ρ21=ρ22=0.25

(22)

(23)

(24)

實驗中，隨機選擇2/3數(shù)據(jù)作為訓練樣本，剩余1/3作為測試樣本。首先采用AP算法對訓練樣本進行聚類，800組訓練樣本被劃分為26個群組，聚類結(jié)果如圖4所示。

SimpleMKL被用來與本文模型進行比較。多核設置為線性核，多項式核(參數(shù)為2)，高斯核(參數(shù)為1)。評價指標采用文獻[22]中定義的分類精度、F1值和G-mean。實驗共進行5次，將所得結(jié)果的均值和標準差記錄于表1中。

由表1的結(jié)果看到，基于選通函數(shù)M1、M2的LCMKELM均可以實現(xiàn)比SimpleMKL更優(yōu)的分類性能。其克服了局部算法將基核權重擬合到每一個確定樣本上時可能出現(xiàn)的過學習問題。對于分類精度，相比于SimpleMKL，M1-LCMKELM和M2-LCMKELM分別提升了1.65%和1.85%。

為了更加直觀地比較本文模型的性能，將其與SimpleMKL的接受者操作特性曲線(Receiver Operating characteristic Curve, ROC)繪制在圖5中。由圖5可見，2種算法的曲線下方區(qū)域(Area Under the Curve, AUC)明顯大于SimpleMKL的AUC值，這從另一個角度進一步證明了本文模型的有效性。

為驗證訓練樣本數(shù)量對模型精度的影響。設置訓練樣本數(shù)量分別等于16,32,48,64,144,400,600,800。每次隨機選擇100組測試樣本，將其注入到訓練得到的不同模型中。實驗共進行5次，將所得結(jié)果的均值與標準差記錄于表2中。

由表2看到，訓練樣本的增加確實提升了診斷模型的分類性能。但是2種算法通過挖掘樣本中蘊含的局部特征信息，在小樣本條件下可以得到與較大樣本條件下相近的分類精度。該結(jié)果證明了將本文模型應用于小樣本條件下故障診斷任務的可行性。

評價指標M1-LCMKELMM2-LCMKELMSimpleMKL分類精度/%90.5000±0.684790.8500±0.602189.3500±1.2068F1值0.9049±0.00680.9085±0.00610.8958±0.0124G-mean0.9046±0.00690.9082±0.00620.8932±0.0119

訓練樣本數(shù)量分類精度/%M1-LCMKELM M2-LCMKELM1681.8±1.923582.6±1.67333285.2±1.483286.2±1.48324886.4±2.073686.6±1.51656486.4±1.516586.6±1.673314487.2±1.095487.4±1.140240087.0±1.870887.2±1.303860087.8±1.095488.2±0.836780088.0±0.707188.6±0.8944

4.2 旋轉(zhuǎn)變壓器激勵發(fā)生電路診斷實例

旋轉(zhuǎn)變壓器激勵發(fā)生電路如圖6所示。它用于產(chǎn)生旋轉(zhuǎn)變壓器磁繞組所需的正弦信號，為旋轉(zhuǎn)變壓器運行提供激勵。以滿足無刷直流電機、航空永磁同步電機等系統(tǒng)檢測需求。該電路主要由電源模塊、頻率控制模塊、正弦信號產(chǎn)生模塊和幅值調(diào)理及驅(qū)動能力調(diào)節(jié)模塊組成。

在基于自動測試系統(tǒng)(Automatic Test System, ATS)的測試流程中共包含9個測試項目：信號頻率(Q1)，信號幅值(Q2)，正弦模塊輸入電壓值(Q3)，信號頻率穩(wěn)定度(Q4)，+15 V電壓值(Q5)，-15 V電壓值(Q6)，電路板工作溫度(Q7)，+5 V電壓值(Q8)，+10 V電壓值(Q9)。用F0，F(xiàn)1，F(xiàn)2，F(xiàn)3及F4分別表示正常模式、頻率控制模塊故障、幅值調(diào)理及驅(qū)動能力調(diào)節(jié)模塊故障、電源模塊故障和正弦信號產(chǎn)生模塊故障。各模式下ATS共采集原始數(shù)據(jù)量分別為22，18，16，14及22。

將采集到的數(shù)據(jù)隨機選擇1/2作為訓練樣本，其余作為測試樣本。多核設置為：線性核，多項式核(參數(shù)2)，高斯核(參數(shù)2，10，20，30，40，50)。首先采用AP算法對訓練樣本進行聚類，46組訓練樣本被劃分為8個群組，如表3所示。

用本文模型與SimpleMKL、GMKL-SVM、LMKL-softmax和LMKL-sigmoid分別基于上述數(shù)據(jù)進行診斷測試，所得結(jié)果如圖7和表4所示。

由圖7和表4可以得到：①本文算法在漏警率與虛警率上表現(xiàn)出色，實現(xiàn)了0漏警，0虛警。②2種LMKL算法盡管具有100%的訓練診斷精度，但其測試診斷精度不高，尤其是當采用softmax選通函數(shù)時。究其原因在于將局部權重擬合到確定樣本上時導致算法泛化性能下降。而本文算法通過聚類將局部權重擬合到一組具有相似局部特征的群組上，在挖掘局部特征的同時避免了算法過學習。相比于其他4種算法(SimpleMKL、GMKL-SVM、LMKL-softmax和LMKL-sigmoid)，M1-LCMKELM將測試診斷精度分別提升了4.35%、2.17%、6.52%和2.17%；M2-LCMKELM將測試診斷精度分別提升了6.52%、4.35%、8.70%和4.35%。③比較發(fā)現(xiàn)M2-LCMKELM在診斷精度上要優(yōu)于M1-LCMKELM，原因在于當使用選通函數(shù)M1時產(chǎn)生局部權重的稀疏解，當使用選通函數(shù)M2時產(chǎn)生局部權重的非稀疏解，如圖8所示。稀疏解雖然易于解釋，但可能會丟失有用的信息。

聚 類聚類中心類內(nèi)元素15{2,4,5,6,9,11,15,18,34,35}212{8,10,12,13,20,25}317{1,3,7,17}423{16,23,33}526{14,19,26,29,32}630{24,30,31,41}740{21,22,28,37,38,40,42,45}843{27,36,39,43,44,46}

不妨用TP表示某種故障模式被正確識別的數(shù)量，F(xiàn)N表示該故障模式被錯誤識別的數(shù)量，F(xiàn)P表示誤診斷為該故障模式的樣本數(shù)量。則將召回率定義為TP/(TP+FN)，而準確率定義為TP/(TP+FP)。因此，根據(jù)圖7得到4種故障模式的召回率、準確率直方圖，如圖9所示。

根據(jù)文獻[23]中關于多分類問題F1值及G-mean的定義，結(jié)合圖9得到表5所示的診斷結(jié)果統(tǒng)計特性。表5從診斷精度之外的另一個角度展示了各種診斷算法的性能?？梢钥吹奖疚乃惴ㄒ琅f展示出更好的診斷性能。

表4 不同算法診斷結(jié)果比較

此外，為了比較各種算法的時間花費，重復運行實驗5次，將各種算法訓練時間與測試時間的均值與標準差記錄在表6中。

由表6可知，①在訓練時間上，采用LMKC明顯要比一般的MKL花費更多的時間，而所提的2種局部MKL算法與2種流行的局部MKL算法相比較，擁有相似、甚至更短的訓練時間。②在測試時間上，本文算法花費時間最少，尤其是M1-LCMKELM。這是因為ELM相比于SVM本身就是一種計算更加高效的分類器，同時當采用輸入空間選通函數(shù)M1時，能夠產(chǎn)生局部權重的稀疏解。③本文提出的是一種線下故障診斷算法，通過犧牲一定的時間花費獲得診斷精度上的提升是可以接受的；況且，本文主要面向于小樣本條件下的診斷問題，因此時間花費也是可控的。

算 法F1值G-meanSimpleMKL0.89870.8826GMKL-SVM0.92080.9103LMKL-soft-amx0.88550.8745LMKL-sig-moid0.92430.9103M1-LC-MKELM0.94440.9349M2-LC-MKELM0.97290.9696

表6 不同算法診斷時間花費比較

5 結(jié) 論

針對小樣本條件下，基于ATS測試數(shù)據(jù)的航空電子部件功能故障診斷問題，本文提出一種LCMKELM診斷模型。通過實驗驗證了所提模型的有效性和適用性，結(jié)果表明：

1) 在診斷精度上，相比于4種常用的MKL算法，本文模型在實現(xiàn)低漏警率、低虛警率的同時能顯著提升診斷的正確率。對于旋轉(zhuǎn)變壓器激勵發(fā)生電路，M1-LCMKELM將診斷精度平均提升了3.80%，而M2-LCMKELM將診斷精度平均提升了5.98%。

2) 在診斷時間上，相比于2種流行的LMKL算法，本文模型具有相似、甚至更短的訓練時間；同時得益于ELM快速的計算效率，可以實現(xiàn)更短的測試時間。

3)M1-LCMKELM產(chǎn)生局部權重的稀疏解，M2-LCMKELM產(chǎn)生局部權重的非稀疏解。這使得M2-LCMKELM的診斷精度要優(yōu)于M1-LCMKELM，但是M1-LCMKELM的測試時間要優(yōu)于M2-LCMKELM。