杜占龍，李小民，席雷平，張金中，劉新海

（1.軍械工程學(xué)院無人機(jī)工程系，河北石家莊050003；2.總參通信工程設(shè)計(jì)研究院，遼寧沈陽110000）

由式（23）可得

中的B。因?yàn)?/p>

多分類概率極限學(xué)習(xí)機(jī)及其在剩余使用壽命預(yù)測(cè)中的應(yīng)用

杜占龍1，李小民1，席雷平1，張金中2，劉新海1

（1.軍械工程學(xué)院無人機(jī)工程系，河北石家莊050003；2.總參通信工程設(shè)計(jì)研究院，遼寧沈陽110000）

針對(duì)多分類極限學(xué)習(xí)機(jī)（extreme learning machine，ELM）缺乏概率輸出能力問題，提出一種基于sigmoid后驗(yàn)概率映射和Lagrange成對(duì)耦合法的多分類概率ELM（multi-class probabilistic ELM，MPELM）。采用成對(duì)耦合法將多分類問題分解成多個(gè)二分類問題，利用sigmoid函數(shù)將二分類ELM輸出映射成概率輸出。為融合所有二分類概率輸出，推導(dǎo)基于Lagrange乘子法的多分類概率計(jì)算公式，最終求解被預(yù)測(cè)樣本分屬不同類別的概率。將MPELM用于剩余使用壽命（remaining useful life，RUL）預(yù)測(cè)，實(shí)驗(yàn)結(jié)果表明，相比于多分類概率支持向量機(jī)（multi-class probabilistic support vector machine，MPSVM），MPELM耗時(shí)高于MPSVM，但MPELM所需優(yōu)化參數(shù)少，預(yù)測(cè)精度高于MPSVM；與基于Hastie成對(duì)耦合法的MPELM相比，兩者預(yù)測(cè)精度相近，本文MPELM的測(cè)試耗時(shí)較少。

極限學(xué)習(xí)機(jī)；后驗(yàn)概率；成對(duì)耦合法；故障預(yù)測(cè)

0 引 言

____剩余使用壽命（remaining useful life，RUL）預(yù)測(cè)［1］作為故障預(yù)測(cè)與健康管理（prognostics and health management，PHM）重要組成部分，其預(yù)測(cè)結(jié)果是健康管理環(huán)節(jié)制定維修保障決策的重要依據(jù)，也是目前故障預(yù)測(cè)領(lǐng)域研究熱點(diǎn)和難點(diǎn)。根據(jù)文獻(xiàn)［2］分類方法，RUL預(yù)測(cè)主要包括模型法［3-4］和數(shù)據(jù)驅(qū)動(dòng)法［5］。如文獻(xiàn)［3］根據(jù)鋰離子電池的退化模型，結(jié)合無跡粒子濾波預(yù)測(cè)電池的RUL。但是，實(shí)際設(shè)備通常難以建立準(zhǔn)確的物理模型或者數(shù)學(xué)模型，限制了基于模型方法的應(yīng)用范圍，這種情況下，數(shù)據(jù)驅(qū)動(dòng)法受到了更大關(guān)注。

數(shù)據(jù)驅(qū)動(dòng)法預(yù)測(cè)RUL主要有基于退化軌跡相似性［5-6］，基于狀態(tài)概率估計(jì)等方法［7］。其中，文獻(xiàn)［5］根據(jù)同類設(shè)備性能退化數(shù)據(jù)，建立基于支持向量回歸機(jī)（support vector regression，SVR）的退化軌跡模型，實(shí)現(xiàn)RUL預(yù)測(cè)。狀態(tài)概率估計(jì)法根據(jù)已知設(shè)備的全壽命故障數(shù)據(jù)，確定每種退化狀態(tài)對(duì)應(yīng)的訓(xùn)練樣本和RUL，建立具有概率輸出能力的狀態(tài)分類器，對(duì)于被預(yù)測(cè)設(shè)備，根據(jù)分類器得到的其分屬不同退化狀態(tài)的概率，連同每個(gè)狀態(tài)對(duì)應(yīng)的RUL計(jì)算其剩余使用壽命。如文獻(xiàn)［7］利用概率支持向量機(jī)（support vector machine，SVM）預(yù)測(cè)軸承RUL。然而，SVM中的懲罰參數(shù)和核參數(shù)對(duì)預(yù)測(cè)性能影響較大，若參數(shù)選取不當(dāng)，會(huì)降低RUL預(yù)測(cè)準(zhǔn)確性。

極限學(xué)習(xí)機(jī)（extreme learning machine，ELM），是由文獻(xiàn)［8］提出的一種單隱層前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。理論上ELM可以提供良好的泛化能力，為解決回歸和分類問題提供一種新途徑，已經(jīng)在時(shí)間序列預(yù)測(cè)［9］、故障診斷［10］等領(lǐng)域得到應(yīng)用。文獻(xiàn)［11］詳細(xì)分析了ELM的分類性能，實(shí)驗(yàn)結(jié)果表明，ELM與SVM的分類精度相似，但ELM只需調(diào)整一個(gè)參數(shù)。與SVM需調(diào)整兩個(gè)參數(shù)相比，ELM參數(shù)優(yōu)化更易實(shí)現(xiàn)，同時(shí)能降低參數(shù)尋優(yōu)過程復(fù)雜度。為利用ELM這一優(yōu)勢(shì)，將ELM應(yīng)用于基于狀態(tài)概率估計(jì)的RUL預(yù)測(cè)方法中，但是，傳統(tǒng)的ELM不具備概率輸出能力。

為此，本文利用Platt提出的sigmoid后驗(yàn)概率映射算法［12］，將ELM的數(shù)值型輸出映射為概率輸出。為克服sigmoid后驗(yàn)概率映射法只能用于二分類問題的局限性，采用成對(duì)耦合法融合所有的二分類概率輸出。已有的成對(duì)耦合法包括投票法［13］、Hastie等人提出的方法［14］等，文獻(xiàn)［15］對(duì)比了不同成對(duì)耦合法的多分類誤差，實(shí)驗(yàn)結(jié)果表明Hastie法的分類準(zhǔn)確率高于投票法。但是，Hastie法在計(jì)算多分類概率時(shí)需要進(jìn)行多次迭代求解最優(yōu)值，增加了運(yùn)算時(shí)間。為此，本文將成對(duì)耦合法轉(zhuǎn)化為二次規(guī)劃求解最優(yōu)值，推導(dǎo)基于Lagrange乘子法的多分類概率表達(dá)式。即對(duì)于D分類情況，首先將其分解成D（D－1）／2個(gè)二分類問題，利用ELM求解每個(gè)二分類情況的數(shù)值輸出，并利用sigmoid后驗(yàn)概率映射將每個(gè)二分類的數(shù)值輸出轉(zhuǎn)化為概率輸出；然后，采用Lagrange成對(duì)耦合法融合所有D（D－1）／2個(gè)概率輸出值，最終得到D分類問題的概率輸出。將多分類概率ELM（multi-class probabilistic ELM，MPELM）應(yīng)用于設(shè)備的RUL預(yù)測(cè)中，某型無人機(jī)機(jī)載發(fā)射機(jī)參考時(shí)鐘的RUL預(yù)測(cè)結(jié)果驗(yàn)證了本文方法的有效性。

1 極限學(xué)習(xí)機(jī)

ELM模型的輸出可以表示為

式中，L為隱含層節(jié)點(diǎn)數(shù)目；ai∈Rn和bi∈R為ELM隱含層的參數(shù)；βi∈Rm為第i個(gè)隱節(jié)點(diǎn)到輸出節(jié)點(diǎn)的權(quán)值；G（ai，bi，x）表示第i個(gè)隱節(jié)點(diǎn)的輸出函數(shù)，若隱含層為加性隱節(jié)點(diǎn)，則

式中，ai為連接第i個(gè)隱節(jié)點(diǎn)的輸入權(quán)值；bi為第i個(gè)隱節(jié)點(diǎn)的偏差；g（·）為激活函數(shù)。

給定由N組數(shù)據(jù)組成的訓(xùn)練樣本集｛（xl，tl）1，其中xl∈Rn為輸入向量，tl∈Rm為對(duì)應(yīng)的期望輸出，即

將式（3）改寫成矩陣形式，即

式中

在ELM學(xué)習(xí)算法中，ai和bi均為隨機(jī)產(chǎn)生，只有β利用｛（xl，tl）計(jì)算得到。為了提高ELM泛化性能，在解決分類問題時(shí)，可以將求解β看成如下優(yōu)化問題［11］：

式中，訓(xùn)練誤差εl用于避免過擬合現(xiàn)象；λ為懲罰因子。根據(jù)Karush-Kuhn-Tucker定理［11］，式（6）可以轉(zhuǎn)化為雙重優(yōu)化問題。

由式（7）可以得到β的最優(yōu)解［11］為

對(duì)被預(yù)測(cè)樣本x的二分類問題，決策方程為

對(duì)被預(yù)測(cè)樣本x的多分類問題，決策方程為

式中，fi（x）為第i個(gè)輸出節(jié)點(diǎn)的輸出，且f（x）＝［f1（x），…，fm（x）］T。

2 MPELM

2.1 Sigmoid函數(shù)概率映射

對(duì)于分類問題，傳統(tǒng)的ELM只能輸出類別結(jié)果，即給出被預(yù)測(cè)樣本屬于某一類別，而缺乏概率輸出能力，即樣本分屬于不同類別的概率。為了將ELM的輸出轉(zhuǎn)化為概率形式，采用Platt提出的基于sigmoid函數(shù)的后驗(yàn)概率映射法［12］，將ELM的輸出值轉(zhuǎn)化為后驗(yàn)概率。對(duì)于二分類問題｛＋1，－1｝，映射函數(shù)可以表示為

式中，f＋1（x）為ELM對(duì)應(yīng)于類別標(biāo)簽為＋1的輸出，P（t＝－1｜x）＝1－P（t＝＋1｜x）。對(duì)于參數(shù)A＋1和B＋1的確定，需要根據(jù)訓(xùn)練樣本｛（xl，yl）求解以下對(duì)數(shù)似然函數(shù)最小值：

式中

式中，N＋和N－分別為標(biāo)簽為＋1和－1的訓(xùn)練樣本數(shù)目。采用Levenberg-Marquardt算法求解式（12）中的A＋1和B＋1，具體算法流程可以參考文獻(xiàn)［12］中的附錄部分。

2.2 成對(duì)耦合法

Platt提出的Sigmoid函數(shù)后驗(yàn)概率映射法僅適用于二分類問題，為了解決D分類問題，采用成對(duì)耦合法將其分解成D（D－1）／2個(gè)二分類問題，其中D＞2為類別個(gè)數(shù)。對(duì)于由第i類別和第j類別組成的二分類問題，記rij為輸入樣本x屬于第i類別的概率值，即

為了最終計(jì)算輸入向量x屬于不同類別i的概率pi，如式（16）所示，需要融合D（D－1）／2個(gè)二分類概率值rij。

融合D（D－1）／2個(gè)rij求解pi可以等效為求解以下方程的最小值［16］：

文獻(xiàn)［16］已經(jīng)證明式（17）中任意優(yōu)化后得到的p＝｛p1，…，pi，…，pD｝均能滿足pi≥0，i＝1，2，…，D。則式（17）可以變成二次規(guī)劃問題：

式中

式中，Qij為式（18）中Q的第i行j列元素，i，j＝1，2，…，D。利用Lagrange乘子法求解式（18），則Lagrange函數(shù)為

令pL（p，α）＝0，αL（p，α）＝0，得到方程組

將式（21）寫成分塊矩陣形式

由式（23）可得

中的B。因?yàn)?/p>

則

對(duì)式（26）進(jìn)行求解，得

最后，將BT的值作為輸入向量x屬于不同類別i的概率集合｛p1，…，pi，…，pD｝。

2.3 MPELM算法流程

給定訓(xùn)練樣本集｛（xl，tl），其中xl∈Rn為輸入向量，tl∈｛1，…，D｝為類別標(biāo)簽。則整理得多分類概率極限學(xué)習(xí)機(jī)算法步驟如下。

步驟1將｛（xl，tl）分解成D（D－1）／2組二分類｛i，j｝訓(xùn)練樣本，其中由類別i和j組成的訓(xùn)練樣本為｛（xl， t′l），t′l∈｛i，j｝。若t′l＝i，則令＝1，若t′l＝j(luò)，則令＝－1。從而將｛i，j｝類訓(xùn)練樣本變成｛（xl，），i，j＝1，2，…，D，且i≠j。

步驟2 將｛（xl）｝代入式（8）計(jì)算其對(duì)應(yīng)的ELM輸出權(quán)重βij，按式（28）計(jì)算xl對(duì)應(yīng)的ELM輸出fij（xl）。式中，h（xl）按式（5）計(jì)算。

步驟3 利用｛fij（xl）｝求解｛i，j｝類對(duì)應(yīng)的參數(shù)Aij和Bij，l＝1，2，…，Nij。

式中，Ni和Nj分別為屬于類別i和類別j的訓(xùn)練樣本個(gè)數(shù)，將pl和yl代入式（12）計(jì)算Aij和Bij。

步驟4 對(duì)于被預(yù)測(cè)樣本的輸入向量x，計(jì)算其與｛i，j｝類對(duì)應(yīng)的ELM輸出fij（x）和概率輸出rij，i，j＝1，2，…，D，且i≠j。

步驟5 利用Lagrange乘子法求解多分類概率。即將rij代入式（19）計(jì)算Q，然后將Q和式（19）中的A代入式（27）計(jì)算B，則BT為被預(yù)測(cè)樣本的輸入向量x分屬于所有D個(gè)類別的概率｛p1，…，pD｝。

3 RUL預(yù)測(cè)

根據(jù)設(shè)備的歷史全壽命數(shù)據(jù)，采用狀態(tài)概率估計(jì)法預(yù)測(cè)RUL，其中利用本文提出的MPELM估計(jì)當(dāng)前時(shí)刻設(shè)備分屬于不同退化狀態(tài)的概率，連同由歷史數(shù)據(jù)確定的不同退化狀態(tài)對(duì)應(yīng)的剩余使用壽命，計(jì)算當(dāng)前設(shè)備的RUL。基于多分類概率極限學(xué)習(xí)機(jī)的RUL預(yù)測(cè)算法如下。

（1）利用歷史全壽命數(shù)據(jù)組成訓(xùn)練樣本｛（xl，tl）｝，其中xl為能反映設(shè)備退化程度的故障特征，tl∈｛1，…，D｝為不同退化狀態(tài)標(biāo)簽，D為退化狀態(tài)數(shù)目。根據(jù)｛（xl，tl）｝訓(xùn)練MPELM。

（2）對(duì)于被預(yù)測(cè)設(shè)備，將其當(dāng)前時(shí)刻k的故障特征xk代入訓(xùn)練好的MPELM，計(jì)算設(shè)備屬于退化狀態(tài)i（i＝1，2，…，D）的概率pi，k。

（3）k時(shí)刻RUL的預(yù)測(cè)按照下式計(jì)算：

式中，τi為根據(jù)歷史全壽命數(shù)據(jù)確定的退化狀態(tài)i對(duì)應(yīng)的RUL。

值得注意的是，在RUL預(yù)測(cè)中，當(dāng)前設(shè)備的壽命數(shù)據(jù)和歷史設(shè)備往往存在差異，可能將不屬于任何已知類別的數(shù)據(jù)歸到錯(cuò)誤的一類，導(dǎo)致RUL預(yù)測(cè)失效。為克服此問題，可以參考文獻(xiàn)［18］的方法，即利用每種退化類別標(biāo)簽對(duì)應(yīng)的故障特征訓(xùn)練一個(gè)OCSVMj（一類支持向量機(jī)），j＝1，2，…，D。對(duì)于當(dāng)前時(shí)刻k的故障特征xk，分別將xk送入D個(gè)OCSVMj，并判斷xk是否屬于OCSVMj。若結(jié)果為xk至少屬于一種OCSVMj，說明xk屬于已知的退化狀態(tài)，可以按照本文提出的MPELM預(yù)測(cè)RUL。反之，說明xk不屬于已知的退化狀態(tài)，可能導(dǎo)致RUL預(yù)測(cè)無效。

4 實(shí)例分析

4.1 實(shí)驗(yàn)數(shù)據(jù)

利用某型無人機(jī)機(jī)載發(fā)射機(jī)故障注入實(shí)驗(yàn)臺(tái)的故障數(shù)據(jù)驗(yàn)證本文方法在RUL預(yù)測(cè)中的有效性，實(shí)驗(yàn)臺(tái)主要由發(fā)射機(jī)故障注入樣機(jī)、計(jì)算機(jī)、程控測(cè)量?jī)x器和直流電源組成，如圖1所示。

圖1 機(jī)載發(fā)射機(jī)故障注入實(shí)驗(yàn)臺(tái)

圖2 參考時(shí)鐘緩變故障下輸出頻率和功率

4.2 參數(shù)選擇

為證明本文方法有效性，采用3種方法：多分類概率支持向量機(jī)（MPSVM）、基于Hastie成對(duì)耦合法的多分類概率ELM（Hastie-MPELM）、本文提出的基于Lagrange成對(duì)耦合法的多分類概率ELM（Lagrange-MPELM），作為設(shè)備退化狀態(tài)分類器，預(yù)測(cè)發(fā)射機(jī)RUL。其中，方法1采用LIBSVM工具箱中提供的概率SVM，為了求解式（16）的概率，方法2采用Hastie方法［14］融合不同二分類概率輸出、方法3采用本文推導(dǎo)的Lagrange乘子法融合二分類概率輸出。式（2）中ELM激活函數(shù)g（·）選為sig。實(shí)驗(yàn)環(huán)境為Windows XP系統(tǒng)，酷睿i3處理器（主頻3.3 GHz），3.4 GB內(nèi)存，運(yùn)行軟件為MATLAB R2011b。

對(duì)于MPSVM，懲罰參數(shù)C和核參數(shù)γ對(duì)分類性能影響較大；對(duì)于Hastie-MPELM和Lagrange-MPELM，式（8）中的參數(shù)λ和式（3）中的隱節(jié)點(diǎn)數(shù)目L需要人為確定。另一方面，退化狀態(tài)數(shù)D同樣影響著RUL預(yù)測(cè)的準(zhǔn)確性。

4.2.1 λ和L對(duì)MPELM的影響

對(duì)于兩種MPELM，λ和L需要人為確定。分別令兩個(gè)參數(shù)λ＝｛2－24，2－23，…，224，225｝，L＝｛100，200，…，2 000｝，利用網(wǎng)格搜索法計(jì)算每一對(duì)λ和L對(duì)應(yīng)的RUL預(yù)測(cè)準(zhǔn)確率，其中第1～3組數(shù)據(jù)用于訓(xùn)練兩種MPELM，利用第4組數(shù)據(jù)計(jì)算RUL準(zhǔn)確率，如式（34）所示。同理，對(duì)MPSVM，分別令C和γ＝｛2－24，2－23，…，224，225｝，計(jì)算每一對(duì)C和γ對(duì)應(yīng)的RUL預(yù)測(cè)準(zhǔn)確率。以退化狀態(tài)數(shù)為4時(shí)的情況為例，3種方法的RUL預(yù)測(cè)準(zhǔn)確率如圖3所示。

式中，Ntest＝208為測(cè)試樣本的采樣點(diǎn)數(shù)；^ξk為RUL的預(yù)測(cè)值；ξk為RUL的實(shí)際值。

圖3 不同參數(shù)對(duì)應(yīng)的RUL預(yù)測(cè)準(zhǔn)確率

由圖3可知，對(duì)于兩種MPELM，只要λ選擇恰當(dāng)，L對(duì)RUL準(zhǔn)確性影響較?。欢鴮?duì)于MPSVM，參數(shù)C和γ對(duì)RUL準(zhǔn)確性影響較大。與MPSVM需要同時(shí)優(yōu)化兩個(gè)參數(shù)C和γ相比，兩種MPELM只需對(duì)λ進(jìn)行優(yōu)化，從而簡(jiǎn)化參數(shù)尋優(yōu)過程。因此，在本文下面的參數(shù)尋優(yōu)過程中，固定L＝1 000，分別令Hastie-MPELM和Lagrange-MPELM中的λ、MPSVM中的C和γ在｛2－24，2－23，…，224，225｝中搜索最優(yōu)參數(shù)。

4.2.2 參數(shù)優(yōu)化結(jié)果

由4.2.1節(jié)分析結(jié)果可知，兩種MPELM的λ，MPSVM的C和γ需人為確定。此外，不同退化狀態(tài)數(shù)目D同樣影響著RUL的預(yù)測(cè)準(zhǔn)確性。為了確定合理的D，選擇已知的一組故障數(shù)據(jù)作為評(píng)價(jià)標(biāo)準(zhǔn)，計(jì)算不同D下該組數(shù)據(jù)的RUL預(yù)測(cè)準(zhǔn)確率，選擇最大準(zhǔn)確率對(duì)應(yīng)的D作為選定的退化狀態(tài)個(gè)數(shù)。對(duì)于本實(shí)驗(yàn)，選擇第4組數(shù)據(jù)用于優(yōu)化D，分別令D＝2，3，…，10，D在每種取值下，令λ在｛2－24，2－23，…，224，225｝中變化，λ每取一次值，利用第1～3組數(shù)據(jù)組成的訓(xùn)練樣本建立一個(gè)Lagrange-MPELM，然后計(jì)算其對(duì)第4組數(shù)據(jù)的RUL預(yù)測(cè)準(zhǔn)確率，取所有λ中RUL預(yù)測(cè)準(zhǔn)確率最大值作為狀態(tài)數(shù)為D時(shí)的準(zhǔn)確率，如圖4所示?？梢钥闯?，當(dāng)D＝4時(shí)，RUL準(zhǔn)確率最大，為此，選取退化狀態(tài)數(shù)目為4。其中，第1～3組故障數(shù)據(jù)作為訓(xùn)練樣本的抽取方式及其對(duì)應(yīng)的RUL如表1所示，利用（208Δt－Ti）／207Δt計(jì)算不同退化狀態(tài)對(duì)應(yīng)的RUL，Ti為狀態(tài)i對(duì)應(yīng)的平均工作時(shí)間。

圖4 不同退化狀態(tài)數(shù)對(duì)應(yīng)的RUL預(yù)測(cè)準(zhǔn)確率

表1 退化狀態(tài)數(shù)為4時(shí)的訓(xùn)練樣本

固定L＝1 000，分別令兩種MPELM中的λ、MPSVM中的C和γ在｛2－24，2－23，…，224，225｝中搜索最優(yōu)值。對(duì)于每一次Hastie-MPELM和Lagrange-MPELM中λ的搜索值，根據(jù)訓(xùn)練樣本（見表1）建立MPELM模型，利用第4組故障數(shù)據(jù)計(jì)算RUL預(yù)測(cè)準(zhǔn)確率，選擇RUL預(yù)測(cè)準(zhǔn)確率最大時(shí)對(duì)應(yīng)的λ作為預(yù)測(cè)RUL的最優(yōu)參數(shù)，如表2所示。同理，MPSVM的最優(yōu)C和γ如表2所示。3種方法搜索最優(yōu)參數(shù)的耗時(shí)如表2所示，與MPSVM需要同時(shí)優(yōu)化2個(gè)參數(shù)C和γ相比，2種MPELM只需要優(yōu)化1個(gè)參數(shù)λ，所以2種MPELM的尋優(yōu)耗時(shí)少于MPSVM。

表2 最優(yōu)參數(shù)及尋優(yōu)耗時(shí)

4.3 RUL預(yù)測(cè)

分別利用3種方法預(yù)測(cè)第4、5組數(shù)據(jù)的RUL，訓(xùn)練樣本和狀態(tài)分類器參數(shù)如表1和表2所示。其中，參數(shù)優(yōu)化利用第4組數(shù)據(jù)，本文稱其為已知測(cè)試樣本，第5組故障數(shù)據(jù)沒有參與分類器的訓(xùn)練和參數(shù)優(yōu)化過程，本文稱其為未知測(cè)試樣本。本文提出的Lagrange-MPELM對(duì)第4、5組故障數(shù)據(jù)分屬于4種退化狀態(tài)的概率估計(jì)值如圖5所示，發(fā)射機(jī)在起始階段屬于狀態(tài)1的概率接近100%，隨著退化過程延續(xù)，屬于狀態(tài)1的概率逐漸降低，屬于狀態(tài)2的概率增加，直至最后屬于狀態(tài)4的概率變?yōu)樽畲?，其中相鄰狀態(tài)間曲線的重疊主要由不同樣本間的差異性造成。

圖5 Lagrange-MPELM對(duì)測(cè)試樣本分屬于不同退化狀態(tài)的概率估計(jì)

通過計(jì)算不同時(shí)刻測(cè)試樣本分屬于4個(gè)退化狀態(tài)的概率（表3為部分時(shí)刻3種方法對(duì)第5組數(shù)據(jù)的概率輸出值），連同表1所示的不同退化狀態(tài)對(duì)應(yīng)的RUL，利用式（33）計(jì)算所有208個(gè)時(shí)刻測(cè)試數(shù)據(jù)的RUL，3種方法對(duì)第4、5組測(cè)試樣本的RUL預(yù)測(cè)值和預(yù)測(cè)誤差絕對(duì)值分別如圖6和圖7所示。

表3 3種方法對(duì)第5組數(shù)據(jù)的部分時(shí)刻概率輸出（k=4Δt，78Δt，130Δt，204Δt）

圖6 第4組數(shù)據(jù)（已知樣本）預(yù)測(cè)結(jié)果

進(jìn)行50次蒙特卡羅仿真，3種方法的RUL預(yù)測(cè)準(zhǔn)確率、訓(xùn)練耗時(shí)和測(cè)試耗時(shí)如表4所示，其中RUL預(yù)測(cè)準(zhǔn)確率按式（34）計(jì)算，訓(xùn)練耗時(shí)是指利用表1所示的訓(xùn)練樣本和表2所示的最優(yōu)參數(shù)訓(xùn)練分類器的時(shí)間，測(cè)試耗時(shí)是指利用訓(xùn)練好的分類器計(jì)算第4組或第5組的208個(gè)故障數(shù)據(jù)對(duì)應(yīng)的RUL所需的時(shí)間。

由圖6、圖7和表4可知，對(duì)于已知的測(cè)試樣本（第4組故障數(shù)據(jù)），3種方法的預(yù)測(cè)準(zhǔn)確率相差不大，但是對(duì)于未知的測(cè)試樣本（第5組故障數(shù)據(jù)），兩種MPELM的預(yù)測(cè)精度高于MPSVM，相比之下，Lagrange-MPELM的預(yù)測(cè)精度略高于Hastie-MPELM。在模型訓(xùn)練過程中，兩種MPELM方法需要對(duì)式（12）進(jìn)行優(yōu)化，在模型測(cè)試過程中，兩種MPELM方法需要融合所有的二分類概率輸出，因此，兩種MPELM方法的訓(xùn)練耗時(shí)和測(cè)試耗時(shí)高于MPSVM。在模型測(cè)試階段，Hastie-MPELM需要通過多步迭代求解所有二分類融合的最優(yōu)值，而Lagrange-MPELM利用式（27）即可求得最優(yōu)值，所以Lagrange-MPELM的測(cè)試耗時(shí)低于Hastie-MPELM。

圖7 第5組數(shù)據(jù)（未知樣本）預(yù)測(cè)結(jié)果

表4 RUL測(cè)試準(zhǔn)確率和耗時(shí)

5 結(jié) 論

本文根據(jù)極限學(xué)習(xí)機(jī)在多分類問題中泛化能力強(qiáng)、所需優(yōu)化參數(shù)少這兩個(gè)優(yōu)點(diǎn)，提出基于多分類概率極限學(xué)習(xí)機(jī)的剩余使用壽命預(yù)測(cè)算法。利用無人機(jī)發(fā)射機(jī)的故障數(shù)據(jù)進(jìn)行實(shí)驗(yàn)驗(yàn)證，結(jié)果表明，在模型參數(shù)優(yōu)化方面，與MPSVM需要優(yōu)化參數(shù)C和γ相比，MPELM只對(duì)參數(shù)λ敏感，所以MPELM方法在參數(shù)尋優(yōu)耗時(shí)上少于MPSVM；在RUL預(yù)測(cè)性能方面，MPELM的訓(xùn)練和測(cè)試耗時(shí)高于MPSVM，但是MPELM的預(yù)測(cè)精度優(yōu)于MPSVM。與Hastie-MPELM相比，本文提出的Lagrange-MPELM測(cè)試耗時(shí)更低。

［1］Banjevic D.Remaining useful life in theory and practice［J］.Metrika，2009，69（2）：337- 349.

［2］Kamal M，Diego A，Tobon M，et al.Remaining useful life estimation of critical components with application tobearings［J］.IEEE Trans.on Reliability，2012，61（2）：292- 302.

［3］Miao Q，Xie L，Cui H G，et al.Remaining useful life prediction of lithiumion battery with unscented particle filter technique［J］.Microelectronics Reliability，2013，53（6）：805- 810.

［4］Hu C，Jain G，Gorka T.Method for estimating capacity and predicting remaining useful life of lithiumion battery［J］.Applied Energy，2014，126（1）：182- 189.

［5］Benkedjouh T，Medjaher K，Zerhouni N，et al.Remaining useful life estimation based on nonlinear feature reduction and support vector regression［J］.Engineering Applications of Artificial Intelligence，2013，26（7）：1751- 1760.

［6］Liu J B，Djurdjanovic D，Ni J，et al.Similarity based method for manufacturing process performance prediction and diagnosis［J］.Computers in Industry，2007，58（6）：558- 566.

［7］Kim H E，Tan A C C，Mathew J，et al.Bearing fault prognosis based on health state probability estimation［J］.Expert Systems with Applications，2012，39（5）：5200- 5213.

［8］Huang G B，Zhu Q Y，Siew C K.Extreme learning machine：theory and applications［J］.Neurocomputing，2006，70（1／3）：489- 501.

［9］Kamran J，Rafael G，Noureddine Z.SW-ELM：a summation wavelet extreme learning machine algorithm with a priori parameter initialization［J］.Neurocomputing，2014，123（1）：299- 307.

［10］Yuan X，Chen Y J，Zhu Q X.An extension sample classification-based extreme learning machine ensemble method for process fault diagnosis［J］.Chemical Engineering&Technology，2014，37（6）：911- 918.

［11］Huang G B，Zhou H M，Ding X J，et al.Extreme learning machine for regression and multiclass classification［J］.IEEE Trans.on Systems，Man，and Cybernetics-Part B：Cybernetics，2012，42（2）：513- 529.

［12］Platt J C.Probabilistic outputs for support vector machines and comparisons to regularized likelihood methods［J］.Advances in Large Margin Classifiers，1999，10（3）：61- 74.

［13］Miguel M，Eddy M.Improved pairwise coupling classification with correcting classifiers［C］∥Proc.of the 10th European Conference on Machine Learning，1998：160- 171.

［14］Trevor H，Robert T.Classification by pairwise coupling［J］.The Annals of Statistics，1998，26（2）：451- 471.

［15］Miros?aw K，Waldemar W.New variants of pairwise classification［J］.European Journal of Operational Research，2009，199（2）：512- 519.

［16］Wu T F，Lin C J，Weng R C.Probability estimates for multiclass classification by pairwise coupling［J］.Journal of Machine Learning Research，2004，5（1）：975- 1005.

［17］Yan X，Li Y S，Gao S，et al.Fast method to enforce the passivity of macromodels for the admittance matrix［J］.Journal of Xidian University（Natural Science），2011，38（1）：153- 158.（閆旭，李玉山，高崧，等.一種實(shí)現(xiàn)導(dǎo)納矩陣宏模型無源性的快速方法［J］.西安電子科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2011，38（1）：153- 158.）

［18］Wang J C，Shan G L，Duan X S，et al.Analog circuit fault diagnosis method combining OCSVM［J］.Computer Engineering，2012，38（4）：170 -173.（王儉臣，單甘霖，段修生，等.結(jié)合OCSVM的模擬電路故障診斷方法［J］.計(jì)算機(jī)工程，2012，38（4）：170- 173.）

Multi-class probabilistic extreme learning machine and its application in remaining useful life prediction

DU Zhan-long1，LI Xiao-min1，XI Lei-ping1，ZHANG Jin-zhong2，LIU Xin-hai1
（1.Department of UAV Engineering，Ordnance Engineering College，Shijiazhuang 050003，China；2.Communication Engineering Design and Research Institute of PLA General Staff Headquarters，Shenyang 110000，China）

To solve the problem that multi-class extreme learning machine（ELM）lacks the ability of probabilistic output，a multi-class probabilistic ELM（MPELM）algorithm is presented based on the combination of sigmoid posterior probability mapping and Lagrange pairwise coupling.Firstly，after separating the multi-class problem into the type of two-class problem by pairwise coupling，each two-class ELM output is transformed to the probabilistic output by sigmoid function.Then，the multi-class probabilistic computing expression is deduced based on the Lagrange multiplier method，which is utilized to fuse all two-class probabilistic outputs.Finally，the probabilistic results of predicted samples belonging to different classes are obtained.The proposed MPELM is applied to remaining useful life（RUL）prognosis.The experiment results show that，compared with multi-class probabilistic support vector machine（MPSVM），though time consuming of the proposed MPELM is higher than MPSVM，less optimized parameter is required while higher forecasting accuracy is achieved by MPELM.The predicting accuracy of the proposed MPELM is similar to MPELM based on the Hastie pairwise coupling（Hastie-MPELM）algorithm.But test time consuming of the proposed MPELM is less than Hastie-MPELM.

extreme learning machine（ELM）；posterior probability；pairwise coupling；fault prediction

TP 206＋.3

A

10.3969／j.issn.1001-506X.2015.12.18

杜占龍（198-6- ），男，博士研究生，主要研究方向?yàn)楣收显\斷和故障預(yù)測(cè)。

E-mail：dzl_1986＠163.com

李小民（196-8- ），男，教授，博士，主要研究方向?yàn)殡娮酉到y(tǒng)性能檢測(cè)與故障診斷。

E-mail：lxmfy2000＠263.net

席雷平（1979- ），男，講師，博士，主要研究方向?yàn)闄z測(cè)技術(shù)、自動(dòng)目標(biāo)識(shí)別。

E-mail：research_mail＠sina.cn

張金中（198-5- ），男，工程師，主要研究方向?yàn)橥ㄐ旁O(shè)備檢測(cè)診斷。

E-mail：mec_edu＠126.com

劉新海（198-8- ），男，工程師，主要研究方向?yàn)樽詣?dòng)測(cè)試技術(shù)、自動(dòng)測(cè)試?yán)碚摗?/p>

E-mail：18633084961＠126.com

1001-506X（2015）12-2777-08

2014- 12- 04；

2015- 03- 17；網(wǎng)絡(luò)優(yōu)先出版日期：2015- 08- 17。

網(wǎng)絡(luò)優(yōu)先出版地址：http：／／www.cnki.net／kcms／detail／11.2422.TN.20150817.1817.010.html

總裝院?？萍紕?chuàng)新工程項(xiàng)目（ZYX12080008）資助課題