張祎

摘要：基于數(shù)據(jù)驅(qū)動(dòng)的故障預(yù)測(cè)通過(guò)對(duì)故障特征的歷史數(shù)據(jù)進(jìn)行建模，對(duì)新的數(shù)據(jù)進(jìn)行分類(lèi)，達(dá)到故障識(shí)別的目的。由于故障數(shù)據(jù)的樣本空間小，而故障特征的維度非常高，故障預(yù)測(cè)的建模呈現(xiàn)高維度建模困難的特點(diǎn)。針對(duì)這些問(wèn)題，本文利用主成分分析結(jié)合最小二乘支持向量機(jī)對(duì)故障數(shù)據(jù)進(jìn)行建模，并構(gòu)建故障預(yù)測(cè)的分類(lèi)模型。首先利用主成分分析方法對(duì)高維的故障特征數(shù)據(jù)進(jìn)行降維處理，保留故障信息貢獻(xiàn)較大的特征（維度），再利用最小二乘支持向量機(jī)對(duì)降維的樣本故障數(shù)據(jù)進(jìn)行分類(lèi)訓(xùn)練，構(gòu)造故障的分類(lèi)模型。在不同特征的故障數(shù)據(jù)集上的測(cè)試表明，基于主成分分析故障預(yù)測(cè)預(yù)處理結(jié)合最小二乘支持向量機(jī)可以更為準(zhǔn)確地對(duì)故障進(jìn)行預(yù)測(cè)，且模型的構(gòu)建時(shí)間較少。

關(guān)鍵詞： 支持向量機(jī)；故障預(yù)測(cè)；主成分分析；降維

中圖分類(lèi)號(hào)：TP18 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2015）11-0238-04

Research and Application of PCA and LS-SVM Based Fault Prediction

ZHANG Yi

（Yaan Vocational College ， Ya an 625000，China）

Abstract：Fault prediction is a model analysis technology through fault features. To deal with fault sample insufficiency and high dimension fault features， a fault prediction model based on principal component analysis（PCA） and least square support vector machine （LS-SVM） is proposed. PCA is used to project high dimension data onto a lower dimension feature space so that LS-SVM can be utilized to model the fault data space and efficiently classify the fault data. Experimental tests on most popular fault prediction benchmark datasets show that the proposed method can reduce fault prediction training time and is efficient and effective to predict faults.

Key words： support vector machine； fault prediction； pPrincipal component analysis； dimension reduction

隨著基于信息技術(shù)的工業(yè)化的快速發(fā)展，工業(yè)過(guò)程系統(tǒng)變得越來(lái)越復(fù)雜，導(dǎo)致系統(tǒng)維護(hù)成本越來(lái)越高。由于日益增加的復(fù)雜性，工業(yè)系統(tǒng)發(fā)生發(fā)生系統(tǒng)故障及節(jié)點(diǎn)功能失效的風(fēng)險(xiǎn)也越發(fā)增大。因此，復(fù)雜系統(tǒng)的故障預(yù)測(cè)成為系統(tǒng)保障和系統(tǒng)伸縮性的重要指標(biāo)。通過(guò)故障特征數(shù)據(jù)對(duì)故障進(jìn)行建模是故障預(yù)測(cè)中最為常用的模型之一[1，2，3，4]，該類(lèi)方法不需要所處理系統(tǒng)的準(zhǔn)確數(shù)學(xué)模型，一般通過(guò)采樣到的故障特征數(shù)據(jù)，結(jié)合統(tǒng)計(jì)數(shù)據(jù)分析方法挖掘樣本數(shù)據(jù)中的隱含信息，進(jìn)而建立故障的預(yù)測(cè)模型，是一種非常實(shí)用的故障預(yù)測(cè)方法。

在一些較為復(fù)雜的工業(yè)系統(tǒng)中，可以通過(guò)傳感器采集到相應(yīng)的監(jiān)控?cái)?shù)據(jù)，但是直接對(duì)這些樣本數(shù)據(jù)建立準(zhǔn)確的故障預(yù)測(cè)模型往往是困難的，有的時(shí)候甚至是不可能的。但是，通過(guò)一些預(yù)處理方法，對(duì)這些數(shù)據(jù)進(jìn)行變換，還是可以實(shí)現(xiàn)對(duì)這些復(fù)雜系統(tǒng)建立故障預(yù)測(cè)模型。這類(lèi)方法就是基于數(shù)據(jù)驅(qū)動(dòng)的統(tǒng)計(jì)建模方法，可以分為如下幾類(lèi)：人工神經(jīng)網(wǎng)（artificial neural networks，ANN） [5]、支持向量機(jī)（SVM）[6]、模糊系統(tǒng)（fuzzy systems）[7]和其他智能計(jì)算方法。在文獻(xiàn)[8]中，研究人員使用隱馬爾可夫模型構(gòu)建機(jī)械故障預(yù)測(cè)模型。在文獻(xiàn)[9]中，研究者們對(duì)神經(jīng)網(wǎng)絡(luò)、決策樹(shù)（decision trees）及支持向量機(jī)在幾種不同系統(tǒng)的故障空間中進(jìn)行了對(duì)比分析。而Skormin等則使用數(shù)據(jù)挖掘方法對(duì)故障進(jìn)行建模，通過(guò)將故障投影到環(huán)境變量空間，建立故障設(shè)備與環(huán)境變量之間的關(guān)系，實(shí)現(xiàn)對(duì)未知故障的預(yù)測(cè)[10]。

主成分分析法[11]（Principal Component Analysis，PCA）是一種基于統(tǒng)計(jì)的降維方法，降維使得原數(shù)據(jù)的主要信息集中在幾個(gè)主要的特征之上。在基于分類(lèi)的故障預(yù)測(cè)建模中，通過(guò)特征選擇壓縮樣本數(shù)據(jù)的特征數(shù)目，以減少支持向量機(jī)在故障數(shù)據(jù)集上的訓(xùn)練時(shí)間。

支持向量機(jī)是一種統(tǒng)計(jì)學(xué)習(xí)[6]的建模方法。通過(guò)經(jīng)驗(yàn)風(fēng)險(xiǎn)和置信區(qū)間的最小化之間的平衡，支持向量機(jī)可以保持較好的統(tǒng)計(jì)特性。實(shí)際上，支持向量機(jī)的求解是一個(gè)典型的凸優(yōu)化問(wèn)題，該優(yōu)化問(wèn)題找到的是全局最優(yōu)解。與最為常用的數(shù)據(jù)分析方法神經(jīng)網(wǎng)絡(luò)相比，支持向量機(jī)無(wú)局部極小值，無(wú)維數(shù)災(zāi)難且算法的推廣能力強(qiáng)。

支持向量機(jī)在求解凸優(yōu)化問(wèn)題時(shí)，由于訓(xùn)練樣本數(shù)據(jù)的特征個(gè)數(shù)（維數(shù)）等于訓(xùn)練樣本的個(gè)數(shù)，因此算法的復(fù)雜度很高，為。隨著數(shù)據(jù)規(guī)模的變大，支持向量機(jī)的訓(xùn)練算法就會(huì)非常的耗時(shí)。通過(guò)引入最小二乘支持向量機(jī)（LS-SVM），將原來(lái)的凸優(yōu)化問(wèn)題轉(zhuǎn)換為解線性方程組的求解，可以在一定程度上減少計(jì)算量，提高訓(xùn)練算法的速度，更易于推廣到大規(guī)模分類(lèi)問(wèn)題。解的稀疏性則是通過(guò)對(duì)拉格朗日乘子的排序和修剪操作得以保持。

論文組織如下，第一部分介紹論文用到的數(shù)學(xué)模型——主成分分析方法及最小二乘支持向量機(jī)。第二部分介紹基于主成分分析的數(shù)據(jù)降維過(guò)程和基于支持向量機(jī)的故障分類(lèi)算法建模。在本文第三部分，通過(guò)實(shí)驗(yàn)測(cè)試分析，對(duì)算法在基準(zhǔn)數(shù)據(jù)集上進(jìn)行測(cè)試。第四部分對(duì)論文進(jìn)行了總結(jié)。

1 相關(guān)數(shù)學(xué)模型介紹

1.1 主成分分析

主成分分析[11]是一種基于統(tǒng)計(jì)計(jì)算的數(shù)據(jù)降維技術(shù)。主成分分析通過(guò)變換提取出特征空間中的部分主要特征取代原樣本的特征，同時(shí)要求所提取的主要特征能反映原始樣本數(shù)據(jù)的絕大部分信息，而且特征之間相互獨(dú)立。

主成分分析的原理如下：假設(shè)故障數(shù)據(jù)具有n個(gè)維度的特征，計(jì)為的協(xié)方差 矩陣。的特征值和特征值對(duì)應(yīng)的規(guī)范化正交向量分別記為和，則的第i個(gè)主成分：

，

（1）

樣本數(shù)據(jù)主成分的貢獻(xiàn)率是指某個(gè)特征反映的信息與總數(shù)據(jù)信息的比值，而第一主成分對(duì)樣本數(shù)據(jù)的信息貢獻(xiàn)率最大，表明它所含的信息量最強(qiáng)。實(shí)際應(yīng)用中往往取前p個(gè)主成分來(lái)近似原始數(shù)據(jù)，因?yàn)橐话闱闆r下，前p個(gè)主成分已經(jīng)能夠反映原始數(shù)據(jù)的大部分信息，即用，，...，來(lái)作為數(shù)據(jù)處理的特征維，代替原來(lái)的，達(dá)到降維的同時(shí)又不影響數(shù)據(jù)的信息量。

由于故障預(yù)測(cè)過(guò)程中采樣數(shù)據(jù)的特征非常多（即數(shù)據(jù)維度很大），一些指標(biāo)的作用并不是顯著決定一類(lèi)故障，通過(guò)PCA對(duì)樣本數(shù)據(jù)進(jìn)行降維預(yù)處理，可以減少最小二乘支持向量機(jī)的計(jì)算量，加快算法的收斂速度。

1.2支持向量機(jī)

支持向量機(jī)的核心思想如下：給定一個(gè)故障數(shù)據(jù)的樣本集，i=1，2，...，n，， ，給定一個(gè)非線性的映射將低維特征空間的樣本數(shù)據(jù)映射到高維的特征空間，并在此高維空間構(gòu)造一個(gè)線性決策函數(shù)：

[f（x）=sgn（ωTΨ（x）+b）] （2）

（2）中的參數(shù)[ω]和b可以通過(guò)求解公式（3）對(duì)應(yīng)的最優(yōu)化問(wèn)題得到：

[min 12ω2+Ci=1nξi]

[s.t. yif（xi）≥1-ξi]，[ξi≥0，i=1，...，n] （3）

其中[ξi≥0，i=1，...，n]為松弛變量。

對(duì)公式（3）引入拉格朗日算子進(jìn)行求解，則支持向量機(jī)的優(yōu)化問(wèn)題轉(zhuǎn)換為如下的二次優(yōu)化問(wèn)題：

[max W（a）=-12i，j=1naiyiyjK（xi，xj）aj+i=1nais.t. i=1naiyi=00≤ai≤c， i=1，2，...，n] （4）

公式（4）是一個(gè)具有不等式約束條件的凸二次優(yōu)化問(wèn)題，給模型具有唯一解。

1.3 最小二乘支持向量機(jī)

支持向量機(jī)在小樣本空間上具有很好的學(xué)習(xí)能力和泛化能力，但當(dāng)樣本空間較大時(shí)，二次優(yōu)化的求解成為SVM訓(xùn)練算法的瓶頸。Suykens[12]等提出了最小二乘支持向量機(jī)解決經(jīng)典支持向量機(jī)的訓(xùn)練瓶頸問(wèn)題，即最小二乘支持向量機(jī)是經(jīng)典支持向量機(jī)模型的一種改進(jìn)。最小二乘支持向量機(jī)將公式（4）中的不等式約束轉(zhuǎn)換為等式約束，同時(shí)引入誤差平方和損失函數(shù)度量在訓(xùn)練集上損失。這些改進(jìn)將原來(lái)的二次規(guī)劃問(wèn)題轉(zhuǎn)換成了一個(gè)求解線性方程組的問(wèn)題，可以提供問(wèn)題求解的速度和收斂速度。最小二乘支持向量機(jī)的數(shù)學(xué)模型如下：

[Min J（w，ξ）=12w2+12γi=1nξi2] （5）

[s.t. yi[wTΨ（xi）+b]=1-ξi，i=1，...，n0≤ai≤c， i=1，2，...，n] （6）

其中，[γ]類(lèi)似于經(jīng)典SVM模型中的參數(shù)C，用于對(duì)模型的損失進(jìn)行調(diào)控。在上面的模型中引入拉格朗日函數(shù)，轉(zhuǎn)換為如下：

[L（w，b，ξ，α）=J（w，ξ）-i=1nαi{yi[wTΨ（xi）+b]-1+ξi}] （7）

其中[αi]為拉格朗日乘子，對(duì)公式（7）中的變量分別求偏導(dǎo)，并令為0，得到如下的公式：

[?L（w，b，ξ，α）?w=0， w=i=1NαiyiΨ（xi）]， （8）

[?L（w，b，ξ，α）?b=0， i=1Nαiyi=0] （9）

[?L（w，b，ξ，α）?ξ=0， αi=γξi] （10）

[?L（w，b，ξ，α）?αi=0， yi[wTΨ（xi）+b]-1+ξi=0] （11）

上述（8）-（11）通常轉(zhuǎn)換為一個(gè)線性系統(tǒng)進(jìn)行求解，在高維的空間中可以通過(guò)核函數(shù)的引入簡(jiǎn)化內(nèi)積的運(yùn)算，常用的核函數(shù)有：

（1）多頊?zhǔn)胶撕瘮?shù)

[K（x，xi）=[（x?xi）+1]q] （12）

其中q是多項(xiàng)式的階次。

（2）徑向基函數(shù)（RBF）

[K（x，xi）=exp{-|x-xi|2σ2}] （13）

（3）Sigmoid核函數(shù)

[K（x，xi）=tanh[v（x?xi）+c]][] （14）

可以看到，對(duì)LS-SVM的求解轉(zhuǎn)換為了一個(gè)關(guān)于線性方程組的求解，因此計(jì)算過(guò)程得到了大大的簡(jiǎn)化。求解LS-SVM后得到的分類(lèi)判決函數(shù)是：

[f（x）=sgn[i=1nαiyiΨ（x，xi）+b]] （15）

2 故障預(yù)測(cè)算法及分析

基于PCA和LS-SVM的故障預(yù)測(cè)算法步驟如下：

Step 1. 對(duì)原始數(shù)據(jù)X，通過(guò)PCA的變換操作，提取主成分，得到降維后的數(shù)據(jù)X'；此步驟中需要根據(jù)具體問(wèn)題設(shè)置主要特征的個(gè)數(shù)。

Step 2. 在數(shù)據(jù)X'上訓(xùn)練LS-SVM，得到訓(xùn)練數(shù)據(jù)集上的支持向量機(jī)決策函數(shù)；此步驟中需要設(shè)置支持向量機(jī)的核函數(shù)，懲罰因子等參數(shù)；

Step 3. 對(duì)新的故障數(shù)據(jù)，在得到的決策函數(shù)中進(jìn)行運(yùn)算，得到故障數(shù)據(jù)對(duì)應(yīng)的類(lèi)別標(biāo)簽，如果故障預(yù)測(cè)的錯(cuò)誤率在容忍的區(qū)間之外，則重新調(diào)整支出向量機(jī)的訓(xùn)練參數(shù)和過(guò)程。

Step 4. 重復(fù)上述過(guò)程，直到對(duì)故障數(shù)據(jù)的判決準(zhǔn)確率達(dá)到一定的閾值。

由于支持向量機(jī)的核函數(shù)選擇對(duì)算法的訓(xùn)練影響較大，本文選取了最為常用的核函數(shù)——RBF核函數(shù)。RBF核函數(shù)的兩個(gè)參數(shù)和的選擇對(duì)經(jīng)驗(yàn)的要求較高，需要多次的測(cè)試，因此對(duì)故障預(yù)測(cè)的準(zhǔn)確率影響較大。通過(guò)實(shí)驗(yàn)和參考其他論文的參數(shù)設(shè)置，=10時(shí)計(jì)算結(jié)果較為穩(wěn)定。

3 實(shí)驗(yàn)分析

為了驗(yàn)證基于PCA和LS-SVM故障預(yù)測(cè)模型的準(zhǔn)確率，本文與常用的故障預(yù)測(cè)模型神經(jīng)網(wǎng)絡(luò)進(jìn)行了對(duì)比實(shí)驗(yàn)。相關(guān)實(shí)驗(yàn)環(huán)境和參數(shù)設(shè)置如下所述。

圖1 NN和PCA+LS-SVM在不同的噪聲率下的故障預(yù)測(cè)準(zhǔn)確率對(duì)比

論文使用的是支持向量機(jī)為開(kāi)源軟件LIBSVM[13]，算法停機(jī)參數(shù)值=，核函數(shù)是徑向基函數(shù)核。實(shí)驗(yàn)硬件環(huán)境為IntelCore i52410 M CPU，內(nèi)存為4GB，64位Windows操作系統(tǒng)，軟件環(huán)境為L(zhǎng)ibsvm，R。實(shí)驗(yàn)采用的數(shù)據(jù)集加入了故障的人工仿真數(shù)據(jù)，噪聲的比例進(jìn)行了調(diào)整。不同噪聲系數(shù)環(huán)境下的實(shí)驗(yàn)結(jié)果對(duì)比圖1所示。

圖1顯示了不同噪聲對(duì)故障檢測(cè)的影響，可以看到不同的噪聲對(duì)故障預(yù)測(cè)準(zhǔn)確率影響較大。當(dāng)故障數(shù)據(jù)中沒(méi)有噪聲時(shí)，算法都能準(zhǔn)確對(duì)故障進(jìn)行分類(lèi)，隨著故障比例的增加，兩種方法的故障預(yù)測(cè)準(zhǔn)確率都有所下降，但我們可以看到，基于PCA+LS-SVM的方法下降的速度較慢，具有較好的適應(yīng)性。

在第二個(gè)實(shí)驗(yàn)中，我們測(cè)試了不同的數(shù)據(jù)驅(qū)動(dòng)故障預(yù)測(cè)算法的訓(xùn)練時(shí)間和數(shù)據(jù)集的關(guān)系，對(duì)比測(cè)試結(jié)果如圖2所示。

圖2 NN和PCA+LS-SVM在不同的數(shù)據(jù)集上的訓(xùn)練時(shí)間對(duì)比

從第二個(gè)實(shí)驗(yàn)可以看出，PCA+LS-SVM由于進(jìn)行了早期的主成分提取，訓(xùn)練時(shí)間比NN減少很多，隨著數(shù)據(jù)集的增大，這種優(yōu)勢(shì)將會(huì)越來(lái)越大。[1]

4 結(jié)束語(yǔ)

本文使用基于主成分分析和最小二乘支持向量機(jī)對(duì)故障進(jìn)行建模分析。通過(guò)主成分分析方法對(duì)故障數(shù)據(jù)進(jìn)行預(yù)處理，提取出主要的故障特征，降低了故障數(shù)據(jù)的維度，同時(shí)為對(duì)支持向量機(jī)的訓(xùn)練計(jì)算提供了信息緊致的數(shù)據(jù)。在故障數(shù)據(jù)分類(lèi)處理方面，采用了最小二乘支持向量機(jī)作為訓(xùn)練和判別模型，可以減少故障預(yù)測(cè)的訓(xùn)練時(shí)間并提高故障的識(shí)別精度。在模擬數(shù)據(jù)集上與常用的故障預(yù)測(cè)算法神經(jīng)網(wǎng)絡(luò)進(jìn)行了對(duì)比，從預(yù)測(cè)精度和訓(xùn)練時(shí)間指標(biāo)可以看出，本文的算法具有精度高，訓(xùn)練時(shí)間短的優(yōu)勢(shì)。但由于支持向量機(jī)的參數(shù)選擇依賴較多的專(zhuān)業(yè)知識(shí)，算法的穩(wěn)定性受到一定的影響。算法在更大規(guī)模數(shù)據(jù)集上的測(cè)試和優(yōu)化將作為下一步的研究工作。

參考文獻(xiàn)：

[1] Lee Jay， Wu Fangji， Zhao Wenyu. Prognostics and health management design for rotary machinery systems—Reviews， methodology and applications[J]. Mechanical Systems and Signal Processing. 2014， 42（1）： 314-334.

[2] Bai Guangxing， Wang Pingfeng， Hu Chao. A self-cognizant dynamic system approach for prognostics and health management[J]. Journal of Power Sources ， 2015， 278： 163-174.

[3] Michael G. P. Prognostics and health management of electronics[M]. John Wiley & Sons. Inc.， Hoboken， New Jersey， 2008： 3-20.

[4] Hess A. C.， Fright G. P. Challenges， issues， and lessons learned chasing the “Big P”. Real predictive prognostics. Part1[C]. 2005 IEEE Aerospace Conference， Big Sky， Montana， USA， 2005： 3610-3619.

[5] Zhang S， Ganesan R. Multivariable trend analysis using neural networks for intelligent diagnostics of rotating machinery[J]. Transactions of the ASME， Journal of Engineering for Gas Turbines and Power， 1997， 119（2）： 378-384.

[6] Vapnik V. The nature of statistical learning theory[M]. New York ： Springer Press ， 1995.

[7] Yan Ruqiang， Gao Robert X.， Chen Xuefeng. Wavelets for fault diagnosis of rotary machines： A review with applications[J]. Signal Processing， 2014， 96： 1-15.

[8] Wang Wilson Q.， Golnaraghi M.Farid， Ismail Fathy. Prognosis of machine health condition using neuro-fuzzy systems[J]. Mechanical Systems and Signal Processing， 2004，18： 813-831.

[9] Qiu H.， Liao H. T.， Lee J. Degradation assessment for machinery prognostics using hidden Markov models[C]. in Proceedings of the ASME International Design Engineering Technical Conferences and Computers and Information in Engineering Conference， Hyatt Regency， California， USA， 2005： 531 - 537.

[10] Goebe K， Bhaskar S， Abhinav S. A comparison of three data-driven techniques for prognostics[C]. 62nd Meeting of the Society For Machinery Failure Prevention Technology （MFPT）， Virginia Beach， VA， USA， 2008， 191-131.

[11] 張小確， 高枝榮， 夏云貴. 主成分分析及其在各儀器分析中的應(yīng)用[J].河北工業(yè)科技， 2007，6（24）： 345-349.

[12] Suykens， J. A. K.， Lukas Lukas， Paul Van Dooren， et al. Least squares support vector machine classifiers： a large scale algorithm[C]. in Proc. of the European Conference on Circuit Theory and Design， 1999： 839-842.

[13] Chang Chih-Chung， Lin Chih-Jen. LIBSVM： A library for support vector machines[J]. ACM Transactions on Intelligent Systems and Technology， 2011， 2（3）： 1- 27 .