邵怡韋，陳嘉宇，林翠穎，萬程，葛紅娟,2，石智龍

1. 南京航空航天大學(xué) 民航學(xué)院，南京 211106 2. 南京航空航天大學(xué) 民航飛行健康監(jiān)測與智能維護(hù)重點(diǎn)實(shí)驗(yàn)室，南京 211106 3. 南京航空航天大學(xué) 電子信息工程學(xué)院，南京 211106 4. 北京飛機(jī)維修工程有限公司 杭州分部，杭州 310000

在航空領(lǐng)域，齒輪箱作為各類大型復(fù)雜裝備的重要傳動部件，廣泛應(yīng)用于大功質(zhì)比、大減速比的機(jī)械傳動系統(tǒng)中，其可靠性對保障裝備穩(wěn)定運(yùn)行至關(guān)重要。然而，工作在復(fù)雜工況下的齒輪箱容易受到各類復(fù)雜載荷的影響，諸如，航空發(fā)動機(jī)的附件齒輪箱工作在高溫、高壓與高轉(zhuǎn)速的惡劣環(huán)境中，受到離心載荷、氣動載荷和熱載荷等復(fù)雜交變載荷作用，容易發(fā)生各類故障。而在運(yùn)行過程中發(fā)生故障將會導(dǎo)致高昂的維護(hù)成本，甚至引起重大安全事故。因此，實(shí)施有效的齒輪箱故障診斷是保障航空裝備健康運(yùn)行的關(guān)鍵技術(shù)。隨著計算機(jī)技術(shù)與人工智能技術(shù)的不斷發(fā)展，基于數(shù)據(jù)驅(qū)動的智能診斷技術(shù)應(yīng)運(yùn)而生，并已逐漸成為當(dāng)前航空機(jī)械裝備故障診斷與健康管理的重要一環(huán)。

然而，由于齒輪箱一般是由齒輪、軸承與軸等關(guān)鍵零件組成，其故障呈現(xiàn)出多種類混合故障的特點(diǎn)。相較于軸承的3類典型故障，齒輪箱故障包含多達(dá)7類故障模式。同時，齒輪箱故障往往包含兩類以上零件的混合故障，諸如軸承內(nèi)環(huán)與齒輪斷齒混合故障、齒輪偏心與輸出軸不平衡等混合故障。此外，實(shí)際工業(yè)采集的多種類混合故障振動信號具有較強(qiáng)的非平穩(wěn)性，導(dǎo)致其可分性差。這些問題制約了基于少故障模式與單點(diǎn)故障開發(fā)的傳統(tǒng)數(shù)據(jù)驅(qū)動智能診斷方法的有效應(yīng)用。由于特征自提取與深度架構(gòu)的優(yōu)勢，深度學(xué)習(xí)能夠滿足航空裝備故障診斷的特征自適應(yīng)提取要求，不僅減少了對專家經(jīng)驗(yàn)和信號處理技術(shù)的依賴，而且降低了由人工設(shè)計提取特征引入的不確定性，被廣泛應(yīng)用于裝備的智能診斷中。因此，基于深度學(xué)習(xí)的故障診斷方法憑借其強(qiáng)大的特征學(xué)習(xí)能力，是應(yīng)對齒輪箱多種類混合故障診斷的有效途徑，并已成為航空裝備智能診斷的研究熱點(diǎn)。

當(dāng)前，基于深度學(xué)習(xí)的故障診斷研究主要集中在深度神經(jīng)網(wǎng)絡(luò)上。盡管此類方法在航空裝備智能診斷中取得了較好的成果，但是其診斷性能依賴于大量高品質(zhì)的訓(xùn)練樣本。大多數(shù)基于深度神經(jīng)網(wǎng)絡(luò)的診斷方法是在大訓(xùn)練樣本條件下開發(fā)和驗(yàn)證的。然而，由于標(biāo)記成本高與故障數(shù)據(jù)采集難度大等問題，許多實(shí)際工業(yè)應(yīng)用中仍然缺乏足夠的標(biāo)記數(shù)據(jù)，使得此類智能診斷方法必須面臨小訓(xùn)練樣本(訓(xùn)練-總體樣本比例不超過50%)下的故障診斷。在此條件下進(jìn)行模型訓(xùn)練時，過擬合問題嚴(yán)重影響診斷精度，即模型能夠很好的分類和識別訓(xùn)練數(shù)據(jù)中的各類故障，卻無法有效提取故障特征來識別測試數(shù)據(jù)中的各類故障。常用的解決方式是通過對超參數(shù)調(diào)優(yōu)，例如增加網(wǎng)絡(luò)層數(shù)和隱藏神經(jīng)元個數(shù)等，從而達(dá)到理想的結(jié)果。然而，深度神經(jīng)網(wǎng)絡(luò)的超參數(shù)過多，其學(xué)習(xí)過程嚴(yán)重依賴于對參數(shù)的仔細(xì)調(diào)整，成倍增加了模型的訓(xùn)練時間。同時，不同超參數(shù)下訓(xùn)練的模型結(jié)構(gòu)各不相同，其診斷性能差異較大。例如，同樣使用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)，但是由于卷積層結(jié)構(gòu)等超參數(shù)的不同選擇，實(shí)際上使用的是不同的學(xué)習(xí)模型。由于有太多幾乎無限構(gòu)型組合的干擾，不僅使得深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練十分棘手，而且還使其理論分析變得十分困難。綜上，深度神經(jīng)網(wǎng)絡(luò)的性能依賴于超參數(shù)選擇，使其調(diào)優(yōu)過程類似于人工進(jìn)行特征提取，本質(zhì)上降低了深度學(xué)習(xí)模型的智能性。因此，如何解決深度學(xué)習(xí)模型中的過擬合問題，實(shí)現(xiàn)小訓(xùn)練樣本下的準(zhǔn)確診斷成為了領(lǐng)域內(nèi)的研究熱點(diǎn)。

為了解決這個問題，一種基于決策樹的非神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)方法——深度森林，應(yīng)運(yùn)而生。源于以下兩個機(jī)制，該方法具有對訓(xùn)練數(shù)據(jù)量要求較低的特點(diǎn)：一方面，由于深度森林的基礎(chǔ)特征提取器——隨機(jī)森林，采用引導(dǎo)聚集(Bootstrap Aggregating，Bagging)策略對數(shù)據(jù)進(jìn)行學(xué)習(xí)，使模型本身具備良好的抗過擬合特性。另一方面，該模型中的級聯(lián)森林在層數(shù)擴(kuò)展和驗(yàn)證時，采取的-折交叉驗(yàn)證方式，也是解決過擬合問題的重要手段。此外，該方法具有超參數(shù)少、模型受超參數(shù)的影響小以及可解釋性強(qiáng)等優(yōu)點(diǎn)，是當(dāng)前解決小訓(xùn)練樣本分類問題中有前途的深度學(xué)習(xí)方法。目前，深度森林已經(jīng)廣泛用于圖像處理、時間序列預(yù)測等領(lǐng)域，并取得很好的研究成果。Xia等將深度森林應(yīng)用于多源遙感數(shù)據(jù)的融合，將提出的方法應(yīng)用于從日本多摩森林獲得的數(shù)據(jù)集，并與其他方法進(jìn)行比較，實(shí)驗(yàn)表明，深度森林可以比其他方法獲得更好的分類效果，并且與深度神經(jīng)網(wǎng)絡(luò)相比，在超參數(shù)調(diào)整方面耗費(fèi)了很少的時間，并且大大降低了計算的復(fù)雜度。隨著深度森林模型研究的不斷推進(jìn)，研究人員發(fā)現(xiàn)在深度森林模型的數(shù)據(jù)傳遞與處理中，由于每一級的輸入都是原始變換特征向量與級聯(lián)森林生成的增強(qiáng)特征向量拼接生成的向量，且輸入級聯(lián)森林的向量必須經(jīng)過一級一級的森林，會造成計算冗余并且嚴(yán)重影響運(yùn)行效率。為了減輕該機(jī)制的影響，Shen等擴(kuò)展了深度森林的理念，對決策樹的節(jié)點(diǎn)做出概率路由決策，不僅增加了模型的靈活性，還可以為每棵樹進(jìn)行非貪婪優(yōu)化，使得性能增加，并使模型復(fù)雜度大大降低。Fan等提出了一種基于小數(shù)據(jù)集分類的深度森林模型，將一些最主要特征的標(biāo)準(zhǔn)偏差構(gòu)成在下一級傳輸?shù)男绿卣鳎摲椒ㄔ谖鍌€數(shù)據(jù)集上進(jìn)行驗(yàn)證，實(shí)驗(yàn)表明與小數(shù)據(jù)集的其他分類模型相比，該方法具有更好的分類效果。Ding等提出了一種基于多粒度掃描的加權(quán)級聯(lián)森林，提出了一種加權(quán)策略來計算級聯(lián)結(jié)構(gòu)中每個森林的權(quán)重而無需額外的計算成本，從而提高了模型的整體性能。

在旋轉(zhuǎn)機(jī)械故障診斷領(lǐng)域中， Liu等將深度森林應(yīng)用在水輪機(jī)的智能故障診斷中，提出了一種基于深度森林的水輪機(jī)智能故障診斷方法，對噪聲具有很好的魯棒性。Zhang等提出了一種基于深度森林的鐵路道岔系統(tǒng)故障診斷新方法，并且在數(shù)據(jù)有限的情況下驗(yàn)證了該方法的性能。Hu等提出了一種結(jié)合深度玻爾茲曼機(jī)和深度森林的故障診斷方法，使用深度玻爾茲曼機(jī)將要處理的數(shù)據(jù)的所有特征轉(zhuǎn)換為二進(jìn)制再輸入深度森林中，能有效進(jìn)行基于大數(shù)據(jù)的工業(yè)故障診斷。當(dāng)前，深度森林模型在航空裝備智能診斷中的研究較少。作為一種非神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型，它具有強(qiáng)大的特征學(xué)習(xí)能力，是解決小訓(xùn)練樣本下多種類混合故障診斷難題的有效手段。但是，為表達(dá)齒輪箱的復(fù)雜故障狀態(tài)，在智能診斷中一個振動數(shù)據(jù)樣本往往包含超過1 000個數(shù)據(jù)點(diǎn)，甚至超過4 000個數(shù)據(jù)點(diǎn)。深度森林在處理這類長數(shù)據(jù)類型時，由于計算復(fù)雜度的問題，內(nèi)存消耗和特征冗余嚴(yán)重，極大地影響了深度森林的診斷效率。同時，在級聯(lián)森林結(jié)構(gòu)中，高維變換特征向量在與低維增強(qiáng)特征向量拼接時，巨大的維度差異引發(fā)特征淹沒現(xiàn)象，使得模型的特征學(xué)習(xí)不完善，降低深度森林的診斷性能。因此，如何增強(qiáng)模型內(nèi)數(shù)據(jù)特征代表性與運(yùn)行效率問題，是實(shí)現(xiàn)小訓(xùn)練樣本下齒輪箱多種類混合故障準(zhǔn)確診斷的關(guān)鍵主題。

主成分分析算法(Principal Component Analysis， PCA)是一種常見的多元統(tǒng)計分析算法，也是模式識別中常用的一種線性映射方法，是基于數(shù)字信號二階統(tǒng)計特性的分析方法。該方法將多個相關(guān)變量簡化為幾個不相關(guān)變量的線性組合，在保證數(shù)據(jù)信息丟失最少的原則下，經(jīng)線性變換和舍棄一部分信息，以少數(shù)新的變量取代原來的多維變量，從而實(shí)現(xiàn)對高維變量空間到低維空間的映射。主成分分析算法的應(yīng)用最早是在機(jī)器學(xué)習(xí)中利用其良好的降維能力，將多維特征降維到少數(shù)幾維，進(jìn)行數(shù)據(jù)的可視化處理。但由于主成分分析算法在模式識別的特征提取研究中展現(xiàn)出的優(yōu)秀性能，其特征提取機(jī)制可以避免由于人工設(shè)計特征提取帶來的不確定性，越來越多的研究學(xué)者將主成分分析算法應(yīng)用于故障診斷的研究中。Yan等提出了一種基于PCA的故障特征提取方法，用PCA從高維故障數(shù)據(jù)中提取有效的低維故障特征來進(jìn)行發(fā)電機(jī)的故障診斷。Berbache等采用貢獻(xiàn)圖來計算所有過程變量對故障檢測統(tǒng)計量的貢獻(xiàn)，然后用主成分分析算法進(jìn)行獨(dú)立潛在變量提取，建立多種類型的監(jiān)視統(tǒng)計信息以增強(qiáng)故障檢測能力。Cartocci等利用主成分分析算法作為過程監(jiān)控工具，并提出了一種具有時間相關(guān)性的主成分分析算法，提取出與事件相關(guān)的重要特征，實(shí)現(xiàn)實(shí)時的故障診斷。

針對深度森林在齒輪箱故障診斷中的缺陷，利用上述主成分分析算法在特征提取上的優(yōu)勢，分析深度森林中多粒度掃描與級聯(lián)森林的數(shù)據(jù)處理與傳遞機(jī)制，明確特征冗余問題，設(shè)計基于主成分分析算法特征提取的深度森林模型，將主成分分析模型與深度森林的級聯(lián)森林部分進(jìn)行級聯(lián)集成，提出了一種基于改進(jìn)深度森林的齒輪箱故障診斷方法，實(shí)現(xiàn)小訓(xùn)練樣本下高效準(zhǔn)確的故障診斷。通過開展實(shí)驗(yàn)案例分析，與其他基于深度學(xué)習(xí)的齒輪箱故障診斷方法進(jìn)行對比，驗(yàn)證所提方法的有效性與優(yōu)越性，為保障航空裝備的可靠持續(xù)適航提供技術(shù)支持。

1 深度森林

深度森林包括多粒度掃描和級聯(lián)森林兩個部分。一方面，多粒度掃描通過不同采樣窗口增強(qiáng)深度森林的特征表達(dá)能力。另一方面，級聯(lián)森林是一個具有層疊結(jié)構(gòu)的隨機(jī)森林團(tuán)，使得深度森林具有表征學(xué)習(xí)的能力。

1.1 多粒度掃描結(jié)構(gòu)

多粒度掃描框架如圖1所示，滑動窗口用于掃描原始特征。假設(shè)一個數(shù)據(jù)樣本有400個原始特征，并使用100個特征大小的窗口，對于序列數(shù)據(jù)，將通過滑動一個窗口來生成100維的特征向量，在步長為1的情況下，總共產(chǎn)生301個特征向量。經(jīng)過窗口掃描生成的類向量將輸入隨機(jī)森林和完全隨機(jī)森林生成變換特征向量。如圖1所示，假設(shè)是個3分類問題，并使用100維的窗口。每個森林將會產(chǎn)生301個3維類向量，最后對兩個森林產(chǎn)生的類向量進(jìn)行拼接，輸出對應(yīng)于原始400維特征向量的1 806維變換特征向量。

圖1 多粒度掃描流程Fig.1 Process of multi-grained scanning

為了提高模型特征多樣性，多粒度掃描通常使用多個不同的窗口對樣本進(jìn)行多尺度采樣，生成尺度不一的特征向量，從而獲得更多的樣本信息。經(jīng)過實(shí)驗(yàn)對比驗(yàn)證，深度森林模型規(guī)定了默認(rèn)多粒度掃描結(jié)構(gòu)參數(shù)，對于具有維特征的原始數(shù)據(jù)，將使用大小分別為16、8和4的特征窗口進(jìn)行掃描，在保證生成的樣本的多樣性的情況下，使計算效率最大化。

1.2 級聯(lián)森林結(jié)構(gòu)

級聯(lián)森林結(jié)構(gòu)框架如圖2所示，級聯(lián)森林的每一層級都由若干個隨機(jī)森林組成。每個森林都包含若干個決策樹，每個決策樹都輸出一個以類向量為形式的結(jié)果，然后對每個決策樹的輸出類向量結(jié)果取均值，假設(shè)是個3分類問題，則生成一個3維類向量，即為每個隨機(jī)森林的最終輸出結(jié)果。然后再對每一級中所有森林決策出的3維類向量取均值，最后取最大值對應(yīng)的類別作為預(yù)測結(jié)果，并輸出一個3維類向量。每一級輸出的3維類向量會作為增強(qiáng)特征向量，與多粒度掃描輸出的變換特征向量疊加，并作為下一級的輸入。

圖2 級聯(lián)森林結(jié)構(gòu)Fig.2 Structure of cascade forest

考慮到深度結(jié)構(gòu)常常有過擬合問題，每個森林產(chǎn)生的類向量都是經(jīng)過K-折交叉驗(yàn)證的。具體來說，每個實(shí)例將被用作訓(xùn)練數(shù)據(jù)-1次，生成-1個類向量，然后對其進(jìn)行平均，以生成最終類向量作為下一級級聯(lián)的增強(qiáng)特征。擴(kuò)展一個新的級聯(lián)層之后，整個級聯(lián)的性能將在驗(yàn)證集上進(jìn)行估計，如果沒有顯著的性能增益，則訓(xùn)練過程將終止，因此，級聯(lián)森林的級數(shù)將自動確定。深度森林能夠通過自動確定深度結(jié)構(gòu)的復(fù)雜度來適應(yīng)不同大小的數(shù)據(jù)集，這使得它與大多數(shù)模型復(fù)雜度固定的深度神經(jīng)網(wǎng)絡(luò)相比，不僅僅局限于大規(guī)模的訓(xùn)練數(shù)據(jù)。

1.3 深度森林結(jié)構(gòu)

圖1和圖2分別展示深度森林的多粒度掃描流程和級聯(lián)森林結(jié)構(gòu)。假設(shè)原始輸入包含400個原始特征，并在多粒度掃描中使用3個不同大小的窗口。對于個訓(xùn)練樣本，100個特征的窗口將生成包含301×個100維訓(xùn)練樣本的數(shù)據(jù)集。這些數(shù)據(jù)將用于訓(xùn)練1個隨機(jī)森林和1個完全隨機(jī)森林，每個森林包含若干棵樹。如果要預(yù)測3個類別，則將獲得1個1 806維的變換特征向量，如1.1節(jié)所述，轉(zhuǎn)換后的變換特征向量將用來訓(xùn)練第一級級聯(lián)森林。

類似地，大小為200維和300維的滑動窗口將分別為每個原始訓(xùn)練樣本生成1個1 206維和606維的變換特征向量。將200維和300維窗口轉(zhuǎn)換后的變換特征向量與每一級級聯(lián)森林的上一級生成的類向量結(jié)合，分別訓(xùn)練第二級和第三級級聯(lián)森林，其中級聯(lián)森林中的每一級由若干個隨機(jī)森林組成，每一級對應(yīng)一個掃描粒度，如圖2所示。綜上所述，給定一個測試實(shí)例，通過多粒度掃描得到其對應(yīng)的變換特征向量，然后通過級聯(lián)森林訓(xùn)練直到驗(yàn)證性能收斂。最后的預(yù)測將通過在最后一級聚合4個3維類向量，并取聚合值最大的類來獲得。

2 主成分分析

PCA是應(yīng)用最廣泛的特征提取方法之一，它是一種統(tǒng)計學(xué)方法，在信號處理、模式識別、數(shù)字圖像處理、故障診斷等領(lǐng)域已經(jīng)得到了廣泛的應(yīng)用。

將數(shù)據(jù)集中心化，即分別求出每個特征的平均值：

(1)

式中：為第維特征在個樣本上的平均值；為數(shù)據(jù)集中第個樣本的第維特征值。

然后對于所有的樣例，都減去對應(yīng)的均值，得到中心化后的數(shù)據(jù)集矩陣：

(2)

計算中心化后的數(shù)據(jù)集矩陣的協(xié)方差矩陣:

(3)

用奇異值分解(Singular Value Decomposition，SVD)的方法求出協(xié)方差矩陣的特征值及其對應(yīng)的特征向量:

=

(4)

式中：為×的方陣，內(nèi)部向量是正交的，且稱為左奇異矩陣；為×的實(shí)對角矩陣，稱為奇異值矩陣，對角線上的元素稱為奇異值；為×的矩陣，里面的向量也是正交的，稱為右奇異矩陣。

對特征值從大到小排序，選擇其中最大的個，然后將其對應(yīng)的個特征向量分別作為行向量組成特征向量矩陣。

將原始數(shù)據(jù)轉(zhuǎn)換到個特征向量構(gòu)建的新空間中，得到經(jīng)PCA處理后具有維特征的數(shù)據(jù)集:

=

(5)

3 基于改進(jìn)深度森林的故障診斷方法設(shè)計

3.1 改進(jìn)的深度森林模型原理

3.1.1 基于PCA特征提取的深度森林模型

故障診斷作為一個分類問題，級聯(lián)森林的結(jié)果為正常和故障的概率，每個森林中屬于正常的概率和屬于故障的概率之和為1，即級聯(lián)森林生成的增強(qiáng)特征向量是線性相關(guān)的，因此，直接將級聯(lián)森林生成的增強(qiáng)特征向量聚合到原始變換特征向量作為下一級的輸入特征向量會造成特征向量的冗余，增加算法的空間復(fù)雜度，降低算法的運(yùn)行效率。并且原始變換特征向量的維數(shù)遠(yuǎn)遠(yuǎn)大于級聯(lián)森林生成的增強(qiáng)特征向量，而隨機(jī)森林學(xué)習(xí)特征采用的是Bagging策略，即對樣本特征進(jìn)行放回采樣學(xué)習(xí)，會在一定程度上造成對級聯(lián)森林生成的增強(qiáng)特征向量的特征掩蓋，導(dǎo)致模型甚至沒有學(xué)習(xí)到增強(qiáng)特征向量，從而降低算法的精度，使得基于深度森林的齒輪箱故障診斷方法往往無法發(fā)揮深度森林的全部優(yōu)勢。

針對上述問題，將PCA模型與級聯(lián)森林的每一級進(jìn)行集成，提出了一種基于PCA特征提取的深度森林模型，如圖3所示，其中“RF”為隨機(jī)森林，“ERF”為完全隨機(jī)森林。PCA憑借其優(yōu)秀的特征提取能力，廣泛應(yīng)用于各類機(jī)械的故障診斷研究中，常常與支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)等非統(tǒng)計故障診斷數(shù)據(jù)驅(qū)動方法聯(lián)合使用。PCA可以有效的解決齒輪箱故障診斷中的兩個技術(shù)難點(diǎn)，即減少故障特征模式中故障特征的個數(shù)以及克服故障特征的多重共線性帶來的不良影響。將PCA與級聯(lián)森林進(jìn)行級聯(lián)集成，對級聯(lián)森林的每一級輸入進(jìn)行相應(yīng)的特征提取，可以很好的解決深度森林在處理具有長特性的單樣本數(shù)據(jù)時的特征冗余、算法運(yùn)行效率低等問題，發(fā)揮深度森林的全部優(yōu)勢。

圖3 改進(jìn)級聯(lián)森林的結(jié)構(gòu)Fig.3 Structure of improved cascade forest

基于PCA特征提取的深度森林模型將級聯(lián)森林的每一級與PCA進(jìn)行集成，即各個粒度的原始變換特征向量將經(jīng)過PCA的特征提取再輸入下一級級聯(lián)森林。假設(shè)有400維原始特征，經(jīng)過多窗口的多粒度掃描得到了對應(yīng)原始特征向量的1 806維、1 206維和606維的變換特征向量。針對如此高維度的原始變換特征向量，在級聯(lián)森林中，首先將三部分原始變換特征向量進(jìn)行拼接，為了與深度森林的工作原理更類似，再將其與經(jīng)過PCA特征提取的第1部分原始變換特征向量進(jìn)行拼接，輸入4個隨機(jī)森林中。隨機(jī)森林將輸出4×3維的增強(qiáng)特征向量，將其再與經(jīng)過PCA特征提取的第1部分原始變換特征向量進(jìn)行拼接，用于訓(xùn)練下一級級聯(lián)森林。第2部分、第3部分經(jīng)過PCA特征提取的原始變換特征向量與上一級生成的增強(qiáng)特征向量相結(jié)合，分別訓(xùn)練第2級和第3級級聯(lián)森林。此過程將重復(fù)，在每擴(kuò)展一個新的級聯(lián)層后，整個級聯(lián)的性能將在K-折交叉驗(yàn)證的每個驗(yàn)證集上估計，取整個級聯(lián)在所有K-折交叉驗(yàn)證的驗(yàn)證集上的診斷精度的平均值作為整體診斷精度，如果整體診斷精度與上一級相比沒有增益，則驗(yàn)證性能收斂，訓(xùn)練過程將終止。

改進(jìn)后的深度森林通過對每一級的輸入原始變換特征向量進(jìn)行PCA特征提取，再與前一級輸出的增強(qiáng)特征向量進(jìn)行拼接，可以解決原始深度森林模型存在的特征冗余問題，并且與上一級輸出類向量拼接的原始變換特征向量維數(shù)減少，改善了原始特征向量一定程度上遮蓋增強(qiáng)特征向量特征的問題，提高了模型的診斷精度。

3.1.2 PCA的最優(yōu)主成分個數(shù)選擇

PCA的原理是為了將數(shù)據(jù)從維降低到維，需要找到個向量，即個主成分，用于投影原始數(shù)據(jù)，使得投影誤差最?。?/p>

(6)

在上述原理下，通過繪制降維后各成分的方差之和隨著主成分個數(shù)的變化而變化的曲線，選取最優(yōu)主成分個數(shù)。實(shí)際應(yīng)用中，通常選擇能使誤差小于0.01(99%的信息都被保留)的主成分個數(shù)。假設(shè)原始數(shù)據(jù)包含1 024維的故障特征，經(jīng)過計算不同降維維度下的投影誤差得到如圖4所示的曲線圖，可以看到，當(dāng)方差和約為99%時，即降維后的特征保留了原始維特征99%的信息，的取值約為280，這樣就完成了1 024維特征數(shù)據(jù)的PCA最優(yōu)主成分個數(shù)選取。在實(shí)際應(yīng)用程序中，可以直接在程序中指定需要保留的方差和99%，獲取相應(yīng)的最優(yōu)主成分個數(shù)，避免因?yàn)槿斯淼牟淮_定性。

圖4 方差和與主成分個數(shù)關(guān)系曲線Fig.4 Curve of relationship between the sum of variances and the number of principal components

3.2 基于改進(jìn)深度森林的齒輪箱故障診斷方法

根據(jù)基于PCA特征提取的深度森林模型的工作流程，基于改進(jìn)深度森林的齒輪箱故障診斷方法框架如圖5所示。

圖5 基于改進(jìn)深度森林的齒輪箱故障診斷方法框架Fig.5 Framework of gearbox fault diagnosis method based on improved deep forest

多粒度掃描

首先采集一維振動信號，獲得故障特征維數(shù)為維的故障數(shù)據(jù)集，并分解獲得包含訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)的數(shù)據(jù)集。再將訓(xùn)練數(shù)據(jù)輸入多粒度掃描模型。多粒度掃描部分對具有維故障特征的原始一維時間序列進(jìn)行多窗口的掃描，并通過隨機(jī)森林進(jìn)行特征變換，最后對變換特征向量進(jìn)行拼接，獲得高維度的變換特征向量。

PCA特征提取

多粒度掃描輸出的高維度變換特征向量輸入級聯(lián)森林之前先進(jìn)行數(shù)據(jù)歸一化、PCA最優(yōu)主成分個數(shù)選取，再根據(jù)SVD選取最優(yōu)主成分，最后進(jìn)行特征空間轉(zhuǎn)換獲取降維后的變換特征向量。

基于PCA的級聯(lián)森林?jǐn)U展

步驟2中PCA提取的特征將與原始變換特征向量拼接輸入級聯(lián)森林的第一級進(jìn)行決策，之后級聯(lián)森林的每一級的輸出結(jié)果將與經(jīng)過PCA特征提取的各粒度變換特征向量拼接輸入下一級的級聯(lián)森林，依此類推。

故障診斷性能測試

級聯(lián)森林每生長一級都要使用-折交叉驗(yàn)證對其診斷性能進(jìn)行測試，若性能不收斂則回到步驟二開始進(jìn)行新一級級聯(lián)森林的生長，直到診斷性能收斂，級聯(lián)森林停止生長。再將測試數(shù)據(jù)輸入訓(xùn)練好的模型中，進(jìn)行分類預(yù)測并輸出診斷結(jié)果。

改進(jìn)的深度森林通過將PCA模型與級聯(lián)森林的每一級進(jìn)行集成，在深度森林生長的過程中，對每一級輸入的原始變換特征向量進(jìn)行特征提取，可以有效地解決原始深度森林因?yàn)槊恳患壖壜?lián)森林都輸入高維變換特征向量而造成的特征掩蓋和特征冗余問題，從而提高深度森林的診斷精度。并且PCA通過對高維變換特征向量進(jìn)行特征提取，可以有效的解決原始故障特征的多重共線性對隨機(jī)森林帶來的影響，在對深度森林模型本身進(jìn)行改善的情況下，減輕原始故障特征因?yàn)槎嘀毓簿€性對齒輪箱故障診斷帶來的影響，從而提高齒輪箱故障診斷的精度。

4 實(shí)驗(yàn)分析與討論

4.1 實(shí)驗(yàn)數(shù)據(jù)

如表1所示，數(shù)據(jù)來源于2009年P(guān)HM數(shù)據(jù)挑戰(zhàn)賽。數(shù)據(jù)采集自一個二級標(biāo)準(zhǔn)圓柱直齒輪減速器。減速器包括輸入軸、惰輪軸和輸出軸。一級減速比為1.5，二級減速比為1.667。數(shù)據(jù)采集采用的輸入軸轉(zhuǎn)速為30 Hz。采樣的頻率為66.7 kHz，采樣時間為4 s，共采集了8種健康狀態(tài)的振動信號。在本次實(shí)驗(yàn)中，數(shù)據(jù)集包含如表1所示8類齒輪箱的健康狀態(tài)，8類健康狀態(tài)包括正常狀態(tài)以及7類故障狀態(tài)，其中7類故障狀態(tài)為齒輪、軸承、軸等零件的混合故障，如健康狀態(tài)2為32齒齒輪碎裂故障與48齒齒輪偏心的混合故障，具有混合故障和多種故障模式的特點(diǎn)。數(shù)據(jù)集共4 000個 樣本，即每類狀態(tài)包含500個樣本，每個樣本長度為1 024。

表1 兩級直齒輪減速器健康狀態(tài)Table 1 Health status of two stage spur gear reducer

4.2 消融實(shí)驗(yàn)

消融實(shí)驗(yàn)將對基于原始深度森林的齒輪箱故障診斷方法和基于改進(jìn)深度森林的齒輪箱故障診斷方法進(jìn)行對比，探究將PCA特征提取與級聯(lián)森林進(jìn)行集成的部分對基于原始深度森林的齒輪箱故障診斷方法改進(jìn)的必要性和有效性。由于每個故障樣本的樣本長度為1 024，即原始特征維數(shù)為1 024維，因此選取多粒度掃描窗口大小分別為64維、128維和256維。多粒度掃描結(jié)構(gòu)的隨機(jī)森林?jǐn)?shù)量為2，每個隨機(jī)森林的決策樹數(shù)量為10。級聯(lián)森林結(jié)構(gòu)的隨機(jī)森林?jǐn)?shù)量為4，每個隨機(jī)森林的決策樹數(shù)量為100。本文實(shí)驗(yàn)中的原始深度森林和改進(jìn)深度森林的結(jié)構(gòu)參數(shù)設(shè)置均為上述值。

實(shí)驗(yàn)分別在訓(xùn)練-總數(shù)據(jù)比例為10%、20%、30%、40%、50%、60%和70%的情況下對兩種齒輪箱故障診斷方法進(jìn)行實(shí)驗(yàn)，得到的結(jié)果如圖6、圖7和圖8所示。圖6中展示了7種訓(xùn)練-總數(shù)據(jù)比例下兩種方法的診斷精度對比。10%和50%的訓(xùn)練-總數(shù)據(jù)比例對于一個齒輪箱故障診斷問題來說，無疑是一個小訓(xùn)練樣本的問題。從圖6中可以看出，在50%的訓(xùn)練-總數(shù)據(jù)比例下，基于改進(jìn)深度森林的齒輪箱故障診斷方法的診斷精度為97.3%，相對于基于原始深度森林的齒輪箱故障診斷方法的95.15%的診斷精度有2.15%的提升。并且在10%的訓(xùn)練-總數(shù)據(jù)比例下，如此小的訓(xùn)練集樣本往往使得齒輪箱的故障診斷難以展開，因此可以看到在此條件下的基于原始深度森林的齒輪箱故障診斷方法的診斷精度為76.36%，難以滿足一般的齒輪箱故障診斷的需求。而在如此小的訓(xùn)練集樣本條件下，本文提出的方法仍然可以達(dá)到80%以上的診斷精度。結(jié)合以上分析，可以得出結(jié)論，本文方法在小訓(xùn)練樣本條件下可以很好的提升原始深度森林的診斷精度，并且訓(xùn)練集比例越小，提升的空間越大。

圖6 10%～70%訓(xùn)練-總數(shù)據(jù)比例下基于改進(jìn)深度森林和原始深度森林的診斷方法的診斷精度對比Fig.6 Comparison of diagnosis accuracy between methods based on improved deep forest and original deep forest with 10%-70% training-total dataset ratio

圖6中，當(dāng)訓(xùn)練-總數(shù)據(jù)比例為70%時，已經(jīng)達(dá)到實(shí)際應(yīng)用中齒輪箱故障診斷的訓(xùn)練集比例上限，基于原始深度森林的齒輪箱故障診斷方法的診斷精度達(dá)到98.17%，在如此高的診斷精度下，本文提出的改進(jìn)深度森林方法仍然將方法的診斷精度提升了1.33%，達(dá)到99.5%的診斷精度。可以看出，即使在訓(xùn)練集比例較大的情況下，本文的方法也能一定程度提升原始深度森林的診斷精度。并且可以從圖6中看出，在訓(xùn)練集比例減小的情況下，基于改進(jìn)深度森林的齒輪箱故障診斷方法相對于基于原始深度森林的方法可以保持更穩(wěn)定的診斷性能。

圖7和圖8是2類故障診斷方法在50%訓(xùn)練-總數(shù)據(jù)比例條件下的混淆矩陣。其中，“Predicted labels”是預(yù)測的健康狀態(tài)類別，“True labels”是實(shí)際的健康狀態(tài)類別，圖中0～7分別表示表1中第1～8類健康狀態(tài)。可以看到基于改進(jìn)深度森林的齒輪箱故障診斷方法對每一類健康狀態(tài)的診斷精度均高于基于原始深度森林的齒輪箱故障診斷方法，診斷性能更優(yōu)越。

圖7 50%訓(xùn)練-總數(shù)據(jù)比例下基于改進(jìn)深度森林的齒輪箱故障診斷方法的混淆矩陣Fig.7 Confusion matrix of gearbox fault diagnosis method based on improved deep forest with 50% training-total dataset ratio

圖8 50%訓(xùn)練-總數(shù)據(jù)比例下基于原始深度森林的齒輪箱故障診斷方法的混淆矩陣Fig.8 Confusion matrix of gearbox fault diagnosis method based on original deep forest with 50% training-total dataset ratio

綜上所述，基于改進(jìn)深度森林的齒輪箱故障診斷方法相比基于原始深度森林的齒輪箱故障診斷方法在各個訓(xùn)練集比例、各個健康狀態(tài)下都有更高的診斷精度，因此可以得出結(jié)論，將PCA特征提取與級聯(lián)森林進(jìn)行級聯(lián)集成可以有效解決原始深度森林特征冗余、特征掩蓋的缺點(diǎn)，并且可以改善齒輪箱故障診斷因?yàn)楣收咸卣鞯亩嘀毓簿€性帶來的影響，具有有效性和必要性。

為了對比基于PCA特征提取的改進(jìn)深度森林模型與原始深度森林的空間復(fù)雜度，通過監(jiān)控兩個模型運(yùn)行過程中的CPU占用內(nèi)存值，選取運(yùn)行過程中的一部分進(jìn)行對比，如圖9所示?？梢钥吹礁倪M(jìn)的深度森林模型的占用CPU內(nèi)存更少。驗(yàn)證了PCA特征提取與級聯(lián)森林的集成部分在空間復(fù)雜度上對于原始深度森林改進(jìn)的有效性。

圖9 基于改進(jìn)深度森林和原始深度森林的齒輪箱故障診斷方法的運(yùn)行CPU占用內(nèi)存值對比Fig.9 Comparison of CPU memory consumption between gearbox fault diagnosis method based on improved deep forest and original deep forest

4.3 不同特征提取方法對比

特征提取是故障診斷模式識別中的重要技術(shù)，特征提取通過特征之間的關(guān)系得到新的特征，改變原來的特征空間。常用的特征提取方法包括PCA、線性判別分析(Linear Discriminant Analysis，LDA)、t-分布領(lǐng)域嵌入 (t-distributed Stochastic Neighbor Embedding，t-SNE)、核主成分分析(Kernel Principal Components Analysis，K-PCA)等。為了驗(yàn)證本文選用PCA作為級聯(lián)森林的集成算法的優(yōu)勢，將分別與基于LDA、t-SNE、K-PCA與級聯(lián)森林進(jìn)行集成的模型進(jìn)行對比。實(shí)驗(yàn)采用的訓(xùn)練-總數(shù)據(jù)比例為50%。

實(shí)驗(yàn)的診斷結(jié)果如圖10所示，可以看到基于t-SNE改進(jìn)的深度森林方法是4種方法中診斷精度最低的，基于LDA改進(jìn)的深度森林方法與本文方法的診斷精度接近，但是在算法的運(yùn)行過程中，發(fā)現(xiàn)基于LDA改進(jìn)的深度森林方法在每一級LDA的特征提取步驟時需要花費(fèi)近一個小時的時間，不能滿足齒輪箱故障診斷的實(shí)時性，而PCA進(jìn)行特征提取只需要幾秒的時間，能滿足齒輪箱故障診斷在實(shí)際應(yīng)用中對于實(shí)時性的要求。K-PCA是PCA的一個改進(jìn)版，它將非線性可分的數(shù)據(jù)轉(zhuǎn)換到一個適合對其進(jìn)行線性分類的新的低維空間上。可以看到，在齒輪箱故障診斷問題中，基于K-PCA的改進(jìn)深度森林方法的診斷精度與基于PCA 的改進(jìn)深度森林的方法診斷精度接近，但K-PCA相對于PCA來說，需要選擇核函數(shù)的類型以及設(shè)置相應(yīng)的參數(shù)，比PCA具有更多的參數(shù)需要選擇。然而在輸入數(shù)據(jù)具有多重共線性且無約束條件可利用時，往往對參數(shù)難以抉擇?；谏疃壬志哂猩俪瑓?shù)的特性，以及二者的診斷精度接近，PCA無疑是比K-PCA更優(yōu)的選擇。

圖10 基于4種特征提取方法改進(jìn)的深度森林的 診斷精度對比Fig.10 Comparison of diagnosis accuracy of improved deep forest based on four feature extraction methods

4.4 小訓(xùn)練樣本下與主流深度學(xué)習(xí)方法對比

為了驗(yàn)證本文方法在小訓(xùn)練樣本下的優(yōu)越性，與基于目前主流深度學(xué)習(xí)方法的齒輪箱故障診斷方法進(jìn)行比較，包括：卷積神經(jīng)網(wǎng)絡(luò)和長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory Networks，LSTM)。CNN作為目前最流行的深度神經(jīng)網(wǎng)絡(luò)，憑借其強(qiáng)大的容錯能力、并行處理能力和自學(xué)習(xí)能力，廣泛用于機(jī)械裝備的故障診斷研究中。LSTM作為循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks，RNN)的重要改型，克服了RNN諸多缺點(diǎn)，如梯度消失問題，憑借其全局化處理能力和門機(jī)制，處理時間序列等一維序列數(shù)據(jù)時有著一定的優(yōu)勢，在機(jī)械裝備的故障診斷研究中也有著廣泛的應(yīng)用。實(shí)驗(yàn)中采用試錯法的參數(shù)選擇方法，并結(jié)合CNN和LSTM參數(shù)選擇的一般規(guī)律選擇模型參數(shù)。其中， CNN模型深度為11層，Dropout率為0.5，優(yōu)化器為adam，初始化學(xué)習(xí)率為0.001，epoch為60，batch_size為64。LSTM模型深度為2層，隱藏神經(jīng)元數(shù)為128，層與層之間Dropout率為0.25，優(yōu)化器為adam，初始化學(xué)習(xí)率為0.001，epoch為50，batch_size為64。由于深度森林采用K-折交叉驗(yàn)證的方法防止過擬合，因此本實(shí)驗(yàn)的CNN模型和LSTM模型在訓(xùn)練過程中也采用K-折交叉驗(yàn)證法，并且設(shè)置的取值為5。實(shí)驗(yàn)分別在訓(xùn)練-總數(shù)據(jù)比例為10%、20%、30%、40%、50%、60%和70%的情況下對3種齒輪箱故障診斷方法進(jìn)行實(shí)驗(yàn)，得到結(jié)果如圖11所示。

圖11 10%～70%訓(xùn)練-總數(shù)據(jù)比例下3種不同齒輪箱故障診斷方法的診斷精度對比Fig.11 Comparison of diagnosis accuracy between three gearbox fault diagnosis methods with 10%-70% training-total dataset ratio

可以看到在各個訓(xùn)練-總數(shù)據(jù)比例下，本文方法診斷性能均優(yōu)于基于CNN和LSTM的齒輪箱故障診斷方法?；贚STM的齒輪箱故障診斷方法的診斷性能較差，且在訓(xùn)練-總數(shù)據(jù)比為70%的情況下診斷精度仍然不超過90%，這反映了具有多種類混合故障特點(diǎn)的齒輪箱故障診斷確實(shí)具有一定的難度。并且可以從圖11中觀察到，相較于訓(xùn)練-總數(shù)據(jù)比例較大的情況下，當(dāng)訓(xùn)練-總數(shù)據(jù)比例不超過50%時，即小訓(xùn)練樣本條件下，本文方法的診斷精度與其他2種方法的差距更大。這符合深度神經(jīng)網(wǎng)絡(luò)的性能依賴于大量訓(xùn)練數(shù)據(jù)的理論特點(diǎn)。而且當(dāng)訓(xùn)練樣本數(shù)量減少的時候，3類方法的診斷精度都有所下降。然而，本文方法在訓(xùn)練樣本減少的情況下，診斷性能的下降幅度遠(yuǎn)低于其它兩種深度學(xué)習(xí)方法。并且其它兩種方法在訓(xùn)練數(shù)據(jù)量小的情況下，呈現(xiàn)訓(xùn)練數(shù)據(jù)量越小，下降幅度越大的趨勢。驗(yàn)證了本文方法在小訓(xùn)練樣本下診斷的穩(wěn)定性與優(yōu)越性。

4.5 與不同齒輪箱故障診斷方法對比

為了驗(yàn)證本文方法的優(yōu)越性，在2009年P(guān)HM挑戰(zhàn)賽的數(shù)據(jù)集上，與使用該數(shù)據(jù)集驗(yàn)證的前沿故障診斷模型的診斷性能進(jìn)行對比，包括：域自適應(yīng)卷積神經(jīng)網(wǎng)絡(luò)(Domain Adaptive Convolutional Neural Networks，DACNN)、深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Convolutional Neural Networks，DCNN)、傅里葉變換深度卷積神經(jīng)網(wǎng)絡(luò)(Fourier-Deep Convolutional Neural Networks，F(xiàn)ourier-DCNN)、深度卷積組合模型(Combined-Deep Convolutional Neural Networks，Combined-DCNN)、二維卷積神經(jīng)網(wǎng)絡(luò)(2-Dimensional Convolutional Neural Networks，2DCNN)。不同模型的診斷精度對比見表2，表中包含了該模型在研究中診斷的健康狀態(tài)數(shù)量、訓(xùn)練樣本數(shù)量和診斷精度。

表2 不同診斷方法與本文方法診斷性能對比

從表2分析得出，在診斷相同8種健康狀態(tài)的情況下，由于齒輪箱故障具有多種類混合故障的特點(diǎn)，給診斷帶來了難度。因此，當(dāng)使用的訓(xùn)練樣本數(shù)量分別為720、780和250時，F(xiàn)ourier-DCNN、Combined-DCNN、2DCNN模型的診斷精度分別為88.61%、91.15%和85.1%。而本文提出的方法，在訓(xùn)練樣本為250的條件下，可以達(dá)到97.3%的診斷精度，診斷性能優(yōu)于其余模型。在診斷6種健康狀態(tài)的模型中，兩種模型的診斷精度為99.33%和91.21%，訓(xùn)練樣本數(shù)量分別為400和800。將本文方法與診斷精度為99.33%的模型比較，發(fā)現(xiàn)在訓(xùn)練樣本數(shù)量近似的情況下，本文的方法診斷精度為99.5%，而本文方法診斷的健康狀態(tài)為8種，在診斷性能上優(yōu)于該方法。

綜合上述對比分析，所提基于改進(jìn)深度森林的齒輪箱故障診斷方法，在2009年P(guān)HM數(shù)據(jù)挑戰(zhàn)賽的數(shù)據(jù)集上診斷性能優(yōu)于已有的前沿故障診斷方法，在機(jī)械故障診斷中有重要的應(yīng)用前景。

5 結(jié) 論

1) 所提基于改進(jìn)深度森林的故障診斷方法考慮了原始深度森林在級聯(lián)森林生長過程中因?yàn)閿?shù)據(jù)傳遞機(jī)制造成的特征冗余、運(yùn)行效率差等問題，并結(jié)合齒輪箱故障由于多重共線性帶來的難點(diǎn)，提出了將PCA特征提取與級聯(lián)森林的層級部分進(jìn)行集成的模型，改善了上述問題對基于深度森林的齒輪箱故障診斷問題帶來的難點(diǎn)。

2) 對比了目前主流的特征提取方法，如LDA、t-SNE、K-PCA，從診斷性能、診斷效率、實(shí)際應(yīng)用的時效性等方面綜合考慮，驗(yàn)證了選取PCA作為集成的特征提取算法的必要性。

3) 在小訓(xùn)練樣本條件(訓(xùn)練-總體樣本比例不高于50%)下，比較了所提基于改進(jìn)深度森林的故障診斷方法和基于CNN與LSTM的故障診斷方法，驗(yàn)證了在小訓(xùn)練樣本條件下，所提方法的優(yōu)越性和診斷的穩(wěn)定性。

4) 通過開展針對2009年P(guān)HM數(shù)據(jù)挑戰(zhàn)賽齒輪箱故障數(shù)據(jù)集的比較實(shí)驗(yàn)，所提基于改進(jìn)深度森林的診斷方法分別在訓(xùn)練-總數(shù)據(jù)比例為70%、50%以及10%的條件下，實(shí)現(xiàn)了99.5%、97.3%和82.8%的平均診斷精度，在驗(yàn)證其小訓(xùn)練樣本下診斷能力的同時，表明了該方法能夠有效解決齒輪箱的多種類混合故障問題，診斷性能優(yōu)于DACNN、Fourier-DCNN和2DCNN等同類齒輪箱診斷方法，在航空機(jī)械故障診斷中具有重要的應(yīng)用前景。

5) 在對原始深度森林的數(shù)據(jù)處理與傳遞機(jī)制進(jìn)行分析時，發(fā)現(xiàn)原始深度森林的多粒度掃描結(jié)構(gòu)因?yàn)槠洳蓸訖C(jī)制和特殊的數(shù)據(jù)傳遞機(jī)制，會在一定程度上增加算法的內(nèi)存消耗和運(yùn)行時間，這使得該模型仍然存在改善的空間。因此，在未來的工作中，將針對多粒度掃描結(jié)構(gòu)的缺陷，對本文方法進(jìn)行進(jìn)一步的優(yōu)化。