郭潤夏，劉殊彤

(中國民航大學a.電子信息與自動化學院；b.中歐航空工程師學院，天津 300300)

0 引言

軸承是現(xiàn)代工業(yè)廣泛使用的旋轉(zhuǎn)機械中的關鍵部件，被廣泛應用于各種機械設備當中。軸承的故障會引起設備的異常振動和噪音，如果不及時采取措施甚至會對設備造成損壞，進而造成經(jīng)濟損失和人員傷亡。研究顯示幾乎50%的電機故障與軸承故障相關[1]。軸承的剩余使用壽命(remaining useful life，RUL)預測有助于合理制定設備的維修方案，提高生產(chǎn)效率，降低事故率，防止突發(fā)事故[2]。

隨著傳感器技術和信號處理技術的發(fā)展，基于深度學習的RUL預測方法逐漸成為主流[3]。ZHU等[4]提出了一種通過時頻表示(time frequency representation，RTF)和多尺度卷積神經(jīng)網(wǎng)絡(multiscale convolutional neural network，MSCNN)進行RUL預測的新型深度特征學習方法，提高了預測精度。循環(huán)神經(jīng)網(wǎng)絡(recurrent neural network，RNN)在對序列信號進行處理時考慮到了歷史信息對當前時刻的影響，其獨特的拓撲結(jié)構(gòu)具備利用歷史信息和當前時刻信息進行預測的能力，使得RNN在處理時間序列方面表現(xiàn)出色[5]。長短期記憶(long short-term memory，LSTM)網(wǎng)絡作為RNN的一種變體能夠有效解決RNN中的梯度消失和梯度爆炸的問題[6]。GUO等[7]提出了一種基于經(jīng)驗模態(tài)分解(empirical modal decomposition，EMD)和LSTM網(wǎng)絡來預測滾動軸承RUL的方法，實驗表明該方法可以為預測滾動軸承的RUL提供有效的參考。然而，RNN只能從當前時刻傳遞到未來，這導致忽略了未來對當前時刻的影響。雙向循環(huán)神經(jīng)網(wǎng)絡(bidirectional recurrent neural Network，BRNN)同時擁有正時間方向傳播和負時間方向傳播的兩個RNN，這個結(jié)構(gòu)使得BRNN在進行預測時可以同時考慮到過去信息和未來信息對當前時刻的影響[8]。雙向長短期記憶(bidirectional long short-term memory，BLSTM)網(wǎng)絡將LSTM網(wǎng)絡運用于BRNN中解決了BRNN長時間序列預測中梯度消失和梯度爆炸問題[9]。YU等[10]利用BLSTM網(wǎng)絡平均法來對石墨/LiCo02電池RUL進行預測，結(jié)果表明該方法可以提高RUL預測精度，減少預測誤差。然而，BLSTM平等的對待每一個輸入序列，并且沒有考慮不同時間傳播方向的相關信息對RUL預測有不同的影響。這些問題會導致重要信息被忽略從而影響RUL預測精度。

針對上述問題，本文提出了一種基于雙重注意力機制的BLSTM(dual attention based bidirectional LSTM，DA-BLSTM)網(wǎng)絡。DA-BLSTM網(wǎng)絡通過輸入注意力機制自適應地提取相關的輸入序列，讓網(wǎng)絡更加關注具有更重要信息的輸入序列；同時結(jié)合方向注意力機制，使得網(wǎng)絡根據(jù)BLSTM不同時間傳播方向?qū)Ξ斍皶r刻輸出的影響自適應地調(diào)節(jié)相關時間方向隱藏狀態(tài)權(quán)重。并且提出了基于DA-BLSTM的軸承RUL預測框架。實驗結(jié)果表明，基于DA-BLSTM的RUL預測方法具有更高的精度。

1 相關研究

1.1 LSTM網(wǎng)絡

LSTM是一種特殊的RNN，用于解決長時間序列訓練過程中梯度消失和梯度爆炸的問題。LSTM細胞結(jié)構(gòu)如圖1所示。

圖1 LSTM細胞結(jié)構(gòu)圖

其數(shù)學公式為：

(1)

1.2 BLSTM網(wǎng)絡

在處理時間序列時，LSTM僅通過正時間傳播學習與時間相關的信息，而BLSTM可以同時學習正負時間方向上與時間相關的信息[11]。BLSTM網(wǎng)絡的架構(gòu)由正向?qū)雍头聪驅(qū)咏M成，其數(shù)學表達式為：

(2)

2 軸承剩余壽命預測框架

2.1 DA-BLSTAM網(wǎng)絡結(jié)構(gòu)

yt=F(g1,g2,…,gT,yt-1)

(3)

式中，F(xiàn)為所提出模型的非線性映射；yt-1為t-1時刻的輸出值。

圖2概述了所提出的DA-LSTM網(wǎng)絡的基本架構(gòu)。DA-BLSTM網(wǎng)絡包含了兩種注意力機制，即輸入注意力機制和方向注意力機制，在輸入注意力層中，使用注意力機制自適應地提取相關輸入序列，在方向注意力層中，方向注意力機制自適應的分配BLSTM不同時間傳播方向的權(quán)重。以下為該模型的詳細信息。

圖2 DA-BLSTM網(wǎng)絡結(jié)構(gòu)圖

圖3 輸入注意力層結(jié)構(gòu)圖

(4)

(5)

(6)

(7)

進一步得到：

(8)

(9)

(10)

(11)

(2)BLSTM層。在輸入注意力機制層的作用下，BLSTM層的隱藏狀態(tài)更新為：

(12)

(13)

(3)方向注意力層。如果直接使用更新的BLSTM隱藏狀態(tài)進行預測，則正向和負向時間傳播方向?qū)敵鼍哂邢嗤挠绊?。但是，對于當前時刻的輸出，不同時間傳播方向?qū)ζ涞挠绊懯遣灰粯拥?。因此，在輸入注意層之后，提出一種方向注意機制，以自適應地選擇BLSTM中正負時間傳播方向的隱藏狀態(tài)。如圖4所示，與輸入注意力機制不同的是在t時刻的正時間傳播方向和負時間傳播方向隱藏狀態(tài)的得分是依據(jù)上一時刻的是輸出yt-1：

圖4 方向注意力層結(jié)構(gòu)圖

(14)

(15)

進一步得到正時間傳播方向和負時間傳播方向隱藏狀態(tài)注意力權(quán)重為：

(16)

(17)

(18)

(19)

(4)輸出注意力層。為了預測t時刻輸出值yt，在方向注意力層之后添加一個全鏈接層，并將方向注意層的輸出值輸入到全連接層。通過全鏈接層，得到t時刻RUL預測值：

(20)

式中，Wout∈R1×2m為全鏈接層權(quán)重；bout∈R為全鏈接層偏差。

2.2 軸承剩余壽命預測框架

所提出的預測方法的流程圖如圖5所示。首先，提取收集到的軸承振動加速度信號的時域和頻域特征，并對其進行歸一化以進行RUL預測；然后，將歸一化的時域和頻域特征輸入到提出的DA-BLSTM網(wǎng)絡中；最后，平滑后得到RUL預測值。

圖5 RUL預測框架圖

2.2.1 退化特征提取

假設傳感器采集的振動信號為V=(v1,v2,…,vT)∈RT。本文從原始信號中提取了11種時域和4種頻域特征。這些特征的定義如表1所示。

表1 時域和頻域特征

2.2.2 基于DA-BLSTM的RUL預測

將歸一化后的特征集輸入到DA-BLSTM網(wǎng)絡中得到初步的RUL預測值Y=(y1,y2,…,yT)T∈RT。然而，盡管RUL預測中的神經(jīng)網(wǎng)絡可以清楚地捕捉到全局模式，但局部波動是不可避免的，這通常會導致不可靠的預測性能。因此，使用平滑方法來突出預測趨勢。在本研究中，指數(shù)平滑用于平滑初步預測的RUL，其基本數(shù)學表達式為：

(21)

式中，pt為t時刻的平滑值；λ為衰減權(quán)重，在本文中設置為0.9；pt-1為上一時刻的平滑值。

2.2.3 網(wǎng)絡參數(shù)及評價指標

模型通過Adam 優(yōu)化算法進行優(yōu)化，損失函數(shù)設置為均方誤差(mean square error，MSE)。隱藏層神經(jīng)元數(shù)量設置為128，學習率為0.000 1。將mini-batch設置為40，epoch數(shù)為200。提出的DA-BLSTM 是平滑可微的，因此該模型可以通過反向傳播來學習。

本文提出的方法使用3個指標來評估模型的性能，分別是平均絕對誤差(mean absolute error，MAE)、均方根誤差(root mean squared error，RMSE)和平均絕對百分比誤差(mean absolute percentage error，MAPE)。

3 軸承剩余壽命預測實驗

3.1 數(shù)據(jù)集來源

本文使用來自加速退化平臺PRONOSTIA的數(shù)據(jù)用于驗證實驗，在PRONOSTIA平臺上收集的PHM數(shù)據(jù)集包含17個軸承的數(shù)據(jù)。振動信號的采樣頻率為25.6 kHz，采集設置為10 s采集一次，一次采集0.1 s，即一次采集2560個點。相關研究表明，軸承退化過程中，水平振動信號比垂直振動信號提供更多的有用信息，因此本文只使用水平振動信號進行實驗驗證[12]。數(shù)據(jù)集包含3種不同的工作條件，具體的訓練集和測試集數(shù)據(jù)如表2所示。

表2 實驗數(shù)據(jù)集

3.2 實驗結(jié)果

本文利用所提出的基于DA-BLSTM網(wǎng)絡的RUL預測框架對數(shù)據(jù)集的軸承進行了RUL預測。最終得到的部分軸承預測結(jié)果如圖6所示。

(a) 軸承1_3預測結(jié)果圖 (b) 軸承1_7預測結(jié)果圖

3.3 實驗對比

為了進一步驗證本文提出方法的應用效果，使用LSTM網(wǎng)絡、BLSTM網(wǎng)絡、基于輸入注意力機制的BLSTM(Input-Attn-BLSTM)和基于方向注意力機制的BLSTM(BLSTM-Di-Attn)與所提出的DA-BLSTM網(wǎng)絡進行對比。在本文中，RMSE、MAE和MAPE用于評估模型的預測性能。將5種模型運行10次取平均值，得到的預測結(jié)果性能評估結(jié)果如圖7～圖9所示。從圖7～圖9中可以看出在預測結(jié)果較好的軸承1_3中，所提模型的RMSE、MAE和MAPE分別為9.7、7.9和27.6，均低于其他模型。在預測結(jié)果相對較差的軸承2_5中，所提模型的RMSE、MAE和MAPE分別為28.0、22.8和171.2，也低于其他模型。這證明了所提出的模型在各種情況下都具有更準確的預測能力。雖然其他方法在某些情況下具有競爭力，但所提出的DA-BLSTM網(wǎng)絡在不同方法中更穩(wěn)定。

圖7 不同方法的RMSE對比圖 圖8 不同方法的MAE對比圖

圖9 不同方法的MAPE對比圖

4 結(jié)論

在本文中，我們提出了一種全新的基于雙重注意力的BLSTM網(wǎng)絡，用于軸承剩余使用壽命預測。該網(wǎng)絡由輸入注意力機制、BLSTM網(wǎng)絡、方向注意力機制組成?；谶@兩種注意力機制，DA-BLSTM網(wǎng)絡不僅可以自適應地提取最相關的輸入特征，還可以更加關注對預測影響較大的時間傳播方向。利用PRONOSTIA平臺數(shù)據(jù)驗證證明了所提方法的有效性和優(yōu)越性。實驗表明DA-BSLTM網(wǎng)絡相比LSTM網(wǎng)絡、BLSTM網(wǎng)絡、Input-Attn-BLSTM網(wǎng)絡和BLSTM-Di-Attn網(wǎng)絡具有更高的預測精度。