吳東燃? 夏藝? 王婧? 古書(shū)懷

摘? 要：準(zhǔn)確的剩余使用壽命預(yù)測(cè)對(duì)于提高工業(yè)設(shè)備及復(fù)雜系統(tǒng)的使用價(jià)值、降低設(shè)備生命周期成本具有重要意義。循環(huán)神經(jīng)網(wǎng)絡(luò)具有時(shí)間維度上的記憶性且能夠參數(shù)共享，比較適用于剩余使用壽命預(yù)測(cè)。文章基于循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)剩余使用壽命預(yù)測(cè)展開(kāi)深入的研究，將搜集文獻(xiàn)法分為三種：基于單一循環(huán)神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)方法，以循環(huán)神經(jīng)網(wǎng)絡(luò)為主、以其他神經(jīng)網(wǎng)絡(luò)為輔的混合網(wǎng)絡(luò)預(yù)測(cè)方法，以及循環(huán)神經(jīng)網(wǎng)絡(luò)與其他算法相結(jié)合的預(yù)測(cè)方法。最后，文章從魯棒性研究、泛化性研究和優(yōu)化預(yù)測(cè)模型三個(gè)方面提出了下一步的研究建議。

關(guān)鍵詞：循環(huán)神經(jīng)網(wǎng)絡(luò)；長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)；門(mén)控循環(huán)單位；預(yù)測(cè)性維護(hù)；剩余使用壽命

中圖分類號(hào)：TP18? ? 文獻(xiàn)標(biāo)識(shí)碼：A? 文章編號(hào)：2096-4706（2023）24-0061-06

Review on the Application of Recurrent Neural Networks in the Prediction of Remaining Service Life

QIU Peizhen， WU Dongran， XIA Yi， WANG Jing， GU Shuhuai

（School of Data Science and Engineering， South China Normal University， Guangzhou? 510631， China）

Abstract： Accurate prediction of remaining service life is of great significance for improving the using value of industrial equipment and complex systems， and reducing equipment lifecycle costs. Recurrent neural networks have memory in the time dimension and can share parameters， making them more suitable for predicting remaining service life. This paper conducts in-depth research on the prediction of remaining service life based on recurrent neural networks. The literature collection methods are divided into three types： prediction methods based on a single recurrent neural network， hybrid network prediction methods mainly based on recurrent neural networks and supplemented by other neural networks， and prediction methods combining recurrent neural networks with other algorithms. Finally， it proposes further research recommendations from three aspects： robustness research， generalization research， and optimization of prediction models.

Keywords： recurrent neural network; Long Short-Term Memory; gate recurrent unit; predictive maintenance; remaining service life

0? 引? 言

剩余使用壽命（Remaining Useful Life， RUL）是指從當(dāng)前時(shí)間點(diǎn)到產(chǎn)品使用壽命結(jié)束之間的時(shí)間段[1]。RUL預(yù)測(cè)是預(yù)測(cè)性維護(hù)（Predictive Maintenance）[1]最重要的組成部分。準(zhǔn)確的RUL預(yù)測(cè)有助于將計(jì)劃維護(hù)轉(zhuǎn)向預(yù)測(cè)性維護(hù)，有效減少維護(hù)成本和避免因重大設(shè)備故障帶來(lái)的災(zāi)難性后果。

在RUL預(yù)測(cè)中，需要建立性能良好、穩(wěn)定可靠的模型，對(duì)設(shè)備狀態(tài)進(jìn)行準(zhǔn)確的辨識(shí)和預(yù)測(cè)。經(jīng)過(guò)多年的研究和探索，神經(jīng)網(wǎng)絡(luò)在RUL預(yù)測(cè)領(lǐng)域展現(xiàn)出強(qiáng)大的優(yōu)勢(shì)。基于神經(jīng)網(wǎng)絡(luò)的RUL預(yù)測(cè)方法旨在以原始測(cè)量數(shù)據(jù)或基于原始測(cè)量數(shù)據(jù)提取的特征作為神經(jīng)網(wǎng)絡(luò)的輸入，通過(guò)一定的訓(xùn)練算法不斷調(diào)整網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)，利用優(yōu)化后的網(wǎng)絡(luò)在線預(yù)測(cè)設(shè)備的剩余使用壽命，預(yù)測(cè)過(guò)程中無(wú)須提供任何先驗(yàn)信息，完全基于監(jiān)測(cè)數(shù)據(jù)得到預(yù)測(cè)結(jié)果。

循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network， RNN）是一類以序列數(shù)據(jù)為輸入，在序列的演進(jìn)方向上進(jìn)行遞歸，且其所有節(jié)點(diǎn)（循環(huán)單元）均以鏈?zhǔn)竭M(jìn)行連接的遞歸神經(jīng)網(wǎng)絡(luò)[2]。不同于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，RNN允許信息持續(xù)存在，它能挖掘數(shù)據(jù)中的時(shí)序信息和語(yǔ)義信息，在處理連續(xù)時(shí)間序列數(shù)據(jù)方面具有很高的效率。時(shí)序數(shù)據(jù)是一種隨時(shí)間變化的數(shù)據(jù)，可在一定程度上反映出設(shè)備在不同時(shí)間點(diǎn)的運(yùn)行情況。在RUL預(yù)測(cè)中，大多數(shù)設(shè)備傳感器數(shù)據(jù)本質(zhì)上是時(shí)序數(shù)據(jù)，可用于識(shí)別設(shè)備性能的退化趨勢(shì)和潛在問(wèn)題，從而對(duì)設(shè)備進(jìn)行預(yù)測(cè)性維護(hù)。

本文所討論的RNN是廣義上的RNN，包括最基本的RNN，以及在RNN的基礎(chǔ)上進(jìn)行改進(jìn)得到的多種變體，如常用的長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)（LSTM）、雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（BiLSTM）、門(mén)控循環(huán)單元（GRU）等[2]。這些變體的特殊結(jié)構(gòu)彌補(bǔ)了RNN的不足，可以幫助提高RUL預(yù)測(cè)的效率和準(zhǔn)確性。

在實(shí)際的工業(yè)生產(chǎn)中，采用RNN進(jìn)行RUL預(yù)測(cè)的過(guò)程中常常會(huì)遇到模型參數(shù)眾多、訓(xùn)練復(fù)雜度較高，需要消耗大量時(shí)間和計(jì)算資源進(jìn)行訓(xùn)練的問(wèn)題。因此，將優(yōu)化算法與RNN模型相結(jié)合，可以有效地優(yōu)化RNN模型，提高其性能和訓(xùn)練效率。常見(jiàn)的優(yōu)化算法包括梯度下降法（GD）、隨機(jī)梯度下降法（SGD）、遺傳算法（GA）和粒子群算法（PSO）等[3]。優(yōu)化算法可以優(yōu)化RNN模型的權(quán)重和偏置參數(shù)，逐漸提高模型的精度和泛化能力。優(yōu)化算法和RNN相結(jié)合的方法逐漸成為機(jī)器學(xué)習(xí)領(lǐng)域極為重要的方法，在許多領(lǐng)域廣被采用。

本文作者在中國(guó)知網(wǎng)、IEEE、SCIENCEDIRECT、SCI和ACM Digital Library等數(shù)據(jù)庫(kù)中進(jìn)行了兩組關(guān)鍵詞（領(lǐng)域關(guān)鍵詞和技術(shù)關(guān)鍵詞）的搜索。前者包括“RUL”，后者包括“RNN”“LSTM”“GRU”。從2017年至今，根據(jù)相關(guān)程度篩選出42篇論文（不包括綜述）。截至2023年2月，已有多篇論文回顧了與RUL預(yù)測(cè)相關(guān)的主題。文獻(xiàn)[4]側(cè)重點(diǎn)為軸承故障分類和基于機(jī)器學(xué)習(xí)的RUL預(yù)測(cè)技術(shù)。文獻(xiàn)[5]側(cè)重點(diǎn)為RNN方法在機(jī)械故障診斷中的研究現(xiàn)狀?，F(xiàn)有綜述多是論述機(jī)器學(xué)習(xí)方面的內(nèi)容，范圍較廣。而對(duì)擅于處理有時(shí)間序列特征的數(shù)據(jù)的RNN在RUL預(yù)測(cè)中的應(yīng)用，暫無(wú)相關(guān)綜述。為填補(bǔ)這一空白，本文將主要基于RNN對(duì)RUL的預(yù)測(cè)展開(kāi)深入研究，將所有涉及RNN在RUL預(yù)測(cè)領(lǐng)域的文獻(xiàn)進(jìn)行統(tǒng)計(jì)與篩選，挑選出代表性論文進(jìn)行綜述。最后從魯棒性研究、泛化性研究、優(yōu)化預(yù)測(cè)模型三個(gè)方面對(duì)RNN在RUL預(yù)測(cè)中的應(yīng)用進(jìn)行了展望。

1? 基于單一RNN的預(yù)測(cè)方法

1.1? 基于LSTM的RUL預(yù)測(cè)方法

有學(xué)者定量評(píng)估各種最先進(jìn)的RNN結(jié)構(gòu)對(duì)RUL預(yù)測(cè)性能的影響，證明了變體方法比原RNN的性能更好[6]。而LSTM[2]作為最常見(jiàn)和最著名的RNN變體之一，經(jīng)常被學(xué)者應(yīng)用于RUL預(yù)測(cè)中。在飛機(jī)渦扇發(fā)動(dòng)機(jī)[7]、滾動(dòng)軸承[8]和傳感器[9]等設(shè)備數(shù)據(jù)的RUL預(yù)測(cè)應(yīng)用中均取得了不錯(cuò)的效果。圖1為L(zhǎng)STM的結(jié)構(gòu)圖，由遺忘門(mén)、輸入門(mén)和輸出門(mén)組成。遺忘門(mén)決定丟棄上一狀態(tài)的哪些信息；輸入門(mén)決定在此刻的單元格狀態(tài)中存儲(chǔ)哪些新信息；輸出門(mén)決定要輸出何種信息，用來(lái)控制單元狀態(tài)ct的內(nèi)容傳遞到輸出值ht的比例。

單向LSTM存在只能沿著時(shí)間軸向前傳遞信息的局限性，而B(niǎo)iLSTM可以雙向傳遞信息，從而可以更好地捕捉時(shí)間序列數(shù)據(jù)中的相關(guān)性，成為學(xué)者研究的熱點(diǎn)[10]。

當(dāng)傳統(tǒng)的LSTM不能滿足要求時(shí)，學(xué)者往往通過(guò)改進(jìn)LSTM來(lái)達(dá)到理想結(jié)果，基于權(quán)值放大的長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)（WA-LSTM）就是其中的一種[11]。WA-LSTM通過(guò)對(duì)不同時(shí)間步的權(quán)重進(jìn)行加權(quán)放大，提高了預(yù)測(cè)準(zhǔn)確率。多細(xì)胞LSTM（MCLSTM）也是其中一種改進(jìn)的LSTM模型[12]。MCLSTM可以在每個(gè)時(shí)間步驟上使用多個(gè)LSTM單元來(lái)學(xué)習(xí)不同的特征，這使得它可以增強(qiáng)網(wǎng)絡(luò)的表示能力。

當(dāng)單個(gè)LSTM不能滿足實(shí)際生產(chǎn)的要求時(shí)，可以將堆疊LSTM（S-LSTM）投入到應(yīng)用中[13]。S-LSTM可以更好地學(xué)習(xí)和捕捉時(shí)間序列數(shù)據(jù)中的長(zhǎng)期依賴關(guān)系，減少過(guò)擬合的風(fēng)險(xiǎn)。

1.2? 基于GRU的RUL預(yù)測(cè)方法

GRU[2]的結(jié)構(gòu)比LSTM簡(jiǎn)單，參數(shù)也較少，且不需要像LSTM那樣存儲(chǔ)多個(gè)狀態(tài)，因此GRU的計(jì)算效率相對(duì)LSTM來(lái)說(shuō)更高，也更適合短序列。圖2為GRU的結(jié)構(gòu)圖，它在LSTM模型的基礎(chǔ)上進(jìn)行了改進(jìn)，將遺忘門(mén)和輸入門(mén)合并成更新門(mén)，同時(shí)將狀態(tài)單元與隱藏層合并成重置門(mén)。研究人員將GRU用于RUL預(yù)測(cè)中，取得了不錯(cuò)的成效[14]。

在傳統(tǒng)GRU的基礎(chǔ)上，研究人員提出了增強(qiáng)記憶門(mén)控循環(huán)單元（RMGRU）網(wǎng)絡(luò)，與傳統(tǒng)的GRU相比，RMGRU在處理長(zhǎng)序列或長(zhǎng)時(shí)間記憶的任務(wù)上具有優(yōu)勢(shì)，且能夠更好地泛化到不同的任務(wù)上。將RMGRU用在RUL預(yù)測(cè)中也能取得不錯(cuò)的成果[15]。

單向GRU只能考慮過(guò)去的信息，而B(niǎo)GRU可以同時(shí)考慮過(guò)去和未來(lái)的信息。這使得BGRU能夠更好地處理輸入序列中的復(fù)雜模式，成為RUL預(yù)測(cè)領(lǐng)域的研究熱點(diǎn)[16]。

LSTM的記憶單元可以更好地捕捉長(zhǎng)期依賴關(guān)系，而GRU的門(mén)控單元可以更好地控制信息流的開(kāi)關(guān)，將GRU和LSTM結(jié)合在一起可以充分利用它們各自的優(yōu)點(diǎn)，得到更好的泛化能力和計(jì)算效率[17]。

2? 以RNN為主的混合網(wǎng)絡(luò)預(yù)測(cè)方法

2.1? RNN與CNN結(jié)合模型

卷積神經(jīng)網(wǎng)絡(luò)（CNN）具有較強(qiáng)的分類能力，能夠處理高維數(shù)據(jù)，適用于多維信息的處理，且CNN可以捕捉局部特征，可以用于檢測(cè)信號(hào)中的局部特征。圖3為CNN結(jié)構(gòu)圖，由卷積層、池化層和全連接層組成。卷積層對(duì)輸入數(shù)據(jù)進(jìn)行特征提取，池化層進(jìn)行特征選擇和信息過(guò)濾，全連接層將特征圖展開(kāi)為向量，然后進(jìn)行分類或回歸。將LSTM和CNN結(jié)合可以同時(shí)捕捉全局特征和局部特征，從而提高了預(yù)測(cè)的準(zhǔn)確性。在RUL預(yù)測(cè)研究中，學(xué)者結(jié)合使用CNN和LSTM來(lái)提取特征[18]。通常，學(xué)者使用CNN提取特征，然后將CNN提取的信息作為L(zhǎng)STM的補(bǔ)充，將LSTM和CNN有機(jī)地結(jié)合增強(qiáng)預(yù)測(cè)能力[19]。

為了突破單向LSTM的局限，學(xué)者也常將BiLSTM與CNN結(jié)合應(yīng)用于RUL預(yù)測(cè)中，讓CNN提取空間特征，BiLSTM提取時(shí)間特征[20]。

與LSTM相比，GRU在處理長(zhǎng)序列時(shí)具有更高的效率，并且可以更好地處理高維數(shù)據(jù)，因此有些學(xué)者也將CNN與GRU結(jié)合應(yīng)用于RUL領(lǐng)域[21]。

在實(shí)際生產(chǎn)中，面對(duì)不同特征的數(shù)據(jù)，也可以將RNN與CNN再結(jié)合其他結(jié)構(gòu)，以達(dá)到更好的效果。由于多時(shí)間窗口集成框架可以利用不同時(shí)間尺度的信息來(lái)提高預(yù)測(cè)精度和魯棒性，有學(xué)者將其用于準(zhǔn)確預(yù)測(cè)狀態(tài)監(jiān)測(cè)數(shù)據(jù)的長(zhǎng)度存在高度不一致情況下的RUL[22]。多尺度卷積神經(jīng)網(wǎng)絡(luò)（MSCNN）是一種用于圖像處理的深度學(xué)習(xí)模型，可以同時(shí)處理不同尺度的特征，并從中提取更加豐富的信息，因此也有學(xué)者將其應(yīng)用在RUL預(yù)測(cè)中[23]。

2.2? RNN與自動(dòng)編碼器結(jié)合模型

自編碼器（Auto-Encoders， AE）是一種神經(jīng)網(wǎng)絡(luò)模型，由編碼器和解碼器兩個(gè)主要組件組成，圖4為自編碼器的結(jié)構(gòu)圖。AE可以有效地實(shí)現(xiàn)信息降噪，做到在不同維度上進(jìn)行特征提取。研究人員將AE和RNN結(jié)合起來(lái)進(jìn)行RUL預(yù)測(cè)，將它們結(jié)合起來(lái)，可以利用RNN的序列建模能力對(duì)序列數(shù)據(jù)進(jìn)行編碼和解碼，使得AE能夠處理序列數(shù)據(jù)，降低過(guò)擬合風(fēng)險(xiǎn)[24]。

在此基礎(chǔ)上，研究人員將LSTM與自編碼器相結(jié)合，通過(guò)AE的降噪和特征提取來(lái)提高LSTM的穩(wěn)定性和魯棒性，從而緩解模型的過(guò)擬合和欠擬合問(wèn)題[25]。當(dāng)需要通過(guò)雙向處理來(lái)捕捉數(shù)據(jù)的前后文關(guān)系時(shí)，也可以將AE和BiLSTM相結(jié)合[26]。BiLSTM作為時(shí)態(tài)建模工具，捕捉特征之間的雙向長(zhǎng)程依賴關(guān)系。

此外，研究人員還將GRU和AE進(jìn)行了結(jié)合。AE可以通過(guò)學(xué)習(xí)數(shù)據(jù)的特征表示來(lái)提取數(shù)據(jù)的有用信息，而GRU可以通過(guò)門(mén)控機(jī)制來(lái)捕捉數(shù)據(jù)的動(dòng)態(tài)變化，二者相得益彰[27]。

除了傳統(tǒng)的AE，研究人員還將AE的變體和RNN及其變體相結(jié)合，以達(dá)到更好的效果，卷積自編碼器（CAE）就是其中的一種。研究人員將CAE與RNN及其變體進(jìn)行結(jié)合，用于RUL預(yù)測(cè)中[28]。與傳統(tǒng)的AE不同，CAE使用卷積層代替全連接層，能夠提取更深層次的特征。

變分自編碼器（VAE）也是自動(dòng)編碼器的一個(gè)變種，與標(biāo)準(zhǔn)AE不同的是，VAE具有概率解釋，其編碼器輸出的是潛在空間的概率分布，而不是單個(gè)編碼向量。學(xué)者將其應(yīng)用于RUL預(yù)測(cè)，也取得了不錯(cuò)的效果[29]。

2.3? RNN與注意力機(jī)制結(jié)合模型

注意力機(jī)制[30]是一種可以增強(qiáng)神經(jīng)網(wǎng)絡(luò)模型對(duì)輸入數(shù)據(jù)關(guān)注度的結(jié)構(gòu)，可以在計(jì)算能力有限的情況下，過(guò)濾掉重要程度較低的信息，將計(jì)算資源分配到主要信息處理，提高當(dāng)前任務(wù)中關(guān)鍵工作的效能。研究人員常將注意力機(jī)制與LSTM結(jié)合應(yīng)用在RUL預(yù)測(cè)中[31]。

BiLSTM對(duì)較長(zhǎng)序列的處理能力仍有不足。而將注意機(jī)制與BiLSTM集成，能夠選擇性地處理部分信息，模型可以更加精確地選擇需要關(guān)注的部分[32]。注意力機(jī)制常常與優(yōu)化算法相結(jié)合，以達(dá)到最優(yōu)效果。PSO即為一種常見(jiàn)的算法，是學(xué)者研究的熱點(diǎn)[33]。

在實(shí)際的工業(yè)應(yīng)用中，研究人員為了網(wǎng)絡(luò)能夠更好地關(guān)注輸入信息中的屬性，提高序列建模和預(yù)測(cè)的準(zhǔn)確性，對(duì)注意力機(jī)制進(jìn)行了改進(jìn)，屬性關(guān)注LSTM神經(jīng)網(wǎng)絡(luò)就是其中的一種[34]。

2.4? RNN與其他結(jié)構(gòu)的結(jié)合

除了以上三種結(jié)構(gòu)與RNN的結(jié)合以外，研究人員也嘗試將其他結(jié)構(gòu)與RNN相結(jié)合，在應(yīng)用中同樣取得了顯著的效果，DenseNet網(wǎng)絡(luò)就是其中的一種[35]。DenseNet網(wǎng)絡(luò)可以“拓寬”模型每一層的過(guò)濾器，同時(shí)學(xué)習(xí)更少的參數(shù)，表現(xiàn)出優(yōu)異的性能。有向無(wú)環(huán)圖（DAG）能夠建模多種復(fù)雜的關(guān)系，與RNN結(jié)合則可以更好地建模多個(gè)時(shí)間步之間的依賴關(guān)系，提高模型的預(yù)測(cè)準(zhǔn)確度，成為研究人員的研究方向之一[36]。

3? RNN與其他算法相結(jié)合的預(yù)測(cè)方法

由于數(shù)據(jù)復(fù)雜性和噪聲的存在，RNN難以準(zhǔn)確捕捉到序列數(shù)據(jù)中的關(guān)鍵特征。而在RNN前進(jìn)行特征提取，可以對(duì)原始數(shù)據(jù)進(jìn)行一些變換和處理，從而提取出更加抽象和高層次的特征，下面是RUL預(yù)測(cè)應(yīng)用中在RNN前常用的幾種特征提取方法：

1）主成分分析（PCA）。主成分分析是一種常用的數(shù)據(jù)降維和特征提取方法，它能夠?qū)⒏呔S度的數(shù)據(jù)轉(zhuǎn)換為低維度的數(shù)據(jù)。因此學(xué)者們常將其用于去除指標(biāo)數(shù)據(jù)冗余、降低數(shù)據(jù)的復(fù)雜度[37]。PCA常用于數(shù)據(jù)的線性降維，而核主成分分析（KPCA）可實(shí)現(xiàn)數(shù)據(jù)的非線性降維，用于非線性特征提取[38]。Akpudo等[39]也提出了用于退化評(píng)估的KPCA特征融合技術(shù)。概率主成分分析（PPCA）是PCA的一種升級(jí)，通過(guò)引入概率來(lái)降低原始數(shù)據(jù)的維數(shù)[40]。

2）經(jīng)驗(yàn)?zāi)B(tài)分解（EMD）。經(jīng)驗(yàn)?zāi)B(tài)分解是一種信號(hào)處理方法，能夠自適應(yīng)地將信號(hào)分解為若干個(gè)具有明確物理意義的成分，使得信號(hào)的特征更加明顯，便于后續(xù)處理。學(xué)者們常采用EMD對(duì)數(shù)據(jù)進(jìn)行降噪處理[41]。遇到數(shù)據(jù)量較小、難以精確描述的數(shù)據(jù)（即只有幾個(gè)數(shù)據(jù)點(diǎn)）時(shí)，研究人員經(jīng)常會(huì)使用灰色關(guān)聯(lián)分析法來(lái)解決這些問(wèn)題[42]?；疑P(guān)聯(lián)分析（GRA）是一種基于灰色系統(tǒng)理論的分析方法，用于研究多個(gè)因素之間的關(guān)系和影響。

3）聚類。聚類是一種無(wú)監(jiān)督學(xué)習(xí)方法，其基本思想是對(duì)原始數(shù)據(jù)樣本進(jìn)行聚類，然后使用新的特征向量——聚類中心來(lái)表示每個(gè)數(shù)據(jù)樣本。通過(guò)這種方式，可以將高維的原始數(shù)據(jù)樣本轉(zhuǎn)換成低維的聚類中心，從而減少特征維度，提取出更加有效的特征，方便后續(xù)模型訓(xùn)練和分類任務(wù)的開(kāi)展。因此學(xué)者們常采用聚類方法進(jìn)行數(shù)據(jù)預(yù)處理[17]。

RNN的訓(xùn)練和調(diào)參往往需要大量的時(shí)間和資源。為了解決這一問(wèn)題，人們提出了很多算法來(lái)優(yōu)化神經(jīng)網(wǎng)絡(luò)的參數(shù)。Dropout是一種用于防止過(guò)擬合的正則化技術(shù)，常被學(xué)者用于避免過(guò)擬合和梯度消失現(xiàn)象的發(fā)生。Adam算法是一種常用的SGD優(yōu)化算法，具有自適應(yīng)學(xué)習(xí)率和可靠性等優(yōu)點(diǎn)，可以提高RUL預(yù)測(cè)的準(zhǔn)確度[43]。此外，還采用粒子濾波（PF）算法對(duì)模型參數(shù)進(jìn)行跟蹤，采用GA來(lái)優(yōu)化權(quán)重和偏置等參數(shù)[44]。PSO的收斂速度和精度均優(yōu)于GA，因此前者也可以用于優(yōu)化模型超參數(shù)[45]。

自適應(yīng)是指系統(tǒng)或算法能夠自主地調(diào)整自身的行為、參數(shù)或結(jié)構(gòu)，能夠提高模型的泛化能力和準(zhǔn)確率，應(yīng)用領(lǐng)域越來(lái)越廣泛，在RUL領(lǐng)域也成為研究熱點(diǎn)。學(xué)者使用不同的算法來(lái)實(shí)現(xiàn)模型自適應(yīng)，其中有自適應(yīng)Levy飛行算法[46]、彈性均方反向傳播方法[47]等。

4）多網(wǎng)格搜索（MLGS）。多網(wǎng)格搜索是一種模型參數(shù)優(yōu)化算法，它可以在較短的時(shí)間內(nèi)快速找到最優(yōu)的模型參數(shù)。學(xué)者將其用于對(duì)模型參數(shù)進(jìn)行優(yōu)化，也取得了不錯(cuò)的效果[37]。

除了上述算法，研究人員還將其他優(yōu)化算法用于優(yōu)化RNN參數(shù)上。實(shí)際運(yùn)用中可以根據(jù)工業(yè)生產(chǎn)的需要選擇合適的算法。

4? 結(jié)? 論

準(zhǔn)確的RUL預(yù)測(cè)有助于將計(jì)劃性維護(hù)轉(zhuǎn)變?yōu)轭A(yù)測(cè)性維護(hù)，有效減少維護(hù)成本并避免重大設(shè)備故障帶來(lái)的災(zāi)難性后果。在RUL預(yù)測(cè)的應(yīng)用中，往往需要使用傳感器收集有時(shí)間序列特征的數(shù)據(jù)。隨著RNN算法的改進(jìn)、高效算力、與其他模型的結(jié)合以及基準(zhǔn)數(shù)據(jù)集等多方面的推進(jìn)，剩余使用壽命預(yù)測(cè)領(lǐng)域的魯棒性研究、泛化性研究和優(yōu)化預(yù)測(cè)模型將會(huì)取得新的突破。

魯棒性要求預(yù)測(cè)方法和學(xué)習(xí)模型對(duì)于含有微小擾動(dòng)的不確定因素不敏感，可以從數(shù)據(jù)預(yù)處理、自適應(yīng)處理、特征提取、置信區(qū)間、優(yōu)化器等方面入手，改進(jìn)未來(lái)的學(xué)習(xí)模型，從而提升或加強(qiáng)魯棒性能力。針對(duì)RUL預(yù)測(cè)算法中數(shù)據(jù)庫(kù)龐大、特殊性顯著、RNN模型中參數(shù)眾多等問(wèn)題，提出遷移學(xué)習(xí)、對(duì)模型進(jìn)行預(yù)訓(xùn)練、堆疊集成基礎(chǔ)模型、分布式優(yōu)化等深度學(xué)習(xí)方法，利用優(yōu)化算法對(duì)超參數(shù)和超結(jié)構(gòu)進(jìn)行改進(jìn)，最終得到具有較強(qiáng)泛化性的剩余使用壽命預(yù)測(cè)方法。為加強(qiáng)對(duì)工業(yè)設(shè)備和復(fù)雜系統(tǒng)運(yùn)行狀態(tài)特征與故障機(jī)理的研究，將RNN與其他方法及模型相結(jié)合，構(gòu)建更為精確的RUL預(yù)測(cè)混合模型。

參考文獻(xiàn)：

[1] 王加昌，鄭代威，唐雷，等.基于機(jī)器學(xué)習(xí)的剩余使用壽命預(yù)測(cè)實(shí)證研究 [J].計(jì)算機(jī)科學(xué)，2022，49（S2）：937-945.

[2] 楊麗，吳雨茜，王俊麗，等.循環(huán)神經(jīng)網(wǎng)絡(luò)研究綜述 [J].計(jì)算機(jī)應(yīng)用，2018，38（S2）：1-6+26.

[3] 丹·西蒙.進(jìn)化優(yōu)化算法——基于仿生和種群的計(jì)算機(jī)智能方法 [M].北京：清華大學(xué)出版社，2018：364-387.

[4] SCHWENDEMANN S，AMJAD Z，SIKORA A. A survey of machine-learning techniques for condition monitoring and predictive maintenance of bearings in grinding machines [J/OL].Computers in Industry，2021，125[2023-03-05].https：//doi.org/10.1016/j.compind.2020.103380.

[5] ZHU J J，JIANG Q S，SHEN Y H，et al. Application of recurrent neural network to mechanical fault diagnosis： a review [J].Journal of Mechanical Science and Technology，2022，36（2）：527-542.

[6] WANG Y D，ZHAO Y F，ADDEPALLI S. Practical Options for Adopting Recurrent Neural Network and Its Variants on Remaining Useful Life Prediction [J].Chinese Journal of Mechanical Engineering，2021，34（3）：32-51.

[7] WU Q H，DING K Q，HUANG B Q. Approach for fault prognosis using recurrent neural network [J].Journal of Intelligent Manufacturing，2018，31（7）：1-13.

[8] WANG F T，LIU X F，DENG G，et al. Remaining Life Prediction Method for Rolling Bearing Based on the Long Short-Term Memory Network [J].Neural Processing Letters，2019，50（2）：2437-2454.

[9] ZHENG S，RISTOVSKI K，F(xiàn)ARAHAT A，et al. Long Short-Term Memory Network for Remaining Useful Life estimation [C]//2017 IEEE International Conference on Prognostics and Health Management （ICPHM）. Dallas：IEEE，2017：88-95.

[10] ZHANG N，CHEN E，WU Y，et al. A novel hybrid model integrating residual structure and bi-directional long short-term memory network for tool wear monitoring [J].The International Journal of Advanced Manufacturing Technology，2022，120：6707-6722.

[11] XIANG S，QIN Y，ZHU C C，et al. Long short-term memory neural network with weight amplification and its application into gear remaining useful life prediction [J/OL].Engineering Applications of Artificial Intelligence，2020，91[2023-03-16].https：//doi.org/10.1016/j.engappai.2020.103587.

[12] XIANG S，QIN Y，LUO J，et al. Multicellular LSTM-based deep learning model for aero-engine remaining useful life prediction [J/OL].Reliability Engineering & System Safety，2021，216[2023-03-05].https：//doi.org/10.1016/j.ress.2021.107927.

[13] WANG F K，CHENG X B，HSIAO K C. Stacked long short-term memory model for proton exchange membrane fuel cell systems degradation [J/OL].Journal of Power Sources，2020，448[2023-02-30].https：//doi.org/10.1016/j.jpowsour.2019.227591.

[14] MENG W，GU H R，YE M，et al. Remaining useful life prediction of lithium-ion batteries based on Monte Carlo Dropout and gated recurrent unit [J].Energy Reports，2021，7：2862-2871.

[15] ZHOU J H，QIN Y，CHEN D L，et al. Remaining useful life prediction of bearings by a new reinforced memory GRU network [J/OL].Advanced Engineering Informatics，2022，53[2023-02-49].https：//doi.org/10.1016/j.aei.2022.101682.

[16] CAO Y D，JIA M P，PENG D，et al. Transfer learning for remaining useful life prediction of multi-conditions bearings based on bidirectional-GRU network [J/OL].Measurement，2021，178[2023-03-06].https：//doi.org/10.1016/j.measurement.2021.109287， 109287.

[17] CHENG Y W，HU K，WU J，et al. A deep learning-based two-stage prognostic approach for remaining useful life of rolling bearing [J].Applied Intelligence，2022，52：5880-5895.

[18] FU H B，LIU Y. A deep learning-based approach for electrical equipment remaining useful life prediction [J/OL].Autonomous Intelligent Systems，2022，2[2023-03-19].https：//kns.cnki.net/kcms2/article/abstract？v=LeQIq0pPraN7z56UFBXYmp5cqSpFXzXCsduiAbZweC6AiaAe9bGL9LzNdXaWc0vxw5WmGgOQvKSX3wAFVtwoVAD_d4l6hENPBImbedExGKt5s7RaxKDrjjIbg0JF7L0g&uniplatform=NZKPT.

[19] ZAHRA E，KARIM S，BEHNAM F ，et al. A New Hybrid Model for RUL Prediction through Machine Learning [J].Journal of Failure Analysis and Prevention，2021，21（5）：1596-1604.

[20] REMADNA L，TERRISSA S L，ZERHOUNI R，et al. Leveraging the Power of the Combination of CNN and Bi-Directional LSTM Networks for Aircraft Engine RUL Estimation [C]//2020 Prognostics and Health Management Conference （PHM-Besan?on）.Besancon：IEEE，2020：116-121.

[21] LIN T J，WANG H Q，GUO X D，et al. A novel prediction network for remaining useful life of rotating machinery [J/OL].The International Journal of Advanced Manufacturing Technology，2022，124[2023-03-10].https：//kns.cnki.net/kcms2/article/abstract？v=LeQIq0pPraN7z56UFBXYmp5cqSpFXzXCPHl8LWp24vGzfSOscJcbBv7wpRx0XxRD6HLYF_JyJgLJNT7XBh55pplc2LW7ZgwSP1USf1VfmT71_j82ea-sascRGw7yvuHc&uniplatform=NZKPT.

[22] XIA T B，SONG Y，ZHENG Y，et al. An ensemble framework based on convolutional bi-directional LSTM with multiple time windows for remaining useful life estimation [J/OL].Computers in Industry，2020，115[2023-02-06].https：//doi.org/10.1016/j.compind.2019.103182.

[23] XUE B，XU Z B，HUANG X，et al. Data-driven prognostics method for turbofan engine degradation using hybrid deep neural network [J].Journal of Mechanical Science and Technology，2021，35（12）：5371-5387.

[24] HAN T，PANG J C，TAN A C C. Remaining useful life prediction of bearing based on stacked autoencoder and recurrent neural network [J].Journal of Manufacturing Systems，2021，61：576-591.

[25] WU J Y，WU M，CHEN Z H，et al. Degradation-Aware Remaining Useful Life Prediction With LSTM Autoencoder [J/OL].IEEE Transactions on Instrumentation and Measurement，2021，70[2023-02-26].https：//kns.cnki.net/kcms2/article/abstract？v=LeQIq0pPraN7z56UFBXYmp5cqSpFXzXCPHl8LWp24vFLK16mbsfnDlFjy8cp6CvMNi4staAhHYFmmmOQ9D09gJTL4GdpWA8qxXjmb-Yy2pDfEWvHjZfG3ES_xXl5Hcre&uniplatform=NZKPT.

[26] SONG Y，SHI G，CHEN L Y，et al. Remaining Useful Life Prediction of Turbofan Engine Using Hybrid Model Based on Autoencoder and Bidirectional Long Short-Term Memory [J].Journal of Shanghai Jiaotong University （Science），2018，23（S1）：85-94.

[27] DANGUT M D，JENNIONS L K，KING S，et al. A rare failure detection model for aircraft predictive maintenance using a deep hybrid learning approach [J].Neural Computing and Applications，2022，35（4）：2991-3009.

[28] WANG H，PENG M J，MIAO Z，et al. Remaining useful life prediction techniques for electric valves based on convolution auto encoder and long short term memory [J].ISA Transactions，2021，108：333-342.

[29] SU C，LI L，WEN Z J. Remaining useful life prediction via a variational autoencoder and a time-window-based sequence neural network [J].Quality and Reliability Engineering International，2020，36（5）：1639-1656.

[30] KOSIOREK A.神經(jīng)網(wǎng)絡(luò)中的注意力機(jī)制 [J].機(jī)器人產(chǎn)業(yè)，2017（6）：12-17.

[31] TSENG S H，TRAN K D. Predicting maintenance through an attention long short-term memory projected model [EB/OL].[2023-03-07].https：//doi.org/10.1007/s10845-023-02077-5.

[32] SHAH S R B，CHADHA G S，SCHWUNG A，et al. A Sequence-to-Sequence Approach for Remaining Useful Lifetime Estimation Using Attention-augmented Bidirectional LSTM [J/OL].Intelligent Systems with Applications，2021，10-11[2023-02-23].https：//doi.org/10.1016/j.iswa.2021.200049.

[33] RATHORE M S，HARSHA S P. Prognostics Analysis of Rolling Bearing Based on Bi-Directional LSTM and Attention Mechanism [J].Journal of Failure Analysis and Prevention，2022，22（2）：704-723.

[34] JIANG Y C，DAI P W，F(xiàn)ANG P C，et al. A2-LSTM for predictive maintenance of industrial equipment based on machine learning [J/OL].Computers & Industrial Engineering，2022，172[2023-03-09].https：//doi.org/10.1016/j.cie.2022.108560.

[35] LIU X L，ZHANG B W，LI X B，et al. An approach for tool wear prediction using customized DenseNet and GRU integrated model based on multi-sensor feature fusion [J].Journal of Intelligent Manufacturing，2022，34（2）：885-902.

[36] LI J L，LI X Y，HE D. A Directed Acyclic Graph Network Combined With CNN and LSTM for Remaining Useful Life Prediction [J].IEEE Access，2019，7：75464-75475.

[37] 黃扣.基于深度學(xué)習(xí)的旋轉(zhuǎn)類機(jī)械預(yù)測(cè)性維護(hù)方法研究 [D].鎮(zhèn)江：江蘇科技大學(xué)，2022.

[38] CHEN J L，JING H J，CHANG Y H，et al. Gated recurrent unit based recurrent neural network for remaining useful life prediction of nonlinear deterioration process [J].Reliability Engineering & System Safety，2019，185：372-382.

[39] AKPUDO U E，HUR J W. A feature fusion-based prognostics approach for rolling element bearings [J].Journal of Mechanical Science and Technology，2020，34（10）：4025-4035.

[40] SUN H，LI Y，HOU Y. Remaining Useful Life Prediction of Turbofan Engine Based on Probabilistic Principal Components Analysis and Gated Recurrent Unit[C]// 2021 CAA Symposium on Fault Detection， Supervision， and Safety for Technical Processes （SAFEPROCESS）. Chengdu：IEEE，2021：1-5.

[41] LI X Y，ZHANG L，WANG Z P，et al. Remaining useful life prediction for lithium-ion batteries based on a hybrid model combining the long short-term memory and Elman neural networks [J].Journal of Energy Storage，2019，21：510-518.

[42] MENG W，GU H R，YE M，et al. Remaining useful life prediction of lithiumion batteries based on Monte Carlo Dropout and gated recurrent unit [J].Energy Reports，2021，7：2862-2871.

[43] ZHOU Y T，HUANG Y N，PANG J B，et al. Remaining useful life prediction for supercapacitor based on long short-term memory neural network [J/OL].Journal of Power Sources，2019，440[2023-03-16].https：//doi.org/10.1016/j.jpowsour.2019.227149.

[44] GE Y，SUN L N，MA J X. An Improved PF Remaining Useful Life Prediction Method Based on Quantum Genetics and LSTM [J].IEEE Access，2019，7：160241-160247.

[45] DING N，LI H L，YIN Z W， et al. Journal bearing seizure degradation assessment and remaining useful life prediction based on long short-term memory neural network [J/OL].Measurement，2020，166[2023-02-29].https：//doi.org/10.1016/j.measurement.2020.108215.

[46] ZHANG Y，CHEN L，LI Y，et al. A hybrid approach for remaining useful life prediction of lithiumion battery with Adaptive Levy Flight optimized Particle Filter and Long Short-Term Memory network [J/OL].Journal of Energy Storage，2021，44[2023-03-14].https：//doi.org/10.1016/j.est.2021.103245.

[47] ZHANG Y，XIONG R，HE H，et al. A LSTM-RNN method for the lithuim-ion battery remaining useful life prediction [C]//2017 Prognostics and System Health Management Conference （PHM-Harbin）. Harbin：IEEE，2017：1-4.

作者簡(jiǎn)介：邱佩臻（2003—），女，漢族，廣東陽(yáng)江人，本科在讀，主要研究方向：預(yù)測(cè)性維護(hù)；吳東燃（2002—），男，漢族，廣東茂名人，本科在讀，主要研究方向：用機(jī)器學(xué)習(xí)與優(yōu)化算法實(shí)現(xiàn)系統(tǒng)健康檢測(cè)與預(yù)測(cè)性維護(hù)；夏藝（2003—），女，漢族，湖南益陽(yáng)人，本科在讀，主要研究方向：用機(jī)器學(xué)習(xí)與優(yōu)化算法實(shí)現(xiàn)系統(tǒng)健康檢測(cè)與預(yù)測(cè)性維護(hù)；古書(shū)懷（2003—），男，漢族，廣東河源人，本科在讀，主要研究方向：預(yù)測(cè)性維護(hù)；王婧（1988—），女，漢族，甘肅蘭州人，助理研究員，博士，主要研究方向：系統(tǒng)優(yōu)化、系統(tǒng)可靠性、機(jī)器學(xué)習(xí)。