孫毅剛 劉凱捷

摘要：為了提高航電系統(tǒng)設備故障率預測的精度，本文提出了一種基于粒子群算法優(yōu)化的長短期記憶神經網(wǎng)絡（LSTM）預測方法。首先該模型以歷史故障率序列作為輸入，然后通過粒子群算法（PSO）對長短期記憶數(shù)據(jù)網(wǎng)絡中的關鍵參數(shù)進行迭代優(yōu)化，最后依據(jù)優(yōu)化參數(shù)建立PSO-LSTM預測模型并進行故障率時間序列預測。主要解決了傳統(tǒng)依據(jù)個體經驗選取模型參數(shù)而導致的低擬合度、低預測精度和低效的問題。通過與典型預測模型的仿真數(shù)據(jù)進行對比，驗證了所提出的PSOLSTM預測模型在航電系統(tǒng)設備故障率時間序列預測中具有更高的預測精度。

關鍵詞：長短期記憶神經網(wǎng)絡；粒子群算法；循環(huán)神經網(wǎng)絡；預測；可靠性

中圖分類號：V240.2文獻標識碼：ADOI：10.19452/j.issn1007-5453.2021.05.003

隨著航空技術的發(fā)展和科技水平的不斷提高，飛機的航電系統(tǒng)也越來越復雜，隨之帶來的是更高的可靠性和安全性需求，有效地預測使用階段的故障率是十分重要的[1-2]，同時故障率對指導備件貯存策略也有非常重要的作用[3]。

目前，對于故障率預測國內外學者開展了大量的研究，探索出多種預測方法，也取得了一定的成果，如支持向量機（SVM）[4]、奇異譜分解（SSD）[5]、差分自回歸移動平均（ARIMA）[6]等?，F(xiàn)有的研究主要集中在元器件級別和子系統(tǒng)級別，如參考文獻[6]主要研究的是針對高溫下鋁電解電容器電容值下降的問題，建立的兩種模型預測誤差均在可接受范圍內，且均能有效地提取預測數(shù)據(jù)中的時間序列信息；如參考文獻[7]的研究是面向柴油機的燃油系統(tǒng)，基于鍵合圖理論建立的柴油機燃油模型具有較高的精度和實時性，系統(tǒng)參數(shù)預測精度均控制在4%以內，這一類型的系統(tǒng)通過建模能夠被很好地擬合和預測。

面對航空電子系統(tǒng)設備數(shù)據(jù)規(guī)模的倍數(shù)級增長以及系統(tǒng)內非線性關系復雜的耦合，尤其是航空電子系統(tǒng)設備及其所包含的元器件種類及數(shù)量均較多，每種元器件發(fā)生故障的模式又各不相同，所造成影響較為復雜，深度學習技術逐漸地應用于時序數(shù)據(jù)的研究。深度學習的基礎主要就是依托大量的原始數(shù)據(jù)進行學習，對算法模型進行訓練，使算法自主學習，提取特征挖掘內在聯(lián)系與規(guī)律。參考文獻[8]中對各種航空機電系統(tǒng)預測算法模型進行了對比，得出神經網(wǎng)絡針對此類問題適用性較好的結論，尤其是對非線性及非平穩(wěn)過程復雜系統(tǒng)的適用性。在神經網(wǎng)絡的眾多模型中，循環(huán)神經網(wǎng)絡（recurrent neural network，RNN）因為其神經元的輸出不僅與此刻的輸入有關，而且與上一時刻神經元的輸出也有關系，這使其比較適合處理時序數(shù)據(jù)。長短期記憶神經網(wǎng)絡（long short term memory，LSTM）是一種RNN的改進版，可更好地學習記憶較長時間跨度的歷史數(shù)據(jù)的信息，被廣泛地應用于多方面的研究中，如船舶軌跡分類[9]、語言處理[10]、電價與股價預測、蓄電池壽命預測[11]、腦電情感識別以及醫(yī)學中手術病例數(shù)據(jù)分析等[12]。LSTM模型的擬合程度與預測精度不止與模型結構有關，更加取決于模型參數(shù)的設置，而模型參數(shù)往往是依靠人為經驗來確定的，經驗則受人的個體差異影響巨大，從而導致預測精度與用時相差甚遠。鑒于此，本文提出了一種基于粒子群算法（particle swarm optimization，PSO）優(yōu)化的LSTM預測方法，利用粒子群算法在不斷迭代過程中找出LSTM模型的最優(yōu)參數(shù)，而后根據(jù)最優(yōu)參數(shù)建立LSTM預測模型，通過與傳統(tǒng)的預測模型對比，本文所提出的預測模型在預測中展示了優(yōu)越的性能。

1 LSTM算法

LSTM神經網(wǎng)絡是一種循環(huán)神經網(wǎng)絡的改進版本，是一種門控RNN，可有效避免傳統(tǒng)網(wǎng)絡中梯度消失與梯度爆炸的問題。RNN在處理非線性時間序列問題時雖然有效，但是隨著訓練數(shù)據(jù)的時間間隔不斷增長，RNN學習能力會變弱，模型會隨著時間間隔的增大而忘記之前數(shù)據(jù)的規(guī)律，長期依賴的學習能力差，從而出現(xiàn)梯度下降現(xiàn)象[13]。航電系統(tǒng)的故障率數(shù)據(jù)的預測需要對較長周期的故障率數(shù)據(jù)進行訓練，從而找到其中的映射關系進行預測，所以RNN處理此問題難以達到較為理想的效果。

LSTM神經網(wǎng)絡可以很好地解決上述問題。LSTM引入了“門”結構來加強控制信息在細胞間的傳遞與溝通的能力。主體結構擁有三個門，即輸入門（Input Gate）、輸出門（Output Gate）和遺忘門（Forget Gate），內部結構如圖1所示。在t時刻，神經元的輸入包括：t-1時刻隱藏層的狀態(tài)變量ht-1、t-1時刻記憶單元的狀態(tài)變量ct-1和t時刻的輸入變量xt。之后經過三門結構的模型單元的輸出包括：t時刻的輸出變量xt和t時刻記憶單元狀態(tài)變量ct。

在粒子群算法中，通常是單一地把訓練集樣本的真實值與預測值之間的相對誤差或測試集樣本真實值與預測值之間的相對誤差作為適應度函數(shù)，而此模型取兩者的平均值可同時驗證模型是否過擬合。

（4）由粒子的初始適應度值確定粒子的全局最優(yōu)位置Gbest與局部最優(yōu)位置Pbest，并將之作為歷史最佳位置。根據(jù)算法更新粒子的速度與位置，計算對應的粒子適應度，并與局部和全局最優(yōu)解進行比較更新，提高準確率。

（5）判斷是否滿足終止條件（粒子的適應度值隨著迭代趨于穩(wěn)定或達到最大迭代次數(shù)），若滿足終止條件，將最優(yōu)參數(shù)值賦予PSO-LSTM模型，否則返回（4）。

（6）由最優(yōu)參數(shù)值構建的PSO-LSTM預測模型得到測試集的預測結果，依據(jù)評價指標進行分析總結。

2.3模型評價度量指標

式中：yt和ft分別為t時刻故障率時間序列的真實值和模型預測值，T為數(shù)據(jù)點個數(shù)。

3仿真分析

試驗數(shù)據(jù)來自某航空公司在運營波音737自2007年1月至2015年12月間三種航空通信系統(tǒng)電子設備的月度故障率數(shù)據(jù)，選取了2007—2014年的數(shù)據(jù)作為訓練集，選取了2015年全年的數(shù)據(jù)作為測試集。

軟件平臺為Jupyter Notebook，編程環(huán)境在TensorFlow框架下使用Python語言編程實現(xiàn)。

3.1單預測模型

一般依據(jù)經驗選取參數(shù)建立的LSTM預測模型效果的差別，主要是因為人與人之間的個體認知差異選取的參數(shù)區(qū)別較大而產生的，為將此誤差影響降到最低，采取的方法如下：首先應用本文前文提出的方法建立故障率時間序列的LSTM預測模型，模型結構由輸入層、一個隱藏層和輸出層組成，網(wǎng)絡權重更新選用Adam算法，隱藏層激活函數(shù)為tanh函數(shù)，訓練次數(shù)為500。以設備一故障率數(shù)據(jù)為例，圖2展示了相同參數(shù)下不同學習率（lr=0.01，0.0075，0.005， 0.0025，0.001）訓練模型的損失變化?？梢钥闯鲈趌r=0.0075時訓練集的損失較為最小，因此最終選定lr=0.0075進行LSTM預測模型訓練。

為了驗證LSTM預測模型的預測性能，建立了RNN單預測模型進行對照。參數(shù)設置為初始學習率為0.01，隱藏層神經元個數(shù)為16，訓練次數(shù)為100，激活函數(shù)選用Relu函數(shù)。預測結果誤差見表1。用同樣的方法對設備2和設備3的故障率數(shù)據(jù)進行預測，各設備數(shù)據(jù)通過不同預測模型的預測結果誤差評價見表1。

從表1中可以看出，設備一的RNN預測模型的RMSE值比初步優(yōu)選的LSTM預測模型在前2個月、前4個月、前6個月、前8個月、前10個月和前12個月分別高出7.26%、6.00%、35.97%、20.72%、10.10%、6.45%，LSTM預測模型訓練集擬合結果的RMSE值也低于RNN預測模型。設備二的預測中除一個點（8個月）的RNN預測結果的RMSE值低于LSTM預測模型，其余均是LSTM模型預測精度較高，測試集整體的LSTM模型預測結果的RMSE值比RNN預測模型低了14.67%。設備三的故障率預測中，測試集和訓練集的LSTM模型預測結果的RMSE值均低于RNN預測模型。綜合來看，三個設備的預測結果中無論是部分月份還是整體年份的預測結果LSTM預測模型的預測精度均更高，整體預測精度比RNN預測模型分別高出6.45%、14.67%和15.74%，擬合效果更好。

3.2 PSO-LSTM預測模型

為了提高單一LSTM預測模型的預測精度，同時為了縮短預測模型參數(shù)選取的時間，利用PSO算法對LSTM模型中的兩個關鍵參數(shù)隱藏層神經元個數(shù)m與學習率lr進行優(yōu)化，依據(jù)本文2.2節(jié)的步驟，初始粒子通過式（7）、式（8）更新粒子速度與位置，再利用式（10）計算粒子的適應度值，并與局部最優(yōu)解和全局最優(yōu)解進行比較，判斷是否更新局部最優(yōu)解和全局最優(yōu)解，直至滿足終止條件，獲得最優(yōu)參數(shù)。模型參數(shù)設置如下：種群數(shù)量pop=20，迭代次數(shù)Tmax=100，慣性權重ω為=0.8，學習因子c1=2，c2=2；依據(jù)本文3.1節(jié)訓練LSTM網(wǎng)絡模型的結果，確定隱藏層神經元個數(shù)的取值范圍為m∈[1，64]；學習率的取值范圍為lr∈[0.001，0.01]。以設備一故障率數(shù)據(jù)為例，粒子適應度隨迭代次數(shù)增加的變化規(guī)律如圖3所示，粒子適應度最終穩(wěn)定在0.75。

隱藏層神經元個數(shù)m和學習率lr隨模型迭代次數(shù)的變化規(guī)律如圖4所示，預測模型的參數(shù)尋優(yōu)最終結果為m= 32，lr=0.0071。用同樣的方法對設備2和設備3的故障率數(shù)據(jù)進行預測，各設備數(shù)據(jù)通過不同預測模型的預測結果誤差評價見表2。

分析可知，三個設備均為通信系統(tǒng)電子設備，故障特性相似程度較高，同時在三個設備的故障率預測中，LSTM模型的預測精度不論是在訓練集的擬合上還是在測試集的預測上效果都優(yōu)于RNN預測模型，尤其是測試集的預測結果，通過粒子群算法優(yōu)化后的預測模型相較于單一RNN預測模型和LSTM預測模型的RMSE值分別降低了21.05%和15.73%、26.00%和13.28%、25.93%和12.09%，可見PSOLSTM模型在處理故障率時間序列問題時有著更高的預測精度，同時也體現(xiàn)出通過粒子群算法優(yōu)化LSTM預測模型的關鍵參數(shù)對預測精度影響的有效性。

4結論

針對航電系統(tǒng)設備復雜的故障率時間序列預測問題，本文提出了一種基于PSO-LSTM網(wǎng)絡模型的預測方法，包括對模型的訓練、預測和參數(shù)優(yōu)選等，得到以下結論：

（1）與典型的循環(huán)神經網(wǎng)絡模型相比較，LSTM神經網(wǎng)絡利用其獨特的門控結構，對長時間跨度的非線性時間序列具有較強的學習能力，使得LSTM預測模型的擬合效果和預測精度整體更優(yōu)。

（2）利用粒子群優(yōu)化算法對LSTM預測模型的關鍵參數(shù)進行優(yōu)化，避免依據(jù)經驗選取參數(shù)帶來對模型預測性能的影響。

（3）本文提出的PSO-LSTM預測模型在航電系統(tǒng)設備故障率時間序列方面有較高的預測精度，可以逐步整合到子系統(tǒng)層次，進行更加系統(tǒng)化的故障率時間序列預測，以期建設成完整的故障率預測系統(tǒng)。

參考文獻

[1]王鑫，吳際，劉超，等.基于LSTM循環(huán)神經網(wǎng)絡的故障時間序列預測[J].北京航空航天大學學報，2018，44（4）：772-784. Wang Xin，Wu Ji，Liu Chao，et al.Exploring LSTM based recurrent neural network for failure time series prediction[J]. Journal of Beijing University of Aeronautics and Astronautics，2018，44（4）：772-784.（in Chinese）

[2]張寶珍，王萍.飛機PHM技術發(fā)展近況及在F-35應用中遇到的問題及挑戰(zhàn)[J].航空科學技術，2020，31（7）：18-26. Zhang Baozhen， Wang Ping. Recent development of aircraft PHM technology and problems and challenges encountered in the application on F-35[J]. Aeronautical Science & Technology， 2020，31（7）：18-26.（in Chinese）

[3]李瑞瑩，康銳.基于神經網(wǎng)絡的故障率預測方法[J].航空學報， 2008，29（2）：357-363. Li Ruiying， Kang Rui. Department of systems engineering of engineering technology. [J]. Acta Aeronautics et Astronautics Sinica，2008，29（2）：357-363.（in Chinese）

[4]鞠建波，胡勝林，祝超，等.一種改進的支持向量機回歸故障預測方法[J].電光與控制，2018，25（1）：6-9. Ju Jianbo， Hu Shenglin， Zhu Chao， et al. A fault prediction method based on improved SVM algorithm[J]. Electronics Optics & Control，2018，25（1）：6-9.（in Chinese）

[5]舒文婷，程軍圣，黃祝慶，等.基于GP-SSD的旋轉機械復合故障特征提取方法[J].電子測量與儀器學報，2018，32（5）：17-24. Shu Wenting， Cheng Junsheng， Huang Zhuqing， et al. Feature extraction of compound faults of rotating machinery based on GP-SSD[J].Journal of Electronic Measurement and Instrumentation，2018，32（5）：17-24.（in Chinese）

[6]張?zhí)?，潘爾?基于時間序列分析的電容器退化模型[J].上海交通大學學報，2019，53（11）：1316-1325. Zhang Tian，Pan Ershun. Degradation modeling of capacitors based on time series analysis[J]. Journal of Shanghai Jiaotong University， 2019，53（11）：1316-1325.（in Chinese）

[7]黃林，程剛，朱國情.關于柴油機熱力系統(tǒng)故障優(yōu)化預測仿真[J].計算機仿真，2019，36（3）：426-431. Huang Lin， Cheng Gang， Zhu Guoqing. Modeling and fault simulation of diesel fuel system based on bond graph theory[J]. Computer Simulation，2019，36（3）：426-431.（in Chinese）

[8]王紅，楊占才，靳小波，等.航空機電系統(tǒng)先進診斷與預測技術研究[J].航空科學技術，2020，31（7）：40-47. Wang Hong， Yang Zhancai， Jin Xiaobo， et al.Research on advanced diagnosis and prognosis technology of aeronautical electromechanical system[J]. Aeronautical Science & Technology， 2020，31（7）：40-47.（in Chinese）

[9]崔彤彤，王桂玲，高晶.基于1DCNN-LSTM的船舶軌跡分類方法[J].計算機科學，2020，47（9）：175-184. Cui Tongtong，Wang Guiling，Gao Jing. Ship trajectory classification method based on 1DCNN-LSTM[J]. Computer Science，2020，47（9）：175-184.（in Chinese）

[10]胡超文，鄔昌興，楊亞連.基于擴展的S-LSTM的文本蘊含識別[J].計算機研究與發(fā)展，2020，57（7）：1481-1489. Hu Chaowen，Wu Changxing，Yang Yalian. Extended S-LSTM based textual entailment recognition[J]. Journal of Computer Research and Development，2020，57（7）：1481-1489.（in Chinese）

[11]成庶，甘沁潔，趙明，等.鎘鎳蓄電池壽命預測的PF-LSTM建模方法研究[J].鐵道科學與工程學報，2020，17（7）：1825-1832. Cheng Shu， Gan Qinjie， Zhao Ming， et al. PF-LSTM modeling method for life prediction of Ni-Cd battery[J].Journal of Railway Science and Engineering，2020，17（7）：1825-1832.（in Chinese）

[12]盧淑祺，竇志成，文繼榮.手術病例中結構化數(shù)據(jù)抽取研究[J].計算機學報，2019，42（12）：2754-2768. Lu Shuqi， Dou Zhicheng， Wen Jirong. Research on structural data extraction in surgical cases[J]. Chinese Journal of Computers，2019，42（12）：2754-2768.（in Chinese）

[13]王永志，劉博，李鈺.一種基于LSTM神經網(wǎng)絡的電力負荷預測方法[J].實驗室研究與探索，2020，39（5）：41-45. Wang Yongzhi，Liu Bo，Li Yu. A power load data prediction method based on LSTM neural network model[J].Research and Exploration in Laboratory，2020，39（5）：41-45.（in Chinese）

[14]劉曉.基于學習自動機的容噪模式分類[J].航空科學技術， 2020，31（10）：75-80. Liu Xiao. Noise-tolerant pattern classification based on learning automata[J]. Aeronautical Science & Technology， 2020，31（10）：75-80.（in Chinese）

作者簡介

孫毅剛（1963-）男，博士，教授。主要研究方向：航空電子電氣測試與適航驗證。

Tel：15379346484

劉凱捷（1996-）男，碩士研究生。主要研究方向：航空電子電氣系統(tǒng)驗證

Tel：15379346484E-mail：kaijie_66@163.com

Failure Rate of Avionics System Forecasting Based on PSO-LSTM Network

Sun Yigang，Liu Kaijie*

Civil Aviation University of China，Tianjin 300300，China

Abstract： In order to improve the accuracy of civil aviation avionics，this paper proposes a forecasting method based on long-short memery neural network optimized by PSO. Firstly，the model takes failure rate sequences as input. Then， the PSO is used to optimize the key relevant parameters in the LSTM. Finally，the combined PSO-LSTM model is constructed by key parameters to predict failure rate of civil aviation avionics. The model solves the problem of low goodness of fit， low prediction accuracy and inefficiency caused by selecting parameters based on experience. Compared with the simulation data of typical prediction algorithms，the PSO-LSTM model method proposed in this paper can effectively improve the prediction accuracy in predicting failure rate of civil aviation avionics.

Key Words： lLSTM； PSO； recurrent neural network； prediction； reliability