陸 超，李曉瑜，姚艷玲，唐曉瀾，彭 宇，王書福

(1. 中國(guó)航發(fā)四川燃?xì)鉁u輪研究院高空模擬技術(shù)重點(diǎn)實(shí)驗(yàn)室 四川 綿陽(yáng) 621000；2. 電子科技大學(xué)信息與軟件工程學(xué)院 成都 610054；3. 西南石油大學(xué)計(jì)算機(jī)科學(xué)學(xué)院 成都 610500)

航空發(fā)動(dòng)機(jī)是飛機(jī)最重要的部件之一，在飛機(jī)飛行發(fā)生的故障中發(fā)動(dòng)機(jī)故障占相當(dāng)大的比例，且一旦發(fā)生故障會(huì)致命。航空發(fā)動(dòng)機(jī)中各傳感器的數(shù)據(jù)曲線反應(yīng)了當(dāng)前該發(fā)動(dòng)機(jī)是否處于正常的工作狀態(tài)。因此，通過(guò)有效的手段監(jiān)控航空發(fā)動(dòng)機(jī)傳感器數(shù)據(jù)變化趨勢(shì)對(duì)飛機(jī)飛行安全有著重大的意義。

由于航空發(fā)動(dòng)機(jī)傳感器數(shù)據(jù)屬于時(shí)序數(shù)據(jù)，因此對(duì)于航空發(fā)動(dòng)機(jī)傳感器數(shù)據(jù)的預(yù)測(cè)可以看作是時(shí)序數(shù)據(jù)預(yù)測(cè)。傳統(tǒng)的時(shí)間序列預(yù)測(cè)模型主要為線性模型，如AR(autoregressive)、MR(moving average)、ARMA(autoregressive moving average)、ARIMA(autoregressive integrated moving average)等[1-8]，針對(duì)平穩(wěn)時(shí)間序列預(yù)測(cè)有著較好的效果。但大部分?jǐn)?shù)據(jù)如股市數(shù)據(jù)、水文數(shù)據(jù)或者航空發(fā)動(dòng)機(jī)傳感器數(shù)據(jù)都具有非線性特征，傳統(tǒng)的線性預(yù)測(cè)很難得到較好的預(yù)測(cè)結(jié)果。神經(jīng)網(wǎng)絡(luò)和自適應(yīng)算法等非線性模型的提出解決了此問(wèn)題[9-20]。其中通過(guò)基于深度學(xué)習(xí)構(gòu)建神經(jīng)網(wǎng)絡(luò)模型因其自身強(qiáng)大的特征提取能力和自我學(xué)習(xí)能力，對(duì)具有非線性特征的時(shí)間序列數(shù)據(jù)的預(yù)測(cè)有著良好的效果。文獻(xiàn)[21]提出了基于LSTM的預(yù)測(cè)模型，對(duì)有明顯的非線性和不確定性波動(dòng)的PM2.5濃度進(jìn)行了預(yù)測(cè)。文獻(xiàn)[22]提出了一種基于注意力機(jī)制的CNN(convolutional neural networks)和LSTM(long short-term memory)的聯(lián)合模型，在真實(shí)的熱電聯(lián)產(chǎn)供熱時(shí)序數(shù)據(jù)上進(jìn)行預(yù)測(cè)，相較于傳統(tǒng)的時(shí)序預(yù)測(cè)模型得到了更為精確的預(yù)測(cè)結(jié)果。

本文就發(fā)動(dòng)機(jī)高壓壓氣機(jī)轉(zhuǎn)子轉(zhuǎn)速(N2)、發(fā)動(dòng)機(jī)燃燒室燃油噴嘴壓力(Ptk)、發(fā)動(dòng)機(jī)渦輪后溫度(Tt6)等航空發(fā)動(dòng)機(jī)主要傳感器數(shù)據(jù)，使用滑動(dòng)窗口算法構(gòu)建數(shù)據(jù)集并對(duì)其進(jìn)行標(biāo)準(zhǔn)化，并提出了一種基于Seq2Seq的面向航空發(fā)動(dòng)機(jī)多傳感器預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)模型(aeroengine multi-sensor data prediction neural network, AMSDPNN)。Seq2Seq模型是基于編解碼器架構(gòu)的常用于時(shí)序數(shù)據(jù)預(yù)測(cè)的神經(jīng)網(wǎng)絡(luò)模型，其隱藏層可以由CNN、RNN(recurrent neural networks)、LSTM等構(gòu)成，本文采用LSTM，最終以0.1%左右的均方誤差實(shí)現(xiàn)了對(duì)多個(gè)傳感器數(shù)據(jù)的預(yù)測(cè)。

1 理論基礎(chǔ)

1.1 長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)

由于數(shù)據(jù)是時(shí)間序列數(shù)據(jù)，因此在模型隱藏層的網(wǎng)絡(luò)模型選擇上優(yōu)先考慮時(shí)序數(shù)據(jù)的首選神經(jīng)網(wǎng)絡(luò)——循環(huán)神經(jīng)網(wǎng)絡(luò)RNN[23]。這是因?yàn)镽NN中的每一個(gè)Cell能夠記住時(shí)序數(shù)據(jù)中每一個(gè)時(shí)刻的數(shù)據(jù)信息，當(dāng)前Cell的隱藏層不僅由該時(shí)刻的輸入決定，也由上一時(shí)刻隱藏層的輸出決定。通過(guò)這樣的方式，RNN能有效分析出時(shí)序數(shù)據(jù)的語(yǔ)義特征信息。一般的DNN不具備此功能。但RNN在長(zhǎng)時(shí)序信息的保存和特征提取上表現(xiàn)并不好，容易產(chǎn)生梯度消失或梯度爆炸的問(wèn)題，從而影響訓(xùn)練效果。因此本文采用了RNN的一個(gè)變種模型，即長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)模型(LSTM)[24-25]。相較于RNN，LSTM使用了輸入門、輸出門和遺忘門來(lái)控制是否遺忘或保留序列中的歷史信息，很好地解決了長(zhǎng)期依賴問(wèn)題。其單元結(jié)構(gòu)如圖1所示。

相較于一般RNN結(jié)構(gòu)，每個(gè)循環(huán)網(wǎng)絡(luò)單元變得復(fù)雜了，這是因?yàn)槎嗔?道控制門，分別是遺忘門、輸入門、輸出門。這里的“門”是帶有激活函數(shù)的全連接層，能夠選擇性地對(duì)信息進(jìn)行過(guò)濾，激活函數(shù)一般是使用Sigmoid函數(shù)(圖1中σ表示)，并且相較于原始RNN，LSTM多出了一個(gè)單元狀態(tài)變量C，用于保存長(zhǎng)期的狀態(tài)，稱為單元狀態(tài)(cell state)。

圖1 LSTM單元體結(jié)構(gòu)示意圖

1.2 Seq2Seq網(wǎng)絡(luò)模型

上面提到的深度神經(jīng)網(wǎng)絡(luò)模型不論是RNN還是LSTM模型，它們都可以生成與輸入長(zhǎng)度一樣長(zhǎng)的固定長(zhǎng)度序列，如果想要獲得不定長(zhǎng)的序列通常需要維度變換，效果不理想。為了解決不定長(zhǎng)的預(yù)測(cè)序列數(shù)據(jù)的生成，文獻(xiàn)[24]提出了Seq2Seq模型，該模型采用編解碼器結(jié)構(gòu)，可以采取CNN、RNN、LSTM等不同模型作為隱藏層。本文采用LSTM，其工作原理是首先輸入一個(gè)序列到編碼器的LSTM層，取其最后一個(gè)LSTM單元的輸出為編碼向量，該向量為二維向量，再將該特征向量復(fù)制生成與預(yù)測(cè)序列長(zhǎng)度一樣長(zhǎng)的三維特征向量輸入到解碼器的LSTM層中，最終得到預(yù)測(cè)序列向量。Seq2Seq模型中的主要架構(gòu)編解碼器如圖2所示。

圖2 Seq2Seq模型中的主要架構(gòu)編解碼器

2 數(shù)據(jù)預(yù)處理及劃分

2.1 數(shù)據(jù)預(yù)處理

本文采用的數(shù)據(jù)格式為時(shí)間序列數(shù)據(jù)，是在不同時(shí)間點(diǎn)上收集到的數(shù)據(jù)，簡(jiǎn)稱時(shí)序數(shù)據(jù)。這類數(shù)據(jù)反映了某一事物、現(xiàn)象等隨時(shí)間的變化狀態(tài)或程度。對(duì)于一般時(shí)序數(shù)據(jù)預(yù)測(cè)模型的訓(xùn)練而言，其數(shù)據(jù)集是由原數(shù)據(jù)集截取得到的一個(gè)個(gè)固定長(zhǎng)度的子序列構(gòu)成。本文采用滑動(dòng)窗口算法實(shí)現(xiàn)了對(duì)航空發(fā)動(dòng)機(jī)不同傳感器數(shù)據(jù)的子序列截取來(lái)構(gòu)建模型訓(xùn)練所需的數(shù)據(jù)集。該數(shù)據(jù)集包括由真實(shí)數(shù)據(jù)組成的待預(yù)測(cè)子序列和預(yù)測(cè)子序列，前者作為模型輸入序列，得到預(yù)測(cè)序列數(shù)據(jù)后，后者會(huì)作為用于計(jì)算與預(yù)測(cè)序列數(shù)據(jù)之間均方誤差的對(duì)比序列。其子序列個(gè)數(shù)由滑動(dòng)窗口的滑動(dòng)步長(zhǎng)決定。為了能夠得到更多的訓(xùn)練數(shù)據(jù)，本文設(shè)置滑動(dòng)窗口步長(zhǎng)為1。

2.2 數(shù)據(jù)集劃分及標(biāo)準(zhǔn)化

當(dāng)使用滑動(dòng)窗口成功構(gòu)建數(shù)據(jù)集后，需將數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集。一般傳統(tǒng)的數(shù)據(jù)集劃分方式是先將數(shù)據(jù)集里的數(shù)據(jù)打亂隨機(jī)排序，再按照比例進(jìn)行劃分，目的是防止模型訓(xùn)練時(shí)過(guò)擬合以及能夠提高模型的魯棒性。但本文研究的傳感器數(shù)據(jù)屬于時(shí)間序列數(shù)據(jù)，其數(shù)據(jù)具有高度自相關(guān)的特性，前后相鄰的數(shù)據(jù)有著一定的關(guān)聯(lián)度，如果打亂訓(xùn)練會(huì)引入來(lái)自未來(lái)的數(shù)據(jù)而導(dǎo)致模型容易發(fā)生嚴(yán)重的過(guò)擬合現(xiàn)象，從而影響訓(xùn)練效果。因此，本文劃分?jǐn)?shù)據(jù)集的方法是將選擇一個(gè)合適的時(shí)間點(diǎn)，取該時(shí)間點(diǎn)前的來(lái)自過(guò)去的數(shù)據(jù)作為模型的訓(xùn)練集，時(shí)間點(diǎn)后的來(lái)自未來(lái)的數(shù)據(jù)作為模型的測(cè)試集，按照訓(xùn)練集和測(cè)試集4∶1的比例進(jìn)行劃分。

最后在劃分好訓(xùn)練集和測(cè)試集后還需要標(biāo)準(zhǔn)化處理。目的是消除由于量綱不同、不同傳感器數(shù)值范圍差距過(guò)大而引起的誤差，使其有利于學(xué)習(xí)率的調(diào)整，特別是在尋找模型損失函數(shù)最優(yōu)解的過(guò)程中避免梯度更新時(shí)帶來(lái)數(shù)值問(wèn)題，從而提高模型的訓(xùn)練效果。一般情況下，如果數(shù)據(jù)沒(méi)有進(jìn)行標(biāo)準(zhǔn)化，會(huì)因?yàn)閿?shù)據(jù)中不同特征值的量綱差距過(guò)大，從而導(dǎo)致在進(jìn)行梯度下降時(shí)，梯度的方向會(huì)偏離最快下降方向，使訓(xùn)練時(shí)間變得很長(zhǎng)。而在數(shù)據(jù)標(biāo)準(zhǔn)化后，其模型目標(biāo)函數(shù)呈現(xiàn)會(huì)變“圓”，這樣梯度的下降方向能更貼近理想的最快下降方向，便能更快地找到最優(yōu)解。為了防止在數(shù)據(jù)標(biāo)準(zhǔn)化的過(guò)程中引入未來(lái)數(shù)據(jù)導(dǎo)致訓(xùn)練時(shí)發(fā)生過(guò)擬合現(xiàn)象，本文對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化所用的均值和標(biāo)準(zhǔn)差均來(lái)自訓(xùn)練集。

3 面向航空發(fā)動(dòng)機(jī)多傳感器數(shù)據(jù)預(yù)測(cè)模型

本文針對(duì)航空發(fā)動(dòng)機(jī)多傳感器數(shù)據(jù)預(yù)測(cè)多維多步預(yù)測(cè)問(wèn)題，提出了一種基于Seq2Seq的多傳感器數(shù)據(jù)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)模型(AMSDPNN)，實(shí)現(xiàn)了航空發(fā)動(dòng)機(jī)多傳感器數(shù)據(jù)的提前預(yù)測(cè)。模型的總體結(jié)構(gòu)如圖3所示。

圖3 AMSDPNN模型的整體結(jié)構(gòu)

將奧卡姆剃刀原理延伸到深度學(xué)習(xí)模型的構(gòu)建上，選擇適當(dāng)復(fù)雜程度的模型能有效地防止過(guò)擬合，得到滿意的效果?；诒疚哪Ｐ偷腅ncoder和Decoder模型都由一層LSTM層構(gòu)成，其中間結(jié)果為編碼器中最后一個(gè)LSTM單元的輸出向量，而解碼器的輸入則都為該中間輸出向量，且解碼器的輸出能夠根據(jù)需求輸出對(duì)應(yīng)時(shí)間步大小的矩陣向量，最后通過(guò)一層全連接層得到與需求輸出相對(duì)應(yīng)的特征個(gè)數(shù)的預(yù)測(cè)序列數(shù)據(jù)。

而在模型的激活函數(shù)選擇上并沒(méi)有使用如Relu、Sigmoid、Tanh等激活函數(shù)，而是直接輸出值。這是因?yàn)槭紫仍贚STM層中本身默認(rèn)使用了Tanh函數(shù)進(jìn)行最后輸出的激活，因此并沒(méi)有再次使用Tanh函數(shù)和與之類似的Sigmoid函數(shù)；Relu函數(shù)本身常用于避免深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練中經(jīng)常出現(xiàn)的梯度消失問(wèn)題，而本文模型是屬于淺層神經(jīng)網(wǎng)絡(luò)，故沒(méi)有采用。

關(guān)于損失函數(shù)的選擇上則采用均方誤差函數(shù)MSE。這里假設(shè)預(yù)測(cè)的序列數(shù)據(jù)為yp，與之對(duì)應(yīng)的真實(shí)數(shù)據(jù)為yi。此時(shí)損失函數(shù)L的表達(dá)式為：

選擇AMSDPNN模型來(lái)搭建時(shí)序預(yù)測(cè)模型，相較于傳統(tǒng)的基于LSTM的時(shí)序預(yù)測(cè)模型有兩點(diǎn)優(yōu)勢(shì)：1) 基于編解碼器結(jié)構(gòu)的Seq2Seq模型輸入和輸出都是序列且長(zhǎng)度可變，而傳統(tǒng)的LSTM模型通常需要將輸出的矩陣向量經(jīng)過(guò)一系列的矩陣變換才能做到；2)1.2節(jié)提到的解碼器工作時(shí)每個(gè)LSTM單元里都會(huì)帶入編碼器輸出的編碼向量，其編碼向量可以看作是包含了輸入序列全部語(yǔ)義的語(yǔ)義向量，能夠在解碼器生成預(yù)測(cè)序列時(shí)充分吸納上一序列的語(yǔ)義信息，得到更好的預(yù)測(cè)結(jié)果。

4 實(shí)驗(yàn)與分析

4.1 實(shí)驗(yàn)環(huán)境

本文實(shí)驗(yàn)所使用的操作系統(tǒng)為Windows10，CPU為i7-6700K，主頻4 GHZ，GPU型號(hào)GTX 1060，顯存6 GB，電腦內(nèi)存16 GB。主要采用的編程語(yǔ)言為Python3.6，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的搭建選用Keras2.2.3。

在數(shù)據(jù)集方面，本文以多型渦扇發(fā)動(dòng)機(jī)在空中慣性起動(dòng)、空中風(fēng)車起動(dòng)、進(jìn)氣畸變條件下的地面起動(dòng)，及起動(dòng)失速/喘振等12個(gè)不同場(chǎng)景下，約30萬(wàn)條故障數(shù)據(jù)作為本文模型的訓(xùn)練及測(cè)試數(shù)據(jù)。

4.2 試驗(yàn)過(guò)程及分析

模型采用的訓(xùn)練方法是基于批次的梯度下降法，批量大小根據(jù)整個(gè)數(shù)據(jù)集的規(guī)模而定，整個(gè)試驗(yàn)采用Python的第三方工具庫(kù)Matplotlib對(duì)整個(gè)訓(xùn)練過(guò)程進(jìn)行可視化。

使用梯度下降法時(shí)，根據(jù)訓(xùn)練效果來(lái)控制學(xué)習(xí)速率是模型能否訓(xùn)練成功的關(guān)鍵。本文選取了Adadelta、Adam、Adagrad、RMSprop這4種優(yōu)化算法進(jìn)行比較，每個(gè)優(yōu)化算法在整個(gè)訓(xùn)練過(guò)程中的Loss曲線如圖4所示。

從圖4可以看到，相較于其余3個(gè)優(yōu)化算法，Adam優(yōu)化效果最好，其損失函數(shù)Loss能降至0.01左右，且收斂過(guò)程也較為穩(wěn)定，故在模型搭建時(shí)，選擇Adam作為模型的優(yōu)化函數(shù)。

圖4 不同優(yōu)化算法的loss曲線對(duì)比

4.3 試驗(yàn)結(jié)果及分析

模型訓(xùn)練完成后，某發(fā)動(dòng)機(jī)發(fā)生喘振時(shí)多個(gè)傳感器的真實(shí)數(shù)據(jù)曲線以及預(yù)測(cè)數(shù)據(jù)曲線對(duì)比如圖5所示。

圖5 某發(fā)動(dòng)機(jī)真實(shí)數(shù)據(jù)曲線與預(yù)測(cè)數(shù)據(jù)曲線對(duì)比

為了對(duì)模型的最終效果進(jìn)行整體評(píng)估。本文以均方差MSE作為評(píng)估指標(biāo)，將本文模型AMSDPNN與其他神經(jīng)網(wǎng)絡(luò)CNN、RNN、LSTM的測(cè)試結(jié)果對(duì)比，結(jié)果如表1所示。

表1 各個(gè)算法的數(shù)據(jù)預(yù)測(cè)誤差對(duì)比

由表1的實(shí)驗(yàn)結(jié)果可知，AMSDPNN模型相較其他3個(gè)模型，其預(yù)測(cè)誤差更小，說(shuō)明使用基于Seq2Seq的AMSDPNN模型數(shù)據(jù)預(yù)測(cè)效果更好。

4.4 預(yù)測(cè)耗時(shí)評(píng)估

本文模型的最終目標(biāo)是能夠預(yù)測(cè)發(fā)動(dòng)機(jī)多傳感器的未來(lái)數(shù)據(jù)。因此需要通過(guò)模型的單次預(yù)測(cè)耗時(shí)計(jì)算出可以預(yù)測(cè)多長(zhǎng)時(shí)間之后的數(shù)據(jù)。經(jīng)實(shí)驗(yàn)得到模型單次數(shù)據(jù)預(yù)測(cè)的耗時(shí)平均約為80 ms，由于預(yù)測(cè)序列的時(shí)間跨度達(dá)到了400 ms，因此經(jīng)過(guò)計(jì)算模型可以提前預(yù)測(cè)320 ms后發(fā)動(dòng)機(jī)的傳感器數(shù)據(jù)，如圖6所示。

圖6 AMSDPNN模型單次預(yù)測(cè)耗時(shí)曲線

5 結(jié) 束 語(yǔ)

本文基于航空發(fā)動(dòng)機(jī)傳感器數(shù)據(jù)集使用滑動(dòng)窗口算法截取子序列構(gòu)建時(shí)序數(shù)據(jù)集，并對(duì)其進(jìn)行標(biāo)準(zhǔn)化。提出了一種面向航空發(fā)動(dòng)機(jī)多傳感器數(shù)據(jù)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)模型AMSDPNN，該模型主要基于Seq2Seq模型構(gòu)成，其隱藏層使用LSTM網(wǎng)絡(luò)結(jié)構(gòu)。實(shí)驗(yàn)結(jié)果表明，該模型能夠以極短的時(shí)間預(yù)測(cè)出航空發(fā)動(dòng)機(jī)未來(lái)的傳感器數(shù)據(jù)。