步春辰,王亞平,閆雅斌
(1. 南京理工大學(xué) 機(jī)械工程學(xué)院,南京 210094;
2. 廣州地鐵集團(tuán)有限公司 運(yùn)營事業(yè)總部,廣州 510330)
在地鐵營運(yùn)的高峰時(shí)段,站臺(tái)人流量大且非常密集。若地鐵閘機(jī)出現(xiàn)故障不及時(shí)修復(fù),車站通行效率將大幅降低,且增加安全隱患。
時(shí)間序列預(yù)測(cè)通過將某一現(xiàn)象統(tǒng)計(jì)指標(biāo)的數(shù)值按時(shí)間先后順序形成數(shù)列,從中分析發(fā)現(xiàn)該現(xiàn)象隨時(shí)間變化的規(guī)律,得出一定的模式,并基于此模式預(yù)測(cè)該現(xiàn)象將來的情況。時(shí)間序列預(yù)測(cè)在經(jīng)濟(jì)、金融、工程等領(lǐng)域有著廣泛的應(yīng)用[1-2]。產(chǎn)品的故障時(shí)間序列作為重要的可靠性指標(biāo),能夠反映產(chǎn)品故障的動(dòng)態(tài)演化過程。目前,常用的分析故障時(shí)間序列預(yù)測(cè)的方法有:自回歸移動(dòng)平均(ARIMA,Autoregressive Integrated Moving Average)[3]、奇 異 譜 分 析(SSA,Singular Spectrum Analysis)[4]、支持向量回歸(SVR,Support Vector machines Regression)[5]、人工神經(jīng)網(wǎng)絡(luò)[6](ANN,Artificial Neural Network)等。
本文采用CNN+LSTM 混合神經(jīng)網(wǎng)絡(luò),對(duì)地鐵閘機(jī)扇門機(jī)構(gòu)故障時(shí)間序列預(yù)測(cè)進(jìn)行研究,以期準(zhǔn)確掌握故障規(guī)律,制定合理的維修計(jì)劃,減少應(yīng)急維修頻次,保障地鐵車站運(yùn)營可靠性和安全性。
機(jī)器學(xué)習(xí)模型在過去幾年中取得顯著進(jìn)步,在軌道交通領(lǐng)域已有不少應(yīng)用。茅飛[7]使用ARIMA 模型預(yù)測(cè)分析閘機(jī)口各個(gè)時(shí)段的客流量,合理安排工作人員,疏導(dǎo)城市交通,并調(diào)節(jié)閘機(jī)參數(shù),提高其工作效率;徐文文等人[8]針對(duì)列車供電系統(tǒng)無法有效擬合和預(yù)測(cè)受電弓滑板的磨損趨勢(shì)問題,利用優(yōu)化的SVR 對(duì)其進(jìn)行預(yù)測(cè),提升受電弓的效能;李建偉等人[9]采用BP 神經(jīng)網(wǎng)絡(luò)對(duì)故障數(shù)據(jù)進(jìn)行學(xué)習(xí)訓(xùn)練,檢測(cè)學(xué)習(xí)相關(guān)度,預(yù)測(cè)城市軌道交通車輛的可靠性。
作為機(jī)器學(xué)習(xí)的熱門分支,深度學(xué)習(xí)逐漸被應(yīng)用到故障時(shí)間序列的研究中。常見的深度學(xué)習(xí)診斷模型包括深度自動(dòng)編碼器、遞歸神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM)等[10]。LSTM 擅長(zhǎng)學(xué)習(xí)具有長(zhǎng)程依賴關(guān)系的時(shí)間序列數(shù)據(jù),對(duì)識(shí)別高維時(shí)間序列中的長(zhǎng)程依賴性和時(shí)序性具有明顯優(yōu)勢(shì),而卷積神經(jīng)網(wǎng)絡(luò)(CNN)[11]適合處理具有統(tǒng)計(jì)平穩(wěn)性和局部關(guān)聯(lián)性的數(shù)據(jù)?;贑NN+LSTM 混合神經(jīng)網(wǎng)絡(luò)的時(shí)間序列預(yù)測(cè)已在多個(gè)領(lǐng)域得到應(yīng)用,如圖像識(shí)別、自然語言處理、智能電表故障檢測(cè)[12]、能源資產(chǎn)能量預(yù)測(cè)、設(shè)備剩余使用壽命預(yù)測(cè)[13]等方面,具有精度高、適用性廣、可拓展的特點(diǎn)。
目前,國內(nèi)尚未見針對(duì)地鐵閘機(jī)故障時(shí)間序列預(yù)測(cè)分析的相關(guān)研究。
用于時(shí)間序列預(yù)測(cè)的典型CNN 由1 個(gè)用于提取特征圖的單卷積層、1 個(gè)用于特征圖二次采樣的單合并層及1 個(gè)用于學(xué)習(xí)輸出的完全連接層組成。
令X={X1,···,XN},Xi=[x1,···,xT]T作為具有N個(gè)樣本和T個(gè)嵌入維的輸入時(shí)間序列,且Yi=[xT+1,···,xT+H]T是具有H個(gè)預(yù)測(cè)范圍的相應(yīng)輸出序列,帶有C 的卷積濾波器可以表示為:
LSTM 由3 個(gè)門組成,分別為遺忘門、輸入門和輸出門。
遺忘門是sigmod函數(shù)的常用單元,用于決定保留或者刪除現(xiàn)有信息;通過ht?1和xt輸出值ft(0~1)來表示細(xì)胞狀態(tài)Ct?1,0 表示完全與學(xué)習(xí)值脫節(jié),1則表示保留完整的值,輸出公式為:
其中,bf為常數(shù), σ表 示sigmod函數(shù)。
輸入門決定是否將新信息添加至LSTM 中,由sigmod層和tanh層組成;sigmod層決定哪些值需要更新替換,tanh層為新候選值創(chuàng)建一個(gè)向量并添加到LSTM 中,這些信息更新到現(xiàn)有細(xì)胞信息中,可表達(dá)為:
其中,it表 示該值是否需要更新,表示新候選值的向量,ht?1表示細(xì)胞輸出。
輸入門為L(zhǎng)STM 的存儲(chǔ)提供更新,使用遺忘門將舊值(i,ct?1) 相乘,然后加上新的候選值來忘記當(dāng)前值,可表達(dá)為:
輸出門通過sigmod層來決定LSTM 內(nèi)存的哪一部分對(duì)輸出做出貢獻(xiàn),再使用非線性tanh函數(shù)將向量值映射至?1 和1 之間,最后將結(jié)果乘以sigmod函數(shù)并輸出,可表達(dá)式為:
其中,ot表示輸出值,ht表示介于?1 和1 之間的值,W和b分 別指代各狀態(tài)的權(quán)重和偏置量。
基于從簡(jiǎn)設(shè)計(jì)循環(huán)神經(jīng)網(wǎng)絡(luò)的原則,分析高維多變量時(shí)間序列數(shù)據(jù),構(gòu)建基于CNN+LSTM 的時(shí)間序列預(yù)測(cè)模型,其整體框架如圖1 所示,包括輸入層、隱藏層、輸出層及Adam 優(yōu)化4 個(gè)功能模塊。
其中,輸入層完成閘機(jī)故障數(shù)據(jù)的采集和處理;隱藏層采用CNN+LSTM 構(gòu)建循環(huán)神經(jīng)網(wǎng)絡(luò),采用經(jīng)過歸一化的特征數(shù)據(jù),通過卷積層和池化層,提取出數(shù)據(jù)中重要特征后,輸入到多層結(jié)構(gòu)的LSTM 網(wǎng)絡(luò)中,并利用全連接層中Dropout(全連接層中的一個(gè)功能)來防止過擬合,提升模型泛化能力;再經(jīng)Adam 算法優(yōu)化和損失計(jì)算,最后通過輸出層進(jìn)行迭代,輸出預(yù)測(cè)結(jié)果。
圖1 基于CNN+LSTM 的時(shí)間序列預(yù)測(cè)模型框架
具體算法描述如下:
(1)以月為單位,通過滑動(dòng)窗口訓(xùn)練,采用歸一化數(shù)據(jù)集輸入,迭代次數(shù)epochs設(shè)置,從卷積層獲取特征向量x,I={i|xi≠0}, 將x輸入,進(jìn)行卷積與池化操作得到特征向量y,使用ReLU 函數(shù)激活,即maxpooling(?w+b)通過池化層輸入LSTM 神經(jīng)網(wǎng)絡(luò)。
(2)通過LSTM 神經(jīng)網(wǎng)絡(luò),將輸出概率ht輸入ReLU 函數(shù)中,得到0~1 之間的值,設(shè)置閾值后對(duì)結(jié)果進(jìn)行分類,并將結(jié)果與樣本標(biāo)簽進(jìn)行比對(duì),計(jì)算交叉熵?fù)p失函數(shù),并使用Adam 優(yōu)化算法對(duì)權(quán)值進(jìn)行優(yōu)化,即有:
(3)按照上述步驟調(diào)整輸入,結(jié)束前向傳播,得到預(yù)測(cè)輸出值。再利用真實(shí)值,進(jìn)行反向傳播并更新參數(shù),完成訓(xùn)練。
采用某型號(hào)地鐵閘機(jī)2015年—2019年期間237條在役閘機(jī)的扇門機(jī)構(gòu)故障記錄,包括站點(diǎn)及閘機(jī)編號(hào)、故障時(shí)間、故障原因、故障現(xiàn)象、電機(jī)運(yùn)行電流、線纜連接是否穩(wěn)固、扇門門體與中門間隙值、運(yùn)行噪聲值、扇門主要機(jī)構(gòu)動(dòng)作是否正常等數(shù)據(jù)。
對(duì)故障時(shí)間序列中的冗余數(shù)據(jù)和空值進(jìn)行清洗,移除冗余數(shù)據(jù),采用均值對(duì)空值進(jìn)行填充。
故障率指工作到t時(shí)刻尚未失效的產(chǎn)品,在t時(shí)刻后的單位時(shí)間內(nèi)發(fā)生失效的概率,記為 λ(t)。對(duì)于有限樣本,設(shè)樣本數(shù)目為N,經(jīng)過時(shí)間t有n(t)個(gè)樣本失效,而在 (t+?t)時(shí) 刻產(chǎn)品的失效數(shù)為n(t+?t),則故障率估計(jì)值為:
地鐵閘機(jī)發(fā)生故障后,會(huì)更換故障模塊,被更換的模塊返廠維修,相當(dāng)于總體樣本在維修后進(jìn)行了一次更新。本文近似的認(rèn)為下一個(gè)周期(單位時(shí)間)的故障率約等于故障數(shù)除以樣本總數(shù)。
經(jīng)整理得到包含70 個(gè)數(shù)據(jù)點(diǎn)的月度故障時(shí)間序列數(shù)據(jù),如圖2 可知,隨著不斷的維修,閘機(jī)系統(tǒng)級(jí)故障率總體呈上升趨勢(shì)。
圖2 某型號(hào)閘機(jī)月度故障時(shí)間序列數(shù)據(jù)
故障率樣本分組方式:故障率樣本總數(shù)為n,將其分為m個(gè) 組;每組包含n?m+1個(gè) 值,其中前n?m個(gè)值為訓(xùn)練用輸入樣本,第n?m+1個(gè)值為期望映射;m個(gè) 組中前k組用于訓(xùn)練,后m?k組用于檢測(cè)。
如表1 所示,將這70 條數(shù)據(jù)分成60 組,每組包含11 個(gè)值;前10 個(gè)值為訓(xùn)練用輸入樣本,第11個(gè)值為期望映射;60 組數(shù)據(jù)中,前40 組用來訓(xùn)練,后20 組進(jìn)行檢測(cè)。
表1 故障率數(shù)據(jù)分組
為評(píng)價(jià)預(yù)測(cè)模型的預(yù)測(cè)準(zhǔn)確性,選擇3 個(gè)統(tǒng)計(jì)指標(biāo):均方根誤差(RMSE)、平均絕對(duì)誤差(MAE)和測(cè)定系數(shù)(R2)。
其中,n為 樣本數(shù),yt表示真實(shí)值,為預(yù)測(cè)值,表示閘機(jī)門機(jī)構(gòu)故障數(shù)據(jù)真值的均值。
RMSE 和MAE 接近0 意味著性能更好,而R2接近1 則性能更佳。
實(shí)驗(yàn)環(huán)境配置見表2。
表2 實(shí)驗(yàn)環(huán)境配置
為獲得最優(yōu)結(jié)果,需要調(diào)節(jié)故障時(shí)間序列預(yù)測(cè)模型中多個(gè)超參數(shù),主要包括:卷積核的大小、CNN 的移動(dòng)步長(zhǎng)、激活函數(shù)的選取、CNN 的深度、LSTM 的步長(zhǎng)、隱藏層節(jié)點(diǎn)數(shù)、Dropout 值和優(yōu)化方法的選取。經(jīng)測(cè)試發(fā)現(xiàn),CNN 的移動(dòng)步長(zhǎng)、CNN 的深度、LSTM 的隱藏層節(jié)點(diǎn)數(shù)、每次訓(xùn)練所選取的樣本數(shù)對(duì)預(yù)測(cè)結(jié)果的影響較大。經(jīng)實(shí)驗(yàn)對(duì)比,CNN+LSTM 故障時(shí)間序列預(yù)測(cè)模型的參數(shù)設(shè)置見表3。
本文采用故障率指標(biāo)對(duì)數(shù)據(jù)集中每條故障數(shù)據(jù)進(jìn)行歸一化,并將數(shù)據(jù)集隨機(jī)分為2 組:訓(xùn)練數(shù)據(jù)集(占70%)和驗(yàn)證數(shù)據(jù)集(占30%)。經(jīng)預(yù)訓(xùn)練,從規(guī)范化故障數(shù)據(jù)中提取時(shí)序特征,利用預(yù)測(cè)模型所準(zhǔn)備的數(shù)據(jù)進(jìn)行再訓(xùn)練。
為評(píng)估CNN+LSTM 混合神經(jīng)網(wǎng)絡(luò)時(shí)間序列預(yù)測(cè)模型的性能,與CNN、LSTM 及ARIMA 這3 種單一預(yù)測(cè)模型進(jìn)行比較,結(jié)果如圖3~圖6 所示,表4 列出了這4 種模型預(yù)測(cè)結(jié)果準(zhǔn)確性的對(duì)比。
圖3 CNN+LSTM 模型的預(yù)測(cè)結(jié)果與真實(shí)值對(duì)比
圖4 ARIMA 模型的預(yù)測(cè)結(jié)果與真實(shí)值對(duì)比
由表4 可知:
(1)ARIMA 模型要求時(shí)序數(shù)據(jù)(不論是否經(jīng)過差分化)具備穩(wěn)定性,即只能捕捉線性關(guān)系,未考慮地鐵閘機(jī)工作中各種復(fù)雜變量所帶來的影響,其RMSE 和MAE 指標(biāo)上的表現(xiàn)都是最差的。
圖5 CNN 模型的預(yù)測(cè)結(jié)果與真實(shí)值對(duì)比
圖6 LSTM 模型的預(yù)測(cè)結(jié)果與真實(shí)值對(duì)比
表4 4 種模型預(yù)測(cè)結(jié)果準(zhǔn)確性對(duì)比
(2)CNN 模型與LSTM 模型的預(yù)測(cè)效果及各項(xiàng)性能指標(biāo)均相差不大,但由于訓(xùn)練數(shù)據(jù)量不足,CNN 與LSTM 圖像分析的中后期均出現(xiàn)一定的滯后現(xiàn)象;CNN 僅考慮當(dāng)前輸入,不具備記憶功能,會(huì)丟失部分信息,也會(huì)忽略局部與整體之間的關(guān)聯(lián)性;LSTM 因具有全局性記憶功能,但在訓(xùn)練大數(shù)據(jù)量時(shí),需要更高的硬件條件。
(3)CNN+LSTM 混合神經(jīng)網(wǎng)絡(luò)模型利用CNN通道提取時(shí)序特征,并通過LSTM 輸出到全連接層,以獲得預(yù)測(cè)信息,其性能優(yōu)于其它單一模型;相比CNN 模型和LSTM 模型,其RMSE 值分別提升6.45%與7.11%,R2值分別提升8.96%與15.87%。
構(gòu)建基于CNN+LSTM 混合神經(jīng)網(wǎng)絡(luò)的故障時(shí)間序列預(yù)測(cè)模型,利用某型號(hào)地鐵閘機(jī)扇門機(jī)構(gòu)的故障數(shù)據(jù),以降低預(yù)測(cè)誤差為目標(biāo),調(diào)節(jié)模型參數(shù),對(duì)高維故障數(shù)據(jù)進(jìn)行特征提取,經(jīng)神經(jīng)網(wǎng)絡(luò)迭代訓(xùn)練后輸出預(yù)測(cè)結(jié)果;并與ARIMA、CNN 和LSTM 模型的預(yù)測(cè)結(jié)果進(jìn)行對(duì)比,結(jié)果表明:CNN+LSTM 混合神經(jīng)網(wǎng)絡(luò)時(shí)間序列預(yù)測(cè)模型的預(yù)測(cè)結(jié)果準(zhǔn)確性較高,具有較好的應(yīng)用前景。
研究成果可用于支持地鐵閘機(jī)維修計(jì)劃的制定和優(yōu)化,減少應(yīng)急維護(hù)頻次,保障地鐵車站運(yùn)營的可靠性與安全性。