趙春陽,張海峰
(中車長春軌道客車股份有限公司,吉林 長春 130062)
卷積神經(jīng)網(wǎng)絡是神經(jīng)網(wǎng)絡的一種擴展,其體系結構受到生物視覺系統(tǒng)的啟發(fā),使得其擁有非常有用的兩個關鍵特性:空間共享和共享權重。這種學習網(wǎng)絡具有平移不變的特征,即濾波器在整個圖像中起到很好的作用(由于圖像統(tǒng)計是靜止的)。匯聚層負責降低輸出對輕微輸入移位和失真的敏感性。這種類型的神經(jīng)網(wǎng)絡在許多視覺應用已被證明是非常有效的,如目標識別和分割。一個典型的卷積網(wǎng)絡是由多個階段組成的。每個階段的輸出是由一組稱為特征映射的二維數(shù)組構成的。每個特征映射是在整個圖像上應用一個卷積濾波器的結果。非線性壓縮函數(shù)(如雙曲正切)始終遵循匯聚層原則。特征映射是通過在整個圖像的次區(qū)域中重復應用函數(shù)得到的,通過輸入線性圖像的卷積,加入一個偏置項,然后應用一個非線性函數(shù)得到的。如果我們表示第k個特征映射在某一層作為hk,其決定了濾波器的權重WK和偏置BK,然后映射hk如下(雙曲正切非線性):
為了形成更豐富的數(shù)據(jù)表示,每個隱藏層由多個特征映射組成,{h(k),k=0…k}。隱含層的權重W可以表示為包含目標要素地圖、特征圖、垂直位置和水平位置的每個元素的四維向量。偏差b可以表示為每個目標特征映射包含一個元素的向量。
我們使用卷積神經(jīng)網(wǎng)絡捕獲軸的性能。其中,動車組數(shù)據(jù)集包括速度、加速度、電流、電壓、環(huán)境溫度和軸頸溫度,我們把軸溫作為訓練目標,以其它數(shù)據(jù)為輸入。然而只有1000到2000個數(shù)據(jù)點。插入原始數(shù)據(jù)和讓所有有數(shù)據(jù)的1000個點,使用輸入數(shù)據(jù)作為一個1×1000圖像(5個數(shù)據(jù)集通道包括速度、加速度、電流、電壓和環(huán)境溫度),將1×10濾波器具有5個輸入通道、2個輸出通道和一個非線性壓縮函數(shù)通過匯聚層,然后我們將在匯聚層輸出通道MLP(多層神經(jīng)網(wǎng)絡)來預測軸溫。我們插入軸溫達到一天100個點(預測每天有100個點),并使用L2損失函數(shù)來訓練網(wǎng)絡。表1顯示了這個過程。
表1 顯示了獲取軸的性能的模型
一個典型的遞歸神經(jīng)網(wǎng)絡見圖1。
圖1 遞歸神經(jīng)網(wǎng)絡與所涉及的正向計算中時間計算展開
Hochreiter與Schmidhuber介紹了長短期記憶(LSTM)模型。這是遞歸神經(jīng)網(wǎng)絡改進的記憶。它使用具有內(nèi)部存儲器和門控輸入/輸出的存儲單元,這種存儲單元在獲取長期屬性方面更有效。隱層函數(shù)的LSTM滿足下列方程組計算:
以上是邏輯S型函數(shù)和LSTM模型的組成,分別被稱為輸入門、輸出門、遺忘門和活躍的存儲單元,分別表示為I、F、O、C。
我們用兩層LSTM獲取潛在故障。第一層作為編碼器來執(zhí)行動車組軸的日常情況。第二層接收編碼器的結果并輸出潛在故障的風險。由于動車組故障記錄的數(shù)量有限,我們沒有一個大的數(shù)據(jù)集來訓練,所以我們需要第一層LSTM的前訓練。我們用seq2seq模型預訓練編碼器(訓練解碼器輸出與編碼器的輸入相同的內(nèi)容)。
在去年的126輛動車組數(shù)據(jù)集上測試了我們所提出的方法。插入原始數(shù)據(jù),然后讓每天都有1000個數(shù)據(jù)點。
在訓練集上的每個數(shù)據(jù)都經(jīng)過適當?shù)奶畛浜蜌w一化,使它們具有零均值和單位方差。所有的網(wǎng)絡都經(jīng)過隨機選擇的一天的抽樣補丁訓練,從隨機挑選出來的動車組中訓練動車組數(shù)據(jù)的訓練集。
我們考慮了CNN和RNN以上兩個模型,使用10倍交叉驗證評估模型,表2、3是結果列表。
表2 顯示CNN對短期預測的模型評估
表3 顯示RNN評價獲取潛在故障模型
本文提出了一種聯(lián)合CNN和RNN的模型,用它們來預測短期軸溫和獲取軸潛在故障,結果表明CNN有相對誤差絕對值小于10%,RNN獲取故障記錄87.3333%。