王丹丹，陳 剛，楊 青

(沈陽理工大學(xué) 自動化與電氣工程學(xué)院，沈陽 110159)

LSTM(long-short Term Memory)是循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Net-work，RNN)的一個優(yōu)秀的變種模型，繼承了大部分RNN模型的特性，同時解決了梯度反傳過程的梯度消失問題。LSTM網(wǎng)絡(luò)因具有處理時序數(shù)據(jù)的能力而得到青睞，與傳統(tǒng)的網(wǎng)絡(luò)比較，模型中加入的一種塊結(jié)構(gòu)叫作門，來控制細(xì)胞狀態(tài)的信息增減，判斷信息是否有用，解決“記不住問題”，因此LSTM網(wǎng)絡(luò)在挖掘序列數(shù)據(jù)長期依賴關(guān)系中極具優(yōu)勢。具體到語言處理任務(wù)中，LSTM非常適合用于處理與時間序列高度相關(guān)的問題。LSTM已經(jīng)在科技領(lǐng)域有了多種應(yīng)用，基于LSTM的模型可以學(xué)習(xí)語言翻譯、文本生成、語音識別、疾病預(yù)測、股票預(yù)測、音樂合成、編碼解碼[1-6]等任務(wù)。

作為老師，最高興的當(dāng)然是看見自己教的學(xué)生成為有用之才。因此，在感恩節(jié)來臨之際，給老師寫一封信，告知自己的學(xué)習(xí)情況，當(dāng)老師收到信時，心里肯定特別高興。

“除王大明外，此案還有三名目擊者。聶芊芊，王大明的秘書，當(dāng)晚正在王大明處匯報公司業(yè)務(wù)，是該案的報案者，目前聶芊芊頭部受傷驚嚇過度，還不能接受警方的調(diào)查。還有一名目擊者曾在當(dāng)晚11：18給市消防隊打電話報案，但沒有引起消防部門的重視，報案人也沒有留下姓名和聯(lián)系方式，目前警方正在查尋此人，同時也希望這名目擊者能迅速到市公安局為此案提供線索。第三個目擊者是我市晚報的記者林超……”

LSTM能有效地提取到數(shù)據(jù)的時空信息，準(zhǔn)確地提取到數(shù)據(jù)特征，Graves A等[7]在2008年再次改進(jìn)網(wǎng)絡(luò)后被大力推廣。

基層電大學(xué)生自主學(xué)習(xí)和參加集中面授輔導(dǎo)存在諸多問題，這主要表現(xiàn)在：一是電大學(xué)生的學(xué)習(xí)沒有目標(biāo)。由于電大學(xué)生對擇業(yè)、從業(yè)缺乏科學(xué)的規(guī)劃，許多電大學(xué)生在報名選擇專業(yè)時較為盲目，大多把是否能夠通過學(xué)業(yè)考試獲取畢業(yè)文憑作為他們報讀電大的首要選擇，所學(xué)專業(yè)能否和自己的工作或者今后的發(fā)展方向結(jié)合卻很少考慮。這必然造成學(xué)生入學(xué)后對自己要求不高，學(xué)習(xí)缺乏動力，更談不上學(xué)以致用。二是學(xué)生參加集中面授輔導(dǎo)學(xué)習(xí)到課率較低。重慶廣播電視大學(xué)長壽分校的學(xué)生90%來自長壽區(qū)域內(nèi)的企業(yè)，學(xué)校面授輔導(dǎo)時間為雙休日，學(xué)生工學(xué)矛盾比較突出。

閆河等[8]提出一種結(jié)合的網(wǎng)絡(luò)模型，將卷積神經(jīng)網(wǎng)絡(luò)(Convolutonal Neural Netiorks，CNN)和長短期記憶網(wǎng)絡(luò)結(jié)合，進(jìn)行訓(xùn)練及聲紋特征學(xué)習(xí)，結(jié)果表明CNN-LSTM網(wǎng)絡(luò)模型的識別準(zhǔn)確率高達(dá)95.42%。竇珊等[9]提出基于LSTM時間序列重建的方法，引入兩層LSTM網(wǎng)絡(luò)對時間序列進(jìn)行逆序重建，最終驗證了所提方法的有效性。Yuan J等[10]提出了一種基于門遞歸單元(GRU)網(wǎng)絡(luò)的三級故障診斷方法，并與CNN等網(wǎng)絡(luò)作了比較，以證明其有效性。Shao B L等[11]將 LSTM與CNN相結(jié)合，提出了一種基于多通道LSTM-CNN的故障診斷方法，準(zhǔn)確率達(dá)到92.06%。Pangun P等[12]提出將自動編碼器捕獲的預(yù)測故障數(shù)據(jù)放入LSTM中，利用LSTM識別故障類型。楊青等[13]提出了一種變分模態(tài)分解(VMD)、模糊C均值(FCM)及遞推最小二乘支持向量機(jī)(RLSSVM)相結(jié)合的集合型故障診斷方法；后又提出將變分模態(tài)分解，獨(dú)立主元分析和核主成分分析相結(jié)合的聯(lián)合故障檢測方法，應(yīng)用于多模態(tài)故障檢測[14]。

②落實(shí)最嚴(yán)格水資源管理責(zé)任制，明確市、縣政府行政首長對最嚴(yán)格水資源管理制度實(shí)施負(fù)總責(zé)，按年度考核監(jiān)管；定期公布流域水量調(diào)度責(zé)任人，確保水資源調(diào)度管理措施落到實(shí)處。

本文基于一種LSTM與1D卷積和CNN的集合型深度學(xué)習(xí)診斷模型，對化工過程中的故障進(jìn)行診斷。與上述所提方法不同的是，本文采用集合型故障疹斷方法ELSTM(Ensemble long short-term memory networks)模型應(yīng)用于TE過程的分類，1D卷積將LSTM提取到的序列特征在時間上進(jìn)一步強(qiáng)化，得到更加有效的時間特征，從而提取(Tennessee Eastman，TE)數(shù)據(jù)中隱藏的時間特征；同時，多個1D卷積核能夠產(chǎn)生多個時間特征序列，增加特征通道數(shù)。本文采用批歸一化(BN)的方法來提高網(wǎng)絡(luò)的收斂性。由于化工過程中的數(shù)據(jù)具有高維度、復(fù)雜性、多變量等特點(diǎn)，因此將此模型用在該方面具有一定的挑戰(zhàn)性。

1 相關(guān)理論

1.1 循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)

RNN是一個循環(huán)網(wǎng)絡(luò)，可以被看做是同一神經(jīng)網(wǎng)絡(luò)的多個副本，每個神經(jīng)網(wǎng)絡(luò)模塊會把消息傳遞給后續(xù)網(wǎng)絡(luò)。將循環(huán)展開如圖1所示。

圖1 RNN展開圖

圖1所示，鏈?zhǔn)降奶卣鹘沂玖薘NN本質(zhì)是與序列相關(guān)的，是處理時序數(shù)據(jù)的有效的網(wǎng)絡(luò)模型。

1.2 LSTM網(wǎng)絡(luò)

1D卷積的卷積核是一維的，參數(shù)更新和BP算法相同，該卷積層的輸出為

圖2 LSTM模型結(jié)構(gòu)

圖3 LSTM的基本結(jié)構(gòu)

首先使用LSTM的當(dāng)前輸入xt和上一個狀態(tài)傳遞下來的ht-1拼接訓(xùn)練得到四個狀態(tài)，如式(1)～(6)所示。

ft=σ(wf·[ht-1，xt]+bf)

(1)

it=σ(wi·[ht-1，xt]+bi)

(2)

ot=σ(wo·[ht-1，xt]+bo)

(3)

ht=ot*tanh(ct)

(4)

(5)

(6)

例7：畫面的色彩光線，還可以通過會聲會影的各種濾鏡來調(diào)節(jié)，比如利用“自動曝光”濾鏡可以調(diào)節(jié)光線不足；綜合調(diào)整“色彩平衡”、“色調(diào)和飽和度”、“亮度和對比度”等濾鏡的自定義參數(shù)，改善畫面存在的問題；運(yùn)用“NewBlue色彩”濾鏡，調(diào)節(jié)顏色、色彩、飽和、亮度、電影伽瑪?shù)葏?shù)，獲得良好的視覺效果，增加作品的藝術(shù)魅力。比如校園的宣傳視頻中，春天的桃花，花朵更加色彩艷麗、嬌艷欲滴；秋天的銀杏，滿樹金黃的葉子在陽光的照耀下金光閃閃。

1.3 1D卷積理論

Hochreiter S等[15]早在1997年提出了LSTM，LSTM遞歸神經(jīng)網(wǎng)絡(luò)是針對梯度消失或梯度爆炸問題而提出的一種特殊的RNN。關(guān)于 RNN幾乎所有重大的結(jié)果都是通過LSTM 實(shí)現(xiàn)的，圖2和圖3所示分別是LSTM的模型結(jié)構(gòu)和基本結(jié)構(gòu)圖。由圖2可以看出，LSTM網(wǎng)絡(luò)主要由輸入層、隱藏層和輸出層組成。

oc=ReLU(Wc*ic-1+bc)

(7)

協(xié)方差偏移在深層網(wǎng)絡(luò)中是一個常見的問題，網(wǎng)絡(luò)中的特征隨著網(wǎng)絡(luò)層數(shù)的加深逐漸在分布上發(fā)生了變化，而一個層的參數(shù)變化在很大程度上影響所有層的分布，故使用批歸一化來減少內(nèi)部的協(xié)變量偏移，以最小化損失函數(shù)。批歸一化是通過標(biāo)準(zhǔn)化每一層的激活函數(shù)，使均值和方差不受底層參數(shù)變化的影響，為加快訓(xùn)練速度，使網(wǎng)絡(luò)更穩(wěn)定的收斂，如式(8)所示。

本文使用軟件框架結(jié)構(gòu)為基于Pytorch的集合型網(wǎng)絡(luò)模型(深度學(xué)習(xí)框架)，并在CPU上運(yùn)行。實(shí)驗設(shè)置如下：Python版本為3.52，numpy版本為1.13.2，PyTorch版本為0.20，scikit-learn版本為0.19.0，顯卡為NVIDIA GeForce 920M，處理器為Intel CORE i5，內(nèi)存為8GB，固態(tài)硬盤容量為256GB。

圖4 卷積網(wǎng)絡(luò)結(jié)構(gòu)圖

1.4 批歸一化

2D卷積神經(jīng)網(wǎng)絡(luò)由輸入層、卷積層、池化層、全連接層及輸出層組成，如圖4所示。

(8)

式中：ci是將被歸一化的向量；γ和β是確定標(biāo)準(zhǔn)化激活函數(shù)的均值和標(biāo)準(zhǔn)差的模型參數(shù)；μB和σB分別是激活函數(shù)的均值和標(biāo)準(zhǔn)差；ε是正則化參數(shù)；*表示Hadamard乘積(元素方向乘法)。在訓(xùn)練時，使用小批量訓(xùn)練方法，將所有訓(xùn)練樣本劃分為小批次，在每個小批次中進(jìn)行參數(shù)的更新。

2 ELSTM模型

原始數(shù)據(jù)X=(x1，x2，…，xT)，當(dāng)時間步長設(shè)置為5，即T=5時，將原始數(shù)據(jù)劃分為M個序列X(1)=(x1，x2，x3，x4，x5)，X(2)=(x6，x7，x8，x9，x10)，…，X(M)=(xn-4，xn-3，xn-2，xn-1，xn)，作為LSTM的輸入序列。隱藏層神經(jīng)元個數(shù)為32，批次大小也是32，經(jīng)過1D卷積和2D卷積有效地提取特征，得到最終分類結(jié)果，如表2所示。

圖5 ELSTM模型結(jié)構(gòu)圖

田納西-伊斯曼過程(TE)是由Downs和Vogel創(chuàng)建的實(shí)際化工過程的仿真模型，被廣泛用于過程控制、優(yōu)化、監(jiān)控和故障診斷等研究領(lǐng)域。TE過程主要包括5個操作單元：反應(yīng)器、冷凝器、汽液分離器、壓縮機(jī)和汽提塔[16]，如圖6所示。

表1 網(wǎng)絡(luò)參數(shù)

3 實(shí)驗驗證

綜上所述，使用氨甲環(huán)酸可以顯著減少脊柱轉(zhuǎn)移腫瘤手術(shù)中的出血量。在氨甲環(huán)酸組中更少的患者術(shù)后需要輸血及圍手術(shù)期并未增加深靜脈血栓形成的風(fēng)險。

3.1 實(shí)驗數(shù)據(jù)

為更好的獲得原始動態(tài)過程序列數(shù)據(jù)之間的相關(guān)性，取T條原始數(shù)據(jù)作為一個時間輸入序列，并將此時間序列作為LSTM網(wǎng)絡(luò)的輸入，每個輸入x(i)對應(yīng)的輸出是式(1)～(6)。這時輸出向量就是LSTM提取的動態(tài)特征。本文中，設(shè)置輸入序列的長度T為5。reshape 層主要用來重組數(shù)據(jù)，以滿足后續(xù)網(wǎng)絡(luò)層輸入數(shù)據(jù)的結(jié)構(gòu)要求，其他各網(wǎng)絡(luò)層的參數(shù)如表1所示。

TE過程一共有53個變量，其中有41個測量變量(XMEAS)，12個操作變量(XMV)，在操作變量中XMV5、XMV9、XMV12三個操作變量始終為常數(shù)。TE 過程在1993年的仿真模型中有21類預(yù)設(shè)的故障(IDV)，在1995年又新增了8類預(yù)設(shè)故障。通過TE過程仿真模型可以選擇任意的預(yù)設(shè)故障類型及故障發(fā)生和結(jié)束的時間。21種預(yù)設(shè)的故障類型中包含了16種已知預(yù)設(shè)故障，5種未知故障，而新增的8種預(yù)設(shè)故障類型是隨機(jī)變化擾動故障，實(shí)驗中選擇的數(shù)據(jù)都來自公共TE數(shù)據(jù)集。

3.2 實(shí)驗方案

化工過程中的數(shù)據(jù)具有高維度、復(fù)雜性、時序性等特點(diǎn)。整個化工過程處于動態(tài)過程，在整個過程中，數(shù)據(jù)會明顯發(fā)生變化，如何提取動態(tài)時序特征對故障的最終分類結(jié)果有很大影響，本文利用ELSTM集合型網(wǎng)絡(luò)提取更有效的特征以提高診斷準(zhǔn)確性。LSTM能夠有效地處理時間序列的長期依賴關(guān)系，1D卷積提取每一個時間序列內(nèi)部的局部特征。CNN具有很強(qiáng)的從多維數(shù)據(jù)中提取特征的能力。鑒于時變和高維特征，本文利用LSTM對TE過程數(shù)據(jù)進(jìn)行處理，得到的隱層輸出包含原始數(shù)據(jù)的時空信息，然后用1D卷積提取每一個時間序列內(nèi)部的局部特征，再利用CNN處理多維數(shù)據(jù)的能力對時空信息做進(jìn)一步的處理，得到最終的特征矩陣。再利用全連接層對特征矩陣做扁平化處理，將上述特征矩陣進(jìn)行一系列非線性操作，完成特征融合；最后利用全連接層對故障進(jìn)行分類，本網(wǎng)絡(luò)的模型結(jié)構(gòu)如圖5所示。

2018年3月28日，由東南大學(xué)設(shè)計的我國首款無人駕駛巴士正式運(yùn)行，這款無人駕駛巴士完全通過計算機(jī)、雷達(dá)和導(dǎo)航等電子系統(tǒng)工作，可實(shí)現(xiàn)雙向自動行駛、靠站自動?？亢妥詣颖茏屨系K等多種功能。

表2 幾種網(wǎng)絡(luò)模型的對比

從表2結(jié)果分析，ELSTM模型與其他模型比較，ELSTM模型的結(jié)果最令人滿意，其準(zhǔn)確率顯著優(yōu)于其他模型。

3.3 批歸一化的有效性

在深度學(xué)習(xí)中，隨著神經(jīng)網(wǎng)絡(luò)的加深，會出現(xiàn)協(xié)變量轉(zhuǎn)移的問題，這將降低網(wǎng)絡(luò)的學(xué)習(xí)效率。批歸一化算法可以有效地解決這一問題。加入批歸一化后，加速了神經(jīng)網(wǎng)絡(luò)的收斂，同時也防止了過擬合。從訓(xùn)練過程中損失函數(shù)和訓(xùn)練精度的結(jié)果可以得出批歸一化的效果，較之前的訓(xùn)練精度和測試精度都有所提高。

3.4 結(jié)果對比

相比于傳統(tǒng)BP、Autoencoder、CNN這些直接利用數(shù)據(jù)特征進(jìn)行學(xué)習(xí)而忽略數(shù)據(jù)時序特性的網(wǎng)絡(luò)，ELSTM的網(wǎng)絡(luò)結(jié)構(gòu)充分利用了化工過程中數(shù)據(jù)時序性特點(diǎn)，將數(shù)據(jù)隨時間變化而變化的特性引入模型中進(jìn)行訓(xùn)練學(xué)習(xí)。圖7為ELSTM模型與LSTM-CNN模型的實(shí)驗對比圖。

從圖7可以看出，LSTM-CNN模型與ELSTM模型在相同的實(shí)驗條件下，ELSTM模型無論是測試精度還是訓(xùn)練精度都明顯高于LSTM-CNN模型，且在一定程度上，ELSTM模型的收斂速度明顯比LSTM-CNN模型快，ELSTM的網(wǎng)絡(luò)結(jié)構(gòu)充分利用了化工過程中數(shù)據(jù)高維度、復(fù)雜性的特點(diǎn)。

圖8所示為21種故障在兩種算法中的表現(xiàn)。由圖8可以發(fā)現(xiàn)，分類的準(zhǔn)確性在不同的故障模式下差別很大，橫軸代表的是預(yù)測的故障類型，縱軸代表的是真實(shí)的故障類型。從圖8a可以看出，ELSTM模型的預(yù)測效果非常好，除了故障3、故障9和故障15，該模型對其他故障的分類精度都非常高。出現(xiàn)了這種錯分的情況，是由于故障3、故障9和故障15之間的混淆程度較高。故障3和故障9都是與材料D的溫度變化有關(guān)，故障15是冷凝器冷卻水閥，也和故障3和故障9的材料溫度變化有關(guān)。而從圖8b可以看出，LSTM-CNN模型除了故障3、故障9和故障15，在其他多個故障的分類效果中都出現(xiàn)了錯分的情況，整體的分類效果沒有ELSTM模型的分類效果好?？梢姳疚奶岢龅腅LSTM模型對化工過程中的故障具有良好的分類效果。

圖7 訓(xùn)練和測試精度

圖8 兩種算法混淆矩陣

4 結(jié)束語

提出了一種基于ELSTM模型的故障診斷方法，首先從田納西伊士曼仿真實(shí)驗中采集數(shù)據(jù)，并對實(shí)驗中的數(shù)據(jù)進(jìn)行處理，然后提出了一種根據(jù)數(shù)據(jù)特征而設(shè)計的特征提取方法來提取數(shù)據(jù)中的有效特征，先用LSTM網(wǎng)絡(luò)模型對數(shù)據(jù)進(jìn)行處理，提取數(shù)據(jù)的動態(tài)時序特征，并處理數(shù)據(jù)的復(fù)雜非線性關(guān)系，通過使用非線性門控函數(shù)，而不是傳統(tǒng)的參數(shù)調(diào)整，再用1D卷積得到多個時間序列特征，然后利用CNN網(wǎng)絡(luò)模型從多維數(shù)據(jù)中提取特征的能力來提取特征，最后對化工實(shí)驗中的故障數(shù)據(jù)進(jìn)行分類。分別將ELSTM模型與LSTM模型、CNN模型做了比較，結(jié)果顯示ELSTM模型具有更高的精度和良好的有效性。