国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于注意力機(jī)制的LSTM液體管道非穩(wěn)態(tài)工況檢測(cè)

2021-12-06 07:59:26于濤張文煊
油氣與新能源 2021年5期
關(guān)鍵詞:穩(wěn)態(tài)注意力工況

于濤*,張文煊

(1.國(guó)家管網(wǎng)集團(tuán)數(shù)字化部;2.昆侖數(shù)智科技有限責(zé)任公司)

0 引言

長(zhǎng)輸液體管道利用SCADA(數(shù)據(jù)采集與監(jiān)視控制)系統(tǒng)實(shí)現(xiàn)遠(yuǎn)程調(diào)控運(yùn)行,運(yùn)行過(guò)程中對(duì)異常工況的發(fā)現(xiàn)處置,均由調(diào)控人員根據(jù)設(shè)備狀態(tài)量報(bào)警信息及壓力、流量等參數(shù)閾值分析確定。一般而言,液體管道的判斷分析處置時(shí)間較短,對(duì)調(diào)控人員的業(yè)務(wù)技能、事件應(yīng)急能力、工作狀態(tài)等要求較高;尤其是對(duì)于泄漏等工況,若不能及時(shí)發(fā)現(xiàn),將影響后續(xù)工況的識(shí)別和應(yīng)急處置,從而危及管道運(yùn)行安全,嚴(yán)重時(shí)可能產(chǎn)生較大的次生災(zāi)害,進(jìn)而造成環(huán)境污染等問(wèn)題。同時(shí),工況實(shí)時(shí)檢測(cè)是未來(lái)管道智能化的前提,只有實(shí)時(shí)性、準(zhǔn)確性提高后,檢測(cè)結(jié)果才可用于后續(xù)管道的工況智能識(shí)別和控制。

近年來(lái),隨著管道SCADA系統(tǒng)的推廣應(yīng)用,信息傳送、數(shù)據(jù)收集存儲(chǔ)等方面的完善提升,企業(yè)積累了大量的實(shí)際生產(chǎn)數(shù)據(jù)。長(zhǎng)輸油氣管道生產(chǎn)數(shù)據(jù)具有工業(yè)大數(shù)據(jù)的“6V”特性[1],同時(shí)具有更強(qiáng)的專(zhuān)業(yè)性、關(guān)聯(lián)性、流程性、時(shí)序性和解析性等特點(diǎn)。國(guó)內(nèi)外學(xué)者利用數(shù)據(jù)驅(qū)動(dòng)智能應(yīng)用和控制,實(shí)現(xiàn)了工業(yè)設(shè)備監(jiān)測(cè)[2]、工況識(shí)別[3-4]、參數(shù)預(yù)測(cè)等功能[5-6]。可見(jiàn),探索基于數(shù)據(jù)驅(qū)動(dòng)的算法模型,研究油氣管道非穩(wěn)態(tài)工況檢測(cè)和智能識(shí)別是未來(lái)管道智能調(diào)控的方向[7-8]。

目前對(duì)于油氣管道異常工況的研究多側(cè)重于泄漏工況的識(shí)別與特征提取[9-11]。武瑞娟[12]通過(guò)實(shí)驗(yàn)?zāi)M傳感光纖主體在輸油溫度和應(yīng)力變化環(huán)境中的監(jiān)測(cè)穩(wěn)定性、精度,實(shí)現(xiàn)管道泄漏的檢測(cè);陳志剛等人[13]提出基于多元支持向量機(jī)的管道泄漏診斷方法,并建立了識(shí)別模型,實(shí)現(xiàn)多種工況下對(duì)壓力波動(dòng)信號(hào)的分類(lèi)識(shí)別,從而提高泄漏工況識(shí)別準(zhǔn)確性。當(dāng)前學(xué)者的研究成果主要針對(duì)特定設(shè)備與泄漏等工況,沒(méi)有將管道非穩(wěn)態(tài)工況作為整體納入研究,無(wú)法應(yīng)用于未來(lái)管道工況的智能識(shí)別與控制。本文利用 LSTM(長(zhǎng)短期記憶網(wǎng)絡(luò))可學(xué)習(xí)并記憶序列長(zhǎng)期信息的優(yōu)點(diǎn),提出了一種基于注意力機(jī)制的LSTM時(shí)間序列預(yù)測(cè)的算法,該算法可用于長(zhǎng)輸液體管道非穩(wěn)態(tài)工況檢測(cè)。

1 理論和方法

1.1 算法原理

1.1.1 LSTM網(wǎng)絡(luò)原理

LSTM是 RNN(循環(huán)神經(jīng)網(wǎng)絡(luò))的一種變體,由于其彌補(bǔ)了RNN的梯度消失或爆炸,以及長(zhǎng)期記憶不足的問(wèn)題而被廣泛使用于各個(gè)領(lǐng)域[14-16]。每個(gè)LSTM單元包括輸入門(mén)i(t),遺忘門(mén)f(t),輸出門(mén)o(t)以及兩個(gè)神經(jīng)元狀態(tài)c(t)和h(t)。LSTM神經(jīng)元的前向傳播計(jì)算過(guò)程見(jiàn)式(1)~式(5),其中W和b為相應(yīng)權(quán)重。

在時(shí)間序列分析中,深度學(xué)習(xí)通常由多層LSTM單元來(lái)實(shí)現(xiàn),即每一層的輸出作為下一層的輸入。循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練通過(guò)基于時(shí)間的反向傳播算法實(shí)現(xiàn),包括以下幾步:①前向傳播計(jì)算神經(jīng)網(wǎng)絡(luò)的輸出;②計(jì)算誤差并在深度和時(shí)間兩個(gè)方向上反向傳播至每個(gè)神經(jīng)元;③計(jì)算每個(gè)權(quán)重的梯度;④根據(jù)梯度更新權(quán)重。求解過(guò)程可以由多種梯度最優(yōu)化算法實(shí)現(xiàn),如,隨機(jī)梯度下降 AdaGrad、Adam、RMSProp等。

1.1.2 注意力機(jī)制

針對(duì) LSTM的 Encoder-Decoder(編碼-解碼)框架因中間碼保存的信息量有固定上限,當(dāng)輸入信息量大于中間碼時(shí),導(dǎo)致信息丟失解碼準(zhǔn)確度下降,陶云松等學(xué)者引入注意力機(jī)制用于圖像處理[17],其本質(zhì)是對(duì)感興趣的特征中的每個(gè)特征用 softmax函數(shù)打分。通常注意力機(jī)制的輸入是當(dāng)前狀態(tài)h(t)和側(cè)重關(guān)注的f=(f1,f2,···,fn),輸出是對(duì)n個(gè)特征的softmax打分s= (s1,s2,···,sn),在后續(xù)處理中,使用該打分功能進(jìn)行過(guò)濾[18]。

增加注意力機(jī)制可看成在單獨(dú)的編碼、解碼器框架上,增加了一個(gè)單層RNN,輸出數(shù)據(jù)對(duì)應(yīng)輸入數(shù)據(jù)的注意力權(quán)重,不僅受輸入數(shù)據(jù)的隱藏層決定,還取決于前一個(gè)數(shù)列的隱藏層,通過(guò)softmax獲得概率值,如式(6)~式(8)和圖1所示。

圖1 包含注意力機(jī)制的編碼、解碼框架

首先,單獨(dú)計(jì)算si-1與每個(gè)隱層狀態(tài)h一個(gè)數(shù)值,再通過(guò)softmax獲得i數(shù)據(jù)對(duì)應(yīng)的Tx個(gè)編碼時(shí)隱層狀態(tài)內(nèi)的注意力權(quán)重分配,從而求出ci分配向量權(quán)重。如式(9)~式(11)和圖2所示:

圖2 編碼器解碼器結(jié)構(gòu)圖

1.2 非穩(wěn)態(tài)工況檢測(cè)模型架構(gòu)

根據(jù)液體管道SCADA系統(tǒng)數(shù)據(jù)特點(diǎn),非穩(wěn)態(tài)工況檢測(cè)研究架構(gòu)如圖3所示。

圖3 非穩(wěn)態(tài)工況檢測(cè)模型結(jié)構(gòu)圖

非穩(wěn)態(tài)工況檢測(cè)模型包含兩部分:一是使用一個(gè)基于LSTM的時(shí)間序列預(yù)測(cè)模型學(xué)習(xí)正常數(shù)據(jù)的行為模式,并對(duì)未來(lái)數(shù)據(jù)給出時(shí)間序列預(yù)測(cè);二是通過(guò)建立注意力機(jī)制調(diào)整模型輸出值,對(duì)預(yù)測(cè)數(shù)據(jù)與實(shí)際數(shù)據(jù)的誤差進(jìn)行評(píng)分,給出是否異常的分類(lèi)。基于注意力機(jī)制的LSTM網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示,其具體實(shí)施過(guò)程如下:

圖4 基于注意力機(jī)制的LSTM網(wǎng)絡(luò)結(jié)構(gòu)

首先,LSTM作為時(shí)間序列預(yù)測(cè)模型,使用當(dāng)前時(shí)間的前一時(shí)間點(diǎn)作為輸入值,后一時(shí)間點(diǎn)作為輸出值,輸出層的維度與管道的數(shù)據(jù)集特征維度相符。由于模型用于回歸問(wèn)題的訓(xùn)練,本文使用線(xiàn)性激活函數(shù),并使用MSE作為損失函數(shù)。

其次,使用深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)注意力機(jī)制,利用注意力機(jī)制調(diào)整模型輸出,增強(qiáng)模型應(yīng)對(duì)多種數(shù)據(jù)變化模式的能力。深度神經(jīng)網(wǎng)絡(luò)由3層全連接層構(gòu)成,維度與 LSTM模型的神經(jīng)元輸量一樣,使用 Sigmoid函數(shù)作為激活函數(shù),并使用MLE(極大似然估計(jì)法)作為損失函數(shù)。

最后,模型輸入?yún)?shù)5個(gè)維度,隱藏層100節(jié)點(diǎn)個(gè)數(shù),循環(huán)50次數(shù),學(xué)習(xí)率0.001。

工況檢測(cè)模型的訓(xùn)練基于如下假設(shè):一是利用穩(wěn)態(tài)運(yùn)行數(shù)據(jù)訓(xùn)練的LSTM模型,模型工況檢測(cè)時(shí),在工況數(shù)據(jù)區(qū)間上給出的預(yù)測(cè)誤差應(yīng)比正常數(shù)據(jù)上的誤差更大,從而可使用平均對(duì)數(shù)誤差對(duì)預(yù)測(cè)誤差進(jìn)行評(píng)估,指導(dǎo)調(diào)整 LSTM輸出結(jié)果;二是模型的預(yù)測(cè)誤差符合高斯分布。

1.2.1 算法步驟

將樣本數(shù)據(jù)分為四組進(jìn)行訓(xùn)練和驗(yàn)證:①訓(xùn)練集N,僅包含正常數(shù)據(jù);②驗(yàn)證集VN,僅包含正常數(shù)據(jù);③驗(yàn)證集VA,同時(shí)包含正常與異常數(shù)據(jù);④測(cè)試集T,同時(shí)包含正常與異常數(shù)據(jù)。

(1)N被用來(lái)訓(xùn)練檢測(cè)模型;

(2)使用驗(yàn)證集VN防止訓(xùn)練早期出現(xiàn)模型的過(guò)擬合;

(3)對(duì)N上的預(yù)測(cè)誤差使用注意力機(jī)制進(jìn)行訓(xùn)練,并使用MLE對(duì)誤差進(jìn)行評(píng)估;

(4)對(duì)檢測(cè)模型的預(yù)測(cè)結(jié)果在VA上再次進(jìn)行訓(xùn)練,并更新注意力機(jī)制的權(quán)重;

(5)根據(jù)模型的輸出結(jié)果設(shè)定非穩(wěn)態(tài)工況閾值,對(duì)輸出進(jìn)行二值化處理;

(6)使用測(cè)試集T估計(jì)模型的效果。

在算法中,使用 Adam優(yōu)化器對(duì)模型超參數(shù)進(jìn)行訓(xùn)練,并根據(jù)模型效果對(duì)訓(xùn)練集的大小與窗口進(jìn)行調(diào)整與優(yōu)化。

1.2.2 MLE估計(jì)非穩(wěn)態(tài)工況得分

假設(shè)時(shí)刻ti非穩(wěn)態(tài)工況得分pi隨重建誤差ei呈高斯分布[19],即p~N(μ,Σ)利用 MLE 在數(shù)據(jù)集NV1上對(duì)參數(shù)μ,Σ進(jìn)行估計(jì)。MLE參數(shù)估計(jì)步驟如下:

1.2.3 非穩(wěn)態(tài)工況判定

式中:Y——決策值;x——特征值。對(duì)于常見(jiàn)二分類(lèi),邏輯回歸通過(guò)一個(gè)區(qū)間分布進(jìn)行劃分,即:如果Y值大于等于0.5,則屬于正樣本,如果Y值小于0.5,則屬于負(fù)樣本。判別函數(shù)如下:

建立模型的目標(biāo)是保證各類(lèi)工況的檢測(cè)率,同時(shí)盡量篩選出更多的穩(wěn)態(tài)工況數(shù)據(jù),即在其他工況召回率100%的情況下,盡量提高正常運(yùn)行數(shù)據(jù)的召回率。

1.3 實(shí)驗(yàn)過(guò)程

1.3.1 數(shù)據(jù)準(zhǔn)備

本文使用SL原油管道SCADA系統(tǒng)實(shí)際生產(chǎn)數(shù)據(jù)作為模型訓(xùn)練驗(yàn)證樣本,數(shù)據(jù)點(diǎn)包括各個(gè)站場(chǎng)重點(diǎn)監(jiān)控的變量,包括各站的進(jìn)出站壓力、流量以及主泵匯管的進(jìn)出壓力,管道站場(chǎng)設(shè)置及數(shù)據(jù)采集點(diǎn)如表1所示。各管道數(shù)據(jù)采集自2018年2月至11月,選取記錄兩個(gè)管道操作較少的時(shí)間段:5:00—6:00和19:00—20:00,每次持續(xù)1 h,采樣頻率為1 s,由業(yè)務(wù)人員對(duì)數(shù)據(jù)進(jìn)行梳理,剔除異常值及穩(wěn)態(tài)工況值,提升數(shù)據(jù)的質(zhì)量。

表1 SL原油管道站場(chǎng)參數(shù)及數(shù)據(jù)采集點(diǎn)

1.3.2 數(shù)據(jù)預(yù)處理

由于采集數(shù)據(jù)的分布隨時(shí)間差異較大,首先進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化。具體過(guò)程為,將各變量映射至零均值、單位標(biāo)準(zhǔn)差的分布上,計(jì)算公式如下:

式中:μ和σ取樣本x當(dāng)月及所在晝夜對(duì)應(yīng)樣本集的均值和標(biāo)準(zhǔn)差。通過(guò)此標(biāo)準(zhǔn)化過(guò)程,保證數(shù)據(jù)分布在不同時(shí)間段大體相似。

1.3.3 模型評(píng)價(jià)標(biāo)準(zhǔn)

本文采用Recall(召回率)作為模型性能評(píng)價(jià)指標(biāo),表示的是樣本中的正例有多少被預(yù)測(cè)正確,即:使用所有樣本數(shù)據(jù)作為分母,檢索到的作為分子,計(jì)算公式如式(20)。利用Accuracy(準(zhǔn)確率)表示預(yù)測(cè)結(jié)果的準(zhǔn)確度,針對(duì)預(yù)測(cè)結(jié)果而言的,表示預(yù)測(cè)為正的樣本中有多少是真正的正樣本,計(jì)算公式如式(21):

式中:TP——正類(lèi)預(yù)測(cè)為正類(lèi)數(shù)目;FP——負(fù)類(lèi)預(yù)測(cè)為正類(lèi)數(shù)目;TN——負(fù)類(lèi)預(yù)測(cè)為負(fù)類(lèi)數(shù)目;FN——正類(lèi)預(yù)測(cè)為負(fù)類(lèi)數(shù)目。使用分析速度作為模型效率評(píng)價(jià)指標(biāo),反映若模型在部署至真實(shí)環(huán)境下時(shí)所需的系統(tǒng)資源開(kāi)銷(xiāo)以及可能帶來(lái)的延遲。

2 結(jié)果和討論

2.1 模型測(cè)試分析

使用實(shí)際生產(chǎn)數(shù)據(jù)驗(yàn)證預(yù)測(cè)模型,并與RNN、one-class SVM與IF(孤立森林)等在機(jī)器學(xué)習(xí)領(lǐng)域常用的非穩(wěn)態(tài)工況檢測(cè)模型進(jìn)行對(duì)照實(shí)驗(yàn)。各模型均使用表1的數(shù)據(jù)進(jìn)行訓(xùn)練,選擇使用SL原油管道在2019年6月的生產(chǎn)運(yùn)行數(shù)據(jù)進(jìn)行測(cè)試。測(cè)試結(jié)果如表2所示,其包括下載燃料油、切罐及甩泵等工況數(shù)據(jù),實(shí)現(xiàn)管道壓力快速劇烈變化和較小變化的捕捉,通過(guò)下載燃料油模擬管道泄漏工況,利用模型將不同工況非穩(wěn)態(tài)的水力特點(diǎn)與正常工況進(jìn)行識(shí)別區(qū)分,實(shí)現(xiàn)壓力的異常檢測(cè)。

表2 模型對(duì)比分析

由表2可知,RNN與one-class SVM兩種模型對(duì)下載燃料油的預(yù)測(cè)誤差較大,切罐和甩泵的準(zhǔn)確率和召回率均較好,說(shuō)明RNN和one-class SVM對(duì)于穩(wěn)態(tài)工況數(shù)據(jù)的學(xué)習(xí)效果較好。但對(duì)于下載燃料油工況這兩種模型的準(zhǔn)確率較低,實(shí)驗(yàn)過(guò)程中嘗試多種窗口和批量大小,仍然無(wú)法改變兩種模型對(duì)下載燃油工況的判斷精度,經(jīng)分析主要原因可能在于下載燃料油的持續(xù)時(shí)間過(guò)長(zhǎng),以及壓力、流量變化相對(duì)平緩,導(dǎo)致無(wú)法將下載燃料油工況的開(kāi)始階段與正常運(yùn)行數(shù)據(jù)有效區(qū)分。Isolation Forest對(duì)工況檢測(cè)的檢測(cè)精度最低,無(wú)法實(shí)際應(yīng)用。

相比其他模型,基于注意力機(jī)制的 LSTM模型不僅能夠更好地記憶穩(wěn)態(tài)工況的狀態(tài)與模式,還不受長(zhǎng)時(shí)間工況與復(fù)雜變化的影響,模型對(duì)數(shù)據(jù)的變化狀態(tài)與正常工況進(jìn)行比較和計(jì)算,最終達(dá)到準(zhǔn)確率100%的效果。

2.2 模型實(shí)際應(yīng)用

利用構(gòu)建的工況檢測(cè)模型,識(shí)別SL原油管道甩泵、下載燃料油工況,其工況趨勢(shì)圖和預(yù)測(cè)偏差,如圖5、圖6所示。

圖5 SL管道2#泵站甩泵工況

圖6 SL管道2#泵站下載燃料油工況

由圖5、圖6可知,將基于注意力機(jī)制的LSTM工況檢測(cè)模型用于實(shí)際工況檢測(cè),通過(guò)設(shè)定實(shí)際值與模型預(yù)測(cè)值的偏差閾值(本實(shí)驗(yàn)的閾值為0.03 MPa),可實(shí)現(xiàn)工況的實(shí)時(shí)準(zhǔn)確檢測(cè)。

3 結(jié)論

根據(jù)原油管道工況發(fā)生后的數(shù)據(jù)特點(diǎn),提出了利用 LSTM神經(jīng)網(wǎng)絡(luò)對(duì)參數(shù)重建的工況檢測(cè)方法。針對(duì) LSTM神經(jīng)網(wǎng)絡(luò)在輸入信息量大于中間碼時(shí),導(dǎo)致信息丟失解碼準(zhǔn)確度下降等問(wèn)題,提出了利用注意力機(jī)制提高模型準(zhǔn)確性的方法。使用LSTM神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)管道的未來(lái)數(shù)據(jù),利用注意力機(jī)制調(diào)整模型輸出值,對(duì)預(yù)測(cè)數(shù)據(jù)與實(shí)際數(shù)據(jù)的誤差進(jìn)行MLE評(píng)分,設(shè)定評(píng)分閾值,利用二分法區(qū)分閾值實(shí)現(xiàn)工況的實(shí)時(shí)檢測(cè),最終研究建立了基于注意力機(jī)制的LSTM工況檢測(cè)模型。

基于注意力機(jī)制的 LSTM網(wǎng)絡(luò)結(jié)構(gòu)既保證了穩(wěn)態(tài)工況的數(shù)據(jù)可以長(zhǎng)時(shí)間不受復(fù)雜變化的影響,同時(shí)還可以有效的對(duì)非穩(wěn)態(tài)工況數(shù)據(jù)進(jìn)行比較計(jì)算,提升預(yù)測(cè)準(zhǔn)確率。

非穩(wěn)態(tài)工況檢測(cè)模型實(shí)現(xiàn)了穩(wěn)態(tài)工況和非穩(wěn)態(tài)工況的有效區(qū)分,模型的準(zhǔn)確應(yīng)用是工況智能識(shí)別的研究前提,其可有效降低工況智能識(shí)別模型的系統(tǒng)資源開(kāi)銷(xiāo),提高模型運(yùn)行效率。

猜你喜歡
穩(wěn)態(tài)注意力工況
可變速抽水蓄能機(jī)組穩(wěn)態(tài)運(yùn)行特性研究
熱網(wǎng)異常工況的辨識(shí)
煤氣與熱力(2022年4期)2022-05-23 12:44:44
讓注意力“飛”回來(lái)
碳化硅復(fù)合包殼穩(wěn)態(tài)應(yīng)力與失效概率分析
電廠熱力系統(tǒng)穩(wěn)態(tài)仿真軟件開(kāi)發(fā)
煤氣與熱力(2021年4期)2021-06-09 06:16:54
不同工況下噴水推進(jìn)泵內(nèi)流性能研究
基于非負(fù)矩陣分解的高速列車(chē)走行部工況識(shí)別
元中期歷史劇對(duì)社會(huì)穩(wěn)態(tài)的皈依與維護(hù)
中華戲曲(2020年1期)2020-02-12 02:28:18
“揚(yáng)眼”APP:讓注意力“變現(xiàn)”
A Beautiful Way Of Looking At Things
404 Not Found

404 Not Found


nginx
嘉荫县| 定兴县| 鄯善县| 青铜峡市| 安仁县| 宝清县| 河西区| 和平区| 成都市| 贵港市| 安乡县| 怀柔区| 汶川县| 和平区| 海门市| 五莲县| 福建省| 绩溪县| 乌拉特中旗| 江油市| 新兴县| 双牌县| 施甸县| 唐河县| 湖北省| 大同县| 黔东| 宜川县| 蕉岭县| 长宁区| 台东县| 绥江县| 湖州市| 墨脱县| 依安县| 大冶市| 若尔盖县| 太和县| 邓州市| 江都市| 西华县|