王瓏憲, 趙文杰

(華北電力大學(xué) 控制與計(jì)算機(jī)工程學(xué)院，河北 保定 071003)

1 引 言

電廠燃煤鍋爐燃燒產(chǎn)生的氮氧化物對環(huán)境有較大危害[1]?，F(xiàn)有的煙氣在線監(jiān)測系統(tǒng)存在測量滯后,從而導(dǎo)致選擇性催化還原技術(shù)(selective catalytic reduction,SCR)脫硝系統(tǒng)噴氨控制效果不理想,因此需對鍋爐NOx濃度進(jìn)行在線預(yù)估。

由于電廠燃燒過程復(fù)雜,存在著大量的干擾變量,難以采用機(jī)理方法建立準(zhǔn)確的NOx排放模型。隨著機(jī)器學(xué)習(xí)的發(fā)展,越來越多的基于數(shù)據(jù)驅(qū)動(dòng)的建模方法被提出,李忠鵬使用誤差反向傳播(back propagation,BP)神經(jīng)網(wǎng)絡(luò)進(jìn)行NOx排放濃度建模并使用粒子群算法對BP網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化[2];牛培峰使用極限學(xué)習(xí)機(jī)算法建立了NOx濃度預(yù)估模型[3];張京使用相關(guān)向量機(jī)對鍋爐NOx進(jìn)行建模并引入萬有引力優(yōu)化模型參數(shù)[4];Hao Z等使用支持向量機(jī)建模并使用粒子群優(yōu)化算法對一次風(fēng)速和二次風(fēng)速進(jìn)行調(diào)節(jié)降低了NOx排放量[5];顧艷萍對電站鍋爐NOx濃度建立了最小二乘支持向量機(jī)的模型[6];王廣龍采用最小二乘支持向量機(jī)建模并使用遺傳算法對其超參數(shù)進(jìn)行尋優(yōu)[7];Zhai Y等使用構(gòu)建了遺忘因子的最小二乘支持向量機(jī)建立了電站NOx濃度模型[8]。雖然傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)在相關(guān)領(lǐng)域內(nèi)被廣泛使用,但是由于其結(jié)構(gòu)問題,容易導(dǎo)致局部收斂。

基于此,長短期記憶網(wǎng)絡(luò)(long short-term memory, LSTM)被提出,其特有的3個(gè)“門”結(jié)構(gòu)可以自動(dòng)獲取輸入與輸出數(shù)據(jù)之間的關(guān)聯(lián)性,對于處理時(shí)序數(shù)據(jù)有著天然的優(yōu)勢。其中遺忘門和記憶門分別負(fù)責(zé)遺忘和記憶部分信息,輸出門則是最終的網(wǎng)絡(luò)輸出,該網(wǎng)絡(luò)解決了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)梯度傳播過程中的梯度消失問題,有效緩解了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)容易局部收斂的問題。楊國田采用LSTM網(wǎng)絡(luò)建立了NOx預(yù)估模型[9];楊蓉采用遺傳算法優(yōu)化了LSTM網(wǎng)絡(luò)的參數(shù),提高了模型的預(yù)測能力[10]。

除了建模方法,特征選擇也會(huì)影響模型的預(yù)測能力。特征選擇常見的方法有過濾式(filter)、封裝式(wrapper)和嵌入式(embedded)3種[11]。其中過濾式方法與后續(xù)學(xué)習(xí)器之間獨(dú)立,運(yùn)算速度快,適用于大規(guī)模數(shù)據(jù)集。該方法使用特定的相關(guān)度量手段選出與輸出相關(guān)性大的特征并剔除冗余特征,李京采用互信息(mutual information,MI)篩選輔助變量,提高了模型精度[12]。李梓瑞采用最大相關(guān)最小冗余(max-relevance and min-redundancy,MRMR)算法對火焰識別的特征進(jìn)行降維提高了模型精度[13]。上述方法均屬于過濾式算法,即只考慮了輸入,并未考慮后續(xù)學(xué)習(xí)器的影響。由于電站數(shù)據(jù)量龐大,使用過濾式特征選擇算法不僅可以節(jié)省運(yùn)算時(shí)間,且其與后續(xù)學(xué)習(xí)器無關(guān),可以更好地檢驗(yàn)算法的有效性。

本文提出基于互信息(MI)與長短期記憶網(wǎng)絡(luò)(LSTM)相結(jié)合的NOx預(yù)估模型。考慮到電站燃煤系統(tǒng)各變量存在非線性、變量間相互耦合等問題,首先利用互信息算法計(jì)算出輸入變量與輸出變量的延遲時(shí)間,確保了輸入數(shù)據(jù)的時(shí)序準(zhǔn)確性;其次采用MRMR算法對輸入變量進(jìn)行選擇得到最優(yōu)特征子集,解決了輸入變量間存在冗余性的問題;最后將最優(yōu)特征子集作為LSTM模型的輸入,采用某電廠的運(yùn)行數(shù)據(jù)進(jìn)行了模型仿真,仿真結(jié)果表明,所建MI-MRMR-LSTM模型能夠有效提高鍋爐NOx排放濃度的預(yù)測精度。

2 模型輸入變量的選擇方法

2.1 基于互信息的時(shí)延估計(jì)

鍋爐的燃燒過程十分復(fù)雜,影響鍋爐產(chǎn)生NOx的原因也有很多[14]。煤粉燃燒過程如圖1所示。

圖1 煤粉燃燒過程Fig.1 Pulverized coal combustion process

根據(jù)電站鍋爐燃燒的機(jī)理分析可知[15],負(fù)荷、總風(fēng)量、氧量、總一次風(fēng)、總二次風(fēng)、各個(gè)磨煤機(jī)煤量及其一次風(fēng)量、一次風(fēng)煤比、二次風(fēng)煤比、燃盡風(fēng)門開度、總?cè)剂狭康榷紩?huì)影響鍋爐NOx的生成量。因此,將上述影響因素作為模型的初選輸入變量。

根據(jù)NOx生成機(jī)理分析可知,NOx濃度與各初選輸入變量間存在測量的滯后,且考慮到鍋爐燃燒過程的非線性、耦合性等因素,為保證輸入數(shù)據(jù)的時(shí)序準(zhǔn)確性,采用互信息方法計(jì)算兩個(gè)變量間的關(guān)聯(lián)度,并進(jìn)行時(shí)延估計(jì)。

互信息是信息論里常見的信息度量方法[16],可以描述兩個(gè)變量之間的關(guān)聯(lián)度,且該方法不受其是否為線性的影響。兩個(gè)變量的互信息公式如下:

(1)

當(dāng)X,Y相互獨(dú)立時(shí),p(x,y)=p(x)p(y),I(X;Y)=0。其中,p(x,y)為變量x和變量y的聯(lián)合分布;p(x),p(y)為邊緣分布;互信息I(X;Y)是聯(lián)合分布p(x,y)和p(x)p(y)的相對熵。

使用互信息計(jì)算NOx濃度與初選輸入變量的延遲時(shí)間[17]。延遲時(shí)間分析描述如下:將上述初選輸入變量:負(fù)荷、總風(fēng)量、氧量、總一次風(fēng)、總二次風(fēng)、各個(gè)磨煤機(jī)煤量及其一次風(fēng)量、一次風(fēng)煤比、二次風(fēng)煤比、燃盡風(fēng)門開度、總?cè)剂狭慷x為X={X1(t),X2(t),…,X20(t)},NOx濃度為輸出變量Y=Y(t),t為取值時(shí)間,每個(gè)候選變量與NOx濃度的時(shí)延都是不同的,針對每個(gè)變量Xi(t),i∈[1,20]進(jìn)行相空間重構(gòu)。

對Xi(t),i∈[1,20],嵌入時(shí)間延遲τ,τ=(τ1,τ2,…,τd),τ值的大小和范圍由采樣周期和鍋爐燃燒流程確定,得到該變量嵌入時(shí)間遲延后的向量為:

Xi={Xi(t-τ1),Xi(t-τ2),…,Xi(t-τd)}

(2)

根據(jù)式(1)、式(2)計(jì)算嵌入時(shí)間遲延后的各候選輸入變量與輸出變量的互信息值:

I(Xi(t-τh);Y),τh∈τ

(3)

取式(3)值最大時(shí)的τ值,其對應(yīng)的時(shí)間即是該候選輸入變量的遲延時(shí)間。將候選輸入變量與輸出變量進(jìn)行時(shí)間序列匹配,假設(shè)當(dāng)式(3)值最大時(shí)的τ為τh,進(jìn)行時(shí)序匹配即Xi(t-τh)=Di。

定義匹配后的候選輸入變量集為D={D1,D2,…,D20}。

2.2 基于MRMR算法的輸入變量選擇

經(jīng)第2.1節(jié)分析得到考慮純遲延后的輸入變量集D={D1,D2,…,D20},將該變量集作為MRMR算法的輸入變量篩選出模型的最終輸入變量。

MRMR算法[18]是一種既能使特征變量和目標(biāo)變量之間相關(guān)性最大,又保證了特征變量間冗余性最小的過濾式特征選擇算法。變量間的關(guān)聯(lián)度采用互信息公式計(jì)算。

傳統(tǒng)MRMR算法需要預(yù)設(shè)待選變量,待選變量數(shù)目的選取會(huì)影響模型預(yù)測精度。在傳統(tǒng)的MRMR算法(步驟1～步驟5)的基礎(chǔ)上引入了相關(guān)性判斷(步驟6)作為變量選擇的條件以解決MRMR算法需要預(yù)設(shè)待選變量數(shù)的問題。

步驟1:定義fi是由m個(gè)樣本組成的特征向量,fi=[f(i,1),f(i,2),…,f(i,m)]T,通過式(1)計(jì)算I(fi;fj)得出候選特征之間的相關(guān)性,其中i,j∈[1,n],n為特征向量的數(shù)量。

步驟2:定義為輸出類別,通過式(1)計(jì)算I(fi;O)得出特征與輸出類別之間的相關(guān)性。

步驟3:使用最大相關(guān)性公式maxDc(S;O),選出與類別O關(guān)系最密切的特征。其中:

(4)

式中:|S|為特征子集S的特征數(shù)量。

步驟4:選出|S|個(gè)特征后,使用最小冗余公式minR(S),去除S中的冗余向量,其中:

(5)

步驟5:綜合上述式(4)、式(5),MRMR算法的計(jì)算公式為:maxθ(Dc;R),其中:

θ=Dc-R

(6)

上述方程可通過逐漸增加單個(gè)變量來求解,式(7)為MRMR算法的評價(jià)函數(shù)。

(7)

其中集合F為全部特征集,SN-1為已經(jīng)選出的N-1個(gè)特征的特征集,下一步需要在{F-SN-1}特征集合中選取第N個(gè)特征,使式(6)中的θ(·)最大。也即通過式(7)最大化單變量相關(guān)性和冗余度的差值來確定添加的第N個(gè)特征。

步驟6:引入相關(guān)性判斷作為變量選擇的條件;變量的相關(guān)性可通過式(8)判斷。

I(fi;O)<δ×I(O;O)

(8)

式(8)中δ為相關(guān)性閾值;δ∈[0,1],若I(fi;O)<δ×I(O;O),則認(rèn)為該變量不包含類別O的信息,將其判定為不相關(guān)變量。

圖2為改進(jìn)的MRMR算法流程圖。

圖2 改進(jìn)的MRMR算法Fig.2 Improved MRMR algorithm

圖3 LSTM網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 LSTM network structure

篩選變量具體流程:

1)計(jì)算全部的特征與輸出類別的互信息并按照互信息值大小排序

2)選取互信息最大的特征作為第一個(gè)變量加入集合S。

3)通過式(8)判斷是否結(jié)束選取,若不滿足則繼續(xù)尋找下一個(gè)特征,若滿足條件則輸出集合S。

4)尋找在{F-S}中使評價(jià)函數(shù)式(7)最大的特征加入集合S。

5)重復(fù)第3)～4)步。

3 MI-MRMR-LSTM模型

3.1 LSTM模型

經(jīng)第2.2節(jié)MRMR算法選擇后的變量作為LSTM模型的輸入變量。

LSTM網(wǎng)絡(luò)是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN),能捕捉數(shù)據(jù)中的長期依賴關(guān)系[19]。標(biāo)準(zhǔn)的RNN網(wǎng)絡(luò)雖然建立了不同時(shí)刻隱藏層之間的關(guān)系,但由于其內(nèi)部結(jié)構(gòu)單一,在處理長時(shí)間序列問題時(shí)效果并不理想。與標(biāo)準(zhǔn)的RNN相比,LSTM不僅有對短期記憶ht的敏感特性[20],又有專門保存長期信息的單元狀態(tài)ct。

LSTM結(jié)構(gòu)如下圖所示:下圖中每層LSTM的輸入有3個(gè),分別為:t時(shí)刻的網(wǎng)絡(luò)輸入值xt,t-1時(shí)刻的LSTM輸出層ht-1,t-1時(shí)刻的單元狀態(tài)ct-1;輸出有兩個(gè),分別為:t時(shí)刻LSTM的輸出ht,t時(shí)刻單元狀態(tài)ct。

LSTM網(wǎng)絡(luò)的計(jì)算公式如下:

ft=σ(wf[xt,ht-1]+bf)

(9)

it=σ(wi[xt,ht-1]+bi)

(10)

(11)

ot=σ(wo[xt,ht-1]+bo)

(12)

(13)

ht=ottanh(ct)

(14)

其中,在t時(shí)刻下:式(9)為遺忘門,負(fù)責(zé)遺忘部分信息,有助于獲取時(shí)間序列短期的關(guān)系。式(10)和式(11)為記憶門,負(fù)責(zé)記憶部分信息,有助于獲取時(shí)間序列長期的關(guān)系。式(13)為細(xì)胞狀態(tài)的更新。式(12)和式(14)為輸出門的公式,w和b代表各個(gè)門的權(quán)重系數(shù)和偏置。

3.2 MI-MRMR-LSTM預(yù)測模型

基于MI-MRMR-LSTM預(yù)測模型的構(gòu)建主要分為4部分,分別是通過電站燃燒的機(jī)理分析初步確定候選輸入變量、候選輸入變量與輸出變量NOx濃度之間時(shí)延關(guān)系的確定、在候選輸入變量中確定最佳輸入變量與LSTM模型的構(gòu)建。

對基于MI-MRMR-LSTM模型的電站NOx濃度預(yù)估算法進(jìn)行具體描述如下:

1)通過機(jī)理分析初步篩選與鍋爐出口NOx有關(guān)的變量作為候選輸入變量。將候選輸入變量定義為X={X1(t),X2(t),…,X20(t)},NOx濃度為輸出變量Y。

2)對每個(gè)變量Xi(t),i∈[1,20]進(jìn)行相空間重構(gòu)得到式(2),根據(jù)式(1)、式(2)、式(3)將每個(gè)候選輸入變量Xi(t),i∈[1,20]與輸出變量Y進(jìn)行時(shí)序匹配,得到匹配后的候選輸入變量集D={D1,D2,…,D20}。

3)將新的候選變量集合D={D1,D2,…,D20}作為MRMR算法的輸入,得到最優(yōu)特征子集。

4)將輸入傳遞給LSTM模型進(jìn)行預(yù)測。

4 NOx排放濃度預(yù)測實(shí)驗(yàn)設(shè)計(jì)

以某電廠350 MW機(jī)組作為研究對象。該機(jī)組采用的是一次中間再熱、超臨界壓力變壓運(yùn)行直流鍋爐,每臺鍋爐配備5臺磨煤機(jī),4運(yùn)1備。

通過2.1節(jié)分析選取負(fù)荷、總風(fēng)量、氧量、總一次風(fēng)、總二次風(fēng)等共20維變量作為候選輸入變量,輸出變量為鍋爐出口NOx濃度。原始數(shù)據(jù)為6 000組,采樣周期為10 s。

4.1 時(shí)延計(jì)算結(jié)果

根據(jù)鍋爐燃燒機(jī)理分析將最大時(shí)延τd設(shè)置為600 s,故τ=(10,20,…,600)。

根據(jù)式(2)、式(3)計(jì)算得到各候選變量遲延時(shí)間如表1所示。

表1 各候選變量的遲延時(shí)間Tab.1 The delay time of each candidate variable

4.2 輸入變量選擇結(jié)果

將新的候選輸入變量集D={D1,D2,…,D20}作為MRMR算法的輸入,Y作為輸出響應(yīng)變量,設(shè)定相關(guān)性閾值δ為0.1。選出的變量結(jié)果如表2所示。

表2 所選輸入變量集Tab.2 Set of selected input variables

MRMR算法目的是保證已選變量與響應(yīng)變量Y之間相關(guān)性較大,且已選變量之間相關(guān)性較低。圖4 和圖5可以更直觀地展示算法的可行性。已選變量和響應(yīng)變量之間的互信息如圖4所示。

圖4 已選變量和響應(yīng)變量之間的互信息Fig.4 Mutual information between selected and response variables

圖5 已選變量之間的互信息Fig.5 Mutual information between selected variables

已選變量之間的互信息如圖5所示。

通過圖4可以看出已選變量和響應(yīng)變量之間的互信息較高,通過相關(guān)性判斷(式(8))可知已選變量與響應(yīng)變量之間具有相關(guān)性。通過圖5可以看出已選變量間的互信息較低,通過相關(guān)性判斷(式(8))可知已選變量間不具備相關(guān)性,進(jìn)一步說明了MRMR算法的可行性。

4.3 NOx預(yù)估模型的建立

為了方便衡量不同情況下預(yù)測的效果,本文采用平均絕對誤差(MAE)和均方根誤差(RMSE)作為模型評價(jià)指標(biāo)。

其公式如下:

(15)

(16)

由于變量的重構(gòu),引入了純遲延,經(jīng)第4.1節(jié)計(jì)算遲延可知,延遲時(shí)間最大的變量為總?cè)剂狭亢透鱾€(gè)磨煤機(jī)給煤量,時(shí)長為200 s,建模的實(shí)驗(yàn)數(shù)據(jù)需從原始數(shù)據(jù)的第21組開始,共5 980組數(shù)據(jù),前5 480組作為訓(xùn)練,后500組數(shù)據(jù)作為測試。LSTM網(wǎng)絡(luò)參數(shù)保持一致:最小訓(xùn)練批次為64,初始學(xué)習(xí)率為0.005,隱含層數(shù)為2,隱含層節(jié)點(diǎn)數(shù)為64,設(shè)置最大訓(xùn)練輪數(shù)為300。

為驗(yàn)證本文方法的有效性,將原始數(shù)據(jù)建模的模型(LSTM)、基于互信息時(shí)延估計(jì)的模型(MI-LSTM)、基于互信息時(shí)延估計(jì)的MRMR算法變量選擇的模型(MI-MRMR-LSTM)共3個(gè)模型作對比。

建立以上3個(gè)燃煤鍋爐NOx排放模型,測試集結(jié)果如圖6所示。

圖6 模型測試結(jié)果Fig.6 Model test results

由圖6可知,經(jīng)過時(shí)延估計(jì)建立的NOx濃度預(yù)估模型MI-LSTM,MI-MRMR-LSTM,與未經(jīng)時(shí)延估計(jì)建立的NOx濃度預(yù)估LSTM模型相比,其預(yù)測結(jié)果更貼近實(shí)際值,可以更好地反應(yīng)出NOx濃度的變化趨勢,說明時(shí)延估計(jì)對模型精度有較大影響。

分析圖6放大窗口可知,在區(qū)間450～500,MI-LSTM和LSTM模型均未跟蹤真實(shí)值,而MI-MRMR-LSTM模型相比之下快速的跟蹤了真實(shí)值,能更好地反映出NOx濃度的變化趨勢。

由表3得知,通過比較進(jìn)行時(shí)延估計(jì)的兩種建模方法,MI-MRMR-LSTM的模型精度要好于MI-LSTM,進(jìn)一步說明改進(jìn)的MRMR算法選出變量后的建模方法較未經(jīng)變量選擇的建模方法效果要好。說明本文通過改進(jìn)MRMR算法篩選出的輸入變量具有更高的精度,泛化能力更強(qiáng)。

表3 不同模型測試集誤差Tab.3 Test set error of different models

5 結(jié) 論

由于電站燃煤鍋爐的NOx測量儀器存在著一定時(shí)間的滯后,針對此種情況對NOx進(jìn)行在線預(yù)估,本文針對各個(gè)輔助變量時(shí)間滯后的情況,首先采用互信息計(jì)算候選變量的時(shí)延,其次引用相關(guān)性判斷準(zhǔn)則改進(jìn)傳統(tǒng)的MRMR算法,然后將引入時(shí)延后的候選變量采用改進(jìn)的MRMR特征選擇方法得到最優(yōu)特征子集,提高了模型精度,避免了盲目的選擇變量,將最優(yōu)特征子集作為LSTM模型輸入建立了燃煤電廠NOx的預(yù)估模型。仿真結(jié)果表明,MI-MRMR-LSTM模型預(yù)測精度高于LSTM模模型和MI-LSTM模型,準(zhǔn)確的預(yù)測鍋爐NOx出口濃度可以為電廠脫硝控制奠定基礎(chǔ)。