楊國田, 王英男, 李新利, 劉 凱
(華北電力大學(xué) 控制與計(jì)算機(jī)工程學(xué)院, 北京 102206)
燃煤過程中產(chǎn)生的NOx是大氣污染物的重要來源,嚴(yán)重影響人類健康和空氣質(zhì)量。2011年,環(huán)保部頒布了新的污染物排放標(biāo)準(zhǔn),要求燃煤鍋爐NOx排放不超過100 mg /m3[1]。隨著NOx排放標(biāo)準(zhǔn)的提高與排放量限制線的降低,對NOx的實(shí)時(shí)監(jiān)測與控制成為了評價(jià)火電機(jī)組的清潔生產(chǎn)的重要指標(biāo)。但現(xiàn)有的測量設(shè)備難以滿足實(shí)時(shí)測量的要求,監(jiān)控難度大[2]。因而,建立高精度實(shí)時(shí)預(yù)測的NOx排放模型,實(shí)現(xiàn)對NOx排放的快速、有效監(jiān)測十分必要。
燃煤鍋爐NOx的生成機(jī)制非常復(fù)雜,受燃煤特性、爐內(nèi)溫度和配風(fēng)方式等多種因素的影響,這些變量間相互耦合,難以用簡單的機(jī)理模型描述。因此,多數(shù)研究者通過機(jī)器學(xué)習(xí)算法建立基于熱工過程參數(shù)的NOx排放預(yù)測模型。文獻(xiàn)[3-5]引入了神經(jīng)網(wǎng)絡(luò)(artificial neural network,ANN)建立了電廠鍋爐運(yùn)行數(shù)據(jù)和NOx排放量之間的關(guān)系。文獻(xiàn)[6,7]采用支持向量機(jī)(support vector machine,SVM)對NOx排放進(jìn)行建模,由于支持向量機(jī)具有良好的非線性映射能力,使模型具有較好的預(yù)測性能。J. Smrekar針對燃煤鍋爐NOx排放問題,構(gòu)建了一種基于靜態(tài)ARX的多步預(yù)測模型[8],并通過交叉驗(yàn)證對模型的輸入變量進(jìn)行了篩選,取得了較好的預(yù)測效果。牛培峰等利用極限學(xué)習(xí)機(jī)(Extreme Learning Machine,ELM)建立NOx排放模型[9,10],并結(jié)合優(yōu)化算法,對模型參數(shù)進(jìn)行搜索和優(yōu)化,提高了網(wǎng)絡(luò)的學(xué)習(xí)速度。然而,上述方法只實(shí)現(xiàn)了對NOx預(yù)測的靜態(tài)建模,但在實(shí)際運(yùn)行過程中影響NOx排放的多個(gè)過程參數(shù)與NOx排放測量存在較大的延遲,而且校準(zhǔn)它們之間的準(zhǔn)確對應(yīng)關(guān)系十分困難,因此所建立的NOx排放靜態(tài)預(yù)測模型的精度往往難以滿足要求。同時(shí)在基于機(jī)組歷史運(yùn)行數(shù)據(jù)進(jìn)行NOx排放建模中,選擇影響NOx排放的特征變量至關(guān)重要。由于機(jī)組的歷史運(yùn)行數(shù)據(jù)通常耦合較嚴(yán)重且信息量和變量規(guī)模較大,預(yù)測模型準(zhǔn)確度受選擇特征變量的直接影響。模型的復(fù)雜度和訓(xùn)練的時(shí)間取決于特征變量的數(shù)目,高維的特征變量會(huì)知道導(dǎo)致模型訓(xùn)練時(shí)間增多,結(jié)構(gòu)更復(fù)雜,且更容易引入噪聲,導(dǎo)致模型精度降低;而特征變量少選或漏選將會(huì)導(dǎo)致模型不夠精確,預(yù)測性能隨過程時(shí)變而下降。目前NOx排放預(yù)測特征選擇一般通過分析NOx生成的相關(guān)機(jī)制,選擇合適的特征變量進(jìn)行建模,以減少特征變量的數(shù)目。
伴隨著大數(shù)據(jù)時(shí)代的到來,深度學(xué)習(xí)模型逐漸被應(yīng)用到時(shí)序數(shù)據(jù)的研究中。深度學(xué)習(xí)作為一種基于對數(shù)據(jù)進(jìn)行高度表征的學(xué)習(xí)方法,能夠?qū)斎胄盘?hào)逐層抽象并提取特征,挖掘出更深層次的潛在規(guī)律[11]。長短期記憶(long-short term memory, LSTM)是一種著名的深度學(xué)習(xí)模型。它將時(shí)序的概念引入到網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)中,其內(nèi)部有自循環(huán),允許數(shù)據(jù)在網(wǎng)絡(luò)中循環(huán)流動(dòng),可以保存之前的信息供將來使用,對時(shí)間序列數(shù)據(jù)具有強(qiáng)大的處理能力。近年來,在電力負(fù)荷預(yù)測[12],自然語言處理[13]、機(jī)器翻譯[14]等不同領(lǐng)域中,均利用LSTM模型實(shí)現(xiàn)了良好效果。基于互信息進(jìn)行特征變量選擇是一種新型的變量選擇方法,其中互信息量化并計(jì)算了不同相關(guān)變量之間的關(guān)聯(lián)性,可以在線性空間或者非線性空間中描述變量之間的關(guān)系。本文提出一種基于互信息變量選擇和長短期記憶網(wǎng)絡(luò)的NOx動(dòng)態(tài)預(yù)測算法。首先基于互信息“最小冗余最大相關(guān)”準(zhǔn)則對原始數(shù)據(jù)集進(jìn)行篩選和重要性排序,獲取以互信息值為度量標(biāo)準(zhǔn)的變量集。然后輸入至預(yù)測模型,并采用多層網(wǎng)格搜索對LSTM的參數(shù)進(jìn)行優(yōu)化,建立NOx排放動(dòng)態(tài)預(yù)測模型。最后采用某660 MW超超臨界燃煤機(jī)組歷史數(shù)據(jù)實(shí)現(xiàn)對NOx排放動(dòng)態(tài)預(yù)測模型的驗(yàn)證。
在循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)的基礎(chǔ)上,Schmidhuber和Hochreiter改進(jìn)了神經(jīng)網(wǎng)絡(luò)的時(shí)間遞歸細(xì)胞,解決了RNN使用過程中所產(chǎn)生的梯度消失、梯度爆炸以及缺乏長期記憶能力等問題,并在1997年正式提出長短期記憶(Long Short- Term Memory,LSTM)神經(jīng)網(wǎng)絡(luò),使得循環(huán)神經(jīng)網(wǎng)絡(luò)能夠有效地運(yùn)用于長跨度的時(shí)序信息[15]。
LSTM是一種特殊的RNN。RNN的核心為循環(huán),在信息的傳遞鏈中,經(jīng)過每次循環(huán)時(shí)會(huì)有部分信息仍然被保留在隱含層的神經(jīng)元中,并與新的信息一起作為輸入進(jìn)入下一個(gè)神經(jīng)元。所有 RNN 都是一種具有重復(fù)模塊的鏈?zhǔn)叫问剑琇STM的隱含層重復(fù)模塊A被稱作記憶模塊,如圖1所示。LSTM獨(dú)特的記憶細(xì)胞和門機(jī)制,可以對RNN的序列化輸入進(jìn)行處理,因此有效的避免了RNN在任意時(shí)間長度序列下產(chǎn)生的長期依賴關(guān)系,并解決了RNN進(jìn)行反向誤差傳播算法(Back Propagation Through Time,BPTT)訓(xùn)練過程中回傳殘差使指數(shù)下降所產(chǎn)生的梯度彌散問題。
圖1 LSTM網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of LSTM
LSTM神經(jīng)網(wǎng)絡(luò)控制門包含輸入門(input gate)、遺忘門(forget gate)和輸出門(output gate),其中遺忘門是決定神經(jīng)元之間信息傳遞過程中是否保留的關(guān)鍵部分。每個(gè)門結(jié)構(gòu)都各自配備一個(gè)乘法器,實(shí)現(xiàn)對信息的輸入和輸出以及每個(gè)細(xì)胞的狀態(tài)的控制。LSTM 工作流程如圖1所示,當(dāng)前時(shí)刻的xt和上一時(shí)刻LSTM隱藏狀態(tài)ht-1這兩類信息通過三個(gè)“門”結(jié)構(gòu)輸入到當(dāng)前時(shí)刻的LSTM,每個(gè)“門”的激活狀態(tài)根據(jù)其邏輯函數(shù)對輸入信息的計(jì)算而判斷。經(jīng)過非線性函數(shù)的變換后的輸入門的輸出,疊加上遺忘門處理過的記憶單元狀態(tài),形成新的記憶單元狀態(tài)ct。最終記憶單元狀態(tài)ct通過非線性函數(shù)的運(yùn)算和輸出門的動(dòng)態(tài)控制形成LSTM單元的輸出ht。各變量之間的計(jì)算公式如下:
it=σ(Wixt+Uiht-1+Vict-1+bi)
(1)
ft=σ(Wfxt+Ufht-1+Vfct-1+bf)
(2)
ct=ft·ct-1+it·tanh(Wcxt+Ucht-1+bc)
(3)
ot=σ(Woxt+Uoht-1+VoCt+bo)
(4)
ht=ot·tanh(ct)
(5)
式中:ht表示t時(shí)刻計(jì)算單元的輸出;ct、it、ft、ot分別表示t時(shí)刻LSTM細(xì)胞、輸入門、遺忘門和輸出門的計(jì)算規(guī)則;W、U、V均為參數(shù)矩陣;b為偏置項(xiàng);σ(·)和tanh(·)為激活函數(shù)。
LSTM預(yù)測模型中,涉及到眾多參數(shù),其中學(xué)習(xí)速率、隱含層神經(jīng)元數(shù)目和時(shí)間步長最為關(guān)鍵[16]。為了達(dá)到更好的預(yù)測效果,本文采用網(wǎng)格搜索的方法對模型參數(shù)進(jìn)行尋優(yōu)。網(wǎng)格搜索是一種簡單實(shí)用、容易并行計(jì)算且計(jì)算耗時(shí)可控的優(yōu)化方法[17],能夠很好地滿足任務(wù)需求和實(shí)驗(yàn)要求。
信息熵理論由Shannon在1948年提出,信息熵的提出解決了信息的量化表達(dá)問題?;バ畔?Mutual Information, MI)在信息熵的基礎(chǔ)上進(jìn)一步計(jì)算了兩個(gè)變量之間的信息包含量[18,19]。因此變量之間相關(guān)度的大小可以通過MI值標(biāo)定。
隨機(jī)變量X信息熵的計(jì)算公式為
(6)
式中:H(X)代表X的信息熵,X不同取值下的概率分布為P(X)。
設(shè)離散型隨機(jī)向量(X,Y)的聯(lián)合概率分布為P(X,Y),則(X,Y)的二維聯(lián)合熵定義為
(7)
如果假設(shè)隨機(jī)變量X和Y的邊際分布分別為P(x)和P(y),可定義在已知隨機(jī)變量X的條件下,隨機(jī)變量Y的條件熵H(Y|X)為
(8)
H(X|Y)≤H(X)說明Y中包含了X的某些信息,該部分信息稱為互信息I(X,Y),計(jì)算公式如式(9)所示。
I(X,Y)=H(X)-H(X|Y)
(9)
通常情況下,X、Y的概率分布未知,則互信息如式(10)所示。
(10)
變量的篩選依據(jù)是互信息準(zhǔn)則,即在保證待選特征變量與主導(dǎo)變量之間互信息最大的前提下,同時(shí)期望待選變量與已選變量之間的互信息之和最小。因此,選擇如下評價(jià)函數(shù)
(11)
式中:fi∈F為待選變量;c為主導(dǎo)變量;Sj∈S為已選變量;β為懲罰因子。其值越大,候選變量與已選變量之間的信息冗余性則越需要考慮進(jìn)變量篩選的過程中。
根據(jù)互信息進(jìn)行變量篩選步驟如下:
Step1:選擇輸出變量Y與輸入樣本X=[x1,x2,…xk],k表示輸入變量特征個(gè)數(shù)。
Step2:根據(jù)直方圖概率密度估計(jì)計(jì)算輸出變量Y的概率分布函數(shù)PY(x)。
Step3:根據(jù)直方圖概率密度估計(jì)計(jì)算某特征變量xi的概率分布函數(shù)Pi(x)。
Step4:計(jì)算特征變量xi關(guān)于輸出變量Y的互信息I(xi,Y)。
Step5:重復(fù)步驟3、4,獲得樣本X所有特征變量關(guān)于Y的互信息向量P=[p1(x),p2(x),…pk(x)]。
Step6:計(jì)算所有特征變量關(guān)于輸出變量Y的評價(jià)函數(shù),根據(jù)評價(jià)函數(shù)進(jìn)行變量篩選,獲得變量篩選向量J=[J1(x),J2(x),…Jk(x)],{Ji(x)>Jk(x),i>k}。
為了降低預(yù)測模型復(fù)雜度,提高NOx預(yù)測精度,本文提出基于互信息變量選擇和長短期記憶神經(jīng)網(wǎng)絡(luò)(MI-LSTM)的NOx排放動(dòng)態(tài)預(yù)測模型,如圖2所示。 首先,利用互信息篩選原始特征集,得到以MI值為度量標(biāo)準(zhǔn)的特征序列子集;然后,基于LTSM建立NOx排放模型,使用網(wǎng)格搜索算法確定最優(yōu)超參數(shù)集,以預(yù)測模型的RMSE為指標(biāo),開展前向特征選擇,獲取最優(yōu)特征子集;最后,以最優(yōu)特征子集構(gòu)建LSTM預(yù)測模型,動(dòng)態(tài)預(yù)測NOx排放。
圖2 基于MI-LSTM的NOx排放模型Fig.2 Structure of MI-LSTM model
基于MI-LSTM的NOx排放動(dòng)態(tài)預(yù)測模型建模步驟如圖3所示。
圖3 基于MI-LSTM神經(jīng)網(wǎng)絡(luò)的NOx預(yù)測模型流程圖Fig.3 Prediction flow chart of NOx based on MI-LSTM neural network
本文使用以下3類指標(biāo)衡量模型預(yù)測精度。
平均絕對誤差(Mean Absolute Percentage Error,MAPE)是單個(gè)觀測值與算術(shù)平均值之間偏差的絕對值平均,可以準(zhǔn)確反映實(shí)際預(yù)測誤差的大小。
(12)
皮爾遜相關(guān)系數(shù)(Pearson Correlation Coefficient,R)是用來描述兩組數(shù)據(jù)一同變化移動(dòng)的趨勢。
(13)
標(biāo)準(zhǔn)誤差(Root Mean Square Error,RMSE),也稱為均方根誤差,它對預(yù)測數(shù)據(jù)中的特大或特小誤差反映非常敏感,因此能夠很好地反映預(yù)測的精確度。
(14)
本文研究的對象是河南某燃煤電廠660 MW機(jī)組,鍋爐為DG2060/26.15-Ⅱ2型超超臨界參數(shù)變壓運(yùn)行直流爐。鍋爐燃燒方式為前后墻對沖燃燒,共布置6層燃燒器(前后墻各3層),每層各有6只旋流燃燒器,前墻從下往上依次為A、B、C層,后墻從下往上依次為D、E、F層,每臺(tái)中速磨煤機(jī)為同層的6只煤粉燃燒器提供風(fēng)粉混合物。同時(shí)各布置1層燃盡風(fēng)在前、后墻旋流煤粉燃燒器上方,其中每層6只燃盡風(fēng)(AAP)噴口、2只側(cè)燃盡風(fēng)(SAP)噴口。
從電廠監(jiān)控信息系統(tǒng)((supervisory information system,SIS))中采集歷史數(shù)據(jù)進(jìn)行挖掘與預(yù)測,采樣周期為1 min,負(fù)荷跨度為 300~660 MW。計(jì)算各采集變量與NOx排放量互信息,按照互信息從大到小排序后選擇前27個(gè)變量作為輸入變量,其互信息見表。主導(dǎo)變量為選擇性催化還原(selective catalytic reduction,SCR)反應(yīng)器入口處NOx濃度。所采集的3 500組數(shù)據(jù)分為測試集和測試集兩部分。其中,選取3 000組的數(shù)據(jù)用來建立基于MI-LSTM的NOx排放量預(yù)測模型,其余500組數(shù)據(jù)作為測試集,用來驗(yàn)證模型的準(zhǔn)確度和泛化能力。
利用序列前向選擇方法選擇最優(yōu)特征子集,輸入變量按互信息輸出由大到小排序,變量數(shù)目從3到27以2為差值遞增,同時(shí)針對LSTM網(wǎng)絡(luò)的時(shí)間步長、學(xué)習(xí)速率和隱層神經(jīng)元數(shù)目3個(gè)重要參數(shù)進(jìn)行網(wǎng)格搜索,尋找最優(yōu)輸入變量子集及最佳模型參數(shù),網(wǎng)格搜索結(jié)果如圖4所示。
圖4中,橫軸表示訓(xùn)練時(shí)間步長,縱軸表示輸入特征數(shù)量個(gè)數(shù),其中時(shí)間步長劃分如表2所示,同時(shí)根據(jù)表1學(xué)習(xí)速率與隱層神經(jīng)元個(gè)數(shù)獲得共3×3=9組對比模型。
從圖4可以看出,顏色越深代表RMSE值越低,隨著特征數(shù)量的增多,RMSE的值逐漸上升,說明高維數(shù)據(jù)特征將包含大量的信息冗余,致使LSTM模型擬合效果變差。9組對比模型中,中間三組模型RMSE明顯低于其他各組,表明學(xué)習(xí)速率對模型預(yù)測效果影響最大,且學(xué)習(xí)速率為0.001時(shí),訓(xùn)練效果最好,模型獲得較好的預(yù)測效果。
模型最佳輸入變量的數(shù)目為7,篩選出最優(yōu)特征變量特征子集為:后墻固定端燃盡風(fēng)量、F層二次風(fēng)量、E給煤機(jī)給煤率反饋、總風(fēng)量、E磨一次風(fēng)量、主給水溫度及機(jī)組負(fù)荷。使用篩選出來的變量集合作為模型的輸入,SCR反應(yīng)器入口處NOx濃度為模型的輸出,建立排放量預(yù)測模型。根據(jù)網(wǎng)格搜索結(jié)果可知,LSTM模型中超參數(shù)如表3所示。
表 1 入口變量及其互信息
表2 待網(wǎng)格搜索的變量
圖4 特征個(gè)數(shù)對模型RMSE的影響Fig.4 Impact of number of input variables on model RMSE
參數(shù)名參數(shù)值時(shí)間步長4學(xué)習(xí)速率0.001隱含層神經(jīng)元數(shù)目256迭代次數(shù)2 000Batchsize16
MI-LSTM模型測試集的預(yù)測結(jié)果如圖5所示。從圖中可以看出,預(yù)測值分布在理想直線附近,預(yù)測結(jié)果與實(shí)測數(shù)據(jù)吻合度高。由計(jì)算可知,模型預(yù)測誤差為:MAPE=0.175%,R=0.905,RMSE=0.498。樣本的預(yù)測誤差很小,模型有較好的預(yù)測能力。
圖5 MI-LSTM模型對NOx排放質(zhì)量濃度的預(yù)測結(jié)果Fig.5 NOx emission predicted by MI-LSTM
為了分析模型性能,作為對比,參考燃燒機(jī)理,選取機(jī)組負(fù)荷,給煤量,一次風(fēng)量,二次風(fēng)量,燃盡風(fēng)量,爐膛出口煙氣含氧量,總風(fēng)量和主蒸汽溫度共27組特征變量作為輸入,使用相同的數(shù)據(jù)集建立NOx預(yù)測模型。
本文構(gòu)建了其他3種模型作為對比:(1)LSTM模型;(2)MI-RNN模型;(3)MI-BP模型。LSTM是在RNN的基礎(chǔ)上進(jìn)行改進(jìn)的時(shí)間遞歸神經(jīng)網(wǎng)絡(luò),BP網(wǎng)絡(luò)則是常用的NOx排放建模方法。結(jié)果如圖6~9及表4所示。
圖6 MI-LSTM與LSTM模型的NOx排放預(yù)測Fig.6 Prediction of NOx emission for MI-LSTM and LSTM
圖7 MI-LSTM與LSTM模型預(yù)測誤差對比Fig.7 Comparison of the prediction error for MI-LSTM and LSTM
圖8 不同模型的NOx排放預(yù)測Fig.8 Prediction of NOx emission using different models
圖9 不同模型預(yù)測誤差對比Fig.9 Comparison of prediction error using different models
Tab.4 Comparison of prediction results of different models
模型MAPE/%RRMSEMI-LSTM0.1750.9050.498LSTM0.5860.7271.640MI-RNN0.5300.7741.444MI-BP1.1060.5403.963
由圖6和圖7可知,在建立火電機(jī)組的NOx排放預(yù)測模型時(shí),如果沒有利用互信息篩選模型輸入變量,直接根據(jù)機(jī)理分析建立基于LSTM的NOx排放模型,模型的預(yù)測趨勢與原始數(shù)據(jù)仍相同,但其預(yù)測誤差顯然高于基于MI-LSTM的預(yù)測模型,這表明經(jīng)互信息變量選擇之后,得到了更有效的輸入變量集合,減少了輸入變量的個(gè)數(shù),降低模型復(fù)雜度,提高了模型預(yù)測精度,表現(xiàn)出更好的泛化能力。
圖7和圖10分別為MI-LSTM、MI-RNN和MI-BP 3種模型的預(yù)測結(jié)果和預(yù)測誤差對比圖,其中LSTM和RNN均為動(dòng)態(tài)深度學(xué)習(xí)網(wǎng)絡(luò),BP為常規(guī)前向網(wǎng)絡(luò)由圖中可知,MI-LSTM模型及MI-RNN模型的預(yù)測值準(zhǔn)確率均高于MI-BP模型,表明了動(dòng)態(tài)深度學(xué)習(xí)網(wǎng)絡(luò)的預(yù)測結(jié)果準(zhǔn)確率遠(yuǎn)高于傳統(tǒng)模型,且MI-BP模型在數(shù)據(jù)量大的情況下訓(xùn)練時(shí)間遠(yuǎn)遠(yuǎn)高于其它兩個(gè)模型。此外,在具有相同結(jié)構(gòu)和模型參數(shù)時(shí),與MI-RNN模型相比,MI-LSTM模型取得了更高的預(yù)測精度。
圖10 誤差頻率直方圖Fig.10 Error frequency histogram
表4和圖8分別給出了不同模型的預(yù)測結(jié)果的指標(biāo)對比和誤差的頻率直方圖。由預(yù)測結(jié)果可以看出,基于互信息變量選擇之后的模型,取得了更好的預(yù)測效果。MI-LSTM神經(jīng)網(wǎng)絡(luò)對火電廠NOx排放預(yù)測效果最好,誤差指標(biāo)RMSE和MAPE均低于對比模型;同時(shí)其相關(guān)系數(shù)R明顯大于其他模型,證明數(shù)據(jù)跟蹤效果明顯好于其他模型,且預(yù)測結(jié)果波動(dòng)較小,預(yù)測精度高。
針對電站鍋爐NOx的排放受多個(gè)熱工變量的影響,而變量間具有相關(guān)性以及現(xiàn)場數(shù)據(jù)的時(shí)序特性,本文提出一種基于互信息變量選擇和長短期記憶網(wǎng)絡(luò)的NOx動(dòng)態(tài)預(yù)測模型。首先,使用基于互信息的變量選擇算法對多個(gè)影響NOx排放的輸入變量進(jìn)行篩選,并采用網(wǎng)格搜索算法優(yōu)化LSTM網(wǎng)絡(luò)參數(shù),建立NOx排放的動(dòng)態(tài)預(yù)測模型?;谀?60 MW燃煤鍋爐的現(xiàn)場運(yùn)行數(shù)據(jù),構(gòu)建了MI-LSTM、LSTM、MI-RNN和MI-BP四種NOx預(yù)測模型,仿真結(jié)果表明,與LSTM模型相比,基于互信息的變量選擇算法可以減少模型輸入變量個(gè)數(shù),降低模型復(fù)雜度,提高模型精度和泛化能力;與MI-RNN和MI-BP模型相比,所提出的長短期記憶動(dòng)態(tài)模型具有更高的預(yù)測精度。