喬俊飛,鞠 巖,韓紅桂
(北京工業(yè)大學(xué)電子信息與控制工程學(xué)院,北京 100124)
基于自組織隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)的BOD軟測(cè)量
喬俊飛,鞠 巖,韓紅桂
(北京工業(yè)大學(xué)電子信息與控制工程學(xué)院,北京 100124)
針對(duì)污水處理復(fù)雜系統(tǒng)中關(guān)鍵水質(zhì)參數(shù)生化需氧量(biochemical oxygen demand,BOD)難以準(zhǔn)確實(shí)時(shí)預(yù)測(cè)的問(wèn)題,在分析污水處理過(guò)程相關(guān)影響因素的基礎(chǔ)上,提出一種基于敏感度分析法的自組織隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)(selforganizing neural network with random weights,SONNRW)軟測(cè)量方法.該方法首先通過(guò)機(jī)理分析選取原始輔助變量,經(jīng)過(guò)數(shù)據(jù)預(yù)處理,之后采用主元分析法對(duì)輔助變量進(jìn)行精選,作為SONNRW的輸入變量進(jìn)行污水處理關(guān)鍵水質(zhì)參數(shù)BOD的預(yù)測(cè).SONNRW算法利用隱含層節(jié)點(diǎn)輸出及其權(quán)值向量計(jì)算該隱含層節(jié)點(diǎn)對(duì)于殘差的敏感度,根據(jù)敏感度大小對(duì)網(wǎng)絡(luò)隱含層節(jié)點(diǎn)進(jìn)行排序,刪除敏感度較低的隱含層節(jié)點(diǎn)即冗余點(diǎn).仿真結(jié)果表明:該軟測(cè)量方法對(duì)水質(zhì)參數(shù)BOD的預(yù)測(cè)精度高、實(shí)時(shí)性好、模型結(jié)構(gòu)穩(wěn)定,能夠用于污水水質(zhì)的在線預(yù)測(cè).
隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò);自組織;敏感度分析;軟測(cè)量;生化需氧量(BOD)
現(xiàn)代經(jīng)濟(jì)社會(huì)的發(fā)展,給人們生活水平帶來(lái)提高的同時(shí),也對(duì)生態(tài)環(huán)境造成嚴(yán)重的破壞.其中污水處理成為環(huán)保領(lǐng)域的一個(gè)重要課題.作為污水處理過(guò)程出水水質(zhì)重要參數(shù),生化需氧量(biochemical oxygen demand,BOD)的準(zhǔn)確、實(shí)時(shí)監(jiān)測(cè)成為研究人員一直以來(lái)追求的目標(biāo).然而污水處理系統(tǒng)總是運(yùn)行在非平穩(wěn)狀態(tài),同時(shí)受制于傳感器和檢測(cè)儀表的精度、測(cè)量滯后以及環(huán)境污染等因素,BOD的高品質(zhì)在線實(shí)時(shí)測(cè)控難以實(shí)現(xiàn).
近年來(lái),軟測(cè)量技術(shù)作為一個(gè)強(qiáng)有力的工具被應(yīng)用于工業(yè)過(guò)程的復(fù)雜系統(tǒng)建模中[1-2].軟測(cè)量技術(shù)采用的是間接測(cè)量的思想,使用容易測(cè)量的其他變量,構(gòu)建模型來(lái)實(shí)現(xiàn)對(duì)難測(cè)變量的估計(jì).而污水處理廠每天都會(huì)記錄大量易測(cè)變量的運(yùn)行數(shù)據(jù),這就為污水處理過(guò)程軟測(cè)量建模提供了便利的條件.軟測(cè)量技術(shù)以其成本低、時(shí)效性和準(zhǔn)確度高等特點(diǎn),為污水處理過(guò)程出水BOD難以高品質(zhì)實(shí)時(shí)監(jiān)測(cè)的問(wèn)題提供了一個(gè)有效的解決方案.
一些學(xué)者將基于統(tǒng)計(jì)與分析的軟測(cè)量技術(shù)應(yīng)用于污水處理建模過(guò)程,并取得了一定成效[3-4].然而污水處理過(guò)程具有機(jī)理復(fù)雜、非線性強(qiáng)、難以建模等特點(diǎn),基于統(tǒng)計(jì)與分析的軟測(cè)量模型并不能很好地反映污水處理過(guò)程.而神經(jīng)網(wǎng)絡(luò)[5-7]憑借其可以逼近任意非線性函數(shù)及能夠?qū)?fù)雜系統(tǒng)進(jìn)行準(zhǔn)確建模等優(yōu)勢(shì),被廣泛應(yīng)用于污水處理過(guò)程建模的研究中[8-11].張米娜等[12]以進(jìn)水流量(Q)、進(jìn)水化學(xué)需氧量(chemical oxyge demand,COD)的質(zhì)量濃度、pH、固體懸浮物(suspended solids,SS)的質(zhì)量濃度、總氮(total nitrogen,TN)的質(zhì)量濃度為輔助變量,建立一個(gè)多輸入單輸出的三層前饋?zhàn)赃m應(yīng)增長(zhǎng)修剪(adaptive growing and pruning,AGP)神經(jīng)網(wǎng)絡(luò),采用反向傳播(back propagation,BP)算法訓(xùn)練網(wǎng)絡(luò)參數(shù),對(duì)出水BOD進(jìn)行預(yù)測(cè),但是該方法網(wǎng)絡(luò)學(xué)習(xí)算法簡(jiǎn)單,建立的軟測(cè)量模型不夠精確.王樹(shù)東等[13]提出一種基于混合遞階遺傳算法優(yōu)化徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)(hybrid hierarchy genetic algorithm for radial basis function,HHGARBF)的BOD軟測(cè)量方法,用遞階遺傳算法(hierarchy genetic algorithm,HGA)來(lái)優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)的參數(shù)和拓?fù)浣Y(jié)構(gòu),并能在全局范圍內(nèi)尋找RBF參數(shù)的最優(yōu)解.該方法預(yù)測(cè)精度較高,但計(jì)算較為復(fù)雜.Islam等[14]提出一種自適應(yīng)合并增長(zhǎng)算法(adaptive merging and growing algorithm,AMGA),該算法在訓(xùn)練過(guò)程根據(jù)隱含層神經(jīng)元的學(xué)習(xí)能力判斷是否合并2個(gè)神經(jīng)元或者增加1個(gè)新的神經(jīng)元.然而該算法在網(wǎng)絡(luò)訓(xùn)練過(guò)程中,每當(dāng)刪除或增加1個(gè)隱含層神經(jīng)元,都需要對(duì)網(wǎng)絡(luò)重新進(jìn)行完整訓(xùn)練,計(jì)算較為復(fù)雜.
針對(duì)上述問(wèn)題,一種算法簡(jiǎn)單、學(xué)習(xí)速度快、泛化能力好又不易陷入局部極小的單隱層前饋神經(jīng)網(wǎng)絡(luò)(single-hidden layer feedforward neural networks,SLFNs)隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)[15-18](neural network with random weights,NNRW)進(jìn)入研究人員的視野,并且成功應(yīng)用于污水處理重要水質(zhì)參數(shù)的軟測(cè)量[19].隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)在權(quán)值優(yōu)化的過(guò)程中,隱含層節(jié)點(diǎn)參數(shù)隨機(jī)選取,然后利用Moore-Penrose廣義逆求最小二乘解的方法最終確定輸出層權(quán)值,使得網(wǎng)絡(luò)的訓(xùn)練轉(zhuǎn)化為線性問(wèn)題,從而避免了復(fù)雜的迭代過(guò)程,這就使得學(xué)習(xí)速度非??斐蔀镹NRW算法最顯著的特點(diǎn).作為NNRW算法中唯一需要設(shè)定的參數(shù),其隱含層節(jié)點(diǎn)個(gè)數(shù)的選取成為影響網(wǎng)絡(luò)性能的關(guān)鍵因素.網(wǎng)絡(luò)的隱含層節(jié)點(diǎn)個(gè)數(shù)過(guò)多會(huì)使得計(jì)算復(fù)雜,容易產(chǎn)生過(guò)擬合問(wèn)題,影響神經(jīng)網(wǎng)絡(luò)的泛化性能[20-22],反之會(huì)降低算法的學(xué)習(xí)能力,影響逼近能力.如何設(shè)計(jì)合理的算法來(lái)選取NNRW的隱節(jié)點(diǎn)個(gè)數(shù)成為網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化設(shè)計(jì)的核心問(wèn)題.
綜上,本文提出了一種基于自組織隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)(self-organizing neural network with random weights,SONNRW)的污水處理BOD軟測(cè)量方法.該方法利用污水處理過(guò)程機(jī)理分析結(jié)合先驗(yàn)知識(shí)確定輔助變量,進(jìn)行數(shù)據(jù)預(yù)處理,并使用主元分析法(principal component analysis,PCA)對(duì)原始輔助變量精選,建立基于敏感度分析(sensitivity analysis,SA)法[23-25]的自組織隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)軟測(cè)量模型,實(shí)現(xiàn)了對(duì)BOD的預(yù)測(cè).經(jīng)過(guò)仿真實(shí)驗(yàn)與對(duì)比,基于SONNRW的BOD軟測(cè)量模型在預(yù)測(cè)出水BOD時(shí)能夠在保持較高的預(yù)測(cè)精度的前提下,運(yùn)算速度更快,泛化性能更強(qiáng).
1.1NNRW算法
假設(shè)N個(gè)不同的樣本{(xj,tj)|xj∈ RRn,tj∈ RRm,1≤j≤N}.式中:xj=(xj1,xj2,…,xjn)T;tj=(tj1,tj2,…,tjm)T.隱含層節(jié)點(diǎn)個(gè)數(shù)為L(zhǎng),激活函數(shù)為G(x),則SLFNs的數(shù)學(xué)模型表示為
式中:1≤j≤N;ai為第i個(gè)隱節(jié)點(diǎn)輸入權(quán)值;bi為其閾值;βi=(βi1,βi2,…,βim)T為第i個(gè)隱含層節(jié)點(diǎn)連接輸出的權(quán)值向量;oj=(oj1,oj2,…,ojm)T為第j個(gè)樣本對(duì)應(yīng)的網(wǎng)絡(luò)輸出.
文獻(xiàn)[15]已經(jīng)證明,通過(guò)調(diào)節(jié)神經(jīng)網(wǎng)絡(luò)參數(shù),單隱層神經(jīng)網(wǎng)絡(luò)可以以任意精度逼近訓(xùn)練樣本,式(1)可改寫為
H為SLFNs的隱含層輸出矩陣,H的第i列表示第i個(gè)隱含層節(jié)點(diǎn)關(guān)于N個(gè)輸入樣本的輸出;T為目標(biāo)輸出矩陣.
定義代價(jià)函數(shù)
傳統(tǒng)算法是通過(guò)對(duì)參數(shù)ai、bi、β進(jìn)行不斷的迭代調(diào)整求解式(7)的最小化代價(jià)函數(shù).Pao等在文獻(xiàn)[15]中指出,輸入層權(quán)值、閾值隨機(jī)選取,只需調(diào)整輸出層權(quán)值就可以使網(wǎng)絡(luò)具有較好的逼近性能.只要激活函數(shù)無(wú)限次可微,輸入層權(quán)值和閾值就可以隨機(jī)選取,這就只需要找到適當(dāng)?shù)臐M足
所以當(dāng)輸入層權(quán)值和閾值隨機(jī)選定,網(wǎng)絡(luò)的隱層輸出矩陣H就是已知的,式(3)的最小范數(shù)二乘解為
其中H?是H的Moore-Penrose廣義逆.這種隱含層節(jié)點(diǎn)參數(shù)隨機(jī)選取只求解輸出層權(quán)值的方法稱為隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)算法.
1.2基于敏感度分析法的隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)
敏感度分析法能夠根據(jù)神經(jīng)模型的輸出來(lái)分析模型中的參數(shù)對(duì)輸出的價(jià)值,從而根據(jù)期望值對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行修改調(diào)整,直到使神經(jīng)網(wǎng)絡(luò)輸出達(dá)到期望值.敏感度分析法對(duì)于不同神經(jīng)網(wǎng)絡(luò)有不同的分析方法,但其基本思想是一致的[23-25].
根據(jù)敏感度分析的思想,給出針對(duì)隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)的敏感度定義為
令
式中:i=1,2,…,L;j=1,2,…,N.
對(duì)于第j個(gè)訓(xùn)練樣本,由式(1)可得
假設(shè)刪除第i(1≤i≤L)個(gè)隱節(jié)點(diǎn),則式(11)變?yōu)?/p>
將yj與y′j相減,可得殘差
對(duì)于第j個(gè)樣本,去掉第i個(gè)隱節(jié)點(diǎn)產(chǎn)生的誤差為kij的絕對(duì)值與βi的模的乘積.因此可以定義:對(duì)于所有N個(gè)樣本,殘差相對(duì)于第i個(gè)隱節(jié)點(diǎn)的敏感度為
其中Ri越大,表明去掉第i個(gè)隱節(jié)點(diǎn)產(chǎn)生的殘差越大,即第i個(gè)隱節(jié)點(diǎn)的重要性越強(qiáng).因此,按照敏感度大小對(duì)隱含層節(jié)點(diǎn)進(jìn)行排序,有
設(shè)閾值λ,令
則
式中L′為修剪后的隱節(jié)點(diǎn)個(gè)數(shù).
關(guān)于閾值λ的選擇問(wèn)題,至今沒(méi)有一個(gè)明確的方法.所以本文采用的方法是由λ=0.1開(kāi)始,每次增加0.1,一直到1為止的試湊方式,選取網(wǎng)絡(luò)性能最好時(shí)的λ來(lái)確定,操作較為方便.
為防止訓(xùn)練樣本信息因隱含層神經(jīng)元的刪除而消失,本文采用權(quán)值橫向平均傳播的方法更新被保留節(jié)點(diǎn)的輸入層權(quán)值,更新公式為
根據(jù)上述分析,下面給出基于敏感度分析的自組織NNRW算法的詳細(xì)步驟如下.
步驟1 建立初始NNRW,選擇足夠大的初始隱含層節(jié)點(diǎn)數(shù)L,根據(jù)訓(xùn)練樣本生成由L個(gè)隱含層節(jié)點(diǎn)組成的H矩陣,如式(4)(5)所示,L<N.
步驟2 利用式(14)計(jì)算L個(gè)隱含層節(jié)點(diǎn)相對(duì)于殘差的敏感度,按照敏感度大小對(duì)隱含層節(jié)點(diǎn)進(jìn)行排序,有R′1≥R′2≥…≥R′L.
步驟3 確定閾值λ,由式(17)確定被刪除節(jié)點(diǎn).
步驟4 根據(jù)式(18)對(duì)刪除冗余節(jié)點(diǎn)后的網(wǎng)絡(luò)更新保留節(jié)點(diǎn)的輸入權(quán)值.
步驟5 利用矛盾線性方程組的最小范數(shù)最小二乘解求得刪除冗余點(diǎn)后網(wǎng)絡(luò)輸出層權(quán)值為
根據(jù)以上分析,刪除了敏感度較低的隱含層節(jié)點(diǎn),對(duì)網(wǎng)絡(luò)預(yù)測(cè)精度影響較小,因此在滿足訓(xùn)練精度的條件下,SONNRW算法能夠得到結(jié)構(gòu)更加緊湊的神經(jīng)網(wǎng)絡(luò).
建立出水BOD軟測(cè)量模型主要可分為以下步驟:1)分析污水處理過(guò)程,選擇與BOD關(guān)系密切的原始輔助變量;2)采集數(shù)據(jù)和預(yù)處理;3)精選輸入變量;4)設(shè)計(jì)軟測(cè)量模型結(jié)構(gòu).如圖1所示.
2.1確定原始輔助變量
要想建立一個(gè)準(zhǔn)確的BOD軟測(cè)量模型,首先要找出污水處理過(guò)程中對(duì)BOD影響較大的參數(shù),作為模型的原始輔助變量.這首先需要對(duì)污水處理運(yùn)行系統(tǒng)進(jìn)行機(jī)理分析.從污水處理工藝流程來(lái)看,污水處理系統(tǒng)屬于高度復(fù)雜系統(tǒng),包含多種生化反應(yīng),因此分析并找出在污水處理系統(tǒng)中與重要出水參數(shù)BOD關(guān)系密切的易測(cè)變量是建模的難點(diǎn)之一,也是準(zhǔn)確地實(shí)現(xiàn)BOD軟測(cè)量的關(guān)鍵因素之一.
以活性污泥法污水處理系統(tǒng)為研究對(duì)象,其主要由曝氣池、二沉池、污泥回流系統(tǒng)、剩余污泥排放系統(tǒng)和供氧系統(tǒng)等組成.活性污泥是由細(xì)菌、菌膠團(tuán)等多種微生物群體,懸浮物體,以及吸附的污水中有機(jī)性和無(wú)機(jī)性物質(zhì)組成的絮絨狀污泥,具有一定的活力.污水中的有機(jī)物正是被活性污泥吸附或通過(guò)生化反應(yīng)被氧化分解,從而達(dá)到水質(zhì)凈化的目的.活性污泥法的生化反應(yīng)主要發(fā)生在曝氣池中.通過(guò)BOD的定義及檢測(cè)方法可知,BOD表示的是污水中有機(jī)物等需氧污染物質(zhì)質(zhì)量濃度的一個(gè)綜合指標(biāo).由此可知,影響微生物作用的因素也是影響B(tài)OD的因素有:Q、SS的質(zhì)量濃度、曝氣池溶解氧(dissolved oxygen,DO)的質(zhì)量濃度、進(jìn)水總磷(total phosphorus,TP)的質(zhì)量濃度、TN的質(zhì)量濃度、進(jìn)水COD的質(zhì)量濃度、曝氣池氨氮(NH4-N)的質(zhì)量濃度.另外,曝氣池溫度(T)、pH、氧化還原電位(oxidation-reduction potential,ORP)等參數(shù)也是活性污泥法污水處理系統(tǒng)的重要參數(shù),會(huì)對(duì)微生物生存環(huán)境產(chǎn)生影響,進(jìn)而影響微生物的生理活動(dòng),最終影響到BOD的值.同時(shí)在輔助變量選擇方面,也可參考前人的先驗(yàn)知識(shí),如文獻(xiàn)[12]中張米娜等以Q、ρ(進(jìn)水COD)、pH、ρ(SS)、ρ(TN)為輔助變量,作為軟測(cè)量模型的輸入變量,實(shí)現(xiàn)了對(duì)BOD的預(yù)測(cè);文獻(xiàn)[13]中王樹(shù)東等以流量Q、ρ(進(jìn)水SS)、曝氣池ρ(DO)、T、pH、ρ(ORP)等作為輔助變量,進(jìn)行BOD的預(yù)測(cè).綜合以上研究,通過(guò)機(jī)理分析和先驗(yàn)知識(shí)分析相結(jié)合的方法,最終將進(jìn)水Q、ρ(SS)、ρ(COD)、ρ(TN)、ρ(TP)、曝氣池ρ(NH4-N)、pH、T、ρ(ORP)、ρ(DO)這10個(gè)變量初步選擇為原始輔助變量.各項(xiàng)輔助變量檢測(cè)儀表見(jiàn)表1.
表1 輔助變量參數(shù)及其檢測(cè)儀Table 1 Auxiliary variable parameter and detectors
2.2數(shù)據(jù)采集與預(yù)處理
對(duì)主導(dǎo)變量BOD和10個(gè)原始輔助變量的歷史數(shù)據(jù)采集,主要通過(guò)安裝在污水處理裝置不同位置的傳感器和變送器獲得,且數(shù)量越大越好.然而受制于現(xiàn)場(chǎng)操作環(huán)境、儀器儀表測(cè)量精度、測(cè)量原理和方法等因素,所測(cè)得的數(shù)據(jù)難免會(huì)存在一定的誤差.如果將這些包含誤差的數(shù)據(jù)直接應(yīng)用于BOD軟測(cè)量,可能會(huì)嚴(yán)重影響軟測(cè)量模型的性能,不僅不能準(zhǔn)確預(yù)測(cè)主導(dǎo)變量,嚴(yán)重的還可能誤導(dǎo)污水處理曝氣、加藥等操作,對(duì)整個(gè)污水處理系統(tǒng)產(chǎn)生影響,造成出水水質(zhì)不達(dá)標(biāo)等嚴(yán)重后果.因此,對(duì)所采集原始數(shù)據(jù)進(jìn)行預(yù)處理以獲得精確可靠的數(shù)據(jù)對(duì)軟測(cè)量模型的建模和應(yīng)用具有重要意義.原始數(shù)據(jù)的預(yù)處理主要包括剔除異常數(shù)據(jù)、填補(bǔ)缺失數(shù)據(jù)和數(shù)據(jù)歸一化/反歸一化處理.
2.2.1剔除異常數(shù)據(jù)
異常數(shù)據(jù)是指在數(shù)據(jù)測(cè)量和采集過(guò)程中,由于環(huán)境因素的影響、測(cè)量?jī)x表的質(zhì)量問(wèn)題以及測(cè)量者數(shù)據(jù)錄入錯(cuò)誤等造成的異常的數(shù)據(jù)結(jié)果.一般多采用一種簡(jiǎn)單又常用的統(tǒng)計(jì)判別法3σ準(zhǔn)則來(lái)對(duì)原始輔助變量和主導(dǎo)變量中的異常數(shù)據(jù)進(jìn)行剔除.
設(shè)N個(gè)數(shù)據(jù)樣本(x1,x2,…,xN),均值為χ,每個(gè)樣本的偏差為D(j)=x(j)-x,j=1,2,…,N,計(jì)算標(biāo)準(zhǔn)偏差
若x(j)的偏差滿足
則認(rèn)為x(j)是異常數(shù)據(jù),應(yīng)予以剔除.
2.2.2缺失數(shù)據(jù)的插值填補(bǔ)
由于某些數(shù)據(jù)可能會(huì)在測(cè)量過(guò)程或傳輸過(guò)程中丟失,因此會(huì)出現(xiàn)測(cè)量到的某些數(shù)據(jù)出現(xiàn)缺失的情況.針對(duì)這個(gè)問(wèn)題,本文采取的是線性插值的方法來(lái)填補(bǔ)缺失數(shù)據(jù),具體方法為:
在t-1,t,t+1時(shí)刻的采樣點(diǎn)分別為(at-1,bt-1,ct-1,…)、(at,bt,ct,…)、(at+1,bt+1,ct+1,…),假設(shè)t時(shí)刻樣本中某一變量at丟失,則
若出現(xiàn)連續(xù)2個(gè)或數(shù)個(gè)時(shí)刻數(shù)據(jù)丟失的情況,則根據(jù)這幾個(gè)時(shí)刻的前后時(shí)刻所測(cè)數(shù)據(jù)進(jìn)行均分插值填補(bǔ).這樣不但盡可能在一定誤差范圍內(nèi)填補(bǔ)了缺失數(shù)據(jù),同時(shí)還保證了數(shù)據(jù)的平滑性.
2.2.3數(shù)據(jù)的歸一化/反歸一化處理
為了消除污水處理過(guò)程中參數(shù)不同量綱的影響,需要對(duì)軟測(cè)量數(shù)據(jù)進(jìn)行歸一化和反歸一化處理.具體為最大最小化法,計(jì)算公式為
式中:i=1,2,…,10;輸入變量x=[Qin、ρ(DO)、pH、ρ(SS)、ρ(COD)、ρ(TN)、ρ(NH4-N)、ρ(TP)、ρ(ORP)、T]T;x′i是第i維變量歸一化后的值;xi,min是第i維變量的最小值;xi,max是第i維變量的最大值.
2.3精選輔助變量
在污水處理過(guò)程建模中,數(shù)據(jù)種類越多,其中包含的信息也就越多,對(duì)建模的準(zhǔn)確性也越有幫助.但如果輔助變量個(gè)數(shù)太多,可能會(huì)導(dǎo)致測(cè)量的噪聲也隨之增大,同時(shí)所建立軟測(cè)量模型的復(fù)雜度變高,繼而其模型適應(yīng)性就會(huì)降低,限制模型的應(yīng)用.本文采用PCA方法分析各原始輔助變量與主導(dǎo)變量的關(guān)系,刪除冗余輔助變量,使得精選出的少量輔助變量可以最大化表達(dá)原始數(shù)據(jù)信息.PCA方法的主要思想是通過(guò)對(duì)數(shù)據(jù)的統(tǒng)計(jì)分析,得出輸入變量與輸出變量之間的關(guān)聯(lián)度并加以排序,從而精選出輔助變量,達(dá)到降維的目的.
PCA方法常用計(jì)算步驟如下.
1)樣本矩陣為XN×I,其中共有I維樣本變量,N個(gè)樣本,本文中I=10,代表10個(gè)原始輔助變量.
2)計(jì)算X的協(xié)方差矩陣
3)求解協(xié)方差矩陣CX的I個(gè)特征值λ1≥λ2≥…≥λI和相對(duì)應(yīng)的特征向量p1,p2,…,pI.
4)按由大到小順序?qū)⑻卣髦颠M(jìn)行排列,并按照
計(jì)算前n個(gè)主元的累積貢獻(xiàn)率.
5)取前n個(gè)較大的特征值所對(duì)應(yīng)的特征向量構(gòu)成變換矩陣PT:PT=(p1,p2,…,pn),n<I.
6)通過(guò)Y=PX計(jì)算前n個(gè)主成分,達(dá)到降低維數(shù)、精選輔助變量的目的.
本文使用歷史數(shù)據(jù),通過(guò)主元分析法計(jì)算10個(gè)原始輔助變量的累計(jì)方差貢獻(xiàn)率,以η>0.85為指標(biāo),最終精選出了BOD軟測(cè)量模型的4個(gè)輔助變量,即網(wǎng)絡(luò)的輸入為ρ(SS)、ρ(COD)、pH、ρ(DO),如表2所示.
表2 不同主元貢獻(xiàn)率Table 2 Variances of principle components
2.4軟測(cè)量模型結(jié)構(gòu)設(shè)計(jì)
出水BOD軟測(cè)量模型選取的是上文所述的自組織隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)SONNRW.軟測(cè)量模型的輸入為降維后的4組輔助變量ρ(SS)、ρ(COD)、pH、ρ(DO),并通過(guò)SONNRW預(yù)測(cè)出水BOD的實(shí)時(shí)數(shù)值,如圖2所示.SONNRW的隱含層節(jié)點(diǎn)激活函數(shù)選擇Sigmoid函數(shù),初始隱含層個(gè)數(shù)L選取要足夠大,具體要根據(jù)實(shí)驗(yàn)樣本的多少進(jìn)行設(shè)定.
BOD軟測(cè)量算法步驟如下:
步驟1 建立初始NNRW,模型輸入為ρ(SS)、ρ(COD)、pH、ρ(DO),輸出為ρ(BOD),選擇足夠大的初始隱含層節(jié)點(diǎn)數(shù)L,根據(jù)訓(xùn)練樣本生成由L個(gè)隱含層節(jié)點(diǎn)組成的H矩陣.
步驟2 利用式(14)的敏感度分析法計(jì)算L個(gè)隱含層節(jié)點(diǎn)相對(duì)于殘差的敏感度,按照敏感度大小對(duì)隱含層節(jié)點(diǎn)進(jìn)行排序.
步驟3 確定閾值λ,由式(17)確定被刪除節(jié)點(diǎn).
步驟4 根據(jù)式(18)對(duì)刪除冗余節(jié)點(diǎn)后的網(wǎng)絡(luò)更新保留節(jié)點(diǎn)的輸入權(quán)值.
步驟5 利用矛盾線性方程組的最小范數(shù)最小二乘解求得刪除冗余點(diǎn)后網(wǎng)絡(luò)輸出層權(quán)值.
步驟6 使用訓(xùn)練樣本對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練.
步驟7 確定網(wǎng)絡(luò)和參數(shù)后,使用訓(xùn)練的網(wǎng)絡(luò)對(duì)BOD進(jìn)行預(yù)測(cè).
本文的仿真實(shí)驗(yàn)分為2個(gè)部分.首先將SONNRW應(yīng)用于非線性動(dòng)態(tài)系統(tǒng)辨識(shí)中來(lái)驗(yàn)證SONNRW的性能,確定其在非線性動(dòng)態(tài)系統(tǒng)辨識(shí)中具有良好的辨識(shí)效果后,再將其應(yīng)用于污水處理BOD預(yù)測(cè)中,并通過(guò)與原始NNRW[15]以及AGPBP[12]、HHGARBF[13]、AMGA[14]算法進(jìn)行對(duì)比來(lái)驗(yàn)證該算法的性能.所有實(shí)驗(yàn)運(yùn)行于Matlab R2012a版本,操作系統(tǒng)為Win7,電腦硬件配置為酷睿2 Duo 2.94 GHz CPU、4 G RAM.
3.1非線性動(dòng)態(tài)系統(tǒng)辨識(shí)
首先利用SONNRW對(duì)非線性系統(tǒng)進(jìn)行辨識(shí),通過(guò)與一些常用算法比較來(lái)證明本算法的性能.所采用的非線性動(dòng)態(tài)系統(tǒng)為
式中:y(0)=0;y(1)=0;u(t)=sin(2πt/25).
模型可以表示為
(y(t),y(t-1),u(t))作為SONNRW的3個(gè)輸入變量,輸出變量為y(t+1).實(shí)驗(yàn)共采用500組數(shù)據(jù),其中前400組作為訓(xùn)練樣本,后100組用作測(cè)試樣本.初始隱含層神經(jīng)元為12個(gè),迭代步數(shù)為1 000步,目標(biāo)訓(xùn)練誤差為0.01.
經(jīng)SONNRW算法對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,隱含層神經(jīng)元數(shù)量變化如圖3所示,最終個(gè)數(shù)為8.圖4為SONNRW訓(xùn)練曲線圖,圖5為SONNRW對(duì)非線性動(dòng)態(tài)系統(tǒng)的辨識(shí)效果,圖6為誤差曲線,與原始NNRW以及AGPBP和AMGA算法的詳細(xì)對(duì)比結(jié)果如表3所示.
表3 4種網(wǎng)絡(luò)性能對(duì)比Table 3 Comparison of 4 networks'performance
從表3可以看出,原始NNRW沒(méi)有結(jié)構(gòu)優(yōu)化能力,雖然在運(yùn)算速度方面非???,但精度較低.SONNRW算法能夠獲得精簡(jiǎn)的網(wǎng)絡(luò)結(jié)構(gòu),訓(xùn)練后隱含層節(jié)點(diǎn)個(gè)數(shù)與AGPBP算法相當(dāng),但測(cè)試精度更高.同AMGA算法相比具有相似的測(cè)試精度,但SONNRW有更精簡(jiǎn)的網(wǎng)絡(luò)結(jié)構(gòu)和更快速的訓(xùn)練速度.
從圖5、6可以看出,SONNRW能夠較好地對(duì)非線性動(dòng)態(tài)系統(tǒng)進(jìn)行辨識(shí),具有較高的辨識(shí)精度,說(shuō)明SONNRW不僅能夠獲得精簡(jiǎn)的網(wǎng)絡(luò)結(jié)構(gòu),同時(shí)還有著良好的泛化性能.
3.2出水BOD軟測(cè)量應(yīng)用
為了進(jìn)一步驗(yàn)證SONNRW用于BOD軟測(cè)量系統(tǒng)的有效性,實(shí)驗(yàn)使用污水處理廠真實(shí)數(shù)據(jù)進(jìn)行仿真實(shí)驗(yàn).在仿真實(shí)驗(yàn)中,利用SONNRW及其他結(jié)構(gòu)調(diào)整算法對(duì)污水處理BOD進(jìn)行預(yù)測(cè),同時(shí)將預(yù)測(cè)數(shù)據(jù)與真實(shí)數(shù)據(jù)進(jìn)行對(duì)比,計(jì)算各算法的預(yù)測(cè)精度及性能.
選取來(lái)自于北京市某污水處理廠2014年9月的數(shù)據(jù)120組,剔除異常數(shù)據(jù)5組,隨機(jī)選擇其中60組用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練,40組用于網(wǎng)絡(luò)的預(yù)測(cè).初始隱含層個(gè)數(shù)設(shè)置為L(zhǎng)=20,使用SONNRW的算法流程對(duì)前60組數(shù)據(jù)進(jìn)行訓(xùn)練,目標(biāo)訓(xùn)練誤差0.01,迭代步數(shù)為1 000步,對(duì)后40組數(shù)據(jù)進(jìn)行預(yù)測(cè),同時(shí)記錄訓(xùn)練時(shí)間、測(cè)試誤差.所有實(shí)驗(yàn)在相同條件下重復(fù)20次,取平均值.經(jīng)過(guò)訓(xùn)練之后的SONNRW隱含層神經(jīng)元個(gè)數(shù)為10個(gè).
圖7為自組織隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程誤差變化曲線,可以看出,SONNRW可以快速收斂到穩(wěn)定狀態(tài).圖8為出水水質(zhì)BOD訓(xùn)練效果圖,訓(xùn)練誤差如圖9所示,圖10為出水水質(zhì)BOD預(yù)測(cè)效果圖,預(yù)測(cè)誤差如圖11所示.
從圖8、10可以看出,不論是訓(xùn)練效果還是預(yù)測(cè)效果,SONNRW都能達(dá)到較好的擬合精度,說(shuō)明利用基于SONNRW的軟測(cè)量方法對(duì)出水水質(zhì)BOD進(jìn)行訓(xùn)練與預(yù)測(cè)時(shí),可以達(dá)到較高的訓(xùn)練精度和預(yù)測(cè)精度,能夠很好地預(yù)測(cè)出水BOD的值.從圖9、11可以看出,訓(xùn)練誤差保持在[-0.4,0.4],測(cè)試誤差保持在[-0.8,0.8],表明該軟測(cè)量模型具有較好的穩(wěn)定性和泛化性能.
與原始NNRW及其他幾種結(jié)構(gòu)調(diào)整神經(jīng)網(wǎng)絡(luò)的詳細(xì)比較如表4所示.可以看出,原始NNRW沒(méi)有自組織能力,雖然訓(xùn)練時(shí)間快,但誤差較大;SONNRW加入結(jié)構(gòu)調(diào)整機(jī)制后,雖然犧牲了部分訓(xùn)練速度,但在精簡(jiǎn)網(wǎng)絡(luò)規(guī)模和提高泛化能力方面都有較大的提升.SONNRW算法與AGPBP[12]和HHGARBF[13]算法相比,測(cè)試精度和訓(xùn)練速度都有所提高,網(wǎng)絡(luò)規(guī)模也得到了較好的控制,對(duì)污水處理BOD軟測(cè)量中表現(xiàn)出了良好的性能.
表4 4種網(wǎng)絡(luò)在BOD軟測(cè)量中的性能對(duì)比Table 4 Comparison of four networks'performance in BOD soft-sensing
本文針對(duì)污水處理復(fù)雜系統(tǒng)重要參數(shù)BOD難以實(shí)時(shí)準(zhǔn)確測(cè)量的問(wèn)題,提出一種基于敏感度分析的SONNRW軟測(cè)量模型.首先使用非線性動(dòng)態(tài)系統(tǒng)辨識(shí)的方法來(lái)驗(yàn)證SONNRW的性能,再使用污水處理真實(shí)數(shù)據(jù)進(jìn)行BOD預(yù)測(cè)仿真實(shí)驗(yàn)來(lái)驗(yàn)證本方法的有效性.通過(guò)與幾種常用結(jié)構(gòu)調(diào)整神經(jīng)網(wǎng)絡(luò)軟測(cè)量方法進(jìn)行對(duì)比,得出以下結(jié)論:
1)SONNRW算法能夠在保證較高測(cè)試精度的前提下,構(gòu)建結(jié)構(gòu)緊湊的神經(jīng)網(wǎng)絡(luò).
2)與AGPBP算法、AMGA算法和HHGARBF算法對(duì)比,SONNRW具有更快的學(xué)習(xí)速度、更加緊湊的網(wǎng)絡(luò)結(jié)構(gòu)和更好的泛化性能.
3)基于SONNRW的軟測(cè)量方法能夠利用ρ(SS)、ρ(COD)、pH、ρ(DO)對(duì)污水處理過(guò)程重要參數(shù)ρ(BOD)實(shí)現(xiàn)較為準(zhǔn)確有效的預(yù)測(cè),具有精度高、實(shí)時(shí)性好、穩(wěn)定性好等特點(diǎn),在解決污水處理過(guò)程重要水質(zhì)參數(shù)的軟測(cè)量問(wèn)題上具有較好的實(shí)用價(jià)值.
[1]XU F,WANG Y Y,LUO X L.Soft sensor for inputs and parameters using nonlinear singular state observer in chemical processes[J].Chin J Chem Eng,2013,21(9): 1038-1047.
[2]SHAO W M,TIAN X M,WANG P.Local partial least squares based online soft sensing method for multi-output processes with adaptive process states division[J].Chin J Chem Eng,2014,22(7):828-836.
[3]DI M C,SAUNDERS A C G.Nonlinear estimation and control of mycelia fermentations[C]//American Control Conference.Pittsburgh,PA:IEEE,1989:1994-1999.
[4]MCACVOY T J.Contemplative stance for chemical process control[J].Automatica,1992,28(2):441-442.
[5]喬俊飛,韓紅桂.RBF神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)動(dòng)態(tài)優(yōu)化設(shè)計(jì)[J].自動(dòng)化學(xué)報(bào),2010,36(6):865-872.QIAO J F,HAN H G.Optimal structure design for RBFNN structure[J].Acta Automatic Sinica,2010,36(6):865-872.(in Chinese)
[6]HAN H G,QIAO J F.A structure optimization algorithm forfeedforwardneuralnetworkconstruction[J].Neurocomputing,2013,99(1):347-357.
[7]QIAO J F,LI F J,HAN H G,et al.Constructive algorithm for fully connected cascade feedforward neural networks[J].Neurocomputing,2016,182:154-164.
[8]賴惠鴿,朱學(xué)軍,俞金壽.基于智能算法的污水處理軟測(cè)量技術(shù)及其展望[J].化工自動(dòng)化及儀表,2011,38(3):241-244.LAI H G,ZHU X J,YU J S.Research on intelligent algorithm-basedsoft-sensingtechnologyforsewage treatment process[J].ControlandInstrumentsin Chemical Industry,2011,38(3):241-244.(in Chinese)
[9]YUAN X C,HAN H G,QIAO J F.The sludge volume index soft sensor model based on PCA-ElmanNN[C]//IEEE International Joint Conference on Neural Networks.Brisbahe:IEEE,2012:1-7.
[10]LIN F J,CHEN S Y,TENG L T C.Recurrent functionallink-based fuzzy neural network controller with improved particle swarm optimization for a linear synchronous motor drive[J].IEEE Transactions on Magnetics,2009(8): 3151-3165.
[11]HUANG M Z,MA Y W,WAN J Q,et al.A sensorsoftware based on a genetic algorithm-based neural fuzzy systemformodellingandsimulatingawastewater treatment process[J].Appl Soft Comput,2015,27(1): 1-10.
[12]張米娜,韓紅桂,喬俊飛.前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)動(dòng)態(tài)增長(zhǎng)-修剪方法[J].智能系統(tǒng)學(xué)報(bào),2011,6(2):101-106.ZHANG M N,HAN H G,QIAO J F.Research on dynamic feed-forward neural network structure based on growing and pruning method[J].CAAI Transactions on Intelligent Systems,2011,6(2):101-106.(in Chinese)
[13]王樹(shù)東,葛珉昊,陳明明.基于混合遞階遺傳算法優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)的BOD5軟測(cè)量方法[J].計(jì)算機(jī)技術(shù),2014(3):149-153.WANG S D,GE M H,CHEN M M.BOD5 soft measurement basedonHHGA-RBF[J].Computer Technology,2014(3):149-153.(in Chinese)
[14]ISLAM M M,SATTAR M A,AMIN M F,et al.A new adaptive merging and growing algorithm for designing artificial neural networks[J].IEEE Transactions on Systems,Man,and Cybenetics—Part B:Cybernetics,2009,39(3):705-722.
[15]PAO Y H,PARK G H,SOBAJIC D J.Learning and generalizationcharacteristicsoftherandomvector Functional link net[J].Neurocomputing,1994(6): 163-180.
[16]IGELNIK B,PAO Y H.Stochastic choice of basis functions in adaptive function approximation and the functional-link net[J].Neural Networks,1995,6(6): 1320-1329.
[17]CAO F L,YE H,WANG D H.A probabilistic learning algorithm for robust modeling using neural networks with random weights[J].Inf Sci,2015,313:62-78.
[18]DAI W,LIU Q,CHAI T Y,Particle size estimate of grinding processes using random vector functional link networks with improved robustness[J].Neurocomputing,2015,169:361-372.
[19]ZHAO L J,YUAN D C,CHAI T Y.KPCA and ELM ensemble modeling of wastewater effluent quality indices.Procedia Engineering[J].2011,15(1):5558-5562.
[20]MAN Z,LEE K,WANG D H.A new robust training algorithm for a class of single-hidden layer Feed forward neural networks[J].Neurocomputing,2011,74(16): 2491-2501.
[21]HAN H G,QIAO J F.A self-organizing fuzzy neural network based on a growing-and-pruning algorithm[J].IEEE Trans Fuzzy Syst,2010,18:1129-1143.
[22]SALTELLI A,RATTO M,TARANTOLA S,et al.Sensitivity analysis practices:strategies for model-based inference[J].ReliabilityEngineeringandSystems Safety,2006,91(10/11):1109-1125.
[23]HAN H G,QIAO J F.A structure optimization algorithm forfeedforwardneuralnetworkconstruction[J].Neurocomputing,2013,99:347-357.
[24]CARIBONG J,GATELLI D,LISKA R,et al.The role of sensitivity analysis in ecological modeling[J].Ecological Modelling,2007,203(1/2):167-182.
[25]CAMPOLONGO F,CARIBONJ J,SALTELLI A.An effective screening design for sensitivity analysis of large models[J].Environmental Modelling and Software,2007,22(10):1509-1518.
(責(zé)任編輯 呂小紅)
BOD Soft-sensing Based on SONNRW
QIAO Junfei,JU Yan,HAN Honggui
(College of Electronic Information and Control Engineering,Beijing University of Technology,Beijing 100124,China)
Aiming at the problem that biochemical oxygen demand(BOD)soft-sensing is difficult to be forecasted accurately and in real time,a self-organizing neural network with random weights(SONNRW)is proposed by using the sensitivity analysis method.Firstly,we select the original auxiliary variables using mechanism analysis,then we use PCA method to select variables after the data preprocessing.The selected variables are the input SONNRW to forecast the key water quality parameter BOD.The residual error's sensitivities to the hidden nodes are defined by their outputs and weight vectors connecting to the out layer using the sensitivity analysis method.First,we calculate the sensitivities by using the hidden layer outputs and the responding output layer weight vectors.Then the orders are sorted based on the sensitivity of each hidden node.Then those nodes which have lower sensitivities will be pruned by using the Leave-one-out method.By using this method in BOD soft-sensing,experiments show that the pruning NNRW has high prediction accuracy,more streamlined network size andbetter generalization performance.
neural networks with random weights;self-organizing;sensitivity analysis method;softsensing;biochemical oxygen demand(BOD)
TP 183
A
0254-0037(2016)10-1451-10
10.11936/bjutxb2016040021
2016-04-07
國(guó)家自然科學(xué)基金資助項(xiàng)目(61533002);中國(guó)博士后科學(xué)基金資助項(xiàng)目(2015M570911);北京市科技新星計(jì)劃項(xiàng)目(Z131104000413007)
喬俊飛(1968—),男,教授,博士生導(dǎo)師,主要從事智能信息處理、智能優(yōu)化控制方面的研究,E-mail:junfeiq@ bjut.edu.cn