王 芹,王曉東,吳建德,黃國(guó)勇,范玉剛
(1.昆明理工大學(xué)信息工程與自動(dòng)化學(xué)院,云南昆明650500;2.云南省礦物管道輸送工程技術(shù)研究中心,云南昆明650500)
目前,國(guó)內(nèi)外公路隧道通風(fēng)控制系統(tǒng)中的傳感器布設(shè)單一、類型較少、可靠性低,一旦傳感器損壞就會(huì)對(duì)隧道的安全運(yùn)營(yíng)造成危害[1]。CO體積分?jǐn)?shù)是隧道環(huán)境運(yùn)行狀態(tài)的一項(xiàng)重要指標(biāo),如果隧道一斷面的CO傳感器失效,能通過(guò)該斷面其他相關(guān)傳感器的數(shù)據(jù)融合出隧道CO體積分?jǐn)?shù),對(duì)于提高車輛通過(guò)隧道安全性能有重要意義[2,3]。多源信息融合技術(shù)對(duì)多傳感器獲得信息進(jìn)行協(xié)調(diào)、組合、互補(bǔ)來(lái)提高系統(tǒng)有效性,比單一傳感器更精確、可靠[4]。
神經(jīng)網(wǎng)絡(luò)記憶性和強(qiáng)大的非線性映射能力,在信息融合中引起廣泛的重視。神經(jīng)網(wǎng)絡(luò)信息融合主要成果有:Melgani F等人設(shè)計(jì)多層前饋神經(jīng)網(wǎng)絡(luò)將遙感圖像空間信息、時(shí)間信息和光譜信息融合;Cao Jin利用BP神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)了多源信息融合機(jī)器人導(dǎo)航系統(tǒng)等[5]。但神經(jīng)網(wǎng)絡(luò)信息融合存在不足,基于經(jīng)驗(yàn)的風(fēng)險(xiǎn)最小化,泛化能力低、易陷入局部極值、訓(xùn)練學(xué)習(xí)速度較慢、對(duì)小樣本數(shù)據(jù)分析能力低。而支持向量機(jī)(SVM)信息融合基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則,泛化能力強(qiáng),具有全局最優(yōu)性,是小樣本統(tǒng)計(jì)學(xué)習(xí)理論[6,7]。本文分別比較了 BP,RBP 神經(jīng)網(wǎng)絡(luò)、SVM 融合隧道CO體積分?jǐn)?shù)模型效果和不同組合的最優(yōu)加權(quán)融合模型CO體積分?jǐn)?shù)效果,結(jié)果表明最優(yōu)加權(quán)融合避免了單一融合模型的信息缺陷,實(shí)現(xiàn)優(yōu)勢(shì)互補(bǔ),提高融合CO體積分?jǐn)?shù)的精度。
輸入數(shù)據(jù)選取要與隧道CO體積分?jǐn)?shù)變化相關(guān)因素,一般隧道CO主要是隧道內(nèi)的行駛車輛所排放出來(lái)的,因此,主要與車速、車流量關(guān)系比較大,同時(shí)還與隧道能見(jiàn)度(如發(fā)生火災(zāi))、風(fēng)速等因素有關(guān)系,所以,選取車速(v)、車流量(TV)、能見(jiàn)度(VI)、風(fēng)速(w)為融合系統(tǒng)的輸入量。
目前有多種不同的神經(jīng)網(wǎng)絡(luò)模型被應(yīng)用信息融合,如BP神經(jīng)網(wǎng)絡(luò)、徑向基函數(shù)RBF神經(jīng)網(wǎng)絡(luò)等。
神經(jīng)網(wǎng)絡(luò)模型具有高度非線性映射能力,通過(guò)輸入前向傳播實(shí)現(xiàn)由輸入到輸出的非線性映射,這就正好滿足信息融合隧道CO體積分?jǐn)?shù)的要求[8]。
1.2.1 BP神經(jīng)網(wǎng)絡(luò)融合算法
BP神經(jīng)網(wǎng)絡(luò)理論上證明具有三層網(wǎng)絡(luò)能實(shí)現(xiàn)任意非線性逼近映射。本文BP網(wǎng)絡(luò)融合三層網(wǎng)絡(luò),輸入層神經(jīng)元為4,隱含層神經(jīng)元為10,輸出層神經(jīng)元為1,隱含層采用S型正切傳遞函數(shù),輸出層采用線性傳遞函數(shù)。本文采用BP網(wǎng)絡(luò)的誤差反向傳播算法,思想是將網(wǎng)絡(luò)輸出與期望輸出間的誤差歸結(jié)為權(quán)值和閾值的“過(guò)錯(cuò)”,調(diào)整權(quán)值和閾值使誤差沿著下降最快的方向變化。
1.2.2 RBF神經(jīng)網(wǎng)絡(luò)融合算法
RBF網(wǎng)絡(luò)基本思想:用徑向基函數(shù)作為隱含層節(jié)點(diǎn)的“基”構(gòu)成隱含層空間,將低維的輸入數(shù)據(jù)映射到高維空間內(nèi);然后通過(guò)線性函數(shù)將隱含層節(jié)點(diǎn)輸出數(shù)據(jù)映射到輸出層節(jié)點(diǎn)。為使計(jì)算方便隱含層采用RBF高斯激活函數(shù),隱含層到輸出層使用線性傳遞函數(shù)[9]。由此可得信息融合輸入與輸出表達(dá)式為
其中,wi,θ分別是隱含層到輸出層的權(quán)值和閾值;y為隧道CO體積分?jǐn)?shù)融合輸出值。RBF網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程分為2個(gè)階段。第一階段,根據(jù)輸入樣本確定中心向量,標(biāo)準(zhǔn)化常量。第二階段,根據(jù)最小二乘法求權(quán)值和閾值,進(jìn)一步提高進(jìn)度。
SVM應(yīng)用于信息融合基本思想是尋找一個(gè)最優(yōu)分類面使得訓(xùn)練樣本離該最優(yōu)分類面誤差最小,設(shè)有l(wèi)訓(xùn)練樣本對(duì)為{(xi,yi),i=1,2,…,l},其中,xi是第 i只傳感器數(shù)據(jù)作為訓(xùn)練樣本的輸入列向量,yi為對(duì)應(yīng)的融合輸出。在高維特征空間中建立最優(yōu)的線性回歸函數(shù)為
其中,φ(x)為非線性映射函數(shù)?,F(xiàn)在的問(wèn)題成為,根據(jù)已知的l個(gè)樣本,確定向量w和標(biāo)量b。對(duì)于這樣一個(gè)回歸問(wèn)題,基于SVM的最優(yōu)回歸函數(shù)是指滿足結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理,其最小化表示為
其中,Nnsv為支持向量個(gè)數(shù),K(xi,x)為核函數(shù) SVM 的核函數(shù)有多種形式有多項(xiàng)式核、RBF核函數(shù)等。本文使用的核函數(shù)為
于是基于SVM的信息融合的輸入與輸出的關(guān)系式為
其中,只有部分參數(shù)(ai-a*i)不為零,其對(duì)應(yīng)的樣本為支持向量??梢钥闯雠c神經(jīng)網(wǎng)絡(luò)不同,SVM的拓?fù)浣Y(jié)構(gòu)是由SVM決定,避免了神經(jīng)網(wǎng)絡(luò)反復(fù)試湊確定網(wǎng)絡(luò)結(jié)構(gòu)問(wèn)題。SVM利用非線性變換將原始輸入變量映射到高維特種空間,在高維空間中進(jìn)行信息融合,還保證了融合具有良好的泛化能力[10]。SVM的訓(xùn)練算法最終可以轉(zhuǎn)化為QP規(guī)劃問(wèn)題,當(dāng)訓(xùn)練樣本少時(shí)可以用牛頓法、共軛梯度法,當(dāng)訓(xùn)練樣本大時(shí)可以使用分塊算法理論、Osuna算法、SMO序列最先優(yōu)化算法等[11]。
多源信息融合技術(shù)中加權(quán)融合是一種經(jīng)典的信息融合方法被受重視。本文用最優(yōu)均方誤差加權(quán)融合算法,該方法是對(duì)BP,RBP神經(jīng)網(wǎng)絡(luò)和SVM融合結(jié)果進(jìn)行再次加權(quán)組合融合,其融合精度高于單一融合。理論證明最優(yōu)均方誤差加權(quán)融合能使融合后輸出值均方誤差最小,且小于參與單一模型融合的均方誤差[12]。設(shè)有m種融合系統(tǒng)的最優(yōu)均方誤差可以表示
其中,xit為第i個(gè)融合系統(tǒng)在第t個(gè)樣本輸出值記,^yt為第t個(gè)樣本加權(quán)融合值,ki為第i只傳感器的權(quán)系數(shù),且滿足,設(shè)yt為第t個(gè)樣本的真實(shí)值,加權(quán)融合輸出的第t個(gè)樣本的誤差為
式中 Eij為第i個(gè)融合系統(tǒng)和第j個(gè)融合系統(tǒng)的均方誤差,E(m)為融合輸出誤差信息方陣。尋找權(quán)系數(shù)向量K*,使組合預(yù)測(cè)方法的預(yù)測(cè)均方誤差J達(dá)到極小值Jmin,則稱為最優(yōu)均方誤差加權(quán)融合,由此可以轉(zhuǎn)化為下列最優(yōu)化問(wèn)題
根據(jù)Lagrage求條件極值可求出K*,Jmin,可得最優(yōu)加權(quán)系數(shù)為
最優(yōu)加權(quán)融合是對(duì)不同單一融合模型信息進(jìn)行選擇利用的過(guò)程。如何選擇參與加權(quán)的單一融合模型,才能充分發(fā)揮各單一融合模型互補(bǔ)信息,使最優(yōu)加權(quán)融合精度大幅提高。對(duì)不同單一融合模型是通過(guò)不同結(jié)構(gòu)融合CO體積分?jǐn)?shù)信息,因此,單一融合模型輸出可看作是同一目標(biāo)發(fā)出的信息源,這就可用信息論方法進(jìn)行分析,設(shè)2種單一融合模型輸出為 Y1,Y2,Y1所含的隧道 CO體積分?jǐn)?shù)信息熵H(Y1)可分為兩部分,第一部分Y1,Y2所共有的CO體積分?jǐn)?shù)信息熵R既冗余信息,第二部分HY2(Y1)為Y1所特有的CO體積分?jǐn)?shù)信息熵,因此,可得2種單一融合模型輸出Y1,Y2之間冗余度R為
其中,HY2(Y1)=為兩單一融合輸出相關(guān)性分布。通過(guò)分析冗余度與最優(yōu)加權(quán)融合效果可找到之間的規(guī)律。用該規(guī)律對(duì)參與加權(quán)融合的單一融合模型進(jìn)行篩選,找到提高最優(yōu)加權(quán)融合精度明顯的組合。
為了驗(yàn)證信息融合模型的有效性。本文采用某公路隧道監(jiān)控系統(tǒng)中同一斷面的車速、車流量、能見(jiàn)度、風(fēng)速為融合系統(tǒng)輸入量,隧道CO體積分?jǐn)?shù)為融合系統(tǒng)輸出量。為不失一般性,每次實(shí)驗(yàn)用計(jì)算機(jī)對(duì)100組樣本隨機(jī)的抽取80組樣本作為神經(jīng)網(wǎng)絡(luò)和SVM的訓(xùn)練集,余下的20個(gè)樣本作為對(duì)模型的測(cè)試集。
為了評(píng)價(jià)不同融合模型的融合精度,本文選用均方誤差(MSE)和相關(guān)系數(shù)P對(duì)融合模型性能進(jìn)行評(píng)價(jià)。計(jì)算公式如下
MSE越小說(shuō)明模型性能好,相關(guān)系數(shù)在[0,1]內(nèi),接近1表明模型性能好;相反,則差,一般大于0.8,說(shuō)明模型具有融合能力,大于0.9說(shuō)明模型具有較好的融合效果。
BP,RBF神經(jīng)網(wǎng)絡(luò)及SVM 3種單一融合模型融合結(jié)果比較如表1和圖1所示。3種融合模型P都大于0.8表明都能對(duì)隧道CO體積分?jǐn)?shù)進(jìn)行融合。BP網(wǎng)絡(luò)融合精度最差,P最小,MSE值最大;RBF網(wǎng)絡(luò)融合精度一般,P一般,MSE值比BP網(wǎng)絡(luò)降低30%;SVM在單一融合模型中融合精度最好P高于0.9,MSE值最小,分別比BP網(wǎng)絡(luò)和RBF網(wǎng)絡(luò)降低了48%和25%,可見(jiàn)SVM具有全局最優(yōu)性。
表1 單一融合模型性能指標(biāo)比較Tab 1 Performance index comparison of single fusion model
圖1 單一融合模型融合效果對(duì)比Fig 1 Fusion effect comparison of single fusion model
本文將BP網(wǎng)絡(luò)、RBF網(wǎng)絡(luò)與SVM兩兩加權(quán)融合和3種全部加權(quán)融合進(jìn)行比較研究。比較結(jié)果如表2和圖2所示。
圖2 不同組合最優(yōu)加權(quán)融合效果對(duì)比Fig 2 Optimal weighting fusion results comparison of different combinations
表2 不同組合最優(yōu)加權(quán)融合模型性能指標(biāo)比較Tab 2 Optimal weighted fusion model performance comparision of different combinations
對(duì)比表1和表2可以看出:加權(quán)融合精度比單一融合精度都有不同程度提高,表明加權(quán)融合對(duì)不同單一融合信息進(jìn)行選擇利用,P值都在0.95以上具有較好的融合效果。BP網(wǎng)絡(luò)與SVM加權(quán)融合精度最高,P值為0.998,MSE值比單一BP網(wǎng)絡(luò)和SVM分別降低81%和63%,精度有大幅提高;雖然單一的RBF網(wǎng)絡(luò)和SVM融合精度高,但是RBF網(wǎng)絡(luò)與SVM加權(quán)融合精度不是最高,P值為0.985,MSE值比單一RBF網(wǎng)絡(luò)和SVM分別降低63%和50%,精度提高很明顯;BP網(wǎng)絡(luò)與RBF網(wǎng)絡(luò)加權(quán)融合精度最低,P值為0.952,MSE值比單一BP網(wǎng)絡(luò)和RBF網(wǎng)絡(luò)分別降低61%和25%,精度有提高;3種全部加權(quán)融合僅比BP網(wǎng)絡(luò)與RBF網(wǎng)絡(luò)加權(quán)融合P值僅提高0.007,MSE值僅降低3%精度提高不明顯。由圖3可以看出:BP網(wǎng)絡(luò)與SVM的加權(quán)融合預(yù)測(cè)曲線和真值曲線接近重合,在曲線變化快的區(qū)域精度改善明顯。
由式(12)可計(jì)算出單一融合BP、RBF網(wǎng)絡(luò),SVM模型兩兩之間輸出CO體積分?jǐn)?shù)的冗余度結(jié)果如表3所示,如果某2個(gè)單一融合模型之間的冗余度較大,則說(shuō)明該模型輸出信息的關(guān)聯(lián)性大,冗余信息量大。
由表3看出:BP網(wǎng)絡(luò)與SVM冗余度最低小于5;RBF網(wǎng)絡(luò)與SVM冗余度其次高于5,BP與RBF網(wǎng)絡(luò)冗余度最大高于10。根據(jù)以上分析,可得如果單一融合模型之間冗余度較低,則加權(quán)融合精度提高明顯,如SVM分別與BP,RBF網(wǎng)絡(luò),雖然單一RBF網(wǎng)絡(luò)和SVM融合精度高,但是它們之間冗余度大于5,而BP網(wǎng)絡(luò)與SVM冗余度小于5,所以,RBF網(wǎng)絡(luò)與SVM加權(quán)融合精度提高不是最大;如果單一融合模型之間冗余度較高,則加權(quán)融合精度提高不明顯,如BP與RBF網(wǎng)絡(luò),SVM 3種全部融合。由于神經(jīng)網(wǎng)絡(luò)與SVM融合結(jié)構(gòu)不同,輸出CO體積分?jǐn)?shù)冗余信息相對(duì)少,加權(quán)融合綜合了神經(jīng)網(wǎng)絡(luò)和SVM的各自優(yōu)點(diǎn),實(shí)現(xiàn)優(yōu)勢(shì)互補(bǔ),因此,加權(quán)融合精度提高明顯;BP與RBF神經(jīng)網(wǎng)絡(luò)融合結(jié)構(gòu)近似,輸出CO體積分?jǐn)?shù)冗余信息相對(duì)大,因此,加權(quán)融合精度提高不明顯。3種全部加權(quán)融合的精度沒(méi)有明顯提高,是因?yàn)镽BF網(wǎng)絡(luò)分別與BP網(wǎng)絡(luò)和SVM的冗余度比較大,所以,RBF網(wǎng)絡(luò)的權(quán)值小且為負(fù)值-0.1811,說(shuō)明對(duì)提高精度影響非常小,它只提供冗余信息,應(yīng)該將它刪除。
表3 單一融合模型輸出之間冗余度Tab 3 Redundancy between single fusion the model output
本文將BP,RBF神經(jīng)網(wǎng)絡(luò),SVM融合及最優(yōu)加權(quán)融合模型應(yīng)用于公路隧道CO體積分?jǐn)?shù)。研究表明3種單一融合模型的有效性,在單一模型中SVM融合精度最高;對(duì)3種單一融合模型進(jìn)行組合最優(yōu)加權(quán)融合,發(fā)現(xiàn)BP網(wǎng)絡(luò)與SVM加權(quán)融合精度最高,說(shuō)明加權(quán)融合充分發(fā)揮了神經(jīng)網(wǎng)絡(luò)非線性逼近能力、記憶能力和SVM全局最優(yōu)性,彌補(bǔ)了單一神經(jīng)網(wǎng)絡(luò)融合易陷入局部極值的不足;不同單一組合加權(quán)融合對(duì)融合精度影響大。冗余度小時(shí)加權(quán)融合才能實(shí)現(xiàn)信息互補(bǔ),達(dá)到提高融合精度的目的。
[1]李家龍.公路隧道通風(fēng)節(jié)能技術(shù)研究[D].重慶:重慶交通大學(xué),2007.
[2]夏永旭.我國(guó)長(zhǎng)大公路隧道通風(fēng)中的幾個(gè)問(wèn)題[J].公路,2003(5):147-149.
[3]楊兆升.基礎(chǔ)交通信息融合方法綜述[J].公路交通科技,2006,23(3):111-116.
[4]王耀南.多傳感器信息融合及其應(yīng)用綜述[J].控制與決策,2001,16(5):518-522.
[5]周嗚爭(zhēng),汪 軍.基于SVM的多傳感器信息融合算法[J].儀器儀表學(xué)報(bào),2005,26(4):407-410.
[6]Capparuccia R,Leone R D,Marchitto E.Integrating support vector machine and neural network[J]Neural Networks,2007,20(5):590-597.
[7]韓崇昭,朱紅艷,段戰(zhàn)勝.多源信息融合[M].北京:清華大學(xué)出版社,2010.
[8]Inguva R,Johnson J L,Scham SM P.Multi-feature fusion using pulse coupled neural networks[J].SPIE,1999,3719:342-351.
[9]Leonard JA.RBF network for classifying process faults[J].Control Systems,1991,23(4):31-38.
[10]Pouteau R,Stoll B,Chabrier S.Multi-source SVM fusion for environmental monitoring in Marquesas archipelago[J].Geoscience and Remote Sensing Symposium,2010,26(6):2719-2722.
[11]白 鵬,張喜斌,張 斌,等.支持向量機(jī)理論及工程應(yīng)用實(shí)例[M].西安:西安電子科技大學(xué)出版社,2008:13-73.
[12]李 偉,何鵬舉,高社生.多傳感器加權(quán)信息融合算法研究[J].西北工業(yè)大學(xué)學(xué)報(bào),2010,28(5):674-679.