范振東,崔偉杰,陳 敏,杜傳陽

（1.河海大學(xué)a.水文水資源與水利工程科學(xué)國家重點(diǎn)實(shí)驗(yàn)室；b.水利水電學(xué)院,南京 210098；2.雅礱江流域水電開發(fā)有限公司,成都 610051)

?

基于IPSO-RVM的大壩安全預(yù)警模型

范振東1a,1b,崔偉杰2,陳 敏1a,1b,杜傳陽1a,1b

（1.河海大學(xué)a.水文水資源與水利工程科學(xué)國家重點(diǎn)實(shí)驗(yàn)室；b.水利水電學(xué)院,南京 210098；2.雅礱江流域水電開發(fā)有限公司,成都 610051)

摘 要：針對(duì)SVM（Support Vector Machine,支持向量機(jī))存在支持向量個(gè)數(shù)較多、核函數(shù)要求嚴(yán)格等不足,將性能更出色的RVM（（Relevance Vector Machine,相關(guān)向量機(jī))用于大壩安全預(yù)警模型的構(gòu)建。核函數(shù)及其參數(shù)對(duì)RVM模型的性能有著重要的影響,組合局部核函數(shù)和全局核函數(shù)的混和核函數(shù)能提高模型的擬合精度和泛化能力,利用PSO（Particle Swarm Optimization,粒子群算法)能有效地對(duì)核參數(shù)進(jìn)行尋優(yōu),針對(duì)標(biāo)準(zhǔn)PSO算法容易陷入局部最優(yōu)點(diǎn)的缺陷,提出IPSO（Improved Particle Swarm Optimization,改進(jìn)的粒子群算法)。將上述組合算法用于大壩安全模型的建立,實(shí)例分析表明,基于上述算法模型的性能得到了一定程度的提高。

關(guān)鍵詞：大壩安全建模；相關(guān)向量機(jī)；混合核函數(shù)；自適應(yīng)粒子群算法；擬合精度；泛化能力

2016,33（02):48-51

1 研究背景

大壩的預(yù)警模型可用來監(jiān)測(cè)大壩的運(yùn)行狀態(tài)和指導(dǎo)大壩的運(yùn)行方式,根據(jù)大壩的原型觀測(cè)數(shù)據(jù)建立大壩工作性態(tài)的預(yù)警模型一直是大壩安全預(yù)警的研究重點(diǎn)［1］。目前,常用的預(yù)警模型有統(tǒng)計(jì)模型、確定性模型、人工智能模型等［2］,其中,人工智能模型因其強(qiáng)大的非線性逼近能力和出色的泛化能力,在復(fù)雜的系統(tǒng)建模中得到廣泛的應(yīng)用。常用的人工智能模型包括ANN（Artificial Neural Networks,人工神經(jīng)網(wǎng)絡(luò))模型、SVM（Support Vector Machine,支持向量機(jī))模型和RVM（Relevance Vector Machine,相關(guān)向量機(jī))模型等。ANN模型存在網(wǎng)絡(luò)規(guī)模和拓?fù)浣Y(jié)構(gòu)參數(shù)取值的不確定性以及易于收斂到局部最優(yōu)點(diǎn)等缺點(diǎn)。SVM模型和RVM模型均能有效地解決小樣本、高維數(shù)、非線性的問題,且具有很好的泛化能力,但RVM模型較SVM模型更具有優(yōu)越性,主要表現(xiàn)在:①RVM的相關(guān)向量數(shù)目遠(yuǎn)少于SVM中的支持向量數(shù)目,降低了模型的復(fù)雜程度；②RVM核函數(shù)的選擇不必滿足Mercer條件；③RVM不需要設(shè)置懲罰因子C ,而在SVM中,懲罰因子的選擇不當(dāng)會(huì)影響到模型的泛化能力［3］。

核函數(shù)的選擇對(duì)SVM模型和RVM模型有著重要的影響,局部核函數(shù)如高斯核函數(shù)具有較好的擬合能力,但模型的泛化能力較差,全局核函數(shù)如多項(xiàng)式核函數(shù)具有較好的泛化能力,但模型的擬合精度較低。本文結(jié)合局部核函數(shù)和全局核函數(shù)的優(yōu)點(diǎn)構(gòu)建了混合核函數(shù),使其既具有較好的擬合精度又有較好的泛化能力。將混合核函數(shù)RVM算法用于大壩安全預(yù)警模型的建立,其中混合核參數(shù)的選擇用改進(jìn)的粒子群算法進(jìn)行尋優(yōu),該算法在文獻(xiàn)［4］提出的自適應(yīng)位置粒子群算法（Adaptive Position PSO,APPSO)的基礎(chǔ)上進(jìn)行了修改。

2 相關(guān)向量機(jī)

2.1 模型描述

相關(guān)向量機(jī)是由M. E. Tipping提出的一種基于貝葉斯框架的概率學(xué)習(xí)模型,該模型通過定義受超參數(shù)控制的Gaussian先驗(yàn)概率,在貝葉斯框架下進(jìn)行機(jī)器學(xué)習(xí),利用自相關(guān)判定理論（Automatic Relevance Determination, ARD)來移除不相關(guān)的點(diǎn),進(jìn)而得到基于核函數(shù)的稀疏化模型［5］。相關(guān)向量機(jī)的基礎(chǔ)理論知識(shí)可參見文獻(xiàn)［6］。

式中:εn服從均值為0和方差為σ2的高斯分布；w為權(quán)重向量。這是一個(gè)理想函數(shù)表達(dá),即實(shí)測(cè)值與擬合值的誤差滿足高斯函數(shù),這個(gè)高斯函數(shù)的均值為0,方差為σ。y（x；w)可表達(dá)為

式中:wn代表權(quán)重；K（x,xn)表示核函數(shù)；w0為常數(shù)。

設(shè)訓(xùn)練樣本為獨(dú)立分布,則訓(xùn)練樣本的似然函數(shù)可表示為

式中: t＝（t1,t2,…,tN)T為目標(biāo)向量, w＝（w0,w1,…,wN)T為參數(shù)向量,Φ＝［φ（x1),φ（x2),…,φ（xN)］為基函數(shù),且φ（xn)＝［1,K（xn,x1),K（xn,x2),…,K（xn,xN)］T。

為防止模型過學(xué)習(xí),不能直接最大化似然函數(shù)來估計(jì)參數(shù)w,因此假設(shè)參數(shù)wi服從均值為0和方差為αi-1的高斯分布,故

式中:α是決定權(quán)值w先驗(yàn)分布的超參數(shù),為每一個(gè)權(quán)值配置獨(dú)立的超參數(shù)是導(dǎo)致模型具有稀疏性的根本原因［7］。

假定α和σ2服從Gamma先驗(yàn)概率,分別為［6］:

式中:Gmama（α| a,b)＝Γ（a)-1baaa-1e-ba,Γ（a)＝∫∞ta-1e-td t。由于無先驗(yàn)知識(shí),可假定a＝b＝c＝0 d＝0。

2.2 參數(shù)推斷

根據(jù)貝葉斯準(zhǔn)則由樣本的似然函數(shù)式（3)和w的先驗(yàn)分布式（4)可得w的后驗(yàn)分布:

式中:后驗(yàn)協(xié)方差∑＝（σ-2ΦTΦ＋A)-1；后驗(yàn)均值μ＝σ-2∑ΦTt；A＝diag（α0,α1,…,αN)；M為相關(guān)向量機(jī)個(gè)數(shù)。

則訓(xùn)練樣本的似然函數(shù)式（7)對(duì)w,積分得由超參數(shù)α和σ2決定的邊緣分布為

式中:Ω＝σ2I＋ΦA(chǔ)-1ΦT；I為單位向量。

一般的算法采用迭代的方法,對(duì)式（8)進(jìn)行求偏導(dǎo)以得到邊緣分布最大化的α和σ,在迭代初期,該方法需要計(jì)算后驗(yàn)分布的協(xié)方差矩陣,計(jì)算量較大。本文采用Tipping提出的快速序列稀疏貝葉斯學(xué)習(xí)算法來計(jì)算超參數(shù)和噪聲方差,具體步驟可參考文獻(xiàn)［8］。

2.3 核函數(shù)選擇

核函數(shù)的選擇決定了樣本以何種方式從低維空間映射到高維空間［9］,對(duì)RVM和SVM機(jī)器學(xué)習(xí)的性能有重要影響,目前常用的核函數(shù)可分為2類:一類是局部插值能力較強(qiáng)的局部核函數(shù),如高斯核函數(shù)（式（9))；另一類是泛化能力較好的全局核函數(shù),如多項(xiàng)式核函數(shù)（式（10))。如果組合使用這2類核函數(shù),構(gòu)建混合核函數(shù)（式（11)),可以結(jié)合這2類核函數(shù)的優(yōu)點(diǎn)［10］。

式中: g為高斯核參數(shù)；n , r , q為多項(xiàng)式核參數(shù)；m為組合核函數(shù)的待尋優(yōu)參數(shù),其范圍為［0,1］。

RVM回歸模型的關(guān)鍵在于核參數(shù)的選定,本文用改進(jìn)的PSO算法對(duì)混合核參數(shù)進(jìn)行尋優(yōu),其中一個(gè)粒子代表了一個(gè)相關(guān)向量機(jī)模型。

3 IPSO-RVM算法

3.1 粒子群優(yōu)化算法改進(jìn)

針對(duì)粒子群算法容易陷入局部最優(yōu)點(diǎn),本文采用文獻(xiàn)［4］提出的自適應(yīng)粒子群算法,引入速度因子υ和位置因子γ（υ,γ≥0) ,dij＝‖Xij- Pgj‖2表示第i個(gè)粒子的第j維的當(dāng)前位置與全局最優(yōu)位置的距離。在粒子進(jìn)行更新迭代前,判斷粒子的位置和速度,如果粒子的位置dij＜γ,且飛行速度Vij＜υ,則可以判定粒子出現(xiàn)停滯,則對(duì)粒子的位置進(jìn)行初始化,重新進(jìn)行搜索,避免陷入局部最優(yōu)。

本文在文獻(xiàn)［4］的基礎(chǔ)上,對(duì)該算法進(jìn)行改進(jìn),慣性因子ω采用如式（12)的線性遞減策略［11］。學(xué)習(xí)因子c1, c2采用式（13)、式（14)的線性學(xué)習(xí)方法, c1先大后小, c2先小后大［12］。適應(yīng)度計(jì)算以交叉驗(yàn)證（cross validation,CV)下的均方差之和作為個(gè)體適應(yīng)度［13］。

式中: maxω, minω為最大、最小權(quán)重值；i為當(dāng)前迭代次數(shù)；j為最大迭代次數(shù)；c1s, c2s為c1, c2的迭代初始值；c1e, c2e為c1, c2的迭代終值；i為當(dāng)前迭代次數(shù)；j為最大迭代次數(shù)。

3.2 IPSO-RVM算法步驟

IPSO-RVM算法步驟如下:

（1)分別建立訓(xùn)練樣本和預(yù)測(cè)樣本,并進(jìn)行歸一化。

（2)選擇RVM核函數(shù)類型,并初步確定核參數(shù)尋優(yōu)范圍。

（3)設(shè)定IPSO的迭代次數(shù)、種群大小、速度因子和位置因子,確定慣性因子、學(xué)習(xí)因子的變化范圍,隨機(jī)生成初始位置和初始速度。

（4)以交叉驗(yàn)證下的均方差和為個(gè)體適應(yīng)度,利用IPSO對(duì)核參數(shù)進(jìn)行尋優(yōu),得到最優(yōu)的核參數(shù)。

（5)利用學(xué)習(xí)樣本建立RVM模型,并進(jìn)行預(yù)測(cè)。

4 實(shí)例分析

某水電站位于皖南長(zhǎng)江支流青弋江上游,為混凝土重力拱壩,壩頂高程為126.3 m,最大壩高為76.3 m。設(shè)置正垂線監(jiān)測(cè)大壩變形,選取18＃壩段壩體垂線的監(jiān)測(cè)資料,選取2000—2007年共426組實(shí)際觀測(cè)數(shù)據(jù),其中前300組用于擬合,后126組用于預(yù)測(cè)。

為加快學(xué)習(xí)速度,同時(shí)不減少數(shù)據(jù)之間的聯(lián)系,對(duì)訓(xùn)練樣本數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化,設(shè)Xmax和Xmin為每組樣本數(shù)據(jù)的最大值與最小值,則相應(yīng)的標(biāo)準(zhǔn)化后變量為

初始化種群:種群最大迭代次數(shù)50,種群大小20,自適應(yīng)粒子群算法的位置因子和速度因子取為γ＝1和υ＝0.01。其它參數(shù)范圍如表1。

通過APPSO尋優(yōu)的核參數(shù)g＝10, r＝3.138, q＝1,η＝0.515, a＝0.682。

表1 參數(shù)尋優(yōu)范圍Table 1 Searching ranges of parameter optimization

RVM模型的復(fù)相關(guān)系數(shù)為R＝0.99,模型的擬合圖見圖1。為比較不同模型的性能,用均方差FMSE（式（16))來比較不同模型的擬合和預(yù)報(bào)精度,用支持向量機(jī)和相關(guān)向量機(jī)個(gè)數(shù)比較模型的復(fù)雜程度,比較情況見表2。由圖1可以看出RVM模型的擬合精度較高。由圖2可以看出RVM模型的預(yù)測(cè)值更貼近實(shí)測(cè)值,由表2可以看出RVM模型預(yù)測(cè)時(shí)段的均方差小于RVM模型預(yù)測(cè)時(shí)段的均方差,因此,RVM模型的泛化能力強(qiáng)于SVM模型。由表2還可以看出,SVM模型的支持向量機(jī)個(gè)數(shù)多達(dá)155個(gè),RVM模型的相關(guān)向量機(jī)個(gè)數(shù)僅為11個(gè)（高斯核)和6個(gè)（多項(xiàng)式核、組合核),明顯少于SVM。這說明SVM模型的結(jié)構(gòu)遠(yuǎn)比RVM模型復(fù)雜；對(duì)RVM模型而言,三者核函數(shù)的精度都較高,組合核RVM模型的擬合和預(yù)報(bào)精度均介于單一核（單一核是指RVM模型中的核函數(shù)只選用高斯核或者多項(xiàng)式核)函數(shù)之間,表明組合核RVM模型既有較好的擬合精度又有良好的泛化能力。因此推薦使用組合核函數(shù)的RVM模型為該拱壩的安全預(yù)警模型。

式中: n為樣本數(shù)；yi為監(jiān)測(cè)實(shí)值；^yi為模型計(jì)算值。

表2 模型性能比較Table 2 Comparison of the performance of two models

圖1 RVM模型擬合曲線Fig.1 Fitted curve of RVM model

5 結(jié) 語

本文利用比支持向量機(jī)性能更加出色的相關(guān)向量機(jī)進(jìn)行大壩安全預(yù)警模型的建立,結(jié)合局部核函數(shù)和全局核函數(shù)構(gòu)建混和核函數(shù),利用自適應(yīng)粒子群算法對(duì)核參數(shù)進(jìn)行尋優(yōu),并用于實(shí)際工程,從實(shí)際應(yīng)用可以看出:

（1) RVM模型的相關(guān)向量個(gè)數(shù)遠(yuǎn)少于SVM的支持向量個(gè)數(shù),RVM具有更簡(jiǎn)單的模型結(jié)構(gòu),但這并不影響RVM模型的擬合和泛化能力。

（2)基于混合核函數(shù)的IPSO-RVM模型既有較好的擬合能力又有較好的泛化能力,可以用于復(fù)雜的大壩安全預(yù)警模型的建立。

參考文獻(xiàn)：

［1］ 蘇懷智,吳中如,戴會(huì)超.初探大壩安全智能融合監(jiān)控體系［J］.水力發(fā)電學(xué)報(bào), 2005, 24（1): 122-126.

［2］ SU Huai-zhi, HU Jiang, WU Zhong-ru. A Study of Safety Evaluation and Early-warning Method for Dam Global Behavior［J］. Structural Health Monitoring, 2012, 11（3): 269-279.

［3］ 張孟堯.基于相關(guān)向量機(jī)的生物反應(yīng)過程軟測(cè)量建模與應(yīng)用［D］.鎮(zhèn)江:江蘇大學(xué),2013.

［4］ 紀(jì)雪玲,李 明,李 瑋,等.一種克服局部最優(yōu)的收縮因子PSO算法［J］.計(jì)算機(jī)工程,2011,37（20):213-215.

［5］ 楊樹仁,沈洪遠(yuǎn).基于相關(guān)向量機(jī)的機(jī)器學(xué)習(xí)算法研究與應(yīng)用［J］.計(jì)算技術(shù)與自動(dòng)化,2010,29（1):43-47.

［6］ TIPPING M E. Sparse Bayesian Learning and the Relevance Vector Machine［J］. The Journal of Machine Learning Research, 2001, 1: 211-244.

［7］ BISHOP C M. Pattern Recognition and Machine Learning ［M］. New York: Springer, 2006.

［8］ TIPPING M E, FAUL A. Fast Marginal Likelihood Maximization for Sparse Bayesian Models［C］/ / Society for Artificial Intelligence and Statistics. Proceedings of the Ninth International Workshop on Artificial Intelligence and Statistics, Key West, Florida, January 3-6,2003: 1-8.

［9］ 唐 奇,王紅瑞,許新宜,等.基于混合核函數(shù)SVM水文時(shí)序模型及其應(yīng)用［J］.系統(tǒng)工程理論與實(shí)踐, 2014, 34（2): 521-529.

［10］鄭志成,徐衛(wèi)亞,徐 飛,等.基于混合核函數(shù)PSOLSSVM的邊坡變形預(yù)測(cè)［J］.巖土力學(xué),2012,33（5): 1421-1426.

［11］劉華鎣,林玉娥,齊名軍,等.求解約束優(yōu)化問題的改進(jìn)粒子群算法［J］.大慶石油學(xué)院學(xué)報(bào),2005,29（4): 73-75.

［12］ASANGA R,SAMAN K H,HARRY C W.Self-organizing Hierarchical Particle Swarm Optimizer with Time-varying Acceleration Coefficients［J］.IEEE Transactions on Evolutionary Computation,2004,8（3):240-255.

［13］OH H S, KIM D, LEE Y, et al.Cross-validated Wavelet Shrinkage［J］. Computational Statistics, 2009,24（3): 497-512.

（編輯:劉運(yùn)飛)

Prewarning Model for Dam Safety Based on IPSO-RVM

FAN Zhen-dong1,2, CUI Wei-jie3, CHEN Min1,2, DU Chuan-yang1,2
（1.State Key Laboratory of Hydrology-Water Resources and Hydraulic Engineering, Hohai University, Nanjing 210098, China；2.College of Water Conservancy and Hydropower Engineering, Hohai University, Nanjing 210098, China；3. Yalong River Hydropower Development Company, Ltd., Chengdu 610051, China)

Abstract:In view of the disadvantages of SVM（support vector machine) such as a large number of support vectors and strict demand for kernel function, we introduce RVM（relevance vector machine) to establish dam safety model which has better performance. Kernel function and its parameters have important effects on the performance of the RVM model. Mixed kernel function in association with local and global kernels can improve the fitting accuracy and generalization ability of the model. The optimized parameters of the kernel function can be effectively found by using PSO（particle swarm optimization) algorithm. However, the defect of local optimal point easily occurs in normal PSO algorithm. In light of this, we apply an algorithm of improved particle swarm optimization（IPSO). On the basis of combined algorithms above, we establish a model for dam safety, and the results indicate that the performance of RVM model with hybrid kernel is superior to that of conventional model.

Key words:dam safety modeling；relevance vector machine；hybrid kernel function；adaptive particle swarm optimization；fitting accuracy；generalization ability

作者簡(jiǎn)介：范振東（1991-),男,福建三明人,碩士研究生,主要從事水工結(jié)構(gòu)安全監(jiān)控研究,（電話)15151859337（電子信箱)380845892@ qq. com。

基金項(xiàng)目：:國家自然科學(xué)基金項(xiàng)目（51179066)；高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金資助課題項(xiàng)目（20130094110010)；江蘇省杰出青年基金項(xiàng)目（BK2012036)；水利部公益性行業(yè)科研專項(xiàng)經(jīng)費(fèi)項(xiàng)目（201301061)

收稿日期：2014-09-16;修回日期：2014-10-23

doi:10.11988/ ckyyb.20140801

中圖分類號(hào)：TV698.1

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-5485(2016)02-0048-04