王 凱,唐詩(shī)華,王江波,肖 陽(yáng),容 靜，王文貫

(1.桂林理工大學(xué) a.測(cè)繪地理信息學(xué)院;b.廣西空間信息與測(cè)繪重點(diǎn)實(shí)驗(yàn)室,廣西 桂林 541006;2.廣西建設(shè)職業(yè)技術(shù)學(xué)院 土木工程系，南寧 530007)

0 引 言

由于大壩變形與多種影響因子密切相關(guān),多元回歸、灰色理論等傳統(tǒng)模型不能很好地預(yù)測(cè)大壩變形趨勢(shì)[1]，學(xué)者們總結(jié)出了各類模型,如支持向量機(jī)模型、神經(jīng)網(wǎng)絡(luò)模型等[2-4]。近來,人工神經(jīng)網(wǎng)絡(luò)特別是BP神經(jīng)網(wǎng)絡(luò)具有自適應(yīng)、自學(xué)習(xí)和非線性擬合能力,使得BP神經(jīng)網(wǎng)絡(luò)備受青睞,如高平等[5]將其應(yīng)用于大壩變形監(jiān)測(cè),取得了較好的效果。實(shí)測(cè)數(shù)據(jù)中將一定會(huì)包含隨機(jī)擾動(dòng)誤差,傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)精度會(huì)有不同程度的降低。對(duì)于神經(jīng)網(wǎng)絡(luò)的缺點(diǎn),Schapire創(chuàng)建了試圖提升任意給定學(xué)習(xí)算法精度的普遍方法,即Boosting學(xué)習(xí)算法,并迅速成了新的學(xué)術(shù)熱點(diǎn)。AdaBoost(Adaptive Boosting)算法通過迭代弱分類器而獲得最終強(qiáng)分類器，其核心是找到最優(yōu)的弱分類器[6]。遺傳算法是全局化搜索的,這樣就能夠避開局部極小點(diǎn), GA-BP遺傳神經(jīng)網(wǎng)絡(luò)把遺傳算法的全局優(yōu)化和BP神經(jīng)網(wǎng)絡(luò)的局部尋優(yōu)的特點(diǎn)相結(jié)合,在理論上避免了收斂慢、穩(wěn)定性差和易陷入局部極小值的問題[7],如秦真珍等[8]將GA-BP算法應(yīng)用于大壩邊坡變形預(yù)測(cè),取得了良好的效果;任麗芳等[9]針對(duì)深基坑變形問題,將GA-BP模型用于橋梁深基坑變形預(yù)測(cè)證明預(yù)測(cè)模型性能良好,精度高,簡(jiǎn)便易行;董春旺等[11]先建立BP-AdaBoost神經(jīng)網(wǎng)絡(luò),然后用遺傳算法尋優(yōu)求解,將BP-AdaBoost-GA應(yīng)用于紅茶發(fā)酵性能研究并取得了很好的優(yōu)化效果。

基于上述研究, 提出基于遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的AdaBoost強(qiáng)預(yù)測(cè)模型(GA-BP-AdaBoost), 該模型把GA-BP神經(jīng)網(wǎng)絡(luò)作為最優(yōu)的“弱”預(yù)測(cè)器, 用遺傳算法進(jìn)行全局搜索, 進(jìn)而獲得最優(yōu)的閾值和權(quán)值, 之后再將閾值、 權(quán)值向量賦予BP網(wǎng)絡(luò), 利用神經(jīng)網(wǎng)絡(luò)的局部搜索能力獲得網(wǎng)絡(luò)的近似最優(yōu)值。 以GA-BP遺傳神經(jīng)網(wǎng)絡(luò)作為AdaBoost強(qiáng)預(yù)測(cè)器的“弱”預(yù)測(cè)器, 利用AdaBoost算法得到強(qiáng)預(yù)測(cè)器。 結(jié)合算例分析表明, 該模型在大壩變形監(jiān)測(cè)中的具有一定的實(shí)用性和可行性。

1 GA-BP-AdaBoost強(qiáng)預(yù)測(cè)模型構(gòu)建

1.1 AdaBoost強(qiáng)預(yù)測(cè)理論

Schapire于1990年最早提出了源自Valiant的PAC(probably approximately correct)學(xué)習(xí)模型的Boosting算法,能提高任意給定學(xué)習(xí)算法精度。1995年,Freund和Schapire將Boosting算法改進(jìn)為AdaBoost算法,它們之間效率大致一樣,但不用關(guān)于弱學(xué)習(xí)算法的下限,更容易處理實(shí)際問題。AdaBoost算法屬于迭代算法,它是Boosting家族的代表算法,其基本思想是:最終用于決策的強(qiáng)分類器是由不同的弱分類器構(gòu)成的,而弱分類器則是用同一訓(xùn)練數(shù)據(jù)集訓(xùn)練獲得的。AdaBoost算法具體流程見文獻(xiàn)[6，11]。

1.2 GA-BP遺傳神經(jīng)網(wǎng)絡(luò)

1986年,McCelland等提出了BP神經(jīng)網(wǎng)絡(luò),它是按照誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò),具有良好的非線性映射能力、容錯(cuò)和泛化能力[12]。該模型的誤差反向傳播算法的基本過程[13]可以概括為:模式順傳播→誤差逆?zhèn)鞑ァ洃浻?xùn)練→學(xué)習(xí)收斂。

1962年,Holland提出了遺傳算法(genetic algorithms,GA),它是借鑒生物進(jìn)化論和自然界遺傳機(jī)制而成的[14]。該算法根據(jù)所選擇的適應(yīng)度函數(shù)計(jì)算各樣本的適應(yīng)度,經(jīng)遺傳中的交叉、變異和選擇實(shí)現(xiàn)對(duì)優(yōu)秀個(gè)體的篩選,新的群體既延續(xù)了上一代的信息,又比上一代好[11],使得種群樣本不斷進(jìn)化,最終獲得全局最優(yōu)解。

GA-BP遺傳神經(jīng)網(wǎng)絡(luò)在改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上,先用遺傳算法進(jìn)行全局搜索,進(jìn)而優(yōu)化BP網(wǎng)絡(luò)的閾值和權(quán)值,之后將閾值、權(quán)值向量賦予BP網(wǎng)絡(luò),利用局部搜索能力得到近似最優(yōu)值。GA-BP遺傳神經(jīng)網(wǎng)絡(luò)將BP神經(jīng)網(wǎng)絡(luò)的局部尋優(yōu)和遺傳算法的全局優(yōu)化特點(diǎn)相結(jié)合,保證BP神經(jīng)網(wǎng)絡(luò)收斂于全局最優(yōu)的同時(shí)也能夠得到較為精確的優(yōu)化結(jié)果,在理論上避免了BP易陷入局部極小值、網(wǎng)絡(luò)收斂慢和穩(wěn)定性差的缺點(diǎn)[7]。

1.3 GA-BP-Adaboost強(qiáng)預(yù)測(cè)模型

GA-BP-AdaBoost強(qiáng)預(yù)測(cè)模型使用遺傳算法改進(jìn)的BP神經(jīng)網(wǎng)絡(luò)為弱分類器、利用AdaBoost算法的思想將同一訓(xùn)練樣本重復(fù)訓(xùn)練GA-BP遺傳神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)樣本輸出,把多個(gè)GA-BP遺傳神經(jīng)網(wǎng)絡(luò)弱預(yù)測(cè)器用AdaBoost算法獲取組成強(qiáng)預(yù)測(cè)器。GA-BP-AdaBoost強(qiáng)預(yù)測(cè)模型步驟如下:

① 數(shù)據(jù)預(yù)處理和網(wǎng)絡(luò)初始化。對(duì)原始數(shù)據(jù)進(jìn)行包含數(shù)據(jù)和量化歸一化的預(yù)處理。從樣本空間中選擇m組訓(xùn)練數(shù)據(jù),初始化測(cè)試數(shù)據(jù)的分布權(quán)值Dt(i)=1/m,神經(jīng)網(wǎng)絡(luò)的隱含層節(jié)點(diǎn)數(shù)的確定到目前仍未找到比較好的解析式來解決[15]。本文用Kolmogorov定理設(shè)定隱含層節(jié)點(diǎn)數(shù)為2q+1，其中q為輸入層節(jié)點(diǎn)個(gè)數(shù)。

② 遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)。將BP神經(jīng)網(wǎng)絡(luò)的閾值和權(quán)值當(dāng)作遺傳算法的染色體,適應(yīng)度函數(shù)用訓(xùn)練數(shù)據(jù)訓(xùn)練BP神經(jīng)網(wǎng)絡(luò),把預(yù)測(cè)誤差和當(dāng)作個(gè)體適應(yīng)度值。

③ 尋找弱預(yù)測(cè)器gt(t=1,2,…,T)。對(duì)第t個(gè)弱預(yù)測(cè)器進(jìn)行訓(xùn)練時(shí), 將GA-BP遺傳神經(jīng)網(wǎng)絡(luò)用訓(xùn)練數(shù)據(jù)訓(xùn)練并且預(yù)測(cè)訓(xùn)練數(shù)據(jù)輸出,得到關(guān)于預(yù)測(cè)序列g(shù)(t)的誤差和et：

(1)

g(t)=≠y。

其中：y為期望分類結(jié)果;g(t)為預(yù)測(cè)分類結(jié)果。

④ 計(jì)算預(yù)測(cè)序列權(quán)重。 根據(jù)預(yù)測(cè)序列g(shù)(t)的預(yù)測(cè)誤差和et, 推算序列的權(quán)重at。

(2)

⑤ 更新權(quán)重。 下一輪訓(xùn)練樣本的權(quán)重根據(jù)預(yù)測(cè)序列權(quán)重at進(jìn)行調(diào)整

i=1,2,…,m。

(3)

式中:Bt是歸一化因子, 這是為了使分布權(quán)值的和為1。 其中

(4)

⑥ 強(qiáng)分類器函數(shù)。訓(xùn)練T輪之后獲得T個(gè)弱預(yù)測(cè)函數(shù)gt(x)(t=1,2,…,T), 然后由T個(gè)弱預(yù)測(cè)函數(shù)加權(quán)組合, 就可以得到一個(gè)強(qiáng)預(yù)測(cè)函數(shù)H(x):

(5)

2 算例分析

為了驗(yàn)證模型的有效性及精度,以某蓄能水電廠的下庫(kù)大壩變形監(jiān)測(cè)為例,對(duì)位于下庫(kù)大壩的河床壩段壩頂?shù)?號(hào)觀測(cè)點(diǎn)在2000-04-12—2004-06-25這段時(shí)間的壩體溫度、水位、時(shí)間和大壩Y向變形量進(jìn)行了63次非等時(shí)間間隔觀測(cè),為了方便建立模型,用Hermite插值法把63期非等時(shí)間間隔數(shù)據(jù)調(diào)為64期等時(shí)間間隔變形數(shù)據(jù)[3],其變形值如圖1所示?？梢?大壩的變形受到多種因素影響,具有較強(qiáng)的隨機(jī)性變化,并且呈非線性變化趨勢(shì)。

圖1 大壩變形實(shí)測(cè)值Fig.1 Measured deformation value of dam

擬通過3種方案進(jìn)行分析:方案1—標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型，方案2—遺傳BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型(GA-BP)和方案3—遺傳算法優(yōu)化的BP-AdaBoost強(qiáng)預(yù)測(cè)模型(GA-BP-AdaBoost)。各方案采用了前50期變形觀測(cè)數(shù)據(jù)當(dāng)作樣本訓(xùn)練,后14期當(dāng)作測(cè)試樣本。為了方便比較,各方案均采用BP神經(jīng)網(wǎng)絡(luò)標(biāo)準(zhǔn)模型,隱含層和輸入層之間采用Sigmoid函數(shù)。各方案BP網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)具體為:輸入層節(jié)點(diǎn)數(shù)均為3、輸出層節(jié)點(diǎn)數(shù)均為1、隱含層節(jié)點(diǎn)數(shù)均為7,動(dòng)量項(xiàng)系數(shù)和學(xué)習(xí)率均為0.01,最大循環(huán)次數(shù)均設(shè)置為20。遺傳算法種群范圍設(shè)定為10,選擇操作選用輪盤賭法,變異概率和交叉概率分別為0.1和0.3,最大迭代次數(shù)均為30。方案1的初始權(quán)值和網(wǎng)的連接權(quán)值由模型中的代碼隨機(jī)生成,而方案2和3,利用遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)。通過對(duì)這3個(gè)方案模型在大壩變形數(shù)據(jù)中的預(yù)測(cè)精度分析,探討各種模型的預(yù)測(cè)性能,并驗(yàn)證GA-BP-AdaBoost強(qiáng)預(yù)測(cè)模型的可行性與優(yōu)越性。采用平均絕對(duì)值、均方根誤差和平均百分比誤差來評(píng)定各模型預(yù)測(cè)精度:

1) 平均絕對(duì)誤差(MAE)

(6)

2) 均方根誤差(RMSE)

(7)

3) 平均絕對(duì)百分比誤差(MAPE)

(8)

用大壩監(jiān)測(cè)原始數(shù)據(jù)輸入各模型來訓(xùn)練, 獲得預(yù)測(cè)輸出值。 各方案模型的計(jì)算結(jié)果對(duì)比見表1。

表1 各模型計(jì)算結(jié)果

Table 1 Contrast of each model calculation results mm

可見,方案1的標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的殘差很大,模型殘差序列絕對(duì)值超過0.6 mm的有5期,最大殘差達(dá)到0.793 5 mm,方案2 GA-BP神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)殘差序列絕對(duì)值超過0.6 mm的有3期,最大殘差達(dá)到-0.745 6 mm,說明遺傳算法優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)模型在大壩變形預(yù)測(cè)精度上較標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)有了很大幅度的改進(jìn),遺傳算法最終訓(xùn)練結(jié)束時(shí)還是由期望輸出目標(biāo)決定的,雖然算法運(yùn)行速度得到了提升,但是預(yù)測(cè)精度并沒有顯著提高。方案3 GA-BP-AdaBoost強(qiáng)預(yù)測(cè)模型的預(yù)測(cè)殘差序列除最大殘差外,其余各期均低于0.3 mm,而最大殘差為-0.419 2 mm。表明該模型在大壩變形預(yù)測(cè)精度上較方案1和2有了大幅提升。

從各模型變形預(yù)測(cè)值和實(shí)際變形值對(duì)比(圖2)可知,方案1和方案2在大壩變形預(yù)測(cè)段的前期和中期,兩者的變形趨勢(shì)基本一致且預(yù)測(cè)值相差不大,在后期兩者出現(xiàn)背離。方案3GA-BP-AdaBoost模型預(yù)測(cè)值在整體變化趨勢(shì)上與大壩實(shí)際變形值相一致,且兩者之間的差值相比方案1和方案2很小,表明方案3可以很好地預(yù)測(cè)大壩變形趨勢(shì)。

圖2 各模型預(yù)測(cè)值和實(shí)際值對(duì)比Fig.2 Comparison of predicted and actual values of each model

由殘差圖(圖3)可知,方案1的殘差波動(dòng)范圍最大,方案2較方案1波動(dòng)范圍有所減小,而方案3的殘差波動(dòng)范圍幾乎穩(wěn)定在0.2 mm以內(nèi)。表明GA-BP-AdaBoost強(qiáng)預(yù)測(cè)模型具有很高的全局預(yù)測(cè)精度,且預(yù)測(cè)性能較為穩(wěn)定。

為進(jìn)一步綜合評(píng)定各種模型的性能,采用均方根誤差、平均絕對(duì)誤差和平均絕對(duì)百分比誤差3項(xiàng)指標(biāo)進(jìn)行評(píng)定,各預(yù)測(cè)模型的精度指標(biāo)計(jì)算見表2。

圖3 各模型殘差對(duì)比Fig.3 Residual comparison of models

Table 2 Contrast of precision of each model mm

對(duì)各模型的預(yù)測(cè)精度而言, 方案1較方案2在均方根誤差和平均絕對(duì)誤差指標(biāo)方面, 精度略低, 分別為0.543 9和0.491 1 mm, 但是兩者在平均絕對(duì)百分比誤差方面精度幾乎一樣, 反而標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)稍高于GA-BP遺傳神經(jīng)網(wǎng)絡(luò)模型, 說明遺傳算法對(duì)于BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的精度提高有限。方案3 GA-BP-AdaBoost強(qiáng)預(yù)測(cè)模型各項(xiàng)精度指標(biāo)在3種模型中均是最小的,分別為0.362 6 mm、0.157 4 mm、0.138 6%,這表明,AdaBoost強(qiáng)預(yù)測(cè)器根據(jù)預(yù)測(cè)誤差調(diào)整若干組弱預(yù)測(cè)器之間的權(quán)重,能夠把遺傳算法隨機(jī)選擇交叉、變異優(yōu)化后的BP神經(jīng)網(wǎng)絡(luò)不同的預(yù)測(cè)結(jié)果綜合起來,實(shí)現(xiàn)AdaBoost強(qiáng)預(yù)測(cè)器“優(yōu)中選優(yōu)”的目標(biāo),最大限度地提高了模型預(yù)測(cè)精度的同時(shí)也驗(yàn)證了提出的基于遺傳算法優(yōu)化的BP-AdaBoost強(qiáng)預(yù)測(cè)模型在大壩變形監(jiān)測(cè)中的優(yōu)越性和可行性。

3 結(jié)束語(yǔ)

經(jīng)理論和算例分析,并與標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)模型、GA-BP遺傳神經(jīng)網(wǎng)絡(luò)模型對(duì)比表明,標(biāo)準(zhǔn)BP神經(jīng)網(wǎng)絡(luò)模型由于要設(shè)定適宜的模型參數(shù),并且初始閾值和權(quán)值是系統(tǒng)任意給定的,具有不確定性的預(yù)測(cè)結(jié)果;GA-BP遺傳神經(jīng)網(wǎng)絡(luò)模型雖用遺傳算法經(jīng)由隨機(jī)選擇變異、交叉優(yōu)化了BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值,彌補(bǔ)了BP神經(jīng)網(wǎng)絡(luò)容易陷入誤差函數(shù)的局部極值點(diǎn)的缺陷,在預(yù)測(cè)精度上有了一定程度的提高,最終閾值和權(quán)值仍由期望輸出目標(biāo)決定的,預(yù)測(cè)精度和穩(wěn)定性仍待提高;而GA-BP-AdaBoost強(qiáng)預(yù)測(cè)模型的弱預(yù)測(cè)器同時(shí)融合了遺傳算法全局優(yōu)化和BP神經(jīng)網(wǎng)絡(luò)的局部尋優(yōu)特點(diǎn),同時(shí)AdaBoost強(qiáng)預(yù)測(cè)器能夠通過給弱預(yù)測(cè)器的若干預(yù)測(cè)序列賦予不同的權(quán)重,綜合了不同預(yù)測(cè)序列的優(yōu)勢(shì),實(shí)現(xiàn)了AdaBoost強(qiáng)預(yù)測(cè)器“優(yōu)中選優(yōu)”的目標(biāo),最大限度的提升了預(yù)測(cè)精度,證實(shí)了提出的基于GA-BP-AdaBoost強(qiáng)預(yù)測(cè)模型在大壩變形監(jiān)測(cè)中的可行性和實(shí)用性。通常GA-BP-AdaBoost強(qiáng)預(yù)測(cè)模型更加適合非線性模型,但針對(duì)一些因?yàn)闃颖緮?shù)量小、樣本分布不均勻而造成神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)誤差大的問題,還有待后續(xù)進(jìn)一步研究。