曹 斌，邱振戈，朱述龍，曹彬才

(1. 上海海洋大學(xué)海洋科學(xué)學(xué)院，上海 201306； 2. 信息工程大學(xué)，河南 鄭州 450001)

BP神經(jīng)網(wǎng)絡(luò)遙感水深反演算法的改進(jìn)

曹 斌1，邱振戈1，朱述龍2，曹彬才2

(1. 上海海洋大學(xué)海洋科學(xué)學(xué)院，上海 201306； 2. 信息工程大學(xué)，河南 鄭州 450001)

針對BP神經(jīng)網(wǎng)絡(luò)遙感水深反演算法(簡稱傳統(tǒng)BP算法)的缺點，提出了改進(jìn)型BP神經(jīng)網(wǎng)絡(luò)遙感水深反演算法(簡稱改進(jìn)型BP算法)，其基本原理是在模型訓(xùn)練過程中反復(fù)運用粒子群算法對BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值進(jìn)行優(yōu)化以彌補(bǔ)傳統(tǒng)BP算法的不足。試驗表明：改進(jìn)型BP算法的訓(xùn)練迭代收斂速度明顯快于傳統(tǒng)BP算法，淺水區(qū)的水深反演精度優(yōu)于傳統(tǒng)BP算法，且學(xué)習(xí)算法對初始權(quán)值和閾值不敏感。

遙感水深反演；傳統(tǒng)BP算法；粒子群算法；改進(jìn)型BP算法；權(quán)值和閾值優(yōu)化

BP神經(jīng)網(wǎng)絡(luò)是采用誤差逆向傳播算法訓(xùn)練得到模型參數(shù)的多層前饋人工神經(jīng)網(wǎng)絡(luò)，由于BP神經(jīng)網(wǎng)絡(luò)對非線性映射關(guān)系有很強(qiáng)的逼近能力，因此經(jīng)常作為非線性遙感水深反演模型使用[1-9]。這種以BP神經(jīng)網(wǎng)絡(luò)作為像元光譜特征與對應(yīng)水深值非線性映射關(guān)系的遙感水深反演算法，即為BP神經(jīng)網(wǎng)絡(luò)遙感水深反演算法(簡稱傳統(tǒng)BP算法)。

但傳統(tǒng)BP算法也存在許多問題，如學(xué)習(xí)算法收斂速度較慢、學(xué)習(xí)算法對初始權(quán)值和閾值比較敏感等。這些問題的存在，既影響模型的學(xué)習(xí)訓(xùn)練效率，也影響遙感水深反演結(jié)果的質(zhì)量。

傳統(tǒng)BP算法存在的問題主要與BP算法學(xué)習(xí)過程有關(guān)，即由學(xué)習(xí)算法尋求最優(yōu)權(quán)值和閾值的能力不足導(dǎo)致的，而這種能力不足可以通過引進(jìn)其他優(yōu)化算法來彌補(bǔ)。由于粒子群算法是一種高性能優(yōu)化算法，因此將粒子群算法與BP神經(jīng)網(wǎng)絡(luò)遙感水深反演算法結(jié)合起來，充分運用粒子群算法的全局優(yōu)化能力去彌補(bǔ)傳統(tǒng)BP算法的不足，進(jìn)而解決傳統(tǒng)BP算法存在的問題。下面先簡要說明傳統(tǒng)BP算法存在問題，然后重點介紹提出的改進(jìn)型BP神經(jīng)網(wǎng)絡(luò)遙感水深反演算法(簡稱改進(jìn)型BP算法)，最后通過試驗來檢驗改進(jìn)型BP算法的實際效果。

1 傳統(tǒng)BP算法及存在問題

對于多光譜遙感水深反演，傳統(tǒng)BP算法通常采用如圖1所示三層神經(jīng)網(wǎng)絡(luò)作為像元光譜特征與對應(yīng)水深值的非線性映射關(guān)系。其中，輸入層各節(jié)點主要負(fù)責(zé)接收外界輸入信息(像元的光譜特征)，并將其直接傳送給中間層各節(jié)點，它本身不對外部輸入數(shù)據(jù)進(jìn)行處理。中間層各節(jié)點主要對輸入層傳送來的數(shù)據(jù)進(jìn)行處理后傳送至輸出層。輸出層節(jié)點主要對中間層傳送來的數(shù)據(jù)進(jìn)行處理后向外界輸出結(jié)果(像元的水深值)。

圖1 BP神經(jīng)網(wǎng)絡(luò)遙感水深反演模型

傳統(tǒng)BP算法的網(wǎng)絡(luò)權(quán)值采用誤差逆向傳播算法學(xué)習(xí)訓(xùn)練得到。學(xué)習(xí)訓(xùn)練由信息正向傳播和誤差反向傳播兩個過程交替進(jìn)行來完成，當(dāng)網(wǎng)絡(luò)輸出與期望結(jié)果之間的誤差很小或?qū)W習(xí)次數(shù)達(dá)到規(guī)定上限時，學(xué)習(xí)訓(xùn)練過程結(jié)束，輸出網(wǎng)絡(luò)的權(quán)值和閾值。

傳統(tǒng)BP算法存在的主要問題如下：

(1) 收斂速度慢。由于BP神經(jīng)網(wǎng)絡(luò)的一個或幾個可調(diào)參數(shù)(權(quán)值或閾值)對所有節(jié)點的輸出都有影響，因此在網(wǎng)絡(luò)學(xué)習(xí)過程中，每次改變輸入都要對網(wǎng)絡(luò)所有權(quán)值進(jìn)行調(diào)整，從而導(dǎo)致網(wǎng)絡(luò)學(xué)習(xí)效率不高。另外，當(dāng)節(jié)點輸出接近0或1時，相關(guān)權(quán)值調(diào)整效果不明顯，這也是導(dǎo)致網(wǎng)絡(luò)學(xué)習(xí)收斂速度十分緩慢的重要原因。

(2) 學(xué)習(xí)訓(xùn)練算法對網(wǎng)絡(luò)初始權(quán)值和閾值(即節(jié)點處理模型中的偏置)比較敏感。初始權(quán)值和閾值不同，學(xué)習(xí)結(jié)果往往會收斂到不同的極小值，從而導(dǎo)致每次學(xué)習(xí)訓(xùn)練結(jié)果不一致。

2 傳統(tǒng)BP算法的改進(jìn)

傳統(tǒng)BP算法存在的問題，既影響網(wǎng)絡(luò)權(quán)值的學(xué)習(xí)訓(xùn)練效率，也影響反演結(jié)果的質(zhì)量(包括精度和可靠性)。為了改善BP算法的性能，本文運用粒子群算法的全局優(yōu)化能力，在模型訓(xùn)練過程中反復(fù)利用粒子群算法對BP神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值進(jìn)行優(yōu)化，來彌補(bǔ)BP算法的不足。

粒子群算法(particle swarm optimization，PSO)是Kennedy等在1995年提出的一種基于迭代的優(yōu)化算法[10]，它先將尋優(yōu)問題初始化為一組隨機(jī)解，再通過迭代逐步找到最優(yōu)解。由于粒子群算法具有優(yōu)化能力強(qiáng)、收斂速度快、魯棒性好、簡單易實現(xiàn)等特點，將它與BP神經(jīng)網(wǎng)絡(luò)算法配合使用，用于人工神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值(包括初始權(quán)值和閾值、學(xué)習(xí)過程中的權(quán)值和閾值)優(yōu)化，能有效彌補(bǔ)BP神經(jīng)網(wǎng)絡(luò)算法的不足，提高BP神經(jīng)網(wǎng)絡(luò)算法的學(xué)習(xí)訓(xùn)練效率和反演成果質(zhì)量[11-14]。

改進(jìn)型BP算法就是將粒子群算法與BP神經(jīng)網(wǎng)絡(luò)遙感水深反演算法(即傳統(tǒng)BP算法)結(jié)合起來使用的一種新算法，其流程如圖2所示。

圖2 改進(jìn)型BP算法的流程

下面以傳統(tǒng)BP模型初始網(wǎng)絡(luò)權(quán)值和閾值優(yōu)化為例，詳細(xì)給出該算法的具體步驟如下：

(1) 根據(jù)BP模型的權(quán)值和閾值數(shù)目，確定粒子群算法搜索空間的維數(shù)D。針對圖1所示的三層BP神經(jīng)網(wǎng)絡(luò)，假如輸入層節(jié)點數(shù)為l，隱層節(jié)點數(shù)為m，輸出層節(jié)點數(shù)為1，則該神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值總數(shù)目為l×m+m+m×1+1。由于是對傳統(tǒng)BP模型的權(quán)值和閾值進(jìn)行優(yōu)化，因此粒子群算法搜索空間的維數(shù)D=l×m+m+m×1+1。

(2) 設(shè)置粒子群算法的參數(shù)。粒子數(shù)M=30；學(xué)習(xí)因子c1≈c2≈2.05；最大限制速度Vmax=1；速度繼承因子ω采用線性遞減慣性權(quán)重策略[15-16]；r1和r2為均勻分布在[0，1]之間的兩個隨機(jī)數(shù)。

(3) 初始化每個粒子的位置和速度。對于每個粒子，利用隨機(jī)數(shù)函數(shù)rand( )，生成D個0～1之間的隨機(jī)數(shù)并將其作為該粒子初始位置的各個分量值，即

(1)

每個粒子的初始速度為

(2)

(4) 分別按照式(3)和式(4)初始化每個粒子的個體最優(yōu)解Pi和粒子群最優(yōu)解Pg

(3)

Pg=P1

(4)

(5) 令迭代次數(shù)計數(shù)器k=0。

(8) 按照式(5)和式(6)更新每個粒子的速度和位置

(5)

(6)

(9) 若未找到粒子群最優(yōu)解Pg且迭代次數(shù)未達(dá)到規(guī)定上限，則k=k+1并轉(zhuǎn)到步驟(6)；否則停止迭代，輸出粒子群最優(yōu)解Pg。

(10) 將粒子群最優(yōu)解Pg作為BP模型的初始權(quán)值和閾值，代入BP模型進(jìn)行學(xué)習(xí)訓(xùn)練，得到優(yōu)化后的BP模型。

(11) 利用優(yōu)化后的BP模型，求解各個反演點的水深值。

3 試驗與分析

為了驗證改進(jìn)型BP算法的實際效果，設(shè)計了兩個試驗。第一個試驗主要檢驗改進(jìn)型BP算法的學(xué)習(xí)效率和反演結(jié)果精度。第二個試驗主要檢驗改進(jìn)型BP算法對模型參數(shù)(即初始權(quán)值和閾值)的敏感性。

3.1 試驗數(shù)據(jù)情況

試驗數(shù)據(jù)為海南省三沙市甘泉島地區(qū)的遙感影像和實測水深數(shù)據(jù)。遙感影像為WorldView-2衛(wèi)星2014年4月2日獲取的4個標(biāo)準(zhǔn)譜段的多光譜遙感影像，分別為藍(lán)色波段B1(450～510 nm)、綠色波段B2(510～580 nm)、紅色波段B3(630～690 nm)、近紅外波段B4(770～895 nm)。實測水深數(shù)據(jù)取自該地區(qū)同時期水深圖，經(jīng)過配準(zhǔn)和重采樣處理后已轉(zhuǎn)化為圖像上對應(yīng)像素的水深值。衛(wèi)星影像及試驗所用的500個訓(xùn)練樣本點和719個檢查點在影像上的分布情況如圖3所示。

由于采用波段比值可以減少海水類型和海底底質(zhì)對反演精度的影響[5]，因此本文試驗不是直接采用樣本點的光譜數(shù)據(jù)作為反演模型的輸入，而是先對藍(lán)(B1)、綠(B2)、紅(B3)和近紅外波段(B4)兩兩求比值，得到B1/B2、B1/B3、B1/B4、B2/B3、B2/B4、B3/B4共6個比值，再對6個比值作PCA變換，取變換結(jié)果的前3個分量作為反演模型的輸入數(shù)據(jù)。

圖3 試驗區(qū)的衛(wèi)星影像和實測水深點

3.2 模型結(jié)構(gòu)說明

試驗中，改進(jìn)型BP算法和傳統(tǒng)BP算法都采用圖1所示的BP神經(jīng)網(wǎng)絡(luò)遙感水深反演模型。其中，輸入層節(jié)點數(shù)為3，對應(yīng)上述6個比值經(jīng)PCA變換后的前3個分量。輸出層節(jié)點數(shù)為1，激活函數(shù)都為線性函數(shù)，輸出值為像素點的水深值。隱層節(jié)點數(shù)通過反復(fù)試驗確定為11，激活函數(shù)為Sigmoid函數(shù)。兩種算法訓(xùn)練過程中，當(dāng)?shù)螖?shù)大于5000或迭代過程中前后兩次網(wǎng)絡(luò)輸出值的差小于0.001m時，停止訓(xùn)練，輸出訓(xùn)練結(jié)果(即網(wǎng)絡(luò)的權(quán)值和閾值)。

改進(jìn)型BP算法與傳統(tǒng)BP算法的區(qū)別在于：傳統(tǒng)BP算法僅采用誤差逆向傳播算法訓(xùn)練得到網(wǎng)絡(luò)權(quán)值；而改進(jìn)型BP算法在采用誤差逆向傳播算法訓(xùn)練網(wǎng)絡(luò)權(quán)值的同時，還采用粒子群算法對網(wǎng)絡(luò)權(quán)值和閾值進(jìn)行優(yōu)化。

3.3 訓(xùn)練效率和反演精度試驗

首先利用500個訓(xùn)練樣本點的光譜特征和實測水深數(shù)據(jù)，分別運用傳統(tǒng)BP算法和改進(jìn)型BP算法求解模型參數(shù)，得到權(quán)值和閾值不完全相同的2個神經(jīng)網(wǎng)絡(luò)模型。為了評價兩種算法的學(xué)習(xí)訓(xùn)練效率，分別記錄兩種算法的訓(xùn)練迭代次數(shù)，結(jié)果見表1。

表1 兩種算法的訓(xùn)練效率和反演精度

然后，分別運用權(quán)值和閾值不完全相同的2個神經(jīng)網(wǎng)絡(luò)模型，反演719個檢查點的水深值。為了衡量兩種算法的反演精度，分別計算兩種算法對719個檢查點的水深反演值與實測值的平均絕對誤差，結(jié)果見表1。

為了直觀反映各檢查點的水深反演值與實測值的偏離情況，對每種算法以實測水深值作為平面直角坐標(biāo)系的橫軸、反演水深值作為縱軸，將所有檢查點繪制在該坐標(biāo)系中，得到兩種算法的反演值與實測值的偏離情況，如圖4所示。

圖4

從表1可以看出：傳統(tǒng)BP算法的訓(xùn)練迭代次數(shù)為2386，迭代次數(shù)多，收斂速度慢；而改進(jìn)型BP算法的訓(xùn)練迭代次數(shù)大幅度減少為323，表明其收斂速度明顯快于傳統(tǒng)BP算法。從表1還可以看出：傳統(tǒng)BP算法反演結(jié)果的平均絕對誤差為0.766 m，而改進(jìn)型BP算法的平均絕對誤差下降為0.732 m，說明改進(jìn)型BP算法的反演精度總體上略優(yōu)于傳統(tǒng)BP算法。

比較圖4(a)和圖4(b)可以看出：對于實測水深小于4 m的檢查點，改進(jìn)型BP算法的反演精度普遍優(yōu)于傳統(tǒng)BP算法；對于實測水深大于4 m的檢查點，兩種算法反演精度大體相當(dāng)。另外反演值小于實測值的檢查點多于反演值大于實測值的檢查點。

3.4 初始權(quán)值和閾值的敏感性試驗

由于改進(jìn)型BP算法的初始權(quán)值和閾值是算法隨機(jī)生成的，因此可以認(rèn)為第1次試驗與第2次試驗的初始權(quán)值和閾值是不一樣的。下面通過兩次試驗的結(jié)果來觀察改進(jìn)型BP算法對初始權(quán)值和閾值的敏感性。

每次試驗都是先利用500個訓(xùn)練樣本點的光譜特征和實測水深數(shù)據(jù)，運用改進(jìn)型BP算法求解網(wǎng)絡(luò)權(quán)值和閾值，然后再運用訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)模型反演719個檢查點的水深值。兩次試驗中719個檢查點的平均絕對誤差見表2。

表2 改進(jìn)型BP算法兩次試驗的反演精度

從表2可以看出：兩次試驗結(jié)果的平均絕對誤差僅相差0.006 m(第1次為0.732 m，第2次為0.738 m)，相較于遙感水深反演能力，該誤差是可以忽略不計的，因此可以認(rèn)為兩次反演結(jié)果是一樣的，這說明改進(jìn)型BP算法對初始權(quán)值和初始閾值是不敏感的。

4 結(jié)論與設(shè)想

將粒子群算法與傳統(tǒng)BP算法結(jié)合起來，在訓(xùn)練過程中反復(fù)運用粒子群算法對BP神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值進(jìn)行優(yōu)化，可以彌補(bǔ)傳統(tǒng)BP算法的不足。通過理論分析和試驗研究，可以得出如下結(jié)論：

(1) 改進(jìn)型BP算法的訓(xùn)練迭代收斂速度明顯快于傳統(tǒng)BP算法。

(2) 改進(jìn)型BP算法對神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和初始閾值不敏感，不會因為初始權(quán)值和初始閾值不同而導(dǎo)致訓(xùn)練結(jié)果存在明顯差異。

(3) 對于較淺水域(文中水深小于4 m)的檢查點，改進(jìn)型BP算法的反演精度明顯優(yōu)于傳統(tǒng)BP算法；對于較深水域(文中水深大于4 m)的檢查點，兩種算法反演精度大體相當(dāng)。

下一步，課題組將重點研究如何將基于光譜特征的水深反演方法與基于雙介質(zhì)衛(wèi)星攝影測量的水深立體測量方法[17]結(jié)合起來，進(jìn)一步提高遙感水深測量的精度和可靠性。

[1] 王艷姣, 張鷹. 基于BP人工神經(jīng)網(wǎng)絡(luò)的水體遙感測深方法研究[J]. 海洋工程, 2005, 23(4):33-38.

[2] ?ZCELIK C, YALCIN A. Remote Sensing of Water Depths in Shallow Waters via Artificial Neural Networks[J]. Estuarine Coastal & Shelf Science, 2010, 89(1):89-96.

[3] LEE K H, MIZUTANI N, FUJII T. Prediction of Wave Breaking on a Gravel Beach by an Artificial Neural Network[J]. Journal of Coastal Research, 2011, 27(27):318-328.

[4] NAGAMANI P V, CHAUHAN P, SANWLANI N, et al. Artificial Neural Network (ANN) Based Inversion of Benthic Substrate Bottom Type and Bathymetry in Optically Shallow Waters - Initial Model Results[J]. Journal of the Indian Society of Remote Sensing, 2012, 40(1):137-143.

[5] 張振興, 郝燕玲. 衛(wèi)星遙感多光譜淺海水深反演法[J]. 中國航海, 2012, 35(1):13-18.

[6] GHOlAMALIFARD M, KUTSER T, ESMAILI-SARI A, et al. Remotely Sensed Empirical Modeling of Bathymetry in the Southeastern Caspian Sea[J]. Remote Sensing, 2013, 5(6):2746-2762.

[7] MOHAMED H, MNEGM A, ZAHRAN M, et al. Assessment of Artificial Neural Network for Bathymetry Estimation Using High Resolution Satellite Imagery in Shallow Lakes: Case Study El Burullus Lake[C]∥Proceeding of Eighteenth International Water Technology Conference, Iwtc18 Sharm Elsheikh.[S.l.]：Research Gate，2015.

[8] 樊彥國, 劉金霞. 基于神經(jīng)網(wǎng)絡(luò)技術(shù)的遙感水深反演模型研究[J]. 海洋測繪, 2015, 35(4):20-23.

[9] 王正, 毛志華, 曾群,等. 基于BP ANN和B算法的黃河口水深遙感比較研究[J]. 華中師范大學(xué)學(xué)報(自然科學(xué)版)，2016, 50(1):112-119.

[10] KENNEDY J,EBERHART R. Particle Swarm Optimization[C]∥Proceeding of IEEE International Conference on Neural Networks. Perth：[s.n.],1995:1942-1948.

[11] DEVI S, JAGADEV A K, PATNAIK S. Learning an Artificial Neural Network Using Dynamic Particle Swarm Optimization-Backpropagation: Empirical Evaluation and Comparison[J].Journal of Information and Communication Convergence Engineering，2015,13(2):123-131.

[12] CHATTERJEE S, SARKAR S, HORE S, et al. Particle Swarm Optimization Trained Neural Network for Structural Failure Prediction of Multistoried RC Buildings[J].Neural Computing & Applications, 2016:1-12.

[13] 王剛剛, 廖慶, 徐玉蕊,等. 改進(jìn)型粒子群優(yōu)化算法的BP神經(jīng)網(wǎng)絡(luò)全息圖壓縮[J]. 吉林大學(xué)學(xué)報(信息科學(xué)版), 2016, 34(1):147-152.

[14] 楊尚波, 盧小平, 李珵,等. 基于混沌粒子群優(yōu)化神經(jīng)網(wǎng)絡(luò)的GPS高程擬合研究[J]. 測繪通報, 2013(9):5-8.

[15] SHI Y, EBERHART R C. Parameter Selection in Particle Swarm Optimization[C]∥Proceeding of International Conference on Evolutionary Programming VII.[S.l.]：Springer-Verlag, 1998:591-600.

[16] 劉錦萍, 郁金祥. 基于改進(jìn)的粒子群算法的多元線性回歸模型參數(shù)估計[J]. 計算機(jī)工程與科學(xué), 2010, 32(4):101-105.

[17] 曹彬才,邱振戈,朱述龍,等. 高分辨率衛(wèi)星立體雙介質(zhì)淺水水深測量方法[J].測繪學(xué)報,2016,45(8):952-963.

Improvement of BPANN Based Algorithm for Estimating Water Depth from Satellite Imagery

CAO Bin1，QIU Zhenge1，ZHU Shulong2，CAO Bincai2

(1. College of Marine Sciences, Shanghai Ocean University, Shanghai 201306, China; 2. Information Engineering University,Zhengzhou 450001, China)

BPANN algorithm is commonly used for estimating water depth from satellite imagery. In this paper, an improved BPANN algorithm is presented to overcome some disadvantages of BPANN algorithm. Its principle is that particle swarm optimization (PSO) is used to optimize the weights and thresholds of ANN in the process of training. The experiments show that improved BPANN algorithm has faster convergence speed and better generalization ability, it is not sensitive to initial weights and thresholds, and it can make more accurate results than BPANN algorithm.

estimating water depth from satellite imagery; backpropagation-based artificial neural network algorithm (BPANN algorithm); particle swarm optimization (PSO); improved BPANN algorithm; optimization of initial weights and thresholds

曹斌，邱振戈，朱述龍，等.BP神經(jīng)網(wǎng)絡(luò)遙感水深反演算法的改進(jìn)[J].測繪通報，2017(2)：40-44.

10.13474/j.cnki.11-2246.2017.0045.

2016-06-11；

2016-09-11

上海市科委科研基金(14590502200)

曹 斌(1992—)，男，碩士生，研究方向為海洋遙感監(jiān)測。E-mail：caobinalonzo@sina.com 通信作者： 朱述龍。E-mail：zhushulong668@sina.com

P237

A

0494-0911(2017)02-0040-05