李 喆

(新疆大學(xué) 網(wǎng)絡(luò)與信息技術(shù)中心,新疆 烏魯木齊 830046)

?

基于Chebyshev神經(jīng)網(wǎng)絡(luò)的非線(xiàn)性動(dòng)態(tài)系統(tǒng)預(yù)測(cè)

李 喆

(新疆大學(xué) 網(wǎng)絡(luò)與信息技術(shù)中心,新疆 烏魯木齊 830046)

針對(duì)非線(xiàn)性動(dòng)態(tài)系統(tǒng)的預(yù)測(cè)常受到噪聲或其他過(guò)程的耦合影響，使得規(guī)律變得難以發(fā)現(xiàn)的問(wèn)題，提出了以一組Chebyshev正交基函數(shù)作為神經(jīng)網(wǎng)絡(luò)中各隱神經(jīng)元的激勵(lì)函數(shù)的新型的Chebyshev基函數(shù)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型.將該模型作為非線(xiàn)性動(dòng)態(tài)系統(tǒng)預(yù)測(cè)模型，并采用基于粒子群和模擬退火組成的文化基因算法優(yōu)化神經(jīng)網(wǎng)絡(luò)的權(quán)值，可以達(dá)到很高的預(yù)測(cè)精度和很好的預(yù)測(cè)結(jié)果.Chebyshev神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)的BP(back propagation)神經(jīng)網(wǎng)絡(luò)相比，工作量大大減少，加快了收斂性.文化基因算法用于確定權(quán)值的Chebyshev神經(jīng)網(wǎng)絡(luò)分別與粒子群和模擬退火優(yōu)化的Chebyshev神經(jīng)網(wǎng)絡(luò)相比具有更好的擬合效果.

Chebyshev神經(jīng)網(wǎng)絡(luò)；非線(xiàn)性動(dòng)態(tài)系統(tǒng)；文化基因算法；預(yù)測(cè)

在實(shí)際的工程領(lǐng)域和科學(xué)研究中，許多系統(tǒng)都可以看做是一類(lèi)存在較高不完整性和隨機(jī)性的非線(xiàn)性動(dòng)態(tài)時(shí)變系統(tǒng)[1]，很難利用確定的機(jī)理模型進(jìn)行描述與預(yù)測(cè).由于神經(jīng)網(wǎng)絡(luò)具有高度的非線(xiàn)性映射特性和高度的并行計(jì)算能力，近年來(lái)被廣泛用來(lái)解決實(shí)際的預(yù)測(cè)問(wèn)題，在很多領(lǐng)域都取得了成功的應(yīng)用[2-5].但對(duì)于高度非線(xiàn)性的動(dòng)態(tài)系統(tǒng)，用于預(yù)測(cè)的神經(jīng)網(wǎng)絡(luò)模型會(huì)更加復(fù)雜，權(quán)值更難確定.針對(duì)這些問(wèn)題，筆者將Chebyshev神經(jīng)網(wǎng)絡(luò)[6-7]與文化基因算法[8-9]相結(jié)合，構(gòu)造了一種基于文化基因算法優(yōu)化的Chebyshev神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型.

Chebyshev神經(jīng)網(wǎng)絡(luò)具有網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單、學(xué)習(xí)收斂速度快、高精度逼近任意非線(xiàn)性映射等優(yōu)異特點(diǎn)[10-11]；文化基因算法(memetic algorithm，簡(jiǎn)稱(chēng)MA)是一種全局的種群進(jìn)化與局部的個(gè)體學(xué)習(xí)的協(xié)同，能很好地解決高維優(yōu)化問(wèn)題尋優(yōu)過(guò)程中易陷入局部最優(yōu)的不足.因此，將該模型用于非線(xiàn)性動(dòng)態(tài)系統(tǒng)的預(yù)測(cè)問(wèn)題中，能取得很高的預(yù)測(cè)精度和預(yù)測(cè)結(jié)果.

1 Chebyshev神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型

令x=cosθ，則θ=arccosx.則由下式定義的函數(shù)是x的n次正交多項(xiàng)式.

筆者采用第一類(lèi)正交基函數(shù)，由定義1可得出遞推公式為

(1)

Chebyshev神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型如圖1所示[12].

圖1 Chebyshev神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型Fig.1 The model of Chebyshev neural network

2 文化基因算法

Meme是 R.Dawkins于 1976年首次提出的.在Meme理論中，meme作為文化的基本單位，通過(guò)模仿學(xué)習(xí)而傳播，并代代相傳.在這個(gè)過(guò)程中，每個(gè)個(gè)體通過(guò)meme的傳遞進(jìn)行學(xué)習(xí)和自我調(diào)整，提高自身的競(jìng)爭(zhēng)力[13].針對(duì)網(wǎng)絡(luò)權(quán)值的確定問(wèn)題是一個(gè)多維的優(yōu)化問(wèn)題,筆者提出了改進(jìn)的粒子群算法作為全局搜索策略和改進(jìn)的模擬退火算法作為局部搜索策略的文化基因算法.粒子群算法具有執(zhí)行效率高等優(yōu)點(diǎn)，模擬退火算法具有能使搜索跳出局部最優(yōu)，并以較大概率取得全局最優(yōu)解，具有較強(qiáng)的魯棒性、全局收斂性等優(yōu)點(diǎn).筆者選取粒子群算法作為全局搜索策略，在搜索過(guò)程中，利用模擬退火算法對(duì)每次迭代過(guò)程中產(chǎn)生的群體極值進(jìn)行局部退火搜索.這種協(xié)調(diào)方式即提高了搜索的效率又提高了搜索的精度.粒子群算法的基本原理源于對(duì)鳥(niǎo)群捕食行為的仿真.模擬退火算法(simulated annealing，簡(jiǎn)稱(chēng)SA)是隨機(jī)的從某一較高初溫出發(fā)，隨著溫度參數(shù)的不斷下降,又結(jié)合了概率突跳特性，即在局部最優(yōu)解處能概率性地跳出，并最終趨于全局最優(yōu).

(2)

模擬退火算法通過(guò)降溫來(lái)進(jìn)行循環(huán)迭代，即

(3)

其中：α為衰減因子.

當(dāng)溫度達(dá)到預(yù)定的終止溫度時(shí)，此時(shí)得到的最優(yōu)解代替全局的最優(yōu)解，進(jìn)行下一次的迭代，直至迭代結(jié)束.筆者文中引入了收縮因子s[14-15],可以有效地避免在搜索過(guò)程中陷入局部最優(yōu),得到

其中：φ=c1+c2；φ=c1+c2；i=1，2，…，N；j為微粒的第j維；k為迭代次數(shù)；c1,c2為加速常數(shù)；r1，r2為兩個(gè)相互獨(dú)立的隨機(jī)函數(shù).

筆者在傳統(tǒng)的模擬退火算法的基礎(chǔ)上中設(shè)置一個(gè)儲(chǔ)存記憶器，用于保存每次迭代的最優(yōu)解，最后選用min指令，找到儲(chǔ)存記憶器中最優(yōu)解中的最優(yōu).如下公式

其中：ω*為退火過(guò)程中目標(biāo)函數(shù)確定的最優(yōu)解，Q(ω)為目標(biāo)函數(shù)值.

3 MA優(yōu)化的Chebyshev神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型構(gòu)造

(4)

基于MA優(yōu)化的Chebyshev神經(jīng)網(wǎng)絡(luò)的非線(xiàn)性動(dòng)態(tài)系統(tǒng)預(yù)測(cè)，具體實(shí)現(xiàn)步驟如下

Step 1 確定Chebyshev神經(jīng)網(wǎng)絡(luò)動(dòng)態(tài)模型的規(guī)模，選取合適的結(jié)構(gòu)；

Step 2 種群初始化，設(shè)置各參數(shù)；

Step 3 將每個(gè)粒子對(duì)應(yīng)的權(quán)值帶入神經(jīng)網(wǎng)絡(luò)模型，計(jì)算粒子的適應(yīng)度值即預(yù)測(cè)模型的輸出與目標(biāo)輸出的誤差，記錄個(gè)體極值和群體極值；

Step 4 粒子群算法進(jìn)行全局搜索，更新粒子的速度和方向，記錄個(gè)體極值和群體極值；

Step 5 對(duì)每次迭代結(jié)果，利用模擬退火算法對(duì)群體極值進(jìn)行局部搜索，記錄個(gè)體極值和群體極值；

Step 6 更新粒子，達(dá)到指定的迭代次數(shù)，繼續(xù)，否則轉(zhuǎn)回Step 3，繼續(xù)；

Step 7 當(dāng)達(dá)到迭代次數(shù)時(shí)，從中選取最大適應(yīng)度粒子，將該粒子對(duì)應(yīng)的權(quán)值認(rèn)定為最佳權(quán)值；

Step 8 執(zhí)行Chebyshev神經(jīng)網(wǎng)絡(luò)模型對(duì)非線(xiàn)性系統(tǒng)的預(yù)測(cè)；

Step 9 結(jié)束.

建模流程圖如圖2所示.

圖2 流程圖Fig.2 The flow chart

4 實(shí)驗(yàn)仿真與分析

確定選用2*5*1的Chebyshev神經(jīng)網(wǎng)絡(luò)動(dòng)態(tài)模型，MA設(shè)置參數(shù)：初始溫度100，溫度下降系數(shù)0.8，MARKOV鏈長(zhǎng)100，終止溫度0.01，粒子數(shù)目80，迭代次數(shù)200，收縮因子s=0.7，加速因子c1=c2=1.49.為了比較方便，BP神經(jīng)網(wǎng)絡(luò)和PSO，SA都設(shè)置同樣的參數(shù).利用基于MA優(yōu)化的Chebyshev神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型和BP神經(jīng)網(wǎng)絡(luò)模型對(duì)非線(xiàn)性動(dòng)態(tài)系統(tǒng)進(jìn)行預(yù)測(cè)，確定的權(quán)值為

c=[0.264 0;0.226 7;0.257 5;0.174 2;0.276 5],

得到的預(yù)測(cè)值輸出和實(shí)際輸出結(jié)果如圖3所示.

Chebyshev神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)值與實(shí)際輸出值的誤差值如圖4所示，BP神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)值與實(shí)際輸出值的誤差如圖5所示，預(yù)測(cè)結(jié)果曲線(xiàn)如圖6所示.

圖3 預(yù)測(cè)結(jié)果圖Fig.3 The predicted results figure

圖4 Chebyshev網(wǎng)絡(luò)預(yù)測(cè)誤差圖Fig.4 The prediction error of Chebyshev network

圖5 BP網(wǎng)絡(luò)預(yù)測(cè)誤差圖Fig.5 The prediction error of BP network

圖6 預(yù)測(cè)結(jié)果比較圖Fig.6 The comparison of the predicted results

由圖3可以看出，Chebyshev神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的預(yù)測(cè)值與實(shí)際輸出值擬合得較好，基本達(dá)到了全部一致，而基于MA優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)值有部分點(diǎn)不能很好地與實(shí)際輸出達(dá)到一致，表明了基于MA優(yōu)化的Chebyshev神經(jīng)網(wǎng)絡(luò)與BP網(wǎng)絡(luò)相比，具有更好的預(yù)測(cè)精度.從圖4、5可以看出，Chebyshev神經(jīng)網(wǎng)絡(luò)對(duì)非線(xiàn)性動(dòng)態(tài)系統(tǒng)的預(yù)測(cè)絕對(duì)誤差可達(dá)到10-8，而B(niǎo)P神經(jīng)網(wǎng)絡(luò)對(duì)非線(xiàn)性動(dòng)態(tài)系統(tǒng)的預(yù)測(cè)絕對(duì)誤差為10-6，表明Chebyshev神經(jīng)網(wǎng)絡(luò)具有更高的預(yù)測(cè)精度和穩(wěn)定性.

采用不同的算法優(yōu)化Chebyshev神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的權(quán)值，可得到如圖6所示的預(yù)測(cè)結(jié)果曲線(xiàn).由圖6可以看到，基于MA優(yōu)化的預(yù)測(cè)結(jié)果精度要高于PSO和SA優(yōu)化的預(yù)測(cè)模型，表明MA算法具有更好的優(yōu)化效果.

5 結(jié)束語(yǔ)

筆者提出了一種以Chebyshev基函數(shù)作為隱層神經(jīng)元激勵(lì)函數(shù)，并使用以改進(jìn)粒子群算法為全局搜索策略，改進(jìn)模擬退火算法為局部搜索策略的文化基因算法來(lái)確定權(quán)值，克服了BP神經(jīng)網(wǎng)絡(luò)權(quán)值難以選取、迭代過(guò)程長(zhǎng)、易陷入局部最優(yōu)等缺點(diǎn).仿真結(jié)果表明，基于MA優(yōu)化的Chebyshev神經(jīng)網(wǎng)絡(luò)能在預(yù)測(cè)非線(xiàn)性動(dòng)態(tài)系統(tǒng)時(shí)達(dá)到滿(mǎn)意的預(yù)測(cè)效果，其泛化性能和預(yù)測(cè)能力遠(yuǎn)遠(yuǎn)優(yōu)于BP神經(jīng)網(wǎng)絡(luò).文化基因算法通過(guò)并行算法和串行算法的結(jié)合，將權(quán)值的確定問(wèn)題轉(zhuǎn)化為優(yōu)化問(wèn)題，使極值的確定更為精確，減少了Chebyshev神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)次數(shù)，使工作量大大減少.

[1] 穆朝絮,張瑞民,孫長(zhǎng)銀.基于粒子群優(yōu)化的非線(xiàn)性系統(tǒng)最小二乘支持向量機(jī)預(yù)測(cè)控制方法[J].控制理論與應(yīng)用,2010,2:164-168.

[2] 馮瑋,曹繼昌,吳舒婷,等.應(yīng)用BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)精鍛斜齒輪損傷因子[J].武漢理工大學(xué)學(xué)報(bào)(信息與管理工程版),2014,3:328-331.

[3] 董世超.基于ARIMA-BP神經(jīng)網(wǎng)絡(luò)模型海流流速預(yù)測(cè)研究[J].中國(guó)科技信息,2014,2:86-88.

[4] 侯越.基于改進(jìn)T-S模糊神經(jīng)網(wǎng)絡(luò)的交通流量預(yù)測(cè)[J].計(jì)算機(jī)科學(xué)與探索,2014,1:121-126.

[5] 周敘國(guó),王偉.基于自適應(yīng)PSO優(yōu)化的空燃比神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)控制[J].西南師范大學(xué)學(xué)報(bào) (自然科學(xué)版),2014,5:64-68.

[6] 鄒阿金,沈洪遠(yuǎn).Chebyshev神經(jīng)網(wǎng)絡(luò)辨識(shí)器[J] .煤礦自動(dòng)化,1998,4:9-10.

[7] 王宏偉,于雙和.基于Chebyshev正交函數(shù)神經(jīng)網(wǎng)絡(luò)的混沌系統(tǒng)魯棒自適應(yīng)同步[J].控制理論與應(yīng)用,2009,10:1100-1104.

[8] FRASER G,ARCURI A,MCMINN P.A memetic algorithm for whole test suite generation[J].Journal of Systems and Software,2015,103:311-327.

[9] HARRIS M,BERRETTA R,INOSTROZA-PONTA M,et al.A memetic algorithm for the quadraticassignment problem with parallel local search[C]//Evolutionary Computation (CEC),2015 IEEE Congress on IEEE,2015:838-845.

[10] MALL S,CHAKRAVERTY S.Numerical solution of nonlinear singular initial value problems of Emden-Fowler type using Chebyshev neural network method[J].Neurocomputing,2015,149:975-982.

[11] ZOU A,ZHANG S,TANG Y,et al.Anti-counterfeit algorithm based on Chebyshev chaotic neural networks[J].Chaos,2015,1 (4):1.

[12] 鄒阿金,沈建中.基于Chebyshev神經(jīng)網(wǎng)絡(luò)的非線(xiàn)性預(yù)測(cè)應(yīng)用研究[J].計(jì)算機(jī)應(yīng)用,2001,4:14-15.

[13] 段海濱，張祥銀，徐春芳.仿生智能計(jì)算[M].北京:科學(xué)出版社,2011.

[14] 宋莉莉,張宏立.應(yīng)用改進(jìn)粒子群算法辨識(shí)Hammerstein模型[J].計(jì)算機(jī)仿真，2013,3:269-272.

[15] KENNEDY J，EBERHART R C． Particle swarm optimization[C]// International Conferention Neural Networks，Perth，Australia，IEEE，1995:1942-1948．

(責(zé)任編輯 朱夜明)

The prediction of nonlinear dynamic system based on Chebyshev neural networks

LI Zhe

(Center of Network and Information Technology,Xinjiang University,Urumqi 830046,China)

For prediction of nonlinear dynamic systems is often affected by noise or coupling of other process,so the regularity is difficult to find.This paper put forward a set of Chebyshev orthogonal basis functions,as the excitation function of hidden neurons in neural networks,and constructed a new type of Chebyshev basis function neural network prediction model.This model was used as the nonlinear dynamic system prediction models,and optimized the weights of neural network by the memetic algorithm based on particle swarm optimization and simulated annealing algorithm.This method could achieve high prediction precision and good prediction results.Chebyshev neural network greatly reduced the workload,sped up the convergence than the traditional BP neural network.When compared with simulated annealing optimization or particle swarm optimization Chebyshev neural network,Chebyshev of memetic algorithm,when it was used to determine the weights of the neural network,had better fitting effect.

Chebyshev neural network;nonlinear dynamic systems;memetic algorithm;prediction

10.3969/j.issn.1000-2162.2016.06.007

2015-05-16

國(guó)家自然科學(xué)基金資助項(xiàng)目(51575469)

李 喆(1976-)，女，江蘇泰州人，新疆大學(xué)講師.

TP39

A

1000-2162(2016)06-0031-06