胡志強，李文靜，喬俊飛

（1. 北京工業(yè)大學(xué) 信息學(xué)部，北京 100124; 2. 計算智能與智能系統(tǒng)北京市重點實驗室，北京 100124）

自從Hopfiled和Tank用提出的Hopfiled網(wǎng)絡(luò)(Hopfiled neural network, HNN)開創(chuàng)性成功解決旅行商(traveling salesman problem, TSP)問題以來，神經(jīng)網(wǎng)絡(luò)在解決優(yōu)化問題中開始得到廣泛關(guān)注和應(yīng)用[1]。由于HNN的算法依然采用傳統(tǒng)的梯度下降算法，極易陷入局部極小點，導(dǎo)致無法找到最優(yōu)解[2]。Chen等[3]在Hopfield網(wǎng)絡(luò)基礎(chǔ)上引入自反饋，并加入模擬退火(simulated annealing,SA)機制，提出暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)(transient chaot-ic neural network, TCNN)，通過混沌的遍歷性和偽隨機性克服了HNN局部極小問題?；煦缟窠?jīng)網(wǎng)絡(luò)(chaotic neural network, CNN)被證明是解決優(yōu)化問題的有效工具[3-7]。隨后，Zhang等[4]采用小波函數(shù)作為激勵函數(shù)，提出了WCNN模型，用來解決函數(shù)優(yōu)化問題；Liu等[5]在混沌神經(jīng)元模型中加入遲滯動力，提出了HCNN模型，并應(yīng)用于TSP問題中；Zhao等[6]引入高斯自反饋項，提出了CNNW模型，成功應(yīng)用于組合優(yōu)化問題。以上學(xué)者提出的CNN模型，雖然都在一定程度上提高了全局尋優(yōu)能力，但是大都缺乏一定的生物學(xué)機制，無法表征神經(jīng)元激勵與響應(yīng)的頻幅關(guān)系，不能充分體現(xiàn)出復(fù)雜多變腦部活動的非線性動力學(xué)特征和具有更加豐富的混沌全局搜索性能。因此，Hu等[7]基于腦電波的生物機制，將變頻正弦函數(shù)(frequency conversion sinusoidal, FCS)與Sigmoid函數(shù)加權(quán)和組成非單調(diào)激勵函數(shù)，提出了變頻正弦混沌神經(jīng)網(wǎng)絡(luò)(frequency conversion sinusoidal chaotic neural network, FCSCNN) 模型，進(jìn)一步提高了TCNN的混沌動力學(xué)特性和全局尋優(yōu)性能，更準(zhǔn)確地解決了函數(shù)優(yōu)化及TSP問題，驗證了模型有效性和可行性。

而人們研究TCNN的優(yōu)化計算方法，歸根結(jié)底是希望能夠看到其在硬件上的實現(xiàn)，進(jìn)而觀察和研究混沌神經(jīng)元的狀態(tài)和響應(yīng)，最終制造出混沌計算機[8]。但是，由于電子元器件或電路的不穩(wěn)定性，在一定情況下，不可避免地會出現(xiàn)不同程度的擾動，這會對FCSCNN性能產(chǎn)生影響，所以對該模型的抗擾動能力進(jìn)行實驗、評估、比較是很有必要的。因此，本文針對FCSCNN模型，通過引入不同程度的周期和非周期擾動，將其應(yīng)用到函數(shù)優(yōu)化和組合優(yōu)化問題上，分析其抗擾動能力，仿真實驗證明了FCSCNN具有較強的魯棒性和抗擾動能力。

1 帶擾動的變頻正弦混沌神經(jīng)元模型

TCNN多采用Sigmoid函數(shù)作為激勵函數(shù)，而非單調(diào)激勵函數(shù)比單調(diào)(Sigmoid)激勵函數(shù)更容易產(chǎn)生混沌，在尋優(yōu)過程中具有更好的全局搜索性能[9-10]?；谝陨侠碚撘约澳X電波的生物機制，F(xiàn)CSCNN模型獲得了較好的優(yōu)化效果[7,11]。由于來自外界的擾動有周期的和非周期的，因此本文分別用代表周期擾動的三角函數(shù)和非周期擾動的小波函數(shù)來進(jìn)行研究，在FCS神經(jīng)元模型的基礎(chǔ)上加入擾動項，來分析模型的抗擾動能力。建立如下帶擾動的FCS混沌神經(jīng)元模型：

神經(jīng)元的倒分岔圖和最大Lyapunov指數(shù)可以直觀體現(xiàn)出神經(jīng)元的動力學(xué)特性。Lyapunov指數(shù)大于零(非正無窮)，證明模型具有混沌行為，并且值越大表明混沌程度越強[5]。Lyapunov指數(shù)定義為

則對于帶擾動的FCS混沌神經(jīng)元模型有

式(10)中第2項表達(dá)式同文獻(xiàn)[7]，第3項如下：

由文獻(xiàn)[7]可知，相同模型參數(shù)下，提出的FCS混沌神經(jīng)元比標(biāo)準(zhǔn)的暫態(tài)混沌神經(jīng)元具有更復(fù)雜和更豐富的混沌動力學(xué)行為，具有更多的正值Lyapunov指數(shù)，并且混沌搜索的時間更長，這都為混沌全局尋優(yōu)提供了良好的動力學(xué)基礎(chǔ)。證實了提出的新的混沌神經(jīng)元模型的有效性和可行性。

進(jìn)而，為了驗證FCS混沌神經(jīng)元模型的魯棒性和抗擾動能力，當(dāng)設(shè)置擾動項為三角函數(shù)擾動時，當(dāng)選取參數(shù) k=1, β=0.004, ε1=0.02, I0=0.65,z(0)=0.9, A(0)= 0.6, ε2(0)=0.02, a=6, b=1, c=0.25,ε3=0.1固定不變時，分別取γ=0.002和γ=0.02時，F(xiàn)CS神經(jīng)元的倒分岔圖和最大Lyapunov指數(shù)時間演化圖分別如圖1～2所示。

圖 1 帶三角函數(shù)擾動(γ=0.002)的FCS神經(jīng)元倒分岔圖和最大Lyapunov指數(shù)圖Fig. 1 The reversed bifurcation and the time evolution of the maximal Lyapunov exponent of the FCS neuron within trigonometric function disturbance(γ=0.002)

圖 2 帶三角函數(shù)擾動(γ=0.02)的FCS神經(jīng)元倒分岔圖和最大Lyapunov指數(shù)圖Fig. 2 The reversed bifurcation and the time evolution of the maximal Lyapunov exponent of the FCS neuron within trigonometric function disturbance(γ=0.02)

當(dāng)擾動為Morlet小波函數(shù)時，選取參數(shù)k=1,β=0.004, ε1=0.02, I0=0.65, z(0)=0.9, A(0)=0.6, ε2(0)=0.02, a=6, b=1, c=0.25, ε3=2.5 固定不變時，分別取γ=0.002和γ=0.02時，F(xiàn)CS神經(jīng)元的倒分岔圖和最大Lyapunov指數(shù)時間演化圖如圖3、圖4所示。

圖 3 帶Morlet小波擾動(γ=0.002)的FCS神經(jīng)元倒分岔圖和最大Lyapunov指數(shù)圖Fig. 3 The reversed bifurcation and the time evolution of the maximal Lyapunov exponent of the FCS neuron within Morlet function disturbance (γ=0.002)

圖 4 帶Morlet小波擾動(γ=0.02)的FCS神經(jīng)元倒分岔圖和最大Lyapunov指數(shù)圖Fig. 4 The reversed bifurcation and the time evolution of the maximal Lyapunov exponent of the FCS neuron within Morlet function disturbance (γ=0.02)

由圖1～4可知，在神經(jīng)元內(nèi)部加入三角函數(shù)或小波函數(shù)擾動項，進(jìn)行動力學(xué)特性對比分析。在擾動系數(shù)γ為0.002時，兩類不同的擾動下，神經(jīng)元的動力學(xué)特性都只是發(fā)生微小的變動，并沒有發(fā)生明顯的改變。在擾動系數(shù)γ為0.02時，兩類不同的擾動下，神經(jīng)元的動力學(xué)特性都發(fā)生了較明顯的變化，隨著擾動系數(shù)的增大，動力學(xué)特性變動更加劇烈，動力學(xué)演變過程開始受到影響，但是整體的倒分岔特點和混沌程度并沒有受到本質(zhì)改變，依舊保持原有形態(tài)。證明了在一定程度擾動項作用下，F(xiàn)CS混沌神經(jīng)元模型具有一定魯棒性和抗擾動能力。

2 帶擾動的FCS混沌神經(jīng)網(wǎng)絡(luò)模型

利用上述帶擾動的FCS混沌神經(jīng)元模型，構(gòu)建得到了如下帶擾動的FCSCNN模型：

式中：α為正比例參數(shù)，wij為神經(jīng)元i和神經(jīng)元j間的連接權(quán)值(wij=wji, wii=0)，Ii是第i個神經(jīng)元閾值，其他參數(shù)定義同帶擾動的FCS神經(jīng)元模型。

FCSCNN采用傳統(tǒng)的Hopfield網(wǎng)絡(luò)的優(yōu)化機制[12]。由于自反饋的存在，網(wǎng)絡(luò)會表現(xiàn)出混沌特性。在演化初期，選擇合適的網(wǎng)絡(luò)參數(shù)，并且具有較大的自反饋連接權(quán)重初值z(0)，利用混沌的遍歷性和偽隨機性在相空間內(nèi)按照一定“分形”結(jié)構(gòu)進(jìn)行“自抑制”的不重復(fù)全局搜索，避免陷入局部極小[13]。根據(jù)式(15)，隨著退火衰減因子β的作用，z值不斷進(jìn)行減小，網(wǎng)絡(luò)隨之從混沌態(tài)經(jīng)歷倒分岔過程過渡到穩(wěn)態(tài)，直至完全退化為Hopfield網(wǎng)絡(luò)，收斂到優(yōu)化值。FCSCNN模型中動力學(xué)特性和優(yōu)化能力敏感的依賴于網(wǎng)絡(luò)參數(shù)(k, α, z,β, ε1, ε2, I0)的選擇。k 表征記憶保留或遺忘內(nèi)部狀態(tài)的能力；α表征能量函數(shù)對混沌動力學(xué)特性的影響，決定著網(wǎng)絡(luò)演化和混沌動力的比例；β表征自反饋項的退火速度，決定著混沌特性的退化快慢。參數(shù)之間相互影響，需要選擇合理的搭配才能獲得好的優(yōu)化效果。反之，則無法得到最優(yōu)解甚至失去優(yōu)化能力。

當(dāng)加入擾動后，從圖1～4的神經(jīng)元動力學(xué)特性仿真分析可知，擾動的影響會隨著擾動系數(shù)增大而增加，當(dāng)擾動過大，會改變甚至?xí)耆茐腇CS神經(jīng)元模型的混沌動力學(xué)特性。這將影響FCS模型混沌搜索遍歷性和偽隨機性的動力學(xué)特性，不能很好利用自身的自抑制進(jìn)行全局搜索。因此，要保持良好的尋優(yōu)能力，除了選擇合適的網(wǎng)絡(luò)參數(shù)外，還需要控制擾動在適當(dāng)?shù)姆秶鷥?nèi)。對于在擾動條件下能否依然較好地解決優(yōu)化問題，將在不同程度的擾動項作用下，采用FCSCNN模型解決函數(shù)優(yōu)化和組合優(yōu)化問題，進(jìn)一步驗證模型的抗擾動能力。

3 帶擾動的FCSCNN模型在優(yōu)化問題中的應(yīng)用

根據(jù)Hopfield的優(yōu)化機制有如下規(guī)則[14]：

在設(shè)置好模型參數(shù)后，將問題的目標(biāo)函數(shù)映射為網(wǎng)絡(luò)的能量函數(shù)，將網(wǎng)絡(luò)的動力學(xué)演化過程視為目標(biāo)函數(shù)的尋優(yōu)過程，當(dāng)網(wǎng)路收斂到穩(wěn)定點時，對應(yīng)的神經(jīng)元輸出即為所要求得優(yōu)化問題的解。

3.1 在函數(shù)優(yōu)化中的應(yīng)用

優(yōu)化函數(shù)1：

函數(shù)f的最小值為0，最小值點為(0.7,0.5)；局部極小點為(0.6,0.4), (0.6,0.5)和(0.7,0.4)。在FCSCNN 模型中，選取參數(shù)如下： k=1, α=0.1, β=0.2,ε1=0.08, I0=0.56, z1(0)=z2(0)=0.1, A(0)=0.4, ε2(0)=0.08, a=6, b=1, c=0.25。隨機初始化神經(jīng)元輸出x1,x2的值，擾動系數(shù)γ分別取0.002, 0.02和0.2。對比FCSCNN模型在不同擾動和不同擾動系數(shù)下的函數(shù)優(yōu)化能力，進(jìn)行10次獨立實驗取均值，每次網(wǎng)絡(luò)演化50步，實驗結(jié)果如表1所示。

表 1 帶擾動FCSCNN求解函數(shù)1優(yōu)化問題結(jié)果Table 1 The optimization results of the FCSCNN with disturbances for function 1

優(yōu)化函數(shù)2：

函數(shù)f的最小值為0，最小值點為(1, 1)。最優(yōu)解位于一個平滑、狹長的拋物線形山谷內(nèi)，函數(shù)為優(yōu)化算法提供的信息比較有限。傳統(tǒng)梯度下降法方向幾乎與最小值的最佳方向垂直，很難辨別搜索方向，查找最優(yōu)解變得十分困難。在FCSCNN 模型中，選取參數(shù)如下：k=1, α=1.0×10–5,β=0.01, ε1=8.0×10–4, I0=0.65, z1(0)=z2(0)=0.8,A(0)=0.4, ε2(0) =0.08, a=6, b=1, c=0.25。隨機初始化神經(jīng)元輸出x1、x2的值，擾動系數(shù)γ分別取0.002、0.02和0.2。對比FCSCNN模型在不同擾動和不同擾動系數(shù)下的函數(shù)優(yōu)化能力，進(jìn)行10次獨立實驗取均值，每次網(wǎng)絡(luò)演化5 000步，實驗結(jié)果如表2所示：

表 2 帶擾動FCSCNN求解函數(shù)2優(yōu)化問題結(jié)果Table 2 The optimization results of the FCSCNN with disturbances for function 2

由表1、2仿真實驗可知，當(dāng)擾動系數(shù)γ為0(無擾動)時，F(xiàn)CSCNN模型均具有很好的全局尋優(yōu)性能，找到了全局最優(yōu)解；當(dāng)擾動系數(shù)γ為0.002時，模型依然保持了較好的全局搜索能力，能夠比較接近全局最優(yōu)解；當(dāng)擾動系數(shù)γ為0.02時，模型的尋優(yōu)能力均出現(xiàn)明顯下降。由于擾動系數(shù)γ的增大，擾動項對模型的動力學(xué)演化過程和混沌全局性能的影響越大。適當(dāng)(γ≤0.002)的擾動系數(shù)下，網(wǎng)絡(luò)可以保持全局尋優(yōu)能力，當(dāng)擾動項過大(γ≥0.2)，會影響甚至破壞模型的尋優(yōu)水平。為了更好地驗證實驗結(jié)果，選擇復(fù)雜的組合優(yōu)化問題進(jìn)一步實驗分析。

3.2 在組合優(yōu)化中的應(yīng)用

旅行商(traveling salesman problem, TSP)問題描述如下：

假定有N個城市，給出它們的位置和相互距離，要求尋找一條閉合路徑，每個城市僅且被訪問一次，回到起始城市，要求這條路徑的距離最短。

問題對應(yīng)的目標(biāo)函數(shù)[14]為

式中：xij為神經(jīng)元的輸出，它表示城市i于第j個被訪問；W1和W2分別為與約束和關(guān)于路徑長度的代價函數(shù)對應(yīng)的耦合系數(shù)；dij為城市i和城市j之間的距離。

選取10個城市歸一化后的坐標(biāo)，取值分別為：(0.400 0, 0.443 9)，(0.243 9, 0.146 3)，(0.170 7,0.229 3)，(0.229 3, 0.716 0)，(0.517 1, 0.941 4)，(0.873 2,0.653 6)，(0.687 8, 0.521 9)，(0.848 8, 0.360 9)，(0.668 3,0.253 6)，(0.619 5, 0.263 4)。該10個城市TSP問題滿足條件最短路徑長度為2.677 6[14]，最優(yōu)路徑如圖5所示。

圖 5 10城市TSP問題的最短路徑Fig. 5 The optimal distance of 10 city TSP

在FCSCNN模型中，選取參數(shù)如下：k=1,α=0.05, β=0.05, ε1=0.05, I0=0.65, z(0)=0.8, A(0)=0.4,ε2(0)=0.08, a=6, b=1, c=0.25, W1=1, W2=1。隨機初始化神經(jīng)元輸出xij的值，對比FCSCNN模型在不同擾動和不同擾動系數(shù)下的組合優(yōu)化能力，進(jìn)行500次獨立實驗，每次網(wǎng)絡(luò)演化1 000步，實驗結(jié)果如表3所示：

由表3可知，帶擾動的FCSCNN模型在解決10城市旅行商問題時：三角擾動系數(shù)γ小于0.005的情況下，合法路徑比率均在95%以上，最優(yōu)路徑比率均在88%以上；小波擾動系數(shù)γ小于0.01的情況下，合法比均在96%以上，最優(yōu)比均在90%以上。可認(rèn)為適當(dāng)?shù)臄_動對網(wǎng)絡(luò)模型的混沌全局尋優(yōu)能力影響不大。但是隨著擾動系數(shù)的增大，合法比和最優(yōu)比均呈下降趨勢，擾動項的影響過大時，甚至失去尋優(yōu)能力。同時，當(dāng)前的擾動參數(shù)下，F(xiàn)CSCNN模型對Morlet小波擾動的魯棒性比三角函數(shù)擾動要好。

表 3 帶擾動FCSCNN求解10城市TSP問題結(jié)果Table 3 The optimization results of the FCSCNN with disturbances for 10 city TSP

選取30個城市歸一化后的坐標(biāo)，取值分別為：(0.41, 0.94)，(0.37, 0.84)，(0.54, 0.67)，(0.25,0.62)，(0.07, 0.64)，(0.02, 0.99)，(0.68, 0.58)，(0.71,0.44)，(0.54, 0.62)，(0.83, 0.69)，(0.64, 0.60)，(0.18,0.54)，(0.22, 0.60)，(0.83, 0.46)，(0.91, 0.38)，(0.25,0.38)，(0.24, 0.42)，(0.58, 0.69)，(0.71, 0.71)，(0.74,0.78)，(0.87, 0.76)，(0.18, 0.40)，(0.13, 0.40)，(0.82,0.07)，(0.62, 0.32)，(0.58, 0.35)，(0.45, 0.21)，(0.41,0.26)，(0.44, 0.35)，(0.04, 0.50)。該 30 個城市TSP問題滿足條件最短路徑長度為4.237 406[6]，最優(yōu)路徑如圖6所示。

圖 6 30城市TSP歸一化坐標(biāo)的最短路徑Fig. 6 The optimal distance of 30 city TSP

在FCSCNN模型中，選取參數(shù)如下: k=1, α=0.006, β=0.001, ε1=0.04, I0=0.65, z(0)=0.8, A(0)=0.4,ε2(0) =0.08, a=6, b=1, c=0.25,W1=1,W2=1。隨機初始化神經(jīng)元輸出xij的值，對比FCSCNN模型在不同擾動和不同擾動系數(shù)下的組合優(yōu)化能力，進(jìn)行200次獨立實驗，每次網(wǎng)絡(luò)演化10 000步，實驗結(jié)果如表4所示：

表 4 帶擾動FCSCNN求解30城市TSP問題結(jié)果Table 4 The optimization results of the FCSCNN with disturbances for 30 city TSP

由表4可知，30城市的旅行商問題具有更高的復(fù)雜度，需要更多的演化步數(shù)，這也是TCNN類模型在解決不同問題時需要不同的參數(shù)搭配的原因。三角擾動系數(shù)γ小于0.002的情況下，合法路徑比率均在70%以上，最優(yōu)路徑比率均在25%以上；小波擾動系數(shù)γ小于0.005的情況下，合法比均在65%以上，最優(yōu)比均在20%以上。同樣的可認(rèn)為較小的擾動對網(wǎng)絡(luò)模型的混沌全局尋優(yōu)能力影響不大。在適當(dāng)擾動強度內(nèi)，網(wǎng)絡(luò)表現(xiàn)出一定的抗擾動能力。

4 結(jié)束語

為了驗證的具有非線性激勵函數(shù)且比標(biāo)準(zhǔn)的暫態(tài)混沌神經(jīng)元模型具有更豐富混沌動力學(xué)特性的新型混沌神經(jīng)網(wǎng)絡(luò)模型—FCSCNN的抗擾動能力，在該模型內(nèi)部狀態(tài)中分別引入三角函數(shù)和小波函數(shù)擾動項，分析帶擾動的FCS混沌神經(jīng)元模型的動力學(xué)特性。通過神經(jīng)元倒分岔圖和最大Lyapunov指數(shù)圖可知，擾動的引入會影響網(wǎng)絡(luò)模型的動力學(xué)演化過程，進(jìn)而會對全局尋優(yōu)性能產(chǎn)生影響。通過函數(shù)優(yōu)化和組合優(yōu)化問題的仿真實驗，證實了這種影響會隨著擾動系數(shù)的增大而增加，但一定范圍內(nèi)，F(xiàn)CSCNN模型對三角擾動和Morlet擾動均具有一定魯棒性和抗擾動能力，選取合適的模型參數(shù)，依然可以保持較好的全局搜索能力，獲得最優(yōu)解。