陳 軍

(甘肅中醫(yī)藥大學(xué) 定西校區(qū)， 甘肅 定西 743000)

神經(jīng)元能夠形成一個(gè)復(fù)雜動(dòng)力學(xué)行為，產(chǎn)生高度非線性動(dòng)力學(xué)系統(tǒng)[1-3 ]。它可為探索人類思維活動(dòng)以及智能機(jī)理、潛在功能等提供神經(jīng)網(wǎng)絡(luò)模型和網(wǎng)絡(luò)算法理論依據(jù)。神經(jīng)網(wǎng)絡(luò)中的非線性動(dòng)力學(xué)問(wèn)題涉及到諸如醫(yī)學(xué)、生物系統(tǒng)、專家系統(tǒng)、優(yōu)化策略、模式辯識(shí)等許多領(lǐng)域。隨著現(xiàn)代生物技術(shù)突飛猛進(jìn)地發(fā)展及探究人腦或心智工作機(jī)制的認(rèn)知科學(xué)的快速興起，促進(jìn)神經(jīng)網(wǎng)絡(luò)在工程技術(shù)中的深入應(yīng)用，如在醫(yī)學(xué)圖像處理、醫(yī)學(xué)信號(hào)傳輸、故障診斷等諸多領(lǐng)域[4-7]。

各種神經(jīng)網(wǎng)絡(luò)中對(duì)初值敏感而表現(xiàn)出的不可預(yù)測(cè)的、類似隨機(jī)性運(yùn)動(dòng)的分岔、混沌等非線性動(dòng)力學(xué)特征得以廣泛關(guān)注[8-10]。同時(shí)，基于神經(jīng)元網(wǎng)絡(luò)的學(xué)習(xí)算法的動(dòng)力學(xué)行為也得到研究[11]。近年來(lái)，學(xué)者們利用電子電路來(lái)實(shí)現(xiàn)神經(jīng)元及神經(jīng)網(wǎng)絡(luò)的非線性混沌電路的研究也有較多報(bào)道[12-16]。文獻(xiàn)[17，18]研究了ω分別為2π,6π,1.26×103,2.56×103，3.14×103rad/s時(shí)非線性電路中的混沌動(dòng)力學(xué)現(xiàn)象。本文在神經(jīng)網(wǎng)絡(luò)的非線性混沌電路實(shí)現(xiàn)研究中，詳細(xì)地討論了具有外部余弦激勵(lì)的活潑性禁忌學(xué)習(xí)神經(jīng)元的模型的Hopf分岔、計(jì)算了Lyapunov 指數(shù)譜及維數(shù)，運(yùn)用勞斯-霍爾維茨判據(jù)對(duì)系統(tǒng)的平衡點(diǎn)進(jìn)行了討論，并詳實(shí)地探討了它的非線性動(dòng)力學(xué)特性和設(shè)計(jì)實(shí)現(xiàn)了該混沌系統(tǒng)的電路，最后采用電子工作臺(tái)[19]將設(shè)計(jì)實(shí)現(xiàn)的非線性動(dòng)力學(xué)行為的電路進(jìn)行了實(shí)驗(yàn)仿真，對(duì)電路的分岔、混沌等非線性動(dòng)力學(xué)行為進(jìn)行了探討研究。

1 具有外界余弦激發(fā)的禁忌學(xué)習(xí)神經(jīng)元模型

神經(jīng)元的動(dòng)力學(xué)模型描述如下[11-12]。一個(gè)神經(jīng)元i被認(rèn)為是輸入/輸出對(duì)象，輸出Vi作為輸入ui的函數(shù)即Vi=f(ui),f(·)是激活函數(shù)，則動(dòng)力學(xué)方程如下：

(1)

通過(guò)求能量函數(shù)得到所求問(wèn)題的解：

(2)

式中，ui是第i個(gè)神經(jīng)元的狀態(tài)，Ci和Ri是正常數(shù)，Tij是從第j個(gè)神經(jīng)元到第i個(gè)神經(jīng)元的連接權(quán)值，Ii表示外部對(duì)第i個(gè)神經(jīng)元輸入的激發(fā)信號(hào)。

在禁忌學(xué)習(xí)狀態(tài)中，能量E0在其當(dāng)前狀態(tài)的鄰域之內(nèi)不斷變大。在t時(shí)刻，能量函數(shù)為

Et=E0+Ft(V)。

(3)

其中，懲罰項(xiàng)Ft(V)為

式中，α、β為正的常數(shù)，P(V,W)是向量V和向量W相似度函數(shù)。

在搜索的過(guò)程中，若其結(jié)果接近那些已訪問(wèn)過(guò)的狀態(tài)，就會(huì)使懲罰項(xiàng)的值變大，促使搜索向著未被訪問(wèn)過(guò)的狀態(tài)前進(jìn)。懲罰項(xiàng)中的指數(shù)項(xiàng)用來(lái)阻止積分向無(wú)窮大增加，且加速已被訪問(wèn)過(guò)的狀態(tài)進(jìn)程，縮短重復(fù)搜索的時(shí)間，促使網(wǎng)絡(luò)能迅速地?cái)[脫開局部的極小點(diǎn)。

在優(yōu)化問(wèn)題的求解中,記憶力衰退率α要選擇適當(dāng)。若α取值太大，則有可能會(huì)導(dǎo)致重新訪問(wèn)已訪問(wèn)過(guò)的狀態(tài)；但若取值太小，則可能需要較長(zhǎng)的時(shí)間段邁過(guò)網(wǎng)絡(luò)的局部最小值區(qū)域。另外,學(xué)習(xí)速率β也要取值合理，β選擇遵循以獲得尋找最低E0和最小的Ft(V)之間的平衡協(xié)調(diào)狀態(tài)為原則。線性相似函數(shù)P(V,W)定義如下：

(4)

式(4)中，Vi和Wi分別為向量V和向量W的分量，是關(guān)于V的線性式。因?yàn)镻1(V,W)將不靠近向量W的項(xiàng)懲罰很大，會(huì)產(chǎn)生不合理，因而定義二次相似函數(shù)為：

(5)

式(5)中，對(duì)V來(lái)說(shuō)是一個(gè)二次函數(shù)。

在線性相似函數(shù)條件下的動(dòng)力學(xué)系統(tǒng)(1)的狀態(tài)方程為：

(6)

Ji的學(xué)習(xí)規(guī)律為(7)式的關(guān)系

(7)

在對(duì)單神經(jīng)元的禁忌學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)環(huán)境情況，則(6)、(7)式可表示為：

(8)

其中，a、α和β都為正常數(shù)，(6)、(7)式中C和R取值均為1、外界輸入電流量I為I=εcos(ωt+φ)，式中ε、ω、φ為實(shí)數(shù)，選取的非線性激活函數(shù)為

(9)

2 Hopf分岔性質(zhì)討論

2.1 Hopf分岔的存在性

下面推導(dǎo)單神經(jīng)元禁忌學(xué)習(xí)模型的Hopf分岔存在的條件。在系統(tǒng)(8)中，令參數(shù)I= 0，則得該模型的狀態(tài)方程：

(10)

(11)

線性系統(tǒng)的聯(lián)合特征方程為

λ2+(1-af′(0))λ+(1-af′(0))α+βf′(0)=0。

為了討論方便，重寫上式

λ2+b1(α)λ+b2(α)=0。

其中，b1(α)=(1-af′(0)+α)，

b2(α)=(1-af′(0))α+βf′(0)。

2.2 Hopf分岔周期解的穩(wěn)定性

為了便于討論，令α=α0+γ，依據(jù)標(biāo)準(zhǔn)化理論，則系統(tǒng)(10)的Hopf分岔值為γ=0與λ1=μ+iω相對(duì)應(yīng)的特征向量[14-15]

規(guī)定

則由(11)式得：

又，μ2、τ2和β2的值從C1(0)得到。

令α=α0=af′(0)-1，則

這樣，上式簡(jiǎn)化為：

其中

下面，對(duì)γ=0和(y1,y2)=(0，0)點(diǎn)進(jìn)行定量討論：

(12)

通過(guò)以上的分析，可以得出(12)式中的每個(gè)gij值由(11)式的參數(shù)決定，則可得C1(0)、μ2、τ2和β2的值如下：

(13)

β2=2ReC1(0)。

從公式(13)可知：

μ2決定Hopf分岔的方向：當(dāng)μ2>0，Hopf分岔是超臨界的，并且其周期解為α>α0；當(dāng)μ2<0時(shí)，Hopf分岔是亞臨界的，并且其周期解為α<α0；β2決定Hopf分岔周期解的穩(wěn)定性：當(dāng)β2<0時(shí)，軌道是穩(wěn)定的；而當(dāng)β2>0時(shí)，軌道是不穩(wěn)定的；τ2決定了分岔周期的周期解：若τ2>0，則周期增加；反之，周期減小。

對(duì)軌道附近的長(zhǎng)期演化進(jìn)行觀察，計(jì)算李雅普諾夫指數(shù)為

其中，m為替代總次數(shù)，L(tk-1)是在tk-1瞬時(shí)兩初始點(diǎn)之間的距離。經(jīng)過(guò)時(shí)間段δ=tk-tk-1，最初的長(zhǎng)度將變化為長(zhǎng)度L′(tk)。在該模型中，最大的李雅普諾夫指數(shù)λ從N= 10萬(wàn)個(gè)點(diǎn)的時(shí)間序列中計(jì)算出，得到最大的李雅普諾夫指數(shù)λ= 0.7030。

3 外界余弦激發(fā)禁忌學(xué)習(xí)神經(jīng)元的混沌動(dòng)力學(xué)電路設(shè)計(jì)與實(shí)驗(yàn)仿真

下面分別設(shè)計(jì)實(shí)現(xiàn)了激活函數(shù)的模塊電路、外界輸入余弦激發(fā)的神經(jīng)元電路，進(jìn)一步采用電子工作臺(tái)將設(shè)計(jì)的混沌動(dòng)力學(xué)電子電路進(jìn)行實(shí)驗(yàn)仿真研究，其實(shí)驗(yàn)研究過(guò)程如下所述。

3.1 tanh(·)模塊電路設(shè)計(jì)與實(shí)驗(yàn)仿真

將激活函數(shù)式(9)由三個(gè)雙曲正切函數(shù)進(jìn)行線性組合而形成，對(duì)于雙曲正切函數(shù)利用雙極性晶體管來(lái)實(shí)現(xiàn)。一個(gè)實(shí)用的雙曲正切函數(shù)功能的單端輸入、雙端輸出電子電路,如圖1所示，稱其為tanh(·)模塊電路[16-18,20-28]。它實(shí)用又便于實(shí)現(xiàn)。

tanh(·)模塊電子電路對(duì)應(yīng)的方程如下：

Vout=tanh(Vin-20.23Vr)。

(14)

圖1 tanh(·) 模塊電路圖Fig.1 Circuits diagram of tanh(·) module

3.2 激活函數(shù)模塊電路的設(shè)計(jì)實(shí)現(xiàn)

依據(jù)3.1部分的內(nèi)容知識(shí)，能得出激活函數(shù)式(9)的功能可由三個(gè)tanh(·)模塊電子電路的線性化結(jié)合完成，激活函數(shù)式(9)的電子電路如圖2所示，稱其為f(·)模塊電路[29-38]。

圖2 f(·)模塊電路圖Fig.2 Circuit diagram of f(·) module

根據(jù)電子電路規(guī)律，與f(·)模塊電路圖2相對(duì)應(yīng)的狀態(tài)方程為：

(15)

(16)

Vfout=2Vout1-Vout2-Vout3

(17)

將激活函數(shù)(9)與系統(tǒng)(17)進(jìn)行比較，表明研究者所設(shè)計(jì)的f(·)模塊電子電路能夠?qū)崿F(xiàn)本文所選取的激活函數(shù)f(x)對(duì)應(yīng)的功能。利用電子工作臺(tái)軟件對(duì)f(·)模塊電子電路進(jìn)行仿真實(shí)驗(yàn)，如圖3所示為其傳輸特性圖形。

圖3 f(·)模塊電路仿真圖形Fig.3 Circuit simulation graphics of f(·) module

3.3 系統(tǒng)的電路設(shè)計(jì)仿真實(shí)現(xiàn)

對(duì)系統(tǒng)(8)，令I(lǐng)為I(t)=εcos(ωt+φ)，則系統(tǒng)(8)可簡(jiǎn)化為：

(18)

其中，ε、ω是正常數(shù)，系統(tǒng)(18)的參數(shù)取值分別為a=0.2，ε=0.18，α=0.7，φ=0，β=0.9,故系統(tǒng)(18)的函數(shù)式可表達(dá)為：

(19)

借助于電子工作臺(tái)軟件，運(yùn)用線性電容、線性電阻、電子集成運(yùn)算放大器LF356和f(·)模塊等電子器件進(jìn)行構(gòu)建電子電路，依據(jù)系統(tǒng)(18)、各個(gè)不同類別電子元器件的特性和電子電路規(guī)律，如圖4所示，可得到實(shí)現(xiàn)系統(tǒng)(19)的電子器件電路原理圖。電路中的元件全為電子工作臺(tái)軟件中的理想虛擬電子元器件材料。

圖4 實(shí)現(xiàn)系統(tǒng)(19)的電子電路原理圖Fig.4 Diagram of electric circuit principle of implementation system (19)

圖4的電路中，f(·)模塊電路完成并實(shí)現(xiàn)激活函數(shù)(9)的作用，LF356電子集成運(yùn)算放大器與線性電容、電阻結(jié)合連接實(shí)現(xiàn)放大、縮小、加、減、微分、反相等運(yùn)算功能，Vs為外界輸入的余弦信號(hào)，它的函數(shù)式是Vs=-0.18cos(ωt+φ)。依據(jù)理想運(yùn)算放大器的運(yùn)算功能，從圖4推算出 系統(tǒng)(19)的電子電路數(shù)學(xué)式為：

(20)

令u1=x，u2=y則系統(tǒng)(19)和(20)是等價(jià)的。

運(yùn)用電子工作臺(tái)軟件，將設(shè)計(jì)的如圖4所示電子電路進(jìn)行電路實(shí)驗(yàn)研究。其它條件保持不變，僅當(dāng)外界輸入的余弦信號(hào)Vs的角頻率ω值變化，則該非線性動(dòng)力學(xué)系統(tǒng)模型的電路中相應(yīng)表現(xiàn)出由穩(wěn)定狀態(tài)向混沌狀態(tài)演變的現(xiàn)象過(guò)程，呈現(xiàn)出豐富的混沌現(xiàn)象。其具體變化過(guò)程狀況如下：

圖時(shí)u1(t)-u2(t)相位圖Fig.5 u1(t)-u2(t) phase diagram at rad/s

若繼續(xù)改系統(tǒng)(19)相對(duì)應(yīng)的電子電路外界輸入端的余弦信號(hào)Vs的角頻率ω?cái)?shù)值為ω=1.07×103rad/s，此時(shí)系統(tǒng)模型(19)的電子電路中出現(xiàn)如圖8(a)、(b)所示的不可預(yù)測(cè)的、類似隨機(jī)性運(yùn)動(dòng)的混沌狀態(tài)，可以觀察到吸引子的存在，并有穩(wěn)定的周期軌道。

圖6 ω=5π rad/s時(shí)u1(t)-u2(t)相位圖Fig.6 u1(t)-u2(t) phase diagram at ω=5π rad/s

(a)t-u1(t)波形 (b)t-u2(t)波形圖7 ω=5π rad/s時(shí)的t-u波形圖Fig.7 t-u waveform diagram of the at ω=5π rad/s

(a)u1(t)-u2(t)相位 (b)t-u2(t)波形圖8 ω=1.07×103rad/s的仿真圖Fig.8 Graphics of simulation of ω=1.07×103rad/s

4 結(jié)論

本文通過(guò)理論分析、計(jì)算了系統(tǒng)的Hopf分岔、Lyapunov 指數(shù)譜及維數(shù)，運(yùn)用勞斯-霍爾維茨判據(jù)對(duì)系統(tǒng)的平衡點(diǎn)進(jìn)行了討論，并詳細(xì)地設(shè)計(jì)實(shí)現(xiàn)了具有外界余弦輸入的激發(fā)式禁忌學(xué)習(xí)混沌神經(jīng)元模型的非線性系統(tǒng)動(dòng)力學(xué)行為物性的電路，利用電子工作平臺(tái)將設(shè)計(jì)實(shí)現(xiàn)非線性動(dòng)力學(xué)行為的電路進(jìn)行了仿真實(shí)驗(yàn)。結(jié)果說(shuō)明電子工作平臺(tái)實(shí)驗(yàn)與理論分析的一致性，驗(yàn)證了所設(shè)計(jì)電路的合理性。該文研究的非線性動(dòng)力學(xué)特性的電路在優(yōu)化策略、安全通信、模式辯識(shí)、醫(yī)學(xué)圖像處理等領(lǐng)域有重要的現(xiàn)實(shí)意義。