劉益安，馬瑞辰，李 國，于 奇，劉 洋，胡紹剛*

(1. 電子科技大學(xué)電子科學(xué)與工程學(xué)院 成都 611731；2. 電子科技大學(xué)重慶微電子產(chǎn)業(yè)技術(shù)研究院 重慶 高新區(qū) 401332)

生物神經(jīng)網(wǎng)絡(luò)擁有大量的神經(jīng)元(～1011)以及突觸(～1014)，并且彼此之間形成錯綜復(fù)雜的連接，是一個龐大的非線性網(wǎng)絡(luò)系統(tǒng)。研究表明，人類大腦的運(yùn)行機(jī)制與神經(jīng)元和神經(jīng)網(wǎng)絡(luò)的動力學(xué)行為密切相關(guān)[1-2]，而且已被證實大腦中存在混沌現(xiàn)象[3]。為了揭示大腦的工作機(jī)理，神經(jīng)網(wǎng)絡(luò)動力學(xué)行為研究成為人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域的重要內(nèi)容，而憶阻器具有集成度高、可模擬突觸可塑性、非易失性等特點，被認(rèn)為是最有潛力的神經(jīng)形態(tài)器件[4]，并且其良好的非線性是研究人工神經(jīng)網(wǎng)絡(luò)動力學(xué)的重要條件。

1971 年，文獻(xiàn)[5-6]發(fā)現(xiàn)了第4 種基本元件，即憶阻器，其阻值可變且保持記憶功能。2008年，惠普實驗室研制出首個憶阻器件[7]，后續(xù)產(chǎn)生了大量關(guān)于憶阻器的研究成果[8-10]。雖然惠普憶阻器模型作為使用最廣泛的憶阻模型之一[11-12]，但推導(dǎo)一個完全表征惠普憶阻器的數(shù)學(xué)模型是一項具有挑戰(zhàn)性的任務(wù)[13-14]。因此，將非線性二次模型和三次模型等簡化模型用于憶阻器電路的理論定量分析[15-16]，會導(dǎo)致許多應(yīng)用的結(jié)果不能令人滿意。為了緩解這個問題，文獻(xiàn)[17]提出了一種新的非線性對數(shù)模型來表征憶阻器，文獻(xiàn)[18]提出了具有負(fù)阻態(tài)功能的憶阻器模型，能夠更加準(zhǔn)確地模擬突觸可塑性和非線性脈沖激勵神經(jīng)元功能。

目前關(guān)于憶阻器神經(jīng)網(wǎng)絡(luò)的研究涵蓋了廣泛的主題[19]，其中憶阻Hopfield 神經(jīng)網(wǎng)絡(luò)(Hopfield neural network, HNN)表現(xiàn)出豐富的動力學(xué)行為，并在解決組合優(yōu)化問題和圖像復(fù)原領(lǐng)域具有優(yōu)勢[20-23]。1990 年，文獻(xiàn)[21]首次將混沌引入HNN，開啟了HNN 豐富的動力學(xué)行為研究。2011 年，文獻(xiàn)[24]將憶阻器引入HNN，并利用嚴(yán)格的數(shù)學(xué)證明分析了網(wǎng)絡(luò)的動態(tài)行為，并以兩個神經(jīng)元數(shù)值實例進(jìn)行了驗證。2014 年，文獻(xiàn)[25]利用憶阻器替換HNN 的一個權(quán)值，構(gòu)建了一個3 神經(jīng)元的簡單網(wǎng)絡(luò)，使得網(wǎng)絡(luò)表現(xiàn)出準(zhǔn)周期軌道、混沌以及超混沌等復(fù)雜的動力學(xué)行為。2016 年，文獻(xiàn)[26]將憶阻器三次方數(shù)學(xué)模型帶入HNN，并通過相軌圖、龐加萊映射圖和Lyapunov 指數(shù)對網(wǎng)絡(luò)的動態(tài)特性進(jìn)行研究，獲得了不存在平衡點的超混沌吸引子。2020 年，文獻(xiàn)[27]利用一種耦合雙曲線憶阻器等效電路來模擬HNN 的突觸串?dāng)_，并在不同串?dāng)_強(qiáng)度下觀察到HNN 的多重穩(wěn)定性、不對稱吸引子和反單調(diào)性。

本文在前期提出的具有負(fù)阻態(tài)功能的憶阻器模型基礎(chǔ)上，為了更好地模擬突觸可塑性以及增加網(wǎng)絡(luò)的負(fù)反饋功能，構(gòu)建了基于憶阻器的新Hopfield神經(jīng)網(wǎng)絡(luò)模型，并對網(wǎng)絡(luò)動力學(xué)行為進(jìn)行了分析研究。實驗結(jié)果表明，提出的憶阻Hopfield 神經(jīng)網(wǎng)絡(luò)模型具有豐富和復(fù)雜的動力學(xué)行為，為后續(xù)該神經(jīng)網(wǎng)絡(luò)在模式識別、數(shù)據(jù)處理、圖像加密等方面的研究打下了堅實的基礎(chǔ)。

1 具有負(fù)阻態(tài)的憶阻器模型

1.1 憶阻器模型

由憶阻器的初始定義可知，它是滿足 φ ?q域特定關(guān)系的一種器件，但為了進(jìn)一步豐富憶阻器的內(nèi)涵，文獻(xiàn)[6]又提出了廣義憶阻器的概念，即一個憶阻系統(tǒng)的定義應(yīng)該滿足如下關(guān)系：

式中，u(t)和y(t)分別為系統(tǒng)的輸入信號和輸出信號；x為系統(tǒng)的n階狀態(tài)變量；g為一個n維的連續(xù)向量函數(shù)；t為時間。

磁通或電壓控制型憶阻系統(tǒng)的關(guān)系可寫成：

式中，h為一個n維的連續(xù)向量函數(shù)。此時的憶導(dǎo)值G也不再僅由磁通量 φ決定，而是由狀態(tài)變量x、輸入電壓v以及時間t共同決定。

由上述定義可知，廣義憶阻器將影響憶阻值的變化因素增多了，本文提出的改進(jìn)模型就是對狀態(tài)變量x進(jìn)行了有效調(diào)整，使憶阻器能夠呈現(xiàn)出正負(fù)兩種阻態(tài)，消除了對理想憶阻器電導(dǎo)極性的限制。

如圖1 所示，新憶阻器模型可以視為夾在兩個金屬電極之間的厚度為2D的半導(dǎo)體薄膜，包括一個正電導(dǎo)區(qū)和一個負(fù)電導(dǎo)區(qū)(每個區(qū)的厚度為D)。它也可以視作兩個理想憶阻器背靠背連接，一個具有正電導(dǎo)，另一個具有負(fù)電導(dǎo)。憶阻器的電導(dǎo)由狀態(tài)變量x確定，并且x的調(diào)控范圍從原理想狀態(tài)憶阻器的[0,D]擴(kuò)展到[?D,D]。

圖1 憶阻器模型物理結(jié)構(gòu)圖

假設(shè)只考慮最簡單的歐姆電導(dǎo)情形，G(x)定義為與狀態(tài)變量x成正比，即G(x)=ax，其中a是常數(shù)系數(shù)。同時在實際憶阻器使用中，特別是氧化物類憶阻器，其兩端的電阻或者電導(dǎo)經(jīng)常會隨著時間的推移而逐漸降低，所以可以通過引入衰減項(bx)模擬這種阻值變化，其中b為衰減系數(shù)。綜上所述，改進(jìn)的憶阻器可以描述為：

除了兩個端點?D，D外，狀態(tài)變量x與通過憶阻器的磁通量成正比。在改進(jìn)的憶阻器模型上施加外部電壓，可以使x的位置發(fā)生變化，從而改變憶阻器電導(dǎo)的大小與極性。如假設(shè)a=1 且b=0，如果在憶阻器上施加正電壓，x向陽極移動，電導(dǎo)可能處于正阻態(tài)，反之若施加負(fù)電壓，x向陰極移動，電導(dǎo)就可能處于負(fù)阻態(tài)。

1.2 器件模型仿真

當(dāng)對改進(jìn)的憶阻器施加一個正弦電壓v(t)=Asin(ωt)時，可以得到憶阻器的電導(dǎo)公式為：

式中，c是常數(shù)系數(shù)；A、ω 分別為正弦電壓幅度、頻率。設(shè)置c=1，A=2，ω=2π，x0=?0.5，相關(guān)測試結(jié)果如圖2、3 所示。若b=0，即忽略衰減項，通過繪制電流與電壓的關(guān)系，可獲得呈水平8 字狀的捏滯回線，I-V曲線跨越所有4 個象限，且主要在2、4 象限，與原理想憶阻器模型僅在1、3 象限的斜8 字I-V曲線相比具有明顯不同的特性，也意味著所提出的憶阻器模型具有負(fù)電導(dǎo)。此外，若b=0.08 時，施加正弦電壓，可以獲得多個連續(xù)的穩(wěn)定狀態(tài)。

圖2 憶阻器電流電壓曲線圖(a=1, b=0)

圖3 憶阻器電流電壓曲線圖(a=1, b=0.08)

2 憶阻Hopfield 神經(jīng)網(wǎng)絡(luò)

選取3 個神經(jīng)元的連續(xù)型Hopfield 神經(jīng)網(wǎng)絡(luò)[28]，表達(dá)式為：

式中，Ci為 第i個神經(jīng)元的輸入電容；ui為第i個神經(jīng)元的輸出變量；Ri為第i個神經(jīng)元的傳輸電阻；wij為 神經(jīng)元的連接權(quán)值；f(u)為神經(jīng)元激勵函數(shù)；Ii為神經(jīng)元外部激勵。為簡化計算過程，通過單位歸一化后，設(shè)置Ci、Ri均為1，Ii為 0，f(u)為雙曲正切函數(shù)，即f(u)=tanh(u)。

Hopfield 網(wǎng)絡(luò)是一種全連接的反饋型神經(jīng)網(wǎng)絡(luò)，每個神經(jīng)元與其他所有神經(jīng)元相互連接，3 神經(jīng)元HNN 需要9 個突觸連接權(quán)值。憶阻器本身具有阻值記憶特性，是良好的突觸仿生器件，以往的憶阻器基本只有正阻態(tài)，而反饋型神經(jīng)網(wǎng)絡(luò)，特別是混沌神經(jīng)網(wǎng)絡(luò)，往往需要負(fù)反饋權(quán)值。由于憶阻器的電導(dǎo)與權(quán)值具有相同的量綱，可以將具有負(fù)阻態(tài)的憶阻器替換HNN 的一個權(quán)值，新憶阻Hopfield神經(jīng)網(wǎng)絡(luò)表達(dá)式為：

式中，u為輸出變量矩陣；W為連接權(quán)值矩陣。可以表示為：

由式(10)、(11)可知，新網(wǎng)絡(luò)的演化情況由系統(tǒng)初始值、權(quán)值矩陣W以及憶阻器參數(shù)a、b確定。

3 網(wǎng)絡(luò)動力學(xué)特性分析

首先基于實驗室24 核48 線程AMD 3960X 服務(wù)器平臺，使用粒子群算法，搜索新HNN 模型比較優(yōu)化的參數(shù)配置。設(shè)置a=1，b=0.05，初始值u(0)=(0.1,0.1,0.1)，W權(quán)值矩陣為：

系統(tǒng)仿真時間為500 s，時間精度為1 ms，各參數(shù)采用國際標(biāo)準(zhǔn)單位歸一化，無量綱。如圖4 所示，系統(tǒng)的相位軌跡圖呈現(xiàn)出普通的單渦卷吸引子，但單純從相軌圖還不能判定是否為混沌系統(tǒng)，還要結(jié)合Lyapunov 指數(shù)的正負(fù)情況。根據(jù)式(10)求得系統(tǒng)的Jacobian 矩陣，再利用施密特正交化方法，求解系統(tǒng)的Lyapunov 指數(shù)[29]。如圖5 所示，系統(tǒng)最終的Lyapunov 指數(shù)分別為LE1=0.012 5，LE2=?0.003 4，LE3=?0.068 5，LE4=?6.891 2，存在大于零的Lyapunov 指數(shù)，所以可以初步判定系統(tǒng)達(dá)到混沌狀態(tài)。

圖4 系統(tǒng)的相位軌跡圖

圖5 Lyapunov 指數(shù)圖

3.1 憶阻器參數(shù)的影響

通過調(diào)整憶阻器參數(shù)a，b的值來觀察憶阻器對系統(tǒng)動力學(xué)行為的影響。如圖6 所示，其他實驗條件不變的情況下，a取[0.5, 1.5]，步長為0.01，當(dāng)a從0.50 增加到1.09，系統(tǒng)的Lyapunov 指數(shù)變化不大，LE1、LE2、LE3在零附近，LE1始終略大于零；當(dāng)a從1.09 增加到1.50，系統(tǒng)的Lyapunov指數(shù)發(fā)生較大變化，且都小于零。

圖6 Lyapunov 指數(shù)隨a 值變化的曲線圖

如圖7 所示，b取[0.05, 0.12]，步長為0.001，b的取值持續(xù)對Lyapunov 指數(shù)造成影響，證明憶阻器的衰減項對系統(tǒng)的影響較大，但不論b取何值，LE1始終大于零，其他Lyapunov 指數(shù)小于零。

圖7 Lyapunov 指數(shù)隨b 值變化的曲線圖

3.2 連接權(quán)值矩陣的影響

神經(jīng)元間的連接權(quán)值矩陣對系統(tǒng)有較明顯的影響，實驗中搜索出另一組連接權(quán)值矩陣Wn如下：

如圖8 所示，系統(tǒng)呈現(xiàn)出圖4 類似的單渦卷吸引子相軌圖，且只有LE1=0.008 9，大于零，其他Lyapunov 指數(shù)均小于零。

圖8 系統(tǒng)的相位軌跡圖(W 取Wn)

3.3 與其他Hopfield 神經(jīng)網(wǎng)絡(luò)對比

如表1 所示，Hopfield 神經(jīng)網(wǎng)絡(luò)的相軌圖主要集中表現(xiàn)為單、雙渦卷吸引子，Lyapunov 指數(shù)一般只有一個為正。文獻(xiàn)[21]是最早將混沌引入HNN網(wǎng)絡(luò)的，但10 神經(jīng)元模型的動力學(xué)行為并不顯著，而后續(xù)的改進(jìn)模型性能都有所提升。

表1 本網(wǎng)絡(luò)與其他HNN 模型的動力學(xué)特性對比

4 結(jié) 束 語

本文通過對具有負(fù)阻態(tài)的憶阻器模型進(jìn)行數(shù)學(xué)分析以及I-V特性仿真測試，進(jìn)一步明確了憶阻器的器件特性，同時基于該憶阻器模型構(gòu)建了新的Hopfield 神經(jīng)網(wǎng)絡(luò)，并對網(wǎng)絡(luò)的動力學(xué)行為進(jìn)行了分析與討論。實驗結(jié)果表明，提出的Hopfield 神經(jīng)網(wǎng)絡(luò)模型具有豐富且復(fù)雜的動力學(xué)行為，并存在一定的混沌現(xiàn)象。同時，討論了在不同的憶阻器參數(shù)以及連接權(quán)值矩陣條件下，網(wǎng)絡(luò)的動態(tài)演化進(jìn)程以及Lyapunov 指數(shù)的變化情況，并與同類型網(wǎng)絡(luò)進(jìn)行了對比，結(jié)果進(jìn)一步表明該模型的有效性，為后續(xù)在模式識別、數(shù)據(jù)處理以及圖像加密方面的應(yīng)用提供了研究思路。