余洋++傅成華

摘要：人工神經(jīng)網(wǎng)絡(luò)是對人腦功能的簡單抽象和模擬，實質(zhì)是一種數(shù)學(xué)模型。它通過大量的簡單處理單元互相連接成規(guī)模龐大的簡單抽象和信息處理系統(tǒng)，能夠存儲經(jīng)驗知識和聯(lián)想回憶并使用已存儲知識，是目前智能信息處理技術(shù)發(fā)展的一個主流方向。它可以解決許多傳統(tǒng)方法難以解決或無法解決的問題，尤其是那些與記憶、思維、認知、推理及聯(lián)想相關(guān)的問題。主要介紹了離散型Hopfield 神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程、工作原理、使用方法及其聯(lián)想記憶功能，并通過舉例證明了離散型Hopfield神經(jīng)網(wǎng)絡(luò)的聯(lián)想記憶能力。

關(guān)鍵詞：人工神經(jīng)網(wǎng)絡(luò)；Hopfield神經(jīng)網(wǎng)絡(luò)；聯(lián)想記憶

DOIDOI：10.11907/rjdk.161853

中圖分類號：TP391

文獻標識碼：A文章編號文章編號：16727800（2016）009014603

基金項目基金項目：

作者簡介作者簡介：余洋（1994-），男，湖北隨州人，四川理工學(xué)院自動化電子信息學(xué)院碩士研究生，研究方向為智能控制；傅成華（1958-），男，四川富順人，四川理工學(xué)院自動化與電子信息學(xué)院教授、碩士生導(dǎo)師，研究方向為先進控制與系統(tǒng)優(yōu)化、神經(jīng)網(wǎng)絡(luò)與非線性信息處理。

0引言

Hopfield于1982年提出了一種新型的神經(jīng)網(wǎng)絡(luò)——Hopfield網(wǎng)絡(luò)模型。它采用了與層次型人工神經(jīng)網(wǎng)絡(luò)完全不一樣的結(jié)構(gòu)特征和學(xué)習方法來模擬生物神經(jīng)網(wǎng)絡(luò)的記憶機理，首次使用“能量函數(shù)”的概念，并且說明了此神經(jīng)網(wǎng)絡(luò)與動力學(xué)之間的關(guān)系，使得判斷神經(jīng)網(wǎng)絡(luò)在工作過程中的穩(wěn)定性有了非常簡便和可靠的依據(jù)。該神經(jīng)網(wǎng)絡(luò)非常利于人們理解學(xué)習，也可以比較方便地在集成電路中實現(xiàn)。Hopfield神經(jīng)網(wǎng)絡(luò)根據(jù)網(wǎng)絡(luò)輸入輸出的不同分為兩種形式：離散型Hopfield神經(jīng)網(wǎng)絡(luò)和連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)，兩種形式的神經(jīng)網(wǎng)絡(luò)應(yīng)用領(lǐng)域也各不相同。本文使用離散型Hopfield神經(jīng)網(wǎng)絡(luò)實現(xiàn)聯(lián)想存儲器設(shè)計。

1離散型Hopfield神經(jīng)網(wǎng)絡(luò)

離散型Hopfield神經(jīng)網(wǎng)絡(luò)是由n個神經(jīng)元相互連接而成的二值神經(jīng)網(wǎng)絡(luò)[12]，并且各神經(jīng)元之間的連接是雙向的，連接強度用權(quán)值表示。網(wǎng)絡(luò)的全互聯(lián)結(jié)構(gòu)如圖1所示。神經(jīng)元的輸出為離散值0（或-1）和1，分別代表神經(jīng)元的抑制和激活狀態(tài)。由于神經(jīng)網(wǎng)絡(luò)的時間離散特性，因而其被稱為離散型Hopfield神經(jīng)網(wǎng)絡(luò)[3]。

這種連接方式使得離散型Hopfield神經(jīng)網(wǎng)絡(luò)中每個神經(jīng)元的輸出均通過神經(jīng)元之間的連接權(quán)值反饋到同一層次的其它神經(jīng)元，并作為該神經(jīng)元的輸入，從而使各神經(jīng)元之間相互制約，保證離散型Hopfield神經(jīng)網(wǎng)絡(luò)在沒有外部輸入的情況下也能進入穩(wěn)定狀態(tài)。

兩個互聯(lián)神經(jīng)元之間的連接權(quán)值相同（wij=wji），每個神經(jīng)元到其自身的連接權(quán)值為0，即wii =0。

1.1處理單元模型

離散型Hopfield神經(jīng)網(wǎng)絡(luò)的單個神經(jīng)元結(jié)構(gòu)如圖2所示，單個神經(jīng)元采用M-P模型進行信息處理，假設(shè)神經(jīng)網(wǎng)絡(luò)有n個神經(jīng)元，以xj表示神經(jīng)元j的輸出（也稱為神經(jīng)元的狀態(tài)），wij表示神經(jīng)元i與神經(jīng)元j之間的連接權(quán)值，θj表示神經(jīng)元j的閾值。

神經(jīng)元j的凈輸入sj=∑ni=1xiwij-θj（1）

神經(jīng)元j的輸出 xj=f（sj）=sgn（sj）=1sj>0-1sj≤0（2）

1.2網(wǎng)絡(luò)狀態(tài)及運行規(guī)則

離散型Hopfield神經(jīng)網(wǎng)絡(luò)的狀態(tài)由網(wǎng)絡(luò)所有（n個）神經(jīng)元的狀態(tài)集合構(gòu)成，在任意一個給定的時刻t，離散型Hopfield神經(jīng)網(wǎng)絡(luò)的狀態(tài)表示為：

X（t）=（x1 ，x2 ，…，xn ）（3）

離散型Hopfield神經(jīng)網(wǎng)絡(luò)是全互聯(lián)反饋式的連接結(jié)構(gòu)，每個神經(jīng)元都會接收到全部神經(jīng)元的反饋信息，故當網(wǎng)絡(luò)中的各神經(jīng)元狀態(tài)改變時，整個網(wǎng)絡(luò)狀態(tài)也隨之變化。當網(wǎng)絡(luò)中各神經(jīng)元的輸出狀態(tài)都不再改變時就表示網(wǎng)絡(luò)達到穩(wěn)定狀態(tài)（即xj （t+1）=xj （t）=f（sj （t）））。神經(jīng)網(wǎng)絡(luò)要達到穩(wěn)定狀態(tài)需要經(jīng)過反復(fù)更新，學(xué)習訓(xùn)練。

離散型Hopfield神經(jīng)網(wǎng)絡(luò)的工作過程就是網(wǎng)絡(luò)狀態(tài)的動態(tài)演化過程，即從網(wǎng)絡(luò)初始狀態(tài)沿能量遞減的方向不斷演化的過程，直到達到網(wǎng)絡(luò)的穩(wěn)定狀態(tài)，這時網(wǎng)絡(luò)的穩(wěn)定狀態(tài)就是網(wǎng)絡(luò)的輸出。離散型Hopfield神經(jīng)網(wǎng)絡(luò)工作時有以下運行步驟：①對網(wǎng)絡(luò)進行初始化；②從網(wǎng)絡(luò)中隨機選取一個神經(jīng)元i；③按照式（1）計算神經(jīng)元i在t時刻的凈輸入si （t）；④按照式（2）計算神經(jīng)元i在t+1時刻的輸入xi（t+1），此時網(wǎng)絡(luò)中除i以外的其它神經(jīng)元j的輸出保持不變，即xj（t+1）=xj（t）其中i ≠j；⑤按照式xj（t+1）=xj（t）=f（sj（t））判斷網(wǎng)絡(luò)是否達到了穩(wěn)定狀態(tài)，如果未達到穩(wěn)定狀態(tài)就轉(zhuǎn)到②繼續(xù)進行，如果網(wǎng)絡(luò)達到穩(wěn)定狀態(tài)則網(wǎng)絡(luò)的工作過程終止。

1.3離散型Hopfield神經(jīng)網(wǎng)絡(luò)的能量函數(shù)

Hopfield神經(jīng)網(wǎng)絡(luò)的一大特點就是引入了“能量函數(shù)”，它表明了神經(jīng)網(wǎng)絡(luò)與動力學(xué)之間的關(guān)系。上文也提到，網(wǎng)絡(luò)運行時在網(wǎng)絡(luò)狀態(tài)不斷變化過程中，網(wǎng)絡(luò)的能量值不斷遞減，直到達到穩(wěn)定狀態(tài)。這說明網(wǎng)絡(luò)的能量值與網(wǎng)絡(luò)的穩(wěn)定狀態(tài)有著十分密切的關(guān)系。能量函數(shù)定義為：

E=-12∑ni=1∑nj=1wijxixj+∑ni=1θixi（4）

Hopfield神經(jīng)網(wǎng)絡(luò)實際上是一個非線性動力系統(tǒng)，網(wǎng)絡(luò)按動力學(xué)方式運行，網(wǎng)絡(luò)狀態(tài)的變化過程實際上是使能量極小化的過程：每次神經(jīng)元狀態(tài)改變時，整個網(wǎng)絡(luò)的能量應(yīng)單調(diào)遞減，即能量與以前相同或下降。證明如下：

設(shè)任一神經(jīng)元j由式（4）得神經(jīng)元j的能量為：

Ej=-12∑ni=1wijxixj+θjxj（5）

該式可變換為：

Ej=-12xj∑ni=1wijxi+θjxj（6）

由t時刻到t+1時刻神經(jīng)元j的能量變化為：ΔEj=Ej（t+1）-Ej（t）= -Δxj（∑ni=1wijxi-θj）+12Δxj∑ni=1wijxi（7）

由于在t+1時刻只有神經(jīng)元j調(diào)整狀態(tài)，并且各神經(jīng)元不存在自反饋，式（7）可簡化為：

ΔEj= -Δxj（∑ni=1wijxi-θj）（8）

在t+1時刻共有以下3種可能情況來分析ΔEj的大小從而論證網(wǎng)絡(luò)能量值的改變方向：①如果神經(jīng)元j的狀態(tài)不發(fā)生變化，即xj （t+1）=xj （t），則Δxj=0，由式（8）可知ΔEj=0；②如果神經(jīng)元j的狀態(tài)發(fā)生變化，是從-1變?yōu)?，則Δxj=2，此時由式（1）和式（2）可知∑ni=1wijxi-θj>0，再由式（8）得ΔEj<0；③如果神經(jīng)元j的狀態(tài)發(fā)生變化，是從1變?yōu)?1，則Δxj=-2，此時由式（1）和式（2）可知∑ni=1wijxi-θj≤0，再由式（8）得ΔEj≤0。

綜上可知，從t時刻到t+1時刻，無論神經(jīng)元j的狀態(tài)如何變化，其能量的改變量均為ΔEj≤0。由于神經(jīng)元j是網(wǎng)絡(luò)中任意一個神經(jīng)元，而網(wǎng)絡(luò)中的神經(jīng)元又都是按照同一規(guī)則來更新狀態(tài)的，因而整個網(wǎng)絡(luò)的能量一直向減少的方向進行。網(wǎng)絡(luò)變化的過程就是網(wǎng)絡(luò)能量的極小化過程，因為能量函數(shù)是有界的，故網(wǎng)絡(luò)一定會趨于穩(wěn)定狀態(tài)，該穩(wěn)定狀態(tài)就是網(wǎng)絡(luò)的輸出。離散型Hopfield神經(jīng)網(wǎng)絡(luò)能量函數(shù)的變化曲線如圖3所示，能量函數(shù)的變化過程可以看作是下坡的過程，當網(wǎng)絡(luò)的狀態(tài)隨時間改變時，整個網(wǎng)絡(luò)的能量沿著下降最快的方向改變，最終停在整個網(wǎng)絡(luò)能量的極小點[4]。這些極小點有全局極小點c，也有局部極小點a、b，最終落入哪種極小點取決于網(wǎng)絡(luò)的初始狀態(tài)。網(wǎng)絡(luò)能量函數(shù)變化曲線如圖3所示。

1.4關(guān)于離散型Hopfield神經(jīng)網(wǎng)絡(luò)聯(lián)想記憶的連接權(quán)值設(shè)計

離散型Hopfield神經(jīng)網(wǎng)絡(luò)可以應(yīng)用于聯(lián)想記憶[5]，其聯(lián)想記憶的基本原理是利用能量函數(shù)的極值點，網(wǎng)絡(luò)將記憶的樣本信息存儲在不同的能量極值點上，當網(wǎng)絡(luò)輸入某一種模式時，網(wǎng)絡(luò)工作到穩(wěn)定狀態(tài)后能夠“聯(lián)想記憶”出與其相關(guān)的其它存儲樣本，從而實現(xiàn)聯(lián)想記憶。并且神經(jīng)網(wǎng)絡(luò)都有很好的容錯性能，即使是對一些不全的、破損的、變形的輸入信息，網(wǎng)絡(luò)也能夠很好地將其恢復(fù)成比較完整的原型信息。記憶是聯(lián)想的前提，必須先將信息存儲起來，才能按照某種方式或規(guī)則再取出相關(guān)信息，能量極值點存儲記憶模式，而網(wǎng)絡(luò)的連接權(quán)值和閾值決定這些極值點的分布，因此網(wǎng)絡(luò)聯(lián)想記憶的關(guān)鍵就是根據(jù)能量極值點和需要被記憶的模式設(shè)計一組恰當?shù)木W(wǎng)絡(luò)連接權(quán)值和閾值。

網(wǎng)絡(luò)在沒有記憶之前是空白狀態(tài)，只有設(shè)計了恰當?shù)倪B接權(quán)值和閾值才會使網(wǎng)絡(luò)具有知識，連接權(quán)值的設(shè)計調(diào)整過程就是網(wǎng)絡(luò)的學(xué)習過程。離散型Hopfield神經(jīng)網(wǎng)絡(luò)一般用Hebb規(guī)則的外積和法來設(shè)計權(quán)值。方法具體如下：

假設(shè)網(wǎng)絡(luò)共有n個節(jié)點，W是網(wǎng)絡(luò)的連接權(quán)矩陣，如果網(wǎng)絡(luò)一共處理m個兩兩正交的模式樣本，則網(wǎng)絡(luò)的學(xué)習記憶集合為xk=（xk1，xk2，…，xkn）（k=1，2，…，m）。

（1）若m=1只有一個學(xué)習模式，學(xué)習記憶集合為X1，對于輸入模式X1，如果網(wǎng)絡(luò)達到穩(wěn)定狀態(tài)，有：

X1=sgn（XW），即x1j=sgn（∑ni=1wijx1i）j=1，2， …，n（9）

由sgn函數(shù)的特點可知，若滿足x1j（∑ni=1wijx1i）>0，即若連接權(quán)值wij正比于x1jx1i，則式（9）成立。綜合可得，網(wǎng)絡(luò)的連接權(quán)值與輸入模式向量的每個分量之間滿足關(guān)系：

wij=αx1jx1iα為常數(shù)而且大于零（10）

（2）如果有多個學(xué)習模式，則可將式（10）進行推廣有：

wij=α∑mk=1xkjxkiα為常數(shù)而且大于零（11）

由wii=0可將式（11）改寫為：

W=α∑mk=1[（Xk）TXk-I]α為常數(shù)而且大于零，I為nxn的單位矩陣（12）

在設(shè)計好網(wǎng)絡(luò)連接權(quán)矩陣后，網(wǎng)絡(luò)就處于正常工作狀態(tài)，加載輸入模式向量時，網(wǎng)絡(luò)可以進行模式的記憶及聯(lián)想。

2聯(lián)想記憶功能實現(xiàn)證明

聯(lián)想記憶的過程分為兩個階段：第一階段是記憶階段（也稱存儲階段、學(xué)習階段），它是聯(lián)想記憶的關(guān)鍵，其處理過程是將記憶模式作為網(wǎng)絡(luò)的穩(wěn)定狀態(tài)，并通過設(shè)計或?qū)W習獲得需要的網(wǎng)絡(luò)連接權(quán)值；第二階段是聯(lián)想階段（也稱回憶階段），此階段是利用網(wǎng)絡(luò)進行回憶，將給定的輸入模式作為網(wǎng)絡(luò)的初始狀態(tài)，網(wǎng)絡(luò)按照既定的運行規(guī)則不斷演化，一直演化到網(wǎng)絡(luò)的穩(wěn)定狀態(tài)，此時網(wǎng)絡(luò)的穩(wěn)定狀態(tài)就是回憶出的記憶模式。下面舉例證明離散型Hopfield神經(jīng)網(wǎng)絡(luò)是如何實現(xiàn)聯(lián)想記憶功能。設(shè)有一個4神經(jīng)元的離散型Hopfield神經(jīng)網(wǎng)絡(luò)，各神經(jīng)元的閾值為0，其中存儲了兩個模式，模式一X1為（1，1，1，1），模式二X2為（-1，-1，-1，-1），每個存儲模式由兩部分組成：名稱和顏色。前兩神經(jīng)元存儲的是名稱，后兩個神經(jīng)元存儲的是對應(yīng)的顏色。模式一表示“藍色的天空”，前兩個1表示天空，后兩個1表示藍色的；模式二表示“綠色的樹”，前兩個-1表示樹，后兩個-1表示綠色的，當網(wǎng)絡(luò)上加載信息不全或錯誤地輸入模式三X3=（1，1，-1，1）時，讓網(wǎng)絡(luò)聯(lián)想記憶輸出模式X1。若想讓網(wǎng)絡(luò)聯(lián)想輸出模式X1，必須首先設(shè)計網(wǎng)絡(luò)的連接權(quán)值，讓網(wǎng)絡(luò)記憶模式一和模式二，然后讓網(wǎng)絡(luò)加載輸入模式三運行到穩(wěn)定狀態(tài)。將網(wǎng)絡(luò)要存儲的模式一和模式二設(shè)計為網(wǎng)絡(luò)的兩個穩(wěn)定狀態(tài)，由此設(shè)計網(wǎng)絡(luò)的連接權(quán)值。根據(jù)式（12），設(shè)α=1得網(wǎng)絡(luò)的連接權(quán)矩陣為；

W=（X1）TX1+（X2）TX2-2I=0222202222022220

設(shè)計好連接權(quán)值后，將模式三加載至網(wǎng)絡(luò)，然后按照網(wǎng)絡(luò)運行規(guī)則讓網(wǎng)絡(luò)運行：

t=0：網(wǎng)絡(luò)的初始狀態(tài)X（0）=（1，1，-1，1）；

t=1：選取節(jié)點1，節(jié)點1的狀態(tài)為x1（1）=sgn[1×0+1×2+（-1）×2+1×2]=sgn[2]=1

網(wǎng)絡(luò)狀態(tài)X（1）=（1，1，-1，1）；

t=2：選取節(jié)點2，節(jié)點2的狀態(tài)為x2（2）=sgn[1×2+1×0+（-1）×2+1×2]=sgn[2]=1

網(wǎng)絡(luò)狀態(tài)X（2）=（1，1，-1，1）；

t=3：選取節(jié)點3，節(jié)點3的狀態(tài)為x3（3）=sgn[1×2+1×2+（-1）×0+1×2]=sgn[6]=1

網(wǎng)絡(luò)狀態(tài)X（3）=（1，1，1，1）；

t=4：選取節(jié)點4，節(jié)點4的狀態(tài)x4（4）=sgn[1×2+1×2+1×2+1×0]=sgn[6]=1

網(wǎng)絡(luò)狀態(tài)X（4）=（1，1，1，1）；………

按此規(guī)則循環(huán)運行下去直到網(wǎng)絡(luò)狀態(tài)不再改變，網(wǎng)絡(luò)處于穩(wěn)定狀態(tài)，網(wǎng)絡(luò)的輸出就是（1，1，1，1），也即網(wǎng)絡(luò)存儲的記憶模式一X1=（1，1，1，1）。同理，當網(wǎng)絡(luò)加載模式四X4=（-1，-1，1，-1）時，網(wǎng)絡(luò)也可聯(lián)想記憶輸出模式二。從而證明了離散型Hopfield神經(jīng)網(wǎng)絡(luò)具有聯(lián)想記憶功能。

3結(jié)語

神經(jīng)網(wǎng)絡(luò)的聯(lián)想記憶功能雖然很強，但是也存在一些缺陷。由于聯(lián)想記憶能力受到了記憶容量和樣本差異的制約，當記憶的模式較多且容易混淆時，網(wǎng)絡(luò)不能夠很好地辨別出正確模式，而且達到的穩(wěn)定狀態(tài)也往往不是記憶住的模式。并且，所有記憶模式不是以同樣的記憶強度回想出來的。

參考文獻參考文獻：

[1]周非.基于RBF網(wǎng)絡(luò)和逆模型的汽油機瞬態(tài)空燃比控制[D].成都：西華大學(xué)，2006.

[2]于樂斐.兩類時滯細胞神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性分析[D].青島：中國海洋大學(xué)，2008.

[3]夏松.Hopfield神經(jīng)網(wǎng)絡(luò)構(gòu)造的聯(lián)想記憶存儲器實現(xiàn)與研究[D].合肥：安徽大學(xué)，2010.

[4]周超超.人工智能專家系統(tǒng)在曲軸圓角滾壓校直中的研究[D].武漢：武漢理工大學(xué)，2003.

[5]顏本偉.基于小世界體系的模糊自聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)研究[D].重慶：西南大學(xué)，2011.

責任編輯（責任編輯：孫娟）