楊剛 王樂 戴麗珍 楊輝

人工神經網絡是指受動物大腦內生物神經網絡的啟發(fā)而對其結構和功能進行模擬所獲得的一類計算系統(tǒng),其結構設計和網絡學習是理論研究的關鍵問題.跨越–側抑制神經網絡(Span-lateral inhibition neural network,S-LINN)是根據(jù)大腦新皮層內神經元種類、連接模式以及側抑制機制構造的一類復雜神經網絡模型,具有良好的學習能力和泛化能力.然而,與前饋神經網絡相比,S-LINN引入了不同層神經元之間的跨越連接以及隱含層內神經元之間的側抑制連接,增加了網絡的計算成本及復雜度.因而,需要研究合理的網絡結構調整方法,進一步保證網絡性能的發(fā)揮.

研究表明,人腦內神經元之間的突觸連接具有非常明顯的稀疏(Sparse)特性[1?2].因而,許多學者針對人工神經網絡提出了一些稀疏連接的結構設計方法[3?6].稀疏神經網絡的設計是在保證網絡性能的前提下,通過控制神經元及其之間連接權值的增加/刪剪操作降低網絡的連接成本,提高計算效率及泛化能力.然而,選取何種稀疏連接機制用于人工神經網絡設計是一個重要且有意義的研究課題.

小世界(Small-world)網絡是介于規(guī)則網絡和隨機網絡之間的一種網絡結構,具有較短的平均路徑長度和較高的聚類系數(shù)[7].由于其網絡連接具有明顯的稀疏特性,且生物神經網絡也具有一定的小世界特性[8?9]:鄰近的節(jié)點之間密集的局部聚類或小集團連接.因此,小世界的概念也被引入到人工神經網絡結構設計研究之中.Ahn等[10]研究發(fā)現(xiàn)稀疏和小世界拓撲結構可以平衡網絡的性能與連接成本之間的關系.Zheng等[11]認為稀疏和小世界拓撲結構是既能實現(xiàn)較小的連接成本,又能保證較高的模式識別質量的有效策略,并提出了一種簡單有效的方法生成具有離散時間動力學特性的小世界神經網絡.Simard等[12]研究了WS小世界神經網絡的快速學習算法,該方法在數(shù)據(jù)挖掘方面表現(xiàn)出了優(yōu)良性能.Lago-Fernndez等[13]通過計算機仿真研究了基于Hodgkin-Huxley神經元的不同連接拓撲結構,發(fā)現(xiàn)小世界連接是生成快速同步振蕩的最佳連接方式.Morelli等[14]研究了小世界連接神經網絡的聯(lián)想記憶.為了對多層前向小世界神經網絡的網絡參數(shù)、權值修正策略以及網絡結構進行改進,王爽心等[15]提出一種基于層連優(yōu)化的小世界神經網絡的改進算法,能夠獲得更快的收斂速度,更高的逼近精度,且模型穩(wěn)定性更強.為了提高時間序列的預測精度,改進的小世界網絡被用于優(yōu)化泄露積分型ESN[16],可以獲得更高的預測精度和更短的訓練時間.Erkaymaz等[17]將ANN作為用于癌癥診斷的新型智能決策制定方法,對比研究了兩種典型小世界前饋ANN的性能,均獲得優(yōu)于其他方法的性能.然而,將固定的小世界連接模式引入經典神經網絡進行結構設計仍然無法充分發(fā)揮網絡的性能,而網絡結構的自組織優(yōu)化則是提升網絡性能的一種有效方法.

針對S-LINN的結構設計及參數(shù)優(yōu)化問題,本文根據(jù)兒童智力發(fā)展水平與大腦皮層發(fā)育之間的相互關系,結合小世界稀疏連接,設計一種簡單有效的稀疏網絡設計方法,降低計算成本提高網絡性能,便于實際問題求解.本文第1節(jié)首先簡要介紹跨越–側抑制神經網絡,第2節(jié)詳細介紹稀疏跨越–側抑制神經網絡設計方法,第3節(jié)給出基于稀疏跨越–側抑制神經網絡的非線性動力學系統(tǒng)辨識及函數(shù)逼近仿真分析,并在第4節(jié)給出結論.

1 跨越?側抑制神經網絡簡述

在實際的生物神經系統(tǒng)內,新皮層(Neocortex)是大腦皮層重要的組成部分,主要由興奮的錐體神經元(Pyramidal neurons,約占70%～80%)和抑制的中間神經元(Interneurons)組成[18?19].在不同的層之間以及不同的神經元類型之間存在著典型的連接,即可以跨越(Span)整個皮層厚度,以垂直分布的方式對同一個輸入產生響應.這些皮層的微回路以皮層柱(Cortical column)和微柱(Minicolumn)的形式排列,并且微柱被認為是大腦皮層最基本的功能單元[20?22].功能柱是廣泛存在于生物不同皮層區(qū)域內的一種連接結構,介于微觀的神經元和宏觀的腦區(qū)之間的中間層次模塊.在一個微柱內,大約包含80～100個神經元[23?24].除了功能柱的垂直排列之外,大腦皮層內還存在著一些錐體神經元模塊.它們以集結的形式進行著垂直排列[18].大腦皮層內的微柱是通過相鄰的中間神經元之間的橫向(Lateral)連接形成的,而激活的神經元通過這種橫向連接可以抑制周圍未激活的神經元.這種由抑制的中間神經元之間的橫向連接構成的抑制作用稱為側抑制(Lateral inhibition).

從結構和信息仿生的角度出發(fā),基于大腦新皮層內錐體神經元在不同層神經元之間的跨越連接以及中間神經元在同層內的抑制連接提出了一種的新型的跨越–側抑制神經網絡模型(S-LINN)[25?26].S-LINN內部既有相鄰層之間的前饋傳輸,又引入了不相鄰層之間的跨越傳輸以及隱含層內的側抑制連接.這一結構特點不僅保證網絡具有豐富的學習能力和更好的泛化能力,而且可以方便地研究功能柱結構及其對神經網絡性能的影響.(L+1)層S-LINN的輸入–輸出關系如下:

其中,fl(·)為l層神經元的激活函數(shù),通常取為sigmoid函數(shù);是神經元輸出和權值的內集,包含來自(l?1)層前饋鏈接的神經元輸出,同時包含通過跨越連接來自[0,l?2]層神經元的輸入;為被周圍神經元側向抑制后的抑制輸入,θrj為神經元r對神經元j的側抑制閾值,vrj∈[0,1]為側抑制系數(shù),0表示不受抑制,1表示全抑制,表示神經元無自抑制作用.

為簡化計算,根據(jù)兩個神經元之間的“距離”依高斯分布生成S-LINN隱含層神經元之間的側抑制系數(shù),并在學習過程中保持不變.其中,神經元無自抑制作用,且根據(jù)網絡規(guī)模設定當“距離”大于閾值(一般設為當前層神經元數(shù)量的2/3)時,側抑制作用忽略不計.基于梯度下降的反向傳播學習算法和序列學習算法可參見文獻[25?26].變的稀疏神經網絡.

2 稀疏S-LINN設計

2.1 稀疏網絡

稀疏神經網絡實際上是對大腦神經元稀疏連接特性的一種模擬.全連接ANNs往往忽略了由全連接引起的訓練時間過長的問題,而冗余神經元/連接的大量存在也在一定程度上損害著網絡的泛化能力.實際的生物神經系統(tǒng)中神經元是稀疏(Sparse)連接的,尤其是哺乳類生物大腦皮層內神經元的稀疏連接特性非常明顯[2].對老鼠皮層的解剖研究表明[1],大約85%的神經元為錐體神經元,而錐體神經元之間的突觸連接具有均等性和隨機性.一個錐體神經元僅與其突觸后的一個或幾個鄰近神經元的突觸相連.在大約20000000個錐體神經元中的一個神經元有大約8000個突觸與之相連.也就是說,皮層內錐體神經元的平均連接度僅為0.04%左右.

四層前饋網絡的全連接與稀疏連接的結構對比如圖1所示.與全連接神經網絡相比,稀疏連接的神經網絡可以明顯減少訓練時間,提高網絡的泛化能力,降低硬件需求,同時更加接近生物神經網絡的特性.因此,稀疏神經網絡(Sparse neural network,SNN)的研究逐漸引起人們的關注.然而,如何構造稀疏神經網絡以及最優(yōu)稀疏度的確定一直是亟待研究的開放課題.從稀疏網絡的構造方式來看,可將稀疏網絡劃分為個體發(fā)育型稀疏網絡(Ontogenic sparse neural network)[27]和非個體發(fā)育型稀疏網絡(Non-ontogenic sparse neural networks)[28]兩大類.然而,通過既定的學習規(guī)則調節(jié)神經網絡連接強度以適應實際問題的能力與缺乏確定網絡拓撲結構豐富知識之間的矛盾,開啟了結構自適應調整個體發(fā)育神經網絡的研究.通過個體發(fā)育,實現(xiàn)稀疏連接的神經網絡是指在學習的過程中,逐漸從全連接網絡中去除冗余的層.神經元或連接,實現(xiàn)稀疏化的網絡.非個體發(fā)育稀疏神經網絡[28]是指在網絡開始學習之前就確定網絡的結構并在學習過程中保持不

圖1 全連接網絡及稀疏連接網絡Fig.1 Structural diagram of fully connected network and sparse connected network

2.2 小世界網絡

網絡根據(jù)連接方式可分為規(guī)則網絡和隨機網絡,而生物網絡、技術網絡和社會網絡等是介于兩者之間既非完全規(guī)則也非完全隨機的一種連接網絡.1998年,為了描述從規(guī)則網絡到隨機網絡的轉換過程,Watts等通過對規(guī)則網絡進行重連(Rewired)來產生具有一定程度混亂性(Disorder)的網絡,以高集聚系數(shù)和低平均路徑長度作為特征,提出了小世界網絡(Small-world network)模型[7],簡稱WS模型.此外,Newman和Watts對WS模型進行了改進,用隨機化加邊代替了隨機化重連,避免產生孤立節(jié)點的可能,從而提出了新的NW小世界網絡[29].小世界網絡的兩個重要參數(shù)分別為聚類系數(shù)C(Clustering coefficient)和路徑長度L(Path length).其中,聚類系數(shù)量度給定的節(jié)點a連接到節(jié)點b和c的概率.同時,節(jié)點b和c也是相連的.從節(jié)點a到節(jié)點b的最短路徑長度是指實現(xiàn)節(jié)點a到b的連接所需的最小的連接數(shù).在具有相同連接和節(jié)點的情況下,小世界網絡的平均聚類系數(shù)C要大于隨機網絡對應的平均聚類系數(shù);此外,平均路徑長度L與logN成比例(N為節(jié)點個數(shù)).本文采用小世界網絡連接模式對初始S-LINN進行稀疏化設置.

WS小世界網絡模型的生成是從一個規(guī)則圖開始的.首先,考慮一個含有N個節(jié)點的最近鄰耦合網絡,將N個節(jié)點圍成一個圓環(huán),其中的每個節(jié)點都與它左右相鄰的各k/2個節(jié)點進行相連,k為偶數(shù),表示節(jié)點的度(Degree).其次,對網絡進行隨機化重連.隨機化重連的規(guī)則如下:1)固定邊的一個端點保持不變,另一個端點以概率p隨機地選擇網絡中的一個節(jié)點進行相連;2)任意兩個不同的節(jié)點之間最多只能有存在一條邊;3)不允許節(jié)點與自身相連的邊出現(xiàn)[7,30].在小世界網絡中,可以通過調節(jié)p值的大小確定網絡的類型.當p=0時,網絡為完全規(guī)則的網絡;當p=1時,網絡為完全隨機的網絡;當0

2.3 稀疏S-LINN結構設計[31]

Shaw等 通過智力測試將受試者分為智力超常組(S),高智力組(H)和平均智力組(A),并跟蹤研究其皮層厚度隨年齡增長的變化軌跡.皮層變化軌跡如圖3所示,智力超常(Superior intelligence)組的皮層厚度與其他兩組的皮層有明顯不同的變化軌跡,他們的大腦皮層在兒童時期相對較薄,經過發(fā)育成長階段的迅速增長達到頂峰,然后再快速變薄并穩(wěn)定在一定厚度(基本與其他兩組人的皮層厚度持平).這一現(xiàn)象給我們的啟示是,幼年時期即擁有高厚度皮層的兒童其智力未必就高.相反,智力超常的人則是幼年時期皮層較薄,但經過后天發(fā)育皮層達到正常厚度的那部分人,是那些根據(jù)環(huán)境產生更多適應性變化的人.對于皮層變薄的原因則可能是大腦發(fā)育過程中,腦細胞、神經元以及他們之間的聯(lián)系具有用進廢退的特點.因此,本文借鑒智力發(fā)展水平與皮層厚度發(fā)育的相互關系,研究稀疏跨越–側抑制神經網絡的自組織發(fā)育方法.為便于描述,將稀疏自組織發(fā)育S-LINN學習算法以及由此獲得的神經網絡簡記為sS-LINN.

本文設計的稀疏自組織發(fā)育神經網絡是在基于梯度下降的反向傳播學習基礎之上進行的,因此本節(jié)著重介紹連接稀疏度的定義、自組織發(fā)育規(guī)則的設計以及學習步驟.

2.3.1 連接稀疏度及自組織發(fā)育

定義(L+1)層S-LINN的連接稀疏度如下:

其中,nα和nβ分別表示α層和β層內神經元的數(shù)量,表示α層內神經元i與β層內神經元j的連接權值,為非0權值的統(tǒng)計數(shù)量,call為根據(jù)網絡結構計算而得的所有可調權值統(tǒng)計數(shù)量(不包含隱含層神經之間的側抑制連接權值).

由式(3)可知,網絡的連接稀疏度是指實際存在的神經元連接數(shù)量在所有可能存在的神經元連接中所占的比重.當神經元i和j之間無突觸連接,即權值時,統(tǒng)計變量c記為0;反之,權值時,統(tǒng)計變量c記為1.

連接稀疏度的定義是為了通過對其調整和控制,實現(xiàn)網絡的自組織發(fā)育,相關步驟如下:

圖2 隨機化重連Fig.2 Random rewriting procedure

圖3 皮層變化軌跡[31]Fig.3 Trajectories of cortical change[31]

步驟1.網絡初始化.根據(jù)問題的難易程度由經驗法確定全連接網絡的規(guī)模,即隱含層的數(shù)量l以及層內神經元的數(shù)量nl.

步驟2.網絡稀疏化(小世界連接).根據(jù)WS小世界神經網絡的生成方法,按照概率p生成具有小世界連接特性的S-LINN,初始化連接權值(隱含層內側抑制連接依據(jù)高斯分布確定,其余權值為[0,1]內的隨機值).此時網絡的權值連接稀疏度記為ds0.

步驟3.稀疏連接自組織發(fā)育.根據(jù)初始稀疏度ds0,設置網絡調整過程中權值連接的最高稀疏度dsmax及學習結束時網絡的期望稀疏度dsmin,設計權值連接動態(tài)變化規(guī)則.

本文用神經元連接權值的數(shù)量表征皮層厚度,根據(jù)圖3所示的智力超常組智力發(fā)育過程中大腦皮層由薄(約4.385mm)到厚(約4.85mm)再變薄(約4.25mm)的這一動態(tài)過程,設置稀疏度的動態(tài)調整規(guī)則.以初始疏度ds0為基準,確定最大稀疏度dsmax=ds0×120%和最終稀疏度dsmin=ds0×90%.通過動態(tài)調整神經元權值的稀疏連接程度來模擬智力發(fā)展過程中大腦皮層厚度“薄–厚–薄”的變化過程,從而使網絡獲得超常的智力.

sS-LINN的自組織發(fā)育,即稀疏連接的動態(tài)調整是構造稀疏S-LINN的重中之重,本文根據(jù)神經元輸出貢獻率的大小,判斷稀疏連接的增加和刪剪.

2.3.2 神經元輸出貢獻率

定義神經元的輸出貢獻率如下:

為提高sS-LINN的學習效率,在不嚴重影響網絡性能的情況下,對網絡學習作如下設置:

1)網絡由薄變厚至峰值時的發(fā)育過程中,僅對輸出貢獻率較大的神經元增加其輸出連接,實現(xiàn)網絡連接的增加;

2)網絡由厚到薄并最終達到穩(wěn)定狀態(tài)的發(fā)育過程中,對輸出貢獻率較小的神經元的輸出連接進行剪切,實現(xiàn)網絡連接的簡化.

圖4 sS-LINN結構示意圖Fig.4 Structural diagram of sS-LINN

四層sS-LINN的連接結構如圖4所示,用不同灰度(顏色)的神經元表示不同的層次.由于S-LINN隱含層內神經元的側抑制連接本來就是一種稀疏連接,并非所有的興奮神經元都能對其臨近的神經元產生抑制作用.因此,sS-LINN自組織發(fā)育主要是對層與層之間的前饋連接和跨越連接進行調整,增加或刪剪相應的連接權值控制網絡連接稀疏度.

2.3.3 sS-LINN學習算法

綜上所述,采用sS-LINN方法生成自組織發(fā)育稀疏S-LINN的主要學習步驟如下:

步驟1.網絡結構及參數(shù)初始化.根據(jù)實際問題,確定S-LINN結構(含一定的冗余神經元),并根據(jù)小世界連接模式生成初始化的稀疏S-LINN;設定輸出貢獻率閾值,容許誤差,迭代次數(shù)等參數(shù)值.

步驟2.連接權值的動態(tài)調整–增長階段.

步驟2.1.根據(jù)式(4)計算每個神經元對本層輸出的貢獻率,并根據(jù)各個神經元的大小對神經元進行排序.

步驟2.2.根據(jù)設定的貢獻增長閾值csg,判斷各個層內可以進行權值調整的神經元集合.對互相連接的a層和b層內的可調權值神經元,判斷現(xiàn)存的連接情況.若貢獻度大的已經與相連,則繼續(xù)判斷與排在下一位的神經元的連接情況;否則,增加的權值連接.

步驟2.3.判斷網絡權值增加的終止條件.若網絡的連接稀疏度ds≤dsmax,則循環(huán)運行步驟2.1,增加連接權值,直至所有可操作的連接權值都已得到調整.否則,停止連接權值的增長調整,并轉入步驟5:判斷學習終止條件.若滿足條件,直接轉入步驟6;否則,轉入步驟3,開始網絡權值的修剪.

步驟3.連接權值的動態(tài)調整–修剪階段.

步驟3.1.根據(jù)式(4)計算每個神經元對本層輸出的貢獻率cli,并根據(jù)各個神經元cli的大小對神經元進行逆序排列.

步驟3.2.根據(jù)設定的貢獻修剪閾值csp,判斷各個層內可以進行權值調整的神經元集合.對互相連接的a層和b層內的貢獻度最小的神經元和,判斷現(xiàn)有連接情況.若無權值連接,則判斷值大于的前一個神經元的連接情況;否則,斷開權值連接.

步驟3.3.判斷權值刪剪終止條件.若網絡權值的連接稀疏度ds≥dsmin,則循環(huán)運行步驟3,修剪連接權值,直至所有貢獻度小的神經元之間的連接全部刪剪.否則,停止連接權值的修剪調整,并轉入步驟5,判斷網絡學習的終止條件.若滿足學習終止條件,則直接轉入步驟6;否則,轉入步驟4,開始網絡權值的學習階段.

步驟4.采用基于梯度下降的反向傳播算法[25]訓練權值自組織發(fā)育調整后的稀疏網絡,轉步驟5,判斷學習終止條件:若不滿足學習終止條件,則循環(huán)運行步驟4;否則,直接轉步驟6終止學習.

步驟5.判斷學習終止條件.判斷網絡的學習精度及迭代次數(shù)是否已經達到預設的閾值.

步驟6.學習結束,輸出網絡.

3 仿真實驗及分析

為驗證本文設計sS-LINN的性能,選擇非線性動力學辨識及函數(shù)逼近問題進行仿真研究.本文所做實驗仿真研究均基于MATLAB 7.11并在Intel Core2 Duo CPU 3GHz,內存1.98GB的普通PC機上運行獲得.為最大限度地消除隨機因素對結果的影響,sS-LINN仿真結果均為獨立運行50次的平均值.

3.1 基于sS-LINN的動力學系統(tǒng)辨識

考慮常見的離散時間動力學系統(tǒng)辨識基準問題[32?35],系統(tǒng)的二階微分方程[36]如下:

其中,y(t)和u(t)分別為系統(tǒng)在t時刻的輸出和輸入信號,t為采樣時間.

采用sS-LINN構造形的辨識模型如下:

其中,輸入信號u(t)=sin(2πt/25),采樣時間1≤t≤1000,初始狀態(tài)y(0)=0,y(1)=0.即用系統(tǒng)輸出y(t),y(t?1)和輸入u(t)構造網絡的輸入樣本,而系統(tǒng)輸出y(t+1)則為網絡的輸出樣本.選取1≤t≤800時的系統(tǒng)數(shù)據(jù)構造訓練樣本,對網絡權值進行學習;選取801≤t≤1000生成的數(shù)據(jù)作為測試樣本,用于檢驗網絡的泛化能力.

為驗證自組織發(fā)育稀疏跨越–側抑制神經網絡sS-LINN的性能,設置單隱含層的S-LINN解決該系統(tǒng)辨識問題,其中,隱含層神經元數(shù)量n1=50,具有小世界特性的初始網絡的連接概率p=0.1.因此,根據(jù)式(3),計算三層S-LINN含有的可調連接權值數(shù)目如下:

S-LINN內任意兩個相連層的神經元之間均按照小世界網絡生成方式進行相連,設置節(jié)點的度k=4,初始稀疏度ds0=21%(約43組連接權值),最大期望稀疏度dsmax=120%×ds0=120%×21%=25.2%(約51組連接權值),dsmin=90%×ds0=90%×21%=18.9%(約38組連接權值).為驗證網絡的學習效果,設定最大迭代次數(shù)Tmax=3000,網絡的期望誤差精度為εTrMSE=10?7.

圖5～7及表1是選取3次獨立運行的結果,分別記為CaseA,CaseB,CaseC.圖5～7為3次獨立實驗對應的網絡性能及連接權值動態(tài)調整過程中訓練誤差的變化情況,“?”線型表示樣本的期望輸出,“?”線型表示網絡的預測輸出;表1是這3次實驗對應的網絡特點及性能.

圖5 CaseA:網絡測試輸出及學習誤差曲線Fig.5 CaseA:Network output for test samples and the learning error curve

圖6 CaseB:網絡測試輸出及學習誤差曲線Fig.6 CaseB:Network output for test samples and the learning error curve

表1 三次獨立實驗中網絡性能及其權值連接變化情況Table 1 Network performance and the dynamic adjustment process of connected weight

由圖5～7和表1可知,3次實驗都實現(xiàn)了網絡稀疏連接的動態(tài)調整過程,并且連接的稀疏度基本上達到了設定的期望值,說明根據(jù)ds和cli進行的連接權值貢獻度的判斷以及由此所作的動態(tài)調整是行之有效的.此外,從網絡的處理效果來說,均能獲得較高的精度.同時,從表1中的網絡性能與權值稀疏連接情況的對應關系可知,3次試驗均能按照設計的稀疏連接度進行連接權值的動態(tài)調整,并且調整的結果越接近設定的期望連接度時其網絡性能也越好,如CaseC所示.

圖7 CaseC:網絡測試輸出及學習誤差曲線Fig.7 CaseC:Network output for test samples and the learning error curve

為對比分析3次獨立實驗過程中權值連接的調整對網絡性能的影響,將三次實驗中前200次迭代中學習誤差的變化情況進行對比,如圖8所示.從圖5～7及表1可以看出,三次實驗的網絡精度基本相當,均能獲得較好的處理效果.但相比較而言,CaceC具有優(yōu)于CaseA和CaseB的處理效果.從圖8可以看出,在學習初期階段,由于連接權值的動態(tài)調整,網絡精度也有幅度較大的振蕩.而由編號CaseC實驗所示的學習誤差變化情況顯示,在調整的初期階段(約50次迭代之前),網絡的性能較CaseA和CaseB較弱;而通過中間階段(迭代次數(shù)位于50～120)的迭代學習,CaseC的網絡性能有所提高,達到了與CaseA和CaseB相當?shù)乃?CaseC經過一段時間的學習,網絡的學習精度大幅度提高,明顯優(yōu)于CaseA和CaseB的變化趨勢.CaseC網絡性能的變化過程與文獻[31]中智力超常小組人員的大腦皮層厚度變化情況相一致,而網絡的性能也與網絡結構(即sS-LINN的權值連接情況)一一對應.因此,根據(jù)權值連接的稀疏程度,控制網絡內權值連接數(shù)量先增加后減少并最終維持在略低于初始權值數(shù)量的水平,實現(xiàn)網絡的自組織發(fā)育,能夠有效構造具有優(yōu)越性能的sS-LINN,進一步驗證了該方法的正確性和可行性.

圖8 三次獨立實驗中前200次迭代中網絡性能對比Fig.8 The comparison of network performance for the 3 independent runs(the first 200 iterations)

此外,為了對比sS-LINN的處理效果,表2列出了通過不同方法對該系統(tǒng)進行辨識的結果,再一次充分說明了sS-LINN處理該問題的出色性能.與含有10個隱含層神經元的其他方法相比,在未增加網絡結構復雜度的情況下,sS-LINN具有更好的性能,而從連接數(shù)量角度出發(fā)sS-LINN甚至具有更緊湊的網連接結構.

3.2 函數(shù)逼近

為進一步驗證sS-LINN的性能,考慮含有噪聲的sin C函數(shù)逼近問題

在[?10,10]隨機生成2000個數(shù)據(jù)xi作為訓練樣本的輸入,然后根據(jù)式(8)計算yi,并令yi=yi+εi作為訓練樣本的輸出,其中εi為[?0.04,0.04]內均勻分布的隨機噪聲信號.對于測試樣本,則在[?10,10]內重新隨機生成2000組數(shù)據(jù)作為測試樣本的輸入,并根據(jù)式(8)計算對應的測試樣本輸出,不添加噪聲信號.

表2 sS-LINN與其他神經網絡方法的性能對比Table 2 Network performance and the dynamic adjustment process of connected weight

選取單隱含層的sS-LINN求解該問題,令n1=30,具有小世界特性的初始網絡的連接概率p=0.1.根據(jù)式(3)可計算出三層S-LINN含有的可調連接權值數(shù)call=61,初始稀疏度及其他參數(shù)設置與第3.1節(jié)相同.基于sS-LINN的sin C函數(shù)逼近輸出結果如圖9和表3所示,實驗數(shù)據(jù)表明sS-LINN可以獲得優(yōu)于其他方法的學習能力和泛化能力.

圖9 sin C函數(shù)逼近結果Fig.9 Simulation result of sin C function approximation

表3 sin C函數(shù)逼近結果與其他方法的性能對比Table 3 Performance comparison of sin C function approximation

4 結論

針對跨越–側抑制神經網絡的結構設計及參數(shù)學習,結合生物神經網絡神經元連接的稀疏特性以及人類智力發(fā)展水平與大腦皮層發(fā)育的對應關系,設計了連接自組織發(fā)育的稀疏跨越–側抑制神經網絡學習算法.通過在學習階段對網絡連接稀疏程度的控制,模擬大腦皮層由薄到厚再變薄的動態(tài)變化過程,實現(xiàn)網絡智力的發(fā)育,從而提升網絡的性能.首先,借助小世界網絡連接模式生成初始化稀疏連接S-LINN;其次,根據(jù)網絡連接稀疏度的控制及神經元輸出貢獻率的判斷,設計網絡自組織發(fā)育策略,實現(xiàn)網絡連接的動態(tài)調整;最后,借助反向傳播學習算法對網絡的參數(shù)進行學習.通過對非線性動力學系統(tǒng)辨識和函數(shù)逼近基準問題的求解,驗證了sS-LINN在學習階段對網絡權值連接稀疏度的調整和控制能力,以及對網絡性能的提升作用.實驗結果表明,sS-LINN可以通過神經元輸出貢獻率的判斷,在網絡權值增長階段對輸出貢獻交大的神經元增加權值連接,而在網絡權值修剪階段刪除貢獻值低的神經元之間的連接權值,精簡網絡結構,實現(xiàn)自組織發(fā)育,提高網絡性能.