崔兆順　韓雙旺

[摘要]PSO算法由于具有獨(dú)特的信息共享機(jī)制而得到廣泛應(yīng)用。介紹人工神經(jīng)網(wǎng)絡(luò)的基本原理以及網(wǎng)絡(luò)學(xué)習(xí)及泛化的方法,以此為基礎(chǔ)將POS算法作為學(xué)習(xí)算法用于人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練,給出基于PSO的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的設(shè)計(jì)方法,并通過(guò)實(shí)驗(yàn),驗(yàn)證PSO算法在訓(xùn)練集錯(cuò)誤率方面的優(yōu)越性。

[關(guān)鍵詞]PSO算法人工神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)學(xué)習(xí)與泛化

中圖分類號(hào):TP2文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):1671-7597(2009)0710042-01

粒子群算法用于神經(jīng)網(wǎng)絡(luò)優(yōu)化主要包括兩大方面:一是用于網(wǎng)絡(luò)學(xué)習(xí)(也稱網(wǎng)絡(luò)訓(xùn)練),即優(yōu)化網(wǎng)絡(luò)各層之間的連接權(quán)值;二是優(yōu)化網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)。本文的主要工作則集中在用PSO算法進(jìn)行人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練這一方面。

一、人工神經(jīng)網(wǎng)絡(luò)的基本原理

人工神經(jīng)網(wǎng)絡(luò)模型是基于生物學(xué)中神經(jīng)網(wǎng)絡(luò)的基本原理而建立起來(lái)的一種模仿人腦工作方式的計(jì)算模型,可以被看作一種具有大量連接的并行分布處理系統(tǒng),它可以通過(guò)學(xué)習(xí)獲取知識(shí)和解決問(wèn)題,并將知識(shí)存儲(chǔ)在連接權(quán)值中(對(duì)應(yīng)生物神經(jīng)元的突觸)[1]。神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的基本處理單元,它的模型如下圖1所示。

圖1單輸入神經(jīng)元

從上圖可以看出,標(biāo)量輸入P乘以權(quán)值w得到WP,將其送入累加器并與偏置值b相加得到的值n通常被稱為凈輸入,它被作為參數(shù)送入傳輸函數(shù)f,通過(guò)f的運(yùn)算產(chǎn)生標(biāo)量輸出a。神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)者可以選擇特定的傳輸函數(shù)不并根據(jù)學(xué)習(xí)規(guī)則調(diào)整權(quán)值w和偏置值b以滿足特定的需要。其中的傳輸函數(shù)主要包括三種類型:階躍傳輸函數(shù)、線性傳輸函數(shù)和logsig傳輸函數(shù)。結(jié)構(gòu)圖中的f指?jìng)鬏敽瘮?shù)。兩個(gè)或多個(gè)并行操作的神經(jīng)元組成神經(jīng)網(wǎng)絡(luò)的層,典型的神經(jīng)網(wǎng)絡(luò)可以包括一層或多層[2]。

二、人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)和泛化

人工神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)并獲取知識(shí)的能力。所謂學(xué)習(xí),就是修改神經(jīng)網(wǎng)絡(luò)的權(quán)值和偏置值的過(guò)程。而指導(dǎo)神經(jīng)網(wǎng)絡(luò)進(jìn)行權(quán)值更新的規(guī)則就被稱為學(xué)習(xí)算法(也稱訓(xùn)練算法)。

網(wǎng)絡(luò)學(xué)習(xí)(也稱網(wǎng)絡(luò)訓(xùn)練)通常有兩種方式:有監(jiān)督學(xué)習(xí)(有教師學(xué)習(xí))與無(wú)監(jiān)督學(xué)習(xí)(無(wú)教師學(xué)習(xí))。兩者之間的差別在于在學(xué)習(xí)的過(guò)程中是否有與輸入相對(duì)應(yīng)的目標(biāo)輸出對(duì)訓(xùn)練進(jìn)行指導(dǎo)。目前大多數(shù)的神經(jīng)網(wǎng)絡(luò)采用的都是有監(jiān)督學(xué)習(xí)。它是一個(gè)重復(fù)的過(guò)程,當(dāng)每個(gè)輸入作用到網(wǎng)絡(luò)上時(shí),網(wǎng)絡(luò)的實(shí)際輸出與目標(biāo)輸出相比較,然后學(xué)習(xí)規(guī)則調(diào)整該網(wǎng)絡(luò)的權(quán)值和偏置值,使得網(wǎng)絡(luò)的實(shí)際輸出進(jìn)一步靠近目標(biāo)輸出[3]。

網(wǎng)絡(luò)的泛化能力主要由以下幾個(gè)因素所影響:

1.待求解問(wèn)題的復(fù)雜程度。它取決于問(wèn)題本身,因而無(wú)法控制。

2.樣本特性。只有當(dāng)訓(xùn)練樣本足以表征所研究問(wèn)題的一些主要或基本特性時(shí),網(wǎng)絡(luò)通過(guò)合理的學(xué)習(xí)機(jī)制可以使其具有泛化能力,合理的樣本結(jié)構(gòu)是網(wǎng)絡(luò)具有泛化能力的必要條件。

3.網(wǎng)絡(luò)自身的因素。這些因素包括網(wǎng)絡(luò)結(jié)構(gòu)、網(wǎng)絡(luò)初始權(quán)值的設(shè)定和網(wǎng)絡(luò)的學(xué)習(xí)算法等。網(wǎng)絡(luò)的結(jié)構(gòu)因素主要指網(wǎng)絡(luò)的隱層數(shù)以及各隱層中節(jié)點(diǎn)的個(gè)數(shù)對(duì)泛化能力的影響。

三、人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

PSO作為一種新興的進(jìn)化算法,其收斂速度快、魯棒性高、全局搜索能力強(qiáng),且不需要借助問(wèn)題本身的特征信息(如梯度)。將PSO與神經(jīng)網(wǎng)絡(luò)結(jié)合,用PSO算法來(lái)優(yōu)化神經(jīng)網(wǎng)絡(luò)的連接權(quán)值,可以較好地克服BP神經(jīng)網(wǎng)絡(luò)的問(wèn)題,不僅能發(fā)揮神經(jīng)網(wǎng)絡(luò)的泛化能力,而且能夠提高人工神經(jīng)網(wǎng)絡(luò)的收斂速度和學(xué)習(xí)能力。

(一)特征提取

整個(gè)特征提取過(guò)程分為三個(gè)階段,首先應(yīng)對(duì)數(shù)據(jù)進(jìn)行深入分析,接著使用t檢驗(yàn)法獲取與任務(wù)相關(guān)的特征范圍,最后是選擇合適的方式進(jìn)行特征提取。首先應(yīng)該明確的是,特征提取的目標(biāo)是體素點(diǎn)。

基于感興趣區(qū)的特征提取首先應(yīng)確定感興趣區(qū)。它可以通過(guò)神經(jīng)學(xué)家手工進(jìn)行劃定,也可以借助軟件找出這些激活區(qū)的精確的解剖部位,并根據(jù)激活腦區(qū)的分布情況,確定感興趣區(qū)。特征提取的具體過(guò)程如下:

Step1:劃定感興趣區(qū)并找到t值最大的點(diǎn),紀(jì)錄該點(diǎn)所屬的坐標(biāo)和腦區(qū)。Step2:將這些坐標(biāo)對(duì)應(yīng)的數(shù)據(jù)的體素點(diǎn)找到。Step3:計(jì)算以這些點(diǎn)為圓心,預(yù)定值為半徑的球內(nèi)體素點(diǎn)強(qiáng)度的平均值,并以此作為特征向量。Step4:如果是最后一幀圖,則停止;否則掃描下一幀圖,執(zhí)行第二步。

(二)算法思想

將PSO作為學(xué)習(xí)算法來(lái)優(yōu)化感知機(jī)網(wǎng)絡(luò)權(quán)值的關(guān)鍵在于以下兩點(diǎn):

1.建立PSO粒子的維度空間與人工神經(jīng)網(wǎng)絡(luò)連接權(quán)值之間的映射。粒子群中每個(gè)粒子的維度分量都對(duì)應(yīng)為神經(jīng)網(wǎng)絡(luò)中的一個(gè)連接權(quán)值。也就是說(shuō)神經(jīng)網(wǎng)絡(luò)中有多少個(gè)連接權(quán)傲其中包括偏置旬,作為學(xué)習(xí)算法的PSO中的每個(gè)粒子就應(yīng)該有多少維。

2.使用人工神經(jīng)網(wǎng)絡(luò)的均方誤差作為PSO的適應(yīng)函數(shù),通過(guò)PSO算法強(qiáng)大的搜索性能使網(wǎng)絡(luò)的均方誤差最小化。

假設(shè)該人工神經(jīng)網(wǎng)絡(luò)共有d個(gè)輸入,輸出層有n個(gè)神經(jīng)元,隱層共有m個(gè)神經(jīng)元。網(wǎng)絡(luò)共有d*m+m*n+m+n個(gè)權(quán)值以及偏置值,因而基于PSO的學(xué)習(xí)算法中的粒子的維度就應(yīng)為d*m+m*n+m+n。對(duì)于大部分分類問(wèn)題,二層感知機(jī)隱層的傳輸函數(shù)f一般采用Sigmod函數(shù)。對(duì)于輸入X,人工神經(jīng)網(wǎng)絡(luò)應(yīng)有以下輸出:

式3-1)

以上網(wǎng)絡(luò)在含有P個(gè)樣本的訓(xùn)練集上的均方誤差,也是PSO的適應(yīng)函數(shù),如下:

(式3-2)

基于以上分析,該學(xué)習(xí)算法可以設(shè)計(jì)如下:

Step1:將神經(jīng)元之間的所有連接權(quán)值編碼成實(shí)數(shù)向量來(lái)表示種群中的個(gè)體。Step2:隨機(jī)生成這些向量的群體,接著按照算法原步驟迭代。Step3:迭代中新生成的個(gè)體向量還原為神經(jīng)網(wǎng)絡(luò)權(quán)值,計(jì)算所有樣本通過(guò)神經(jīng)網(wǎng)絡(luò)產(chǎn)生的均方差,這一步驟等同于粒子群算法中計(jì)算粒子的適應(yīng)度。Step4:如果均方差小于系統(tǒng)指定的誤差精度,則訓(xùn)練過(guò)程停止,否則迭代繼續(xù)進(jìn)行,直到達(dá)到最大迭代次數(shù)。

(三)性能評(píng)價(jià)

對(duì)于前饋人工神經(jīng)網(wǎng)絡(luò),通常采用分類問(wèn)題和函數(shù)逼近問(wèn)題對(duì)其性能的測(cè)試。在網(wǎng)絡(luò)訓(xùn)練中對(duì)學(xué)習(xí)算法進(jìn)行測(cè)試而得到的性能指標(biāo)通常有以下四種:

1. :訓(xùn)練集的分類錯(cuò)誤率,它的值是由訓(xùn)練集中分類錯(cuò)誤的樣本數(shù)目除以訓(xùn)練集的總樣本數(shù)目而得到的。

2. :測(cè)試集的分類錯(cuò)誤率,它的值是由測(cè)試集中分類錯(cuò)誤的樣本數(shù)目除以測(cè)試集的總樣本數(shù)目而得到的。任何測(cè)試集中的樣本在訓(xùn)練階段是不允許出現(xiàn)在訓(xùn)練集中的。

3. :訓(xùn)練集上的均方誤差。

4.:測(cè)試集上的均方誤差,也稱泛化均方誤差。

用多層感知機(jī)網(wǎng)絡(luò)求解分類問(wèn)題時(shí),這四個(gè)性能指標(biāo)都可以使用。而對(duì)于函數(shù)逼近和擬合問(wèn)題,只有后兩種指標(biāo)可以使用,因?yàn)樵诤瘮?shù)逼近問(wèn)題中沒(méi)有輸出分類。

(四)實(shí)驗(yàn)分析

本實(shí)驗(yàn)選用Breast Cancer標(biāo)準(zhǔn)分類問(wèn)題數(shù)據(jù)集做為測(cè)試實(shí)例。為了達(dá)到測(cè)試和比較的目的,除了PSO之外,還選用了GA(標(biāo)準(zhǔn)遺傳算法)、GD(梯度下降算法)、快速傳播算法(quick propagation)和BP算法對(duì)感知機(jī)人工神經(jīng)網(wǎng)絡(luò)的權(quán)值進(jìn)行了優(yōu)化,并將這些算法的分類性能進(jìn)行了分析與比較。其中,快速傳播算法的影響因子設(shè)為1.75,學(xué)習(xí)速率設(shè)為0.1;BP算法學(xué)習(xí)速率和動(dòng)量參數(shù)都設(shè)為0.1。

Breast Cancer分類問(wèn)題共包括600個(gè)樣本,每個(gè)樣本都由有9個(gè)分類屬性組成,它只有1個(gè)輸出。隱層節(jié)點(diǎn)數(shù)設(shè)為8個(gè),這樣相應(yīng)的二層感知機(jī)人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)就為9-8-1,網(wǎng)絡(luò)的權(quán)值總數(shù)共9*8+8*1+8+1=89個(gè)。

四、小結(jié)

自上世紀(jì)80年代以來(lái),智能優(yōu)化算法(如人工神經(jīng)網(wǎng)絡(luò)、混沌算法、遺傳算法等)通過(guò)模擬或揭示某些自然現(xiàn)象和過(guò)程而發(fā)展起來(lái),為優(yōu)化理論提供了新的思路和手段,并在科學(xué)、經(jīng)濟(jì)以及工程領(lǐng)域得到了廣泛應(yīng)用。粒子群優(yōu)化算法是一種基于種群搜索策略的自適應(yīng)隨機(jī)算法。作為智能優(yōu)化算法中的一種,它可用于求解大部分的優(yōu)化問(wèn)題,并在工程實(shí)踐中表現(xiàn)出巨大潛力,現(xiàn)已廣泛應(yīng)用于神經(jīng)網(wǎng)絡(luò)、模糊系統(tǒng)控制、模式識(shí)別等多個(gè)領(lǐng)域。

參考文獻(xiàn):

[1]J.Kennedy,R.Mendes.Population structuer and particle swarm performance[J].Proceedingo f IEEE conference on Evolutionary Computation,2006:1671-1676.

[2]J.Kennedy,R.C.Eberhart. A discrete binary version of the particle swarm optimization algoirthm[J].Proceeding of Intenrational Confeernce on System,Man,and Cybenretics,2007:4104-4109.

作者簡(jiǎn)介:

崔兆順(1973-),男,甘肅天水人,碩士,天水師范學(xué)院物信學(xué)院講師。主要研究方向:智能信息系統(tǒng)和數(shù)據(jù)挖掘;韓雙旺,男,碩士,天水師范學(xué)院物信學(xué)院講師,主要研究方向:地理信息系統(tǒng)和軟件開(kāi)發(fā)技術(shù)。