申晉祥，鮑美英，張景安，周建慧

(1.山西大同大學(xué) 計(jì)算機(jī)與網(wǎng)絡(luò)工程學(xué)院，山西 大同 037009；2.山西大同大學(xué) 網(wǎng)絡(luò)信息中心，山西 大同 037009)

0 引 言

神經(jīng)網(wǎng)絡(luò)是目前的研究熱點(diǎn)，可以處理科學(xué)和工程領(lǐng)域的許多問題。多層感知器(multi-layer perceptron，MLP)是前饋神經(jīng)網(wǎng)絡(luò)的一種，目前應(yīng)用廣泛，在許多實(shí)際問題，如數(shù)據(jù)分類、預(yù)測(cè)和函數(shù)近似等方面都有應(yīng)用。早期訓(xùn)練MLP參數(shù)的算法具有收斂速度慢和局部極值停滯的缺陷，研究發(fā)現(xiàn)啟發(fā)式算法在訓(xùn)練MLP的參數(shù)時(shí)，不易陷入局部極小值且收斂速度快。目前，已經(jīng)有許多啟發(fā)式算法[1-13]用于訓(xùn)練MLP。

本文將混沌映射和自適應(yīng)權(quán)重系數(shù)引入非洲禿鷲優(yōu)化算法，提出改進(jìn)算法IAVOA并用于對(duì)MLP的連接權(quán)重和偏差進(jìn)行訓(xùn)練，訓(xùn)練好的MLP用于4個(gè)數(shù)據(jù)集XOR、Baloon、Cancer和Heart的分類。為驗(yàn)證IAVOA算法的有效性，與其它6種元啟發(fā)算法訓(xùn)練MLP進(jìn)行了比較。

1 非洲禿鷲優(yōu)化算法

非洲禿鷲優(yōu)化算法(African vultures optimization algorithm，AVOA)[14]是2021年提出的群智能優(yōu)化算法，AVOA的數(shù)學(xué)模型如下：

(1)禿鷲種群分組

(1)

(2)

(2)禿鷲的飽食率

AVOA算法根據(jù)禿鷲的飽食率F進(jìn)行勘探和開發(fā)的轉(zhuǎn)化，數(shù)學(xué)公式如式(3)和式(4)

gt=ht×(sinω(πt/2T)+cos(πt/2T)-1)

(3)

(4)

其中，rd1、z和h分別是隨機(jī)數(shù)，ω是開發(fā)概率，設(shè)置為2.5。T是最大迭代次數(shù)，t是當(dāng)前迭代次數(shù)。

(3)禿鷲的勘探階段

當(dāng) |F| 大于等于1時(shí)，禿鷲進(jìn)行勘探，如式(5)，勘探階段有兩種勘探方式

(5)

(6)

其中，P是禿鷲的位置，C是隨機(jī)移動(dòng)位置，C∈[0，2] 區(qū)間，c1是勘探概率隨機(jī)數(shù)，范圍[0，1]，rd2、rd3、rdc1是隨機(jī)數(shù)，ub和lb分別是搜索空間的上下界。

(4)禿鷲的開發(fā)階段

當(dāng) |F| 小于1，禿鷲進(jìn)行開發(fā)，分為兩個(gè)階段，每個(gè)階段使用兩種不同的策略。開發(fā)中期，由c2確定禿鷲執(zhí)行攻擊策略或盤旋飛行策略，公式如式(7)。開發(fā)后期，由c3確定禿鷲執(zhí)行攻擊策略或聚集策略，公式如式(10)

(7)

(8)

(9)

(10)

(11)

AVOA算法開發(fā)階段增加了勘探功能，勘探階段也具有開發(fā)功能，收斂速度快且不易陷入局部最優(yōu)[15]。

2 改進(jìn)的禿鷲優(yōu)化算法

AVOA算法具有優(yōu)點(diǎn)，該算法引入的隨機(jī)數(shù)較多，根據(jù)不同的隨機(jī)數(shù)區(qū)分勘探方式，以及選擇不同的開發(fā)階段。但AVOA也具有缺點(diǎn)，算法隨機(jī)初始化種群，導(dǎo)致種群多樣性不足，對(duì)收斂速度和全局最優(yōu)解產(chǎn)生不利影響。AVOA有明確的勘探和開發(fā)階段，開發(fā)階段分為開發(fā)中期和開發(fā)后期兩個(gè)階段，通過隨機(jī)數(shù)劃分禿鷲的兩種行為，聚集行為和攻擊行為。聚集行為中認(rèn)為最優(yōu)禿鷲和次優(yōu)禿鷲對(duì)其它禿鷲的引導(dǎo)作用是一樣的，但這樣無法平衡算法的勘探和開發(fā)能力。

針對(duì)AVOA的缺陷，本文提出改進(jìn)的禿鷲優(yōu)化算法(improved African vultures optimization algorithm，IAVOA)，從兩個(gè)方面對(duì)AVOA算法進(jìn)行改進(jìn)：①為了使IAVOA在優(yōu)化階段有更強(qiáng)的全局勘探能力，種群初始化階段引入Logistic混沌映射；②設(shè)計(jì)了自適應(yīng)系數(shù)，調(diào)整最優(yōu)禿鷲和次優(yōu)禿鷲對(duì)普通禿鷲的影響，保證勘探和開發(fā)的平衡。

2.1 Logistic混沌映射初始化種群

AVOA隨機(jī)初始化種群，混沌映射生成的種群比隨機(jī)生成的種群多樣性更好，解均勻分布在空間中的各個(gè)位置，可以提升勘探能力，避免陷入局部最優(yōu)解且收斂精度高。Logistic混沌映射產(chǎn)生的混沌序列位于[0，1]區(qū)間內(nèi)，該混沌序列更均勻，公式如式(12)

xn+1=4xn(1-xn)xn∈(0，1)，n=1，2，…

(12)

把上式生成的混沌序列轉(zhuǎn)化到種群解空間，禿鷲的初始位置由式(13)計(jì)算

Xi=lb+(ub-lb)xn

(13)

其中，ub和lb是種群解空間的上下界。

Logistic混沌映射和隨機(jī)初始化種群分布如圖1所示。

圖1 隨機(jī)初始化和混沌初始化對(duì)比

對(duì)比圖1(a)和圖1(b)，可以發(fā)現(xiàn)在[0，1]區(qū)間，Logistic混沌映射生成的數(shù)比隨機(jī)生成的數(shù)分布更均勻，遍歷性更好。

2.2 自適應(yīng)權(quán)重系數(shù)

禿鷲的位置更新主要受到最優(yōu)禿鷲和次優(yōu)禿鷲的位置、禿鷲飽食率的影響。 |F| 的值越大，越有利于算法的勘探，值越小，越有利于算法的開發(fā)。 |F|≥1時(shí)，禿鷲處于勘探階段，|F|<1時(shí)，處于開發(fā)階段，開發(fā)以0.5為界限分為開發(fā)中期和后期兩個(gè)階段，[0.5，1)之間是開發(fā)中期階段，開發(fā)中期根據(jù)隨機(jī)數(shù)分為聚集行為和盤旋飛行行為，式(7)描述這兩種行為；[0，0.5)是開發(fā)后期，根據(jù)概率隨機(jī)數(shù)分為聚集行為和攻擊行為，禿鷲位置更新采用式(10)，在開發(fā)后期的聚集行為中，認(rèn)為最優(yōu)禿鷲和次優(yōu)禿鷲對(duì)其它禿鷲的影響是一樣的，然而，在開發(fā)后期，為了快速并準(zhǔn)確收斂到最優(yōu)解，最優(yōu)禿鷲和次優(yōu)禿鷲對(duì)普通禿鷲位置的影響效果是不一樣的，應(yīng)該區(qū)別對(duì)待，這里，對(duì)開發(fā)后期禿鷲位置的更新進(jìn)行改進(jìn)，設(shè)置兩個(gè)自適應(yīng)權(quán)重系數(shù)，分別控制最優(yōu)禿鷲和次優(yōu)禿鷲，隨著迭代的增加，最優(yōu)禿鷲的引導(dǎo)作用逐漸增強(qiáng)，而次優(yōu)禿鷲的引導(dǎo)作用逐漸減弱，禿鷲盡快向最優(yōu)解收斂，提高算法收斂速度，增強(qiáng)算法局部開發(fā)的能力，改進(jìn)公式如式(14)

(14)

ω1=2×e-[2×(T-t)/T]

(15)

ω2=2×e-[2×t/T]

(16)

其中，ω1和ω2分別是最優(yōu)禿鷲和次優(yōu)禿鷲的自適應(yīng)權(quán)重系數(shù)，變化情況如圖2所示，t是當(dāng)前迭代次數(shù)，T是最大迭代次數(shù)。

圖2 自適應(yīng)權(quán)重系數(shù)曲線

2.3 IAVOA算法實(shí)現(xiàn)

增加Logistic混沌映射和自適應(yīng)權(quán)重系數(shù)，IAVOA算法步驟如下：

步驟1 初始化操作。設(shè)置算法初始參數(shù)，種群規(guī)模N， 搜索空間維度D， 最大迭代次數(shù)T， 搜索空間上界ub和下界lb等；使用Logistic混沌映射初始化每只禿鷲的位置Pi(i=1，2，…，N)。

步驟8 根據(jù)搜索空間的上下界ub和lb修正越界的禿鷲的位置。

步驟9 若迭代終止條件不滿足，則跳轉(zhuǎn)到步驟2。

步驟10 輸出最優(yōu)禿鷲。

3 IAVOA訓(xùn)練MLP

通過元啟發(fā)式算法訓(xùn)練MLP有3種方法：①M(fèi)LP的結(jié)構(gòu)固定，通過訓(xùn)練算法尋找MLP的最優(yōu)權(quán)重和偏差的組合，使用最優(yōu)參數(shù)組合的MLP的總體誤差最?。虎谑褂脝l(fā)式算法調(diào)整梯度學(xué)習(xí)算法的參數(shù)，如動(dòng)量和學(xué)習(xí)速度；③尋找MLP的最優(yōu)結(jié)構(gòu)。可以改變神經(jīng)元之間的連接、隱藏層的數(shù)量和隱藏層中的節(jié)點(diǎn)數(shù)，最優(yōu)結(jié)構(gòu)通過訓(xùn)練算法找出。

本文采用第一種方法訓(xùn)練MLP，結(jié)構(gòu)固定，通過IAVOA算法訓(xùn)練MLP的權(quán)重和偏差，找出參數(shù)的最優(yōu)值，提高M(jìn)LP的精度。首先要對(duì)權(quán)重和偏差進(jìn)行編碼，采用向量編碼，種群個(gè)體是一個(gè)向量，表示MLP的所有權(quán)重和偏差。向量編碼方式編碼比較容易，但解碼復(fù)雜。以圖3為例，MLP的結(jié)構(gòu)為4-9-3，其中輸入層節(jié)點(diǎn)為4個(gè)，隱藏層節(jié)點(diǎn)為9個(gè)，輸出層節(jié)點(diǎn)為3個(gè)，該MLP的向量編碼方案如下。

圖3 多層感知器(4-9-3)

式(17)是權(quán)重和偏差的向量編碼

ω13，16，θ1，θ2，…，θ12}

(17)

ωij表示第i個(gè)節(jié)點(diǎn)到第j個(gè)節(jié)點(diǎn)的連接權(quán)重，θj是節(jié)點(diǎn)的偏差。

同樣以結(jié)構(gòu)為4-9-3的MLP為例，給出向量編碼方式的解碼過程，偽代碼如下。

//初始化設(shè)置。初始化隱藏層和輸出層的向量h和o

//隱藏層節(jié)點(diǎn)數(shù)Hn，輸出層節(jié)點(diǎn)數(shù)On，k←On

//激活函數(shù)S(x)

(1)fori←1toHndo

(2)h(i)←S(x1*ω(i)+x2*ω(Hn+i)+x3*ω(2*Hn+i)+x4*ω(3*Hn+i)+θ(i));

(3)fori←1toOndo

(4)k←k+1;

(5)forj←1toOndo

(6)o(i)←o(i)+(h(j)*ω(k*Hn+j));

(7)fori←1toOndo

(8)o(i)←S(o(i)+θ(Hn+i));

其中，xi是輸入節(jié)點(diǎn)，θ(i) 是節(jié)點(diǎn)的偏差，ω(i) 是節(jié)點(diǎn)之間的連接權(quán)重。

IAVOA訓(xùn)練MLP的適應(yīng)度函數(shù)如式(18)所示

最小值：

F(Vul)=Average(MSE)

(18)

(19)

IAVOA訓(xùn)練MLP的流程如圖4所示。

圖4 IAVOA算法訓(xùn)練多層感知器

4 結(jié)果和討論

為了研究IAVOA算法的性能，本文采用UCI數(shù)據(jù)集合中的4個(gè)分類數(shù)據(jù)集異或(XOR)、氣球(Baloon)、心臟(Heart)和癌癥(Cancer)數(shù)據(jù)集來測(cè)試IAVOA算法的改進(jìn)效果。

4.1 實(shí)驗(yàn)設(shè)置和數(shù)據(jù)集

IAVOA算法與6種啟發(fā)式算法進(jìn)行比較，其中包括GSA、BBO、DE、ACO、SSA和AVOA。比較算法所采用的參數(shù)均采用原算法的默認(rèn)值。GSA中精英檢查為1，代理之間的距離指數(shù)為1；ACO中初始信息素為1E-06，探索常數(shù)是1，信息素更新常數(shù)是20，局部信息素衰減率0.5，全局信息素衰減率0.9，信息素敏感度是1；DE中縮放因子下界0.2，上界0.8，交叉概率0.8；BBO中突變概率0.005，遷移概率0～1，步長是2，最大遷出率和遷入率均為1。所有算法種群大小設(shè)置為50，最大迭代次數(shù)設(shè)置為500。

表1中給出采用的分類數(shù)據(jù)集的信息，包含數(shù)據(jù)名稱、屬性(屬性個(gè)數(shù)作為MLP的輸入個(gè)數(shù))，訓(xùn)練樣本和測(cè)試樣本，數(shù)據(jù)集均為二分類數(shù)據(jù)，表中也給出了MLP的結(jié)構(gòu)，輸入層-隱藏層-輸出層。MLP結(jié)構(gòu)中隱藏節(jié)點(diǎn)h的數(shù)量通過式(20)計(jì)算得出，n是輸入節(jié)點(diǎn)的數(shù)量隨著MLP的規(guī)模越來越大，它的權(quán)重和偏差也會(huì)越來越多，MLP的訓(xùn)練過程會(huì)變得復(fù)雜，訓(xùn)練時(shí)間增加，并且可能找不到合適的權(quán)重和偏差。

表1 用于分類的UCI存儲(chǔ)庫數(shù)據(jù)集

h=2×n+1

(20)

所有算法在數(shù)據(jù)集上分別獨(dú)立運(yùn)行10次，取結(jié)果的最大值、最小值、平均值、標(biāo)準(zhǔn)偏差和分類準(zhǔn)確率進(jìn)行比較。分類率表示各個(gè)算法訓(xùn)練的MLP對(duì)數(shù)據(jù)分類的準(zhǔn)確率，從運(yùn)行結(jié)果中選擇參數(shù)最優(yōu)的MLP，對(duì)測(cè)試樣本分類。

4.2 分類問題

分類數(shù)據(jù)集選擇不同的復(fù)雜度，數(shù)據(jù)集的特征由少到多，如果特征太多，啟發(fā)式算法對(duì)數(shù)據(jù)集分類的難度相應(yīng)增加，對(duì)于太復(fù)雜的MLP，啟發(fā)式算法很難找到正確的權(quán)重和偏差值。表1是本文選擇的分類數(shù)據(jù)集的詳細(xì)情況，XOR數(shù)據(jù)集是最簡單的分類數(shù)據(jù)集，它的訓(xùn)練樣本和測(cè)試樣本最少，都是8個(gè)。Baloon數(shù)據(jù)集也相對(duì)簡單，訓(xùn)練樣本和測(cè)試樣本都為16個(gè)。Heart數(shù)據(jù)集最復(fù)雜，包含屬性22個(gè)，測(cè)試樣本187個(gè)，該數(shù)據(jù)集在進(jìn)行分類時(shí)難度較大。Cancer數(shù)據(jù)集的訓(xùn)練樣本和測(cè)試樣本較多。不同算法在不同數(shù)據(jù)集上的運(yùn)行結(jié)果見表2～表5。不同算法在數(shù)據(jù)集上的均方誤差收斂曲線如圖5所示。

表2 算法在XOR數(shù)據(jù)集上的仿真結(jié)果

圖5 不同算法在4個(gè)分類數(shù)據(jù)集上的MSE收斂曲線

N位異或問題是著名的非線性測(cè)試問題，識(shí)別輸入向量中“1”的個(gè)數(shù)，若包含奇數(shù)個(gè)“1”，則輸出“1”，否則輸出“0”。XOR問題的MLP結(jié)構(gòu)是3-7-1，7個(gè)算法在XOR數(shù)據(jù)集上的運(yùn)行結(jié)果見表2，從表中可以看出，IAVOA算法的平均值最小，其次是BBO、AVOA、DE、SSA、GSA和ACO，說明IAVOA可以解決MLP中局部極小值停滯問題，并且效果較優(yōu)。在標(biāo)準(zhǔn)差上可以看出ACO算法是最好的，其次是IAVOA算法，但ACO算法的收斂精度不如IAVOA算法。比較分類準(zhǔn)確率發(fā)現(xiàn)，IAVOA、AVOA、BBO、SSA的分類準(zhǔn)確率均為100%，GSA的分類準(zhǔn)確率為67.3%，DE和ACO的分類準(zhǔn)確率較低，分別是51.1%和50%。從圖5(a)可以看出IAVOA的收斂速度比其它算法快且均方誤差更小。

Baloon數(shù)據(jù)集有4個(gè)屬性，MLP結(jié)構(gòu)是4-9-1，7個(gè)算法在在Baloon數(shù)據(jù)集上運(yùn)行的結(jié)果見表3，IAVOA的平均均方誤差值最小，說明IAVOA可以解決局部極小值問題，其次是BBO、AVOA、DE、SSA、GSA和ACO。對(duì)比分類準(zhǔn)確率，IAVOA、AVOA、SSA、BBO和GSA的分類準(zhǔn)確率都是100%，ACO的分類準(zhǔn)確率最差，僅為40%。IAVOA的標(biāo)準(zhǔn)差是7個(gè)算法中最小的，說明IAVOA具有很強(qiáng)的魯棒性。比較均方誤差的收斂曲線，圖5(b)顯示，IAVOA的曲線最陡，遠(yuǎn)遠(yuǎn)超越其它算法，收斂速度最快，說明IAVOA在尋找全局最小值方面的性能最好。

表3 算法在Baloon數(shù)據(jù)集上的仿真結(jié)果

Cancer數(shù)據(jù)集是對(duì)乳腺癌良性和惡性的分類，該數(shù)據(jù)集的MLP結(jié)構(gòu)采用9-19-1。該數(shù)據(jù)集的復(fù)雜性和難度更高，如果算法對(duì)該數(shù)據(jù)集分類效果好，說明算法的性能較優(yōu)。表4是各算法的運(yùn)行結(jié)果，其中IAVOA的分類準(zhǔn)確率為99%，BBO和SSA算法的分類準(zhǔn)確率均為97.7%，AVOA的分類準(zhǔn)確率是97%，GSA的分類準(zhǔn)確率為67.33%，DE的分類率為4%，ACO的分類率為0。說明IAVOA對(duì)高維數(shù)據(jù)的處理效果較好。IAVOA的標(biāo)準(zhǔn)差比BBO略差，但收斂速度更快，收斂精度遠(yuǎn)高于其它算法。從圖5(c)可以看出，IAVOA與AVOA、BBO的收斂曲線貼近，幅度雖然不大，但也可以看出有所改進(jìn)。充分驗(yàn)證了IAVOA的魯棒性強(qiáng)、效率高和分類準(zhǔn)確性高。

表4 算法在Cancer數(shù)據(jù)集上的仿真結(jié)果

Heart數(shù)據(jù)集是診斷心臟的計(jì)算機(jī)掃描圖像。心臟數(shù)據(jù)集有22個(gè)屬性，難度最大，該數(shù)據(jù)集的MLP結(jié)構(gòu)是22-45-1。算法運(yùn)行結(jié)果見表5，IAVOA、AVOA、BBO的平均均方誤差值最好。比較分類準(zhǔn)確率，SSA的分類準(zhǔn)確率最高80.8%。其次是BBO，分類準(zhǔn)確率為79.6%，DE的分類準(zhǔn)確率是75.4%，IAVOA的分類準(zhǔn)確率為74.2%，優(yōu)于AVOA、ACO和GSA算法。這充分說明在處理節(jié)點(diǎn)較多的MLP問題時(shí)，IAVOA穩(wěn)定性更高，同時(shí)MLP的測(cè)試樣本的分類準(zhǔn)確率也表現(xiàn)良好。從圖5(d)可以看出，IAVOA算法的收斂速度最快，說明在處理復(fù)雜的Heart數(shù)據(jù)集時(shí)，IAVOA算法所用的時(shí)間最少。

表5 算法在Heart數(shù)據(jù)集上的仿真結(jié)果

從圖5(a)、圖5(b)、圖5(c)、圖5(d)可以看出，ACO在所有圖中，收斂速度和收斂精度都是最差的。IAVOA不管是在簡單的數(shù)據(jù)集還是復(fù)雜的數(shù)據(jù)集上，都比其它算法的效果更好，收斂速度更快，具有較高的開發(fā)率，表明IAVOA可以為MLP提供最優(yōu)的連接權(quán)重和偏差，算法的訓(xùn)練速度和尋優(yōu)能力也大大提高。

5 結(jié)束語

本文將最近提出的AVOA算法改進(jìn)后用于訓(xùn)練MLP，為了驗(yàn)證IAVOA算法的性能，選用6個(gè)啟發(fā)式算法，在4個(gè)分類數(shù)據(jù)集上進(jìn)行測(cè)試，評(píng)估IAVOA訓(xùn)練MLP的有效性。仿真結(jié)果顯示，與GSA、BBO、ACO、DE、SSA、AVOA相比，IAVOA對(duì)XOR和Baloon兩個(gè)分類數(shù)據(jù)集給出了最優(yōu)結(jié)果。在Cancer和Heart數(shù)據(jù)集中也表現(xiàn)良好，IAVOA能更好地避免局部極小值，在分類準(zhǔn)確率和收斂速度方面具有優(yōu)越性。

在未來研究中，可以將IAVOA應(yīng)用于訓(xùn)練其它類型的神經(jīng)網(wǎng)絡(luò)，如卷積神經(jīng)網(wǎng)絡(luò)、徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)、模塊化神經(jīng)網(wǎng)絡(luò)和長/短期記憶網(wǎng)絡(luò)。