国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于改進粒子群算法優(yōu)化策略的核極限學習機方法研究

2022-11-03 07:18龔平順
河南科技 2022年19期
關鍵詞:測試函數學習機權值

高 天 龔平順

(安徽理工大學電氣與信息工程學院,安徽 淮南 232000)

0 引言

隨著科技的進步,神經網絡已逐漸成為當前一大熱點,如人工神經網絡[1]、概率神經網絡[2]、決策樹[3]等。由于神經網絡模型架構存在缺陷,導致單一神經網絡存在著上限,而將多種神經網絡進行融合,成為一種新的解決方案。林培杰等[4]通過支持向量機來實現分類,并選取粒子群算法改進相關參數;王元章等[5]對L-M和BP神經網絡算法進行融合,并完善BP算法的參數;秦瓊等[6]、林濤等[7]、章勇高等[8]將極限學習機應用于新能源的功率預測中;任曉琳等[9]將蝙蝠算法與核極限學習機進行結合,從而優(yōu)化KELM參數,增強模型的穩(wěn)定性,提高診斷精度。本研究通過分析核極限學習機的基本原理,改進粒子群算法的學習策略來修正KELM參數,從而構建最佳模型。

1 核極限學習機

1.1 極限學習機

極限學習機(ELM)是一種可實現快速學習進化的獨特算法[10]。由于模型結構的特點,其學習速度極快。

網絡實際輸出值的計算公式見式(1)。

式中:ωi為ELM輸入節(jié)點和隱含層節(jié)點的權值;bi為ELM隱含層的偏置系數;βi為ELM隱含層和輸出層的輸出權值;gi為激活函數。

ELM模型的矩陣形式見式(2)。

式中:β為輸出權值矩陣;H為隱含層的輸出矩陣;T為期望輸出矩陣。

在確定H矩陣和T矩陣后,可求出輸出權值矩陣β,見式(3)。

式中:H+為矩陣H的廣義逆矩陣。

ELM網絡的隱含層節(jié)點數通常小于數據的樣本數,容易產生復共線性問題,導致求解出的權值矩陣β不一致,從而嚴重影響模型的穩(wěn)定性[11]。

1.2 核極限學習機

Huang等[12]采用核函數的理論,通過核矩陣Ω來代替隨機矩陣HHT,從而改善極限學習機不穩(wěn)定,并引出核極限學習機(KELM)。

核矩陣的計算公式見式(4)。

式中:h(x)為KELM隱含層輸出函數;K(xi,xj)為核函數。

KELM模型的輸出變?yōu)槭剑?)。

式中:I為對角矩陣;C為懲罰因子。

KELM通過引入核函數理論,得到β矩陣的確定值,從而提高極限學習機的可靠性。在KELM模型中,核參數σ和懲罰因子C是影響算法精度的關鍵因素,本研究采用改進粒子群算法進行優(yōu)化處理。

2 改進粒子群算法

在粒子群算法(PSO)中,粒子位置和速度是算法的核心要素,速度為粒子下一步迭代時移動的方向和距離,位置為所求解問題的一個解。粒子速度和位置的更新公式見式(6)。

式中:i為種群的粒子;d為粒子的維度;k為算法的迭代次數;ω為慣性權重值;c1、c2為粒子學習因子;r1、r2為[0,1]內的隨機數。

通過分析PSO算法的原理和存在的問題,發(fā)現國內外學者對權值、學習因子和學習策略等進行改進。本研究選取標準的PSO算法和5種經典的改進PSO算法進行對比研究。

2.1 線性權值下降粒子群算法

在粒子速度更新原理不變的基礎上,采用線性權值下降粒子群算法(LDIW-PSO)來改進慣性權重參數,從而實現權值的線性下降,權值ω的計算公式見式(7)[13]。

式中:ωmax為最大慣性權值;ωmin為最小慣性權值;k為迭代次數;kmax為最大迭代次數。

LDIW-PSO可對權值實現實時調整,從而保證粒子在全局和局部中都有更加出色的搜索能力。

2.2 自適應權重調整粒子群算法

自適應權重調整粒子群算法(APSO)是用慣性權重值改進的粒子群算法。為滿足不同進化階段的搜索需求,APSO對權重值進行調整,見式(8)。

式中:Fit為種群中粒子的適應度值。

改進后的粒子群算法可通過粒子適應度值和最小適應度值來調整ω值,使粒子群算法能更快更合理地找出最優(yōu)解。

2.3 骨干粒子群優(yōu)化算法

骨干粒子群優(yōu)化算法(BBPSO)修改了粒子的學習策略。粒子位置更新方程見式(9)。

式中:xij(t+1)為粒子在t+1時刻位于i位置的j維分量;uij(t)和σij(t)分別為粒子個體最優(yōu)值與群體最優(yōu)值的均值和標準差;N(uij,σij)為高斯分布;Pbesti為粒子i個體的最優(yōu)值;Gbest為群體最優(yōu)值。其中,Pbesti和Gbest的更新公式見式(10)。

式中:f(x)為種群的適應度函數。

BBPSO通過高斯采樣來處理均值和標準差,剔除不相關粒子,防止局部最優(yōu)值對粒子更新產生不好的影響,從而提高粒子的尋優(yōu)能力。

2.4 交叉亞種群混合粒子群算法

交叉亞種群混合粒子群算法(Breed-PSO)是一種交叉與亞種群相結合的混合粒子群優(yōu)化算法。在每個維度中,子位置是通過交叉計算父代位置得到的,見式(11)。

式中:Pi為0到1之間的隨機數;parent(x)為父代粒子的位置量;child(x)為子代粒子的位置量。

歸一化父代粒子的速度矢量可得到子代粒子的速度矢量,見式(12)。

式中:parent(v)為父代粒子的速度量;child(v)為子代粒子的速度量。

交叉運算和子種群運算可增強種群粒子的尋優(yōu)能力,避免陷入局部最優(yōu)值,有利于實現最優(yōu)值的求解。

2.5 綜合學習粒子群算法

綜合學習粒子群算法(CLPSO)是一種改進PSO的進化策略,這種新策略可防止過早收斂。粒子速度的更新公式見式(13)。

式中:c為粒子個體學習因子;pbest為粒子個體最佳值。CLPSO通過新的學習策略來防止粒子陷入局部值,提升算法搜索全局最優(yōu)值的能力。

2.6 基于測試函數驗證算法

本研究選取2個基準測試函數進行比較驗證,測試函數分布圖見圖1?;谏鲜龌鶞蕼y試函數,為了便于比較不同算法的優(yōu)異性,統(tǒng)一設置PSO算法和5種優(yōu)化PSO算法的粒子種群數量為80、粒子維度為30,初步設定算法的慣性權重和學習因子的參數值,驗證6種粒子群算法在2種基準測試函數下的迭代尋優(yōu)結果(見圖2)。

圖1 測試函數分布圖

圖2 函數尋優(yōu)結果

由圖2可知,在函數求解過程中,CLPSO算法的結果較好,LDIW-PSO算法的收斂速度最快。為了實現隨著迭代次數的增加而實時調整權重值,本研究采用線性遞減慣性權重來優(yōu)化CLPSO算法,見式(14)。

式中:ωmax和ωmin分別為最大和最小慣性權值;k為當前的迭代次數;kmax為種群中粒子能達到的迭代次數上限值。

通過對LDIW-PSO、CLPSO算法進行結合(以下簡稱“LCLPSO算法”),實現粒子群算法的完善與優(yōu)化,在提高收斂速度的同時,可大幅增強粒子的尋優(yōu)能力,選擇一個多峰函數Alpine來驗證LCLPSO算法的尋優(yōu)能力(見圖3)。

圖3 LCLPSO與CLPSO對比圖

由圖3可知,在引入線性遞減慣性權重后,CLPSO算法在迭代次數超過4 000次時,適應度值逐漸趨于停滯狀態(tài),難以繼續(xù)尋優(yōu);而LCLPSO算法的尋優(yōu)過程近似于線性遞減,迭代次數達到4 000后,LCLPSO算法依然保持著較強的搜索能力,持續(xù)尋優(yōu),迭代次數達到10 000次時,得到最低的適應度值。

3 優(yōu)化核極限學習機

由于KELM引入了核函數,對參數非常敏感,本研究通過L-CLPSO算法來優(yōu)化KELM的核參數和懲罰因子,流程圖如圖4所示。

圖4 L-CLPSO優(yōu)化KELM的流程圖

將KELM的故障檢測準確率設置為PSO算法中的適用度函數,通過不斷地迭代計算來求出全局最佳參數,得到最優(yōu)的KELM模型,實現LCLPSO對KELM的優(yōu)化處理,結果圖5所示。

圖5 LCLPSO優(yōu)化KELM結果

4 結語

筆者通過研究KELM的基本原理,并分析6種不同類型的粒子群算法的優(yōu)劣,采用CLPSO與LDIW-PSO算法相結合的方式,并用Aphere多峰函數來驗證算法的結果,證明LCLPSO算法具有可取之處,最后用于改進KELM參數,實現參數的優(yōu)化。

猜你喜歡
測試函數學習機權值
一種融合時間權值和用戶行為序列的電影推薦模型
警惕平板學習機騙局
解信賴域子問題的多折線算法
一種基于精英選擇和反向學習的分布估計算法
基于自適應選擇的多策略粒子群算法
“機”關
具有收縮因子的自適應鴿群算法用于函數優(yōu)化問題
財務風險跟蹤評價方法初探
從學習機到上網本
湘西| 沂源县| 县级市| 兴城市| 绥化市| 宜良县| 新兴县| 新昌县| 永登县| 清流县| 曲水县| 宁武县| 通化县| 靖江市| 普陀区| 卓资县| 霍林郭勒市| 武城县| 长葛市| 竹山县| 南通市| 临潭县| 类乌齐县| 陆川县| 商丘市| 紫云| 福建省| 陇南市| 浦江县| 临高县| 油尖旺区| 怀化市| 贵南县| 泰州市| 宜春市| 留坝县| 车致| 印江| 井研县| 封丘县| 海伦市|