国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

改進(jìn)磷蝦群算法優(yōu)化ELM的入侵檢測(cè)*

2019-01-14 03:38:30王曉丹
火力與指揮控制 2018年12期
關(guān)鍵詞:磷蝦隱層學(xué)習(xí)機(jī)

劉 唐,周 煒,王曉丹

(1.空軍工程大學(xué)研究生院,西安 710051;2.空軍工程大學(xué)防空反導(dǎo)學(xué)院,西安 710051)

0 引言

隨著網(wǎng)絡(luò)安全面臨的威脅升級(jí),入侵檢測(cè)技術(shù)的發(fā)展需求愈加迫切。網(wǎng)絡(luò)入侵檢測(cè)是一種主動(dòng)的網(wǎng)絡(luò)信息安全防御手段,通過(guò)監(jiān)測(cè)網(wǎng)絡(luò)數(shù)據(jù)實(shí)現(xiàn)對(duì)外部攻擊、內(nèi)部攻擊和誤操作的實(shí)時(shí)保護(hù),是防火墻后的第2道安全屏障,具有主動(dòng)性和實(shí)時(shí)性的特點(diǎn),是防火墻有益的和重要的補(bǔ)充。入侵檢測(cè)一般分為兩步:1)特征提?。?)分類器的選擇。

近年來(lái),國(guó)內(nèi)外學(xué)者對(duì)特征提取在入侵檢測(cè)方面的應(yīng)用做了大量研究。目前,常見的入侵檢測(cè)方法有支持向量機(jī)算法(SVM)[1]、遺傳算法及其改進(jìn)算法等,這些算法通常需要以大量的時(shí)間或者人為干涉為代價(jià)。文獻(xiàn)[2]采用清除訓(xùn)練數(shù)據(jù)中一部分常見攻擊或者避開攻擊頻發(fā)的時(shí)間等方法來(lái)減少訓(xùn)練數(shù)據(jù)中的攻擊,但這往往會(huì)丟失一些有用信息。文獻(xiàn)[3]等提出的實(shí)時(shí)入侵檢測(cè)方法在特征提取中發(fā)揮了較好的作用。而綜合多種分類器的級(jí)聯(lián)入侵檢測(cè)系統(tǒng)[4-5]則從分類器上對(duì)算法進(jìn)行改進(jìn),這種系統(tǒng)集成了多種分類器的優(yōu)點(diǎn),但是會(huì)造成時(shí)間與成本的浪費(fèi),而且并不適用于所有的攻擊類型。

鑒于極限學(xué)習(xí)機(jī)快速學(xué)習(xí)能力強(qiáng)等特點(diǎn),為提高入侵檢測(cè)的訓(xùn)練速度,降低誤報(bào)率。本文對(duì)極限學(xué)習(xí)機(jī)[6]加以優(yōu)化改進(jìn),在極大減少隱層節(jié)點(diǎn)數(shù)的同時(shí)提高了節(jié)點(diǎn)的學(xué)習(xí)質(zhì)量,使得精簡(jiǎn)的IKH-ELM的泛化性能明顯提高,且超過(guò)需要眾多隱層節(jié)點(diǎn)的原始ELM的性能。同時(shí),本文將IKH-ELM應(yīng)用到入侵檢測(cè)中,通過(guò)實(shí)驗(yàn)驗(yàn)證其效果,并與原始ELM、BP、SVM等算法進(jìn)行比較,結(jié)果表明IKH-ELM具有更好的綜合性能。

1 極限學(xué)習(xí)機(jī)

極限學(xué)習(xí)機(jī)(Extreme Learning Machine,ELM)是單隱層前饋神經(jīng)網(wǎng)絡(luò)(Single-hidden Layer feed-Forward Network,SLFN)的一種快速學(xué)習(xí)[7]方法。整個(gè)學(xué)習(xí)過(guò)程一次完成,無(wú)需迭代,因而能達(dá)到極快的學(xué)習(xí)速度[8]。對(duì)于 N個(gè)不同樣本其中則激勵(lì)函數(shù)為g(x)且隱層節(jié)點(diǎn)數(shù)為的SLFN的模型為

以上N個(gè)方程的矩陣形式可寫為

式中,

H為隱層輸出矩陣,H的第i行表示全部隱層節(jié)點(diǎn)與輸入xi相關(guān)的輸出。

ELM算法對(duì)輸入權(quán)值wi和偏置bi的值采取隨機(jī)設(shè)置,在輸入樣本集給定的情況下,隱層輸出矩陣H也被確定了。

由式(3)得到的解為最小范數(shù)二乘解

式中,H+為H的Moore-Penrose廣義逆。

2 磷蝦群算法及其改進(jìn)

2.1 磷蝦群算法

在研究自然界磷蝦群覓食活動(dòng)的規(guī)律后,Gandomi等人于2012年提出了磷蝦群(Krill Herd,KH)算法[10]。該算法中,以每只磷蝦表示問(wèn)題的可能解,通過(guò)模擬每只磷蝦覓食過(guò)程中位置的不斷更新來(lái)尋找最優(yōu)解。磷蝦群算法的主要內(nèi)容如下,詳細(xì)內(nèi)容見參考文獻(xiàn)[11-12]。

一個(gè)有N只磷蝦的磷蝦群在覓食過(guò)程中,磷蝦i的第K次位置更新會(huì)受下面3種因素的綜合影響:

其中,Nmax為最大引導(dǎo)速度,為慣性權(quán)重,為上一次引導(dǎo)運(yùn)動(dòng),表示引導(dǎo)源,表示周圍磷蝦產(chǎn)生的局部影響,表示當(dāng)前最優(yōu)磷蝦產(chǎn)生的目標(biāo)方向的引導(dǎo)。

其中,Dmax為最大隨機(jī)擴(kuò)散速度,Imax為最大迭代次數(shù),δi為當(dāng)前的隨機(jī)擴(kuò)散方向向量,且為區(qū)間[-1,1]的隨機(jī)數(shù)。

磷蝦i從t經(jīng)Δt時(shí)間后的位移公式為:

其中,Δt為速度矢量比例因子,其值取決于問(wèn)題空間,p為變量總數(shù),Uj和Lj分別表示第j個(gè)變量的上、下界,差值決定搜索范圍,為常數(shù)。

每只磷蝦在上述3種因素的綜合影響下,不斷更新自身位置,直至當(dāng)前最優(yōu)磷蝦位置對(duì)應(yīng)的解符合條件要求或達(dá)到最大迭代次數(shù)后停止。

2.2 磷蝦群算法的改進(jìn)

首先,磷蝦群算法求最優(yōu)解有如下優(yōu)點(diǎn):周圍磷蝦的引導(dǎo)運(yùn)動(dòng)和磷蝦本身的覓食運(yùn)動(dòng)都有全局、局部尋優(yōu)決策,兩種決策結(jié)合,使得磷蝦群算法在求參數(shù)最優(yōu)解過(guò)程中能很好地協(xié)調(diào)全局搜索與局部挖掘的關(guān)系。但是也存在不足:在迭代次數(shù)增加到一定后,大多數(shù)磷蝦都會(huì)向同一方向運(yùn)動(dòng),從而導(dǎo)致磷蝦群的個(gè)體特異性降低,易陷入局部最優(yōu);本文在磷蝦本身的隨機(jī)擴(kuò)散運(yùn)動(dòng)中添加變異因子進(jìn)行了改進(jìn)。

在求參數(shù)最優(yōu)解過(guò)程中增加變異是避免陷入局部最優(yōu)的有效方法,本文針對(duì)磷蝦群算法的優(yōu)化,引入了一種變異因子,如下:

由此可知,μ和fit共同決定了變異大小進(jìn)而對(duì)磷蝦本身的隨機(jī)擴(kuò)散的幅度進(jìn)行調(diào)整。在算法迭代前期,μ值較大時(shí),可以產(chǎn)生較大幅度的變異,增加了求參數(shù)最優(yōu)解的全局遍歷性,使得算法有較強(qiáng)的全局搜索能力;隨著迭代次數(shù)的增加,μ值線性減小,全體磷蝦本身的隨機(jī)擴(kuò)散幅度降低,使得單只磷蝦在自身周圍進(jìn)行較精確的搜索,此時(shí)算法就有較好的局部挖掘能力,從而使收斂的速率加快。在算法后期,每只磷蝦都向全局最優(yōu)的位置收縮,易陷入局部最優(yōu)。這時(shí),較大fit值的磷蝦會(huì)擁有較強(qiáng)的變異能力,使得該磷蝦可以在更大范圍進(jìn)行隨機(jī)擴(kuò)散運(yùn)動(dòng),如此就豐富了磷蝦個(gè)體的特異性,擴(kuò)大算法求最優(yōu)解的范圍,避免陷入局部最優(yōu)。

3 改進(jìn)磷蝦群算法和精簡(jiǎn)節(jié)點(diǎn)的ELM

ELM的輸入權(quán)值wi和隱層偏置bi隨機(jī)產(chǎn)生的方法的確能夠降低系統(tǒng)的學(xué)習(xí)時(shí)間,但是需要以消耗很多隱層節(jié)點(diǎn)為代價(jià)。在給定條件下,ELM的學(xué)習(xí)質(zhì)量隨隱層節(jié)點(diǎn)數(shù)的增加而逐漸上升。然而當(dāng)隱層節(jié)點(diǎn)數(shù)較少時(shí),一般學(xué)習(xí)質(zhì)量會(huì)很差。這種情況反應(yīng)出,需要大量的隱層節(jié)點(diǎn)來(lái)補(bǔ)償單個(gè)節(jié)點(diǎn)判斷能力和學(xué)習(xí)能力的欠缺。因此,獲得了最優(yōu)的節(jié)點(diǎn),ELM不需要眾多隱層節(jié)點(diǎn)就能夠得到較好的效果,從而精簡(jiǎn)ELM。

IKH-ELM主要從以下兩個(gè)方面使ELM精簡(jiǎn)并使其泛化性能提升。首先明確隱層每一個(gè)節(jié)點(diǎn)的責(zé)任。隱層節(jié)點(diǎn)數(shù)量根據(jù)分類問(wèn)題的目的設(shè)定,不再像原始ELM那樣隨機(jī)設(shè)定。再利用IKH優(yōu)化每個(gè)節(jié)點(diǎn)的權(quán)值wi和偏置bi。選出具有較好的泛化能力的最優(yōu)節(jié)點(diǎn)。

k類問(wèn)題中,IKH-ELM根據(jù)一對(duì)多原則[13]將分類任務(wù)分割成k個(gè)子分類,第i個(gè)子任務(wù)將第i類與另外k-1類分開。每個(gè)節(jié)點(diǎn)對(duì)應(yīng)一個(gè)分類子。因此,只須將隱層節(jié)點(diǎn)數(shù)目設(shè)為類別數(shù)目k,為了讓每個(gè)節(jié)點(diǎn)更好地發(fā)揮分類泛化性能,需要對(duì)每一個(gè)節(jié)點(diǎn)的線性決策函數(shù)進(jìn)行相應(yīng)的優(yōu)化操作[14-15]。

1)初始化IKH的種群,設(shè)定種群規(guī)模大小N、最大引導(dǎo)速度Nmax、覓食速度、最大隨機(jī)擴(kuò)散速度Dmax,輸入學(xué)習(xí)訓(xùn)練樣本集。

2)對(duì)樣本進(jìn)行學(xué)習(xí)訓(xùn)練,利用均方根誤差(RMSE)算出每只磷蝦的適應(yīng)度值。

3)通過(guò)式(5)~式(6)計(jì)算更新引導(dǎo)運(yùn)動(dòng),通過(guò)式(7)計(jì)算更新覓食運(yùn)動(dòng),通過(guò)式(8)計(jì)算更新隨機(jī)擴(kuò)散運(yùn)動(dòng);結(jié)合引導(dǎo)運(yùn)動(dòng)、覓食運(yùn)動(dòng)及隨機(jī)擴(kuò)散運(yùn)動(dòng),通過(guò)式(9)~式(11)對(duì)磷蝦位置進(jìn)行更新,重新計(jì)算適應(yīng)度值判斷是否符合條件,符合就結(jié)束迭代操作,否則更新磷蝦位置并繼續(xù)重復(fù)上面迭代,直到滿足條件或達(dá)到最大迭代次數(shù),最后得到權(quán)值wi和偏置bi。

4)把優(yōu)化得到的權(quán)值wi和偏置bi代入進(jìn)行學(xué)習(xí)訓(xùn)練,則得到隱藏層輸出矩陣為

上式中:

學(xué)習(xí)參數(shù)

由此,可以建立類似于式(2)的學(xué)習(xí)系統(tǒng)

其最小范數(shù)二乘解就是ELM的最優(yōu)解

4 實(shí)驗(yàn)與結(jié)果分析

本實(shí)驗(yàn)采取的數(shù)據(jù)為美國(guó)國(guó)防部高級(jí)研究規(guī)劃署(DARPA)在1999年KDD競(jìng)賽所供給的入侵檢測(cè)系統(tǒng)評(píng)估的數(shù)據(jù)。數(shù)據(jù)全部采用Tcpdump和Solaris BSM Audit Data的格式,數(shù)據(jù)的基礎(chǔ)是正常的網(wǎng)絡(luò)數(shù)據(jù),但又在其中加入了多種入侵?jǐn)?shù)據(jù)。實(shí)驗(yàn)過(guò)程分為兩步:數(shù)據(jù)預(yù)處理和數(shù)據(jù)劃分。數(shù)據(jù)預(yù)處理包含對(duì)入侵的歸類和數(shù)據(jù)的標(biāo)準(zhǔn)化。

數(shù)據(jù)集含有一個(gè)標(biāo)明入侵攻擊類型的標(biāo)識(shí)屬性,一共有23種類型,Normal為正常的網(wǎng)絡(luò)活動(dòng),其他 22 種(Smurf、Back、Neptune等)為入侵行為[16]。將其映射為 5 大類型,即 Normal、DoS、R2L、U2R 和Probing。各種攻擊類型在學(xué)習(xí)訓(xùn)練數(shù)據(jù)集的分布如表1所示。

表1 實(shí)驗(yàn)學(xué)習(xí)訓(xùn)練數(shù)據(jù)中各種攻擊類型分布

所采用的學(xué)習(xí)訓(xùn)練數(shù)據(jù)集(Kddcup10per)共有494 021條記錄,其中標(biāo)記為Normal的有97 278條記錄,占19.6%,而攻擊記錄396 743條,占80.4%。測(cè)試數(shù)據(jù)集共有311 029條記錄。

此數(shù)據(jù)集中有41個(gè)特征屬性,其中34個(gè)特征屬性為數(shù)值型變量、4個(gè)為二元變量、3個(gè)為標(biāo)稱變量(屬性及其意義見文獻(xiàn)[17])。在實(shí)驗(yàn)檢測(cè)過(guò)程中發(fā)現(xiàn),并不是所有的特征屬性都對(duì)入侵檢測(cè)有幫助,有些特征屬性甚至?xí)档捅鎰e率。根據(jù)文獻(xiàn)[18],屬性約簡(jiǎn)后如下:

Normal約簡(jiǎn)屬性集(26個(gè))為:

DoS 約簡(jiǎn)屬性集(18 個(gè))為:{1,3,5,6,23,24,

Probing約簡(jiǎn)屬性集(7 個(gè))為:{3,5,6,23,4,32,33};

U2R 約簡(jiǎn)屬性集(8 個(gè))為:{5,6,8,15,16,18,32,33};

R2L 約簡(jiǎn)屬性集(8 個(gè))為:{3,5,6,21,22,24,32,33}。

此外,原始數(shù)據(jù)中有34個(gè)數(shù)值屬性,但每個(gè)屬性的取值范圍卻大不相同,所以,對(duì)數(shù)據(jù)進(jìn)行規(guī)范化處理,將其規(guī)范化到區(qū)間[-1,+1]。采用如下公式:

規(guī)范化后,upper為上界,取+1;lower為下界,取-1;max(fi),min(fi)分別表示屬性fi的最大值和最小值。

數(shù)據(jù)劃分即把原始數(shù)據(jù)分成學(xué)習(xí)訓(xùn)練樣本集和測(cè)試樣本集。學(xué)習(xí)訓(xùn)練樣本集是從原始學(xué)習(xí)訓(xùn)練數(shù)據(jù)集隨機(jī)抽取出來(lái)的10 000條數(shù)據(jù);測(cè)試樣本集是從原始測(cè)試樣本集中隨機(jī)抽取出來(lái)的10 000條數(shù)據(jù),包括Normal數(shù)據(jù)5 182條,DoS攻擊3 869條,R2L攻擊276條,U2R攻擊71條,Probing攻擊602 條[19]。

當(dāng)使用IKH優(yōu)化求解隱層節(jié)點(diǎn)權(quán)值wi和偏置bi時(shí),因?yàn)闄z測(cè)數(shù)據(jù)包含5個(gè)類別,所以基于IKH優(yōu)化的極限學(xué)習(xí)機(jī)的隱層節(jié)點(diǎn)數(shù)固定為類別數(shù)5。原始的ELM所需的隱層節(jié)點(diǎn)數(shù)需要調(diào)試時(shí)確定,ELM以及IKH-ELM的激勵(lì)函數(shù)選用效果較好的Sigmoid。

表2 IKH-ELM分類實(shí)驗(yàn)檢測(cè)結(jié)果

從表2可知,IKH-ELM算法針對(duì)各種入侵類型檢測(cè)正確率都較高,誤報(bào)率也較低,并且具有較好的穩(wěn)定性。但是僅從表2不能顯示IKH-ELM算法的優(yōu)越性。因此,表3同文獻(xiàn)[20]中的BP神經(jīng)網(wǎng)絡(luò)和SVM入侵檢測(cè)算法進(jìn)行了比較。同時(shí),表4同文獻(xiàn)[21]中的原始ELM、BP神經(jīng)網(wǎng)絡(luò)和SVM入侵檢測(cè)算法進(jìn)行比較。

表3 檢測(cè)正確率比較

從表3可以得知,與BP神經(jīng)網(wǎng)絡(luò)和SVM算法相比,IKH-ELM算法依舊檢測(cè)正確率較高,具有較大的優(yōu)越性。

從表4可以看出,IKH-ELM算法的平均檢測(cè)正確率高達(dá)98%,而BP的平均檢測(cè)正確率低到只有82%,而且學(xué)習(xí)時(shí)間是IKH-ELM學(xué)習(xí)時(shí)間的150倍左右。SVM的平均檢測(cè)正確率雖然較高,但學(xué)習(xí)時(shí)間是IKH-ELM的7倍。而ELM的平均檢測(cè)正確率和學(xué)習(xí)時(shí)間與IKH-ELM相差不大,原因在于IKH-ELM算法是源于ELM,所以單從算法歸類平均檢測(cè)正確率這一點(diǎn)上看很相近,但從隱層節(jié)點(diǎn)數(shù)等屬性來(lái)說(shuō),IKH-ELM的優(yōu)越性非常明顯,同時(shí)IKH-ELM的平均誤報(bào)率也相對(duì)其他3種算法較低,更加說(shuō)明其性能良好。

表4 平均檢測(cè)正確率、誤報(bào)率與學(xué)習(xí)時(shí)間比較(%)

對(duì)于原始ELM,在調(diào)試的過(guò)程中依次選用5,50,500,2 000,5 000,10 000 個(gè)隱層節(jié)點(diǎn)來(lái)進(jìn)行性能觀測(cè)。原始ELM的實(shí)驗(yàn)結(jié)果如表5所示。

從實(shí)驗(yàn)結(jié)果易看出,DoS、U2R和Probing類型隨著隱層節(jié)點(diǎn)數(shù)目的增加,ELM檢測(cè)正確率逐漸提高;而R2L類型,隨著隱層節(jié)點(diǎn)數(shù)目的增加,ELM檢測(cè)正確率出現(xiàn)了局部波動(dòng),但是總趨勢(shì)仍然是向上的;這說(shuō)明ELM的學(xué)習(xí)效果和隱層節(jié)點(diǎn)數(shù)即網(wǎng)絡(luò)規(guī)模有很大關(guān)系,如果想要達(dá)到較好的學(xué)習(xí)效果,則必須有大量的隱層節(jié)點(diǎn)來(lái)支持。

對(duì)比表2和表5可以發(fā)現(xiàn),IKH-ELM在各類型攻擊的檢測(cè)正確率都高于ELM,其中在DoS類,IKH-ELM比ELM最高檢測(cè)正確率高5.56%,在R2L類,IKH-ELM比ELM最高檢測(cè)正確率高9.87%,在U2R類,IKH-ELM比ELM最高檢測(cè)正確率高5.84%,在Probing類,IKH-ELM比ELM最高檢測(cè)正確率高6.54%,ELM在各類型攻擊的檢測(cè)正確率達(dá)到此精度水平分別需要2 000個(gè)、10 000個(gè)、5 000個(gè)和2 000個(gè)節(jié)點(diǎn),而IKH-ELM僅需要5個(gè)節(jié)點(diǎn),就使學(xué)習(xí)機(jī)的性能超越ELM。這說(shuō)明優(yōu)化隱層節(jié)點(diǎn)的權(quán)值和偏置能夠有效提高ELM的泛化性能,因此,優(yōu)化精簡(jiǎn)ELM是有效的。

5 結(jié)論

本文在ELM的基礎(chǔ)上提出了基于IKH優(yōu)化的極限學(xué)習(xí)機(jī)的入侵檢測(cè)算法,通過(guò)IKH迭代優(yōu)化隱層節(jié)點(diǎn)權(quán)值和偏置,選出最優(yōu)的隱層節(jié)點(diǎn),提高了極限學(xué)習(xí)機(jī)的泛化性能,同時(shí)還減少隱層節(jié)點(diǎn)數(shù)為類別數(shù),提高了檢測(cè)正確率,還節(jié)省了存儲(chǔ)資源空間。從實(shí)驗(yàn)結(jié)果分析表明:與BP、SVM等其他已有的算法相比,IKH-ELM算法具有較高的檢測(cè)正確率并且能夠快速完成學(xué)習(xí)訓(xùn)練,具有較明顯的優(yōu)越性和穩(wěn)定性。同時(shí)IKH-ELM只用5個(gè)節(jié)點(diǎn)就能夠超越原始ELM用眾多節(jié)點(diǎn)才能達(dá)到的分類泛化性能。因此,IKH-ELM在入侵檢測(cè)中是有效的。

猜你喜歡
磷蝦隱層學(xué)習(xí)機(jī)
磷蝦真是“蝦無(wú)敵”
南極磷蝦粉在水產(chǎn)飼料中的應(yīng)用
湖南飼料(2021年4期)2021-10-13 07:32:46
基于RDPSO結(jié)構(gòu)優(yōu)化的三隱層BP神經(jīng)網(wǎng)絡(luò)水質(zhì)預(yù)測(cè)模型及應(yīng)用
人民珠江(2019年4期)2019-04-20 02:32:00
極限學(xué)習(xí)機(jī)綜述
“美味”的磷蝦
基于極限學(xué)習(xí)機(jī)參數(shù)遷移的域適應(yīng)算法
分層極限學(xué)習(xí)機(jī)在滾動(dòng)軸承故障診斷中的應(yīng)用
“美味”的磷蝦
基于近似結(jié)構(gòu)風(fēng)險(xiǎn)的ELM隱層節(jié)點(diǎn)數(shù)優(yōu)化
最優(yōu)隱層BP神經(jīng)網(wǎng)絡(luò)的滾動(dòng)軸承故障診斷
404 Not Found

404 Not Found


nginx
同德县| 蓬溪县| 古浪县| 镇宁| 岳阳市| 尤溪县| 离岛区| 青岛市| 兰坪| 无为县| 惠来县| 乌鲁木齐县| 陇西县| 海安县| 余干县| 清新县| 綦江县| 康马县| 吐鲁番市| 环江| 山阳县| 岗巴县| 潼关县| 小金县| 苍山县| 嵊泗县| 青龙| 芦山县| 武定县| 城固县| 连云港市| 疏附县| 滕州市| 平定县| 江安县| 伊金霍洛旗| 万山特区| 同江市| 东山县| 宜黄县| 建德市|