馬文海，胡 平

（南京工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 南京 211816）

基于概率的并行粒子群AKO-RVM入侵檢測(cè)

馬文海，胡 平

（南京工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 南京 211816）

AKO-RVM算法不僅具有高分類(lèi)精度的特點(diǎn)，相對(duì)于RVM算法其在一定程度上降低了性能對(duì)初始參數(shù)的依賴(lài)性,在入侵檢測(cè)網(wǎng)絡(luò)安全的方法研究中優(yōu)于經(jīng)典RVM算法。然而AKO-RVM樣本訓(xùn)練與分類(lèi)用時(shí)較長(zhǎng)，為此提出一種基于概率的主輔式并行粒子群AKO-RVM方法，即將訓(xùn)練樣本進(jìn)行分組，先采用并行主輔式粒子群算法確定AKO-RVM核寬參數(shù)并進(jìn)行優(yōu)化，進(jìn)而構(gòu)造RVM分類(lèi)模型，繼而采用一對(duì)一分類(lèi)方法應(yīng)用于多類(lèi)檢測(cè)中。入侵實(shí)驗(yàn)結(jié)果表明，所提出方法在具有高精度與性能、低依賴(lài)性等特點(diǎn)的同時(shí)，較大程度上降低了訓(xùn)練所需迭代次數(shù)與檢測(cè)時(shí)間。

入侵檢測(cè)；相關(guān)向量機(jī)；概率并行粒子群優(yōu)化

0 引言

隨著網(wǎng)絡(luò)信息量的爆炸式增長(zhǎng)，網(wǎng)路攻擊手段層出不窮，入侵檢測(cè)在保護(hù)網(wǎng)絡(luò)安全方面起著至關(guān)重要的作用，如何高效準(zhǔn)確地對(duì)大量數(shù)據(jù)進(jìn)行處理成為目前急需解決的問(wèn)題。因此，先進(jìn)的智能分類(lèi)技術(shù)在入侵檢測(cè)領(lǐng)域的應(yīng)用研究具有重要的現(xiàn)實(shí)意義[1-2]。相對(duì)向量機(jī)(RVM)具有SVM良好非線(xiàn)性處理能力與泛化能力，能夠有效解決非線(xiàn)性、小樣本問(wèn)題等優(yōu)勢(shì)[3]。但 RVM核函數(shù)參數(shù)的選擇太依賴(lài)經(jīng)驗(yàn)性，學(xué)者們提出一種相對(duì)向量機(jī)自動(dòng)優(yōu)化核寬(AKO-RVM)的算法[4]，它可以有效減少RVM對(duì)其內(nèi)核初始參數(shù)選擇的依賴(lài)，提高分類(lèi)精度，但在收斂速度與計(jì)算復(fù)雜度方面的優(yōu)化有明顯不足之處。本文提出一種基于概率的并行粒子群優(yōu)化AKO-RVM的方法[5-6]，首先通過(guò)AKO-RVM算法對(duì)樣本分組并進(jìn)行訓(xùn)練，其次使用并行主輔式粒子群(PSO)算法[7]對(duì)分組后的核寬進(jìn)行優(yōu)化，在保證 AKORVM算法進(jìn)度的同時(shí)有效提高了其收斂速度并降低了其計(jì)算復(fù)雜度，進(jìn)而探索相關(guān)向量機(jī)的快速算法，提高入侵檢測(cè)的精度。

1 自動(dòng)優(yōu)化相關(guān)向量機(jī)核寬算法

1.1 相關(guān)向量機(jī)

相關(guān)向量機(jī)(RVM)是建立在支持向量機(jī)(SVM)上的稀疏概率學(xué)習(xí)模型。 給定訓(xùn)練樣本集，目標(biāo)值 tk∈R與 xk∈RN都相互獨(dú)立分布，式(1)給出兩者關(guān)系：

其中λk為相對(duì)獨(dú)立的附加噪聲，且滿(mǎn)足期望為0、方差為 σ2的高斯分布，估計(jì)函數(shù) y(xk)可由線(xiàn)性加權(quán)模型y(x|w)給出，通常線(xiàn)性加權(quán)模型 y(x|w)為：

其中 w=[w0，w1，…，wN]T為線(xiàn)性模型的權(quán)重因子，K(x，xk)為訓(xùn)練樣本預(yù)先設(shè)定的核函數(shù)，由線(xiàn)性加權(quán)模型可得估計(jì)函數(shù)y(xk)，雖然RVM模型對(duì)核函數(shù)的選擇沒(méi)有任何限制，但在RVM模型中應(yīng)用最為廣泛的是高斯核函數(shù)，其核函數(shù)模型定義為：

其中b為核函數(shù)核寬。而在實(shí)際應(yīng)用中，由于訓(xùn)練數(shù)樣本是隨著時(shí)間動(dòng)態(tài)變化的，因此固定的核寬可能會(huì)導(dǎo)致RVM模型性能的下降。據(jù)此根據(jù)AKO-RVM算法提出一種動(dòng)態(tài)改變RVM核寬的方法。

若想求得式(1)，即對(duì)樣本集進(jìn)行分組訓(xùn)練，就必須了解RVM邊緣似然函數(shù)的對(duì)數(shù)模型,其模型為：

由以上可以看出對(duì)RVM樣本集訓(xùn)練分類(lèi)過(guò)程就是迭代求解α的過(guò)程，并最終通過(guò)RVM邊緣似然函數(shù)的模型求得式（1），之后根據(jù)式（1）對(duì)樣本進(jìn)行分類(lèi)。

1.2 AKO-RVM算法

AKO-RVM算法根據(jù)訓(xùn)練樣本的不同自動(dòng)改變高斯核函數(shù)的核寬，保證了RVM訓(xùn)練結(jié)果與RVM核寬的初始值設(shè)定無(wú)關(guān)，因此式（2）可改寫(xiě)為：

其中γ為幾何平均值。為解決式（6）約束性問(wèn)題，引入拉格朗日乘子λ，將約束問(wèn)題變?yōu)闊o(wú)約束問(wèn)題求解，最優(yōu)核寬bch可變?yōu)槭?7)所示：

之后通過(guò)將自變量bk與λ對(duì)Γ1進(jìn)行微分計(jì)算，并結(jié)合式(7)來(lái)計(jì)算核寬的迭代公式。

由以上可以看出AKO-RVM算法主要是針對(duì)不同的訓(xùn)練樣本迭代出適合的核寬，進(jìn)而迭代求解α，最終求得式（1），并根據(jù)式（1）對(duì)樣本進(jìn)行分類(lèi)。

2 基于概率的主輔式并行粒子群AKO-RVM優(yōu)化算法

粒子群算法（PSO）是通過(guò)追隨當(dāng)前搜索到的最優(yōu)值來(lái)進(jìn)行全局最優(yōu)值的計(jì)算，其追隨速度 Vi=(vi，1，vi，2，…，vi，d)與位置 Si=(si，1，si，2，…，si，d)更新公式為：

其中 τ1、τ2為(0，1)之間的隨機(jī)數(shù)，Pbest與 Gbest分別為粒子群的當(dāng)前局部最優(yōu)解與全局最優(yōu)解。由文獻(xiàn)[8]可知，當(dāng)θ取隨機(jī)數(shù)，且 Lmax為最大迭代次數(shù)，C1=2.5-2l/Lmax，C2= 3-C1時(shí)，可以使PSO算法性能得到增強(qiáng)。

標(biāo)準(zhǔn)粒子群算法采取串行比較方式，局限性較大。為獲得更好的性能，本文提出一種基于概率的主輔式并行粒子群AKO-RVM模型（P2AKO-RVM）。

如圖1所示，P2AKO-RVM算法首先對(duì)訓(xùn)練樣本進(jìn)行分組，分組后的樣本根據(jù)式（7）分別求出核寬 b，然后將其分別送入輔處理器中，輔處理器將粒子個(gè)體最優(yōu)信息通過(guò)概率計(jì)算后發(fā)送給主處理器，主處理器尋找概率適應(yīng)度最大的核寬粒子，將其作為新的全局最優(yōu)解，輔處理器接收新的全局最優(yōu)解，并使用其進(jìn)行下一次的速度更新與適應(yīng)度的計(jì)算。文中定義ξ為概率系數(shù)，且P2AKO-RVM的適應(yīng)度值Ffitness的公式定義如下：

其中，T為當(dāng)前輸入的訓(xùn)練樣本的信號(hào)長(zhǎng)度，zt為每組中的粒子個(gè)數(shù)，Mt為訓(xùn)練樣本分組的個(gè)數(shù)，q3為加速比。

圖1 基于概率的主輔式并行AKO-RVM算法原理框圖

P2AKO-RVM算法具體步驟如下：

(1)對(duì)總訓(xùn)練樣本進(jìn)行分組，每組訓(xùn)練樣本的數(shù)目為m，文中選取m為3，若存在剩余訓(xùn)練樣本，則舍棄。

(2)通過(guò)式(7)對(duì)分組后的訓(xùn)練樣本分別計(jì)算RVM核寬粒子b。

(3)將核寬粒子b均分為m組，并將分組后的 RVM核寬粒子b發(fā)送至對(duì)應(yīng)的m個(gè)輔處理器，若存在剩余粒子，則舍棄。

(4)在m組并行輔處理器中對(duì)RVM核寬粒子群初始化，隨機(jī)給出每個(gè)粒子的初始速度與位置，確定其迭代精度、加速系數(shù)等參數(shù)。

(5)在 m組并行輔處理器中根據(jù)式（10）計(jì)算 RVM核寬粒子b的適應(yīng)度。

(6)并行輔處理器進(jìn)行尋優(yōu)并將其個(gè)體最優(yōu)信息發(fā)送至主處理器中。

(7)主處理器尋找概率適應(yīng)度最大的 RVM核寬粒子b并將其作為新的全局最優(yōu)解發(fā)送回m個(gè)并行輔處理器。

(8)并行輔處理器判斷迭代是否滿(mǎn)足設(shè)置的精度要求或者粒子已完成迭代，若滿(mǎn)足則終止迭代，否則將主處理器發(fā)送的新的核寬粒子跟新為的全局最優(yōu)解，重復(fù)步驟(6)。

(9)將優(yōu)選出的最優(yōu) RVM核寬粒子代入式（3）進(jìn)行相關(guān)向量機(jī)的訓(xùn)練與檢測(cè)。

2.1 P2AKO-RVM算法主處理器流程

(1)接收輔處理器發(fā)送的概率適應(yīng)度。

(2)在接收的所有的m個(gè)粒子中找到其概率適應(yīng)度最大的 Ffitness。

(3)若當(dāng)前全局極值的適應(yīng)度值大于所選 Ffitness，則將Ffitness對(duì)應(yīng)的粒子位置作為新的全局極值。

(4)將新的全局極值送至輔處理器中。

2.2 P2AKO-RVM算法輔處理器流程

(1)接收主處理器發(fā)送的全局極值,并判斷核寬粒子是否達(dá)到預(yù)設(shè)精度要求或者已完成迭代,若是輔處理器結(jié)束迭代，否則進(jìn)行步驟（2）。

(2)由式（8）與（9）更新當(dāng)前粒子的速度與位置信息，并將其發(fā)送至主處理器。

3 實(shí)際應(yīng)用

本文實(shí)驗(yàn)樣本選取 kddcup_data_10precent入侵檢測(cè)數(shù)據(jù)包作為實(shí)驗(yàn)樣本,共選取4種模式進(jìn)行實(shí)驗(yàn)驗(yàn)證：normal、ipsweep、neptune、smurf，分別定義為1、2、3、4。除Normal外都為異常的入侵模式。每種模式各自選取500組數(shù)據(jù)，其中選取各模式的前100組數(shù)據(jù)作為訓(xùn)練樣本其余的為檢測(cè)樣本，即共計(jì)400組訓(xùn)練樣本，以及1 600組訓(xùn)練樣本。文章分別采用RVM、AKO-RVM、P2AKORVM進(jìn)行入侵檢測(cè)，如圖2所示。

圖2 RVM、AKO-RVM、P2AKO-RVM入侵檢測(cè)結(jié)果

圖2中P2AKO-RVM算法選用3個(gè)并行輔處理器(m=3)對(duì)400組樣本進(jìn)行訓(xùn)練，由此可知每個(gè)輔處理器最多迭代45次，每次迭代都會(huì)選取一個(gè)最優(yōu)核寬，大幅縮減了AKO-RVM算法的迭代次數(shù)。

圖3為AKO-RVM、P2AKO-RVM兩種算法的邊緣似然變量隨迭代次數(shù)的變化曲線(xiàn)。

圖3 AKO-RVM、P2AKO-RVM邊緣似然變量曲線(xiàn)

由圖3可看出，P2AKO-RVM算法大幅度縮短訓(xùn)練迭代次數(shù)的同時(shí)保證了內(nèi)核寬度的最大化。在一定程度上，其最大化速度快于A(yíng)KO-RVM。

表1為分別基于3種算法的入侵檢測(cè)性能方面的比較，文中使用了檢測(cè)準(zhǔn)確率、檢測(cè)誤報(bào)率以及檢測(cè)用時(shí)3種種指標(biāo)進(jìn)行衡量。定義分別為：

表1 實(shí)驗(yàn)結(jié)果比較

由表1可看出在相同的實(shí)驗(yàn)條件下，相對(duì)于RVM，AKO-RVM與P2AKO-RVM算法在入侵檢測(cè)上的檢測(cè)精度得到較大提高，尤其是 P2AKO-RVM算法，相對(duì)于A(yíng)KO-RVM，在保證了較高檢測(cè)精度的同時(shí)大幅度降低了訓(xùn)練迭代次數(shù)，并減少了一定的檢測(cè)時(shí)間。

4 結(jié)論

本文提出一種基于概率的主輔式并行粒子群AKORVM的網(wǎng)絡(luò)入侵檢測(cè)方法(P2AKO-RVM)，P2AKO-RVM可以在保證了AKO-RVM算法分類(lèi)精度的同時(shí)，快速優(yōu)化出適合當(dāng)前訓(xùn)練樣本集的核寬參數(shù)。通過(guò)實(shí)驗(yàn)驗(yàn)證表明，P2AKO-RVM方法不僅減少了RVM初始化值對(duì)訓(xùn)練與檢測(cè)精度的影響，而且在保證了較高檢測(cè)精度的同時(shí)大幅度降低了訓(xùn)練迭代次數(shù)，在入侵檢測(cè)領(lǐng)域應(yīng)用更優(yōu)于RVM與AKO-RVM算法，具有較好的應(yīng)用前景,后續(xù)還可以針對(duì)RVM多核函數(shù)等方向進(jìn)行一定研究。

[1]RAMAN S，HARISH K，SINGLA R K.An intrusion detection system using network traffic profiling and online sequential extreme learning machine[J].Expert Systems withApplications，2015，42(22)：8609-8624.

[2]吳良海.基于粒子群優(yōu)化相關(guān)向量機(jī)的網(wǎng)絡(luò)入侵檢測(cè)[J].微電子學(xué)與計(jì)算機(jī)，2010(5)：181-184.

[3]TIPPING M E.Sparse Bayesian learning and the relevance vector machine[J].Journal of Machine Learning Research，2001，1(3)：211-244.

[4]YALDA M，HAMID S.Gaussian kernel width optimization for sparse Bayesian[J].IEEE Transactions on Neural Networks and Learning Systems Learning，2015(4)：709-719.

[5]李國(guó)棟，胡建平，夏克文.基于云PSO的RVM入侵檢測(cè)[J].控制與決策，2015(4)：698-702.

[6]SABAN G，HALIFE K.A novel parallel multi-swarm algorithm based on comprehensive learning particle swarm optimization[J].Engineering Applications of Artificial Intelligence，2015(10)：33-45.

[7]MALIK A J，SHAHZAD W，KHAN F A.Network intrusion detection using hybrid binary PSO and random forests algorithm[J].Security and Communication Networks，2015，8 (16)：2646-2660.

[8]CHEN S.An efficient predistorter design for compensating nonlinear memory high power amplifiers[J].IEEE Trans.on Broadcasting，2011(4)：856-865.

Intrusion detection using automatic kernel width optimization RVM based on probabilistic parallel PSO

Ma Wenhai，Hu Ping
（College of Computer Science and Technology，Nanjing Tech University，Nanjing 211816，China）

AKO-RVM algorithm not only has the characteristics of high classification accuracy,but also reduces the dependence of the performance of initial parameters relative to the RVM algorithm to a certain extent.In the study of intrusion detection method of network security，it is better than classical RVM algorithm.However training and classification of AKO-RVM sample are longer，therefore this paper puts forward a kind of based on the probability of advocate complementary type parallel particle swarm AKORVM method,the training samples are grouped,advocate complementary type parallel particle swarm optimization algorithm is adopted to define the first AKO-RVM nuclear parameter and optimize it,and then the RVM classification model is constructed.Then adopting the classification method is applied to the type of testing.Invasion of the experimental results show that the proposed method has high accuracy and performance characteristics as well as low dependence，at the same time,it largely reduces the number of iterations needed for training and testing time.

intrusion detection；relevance vector machine；probabilistic parallel particle swarm optimization

TP393

A

10.16157/j.issn.0258-7998.2016.11.032

馬文海，胡平.基于概率的并行粒子群 AKO-RVM入侵檢測(cè)[J].電子技術(shù)應(yīng)用，2016，42(11)：119-121，125.

英文引用格式：Ma Wenhai，Hu Ping.Intrusion detection using automatic kernel width optimization RVM based on probabilistic parallel PSO[J].Application of Electronic Technique，2016，42(11)：119-121，125.

2016-03-28)

馬文海（1989-），通信作者，男，碩士研究生，主要研究方向：計(jì)算機(jī)網(wǎng)絡(luò)安全、機(jī)器學(xué)習(xí)，E-mail：mawh_1989@163.com。

胡平（1962-），男，碩士，教授，主要研究方向：計(jì)算機(jī)網(wǎng)絡(luò)安全、物聯(lián)網(wǎng)及人工智能等。