朱 江，明 月，王 森

(重慶市移動(dòng)通信重點(diǎn)實(shí)驗(yàn)室(重慶郵電大學(xué))，重慶 400065) (*通信作者電子郵箱mingy455@163.com)

基于深度自編碼網(wǎng)絡(luò)的安全態(tài)勢(shì)要素獲取機(jī)制

朱 江，明 月*，王 森

(重慶市移動(dòng)通信重點(diǎn)實(shí)驗(yàn)室(重慶郵電大學(xué))，重慶 400065) (*通信作者電子郵箱mingy455@163.com)

針對(duì)大規(guī)模網(wǎng)絡(luò)態(tài)勢(shì)要素獲取時(shí)間復(fù)雜度較高和攻擊樣本不平衡導(dǎo)致小類(lèi)樣本分類(lèi)精度不高的問(wèn)題，提出一種基于深度自編碼網(wǎng)絡(luò)的態(tài)勢(shì)要素獲取機(jī)制。在該機(jī)制下，利用優(yōu)化后的深度自編碼網(wǎng)絡(luò)作為基分類(lèi)器，識(shí)別數(shù)據(jù)類(lèi)型。一方面，在自編碼網(wǎng)絡(luò)的逐層訓(xùn)練中，提出一種結(jié)合交叉熵(CE)函數(shù)和反向傳播(BP)算法的訓(xùn)練規(guī)則，克服傳統(tǒng)的方差代價(jià)函數(shù)更新權(quán)值過(guò)慢的缺陷；另一方面，在深度網(wǎng)絡(luò)的微調(diào)和分類(lèi)階段，提出一種主動(dòng)在線采樣(AOS)算法應(yīng)用于分類(lèi)器中，通過(guò)在線選擇用于更新網(wǎng)絡(luò)權(quán)值的攻擊樣本，達(dá)到總樣本的去冗余和平衡各類(lèi)攻擊樣本數(shù)量的目的，從而提高小類(lèi)攻擊樣本的分類(lèi)精度。經(jīng)對(duì)實(shí)例數(shù)據(jù)的仿真分析，該方案有較好的態(tài)勢(shì)要素獲取精度，并能有效減少數(shù)據(jù)傳輸時(shí)的通信開(kāi)銷(xiāo)。

網(wǎng)絡(luò)安全；態(tài)勢(shì)要素；深度自編碼網(wǎng)絡(luò)；交叉熵函數(shù)；主動(dòng)學(xué)習(xí)

0 引言

網(wǎng)絡(luò)的大規(guī)?；?、異構(gòu)化和復(fù)雜化使得網(wǎng)絡(luò)入侵和攻擊行為具有分布化、海量、多屬性等特點(diǎn)，這對(duì)現(xiàn)有的單一的安全產(chǎn)品提出巨大挑戰(zhàn)，管理員很難對(duì)整個(gè)網(wǎng)絡(luò)有全面認(rèn)識(shí)。態(tài)勢(shì)感知[1]是一種通過(guò)提取整個(gè)網(wǎng)絡(luò)中多源異構(gòu)的安全要素進(jìn)行主動(dòng)、實(shí)時(shí)評(píng)估和預(yù)測(cè)網(wǎng)絡(luò)狀況的安全防御機(jī)制，態(tài)勢(shì)要素獲取是評(píng)估和預(yù)測(cè)的前提，是指在大量的網(wǎng)絡(luò)安全數(shù)據(jù)中獲取對(duì)網(wǎng)絡(luò)產(chǎn)生影響的因素，并對(duì)其進(jìn)行識(shí)別，經(jīng)統(tǒng)計(jì)分析形成態(tài)勢(shì)要素，其核心就是攻擊數(shù)據(jù)的分類(lèi)識(shí)別問(wèn)題。

目前，相關(guān)技術(shù)還不成熟，態(tài)勢(shì)要素獲取研究仍具有重要意義。解決態(tài)勢(shì)要素獲取問(wèn)題的關(guān)鍵就是找到一種方法識(shí)別海量的多源異構(gòu)數(shù)據(jù)，如文獻(xiàn)[2]利用粒子群優(yōu)化(Particle Swarm Optimization, PSO)算法優(yōu)化BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)建立態(tài)勢(shì)要素獲取模型，可以取得很高的分類(lèi)精度；文獻(xiàn)[3]提出一種新的事件聚類(lèi)模型和系統(tǒng)結(jié)構(gòu)來(lái)解決跨組織的信息安全事件融合問(wèn)題；文獻(xiàn)[4] 利用神經(jīng)網(wǎng)絡(luò)并行學(xué)習(xí)的優(yōu)勢(shì)對(duì)大量安全數(shù)據(jù)分類(lèi)，該算法對(duì)大類(lèi)樣本數(shù)據(jù)檢測(cè)具有較高的精度，但是這些方法大多在網(wǎng)絡(luò)安全數(shù)據(jù)量較少的情況下能獲得較好的精度，并且需要人工特征提取，也沒(méi)有解決目前網(wǎng)絡(luò)數(shù)據(jù)的海量和多屬性特征導(dǎo)致的識(shí)別精度相對(duì)較低、時(shí)間復(fù)雜度較高，以及攻擊類(lèi)型多樣性且收集的樣本往往類(lèi)別不平衡導(dǎo)致小類(lèi)樣本訓(xùn)練得少、識(shí)別精度遠(yuǎn)遠(yuǎn)低于大類(lèi)樣本的問(wèn)題。

深度學(xué)習(xí)[5]模擬了人腦的多層結(jié)構(gòu)，能夠提取數(shù)據(jù)的高層特征，消除無(wú)關(guān)屬性的影響，在關(guān)聯(lián)分析上比傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)更有優(yōu)勢(shì)。為此，針對(duì)目前信息安全保障呈現(xiàn)出來(lái)的網(wǎng)絡(luò)復(fù)雜化、實(shí)時(shí)化等特點(diǎn)，本文提出基于深度自編碼網(wǎng)絡(luò)的安全態(tài)勢(shì)要素獲取方法，充分利用深度學(xué)習(xí)在處理大數(shù)據(jù)方面的優(yōu)勢(shì)[6]。為了降低時(shí)間復(fù)雜度，利用交叉熵(Cross Entropy， CE)作為代價(jià)函數(shù)取代傳統(tǒng)的均方誤差(Mean Square Error, MSE)函數(shù)，通過(guò)增加動(dòng)量因子來(lái)進(jìn)一步提高收斂性能;同時(shí)，為了解決由已標(biāo)記攻擊樣本數(shù)不均衡引起的小類(lèi)攻擊樣本精度較低的狀況，從整體上提高樣本的分類(lèi)精度，還提出一種主動(dòng)在線采樣算法應(yīng)用于分類(lèi)器中以在線選擇樣本，更新網(wǎng)絡(luò)權(quán)值。

1 態(tài)勢(shì)要素獲取模型

現(xiàn)有的網(wǎng)絡(luò)分布廣、節(jié)點(diǎn)多，所采用的網(wǎng)絡(luò)設(shè)備和提供的應(yīng)用服務(wù)具有多樣性的特點(diǎn)，因此本文采用層次化態(tài)勢(shì)要素獲取模型，其結(jié)構(gòu)如圖1所示。主要原理是先局部后整體，通過(guò)對(duì)各個(gè)分塊區(qū)域分別部署異構(gòu)傳感器來(lái)實(shí)現(xiàn)分布式網(wǎng)絡(luò)的全局、動(dòng)態(tài)、實(shí)時(shí)的網(wǎng)絡(luò)安全事件采集。

圖1 層次化態(tài)勢(shì)要素獲取架構(gòu)

要素獲取層負(fù)責(zé)對(duì)從傳感器層采集的大量的安全數(shù)據(jù)進(jìn)行分析，并實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)攻擊類(lèi)型的學(xué)習(xí)；全局分析模塊將各個(gè)分塊區(qū)域收集的網(wǎng)絡(luò)數(shù)據(jù)整合，統(tǒng)一學(xué)習(xí)，將學(xué)習(xí)的分類(lèi)規(guī)則下發(fā)至局部模塊，指導(dǎo)局部網(wǎng)絡(luò)的安全數(shù)據(jù)的識(shí)別分類(lèi)。本文利用改進(jìn)的深度自編碼網(wǎng)絡(luò)對(duì)預(yù)處理后的信息進(jìn)行分類(lèi)學(xué)習(xí)，得到相應(yīng)的分類(lèi)規(guī)則，經(jīng)統(tǒng)計(jì)分析后生成態(tài)勢(shì)要素。

使用該框架不僅能夠得到全局的態(tài)勢(shì)要素，還能實(shí)時(shí)提取各個(gè)局部的態(tài)勢(shì)要素。根據(jù)網(wǎng)絡(luò)安全態(tài)勢(shì)感知結(jié)果了解不同局部網(wǎng)絡(luò)的信息，從而在網(wǎng)絡(luò)出現(xiàn)威脅時(shí)，能快速找到相應(yīng)的網(wǎng)絡(luò)。

2 態(tài)勢(shì)要素獲取方法

在態(tài)勢(shì)要素獲取模型中，本文側(cè)重于要素獲取層，其核心的分類(lèi)學(xué)習(xí)模塊采用深度自編碼網(wǎng)絡(luò)，其具體的深度架構(gòu)如圖2所示。

深度自編碼網(wǎng)絡(luò)由若干層自編碼器(Auto-Encoder, AE)和一層softmax組成[7]。其中，多層AE堆疊而成棧式自編碼器(Stacked Auto-Encoder, SAE)，分層地學(xué)習(xí)輸入數(shù)據(jù)的特征。其訓(xùn)練過(guò)程主要分為兩步：1)分別對(duì)每一層AE進(jìn)行無(wú)監(jiān)督訓(xùn)練，將訓(xùn)練得到的權(quán)值作為初始權(quán)值；2)將最后一層AE的輸出作為softmax的輸入進(jìn)行有監(jiān)督學(xué)習(xí)，同時(shí)微調(diào)深度網(wǎng)絡(luò)。通過(guò)這種訓(xùn)練方法可以從底層學(xué)習(xí)更多能表示數(shù)據(jù)隱含特征的抽象特征[8]，從而將合適的特征值用于模式分類(lèi)。根據(jù)最近的一些研究[9]表明，深層模型比淺層模型在實(shí)現(xiàn)非線性函數(shù)逼近問(wèn)題上效果更好。

圖2 深度自編碼網(wǎng)絡(luò)

從深度學(xué)習(xí)的結(jié)構(gòu)和訓(xùn)練過(guò)程可以看出，分類(lèi)精度和訓(xùn)練時(shí)間與其訓(xùn)練方法相關(guān)，因此，考慮網(wǎng)絡(luò)安全感知實(shí)時(shí)性要求和攻擊數(shù)據(jù)中樣本不平衡的情況，在分層訓(xùn)練AE時(shí)設(shè)計(jì)了一種結(jié)合交叉熵和反向傳播算法的分層訓(xùn)練規(guī)則，在softmax進(jìn)行訓(xùn)練和微調(diào)時(shí)采用本文所提的AOS算法進(jìn)行采樣選擇更新網(wǎng)絡(luò)權(quán)值的樣本。

2.1 基于CE-BP的分層訓(xùn)練規(guī)則

傳統(tǒng)的訓(xùn)練方法是利用均方誤差作為損失函數(shù)，當(dāng)數(shù)據(jù)量較大時(shí)訓(xùn)練時(shí)間較長(zhǎng)，因此本文通過(guò)推導(dǎo)發(fā)現(xiàn)當(dāng)激活函數(shù)為sigmoid函數(shù)時(shí)，利用交叉熵函數(shù)作為損失函數(shù)可以實(shí)現(xiàn)快速收斂。

自編碼器是SAE的核心組件之一，由編碼器、解碼器以及激活函數(shù)f組成，其結(jié)構(gòu)如圖3所示。

圖3 自編碼器結(jié)構(gòu)

編碼器是輸入X到隱含層H的映射，解碼器將數(shù)據(jù)重構(gòu)回Y，假設(shè)輸入數(shù)據(jù)為N維，隱含層節(jié)點(diǎn)數(shù)為M，則表示為：

H=f(WhX+bh)

(1)

Y=f(WyH+by)

(2)

(3)

其中:權(quán)值矩陣Wh∈RM*N,Wy∈RN*M;bh∈RM和by∈RN為偏置向量;非線性激活函數(shù)f(·)采用sigmoid函數(shù)。

設(shè)輸入的樣本集為x=[x1,x2,…,xm]，即神經(jīng)網(wǎng)絡(luò)的輸入有m個(gè)樣本，每個(gè)樣本有n個(gè)元素，xk=[v1,v2,…,vn](k=1,2,…,m)，則損失函數(shù)為：

(4)

其中:i∈[1,m]，表示第i個(gè)輸入樣本;k∈[1,n]，表示某個(gè)輸入樣本的第k個(gè)元素;xik表示第i個(gè)輸入樣本的第k個(gè)元素;yik表示第i個(gè)輸出樣本的第k個(gè)元素。

最小化輸入數(shù)據(jù)和輸出數(shù)據(jù)之間的誤差來(lái)訓(xùn)練權(quán)值和偏置值，即：

(5)

利用梯度下降法求式(5)的最優(yōu)解，不同于文獻(xiàn)[10]通過(guò)直接求式(4)對(duì)權(quán)值和偏置值的二次倒數(shù)，本文采用反向傳播法算法。由上面的討論可知，AE可以看成兩層的感知機(jī)結(jié)構(gòu)，因此將敏感度反向傳遞用以自頂向下修正網(wǎng)絡(luò)的權(quán)值參數(shù)。

設(shè)p1=whx+bh，則編碼器的實(shí)際輸出為：

h=f(p1)=sigmoid(p1)，且p2=wyh+by

則解碼單元的敏感度為：

(6)

由重構(gòu)層得出隱含層的敏感度：

(7)

f′(x)=f(x)[1-f(x)]

(8)

式(6)中:xik為第i個(gè)樣本的第k個(gè)元素的輸入，也即目標(biāo)輸出。從式(6)可以看出，重構(gòu)層的訓(xùn)練不受f′(x)的影響，只與誤差有關(guān)，所以當(dāng)誤差較大時(shí)，權(quán)值更新快；當(dāng)誤差較小時(shí)，權(quán)值更新慢。為了提高收斂性能，防止算法在發(fā)散時(shí)來(lái)回震蕩，引入動(dòng)量因子γ來(lái)平滑收斂時(shí)的震蕩，所以參數(shù)更新公式為：

Δwl(d+1)=γΔwl(d)-(1-γ)ηsl(yl-1)T

(9)

Δbl(d+1)=γΔbl(d)-(1-γ)ηsl

(10)

其中:yl-1為前一層網(wǎng)絡(luò)的輸出，η是學(xué)習(xí)速度。

2.2 基于AOS-softmax的微調(diào)和分類(lèi)

采用傳統(tǒng)的softmax網(wǎng)絡(luò)對(duì)整個(gè)特征向量進(jìn)行訓(xùn)練，當(dāng)樣本數(shù)不平衡時(shí)訓(xùn)練過(guò)程更偏向于大類(lèi)樣本，導(dǎo)致小類(lèi)樣本的分類(lèi)精度不高，同時(shí)大量的冗余數(shù)據(jù)浪費(fèi)了訓(xùn)練時(shí)間，因此本文提出一種主動(dòng)在線采樣算法，通過(guò)分析數(shù)據(jù)本身的信息量來(lái)動(dòng)態(tài)地選擇用于訓(xùn)練softmax網(wǎng)絡(luò)和微調(diào)深度網(wǎng)絡(luò)的樣本。

2.2.1softmax網(wǎng)絡(luò)

softmax網(wǎng)絡(luò)[11]是一種有監(jiān)督分類(lèi)器，它作為深度自編碼網(wǎng)絡(luò)的最后一層用于將自編碼網(wǎng)絡(luò)提取的態(tài)勢(shì)數(shù)據(jù)特征向量進(jìn)行分類(lèi)并微調(diào)整個(gè)網(wǎng)絡(luò)。softmax保證每個(gè)輸出單元的總和為1，所以可以把輸出視為條件概率。假設(shè)給定輸入矢量R，即R為多層自編碼網(wǎng)絡(luò)的輸出，則輸入屬于類(lèi)別的概率為：

(11)

其中：W和b是logistic邏輯回歸層的權(quán)重和偏置值，i為類(lèi)別標(biāo)簽。

2.2.2AOS算法

為了解決樣本不均衡問(wèn)題，常見(jiàn)的方法包括過(guò)采樣[12]和欠采樣[13]，這類(lèi)方法容易造成數(shù)據(jù)冗余或者丟失了部分信息。后來(lái)，主動(dòng)學(xué)習(xí)方法[14-15]被用于樣本的抽樣，它通過(guò)選擇決策邊界的樣本來(lái)訓(xùn)練分類(lèi)器，取得了很好的效果。鑒于此，本文設(shè)計(jì)了一種主動(dòng)在線采樣算法用于解決樣本不平衡的問(wèn)題，它運(yùn)用主動(dòng)學(xué)習(xí)思想并結(jié)合樣本分布對(duì)數(shù)據(jù)進(jìn)行采樣，根據(jù)每條數(shù)據(jù)的信息量來(lái)選擇微調(diào)的樣本，去除冗余的數(shù)據(jù)，保留更有用的數(shù)據(jù)。

假設(shè)將態(tài)勢(shì)要素分成m類(lèi)，則分類(lèi)器輸出節(jié)點(diǎn)數(shù)為m。對(duì)于一個(gè)a類(lèi)樣本x，其目標(biāo)輸出為t={ti|ta=1,tj|j≠a=0}。

1)pa遠(yuǎn)大于pk:樣本x被學(xué)習(xí)得好，所含信息量少。

2)pa接近于pk:樣本x以一定的概率被誤判，所含信息量大。

3)pa小于pk:樣本x分類(lèi)錯(cuò)誤，需要重新訓(xùn)練，所含信息量大。

不難看出，第1)種情況已經(jīng)能獲得準(zhǔn)確的類(lèi)別，因此訓(xùn)練時(shí)應(yīng)該更偏向于選擇第2)和第3)種情況的樣本。根據(jù)softmax網(wǎng)絡(luò)前向傳播，定義如下置信度函數(shù)：

C=pa-pk

(12)

由式(12)可知，C越大，表示樣本被網(wǎng)絡(luò)學(xué)習(xí)得越好，信息量就越少，網(wǎng)絡(luò)權(quán)值被更新的可能性就越??；C<0時(shí)，說(shuō)明樣本被錯(cuò)誤地分類(lèi)?？紤]到C∈[0,1]，C與選擇概率成反比關(guān)系，因此根據(jù)式(12)設(shè)置如下選擇函數(shù)：

z=-ln(C)

(13)

運(yùn)用式(13)可以解決數(shù)據(jù)冗余的問(wèn)題，但是對(duì)于樣本數(shù)分布不平衡的問(wèn)題還沒(méi)有解決?？紤]到攻擊數(shù)據(jù)中大類(lèi)樣本與小類(lèi)樣本差距太大，因此，在滿(mǎn)足大樣本分類(lèi)精度的前提下提高小類(lèi)樣本被選擇的概率，重新定義選擇函數(shù)如下：

(14)

其中:ra為第a類(lèi)樣本的樣本數(shù)量，rmax為最大樣本的數(shù)量。C<0時(shí)，說(shuō)明樣本被錯(cuò)誤地分類(lèi)，因此取z=+∞。由式(14)可以看出，新的選擇函數(shù)根據(jù)樣本數(shù)量變化：對(duì)于小類(lèi)樣本，選擇函數(shù)增大一定的比例；而對(duì)于大類(lèi)樣本，選擇函數(shù)沒(méi)有變化。將z與預(yù)先設(shè)定的閾值ε相比較：z>ε，則選擇樣本x反向微調(diào)網(wǎng)絡(luò)；z≤ε，則樣本x被遺棄。

通過(guò)分析上述選擇機(jī)制，可以得出如下結(jié)論：

1)在當(dāng)前迭代次數(shù)下，被網(wǎng)絡(luò)錯(cuò)誤分類(lèi)的樣本將被用于網(wǎng)絡(luò)權(quán)值的更新；

2)在當(dāng)前迭代次數(shù)下，被網(wǎng)絡(luò)正確分類(lèi)的樣本中，置信度越低的樣本被選擇更新網(wǎng)絡(luò)權(quán)值的概率就越大；

3)在當(dāng)前迭代次數(shù)下，被網(wǎng)絡(luò)正確分類(lèi)的樣本中，選擇函數(shù)更偏向于小類(lèi)樣本；

4)在當(dāng)前迭代次數(shù)下，被遺棄的樣本仍可用于下一次迭代。

主動(dòng)在線采樣類(lèi)似于欠采樣，都是通過(guò)減少大類(lèi)樣本的樣本數(shù)來(lái)提高小類(lèi)樣本的精度，但是不同之處在于它是在訓(xùn)練過(guò)程中在線采樣；而與主動(dòng)學(xué)習(xí)相比，它考慮了樣本類(lèi)別，而主動(dòng)學(xué)習(xí)只考慮樣本信息量，在選定樣本后才對(duì)其進(jìn)行類(lèi)別判定。

2.2.3 面向softmax網(wǎng)絡(luò)的主動(dòng)在線采樣算法

深度網(wǎng)絡(luò)的分類(lèi)和微調(diào)階段是網(wǎng)絡(luò)學(xué)習(xí)的關(guān)鍵部分，本文根據(jù)主動(dòng)在線采樣算法和初始化后的網(wǎng)絡(luò)構(gòu)造學(xué)習(xí)器，其算法如下。其中，樣本xi為最后一層自編碼網(wǎng)絡(luò)的輸出特征；softmaxF(xi)為對(duì)樣本xi按式(11)進(jìn)行前向傳輸?shù)玫綄儆诿恳活?lèi)的概率值。

算法1 面向softmax網(wǎng)絡(luò)的主動(dòng)在線采樣算法。

3 態(tài)勢(shì)要素獲取算法流程

本文對(duì)采集的安全數(shù)據(jù)進(jìn)行分類(lèi)識(shí)別，綜合網(wǎng)絡(luò)安全數(shù)據(jù)的特點(diǎn)，采用深度網(wǎng)絡(luò)作為分類(lèi)器，同時(shí)在深度網(wǎng)絡(luò)逐層訓(xùn)練階段利用交叉熵代替均方誤差損失函數(shù)，提出一種主動(dòng)在線采樣算法應(yīng)用于softmax網(wǎng)絡(luò)訓(xùn)練和微調(diào)階段。假設(shè)深度自編碼網(wǎng)絡(luò)的層數(shù)為K，算法流程如圖4所示。

圖4 態(tài)勢(shì)要素獲取算法流程

4 仿真及結(jié)果分析

影響網(wǎng)絡(luò)運(yùn)行的主要因素是攻擊行為，因此態(tài)勢(shì)要素獲取層主要負(fù)責(zé)對(duì)攻擊數(shù)據(jù)的識(shí)別，本文使用KDDcup99數(shù)據(jù)集，它主要將攻擊分為四類(lèi)：DenialofService(DoS)攻擊、User-to-Root(U2R)攻擊、Remote-to-Local(R2L)攻擊和Probe攻擊，其余的正常數(shù)據(jù)歸Normal，每類(lèi)樣本都有相應(yīng)的標(biāo)簽。

4.1 數(shù)據(jù)預(yù)處理

KDDcup99數(shù)據(jù)有41維特征，其中9維離散特征，32維連續(xù)特征。對(duì)于離散特征采取賦值的方法,而對(duì)于連續(xù)特征進(jìn)行標(biāo)準(zhǔn)化和歸一化處理。設(shè)處理前的數(shù)據(jù)為Xij，處理后的數(shù)據(jù)為X″ij。

4.1.1 數(shù)值標(biāo)準(zhǔn)化

對(duì)原始特征采用z-score標(biāo)準(zhǔn)化處理,如式(16)所示：

(16)

其中：Xij為第i條記錄的第j個(gè)屬性，Avgj為第j個(gè)屬性的平均值，Stadj為平均絕對(duì)偏差。

4.1.2 數(shù)值歸一化

采用Min-max方法進(jìn)行歸一化處理，如式(17)所示：

(17)

本文按照一定比例隨機(jī)抽取KDDcup99中10%訓(xùn)練數(shù)據(jù)集的部分?jǐn)?shù)據(jù)作為訓(xùn)練數(shù)據(jù)，并按同樣的方法抽取KDDcup99測(cè)試子集中的數(shù)據(jù)。數(shù)據(jù)具體情況如表1所示。

表1 實(shí)驗(yàn)數(shù)據(jù)

4.2 仿真實(shí)驗(yàn)

4.2.1 網(wǎng)絡(luò)的收斂性

首先檢驗(yàn)自編碼網(wǎng)絡(luò)的收斂性，同時(shí)比較本文采用的交叉熵(CE)損失函數(shù)與傳統(tǒng)的均方誤差(MSE)在自編碼網(wǎng)絡(luò)訓(xùn)練時(shí)的誤差變化趨勢(shì)，訓(xùn)練過(guò)程中自編碼網(wǎng)絡(luò)的誤差相對(duì)權(quán)值更新次數(shù)變化情況如圖5所示。由圖5可知，隨著迭代次數(shù)的增加，誤差都單調(diào)下降，網(wǎng)絡(luò)是逐漸收斂的，可以明顯看出采用交叉熵?fù)p失函數(shù)收斂更快。

圖5 誤差隨迭代次數(shù)變化曲線

4.2.2 深度網(wǎng)絡(luò)結(jié)構(gòu)對(duì)分類(lèi)精度的影響

文獻(xiàn)[16]指出，隱含層的節(jié)點(diǎn)數(shù)和網(wǎng)絡(luò)的深度對(duì)分類(lèi)效果有重要影響，網(wǎng)絡(luò)層數(shù)的增加可以增強(qiáng)深度自編碼網(wǎng)絡(luò)的建模能力，但層數(shù)過(guò)多也可能降低網(wǎng)絡(luò)的泛化能力。文獻(xiàn)[17]已驗(yàn)證，3層自編碼網(wǎng)絡(luò)已經(jīng)足夠取得良好的效果，所以，采用本文所提的深度自編碼網(wǎng)絡(luò)，比較深度為2層和3層自編碼網(wǎng)絡(luò)下不同隱含層節(jié)點(diǎn)數(shù)對(duì)分類(lèi)精度的影響，實(shí)驗(yàn)結(jié)果如圖6。

選用trainData1作為訓(xùn)練數(shù)據(jù)，testData1作為測(cè)試數(shù)據(jù)。輸入維數(shù)為41，分類(lèi)器的輸出維數(shù)為5，權(quán)重衰減參數(shù)為1E-4，動(dòng)量因子γ=0.9，迭代次數(shù)為800。為了確定隱含層節(jié)點(diǎn)數(shù)對(duì)分類(lèi)效果的影響，固定其他參數(shù)，修改網(wǎng)絡(luò)隱含層節(jié)點(diǎn)數(shù)。

容易看出，2層自編碼網(wǎng)絡(luò)和3層自編碼網(wǎng)絡(luò)均在隱含層節(jié)點(diǎn)數(shù)為20時(shí)分類(lèi)效果最好。這是因?yàn)樵贙DDcup99數(shù)據(jù)集的前41維屬性中，并不是所有屬性都適合作為特征，而經(jīng)過(guò)降維后的特征向量對(duì)數(shù)據(jù)潛在特征的挖掘更有效。綜合考慮時(shí)效性和精確度，確定網(wǎng)絡(luò)結(jié)構(gòu)為41—20—20—5。

4.2.3AOS算法對(duì)小類(lèi)樣本數(shù)據(jù)的影響

通過(guò)對(duì)比U2R類(lèi)攻擊的精確度來(lái)驗(yàn)證AOS算法對(duì)小樣本的分類(lèi)精度的影響。其中，閾值ε=3.5，選用trainData2作為訓(xùn)練數(shù)據(jù)，testData2作為測(cè)試數(shù)據(jù)。實(shí)驗(yàn)結(jié)果如圖7所示。

圖7 AOS對(duì)小樣本態(tài)勢(shì)要素獲取精確度影響

其中，SAE算法和AOS-SAE算法的自編碼網(wǎng)絡(luò)都采用交叉熵?fù)p失函數(shù)，由圖7可以看出，不同隱含層節(jié)點(diǎn)數(shù)，AOS對(duì)小樣本態(tài)勢(shì)要素獲取是有效的，提高了小樣本態(tài)勢(shì)要素獲取的精確度。

4.2.4 與其他分類(lèi)方法精確度比較

結(jié)合4.2.2節(jié)的結(jié)果，確定深度自編碼網(wǎng)絡(luò)的結(jié)構(gòu)，各層都采用梯度下降算法。以每一類(lèi)別的檢測(cè)率和整體的檢測(cè)率來(lái)衡量網(wǎng)絡(luò)的性能，同時(shí)將本文算法(AOS-SAE)與未經(jīng)主動(dòng)在線采樣的深度自編碼網(wǎng)絡(luò)(SAE)、支持向量機(jī)(SupportVectorMachine，SVM)、BP神經(jīng)網(wǎng)絡(luò)和經(jīng)主動(dòng)在線采樣的BP網(wǎng)絡(luò)相比較。其中深度自編碼網(wǎng)絡(luò)中AE均采用本文的訓(xùn)練規(guī)則，BP神經(jīng)網(wǎng)絡(luò)也采用三層感知機(jī)結(jié)構(gòu)，以均方誤差作為損失函數(shù)，sigmoid為激活函數(shù)，迭代次數(shù)和學(xué)習(xí)速度與深度自編碼網(wǎng)絡(luò)相同，SVM的核函數(shù)采用高斯函數(shù)，正則化參數(shù)設(shè)置為默認(rèn)值1。trainData2作為訓(xùn)練數(shù)據(jù)，testData2作為測(cè)試數(shù)據(jù)，檢測(cè)結(jié)果見(jiàn)表2。

由表2可以看出，本文算法的總體精確度明顯高于其他方法，對(duì)小類(lèi)樣本U2R類(lèi)攻擊本文算法的檢測(cè)率較未經(jīng)主動(dòng)在線采樣的SAE提高了23.8%，對(duì)R2L類(lèi)樣本的檢測(cè)率相比SAE也提高了4.2%。這說(shuō)明經(jīng)主動(dòng)在線采樣后的深度自編碼網(wǎng)絡(luò)由于縮小了各個(gè)樣本數(shù)量的比例，對(duì)小類(lèi)樣本的檢測(cè)率大幅度提高;同時(shí)對(duì)Probe類(lèi)樣本的檢測(cè)率相比未經(jīng)主動(dòng)在線采樣的深度網(wǎng)絡(luò)卻下降了1.7%，這是由于Probe類(lèi)攻擊與R2L類(lèi)攻擊較相似，抽樣后的樣本檢測(cè)時(shí)發(fā)生混淆。

表2 不同方案態(tài)勢(shì)要素獲取精確度 %

4.2.5 算法時(shí)間復(fù)雜度分析

由于態(tài)勢(shì)感知分析越來(lái)越重視時(shí)效性，因此必須在保證精確度的同時(shí)減少花費(fèi)的時(shí)間。本實(shí)驗(yàn)通過(guò)比較分層訓(xùn)練中使用均方誤差損失函數(shù)的深度自編碼網(wǎng)絡(luò)(MSE-SAE)、使用交叉熵?fù)p失函數(shù)的深度自編碼網(wǎng)絡(luò)(CE-SAE)和本文所提的分層訓(xùn)練時(shí)使用交叉熵?fù)p失函數(shù)并結(jié)合AOS算法進(jìn)行微調(diào)和分類(lèi)的深度自編碼網(wǎng)絡(luò)(AOS-SAE)的時(shí)間復(fù)雜度來(lái)說(shuō)明本文方案在滿(mǎn)足實(shí)時(shí)性上的優(yōu)勢(shì)。

由表3可以看出，結(jié)合AOS算法和交叉熵函數(shù)的深度自編碼網(wǎng)絡(luò)在時(shí)效性上有明顯的優(yōu)勢(shì)。采用交叉熵作為誤差函數(shù)來(lái)更新網(wǎng)絡(luò)權(quán)值時(shí)避免了網(wǎng)絡(luò)對(duì)激活函數(shù)的求導(dǎo)運(yùn)算，從而使網(wǎng)絡(luò)運(yùn)行時(shí)間減少一半以上。利用AOS算法選取特征向量中更有效的數(shù)據(jù)，去掉相似的特征向量，避免重復(fù)學(xué)習(xí)，從而減少了用于訓(xùn)練softmax分類(lèi)器和微調(diào)整個(gè)網(wǎng)絡(luò)的輸入向量個(gè)數(shù)，縮短了網(wǎng)絡(luò)運(yùn)行的時(shí)間。

表3 三種SAE算法時(shí)間復(fù)雜度對(duì)比

5 結(jié)語(yǔ)

針對(duì)網(wǎng)絡(luò)安全態(tài)勢(shì)要素獲取問(wèn)題，本文提出了一種基于深度自編碼網(wǎng)絡(luò)的獲取方法。借鑒傳統(tǒng)深度學(xué)習(xí)架構(gòu)，考慮到sigmoid函數(shù)特點(diǎn)，結(jié)合交叉熵?fù)p失函數(shù)和反向傳播算法更新網(wǎng)絡(luò)權(quán)值，減少網(wǎng)絡(luò)收斂時(shí)間，提高分類(lèi)的準(zhǔn)確度;同時(shí)為了有效提高小樣本的分類(lèi)精度，在softmax分類(lèi)器進(jìn)行有監(jiān)督訓(xùn)練時(shí)采用主動(dòng)在線采樣算法來(lái)選擇用于更新網(wǎng)絡(luò)的連接權(quán)值的樣本。選擇樣本的標(biāo)準(zhǔn)考慮類(lèi)別不平衡的情況和每個(gè)樣本的難易程度，從而使得改進(jìn)后的網(wǎng)絡(luò)能夠同時(shí)滿(mǎn)足小類(lèi)的樣本和更難被分類(lèi)的樣本，由于去除了一些對(duì)網(wǎng)絡(luò)權(quán)值更新作用不大的數(shù)據(jù)，因此大幅度縮短了網(wǎng)絡(luò)的訓(xùn)練時(shí)間。通過(guò)對(duì)KDDcup99數(shù)據(jù)的測(cè)試，得到了較好的效果，驗(yàn)證了態(tài)勢(shì)獲取模型的有效性。在下一步工作中，同時(shí)考慮到網(wǎng)絡(luò)數(shù)據(jù)不斷變化的特點(diǎn)，將增量式學(xué)習(xí)運(yùn)用到態(tài)勢(shì)要素獲取中，提高網(wǎng)絡(luò)的適應(yīng)性。

)

[1]CORONATOA,DEPIETROG.Situationawarenessinapplicationsofambientassistedlivingforcognitiveimpairedpeople[J].MobileNetworksandApplications, 2013, 18(3): 444-453.

[2] 郭文忠, 林宗明, 陳國(guó)龍. 基于粒子群優(yōu)化的網(wǎng)絡(luò)安全態(tài)勢(shì)要素獲取[J]. 廈門(mén)大學(xué)學(xué)報(bào):自然科學(xué)版, 2009, 48(2):202-206. (GUOWZ,LINZM,CHENGL.NetworksecuritysituationelementsextractionbasedonPSO[J].JournalofXiamenUniversity(NaturalScienceEdition), 2009, 48(2): 202-206.)

[3]SKOPIKF,WURZENBERGERM,SETTANNIG,etal.Establishingnationalcybersituationalawarenessthroughincidentinformationclustering[C]//Proceedingsofthe2015InternationalConferenceonCyberSituationalAwareness,DataAnalyticsandAssessment.Piscataway,NJ:IEEE, 2015: 1-8.

[4] 劉衍珩, 田大新, 余雪崗,等. 基于分布式學(xué)習(xí)的大規(guī)模網(wǎng)絡(luò)入侵檢測(cè)算法[J]. 軟件學(xué)報(bào), 2008, 19(4):993-1003. (LIUYH,TIANDX,YUXG,etal.Large-scalenetworkintrusiondetectionalgorithmbasedondistributedlearning[J].JournalofSoftware, 2008, 19(4): 993-1003.)

[5] 王知音,禹龍,田生偉,等.基于棧式自編碼的水體提取方法[J].計(jì)算機(jī)應(yīng)用,2015,35(9):2706-2709. (WANGZY,YUL,TIANSW,etal.Waterbodyextractionmethodbasedonstackedautoencoder[J].JournalofComputerApplications, 2015, 35(9): 2706-2709.)

[6]ZHANGQ,YANGLT,CHENZ.Deepcomputationmodelforunsupervisedfeaturelearningonbigdata[J].IEEETransactionsonServicesComputing, 2016, 9(1):161-171.

[7]SCH?LKOPFB,PLATTJ,HOFMANNT.Greedylayer-wisetrainingofdeepnetworks[M]//AdvancesinNeuralInformationProcessingSystems19:Proceedingsofthe2006Conferences.Cambridge,MA:MITPress, 2007: 153-160.

[8]BENGIOY,COURVILLEA,VINCENTP.Representationlearning:areviewandnewperspectives[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2012, 35(8): 1798-1828.

[9]LEROUXN,BENGIOY.Deepbeliefnetworksarecompactuniversalapproximators[J].NeuralComputation, 2010, 22(8): 2192-2207.

[10]CHENY,LINZ,ZHAOX,etal.Deeplearning-basedclassificationofhyperspectraldata[J].IEEEJournalofSelectedTopicsinAppliedEarthObservations&RemoteSensing, 2014, 7(6): 2094-2107.

[11] 汪海波,陳雁翔,李艷秋.基于主成分分析和Softmax回歸模型的人臉識(shí)別方法 [J].合肥工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版),2015,38(6):759-763.(WANGHB,CHENYX,LIYQ.FacerecognitionmethodbasedonprincipalcomponentanalysisandSoftmaxregressionmodel[J].JournalofHefeiUniversityofTechnology(NaturalScience), 2015, 38(6): 759-763.)

[12]PEREZ-ORTIZM,GUTIERREZPA,HERVAS-MARTINEZC,etal.Graph-basedapproachesforover-samplinginthecontextofordinalregression[J].IEEETransactionsonKnowledge&DataEngineering, 2015, 27(5): 1233-1245.

[13]NGUYENHM,COOPEREW,KAMEIK.Acomparativestudyonsamplingtechniquesforhandlingclassimbalanceinstreamingdata[C]//Proceedingsofthe6thInternationalConferenceonSoftComputingandIntelligentSystems,andthe13thInternationalSymposiumonAdvancedIntelligenceSystems.Piscataway:IEEE, 2012: 1762-1767.

[14]QIY,ZHANGG.Strategyofactivelearningsupportvectormachineforimageretrieval[J].IETComputerVision, 2015, 10(1): 87-94.

[15]HASANM,ROY-CHOWDHURYAK.Acontinuouslearningframeworkforactivityrecognitionusingdeephybridfeaturemodels[J].IEEETransactionsonMultimedia, 2015, 17(11): 1909-1922.

[16]LAROCHELLEH,BENGIOY,LOURADOURJ,etal.Exploringstrategiesfortrainingdeepneuralnetworks[J].JournalofMachineLearningResearch, 2009, 10: 1-40.

[17]LVY,DUANY,KANGW,etal.Trafficflowpredictionwithbigdata:adeeplearningapproach[J].IEEETransactionsonIntelligentTransportationSystems, 2015, 16(2): 865-873.

ThisworkispartiallysupportedbytheNationalNatureScienceFoundationofChina(61271260, 61301122 ),theNaturalScienceFoundationofChongqingScienceandTechnologyCommission(cstc2015jcyjA40050).

ZHU Jiang, born in 1977, Ph. D., associate professor. His research interests include communication theory and technology, information security.

MING Yue, born in 1992, M. S. candidate. Her research interest include network security situational awareness.

WANG Sen, born in 1990, M. S. candidate. His research interest include network security situational awareness.

Mechanism of security situation element acquisition based on deep auto-encoder network

ZHU Jiang, MING Yue*, WANG Sen

(ChongqingKeyLaboratoryofMobileCommunicationsTechnology(ChongqingUniversityofPostsandTelecommunications),Chongqing400065,China)

To reduce the time complexity of situational element acquisition and cope with the low detection accuracy of small class samples caused by imbalanced class distribution of attack samples in large-scale networks, a situation element extraction mechanism based on deep auto-encoder network was proposed. In this mechanism, the improved deep auto-encoder network was introduced as basic classifier to identify data type. On the one hand, in the training of the auto-encoder network, the training rule based on Cross Entropy (CE) function and Back Propagation (BP) algorithm was adopted to overcome the shortcoming of slow weights updating by the traditional variance cost function. On the other hand, in the stage of fine-tuning and classification of the deep network, an Active Online Sampling (AOS) algorithm was applied in the classifier to select the samples online for updating the network weights, so as to eliminate redundancy of the total samples, balance the amounts of all sample types, improve the classification accuracy of small class samples. Simulation and analysis results show that the proposed scheme has a good accuracy of situation element extraction and small communication overhead of data transmission.

network security; situation element; deep auto-encoder network; cross-entropy function; active learning

2016- 08- 04;

2016- 09- 12。

國(guó)家自然科學(xué)基金資助項(xiàng)目(61271260,61301122); 重慶市科委自然科學(xué)基金資助項(xiàng)目(cstc2015jcyjA40050)。

朱江(1977—),男,湖北荊州人,副教授,博士,主要研究方向:通信理論與技術(shù)、信息安全; 明月(1992—),女,重慶人,碩士研究生,主要研究方向:網(wǎng)絡(luò)安全態(tài)勢(shì)感知; 王森(1990—),男,重慶人,碩士研究生,主要研究方向?yàn)?網(wǎng)絡(luò)安全態(tài)勢(shì)感知。

1001- 9081(2017)03- 0771- 06

10.11772/j.issn.1001- 9081.2017.03.771

TP393.08

A