呂宗平 時(shí)熙然 顧兆軍

摘 ?要： 針對(duì)日志數(shù)據(jù)的異常檢測獲取標(biāo)記數(shù)據(jù)代價(jià)過高的問題，提出一種基于模糊核聚類與主動(dòng)學(xué)習(xí)的算法，即KFCM?AL算法。首先將日志解析，之后利用模糊核聚類算法將待選樣本在高維空間進(jìn)行劃分聚類，濾去樣本冗余點(diǎn)，同時(shí)選取聚類中心進(jìn)行標(biāo)記構(gòu)建初始分類器，最后結(jié)合主動(dòng)學(xué)習(xí)利用較小的標(biāo)記代價(jià)對(duì)異常檢測模型進(jìn)行優(yōu)化。實(shí)驗(yàn)結(jié)果表明，所提方法能夠利用較少的標(biāo)記樣本獲取異常檢測模型的性能提升。

關(guān)鍵詞： 異常檢測; 模糊核聚類; 主動(dòng)學(xué)習(xí); 日志解析; 聚類分析; 性能對(duì)比

中圖分類號(hào)： TN911.23?34; TP301.6 ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? ? ? ? ? ?文章編號(hào)： 1004?373X（2019）20?0053?05

Anomaly detection method based on fuzzy kernel clustering and active learning

L? Zongping1， SHI Xiran1， 2， GU Zhaojun1， 2

（1. Information Security Evaluation Center， Civil Aviation University of China， Tianjin 300300， China;

2. College of Computer Science and Technology， Civil Aviation University of China， Tianjin 300300， China）

Abstract： In allusion to the problem of high cost of obtaining marking data for anormal detection of log data， an algorithm ?based on kernel fuzzy C?means and active learning （KFCM?AL） is proposed. The log is parsed， and then the samples under selection are classified and clustered in high?dimensional space by means of KFCM algorithm. The redundant points of samples are filtered out， at the same time the clustering center is selected to make marking and build the initial classifier. ?In combination with active learning， the anomaly detection model is optimized with a smaller marking cost. The experimental results show this method can improve the performance of the anomaly detection model with fewer marking samples.

Keywords： abnormal detection; fuzzy kernel clustering; active learning; log parse; clustering analysis; performance comparison

0 ?引 ?言

隨著信息時(shí)代的來臨，互聯(lián)網(wǎng)也越發(fā)緊密地與人們?nèi)粘Ｉ盥?lián)系起來，網(wǎng)絡(luò)信息安全的重要性也越發(fā)突出，逐漸成為研究人員研究的焦點(diǎn)。異常檢測是保障網(wǎng)絡(luò)信息安全不可或缺的重要技術(shù)手段。與傳統(tǒng)使用人工關(guān)鍵字搜索和規(guī)則匹配的手動(dòng)查詢模式相比，異常檢測不僅可以發(fā)現(xiàn)已知的異常行為，還能檢測出未知的異常行為[1]，更適用于應(yīng)對(duì)目前層出不窮的網(wǎng)絡(luò)攻擊方式，具有實(shí)際需求和應(yīng)用價(jià)值。

系統(tǒng)日志數(shù)據(jù)記錄了網(wǎng)絡(luò)服務(wù)運(yùn)行過程中詳細(xì)的操作信息，以及各個(gè)關(guān)鍵點(diǎn)的系統(tǒng)狀態(tài)和重要事件，是異常檢測的主要數(shù)據(jù)源[2]。近年來將機(jī)器學(xué)習(xí)算法引入基于日志的異常檢測，已經(jīng)是一種流行趨勢，比如文獻(xiàn)[3]使用遞歸神經(jīng)網(wǎng)絡(luò)建立日志的系統(tǒng)故障預(yù)測系統(tǒng)，文獻(xiàn)[4]使用決策樹、邏輯回歸等機(jī)器學(xué)習(xí)算法對(duì)日志進(jìn)行異常檢測并評(píng)估。由于機(jī)器學(xué)習(xí)異常檢測需要有大量的標(biāo)記數(shù)據(jù)來進(jìn)行訓(xùn)練，在現(xiàn)實(shí)情況下的日志數(shù)據(jù)中是無標(biāo)記的數(shù)據(jù)，有標(biāo)記的數(shù)據(jù)非常有限，于是主動(dòng)學(xué)習(xí)也應(yīng)運(yùn)而生。主動(dòng)學(xué)習(xí)的基本思想就是通過啟發(fā)式的采樣策略，迭代地從未標(biāo)記樣本中選取最有價(jià)值的樣本進(jìn)行標(biāo)注，從而減輕專家的工作[5]。同時(shí)主動(dòng)學(xué)習(xí)也在異常檢測方面受到關(guān)注，比如劉敬等人結(jié)合主動(dòng)學(xué)習(xí)和單分類支持向量機(jī)進(jìn)行異常檢測[6]和朱東陽等人使用主動(dòng)學(xué)習(xí)和加權(quán)支持向量機(jī)對(duì)工業(yè)故障進(jìn)行識(shí)別[7]。但是主動(dòng)學(xué)習(xí)算法的樣本選擇策略受限于初始訓(xùn)練集的樣本質(zhì)量，易選中不具有代表性的離群點(diǎn)和大量相同標(biāo)簽的樣本，使人工標(biāo)注的負(fù)擔(dān)加重[8]。

為了降低樣本數(shù)據(jù)的冗余度，選擇最有價(jià)值的樣本進(jìn)行人工標(biāo)注，提升主動(dòng)學(xué)習(xí)的檢測精度，本文利用模糊核聚類算法過濾冗余樣本點(diǎn)，降低樣本復(fù)雜度，同時(shí)選取置信度最高的聚類中心的樣本進(jìn)行人工標(biāo)注，以此構(gòu)建主動(dòng)學(xué)習(xí)初始分類器。

1 ?基本算法

1.1 ?支持向量機(jī)

定義 最優(yōu)超平面。若訓(xùn)練數(shù)據(jù)集可以無誤差地被劃分，并且每一類數(shù)據(jù)距離超平面最近的向量與超平面之間的距離最大，則稱這個(gè)平面為最優(yōu)超平面。

當(dāng)求解的問題線性可分時(shí)，支持向量機(jī)的本質(zhì)就是求得一個(gè)最優(yōu)超平面，使得兩類樣本到達(dá)超平面的距離最大。

當(dāng)求解的問題線性不可分時(shí)，為了利用支持向量機(jī)對(duì)樣本集進(jìn)行分類，將樣本映射到高維空間使其線性可分，然后在高維空間構(gòu)建最大間隔超平面來進(jìn)行分類。設(shè)訓(xùn)練集W={（x1，y1），（x2，y2），…，（xj，yj）}，其中[xj∈Rh]表示樣本的h維特征向量，[yj∈{-1，1}]是樣本的類別標(biāo)記。在核函數(shù)[K（θ）]映射的高維核空間，通過求解式（1）可以獲得最大間隔超平面。

式中：b為位移量，決定了超平面與原點(diǎn)的距離;[αi]為拉格朗日乘因子，[αi]=0時(shí)，它所對(duì)應(yīng)的樣本點(diǎn)對(duì)構(gòu)造最優(yōu)超平面沒有貢獻(xiàn)，只有當(dāng)[αi][≠]0時(shí)，它所對(duì)應(yīng)的樣本點(diǎn)才被稱為支持向量，對(duì)構(gòu)造最優(yōu)超平面有貢獻(xiàn)。因此，這就意味著構(gòu)建支持向量機(jī)的最優(yōu)超平面僅由支持向量決定。

1.2 ?模糊核聚類算法

模糊聚類（Fuzzy C?Means，F(xiàn)CM）算法通過迭代目標(biāo)函數(shù)，得到每個(gè)樣本在各個(gè)類別的隸屬度，使相似度最高的樣本劃分為同一類別[9]。通過劃分未標(biāo)注樣本集G獲得模糊劃分矩陣U，聚類中心C={c1，c2，…，cj，cn}，cj表示第j個(gè)簇的聚類中心。FCM算法的目標(biāo)函數(shù)如下：

由于FCM算法處理高維數(shù)據(jù)劃分精度不高，引用模糊核聚類（Kernel Fuzzy C?means，KFCM）算法進(jìn)行聚類。KFCM算法引入核方法的思想：利用非線性映射把原始樣本集合都映射到高維空間來擴(kuò)大每個(gè)樣本類之間的差距，以此達(dá)到在高維特征空間線性可分的目的[10]。由于高斯核函數(shù)通常具有良好的泛化功能，而且高斯核函數(shù)的核值范圍為（0，1），可以簡化計(jì)算過程，因此本文選用高斯核函數(shù)：

2 ?基于模糊核聚類和主動(dòng)學(xué)習(xí)的異常檢測方法

為了改善主動(dòng)學(xué)習(xí)初始分類器的樣本選擇策略，降低樣本冗余度，本文提出了一種新的基于模糊核聚類和主動(dòng)學(xué)習(xí)的異常檢測方法，即KFCM?AL（Kernel Fuzzy C?means?Active Learning）算法，利用KFCM算法將日志聚類并將聚類中心進(jìn)行標(biāo)記，同時(shí)過濾掉冗余點(diǎn)，然后將其饋送到主動(dòng)學(xué)習(xí)分類器進(jìn)行訓(xùn)練，從而生成異常檢測模型。最后構(gòu)建的異常檢測模型可以識(shí)別新傳入的日志數(shù)據(jù)是否為異常數(shù)據(jù)。

2.1 ?日志數(shù)據(jù)預(yù)處理

HDFS日志數(shù)據(jù)集是由亞馬遜的EC2平臺(tái)所運(yùn)行的基于Hadoop作業(yè)而生成，并由該領(lǐng)域?qū)＜疫M(jìn)行了標(biāo)記，可以運(yùn)用到任意異常檢測中[11]。

HDFS日志數(shù)據(jù)集記錄了每個(gè)塊操作的唯一塊ID。在數(shù)據(jù)預(yù)處理階段，可以利用唯一塊ID將日志分割成一組日志序列，使用LogSig算法將原始日志文件解析成結(jié)構(gòu)化日志消息[12]，每條日志消息包含HDFS塊ID和日志事件。

HDFS日志數(shù)據(jù)集解析圖如圖1所示。

圖1 ?日志解析過程

之后從日志序列中提取特征向量生成事件計(jì)數(shù)向量，每一行代表了一個(gè)HDFS塊;每列表示日志事件類型;每個(gè)單元格計(jì)算某個(gè)HDFS塊上事件的發(fā)生。提取后的特征向量如圖2所示。

圖2 ?日志事件特征向量

2.2 ?基于模糊核聚類和主動(dòng)學(xué)習(xí)的異常檢測算法

2.2.1 ?算法參數(shù)

基于模糊核聚類和主動(dòng)學(xué)習(xí)的異常檢測算法所需參數(shù)如表1所示。

表1 ?算法參數(shù)表

2.2.2 ?KFCM?AL異常檢測算法

在機(jī)器學(xué)習(xí)領(lǐng)域，按照訓(xùn)練樣本的處理方法，支持向量機(jī)的學(xué)習(xí)方法可以分為被動(dòng)學(xué)習(xí)和主動(dòng)學(xué)習(xí)兩種。被動(dòng)學(xué)習(xí)隨機(jī)地從數(shù)據(jù)集中選擇樣本進(jìn)行訓(xùn)練，主動(dòng)學(xué)習(xí)主動(dòng)選擇最有利于提升分類器性能的樣本進(jìn)行標(biāo)記，從而減少訓(xùn)練所需標(biāo)注樣本個(gè)數(shù)。相較于被動(dòng)學(xué)習(xí)，主動(dòng)學(xué)習(xí)的選擇策略可以用較小的代價(jià)獲取分類器性能的改善[13]。

本文結(jié)合主動(dòng)學(xué)習(xí)和KFCM算法，使用模糊核聚類算法劃分的聚類中心構(gòu)建候選訓(xùn)練集S，從S中隨機(jī)選取一定的樣本進(jìn)行標(biāo)記。令Li為KFCM劃分的第i個(gè)簇，i=1，2，…，k，threshi表示樣本相應(yīng)的隸屬度，取樣規(guī)則如下：

利用KFCM算法將未標(biāo)注樣本集聚類成k個(gè)簇，將簇中心進(jìn)行標(biāo)記用于構(gòu)建初始樣本集，不需要全部樣本點(diǎn)。

由支持向量機(jī)的特點(diǎn)可知， 未標(biāo)注樣本點(diǎn)離分類面越接近就越有可能成為新的支持向量， 從而重構(gòu)和優(yōu)化當(dāng)前分類超平面， 提升支持向量機(jī)的分類精度。異常檢測中，主動(dòng)學(xué)習(xí)通常選擇距離決策邊界最近的樣本進(jìn)行標(biāo)記，這些樣本的不確定度最高，能夠?yàn)槟Ｐ吞峁┳疃嗟膬?yōu)化信息，該方法稱為最近邊界策略[6]。設(shè)x為被選中的待標(biāo)記的樣本，G為未標(biāo)注樣本集，D為訓(xùn)練樣本集，其選擇策略滿足：

KFCM?AL算法的流程圖如圖2所示。算法步驟如下：

Step1：將初始樣本集用模糊核聚類算法聚類，劃分為L個(gè)樣本簇。過濾掉單一類簇中的冗余數(shù)據(jù)，并選取聚類中心，進(jìn)行標(biāo)記構(gòu)造初始訓(xùn)練集S，使S中至少包含一個(gè)輸出y為1和一個(gè)輸出y為-1 的樣本;

Step2：根據(jù)初始訓(xùn)練集構(gòu)造初始分類器f;

Step3：對(duì)所有樣本使用f，根據(jù)樣本選擇準(zhǔn)則從樣本集中選擇離分類邊界最近的未標(biāo)注樣本[（x，y）]，[y]為f給向量x預(yù)先打上的標(biāo)注;

Step4：將該樣本正確標(biāo)注后加入訓(xùn)練集D中（y為x的正確標(biāo)注）;

Step5：若檢測精度達(dá)到某一設(shè)定值，算法終止，返回f，否則重復(fù)Step2。

圖3 ?KFCM?AL算法流程圖

3 ?實(shí)驗(yàn)以及結(jié)果分析

為了驗(yàn)證KFCM?AL算法的有效性，使用Python語言編寫程序?qū)崿F(xiàn)算法，實(shí)驗(yàn)環(huán)境為Intel Core i7?3770 CPU 3.4 GHz處理器。實(shí)驗(yàn)?zāi)康氖亲C明通過結(jié)合模糊核聚類算法和主動(dòng)學(xué)習(xí)算法，可以有效地減少樣本的復(fù)雜度，同時(shí)提高支持向量機(jī)的樣本標(biāo)記。對(duì)比方法選用隨機(jī)取樣算法和主動(dòng)學(xué)習(xí)算法。

3.1 ?實(shí)驗(yàn)數(shù)據(jù)集和設(shè)置

HDFS原始日志數(shù)據(jù)集包含從亞馬遜EC2平臺(tái)收集的11 175 629條日志消息，共記錄29個(gè)原始日志事件，其中16 838條被原始領(lǐng)域?qū)＜沂謩?dòng)標(biāo)記異常，見表2。

表2 ?實(shí)驗(yàn)數(shù)據(jù)集

本文抽取5 000個(gè)日志事件計(jì)數(shù)向量，其中4 000個(gè)作為訓(xùn)練集，1 000個(gè)作為測試集。由于在實(shí)際的日志數(shù)據(jù)中正常的數(shù)據(jù)樣本量遠(yuǎn)大于異常數(shù)據(jù)，所以在實(shí)驗(yàn)里標(biāo)記異常數(shù)據(jù)占全部數(shù)據(jù)1.6%。

實(shí)驗(yàn)采用高斯核函數(shù)作為支持向量機(jī)的核函數(shù)，經(jīng)過實(shí)驗(yàn)選擇最優(yōu)實(shí)驗(yàn)參數(shù)，設(shè)置核函數(shù)控制因子s2=2，懲罰因子C=1 024，模糊聚類算法最大迭代次數(shù)Vmax=150，樣本隸屬度閾值thresh=0.9。

實(shí)驗(yàn)使用準(zhǔn)確率、召回率、誤報(bào)率作為評(píng)價(jià)指標(biāo)來評(píng)估異常檢測方法的性能。準(zhǔn)確率用于表示有多少樣本被正確檢測的百分比，召回率是檢測到多少正確異常數(shù)據(jù)的百分比，誤報(bào)率表示錯(cuò)誤檢測的樣本占正確檢測的樣本的百分比。準(zhǔn)確率越高表示模型總體檢測性能越好，召回率越高表示模型的漏報(bào)率越低，靈敏度越高，誤報(bào)率越低表示模型的檢測精度越高。

表3 ?混淆矩陣

3.2 ?實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)通過KFCM算法將樣本進(jìn)行聚類，然后結(jié)合支持向量機(jī)最優(yōu)化超平面的思想，濾去樣本的非支持向量，即數(shù)據(jù)樣本冗余點(diǎn)。同時(shí)為了保證數(shù)據(jù)的完整性，只過濾掉單一類簇的非支持向量點(diǎn)，并選取樣本中心進(jìn)行標(biāo)注。經(jīng)過KFCM聚類后結(jié)果如圖4所示。

圖4 ?聚類結(jié)果圖

通過圖4可以得知，KFCM算法可以濾去樣本中的非支持向量點(diǎn)，使樣本的復(fù)雜度降低，減少SVM算法進(jìn)行學(xué)習(xí)訓(xùn)練的樣本集規(guī)模，且避免SVM算法的過學(xué)習(xí)現(xiàn)象，提升SVM算法的檢測精度。

為了對(duì)比算法的性能，保證達(dá)到同等異常檢測條件下，實(shí)驗(yàn)選取隨機(jī)取樣和主動(dòng)學(xué)習(xí)支持向量機(jī)作為對(duì)比算法。下面比較三者所需的標(biāo)記樣本數(shù)的比較結(jié)果。重復(fù)試驗(yàn)5次取平均值對(duì)3種算法進(jìn)行對(duì)比，結(jié)果如表4所示。

表4 ?實(shí)驗(yàn)結(jié)果

從實(shí)驗(yàn)結(jié)果可以看出，采用隨機(jī)取樣的方法需要的標(biāo)記樣本數(shù)最多，由于隨機(jī)取樣算法采集的樣本多是正常數(shù)據(jù)且不在分類邊界，所以檢測精度效果最差;主動(dòng)學(xué)習(xí)算法選擇分類邊界附近的點(diǎn)進(jìn)行標(biāo)記，由于這些點(diǎn)的置信度較低，所以標(biāo)記這些點(diǎn)能為建立模型提供更多信息;本文方法采用模糊聚類與主動(dòng)學(xué)習(xí)相結(jié)合，選取兼具代表性和置信度的樣本點(diǎn)進(jìn)行標(biāo)記，更能充分利用樣本的標(biāo)記信息，減輕標(biāo)記數(shù)據(jù)代價(jià)，獲取的性能提升程度最高。

4 ?結(jié) ?語

為了解決針對(duì)日志數(shù)據(jù)的異常檢測獲取標(biāo)記數(shù)據(jù)代價(jià)過高的問題，本文提出一種基于模糊核聚類與主動(dòng)學(xué)習(xí)支持向量機(jī)的算法。實(shí)驗(yàn)結(jié)果表明，本文方法能夠利用較少的標(biāo)記樣本獲取模型的性能提升。在未來的工作中，將結(jié)合日志數(shù)據(jù)研究更加適合的主動(dòng)學(xué)習(xí)算法的選擇策略和更具有專業(yè)性的日志解析方法。

注：本文通訊作者為時(shí)熙然。

參考文獻(xiàn)

[1] 肖國榮.改進(jìn)蟻群算法和支持向量機(jī)的網(wǎng)絡(luò)入侵檢測[J].計(jì)算機(jī)工程與應(yīng)用，2014，50（3）：75?78.

XIAO Guorong. Network intrusion detection by combination of improved ACO and SVM [J]. Computer engineering and application ， 2014， 50（3）： 75?78.

[2] DU M， LI F， ZHENG G， et al. DeepLog： anomaly detection and diagnosis from system logs through deep learning [C]// ACM Conference on Computer and Communications Security. Dallas： ACM， 2017： 1285?1298.

[3] ZHANG K， XU J， MIN M R， et al. Automated IT system failure prediction： a deep learning approach [C]// 2016 IEEE International Conference on Big Data. Washington： IEEE， 2016： 1291?1300.

[4] HE S L， ZHU J M， HE P J， et al. Experience report： system log analysis for anomaly detection [C]// 2016 IEEE 27th International Symposium on Software Reliability Engineering. Ottawa： IEEE， 2016： 207?218.

[5] 王一鵬，云曉春，張永錚，等.基于主動(dòng)學(xué)習(xí)和SVM方法的網(wǎng)絡(luò)協(xié)議識(shí)別技術(shù)[J].通信學(xué)報(bào)，2013（10）：135?142.

WANG Yipeng， YUN Xiaochun， ZHANG Yongzheng， et al. Network protocol identification based on active learn and SVM algorithm [J]. Journal on communications， 2013（10）： 135?142.

[6] 劉敬，谷利澤，鈕心忻，等.基于單分類支持向量機(jī)和主動(dòng)學(xué)習(xí)的網(wǎng)絡(luò)異常檢測研究[J].通信學(xué)報(bào)，2015，36（11）：136?146.

LIU Jing， GU Lize， NIU Xinxin， et al. Research on network anomaly detection based on one?class and active learning [J]. Journal on communications， 2015， 36（11）： 136?146.

[7] 朱東陽，沈靜逸，黃煒平，等.基于主動(dòng)學(xué)習(xí)和加權(quán)支持向量機(jī)的工業(yè)故障識(shí)別[J].浙江大學(xué)學(xué)報(bào)（工學(xué)版），2017，51（4）：697?705.

ZHU Dongyang， SHEN Jingyi， HUANG Weiping， et al. Fault classification based on modified active learning and weighted SVM [J]. Journal of Zhejiang University （Engineering science）， 2017， 51（4）： 697?705.

[8] 吳偉寧，劉揚(yáng)，郭茂祖，等.基于采樣策略的主動(dòng)學(xué)習(xí)算法研究進(jìn)展[J].計(jì)算機(jī)研究與發(fā)展，2012，49（6）：1162?1173.

WU Weining， LIU Yang， GUO Maozu， et al. Advances in active learning algorithms based on sampling strategy [J]. Journal of computer research and development， 2012， 49（6）： 1162?1173.

[9] 唐成華，劉鵬程，湯申生，等.基于特征選擇的模糊聚類異常入侵行為檢測[J].計(jì)算機(jī)研究與發(fā)展，2015，52（3）：718?728.

TANG Chenghua， LIU Pengcheng， TANG Shensheng， et al. Anomaly intrusion behavior detection based on fuzzy clustering and features selection [J]. Journal of computer research and development， 2015， 52（3）： 718?728.

[10] 黃衛(wèi)春，劉建林，熊李艷.基于樣本一特征加權(quán)的可能性模糊核聚類算法[J].計(jì)算機(jī)工程與科學(xué)，2014（1）：169?175.

HUANG Weichun， LIU Jianlin， XIONG Liyan. A sample?feature weighted possibilistic fuzzy kernel clustering algorithm [J]. Computer engineering & science， 2014（1）： 169?175.

[11] XU W， HUANG L， FOX A， et al. Detecting large?scale system problems detection by mining console logs [C]// Proceedings of 27th International Conference on Machine Learning. Haifa， Israel： SOSP， 2009： 37?46.

[12] TANG L， LI T， PERNG C S. LogSig： generating system events from raw textual logs [C]// Proceedings of 20th ACM International Conference on Information and Knowledge Management. Glasgow： CIKM， 2011： 785?794.

[13] 白寧.基于主動(dòng)學(xué)習(xí)的支持向量機(jī)算法[J].現(xiàn)代電子技術(shù)，2013，36（24）：22?24.

BAI Ning. Support vector machine algorithm based on active learning [J]. Modern electronics technique， 2013， 36（24）： 22?24.