焦文歡，馮興杰

（中國(guó)民航大學(xué)a.信息網(wǎng)絡(luò)中心；b.教務(wù)處，天津 300300）

隨著Internet在全球的迅速發(fā)展和各種互聯(lián)網(wǎng)應(yīng)用的快速普及，網(wǎng)絡(luò)已成為人們?nèi)粘９ぷ?、生活中不可或缺的信息承載工具[1]。然而，網(wǎng)絡(luò)給人們的工作與生活帶來(lái)便利的同時(shí)，其安全問(wèn)題也日益突出。入侵檢測(cè)（intrusion detection）技術(shù)作為網(wǎng)絡(luò)信息安全領(lǐng)域的關(guān)鍵技術(shù)，對(duì)保護(hù)網(wǎng)絡(luò)與系統(tǒng)的安全起到了至關(guān)重要的作用[2]。

目前，通過(guò)對(duì)網(wǎng)絡(luò)流量進(jìn)行檢測(cè)分析來(lái)識(shí)別入侵仍然是研究的一個(gè)熱點(diǎn)?；谇蠼釮urst參數(shù)[3]并根據(jù)其變化情況來(lái)檢測(cè)異常的方法有效地提高了檢測(cè)率，但是由于正常的突變流量也會(huì)引起Hurst參數(shù)的異常變化，從而導(dǎo)致該方法無(wú)法區(qū)分突變的正常流量與異常流量；另外，直接對(duì)報(bào)文類型進(jìn)行統(tǒng)計(jì)分析雖然具有一定的有效性，但是在大部分情況下，網(wǎng)絡(luò)處于正常狀態(tài)，頻繁地對(duì)網(wǎng)絡(luò)報(bào)文進(jìn)行統(tǒng)計(jì)分析不僅沒必要，而且一定程度上也會(huì)影響檢測(cè)系統(tǒng)的實(shí)時(shí)性，降低檢測(cè)效率。

針對(duì)以上提出的入侵檢測(cè)領(lǐng)域存在的不足，本文從對(duì)TCP流的檢測(cè)出發(fā)，設(shè)計(jì)了一種面向TCP流的異常檢測(cè)模型。由于網(wǎng)絡(luò)流量的自相似性，首先采用小波法求解自相似參數(shù)（即Hurst參數(shù)），并根據(jù)其變化情況判斷是否存在異常流量；如果Hurst差值超過(guò)了閾值范圍，則根據(jù)TCP流的3次握手和4次揮手協(xié)議對(duì)該時(shí)間段的報(bào)文類型做進(jìn)一步的分析，判斷TCP報(bào)文是否具有完整性，最終準(zhǔn)確地判定該流量是否為異常流量。

1 相關(guān)理論

1.1 概要數(shù)據(jù)結(jié)構(gòu)

由于數(shù)據(jù)流的大規(guī)模以及實(shí)時(shí)性特點(diǎn)，要維護(hù)所有流信息需大量?jī)?nèi)存空間，因此采用Sketch進(jìn)行數(shù)據(jù)流概要存儲(chǔ)。Sketch概要數(shù)據(jù)結(jié)構(gòu)是一種高效的信息存儲(chǔ)、查詢技術(shù)，該方法主要是通過(guò)哈希函數(shù)把報(bào)文流信息映射到較小空間進(jìn)行存儲(chǔ)，不用在內(nèi)存中維護(hù)整個(gè)流表信息，因此能夠很好地適應(yīng)數(shù)據(jù)流到達(dá)速度快、海量和單遍掃描等特點(diǎn)。Krishnamurthy等人將Sketch用于異常檢測(cè)并提出一種啟發(fā)式方法自動(dòng)設(shè)置Sketch的參數(shù)[4]。該數(shù)據(jù)處理技術(shù)并不保存整個(gè)數(shù)據(jù)集，僅維護(hù)一個(gè)遠(yuǎn)小于其原始規(guī)模的概要數(shù)據(jù)結(jié)構(gòu)，因而能夠常駐內(nèi)存[5]。

為了降低哈希函數(shù)的沖突率，現(xiàn)有方法大多采用多函數(shù)多空間來(lái)處理沖突問(wèn)題。這里引入具有異或運(yùn)算的哈希函數(shù)[6]來(lái)提高隨機(jī)性，并且為每個(gè)哈希函數(shù)單獨(dú)配備一個(gè)獨(dú)立的存儲(chǔ)空間，從而可在很少的哈希函數(shù)映射下減少哈希沖突，在保證較低沖突率的同時(shí)有效地節(jié)省存儲(chǔ)空間。文獻(xiàn)[7]中提出了一種高效的哈希大頂堆算法解決哈希沖突，但是由于該算法需要得到數(shù)據(jù)流信息出現(xiàn)的先驗(yàn)概率，所以不適合網(wǎng)絡(luò)流的異常檢測(cè)。概要數(shù)據(jù)結(jié)構(gòu)如圖1所示。

圖1 概要數(shù)據(jù)結(jié)構(gòu)示意框圖Fig.1 Schematic diagram of synopsis data structure

1.2 自相似指數(shù)Hurst

假設(shè) x={xj，j=1，2，…}為一協(xié)方差平穩(wěn)隨機(jī)序列，即x具有恒定均值μ=E[xj]和有限方差σ2=E[（xjμ）2]，其自相關(guān)函數(shù)

僅與k有關(guān)，即r（k）～k-βL1（k），k→∞，其中0＜β＜1；

對(duì)于?x＞0，L1滿足

2018年6月15日，在河南省鄭州市鄭東新區(qū)，位于七里河南路與康平路交叉口的宏光意中大廈配樓同文酒店的門前人潮涌動(dòng)。所有的來(lái)賓都滿懷期待地邁向二樓，在兩側(cè)擺滿祝賀花籃的大廳正中是一面墻，墻上呈現(xiàn)河南著名書法家王澄所題的“國(guó)學(xué)博覽館”五個(gè)行楷大字。這一天是宏光集團(tuán)公司歷時(shí)5年，由王澄嘔心瀝血、殫精竭慮擔(dān)綱策劃，開創(chuàng)國(guó)學(xué)博覽館開館揭幕的大喜之日。

H被稱為Hurst參數(shù)，反映網(wǎng)絡(luò)流量長(zhǎng)相關(guān)以及自相似性的重要指標(biāo)，能很好地反映自相似度。大量研究表明，正常網(wǎng)絡(luò)流量具有自相似性，而異常流量的產(chǎn)生會(huì)對(duì)網(wǎng)絡(luò)流量的自相似性產(chǎn)生明顯影響。為此，通過(guò)持續(xù)監(jiān)測(cè)網(wǎng)絡(luò)流量的Hurst參數(shù)，并分析其變化即可判定當(dāng)前網(wǎng)絡(luò)是否發(fā)生了異常。

常用的Hurst參數(shù)求解方法有：小波分析法、R/S分析法、Variance-time法、殘差方差法等。在小波分析法中，主要有3種利用小波分析求解Hurst值的方法：能量法、譜估計(jì)法和小波系數(shù)方差法，都是基于能量的方法來(lái)分析自相似信號(hào)。本文將使用小波系數(shù)方差法求解Hurst參數(shù)，其基本思想是對(duì)自相似信號(hào)進(jìn)行離散小波變換后的小波系數(shù)求方差，然后根據(jù)該方差與小波分解尺度的關(guān)系求出Hurst參數(shù)值。小波系數(shù)方差法的算法實(shí)現(xiàn)過(guò)程可參考文獻(xiàn)[8]。

1.3 TCP報(bào)文完整性

TCP報(bào)文完整性是指通過(guò)TCP 3次握手建立連接和4次揮手?jǐn)嚅_連接時(shí)產(chǎn)生的若干種TCP報(bào)文必須滿足TCP協(xié)議的數(shù)量比例關(guān)系，否則TCP建立連接或者斷開連接就是不完整的，而惡意的網(wǎng)絡(luò)入侵是造成TCP報(bào)文不完整的重要原因。

在研究中發(fā)現(xiàn)，通過(guò)Hurst指數(shù)法可以判斷大部分的異常網(wǎng)絡(luò)流量，但對(duì)一些突變的正常流量，仍被視為異常流量，這將增加模型的誤報(bào)率。為了解決該問(wèn)題，需對(duì)經(jīng)過(guò)Hurst指數(shù)判斷并且被認(rèn)為是異常的流量做進(jìn)一步分析。由于網(wǎng)絡(luò)中大約有90%的流量為傳輸控制協(xié)議（TCP）流，這使得TCP流的變化情況在很大程度上主導(dǎo)了網(wǎng)絡(luò)流量的變化，因此為了更準(zhǔn)確地掌握網(wǎng)絡(luò)流量的狀態(tài)，本文將根據(jù)TCP協(xié)議的特點(diǎn)，從TCP建立連接、拆除連接過(guò)程中報(bào)文的完整性出發(fā)，進(jìn)一步判斷該流量是否是異常流量。

在獲取TCP報(bào)文概要計(jì)數(shù)之后，可采用多種方法來(lái)分析判斷TCP報(bào)文是否完整。常用的方法是進(jìn)行數(shù)值比較，如比較SYN報(bào)文量是否與SYN+ACK報(bào)文量匹配、RST和FIN數(shù)量是否存在異常等。由于實(shí)際網(wǎng)絡(luò)里會(huì)存在服務(wù)質(zhì)量問(wèn)題或不正確的用戶行為，這會(huì)導(dǎo)致網(wǎng)絡(luò)存在一些不完整的TCP連接，因而實(shí)際的TCP各類報(bào)文間的數(shù)量關(guān)系會(huì)比理論情況更為復(fù)雜。對(duì)于完整的TCP流，本文在一個(gè)觀測(cè)時(shí)間段內(nèi)，采用以下約束對(duì)報(bào)文數(shù)量進(jìn)行檢測(cè)分析

2 面向TCP流的異常檢測(cè)技術(shù)

2.1 異常檢測(cè)模型

本文提出的異常檢測(cè)模型主要分為2個(gè)部分：數(shù)據(jù)流的概要存儲(chǔ)部分和異常入侵檢測(cè)部分。模型的具體實(shí)現(xiàn)流程，如圖2所示。

圖2 面向TCP流的異常檢測(cè)模型Fig.2 Anomaly detection model oriented to TCP flow

2.2 概要數(shù)據(jù)結(jié)構(gòu)生成

為了實(shí)現(xiàn)數(shù)據(jù)流的概要存儲(chǔ)，采用哈希函數(shù)DEK、JS等將IP字符串哈希到相應(yīng)的哈希桶內(nèi)，并將字符串添加到相應(yīng)的鍵值鏈表中，具體流程如圖3所示。

圖3 概要數(shù)據(jù)結(jié)構(gòu)生成過(guò)程Fig.3 Formation of synopsis data structure

步驟如下：

2）將該TCP報(bào)文的信息字符串添加到對(duì)應(yīng)Key值后面的List中，作為異常地址的溯源。重復(fù)1）、2）步直到一個(gè)觀測(cè)單位時(shí)間結(jié)束。

3）將概要映射的結(jié)果輸出到異常檢測(cè)部分，作為小波系數(shù)方差法求解Hurst參數(shù)和進(jìn)行TCP報(bào)文完整性驗(yàn)證的數(shù)據(jù)源。

4）清空該概要數(shù)據(jù)結(jié)構(gòu)，進(jìn)行下一個(gè)時(shí)間段的概要映射。

2.3 異常入侵檢測(cè)

模型的異常檢測(cè)部分，如圖4所示。

圖4 異常檢測(cè)部分流程圖Fig.4 Anomaly detection flow chart

步驟如下：

1）對(duì)從概要數(shù)據(jù)結(jié)構(gòu)中讀取的統(tǒng)計(jì)數(shù)據(jù)做小波系數(shù)方差分析，求得在該時(shí)間段上的自相似Hurst參數(shù)。

2）計(jì)算當(dāng)前Hurst參數(shù)值與同時(shí)間段正常網(wǎng)絡(luò)流量的Hurst參數(shù)差值，如果該差值沒有超過(guò)閾值范圍，則認(rèn)為該時(shí)間段的流量為正常流量，返回第1）步；如果該差值超過(guò)了閾值范圍，則對(duì)該時(shí)間段的SYN、SYN+ACK、FIN+ACK等報(bào)文進(jìn)行完整性驗(yàn)證分析，進(jìn)一步判斷此時(shí)的TCP報(bào)文是否完整。

3）如果根據(jù)TCP報(bào)文的類型判斷得出該時(shí)間段的TCP報(bào)文完整，則可認(rèn)定，雖然該時(shí)間段的網(wǎng)絡(luò)流量發(fā)生很大變化，但主要是由于突變的正常流量引起的，不應(yīng)當(dāng)視為異常流量，返回第1）步；如果TCP報(bào)文的內(nèi)容顯示TCP連接極不完整，則可斷定此時(shí)出現(xiàn)了異常流量，應(yīng)當(dāng)采取有效措施阻止異常的繼續(xù)發(fā)生。

3 實(shí)驗(yàn)與分析

實(shí)驗(yàn)一 基于TCP流的異常檢測(cè)中，所采用的數(shù)據(jù)集應(yīng)體現(xiàn)出隨時(shí)間變化的特點(diǎn)，以便能夠更準(zhǔn)確地對(duì)入侵檢測(cè)模型進(jìn)行評(píng)價(jià)，因此本次實(shí)驗(yàn)選擇DARPA 1999數(shù)據(jù)集[9]作為測(cè)試集。DARPA數(shù)據(jù)集包含7個(gè)星期網(wǎng)絡(luò)流量的tcpdump數(shù)據(jù)，經(jīng)過(guò)處理大約有500萬(wàn)條連接記錄。數(shù)據(jù)中包含4種主要的攻擊類型：①DoS，拒絕服務(wù)攻擊；②R2L，對(duì)遠(yuǎn)程主機(jī)的未授權(quán)的訪問(wèn)；③U2R，對(duì)本地超級(jí)用戶權(quán)限的未授權(quán)的訪問(wèn)；④Probe，掃描與探測(cè)行為。

首先，實(shí)驗(yàn)選用DARPA數(shù)據(jù)集中第1周第1天的正常數(shù)據(jù)進(jìn)行分析。為了實(shí)現(xiàn)小波系數(shù)的快速提取，實(shí)驗(yàn)以10 s為單位統(tǒng)計(jì)各TCP報(bào)文數(shù)量，以100 s（即10個(gè)統(tǒng)計(jì)單位）為一個(gè)時(shí)間窗計(jì)算Hurst值。另外，在小波系數(shù)方差法求Hurst參數(shù)時(shí)，采用誤差較小的Db3[8]小波進(jìn)行Hurst參數(shù)的計(jì)算。Hurst值求解結(jié)果，如圖5所示。

圖5 正常網(wǎng)絡(luò)流量的Hurst參數(shù)曲線Fig.5 Hurst line of normal network flow

其次，實(shí)驗(yàn)對(duì)第4周星期一的異常數(shù)據(jù)集做檢測(cè)分析。由于該數(shù)據(jù)集比較大，大約1 400 000個(gè)報(bào)文。為此，截取其中80 min左右的Trace數(shù)據(jù)進(jìn)行分析，仍以10 s為單位統(tǒng)計(jì)TCP報(bào)文數(shù)量，以100 s為一個(gè)時(shí)間窗計(jì)算Hurst值，并將檢測(cè)數(shù)據(jù)的Hurst參數(shù)繪制，如圖6所示。

圖6 檢測(cè)數(shù)據(jù)的Hurst參數(shù)曲線Fig.6 Hurst line of test data

實(shí)驗(yàn)將閾值定為0.2，即如果正常流量的Hurst參數(shù)與檢測(cè)流量的Hurst參數(shù)差值小于0.2，則該時(shí)間段的網(wǎng)絡(luò)流量為正常流量；否則，應(yīng)當(dāng)對(duì)該時(shí)段的TCP報(bào)文完整性做進(jìn)一步的驗(yàn)證。驗(yàn)證結(jié)果如下：

表1第1列的內(nèi)容為異常時(shí)刻點(diǎn)，是由基于Hurst參數(shù)的異常檢測(cè)模型檢測(cè)出來(lái)的，其中包含了大部分的正確檢測(cè)結(jié)果和小部分的誤報(bào)時(shí)刻點(diǎn)。后面的列顯示的是TCP各類報(bào)文的數(shù)量統(tǒng)計(jì)值。標(biāo)有記號(hào)的時(shí)刻點(diǎn)是進(jìn)行TCP報(bào)文完整性驗(yàn)證后得到新的異常時(shí)刻點(diǎn)。

表1 TCP報(bào)文完整性驗(yàn)證結(jié)果Tab.1 Result of TCP message integrity

通過(guò)建模驗(yàn)證實(shí)驗(yàn)得出，對(duì)一些超過(guò)閾值的準(zhǔn)異常點(diǎn)，經(jīng)過(guò)報(bào)文完整性驗(yàn)證后發(fā)現(xiàn)其仍然不符合TCP連接和斷開時(shí)的協(xié)議規(guī)則，可以斷定這些時(shí)間點(diǎn)存在異常流量，很可能是網(wǎng)絡(luò)遭到入侵后的反應(yīng)；而對(duì)于另外一些時(shí)間點(diǎn)，雖然經(jīng)過(guò)網(wǎng)絡(luò)自相似檢測(cè)以后被確認(rèn)為異常點(diǎn)，但是從TCP協(xié)議的角度分析，其滿足正常通信時(shí)報(bào)文的完整性，很可能是突變的正常流量或是其他原因造成的正常流量。因此，這些流量不應(yīng)當(dāng)被視為異常流量。

從實(shí)驗(yàn)的最終結(jié)果可以發(fā)現(xiàn)，通過(guò)采用TCP報(bào)文完整性驗(yàn)證的方法，模型在不顯著提高算法時(shí)間復(fù)雜度的基礎(chǔ)上，檢測(cè)率相比基于自相似指數(shù)模型有了明顯的提高。

實(shí)驗(yàn)二 為了對(duì)模型做進(jìn)一步的驗(yàn)證，實(shí)驗(yàn)選用真實(shí)的網(wǎng)絡(luò)數(shù)據(jù)流進(jìn)行異常檢測(cè)。模型通過(guò)Sniffer軟件從校園網(wǎng)服務(wù)器上采集流量數(shù)據(jù)，集中在星期一的早上網(wǎng)絡(luò)繁忙時(shí)進(jìn)行，仍采用10 s為一個(gè)統(tǒng)計(jì)單位，持續(xù)監(jiān)測(cè)30 min。檢測(cè)數(shù)據(jù)集包含2個(gè)高峰正常流量，異常流量部分使用模擬軟件向測(cè)試服務(wù)器發(fā)起DOS攻擊形成，攻擊共有8次，每次2 min。對(duì)該測(cè)試數(shù)據(jù)集采用上述相同的步驟進(jìn)行TCP流的異常檢測(cè)分析，最后與小波Hurst參數(shù)模型進(jìn)行比較，結(jié)果如表2所示。

表2 實(shí)驗(yàn)結(jié)果對(duì)比Tab.2 Comparision of two experiments

從表2可以看出，模型在檢測(cè)異常流量時(shí)能正確地區(qū)分突變正常流量和異常流量，有效地降低誤報(bào)率，準(zhǔn)確率較高。

通過(guò)2組實(shí)驗(yàn)驗(yàn)證了本文模型的有效性，分別從異常流量部分和突變正常流量部分進(jìn)行了對(duì)比驗(yàn)證。實(shí)驗(yàn)結(jié)果進(jìn)一步說(shuō)明，本方法在對(duì)TCP流進(jìn)行異常檢測(cè)時(shí)能有效地區(qū)分突變正常流量和異常流量。

4 結(jié)語(yǔ)

通過(guò)對(duì)網(wǎng)絡(luò)流量的檢測(cè)分析，討論了一種面向TCP流的異常檢測(cè)方法，該方法能夠在有限系統(tǒng)資源的情況下，以較快的速度保存與維護(hù)網(wǎng)絡(luò)流的概要統(tǒng)計(jì)信息，并利用該統(tǒng)計(jì)信息實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)異常和入侵行為的檢測(cè)，改善了以往模型直接對(duì)數(shù)據(jù)流進(jìn)行統(tǒng)計(jì)分析而導(dǎo)致檢測(cè)效率低的狀況。由于該模型根據(jù)網(wǎng)絡(luò)流量的自相似性和基于TCP建立連接與斷開連接時(shí)報(bào)文完整性來(lái)檢測(cè)TCP流是否出現(xiàn)異常，因此在保證較高運(yùn)算效率的同時(shí)，有效解決了對(duì)突變正常流量與異常流量進(jìn)行區(qū)分的問(wèn)題，降低了模型的誤檢率。

理論分析與實(shí)驗(yàn)驗(yàn)證的結(jié)果顯示，該方法能夠有效地檢測(cè)DDoS、掃描等攻擊行為，并且具有較高的檢測(cè)率和較低的誤檢率，因此能夠較好地應(yīng)用于網(wǎng)絡(luò)異常檢測(cè)。

[1]肖志新，楊岳湘，楊 霖.基于小波技術(shù)的網(wǎng)絡(luò)異常流量檢測(cè)與實(shí)現(xiàn)[J].計(jì)算機(jī)科學(xué)，2006，33（10）：116-118.

[2]俞 研，郭山清，黃 皓.基于數(shù)據(jù)流的異常入侵檢測(cè)[J].計(jì)算機(jī)科學(xué)，2007，34（5）：66-71.

[3]張小明，許曉東，朱士瑞.基于Hurst指數(shù)方差分析的DDoS攻擊檢測(cè)方法[J].計(jì)算機(jī)工程，2008，34（14）：149-151.

[4]KRISHNAMURTHY B，SEN S，ZHANG Y，et al.Sketch-Based Change Detection：Methods，Evaluation，and Applications[C]//Proc of the ACM SIGCOMM Internet Measurement Conf.New York：ACM Press，2003：234-247.

[5]金澈清，錢衛(wèi)寧，周傲英.流數(shù)據(jù)分析與管理綜述[J].軟件學(xué)報(bào)，2004，15（8）：1172-1180.

[6]ARASH PARTOW.General Purpose Hash Function Algorithms[EB/OL].[2012-07-01].http：//www.partow.net.

[7]張朝霞，劉耀軍.有效的哈希沖突解決辦法[J].計(jì)算機(jī)應(yīng)用，2010，30（1）：2965-3004.

[8]任勛益，王汝傳，王海艷，等.基于自相似檢測(cè)DDOS攻擊的小波選擇[J].南京航空航天大學(xué)學(xué)報(bào)，2007，39（5）：588-592.

[9]DARPA.DARPA 1999 Intrusion Detection Evaluation[EB/OL].[2013-06-09].http://www.ll.mit.edu/mission/communications/cyber/CSTcorpora/ideval/data/1999data.html.