◆孫 玉

（蘇州農(nóng)業(yè)職業(yè)技術(shù)學院 江蘇 215008）

淺談網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用

◆孫 玉

（蘇州農(nóng)業(yè)職業(yè)技術(shù)學院 江蘇 215008）

大數(shù)據(jù)技術(shù)的發(fā)展與成熟，進一步促進了互聯(lián)網(wǎng)事業(yè)的發(fā)展，在網(wǎng)絡(luò)中的很多方面都能夠發(fā)揮一定的作用。本文針對當前網(wǎng)絡(luò)安全問題頻發(fā)的現(xiàn)狀，分析了大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用，并探究了基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全防御系統(tǒng)的構(gòu)建。

網(wǎng)絡(luò)安全；大數(shù)據(jù)技術(shù)；應(yīng)用

0 前言

隨著互聯(lián)網(wǎng)的應(yīng)用與發(fā)展，網(wǎng)絡(luò)中的數(shù)據(jù)量越來越大，在為人們的工作與生活帶來便利的同時，網(wǎng)絡(luò)安全問題也時有發(fā)生。網(wǎng)絡(luò)安全問題與個人和公司的信息安全息息相關(guān)，傳統(tǒng)的網(wǎng)絡(luò)安全防護手段已經(jīng)比較落后，無法起到良好的作用，而大數(shù)據(jù)技術(shù)能夠有效提高網(wǎng)絡(luò)安全防護的有效性，其在網(wǎng)絡(luò)安全分析中的應(yīng)用具有重要作用。

1 網(wǎng)絡(luò)安全分析中應(yīng)用大數(shù)據(jù)技術(shù)的意義

當今時代，互聯(lián)網(wǎng)發(fā)展十分迅速，其中流動的數(shù)據(jù)量增長速度很快，這雖然能夠有效提升互聯(lián)網(wǎng)的服務(wù)性能，但也給網(wǎng)絡(luò)安全分析工作帶來了巨大的壓力，主要表現(xiàn)在以下兩個方面。其一，讓網(wǎng)絡(luò)安全分析工作中需要處理的數(shù)據(jù)量變得更大，而且數(shù)據(jù)的種類也更多，需要進行多維分析才能完成有效的處理；其二，隨著數(shù)據(jù)量的增加以及數(shù)據(jù)信息傳遞速度的提高，要想及時完成對數(shù)據(jù)的分析處理，必須提高數(shù)據(jù)信息的采集和處理速度，而且需要同時保證信息安全分析的有效性，這無疑大幅增加了網(wǎng)絡(luò)安全分析工作的難度。在傳統(tǒng)的網(wǎng)絡(luò)安全分析系統(tǒng)中，應(yīng)用結(jié)構(gòu)化數(shù)據(jù)庫來完成數(shù)據(jù)的存儲，這樣的數(shù)據(jù)存儲方式需要很高的成本。一般為了降低成本，會先將數(shù)據(jù)處理，降低數(shù)據(jù)的大小，從而在控制成本的情況下，提高數(shù)據(jù)存儲的容量，但這同時也會讓數(shù)據(jù)在處理過程中，丟失一部分信息，如果數(shù)據(jù)入庫存儲的時間較長，很容易出現(xiàn)丟失的情況。而且，傳統(tǒng)的網(wǎng)絡(luò)安全分析系統(tǒng)在對于一些非結(jié)構(gòu)化、內(nèi)容復雜的數(shù)據(jù)集的處理中，并不能發(fā)揮良好的作用，無論是分析速度還是查詢效率都非常差。這些問題在大數(shù)據(jù)時代的背景下非常明顯，必須得到有效解決。

大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用能夠起到良好的效果。首先，大數(shù)據(jù)技術(shù)能夠大幅提升網(wǎng)絡(luò)安全分析系統(tǒng)的數(shù)據(jù)存儲量。大數(shù)據(jù)技術(shù)即使在關(guān)于非結(jié)構(gòu)化的海量復雜數(shù)據(jù)的處理中，依然能夠保證效率和有效性，從而在存儲大量數(shù)據(jù)的同時，保證數(shù)據(jù)信息的完整性。第二，大數(shù)據(jù)技術(shù)的應(yīng)用能夠降低網(wǎng)絡(luò)安全分析系統(tǒng)的成本。大數(shù)據(jù)技術(shù)采用分布式數(shù)據(jù)庫，不僅在經(jīng)濟成本上遠低于結(jié)構(gòu)化數(shù)據(jù)庫，而且對硬件要求不高，在性能相對較低的硬件設(shè)備上依然能夠穩(wěn)定運行，從而大幅降低網(wǎng)絡(luò)安全分析系統(tǒng)的構(gòu)建與維護成本。第三，大數(shù)據(jù)技術(shù)的應(yīng)用能夠提高網(wǎng)絡(luò)安全分析系統(tǒng)的運行效率。大數(shù)據(jù)技術(shù)的應(yīng)用使得網(wǎng)絡(luò)安全分析系統(tǒng)能夠完成對異構(gòu)數(shù)據(jù)的存儲與處理，而異構(gòu)數(shù)據(jù)在存儲和查詢時非常迅速，這使得系統(tǒng)的數(shù)據(jù)信息分析處理速度進一步提高。第四，應(yīng)用大數(shù)據(jù)技術(shù)能夠提高網(wǎng)絡(luò)安全分析系統(tǒng)的數(shù)據(jù)處理精度。應(yīng)用大數(shù)據(jù)技術(shù)，能夠從多層級、多維度進行數(shù)據(jù)的關(guān)聯(lián)分析和處理，從而提高系統(tǒng)的數(shù)據(jù)處理精度。

2 網(wǎng)絡(luò)安全分析中應(yīng)用大數(shù)據(jù)技術(shù)的作用

在網(wǎng)絡(luò)安全分析中，需要處理的數(shù)據(jù)主要包括日志和流量兩項，同時還有訪問、用戶行為、業(yè)務(wù)行為等相對較少的數(shù)據(jù)信息。在網(wǎng)絡(luò)安全分析中應(yīng)用大數(shù)據(jù)技術(shù)，能夠有效優(yōu)化對各類數(shù)據(jù)的分析處理，通過統(tǒng)籌處理分散性的日志與數(shù)據(jù)，降低數(shù)據(jù)采集、分析處理的時間，從而提高網(wǎng)絡(luò)安全分析系統(tǒng)的效率；還能通過關(guān)聯(lián)分析多種安全信息，從多維度處理數(shù)據(jù)，找出其中可能存在的問題，從而提高安全分析的有效性。大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中發(fā)揮的作用，主要在以下幾個方面體現(xiàn)。

（1）數(shù)據(jù)采集。應(yīng)用大數(shù)據(jù)技術(shù)，能夠通過Flume、Scribe等工具，對數(shù)據(jù)進行分布式采集，這種高效的數(shù)據(jù)采集方式，能夠在每秒內(nèi)完成數(shù)百兆的數(shù)據(jù)采集，在對于日志數(shù)據(jù)信息的處理中，能夠發(fā)揮良好的作用。

（2）數(shù)據(jù)存儲。在網(wǎng)絡(luò)安全分析系統(tǒng)中，需要對安全數(shù)據(jù)進行存儲，應(yīng)用大數(shù)據(jù)技術(shù)，能夠針對不同的數(shù)據(jù)類型，使用不同的存儲方式，從而提高數(shù)據(jù)查詢和存儲的有序性與效率。對于主要在查詢中發(fā)揮作用的日志信息等數(shù)據(jù)，應(yīng)用列式存儲方式比較合適，能夠有效提高數(shù)據(jù)的查詢效率；對于主要用于分析處理的經(jīng)過標準化處理的數(shù)據(jù)，先使用分布式計算模式，對數(shù)據(jù)進行分析處理之后，產(chǎn)生分析結(jié)果，存放在列式存儲部分；對于即時的數(shù)據(jù)，使用流式計算比較合適，同樣在分析處理之后，產(chǎn)生分析記過，存放在列式存儲部分。

（3）數(shù)據(jù)查詢。應(yīng)用大數(shù)據(jù)技術(shù)，可以在系統(tǒng)中以MapReduce為基礎(chǔ)構(gòu)建查詢模塊，在數(shù)據(jù)查詢時，將指令分別置于相應(yīng)的節(jié)點進行處理，在完成處理之后，整合各個節(jié)點的處理結(jié)果。這樣的數(shù)據(jù)查詢處理方式，能夠有效提高系統(tǒng)對于查詢指令的反應(yīng)與處理速度。

（4）數(shù)據(jù)分析。網(wǎng)絡(luò)安全分析系統(tǒng)對于數(shù)據(jù)的分析可以分為兩個方面。其一，對于實時數(shù)據(jù)的分析?？梢砸粤魇接嬎銥榛A(chǔ)，同時應(yīng)用 CEP技術(shù)、關(guān)聯(lián)分析算法等，對實時數(shù)據(jù)進行即時的分析、監(jiān)控、處理，能夠在較短時間內(nèi)查找出數(shù)據(jù)中存在的異常；其二，對于統(tǒng)計結(jié)果、歷史數(shù)據(jù)的分析處理。這種分析處理對于時效性沒有太高的要求，可以通過分布式存儲與計算，并行應(yīng)用多種數(shù)據(jù)處理技術(shù)，完成比較深入的數(shù)據(jù)離線處理，能夠有效完成風險分析、攻擊溯源等功能。

（5）復雜數(shù)據(jù)分析處理。應(yīng)用大數(shù)據(jù)技術(shù)，能夠讓系統(tǒng)在數(shù)據(jù)的存儲、分析、查詢等方面都表現(xiàn)出良好的性能，在對復雜數(shù)據(jù)的分析處理中，能夠有效完成對多源異構(gòu)數(shù)據(jù)、系統(tǒng)安全隱患以及關(guān)聯(lián)性攻擊行為的分析處理。例如，僵尸網(wǎng)絡(luò)是比較典型的一種網(wǎng)絡(luò)安全問題，對于這一問題的處理，應(yīng)用大數(shù)據(jù)技術(shù)，不但能夠從流量和DNS訪問特性出發(fā)，還能進行發(fā)散性關(guān)聯(lián)分析，同時結(jié)合多方面的數(shù)據(jù)信息，從而達到全方位分析的效果，提高處理的有效性。又如，在系統(tǒng)存在漏洞時，可以關(guān)聯(lián)處理內(nèi)網(wǎng)的各個主機，綜合檢測安全隱患存在的具體位置。

3 基于大數(shù)據(jù)技術(shù)構(gòu)建網(wǎng)絡(luò)安全系統(tǒng)

基于大數(shù)據(jù)技術(shù)構(gòu)建的網(wǎng)絡(luò)安全系統(tǒng)，主要具備以下幾個模塊。第一，數(shù)據(jù)源模塊。系統(tǒng)通過分布式采集器，對系統(tǒng)內(nèi)的各個硬件設(shè)備和軟件進行行為信息采集，將結(jié)果置于存儲部分。隨著科技的發(fā)展，網(wǎng)絡(luò)安全防御系統(tǒng)的數(shù)據(jù)源越來越多，除了來自傳統(tǒng)的防火墻、入侵檢測等網(wǎng)絡(luò)安全部分，還有對服務(wù)器、存儲器等硬件基礎(chǔ)的維護與檢查，系統(tǒng)軟件、數(shù)據(jù)庫的分析檢查等。第二，數(shù)據(jù)采集與存儲模塊。應(yīng)用大數(shù)據(jù)技術(shù)，可以通過數(shù)據(jù)和元數(shù)據(jù)分立的方法，優(yōu)化數(shù)據(jù)的存儲與采集，構(gòu)建分布式數(shù)據(jù)基礎(chǔ)。分布式數(shù)據(jù)存儲方式，能夠自數(shù)據(jù)出現(xiàn)到刪除，完成穩(wěn)定的存儲和訪問功能。在數(shù)據(jù)量越來越大的今天，分布式數(shù)據(jù)存儲在網(wǎng)絡(luò)安全系統(tǒng)中發(fā)揮著不可替代的作用，能夠有效提高系統(tǒng)的數(shù)據(jù)存儲容量，提高數(shù)據(jù)庫的穩(wěn)定性。第三，數(shù)據(jù)分析模塊。應(yīng)用大數(shù)據(jù)技術(shù)，能夠讓系統(tǒng)同時在實時數(shù)據(jù)分析和歷史數(shù)據(jù)分析中表現(xiàn)出優(yōu)秀的性能。在大數(shù)據(jù)的分布式處理基礎(chǔ)上構(gòu)建的數(shù)據(jù)分析模塊，能夠提供穩(wěn)定而高效的數(shù)據(jù)分析處理功能，從而讓系統(tǒng)能夠在有效時間內(nèi)完成數(shù)據(jù)的多維度分析處理、聯(lián)合分析處理等。第四，數(shù)據(jù)展示模塊。這一模塊是從用戶體驗出發(fā)，讓用戶能夠通過這一模塊，更好地使用網(wǎng)絡(luò)安全系統(tǒng)，完成各項功能。當今時代，互聯(lián)網(wǎng)數(shù)據(jù)量的急劇增加，為網(wǎng)絡(luò)安全分析工作帶來了巨大壓力。在網(wǎng)絡(luò)安全系統(tǒng)中應(yīng)用大數(shù)據(jù)技術(shù)，能夠在數(shù)據(jù)的采集、存儲、分析處理等方面有效地提高系統(tǒng)性能?；诖髷?shù)據(jù)技術(shù)構(gòu)建的網(wǎng)絡(luò)安全系統(tǒng)，能夠在網(wǎng)絡(luò)安全維護中發(fā)揮重要作用，值得深入研究和推廣應(yīng)用。

[1]程學旗,靳小龍,王元卓.大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述[J].軟件學報，2014.

[2]孫大為,張廣艷,鄭緯民.大數(shù)據(jù)流式計算：關(guān)鍵技術(shù)及系統(tǒng)實例[J].軟件學報，2014.

[3]陳建昌.大數(shù)據(jù)環(huán)境下的網(wǎng)絡(luò)安全分析[J].中國新通信，2013.