◆白 碩 徐 輝

大數據技術在網絡安全分析中的應用

◆白 碩 徐 輝

（哈爾濱理工大學榮成學院 山東 264300）

在當今信息化時代，網絡安全變得尤為重要，其不但關乎國民的信息安全，更是可能涉及到國家的安全。特別是最近幾年，世界范圍內網絡安全事故頻繁發(fā)生，給人們的生產生活帶來了極大的困擾，國家也逐漸加強了對信息安全的重視程度，并將其作為了一項重要的國家戰(zhàn)略進行落實?，F在的網絡規(guī)模正在不斷地擴大，借助大數據來進行網絡安全分析勢在必行。本文就是以網絡安全的數據收集、存儲、檢索和分析等為切入點，詳細剖析了大數據是如何運用于網絡安全之中的，文章最后通過大數據技術完成了對網絡安全平臺的一次搭建。

大數據；網絡安全分析；攻擊檢測

0 引言

在網絡時代比較重要的一年就是2014年，這一年國家正式建立安全委員會，針對處理相關網絡及信息安全問題，至此，網絡安全問題已經演變成了一項重要的國家戰(zhàn)略。但是，就現在面臨的情況來看，國家的網絡信息安全環(huán)境依舊比較惡劣，時常會出現安全攻擊事件，木馬入侵、流氓軟件的植入、私密信息的竊取等惡性行為事件數量依舊居高不下。在該情況下，如果僅僅依靠防范措施，那是顯得遠遠不夠的，嚴謹的排查和提前預警已然是最新安全能力的核心。

以往的安全分析都是基于大數據的情況下進行的，這種形式在現在已有普遍的應用，最典型的就是入侵檢測、安全審計等。但是現在互聯網的寬帶化趨勢，以及應用多樣化趨勢，都使得各種安全數據逐年增加。如果還是依靠原來的分析方法顯然不能夠處理現在的問題。與此同時，很多新興的安全隱患等也都對安全檢測帶來了新的挑戰(zhàn)。大數據的具體特點基本可以概括為四點，其依次是：volume、variety、velocity、value。在此基礎上的安全分析，一般都是具有很高的效率，而且成本也不高，同時還能夠儲存大容量，有鑒于此，即可以完成對大量信息的處理。在當下，怎么實現將大數據技術使用在信息安全領域已經變成了世界范圍內研討的重點。

網絡構架經過多年的發(fā)展變得越來越繁雜，由此使得安全數據來源更加多樣化，數量上也在不斷增加，最簡單的就是從數量級上來看，之前是在TB數量級現在已經過渡到了PB數量級，內容上也更加注重細節(jié)，維度也變得更加寬廣起來；各種網絡設施在功能上都在不斷地優(yōu)化，數據傳輸能力都在不斷地加強，對各種信息的收集能力也在不斷地強化；各種網絡安全隱患依舊存在，而且問題還比較嚴重。除了上文提到的一些情況，還有一些有計劃性的惡意攻擊行為比較嚴重，這就使得在進行網絡安全維護時，必須要考慮到信息多樣性和復雜性。

1 大數據技術在網絡安全分析中的應用

網絡安全信息的剖析主要是依靠載體進行的，而這種信息的載體通常就是日志和流量兩大類，然后資產、漏洞、訪問等將作為輔助信息作為參考。通過引入大數據技術可以為行業(yè)帶來新的活力，該技術的原理就是，首先將日志與流量數據收集在一個地址上，然后使用有效的采集、儲存、分析和檢索技術，在時間和效果上提高分析效率。

1.1信息的采集

在進行采集時一般都是借助工具實現的，通常使用的是Chukwa等工具，具體的方法就是使用分布采集，作用對象就是日志信息，速度基本可以達到每秒數百兆；借助數據鏡像能夠更好地實現目標。

1.2信息的存儲

在當前的網絡時代，數據種類和應用形式都是紛繁多樣的，如果想要實現多種數據儲存，同時還要提高信息的搜索和處理速度，就應該進行分類處理，使用不同的方法存儲不同的信息數據。

1.3信息的檢索

在進行安全數據的搜索時，一般運用的是基于MapReduce的檢索框架，具體原理就是將查詢語言的每個分析節(jié)點進行加工，然后借助分布式的并行計算方法進行處理，繼而實現數據檢索速度的提高。

1.4數據的分析

在進行數據分析時，一般是基于Storm或者Spark等流式計算架構來進行的，其中還會使用到復雜事件處理技術，這也是問題處理的關鍵所在，再然后就是確定電聯分析計算方案。需要注意的是以上都是對實時數據的處理，包括信息實時監(jiān)控和異常捕捉等。其次，對于非實時數據的處理，一般利用的是Hadoop架構，在計算方法上使用的是HDFS分布式存儲和MapReduce分布式計算。

1.5多源數據與多階段組合的關聯分析

由上文介紹不難看出，大數據技術的優(yōu)點在于，可以使得存儲和處理速度實現大幅度的提高，在更短的時間內找到多源異構數據，關聯出系統(tǒng)內部更多的安全隱患、以及各種攻擊性特征等。舉例而言，在此我們將僵尸網絡作為分析對象，其不但可以有效的整合流量與DNS的訪問特性，還能夠對數據源進行深層次的拓展和剖析，把所有分組數據整合起來，對溯源數據和莫管數據進行攻擊。再舉一個通俗例子，這時，我們找到了一個受到入侵，或者存在安全隱患的電腦主機，既能夠關聯出在大系統(tǒng)下，其他的端口是不是存在一樣的問題，這樣做的好處就是能夠提前找到安全隱患，維修人員就能夠盡早的防護或者是處理。

2 基數大數據技術的網絡安全平臺建設

2.1基于大數據的網絡安全平臺架構

我們對網絡安全平臺從下到上進行介紹，它們依次是數據采集層、大數據存儲層、數據挖掘分析層、數據呈現層。對于數據采集層而言，它的作用就是借助分布式方法收集使用者信息、發(fā)生的事件信息以及安全威脅等信息。大數據存儲層關鍵就是體現在存儲上，不僅能夠實現海量存儲，還能夠保證存儲的時間，而且還可以完成結構化、半結構化以及非結構化的數據統(tǒng)一存儲，其中，均衡算法的引入將有效地將數據信息散布于文件系統(tǒng)上，這樣做的好處在于，在進行下一次的數據檢索時可以節(jié)省大量的時間。對于數據挖掘分析層，就是完成數據的分析關聯、對外界情景的解析、以及對特征的尋覓，通過這種方式來找出安全事件，一旦系統(tǒng)中出現不正常網絡行為，就能夠快速地診斷出來，與此同時，還可以對數據信息進行檢索和定位。最后一點的數據呈現層是對大數據結果進行可視化展現，用各種不同的途徑來體現網絡安全狀態(tài)。

2.2平臺實現的技術支持

（1）數據采集技術。該平臺的數據采集融合了三種不同的形式，他們分別是Flume、Kafka、Storm。Flume的作用就是實現大規(guī)模數據的收集、整合與傳送，它不論是在可靠性上，還是在實用性上都是極為良好的，通過定制的數據，用戶能夠找到來自不同端口的數據，然后對數據進行簡單的加工，再傳輸到數據定制方。

針對變化多樣的流式數據展開加工，一般將Kafka作為一種緩存來使用的。Kafka中成分復雜，不僅有很多生產者，而且還有諸多代理與消費者，在全局層面上進行全方位的邏輯處理，使得其變成往來頻繁的分布式發(fā)布訂閱系統(tǒng)。針對其中的數據管理問題，Kafka使用了Zookeeper框架進行處理，由此達成負載的均衡與協調。

（2）數據存儲技術。對于已經采集好的數據信息一般都是借助HDFS來存儲的，HDFS分布式文件系統(tǒng)優(yōu)點顯著，由上文所述，其首先具有極為強大的吞吐功能，其次就是有很高的容錯性，每個數據節(jié)點都能夠存放數據文件，經過劃分我們以64兆字節(jié)作為一個基礎的存儲單位。在一個時間段內是不能同時訪問一定數量的文件的，如果非要執(zhí)行這個操作，就極其容易損傷系統(tǒng)性能。故而，如果要實現高效率的數據處理，就需要用到HDFS數據塊，對所有采集得到的數據進行統(tǒng)一的收集，然后進行有效的處理，將文件大小控制在64兆字節(jié)。

（3）數據分析技術。在該技術中，一般通過Hive實現數據的統(tǒng)計與分析。具體就是運用Hive對API展開包裝，然后通過原先預制的插件進行數據的處理、分析與統(tǒng)計。當涉及到事件流的關聯與分析時，就會運用到CPE，他所作的處理就是將系統(tǒng)數據仿制成各種事件，然后剖析各事件之間的相互關聯，之后搭建各種事件關系序列庫，用以實現對事件難易程度的轉變，以此從海量的信息庫中找出其中的網絡安全隱患。

3 結束語

綜上所述，通過在網絡安全中運用大數據技術，能夠更好地達成精準、快速、低成本的目的。在當前階段，行業(yè)內部都在研究，怎么實現網絡安全中大數據技術的高效運用。筆者通過大量網絡漏洞與攻擊實例為出發(fā)點，探討了大數據技術在該領域的采集、存儲、檢索以及分析的應用手段，切實有效地優(yōu)化了網絡安全防御的精準度和高效率。

[1]王帥，汪來富，金華敏等.網絡安全分析中的大數據技術應用[J].電信科學，2015.

[2]孫玉.淺談網絡安全分析中的大數據技術應用[J].網絡安全技術與應用，2017.

[3]賈衛(wèi).網絡安全分析中的大數據技術應用探討[J].網絡安全技術與應用，2016.