葉水勇，葉 菁，張 月，程曉潔，聶立莎，王文林，宋浩杰

（國網(wǎng)黃山供電公司，安徽 黃山 245000）

0 引言

“互聯(lián)網(wǎng)+”和計算機通信技術的迅速發(fā)展，電網(wǎng)系統(tǒng)各類運行數(shù)據(jù)量急劇增長，計算機網(wǎng)絡的應用越來越廣泛，其規(guī)模越來越龐大，信息網(wǎng)已從原有的小型企業(yè)內(nèi)部局域網(wǎng)逐步發(fā)展成為大型企業(yè)所特有的混合型網(wǎng)絡［1-2］。如何使用現(xiàn)有的網(wǎng)絡資源以滿足不同的業(yè)務系統(tǒng)傳輸，尤其對種類豐富、數(shù)據(jù)量龐大的數(shù)據(jù)實現(xiàn)統(tǒng)一采集、存儲、計算、分析成為亟需解決的問題。通過將市、縣廣域網(wǎng)平臺的互聯(lián)將實現(xiàn)資源的統(tǒng)一管理，建立信息設備臺賬基線數(shù)據(jù)庫，對交換機運行狀態(tài)實現(xiàn)7×24 h監(jiān)控，最終實現(xiàn)信息安全事件事前預警、事中跟蹤、事后分析的主動防御。

1 主動防御體系的架構設計

1.1 數(shù)據(jù)分析模型

通過研發(fā)基于大數(shù)據(jù)的網(wǎng)絡日志信息安全場景式分析工具，結合大數(shù)據(jù)特性，采用Hadoop架構從數(shù)據(jù)存儲、數(shù)據(jù)管理、數(shù)據(jù)計算、數(shù)據(jù)整合與治理、數(shù)據(jù)分析與挖掘、數(shù)據(jù)展示等方面進行架構設計，對終端、交換機、路由器、防火墻等信息設備的臺賬信息、日志信息、巡檢日報、告警信息進行統(tǒng)一采集、存儲、分類、計算、建模。

數(shù)據(jù)采集與分析模型如圖1所示。通過數(shù)據(jù)建模促使信息從結構化數(shù)據(jù)分析向多類型數(shù)據(jù)分析的轉變、從抽樣數(shù)據(jù)分析向全量數(shù)據(jù)分析的轉變，從小批量數(shù)據(jù)分析向海量數(shù)據(jù)分析的轉變，從單一應用系統(tǒng)數(shù)據(jù)分析向多應用系統(tǒng)數(shù)據(jù)分析的轉變，從準實時數(shù)據(jù)分析向?qū)崟r數(shù)據(jù)分析的轉變，最終實現(xiàn)安全事件預判越來越及時、準確，安全防御由被動防御向主動防御轉變［3］。

圖1 數(shù)據(jù)分析模型圖

1.2 基線數(shù)據(jù)庫構成

信息設備臺賬基線數(shù)據(jù)庫構成如圖2所示，臺賬是物理對象在業(yè)務系統(tǒng)中的抽象化表征，對于同一物理對象，不同業(yè)務系統(tǒng)根據(jù)需要，依據(jù)不同的數(shù)據(jù)模型存儲對象，但各業(yè)務系統(tǒng)在應用過程中均會產(chǎn)生日志信息、運行參數(shù)、告警信息等相似記錄［4-5］。依托數(shù)據(jù)分析模型來收集、匯總、整理、分析信息設備的相關數(shù)據(jù)，建立信息設備臺賬基線大數(shù)據(jù)庫，為設備規(guī)范化、專業(yè)化的管理實施提供數(shù)據(jù)支持。

圖2 信息設備臺賬基線數(shù)據(jù)庫構成圖

2 主動防御體系的研發(fā)過程

2.1 信息設備臺賬基線數(shù)據(jù)庫的全生命周期管理

信息設備臺賬基線數(shù)據(jù)庫基于多個應用系統(tǒng)數(shù)據(jù)庫，在利用數(shù)據(jù)價值的同時，充分考慮到信息設備基礎設施的脆弱性以及面臨的信息泄露和惡意攻擊等信息安全方面的問題［6-7］。信息設備全壽命周期閉環(huán)流程如圖3所示。

2.1.1 信息設備臺賬基線數(shù)據(jù)庫建設

加快信息設備臺賬基線數(shù)據(jù)庫建設，力爭形成完整準確的信息設備臺賬基線數(shù)據(jù)庫清單，為信息設備規(guī)范化、專業(yè)化管理的實施提供數(shù)據(jù)支持。具體措施如下：

1）通過網(wǎng)絡地址資源的分配使用情況跟蹤信息設備臺賬。

2）定期收集、匯總、整理、分析信息設備的相關數(shù)據(jù)，建立地市公司網(wǎng)絡地址資源池。

3）重點依據(jù)一體化運行監(jiān)測工具中的IP地址為源頭對I6000、VRV、ERP中的信息設備進行全面清理，補全漏錄的臺賬，糾正錯誤的臺賬。

圖3 信息設備全壽命周期閉環(huán)流程

2.1.2 完善信息設備臺賬基線數(shù)據(jù)庫內(nèi)容

將設備名稱、設備狀態(tài)、運行參數(shù)、數(shù)據(jù)包、網(wǎng)絡流量、漏洞信息、時間序列數(shù)據(jù)、各種日志文件的數(shù)據(jù)整合到一起，匯總成信息設備臺賬基線庫，相互搭配進行可視化展示能夠從多個角度來全面準確地監(jiān)測分析一個網(wǎng)絡事件，并且很好地體現(xiàn)當前網(wǎng)絡及設備的數(shù)據(jù)傳輸、網(wǎng)絡流量來源及流動方向、受到的攻擊類型等安全情況。

2.2 交換機在線監(jiān)測與預警

2.2.1 交換機運行狀態(tài)智能巡檢

1）巡檢日報。將交換機關鍵運行參數(shù)、配置文件自動化采集的同時以巡檢日報的方式呈現(xiàn)給用戶。根據(jù)業(yè)務需求，巡檢日報可以添加或刪除監(jiān)控項目，依據(jù)實際情況，設置監(jiān)控項目的限值；按照監(jiān)控項目的緊急程度，設置項目的監(jiān)控級別。

2）巡檢內(nèi)容。巡檢內(nèi)容包含交換機的內(nèi)存、CPU、流量等主要關鍵指標。將ARP地址表、端口配置、端口流量、日志配置、VLAN配置等信息采集后上傳至信息設備臺賬基線數(shù)據(jù)庫。

2.2.2 交換機監(jiān)控告警

對交換機運行狀態(tài)進行監(jiān)控，尤其記錄發(fā)生故障的交換機告警時間，IP地址，告警內(nèi)容以及恢復時間。

3 主要實施方法

3.1 海量數(shù)據(jù)的整合與處理

基于市縣一體化的信息本質(zhì)安全主動防御體系建設與實施是建立在信息設備臺賬基線數(shù)據(jù)庫基礎上，而信息設備臺賬基線庫建立在設備資產(chǎn)庫、設備運行狀態(tài)庫、設備存儲庫和設備三維數(shù)據(jù)庫的數(shù)據(jù)之上。通過將不同數(shù)據(jù)源產(chǎn)生的不同類型的數(shù)據(jù)和日志，進行采集、分類、比對、分析，最終數(shù)據(jù)以圖形化的方式進行展示［8-9］。

3.1.1 數(shù)據(jù)來源

數(shù)據(jù)的來源決定了數(shù)據(jù)價值。設備信息、數(shù)據(jù)包信息、運行狀態(tài)信息、漏洞信息等安全數(shù)據(jù)均具有較高分析和可視化價值，在海量數(shù)據(jù)信息中找到有價值的信息進行可視化分析能夠幫助網(wǎng)絡安全分析人員發(fā)現(xiàn)網(wǎng)絡中更多未知的威脅，更好地維護網(wǎng)絡及基礎設施的安全。

如表1所示，針對設備資產(chǎn)庫、設備運行狀態(tài)庫、設備存儲庫和設備三維數(shù)據(jù)庫收集來的不同安全數(shù)據(jù)信息進行分類。匯總整理后融入信息設備臺賬基線數(shù)據(jù)庫中。

表1 來自不同數(shù)據(jù)源的安全數(shù)據(jù)

3.1.2 數(shù)據(jù)特點

信息設備臺賬基線數(shù)據(jù)庫是基于Hadoop技術的Hbase數(shù)據(jù)庫，該數(shù)據(jù)庫中的安全數(shù)據(jù)有以下5 V特征：

1）Value，即蘊含的價值高。從數(shù)據(jù)規(guī)模上來看，數(shù)據(jù)總量越大，所蘊含的價值總量也是相當可觀的。如分析工具研制與應用系統(tǒng)中的數(shù)據(jù)包信息、用戶信息、交換機信息等安全數(shù)據(jù)。

2）Velocity，即處理速度快。隨著信息設備臺賬基線數(shù)據(jù)庫規(guī)模的擴大，網(wǎng)絡安全監(jiān)測對時間的即時性需求越顯重要，而安全事件的產(chǎn)生以及原因是具有時間跨度的，因此需要將可視化中帶有時間序列的動態(tài)數(shù)據(jù)流作為可視化輸入來幫助安全分析人員識別可疑的事件及行為。

3）Volume，即數(shù)據(jù)量大。設備資產(chǎn)庫、設備運行狀態(tài)庫、設備存儲庫和設備三維數(shù)據(jù)庫中所有數(shù)據(jù)信息匯總后將是一個龐大的數(shù)量級。

4）Vast，即數(shù)據(jù)范圍廣泛。即各類數(shù)據(jù)集合的分類與可視化能夠幫助網(wǎng)絡分析員從類型上了解數(shù)據(jù)的路徑變化從而識別網(wǎng)絡中的異常行為。

5）Variety，即數(shù)據(jù)類型眾多。隨著各類安全設備的使用，會產(chǎn)生防火墻、入侵檢測、主機安全以及垃圾郵件等各種類型的日志數(shù)據(jù)，而安全事件與攻擊行為產(chǎn)生的痕跡將會以各種日志的形式記錄在不同的安全設備上，對日志文件關聯(lián)融合分析以及可視化能夠幫助網(wǎng)絡安全分析人員找出安全事件間關聯(lián)，快速識別網(wǎng)絡異常并發(fā)現(xiàn)不同的網(wǎng)絡攻擊模式。

3.1.3 數(shù)據(jù)采集

利用大數(shù)據(jù)組件Flume-NG提供的syslog agent、文件agent等多種方式實現(xiàn)信息設備運行參數(shù)、運行狀態(tài)、日志以及各支撐系統(tǒng)告警信息的實時采集［10］。如圖4所示，以交換機和服務器日志為例，采用syslog和Agent兩種采集方式，將最近一個月以內(nèi)的日志數(shù)據(jù)發(fā)送到服務器端，服務器端的組件flume對日志數(shù)據(jù)進行統(tǒng)計。

圖4 數(shù)據(jù)采集流程圖

原始日志中包含了豐富的安全事件信息，在保證信息真實可靠、來源廣泛的基礎上，對日志進行整理分類、甄別取舍以格式化輸出。

3.1.4 數(shù)據(jù)比對

當信息設備物理對象的部分特征發(fā)生變化時，臺賬基線數(shù)據(jù)庫內(nèi)的數(shù)據(jù)應及時調(diào)整，否則數(shù)據(jù)庫信息與物理對象實際參數(shù)會產(chǎn)生偏差，在融合比對多應用系統(tǒng)數(shù)據(jù)庫表數(shù)據(jù)、日志的基礎上，定期開展信息設備臺賬基線數(shù)據(jù)庫無效數(shù)據(jù)的清理和整治工作［11-12］。

運用大數(shù)據(jù)技術，結合信息設備臺賬基線數(shù)據(jù)庫，著重比對IP、MAC等信息。現(xiàn)將比對內(nèi)容和流程作如下說明：

1）使用python服務程序采集信息設備資產(chǎn)庫中所有信息設備的IP信息，并以TXT文檔的格式存儲，通過flume采集TXT文檔數(shù)據(jù)，并存儲到基于hadoop的信息設備臺賬基線數(shù)據(jù)庫中的IpInfoAddress表。

2）服務程序通過Hive，定期取出表 IpVRV KnowAddress中的VRVIP字段，將單條數(shù)據(jù)與表IpYTHKnowAddress中的TYHIP列數(shù)據(jù)逐條進行比較。如果兩者相同則將該數(shù)據(jù)存放于信息設備臺賬基線數(shù)據(jù)庫中的IpBindedInfo表中。若不相同，則繼續(xù)與IpInfoAddress表中的IP列數(shù)據(jù)逐條比較。若存在，則不做任何處理，若不存在，則添加該數(shù)據(jù)到UnknowIpInfo表（未知信息設備）中。

3）使用python服務程序采集信息設備三維資源庫中信息終端的IP信息，并以TXT文檔的格式存儲，通過flume采集TXT文檔數(shù)據(jù)，并存儲到基于hadoop的信息設備臺賬基線數(shù)據(jù)庫中的IpYTHKnowAddress表。

4）使用python服務程序采集信息設備運行狀態(tài)庫中信息終端的IP信息，并以TXT文檔的格式存儲，通過flume采集TXT文檔數(shù)據(jù)，并存儲到基于hadoop的信息設備臺賬基線數(shù)據(jù)庫中的IpVRVKnowAddress表。

3.1.5 數(shù)據(jù)分析

該主動防御體系支持基于關系查詢的日志存儲方式以及安全設備日志的集中存儲，且提供高效的統(tǒng)計查詢分析功能，具體如下：

1）支持以圖形化的方式展示一段時間內(nèi)聚合集合的變化趨勢。

2）能夠根據(jù)時間段、設備、日志等級及關鍵字等進行過濾查詢及日志導出。

3）能夠根據(jù)時間段、設備及關鍵字等同一類日志進行聚合查詢并給出聚合查詢結果，結果包含聚合日志的起始時間、結束時間及聚合條數(shù)。

以日志分析為例，對關鍵字進行二次查詢搜索并以列表和圖形化顯示，可以直觀地提醒安全管理人員在第一時間內(nèi)對暴力登錄、惡意攻擊等事件進行響應，做到積極主動防御。

3.1.6 數(shù)據(jù)展示

數(shù)據(jù)是可視化的根源，沒有數(shù)據(jù)就沒有可視化界面和分析工具［13-14］。該主動防御體系重點為疑似暴力登錄、惡意攻擊的未知設備進行實時監(jiān)控、告警。

1）查看任意時間段未知設備的詳細信息。詳細信息主要包含交換機名稱，未知設備IP和Mac，以及掃描時間。

2）以日歷的形式展示了每天未知設備的數(shù)量，黃色表示有未知設備，反之就沒有。點擊黃色圖標，能夠顯示紅色數(shù)字，此數(shù)字表示未知設備的數(shù)量。

3）按天展示UnknowIpInfo表中未知網(wǎng)絡設備的數(shù)量、變化趨勢以及詳情信息。

3.2 暴力登錄分析

利用采集到的交換機日志信息，通過編寫服務程序?qū)崟r分析日志數(shù)據(jù)中存在的可能性的暴力登陸行為。分析日志數(shù)據(jù)中5 min內(nèi)連續(xù)30次網(wǎng)絡設備錯誤登陸為網(wǎng)絡設備暴力登陸事件并由此形成暴力登陸事件趨勢圖，展示在Web界面供用戶分析查看。

3.2.1 事件判斷

日志分析服務程序定期不間斷地通過輪巡服務對已采集到的日志數(shù)據(jù)進行關鍵字分析，判斷是否含有符合事件標準的信息設備暴力登陸事件。并將分析后符合標準的日志事件數(shù)據(jù)及時存入信息設備臺賬基線數(shù)據(jù)庫的暴力登陸事件表中［15］。

3.2.2 效果展示

暴力登錄事件趨勢圖展示分為圖形展示和列表數(shù)據(jù)展示，并可以通過拖拽時間軸的方式實現(xiàn)按時間查詢。通過點擊暴力登錄次數(shù)，實現(xiàn)查看詳細的暴力登陸信息。

1）對于小于1天按時查詢數(shù)據(jù)，并且可以通過點擊節(jié)點進行更詳細的信息查詢。

2）超過1個月，小于6個月的情況下自動按周統(tǒng)計暴力登錄趨勢圖。

3）對于時間跨度較大的情況下，程序自動實現(xiàn)超過6個月按月顯示暴力登錄趨勢圖。

4）小于1個月的情況下，按天分別統(tǒng)計暴力登錄事件。

4 結束語

公司通過構建信息設備資產(chǎn)庫、信息設備運行狀態(tài)庫、信息設備存儲庫、信息設備三維資源庫等四大信息設備大數(shù)據(jù)庫，實現(xiàn)快速定位海量數(shù)據(jù)中核心日志信息和暴力登錄分析的專業(yè)化管理；不斷完善交換機智能巡檢、突發(fā)事件應急處理的規(guī)范化管理，構建市縣一體化的主動防御體系，為公司信息化建設提供安全、可靠、高效的技術保障。