劉澤燊+潘志松

摘 要： 機(jī)器學(xué)習(xí)算法處理流量分類(lèi)問(wèn)題已經(jīng)成為網(wǎng)絡(luò)安全領(lǐng)域一個(gè)研究熱點(diǎn)。為了提高大規(guī)模網(wǎng)絡(luò)流的分類(lèi)效率，引入并行SVM算法來(lái)識(shí)別網(wǎng)絡(luò)流量，提出了一種基于Spark平臺(tái)的大規(guī)模網(wǎng)絡(luò)流在線分類(lèi)方案。該方案利用置信域牛頓法（TRON）并行優(yōu)化線性SVM算法構(gòu)建流量分類(lèi)模型，然后融合最新的實(shí)時(shí)計(jì)算框架，實(shí)現(xiàn)對(duì)大規(guī)模網(wǎng)絡(luò)流的在線識(shí)別。實(shí)驗(yàn)結(jié)果表明，利用并行SVM算法在損失較小精度的前提下可以加快網(wǎng)絡(luò)流的模型訓(xùn)練和分類(lèi)速度，符合大規(guī)模網(wǎng)絡(luò)流在線分類(lèi)的需要。

關(guān)鍵詞： 流量分類(lèi)； 網(wǎng)絡(luò)安全； Spark； 并行SVM； 大規(guī)模數(shù)據(jù)

中圖分類(lèi)號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1006-8228（2016）04-01-05

Study on large scale network traffic classification on Spark platform

Liu Zeshen， Pan Zhisong

（College of Command Information System， PLA University of Science and Technology， Nanjing， Jiangsu 210007， China）

Abstract： Internet traffic classification using machine learning has become a hot research topic in the field of network security. In order to improve the classification efficiency of large scale network flow， this paper introduces a parallel SVM algorithm to identify the network traffic， and proposes a real-time classification scheme for large scale network flow based on Spark. This method builds a classification model using parallel SVM algorithm， and then it is integrated with the latest flow processing framework for real-time classification of large-scale networks. Experimental results show that parallel SVM algorithm can greatly improve the training and classification speed of the network flow model， on the premise of little loss of precision.

Key words： traffic classification； network security； Spark； parallel SVM； large scale data

0 引言

隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)絡(luò)安全和網(wǎng)絡(luò)擁塞等問(wèn)題也日益嚴(yán)重。為了更好的識(shí)別異常流量及優(yōu)化配置網(wǎng)絡(luò)資源，必須準(zhǔn)確分類(lèi)網(wǎng)絡(luò)流中各種應(yīng)用類(lèi)型。因此對(duì)大規(guī)模網(wǎng)絡(luò)流量進(jìn)行快速、準(zhǔn)確的分類(lèi)具有十分重要的意義。

近年來(lái)網(wǎng)絡(luò)應(yīng)用多元化的發(fā)展趨勢(shì)給網(wǎng)絡(luò)流分類(lèi)帶來(lái)一系列的挑戰(zhàn)，動(dòng)態(tài)端口以及隨機(jī)端口技術(shù)的出現(xiàn)，使得最初分析端口號(hào)的分類(lèi)手段已經(jīng)不能準(zhǔn)確的對(duì)P2P等新型應(yīng)用進(jìn)行分類(lèi)[1]，同時(shí)基于有效負(fù)載的方法很難處理加密流量[2]。針對(duì)上述網(wǎng)絡(luò)流分類(lèi)技術(shù)日益凸顯的缺點(diǎn)，將流量分類(lèi)問(wèn)題轉(zhuǎn)化為機(jī)器學(xué)習(xí)問(wèn)題成為當(dāng)前研究趨勢(shì)。在聚類(lèi)算法中，Erman等人[3]分析了K-Means、DBSCAN和AutoClass三種聚類(lèi)算法的網(wǎng)絡(luò)流分類(lèi)性能，因?yàn)榇祟?lèi)無(wú)監(jiān)督算法無(wú)需使用訓(xùn)練樣本的類(lèi)標(biāo)，所以能夠識(shí)別新型網(wǎng)絡(luò)應(yīng)用，但是聚類(lèi)完成后必須進(jìn)行人工標(biāo)記，同時(shí)整體分類(lèi)精度偏低。對(duì)于分類(lèi)算法，Moore等人[4]將樸素貝葉斯和改進(jìn)的貝葉斯方法應(yīng)用到網(wǎng)絡(luò)流分類(lèi)，能將準(zhǔn)確率提高到95%，但是貝葉斯算法要求樣本特征遵循高斯分布，然而實(shí)際的網(wǎng)絡(luò)流數(shù)據(jù)很難滿(mǎn)足，所以具有不穩(wěn)定等缺點(diǎn)。徐鵬等人[5-6]針對(duì)貝葉斯分類(lèi)過(guò)分依賴(lài)樣本空間分布的問(wèn)題，提出了利用訓(xùn)練數(shù)據(jù)信息熵的決策樹(shù)分類(lèi)方法和基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化的SVM分類(lèi)方法，這兩種方法都取得了較高的準(zhǔn)確率和穩(wěn)定性，但是決策樹(shù)學(xué)習(xí)高維樣本時(shí)具有很高的復(fù)雜度，而SVM算法訓(xùn)練大規(guī)模樣本時(shí)存在時(shí)間長(zhǎng)和內(nèi)存占用大等問(wèn)題。Yang等人[7]則將lasso特征選擇算法應(yīng)用到網(wǎng)絡(luò)流異常檢測(cè)，通過(guò)降低訓(xùn)練樣本維度加快了模型訓(xùn)練以及流量識(shí)別速度。Groleat等人[8]則基于FPGA設(shè)計(jì)了一個(gè)用于在線檢測(cè)的實(shí)時(shí)SVM分類(lèi)器，通過(guò)硬件加速，極大的提高了檢測(cè)的效率。通過(guò)上述研究，基于機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)流分類(lèi)取得了一定的進(jìn)展，然而對(duì)大規(guī)模流量分類(lèi)缺乏實(shí)時(shí)響應(yīng)，同時(shí)很少有人關(guān)注網(wǎng)絡(luò)流在線識(shí)別。Spark[9]作為一種新的計(jì)算框架，通過(guò)擴(kuò)展集群能夠?qū)Υ笠?guī)模數(shù)據(jù)進(jìn)行快速處理，同時(shí)具有自動(dòng)處理失效節(jié)點(diǎn)和負(fù)載均衡的功能。

本文深入分析了單機(jī)SVM算法分類(lèi)網(wǎng)絡(luò)流的不足之處，以分布式計(jì)算為基礎(chǔ)，給出了一種基于Spark平臺(tái)的大規(guī)模網(wǎng)絡(luò)流在線分類(lèi)方案 。主要工作有：①應(yīng)用置信域牛頓法快速優(yōu)化分布式的SVM分類(lèi)算法；②對(duì)比分析了大規(guī)模網(wǎng)絡(luò)流在線分類(lèi)方案跟單機(jī)SVM算法的性能。實(shí)驗(yàn)結(jié)果表明，該方案不但能夠快速訓(xùn)練分類(lèi)模型和識(shí)別流量數(shù)據(jù)，而且具有較高的準(zhǔn)確率和穩(wěn)定性。

1 Apache Spark技術(shù)