楊緒兵，馮 哲，顧一凡，薛 暉

(1.南京林業(yè)大學(xué) 信息科學(xué)技術(shù)學(xué)院，南京210037； 2.東南大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，南京210096) (*通信作者電子郵箱xbyang@njfu.edu.cn)

基于Plane-Gaussian神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)流狀態(tài)監(jiān)測(cè)

楊緒兵1*，馮 哲1，顧一凡1，薛 暉2

(1.南京林業(yè)大學(xué) 信息科學(xué)技術(shù)學(xué)院，南京210037； 2.東南大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院，南京210096) (*通信作者電子郵箱xbyang@njfu.edu.cn)

針對(duì)復(fù)雜網(wǎng)絡(luò)環(huán)境下網(wǎng)絡(luò)流監(jiān)測(cè)(分類)問(wèn)題，為實(shí)現(xiàn)多個(gè)類別直接分類以及提高學(xué)習(xí)方法的訓(xùn)練速度，提出了一種隨機(jī)的人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法。該方法借鑒平面高斯(PG)神經(jīng)網(wǎng)絡(luò)模型，引入隨機(jī)投影思想，通過(guò)計(jì)算矩陣偽逆的方法解析獲得網(wǎng)絡(luò)連接矩陣，理論上可證明該網(wǎng)絡(luò)具有全局逼近能力。在人工數(shù)據(jù)和標(biāo)準(zhǔn)網(wǎng)絡(luò)流監(jiān)測(cè)數(shù)據(jù)上進(jìn)行了實(shí)驗(yàn)仿真，與同樣采用隨機(jī)方法的極限學(xué)習(xí)機(jī)(ELM)和PG網(wǎng)絡(luò)相比，分析與實(shí)驗(yàn)結(jié)果表明：1)由于繼承了PG網(wǎng)絡(luò)的幾何特性，對(duì)平面型分布數(shù)據(jù)更為有效；2)采用了隨機(jī)方法，訓(xùn)練速度與ELM相當(dāng)，但比PG網(wǎng)絡(luò)快得多；3)三種方法中，該方法更有利于解決網(wǎng)絡(luò)流監(jiān)測(cè)問(wèn)題。

Plane-Gaussian人工神經(jīng)網(wǎng)絡(luò)；極限學(xué)習(xí)機(jī)；隨機(jī)投影；全局逼近；分類精度

0 引言

隨著互聯(lián)網(wǎng)發(fā)展，生產(chǎn)應(yīng)用中產(chǎn)生了大量的數(shù)據(jù)，諸如來(lái)自于金融市場(chǎng)、網(wǎng)絡(luò)監(jiān)控、電信數(shù)據(jù)、傳感器網(wǎng)絡(luò)等場(chǎng)景。由于此類數(shù)據(jù)，亦稱之為流(data stream)，具有實(shí)時(shí)、高速、連續(xù)和動(dòng)態(tài)等特性，加之協(xié)議的形式和種類繁多，以及新協(xié)議不公開(kāi)且不遵守已有的協(xié)議規(guī)范，使得經(jīng)典的數(shù)據(jù)管理和分析技術(shù)乏力甚至失效，因而該領(lǐng)域的研究極具挑戰(zhàn)性，針對(duì)此類研究現(xiàn)已逐漸演變成為新的研究熱點(diǎn)[1-3]。有別于一般數(shù)據(jù)，針對(duì)流數(shù)據(jù)的研究，困難主要表現(xiàn)在：1)計(jì)算機(jī)有限的存儲(chǔ)容量無(wú)法存儲(chǔ)和計(jì)算海量數(shù)據(jù)；2)網(wǎng)絡(luò)數(shù)據(jù)流的高維易造成維數(shù)災(zāi)難問(wèn)題；3)數(shù)據(jù)在采集和傳輸過(guò)程的數(shù)據(jù)受噪聲污染問(wèn)題；4)因?yàn)閿?shù)據(jù)流的變化實(shí)時(shí)且連續(xù)，極易造成學(xué)習(xí)算法的欠學(xué)習(xí)問(wèn)題；5)數(shù)據(jù)類別多，僅通過(guò)一對(duì)一(one-vs-one)或一對(duì)多(one-vs-all)擴(kuò)展的兩分類學(xué)習(xí)方法難以勝任此類問(wèn)題。

已有的研究方法中，機(jī)器學(xué)習(xí)被認(rèn)為最具有研究潛力[4]，研究成果表明，由于人工神經(jīng)網(wǎng)絡(luò)具有諸如全局逼近性、網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單、可直接用于多分類或回歸問(wèn)題，在網(wǎng)絡(luò)流分類方法應(yīng)該具有更好的應(yīng)用前景，如Bayes、徑向基函數(shù)(Radial Basis Function, RBF)和反向傳播(Back-Propagation, BP)網(wǎng)絡(luò)等，但以上網(wǎng)絡(luò)存在訓(xùn)練時(shí)間過(guò)長(zhǎng)等問(wèn)題，自極限學(xué)習(xí)機(jī)(Extreme Learning Machine, ELM)問(wèn)世以來(lái)[5-7]，現(xiàn)已引起普遍關(guān)注，ELM采用隨機(jī)的方法設(shè)置網(wǎng)絡(luò)權(quán)及閾值，具有全局逼近能力，采用偽逆方法計(jì)算輸出層權(quán)矩陣，相對(duì)于BP網(wǎng)絡(luò)，訓(xùn)練時(shí)間大幅度縮短。Plane-Gaussian (PG)網(wǎng)絡(luò)[8]是先進(jìn)行平面聚類[9]，獲得PG激活函數(shù)的參數(shù)，再采用偽逆的方式計(jì)算網(wǎng)絡(luò)輸出權(quán)矩陣。該網(wǎng)絡(luò)同樣具有全局逼近能力。實(shí)驗(yàn)證明，該網(wǎng)絡(luò)與BP、RBF具有相當(dāng)?shù)姆诸惸芰Γ瑢?duì)于平面型分布的數(shù)據(jù)，該網(wǎng)絡(luò)的分類性能顯著優(yōu)于前二者，而訓(xùn)練速度與RBF相當(dāng)，但比BP快得多。鑒于ELM的隨機(jī)選取輸入權(quán)值和閾值策略，本文擬在PG網(wǎng)絡(luò)中放棄平面聚類方法，對(duì)PG激活函數(shù)的權(quán)參數(shù)和閾值采用隨機(jī)方法，并據(jù)此發(fā)展出一個(gè)新的神經(jīng)網(wǎng)絡(luò)RandPG(Random PG)。由于PG神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過(guò)程中需要先聚類，訓(xùn)練時(shí)間較長(zhǎng)；而ELM雖然先隨機(jī)抽取再優(yōu)化網(wǎng)絡(luò)權(quán)值，但在幾何上缺乏明確的模型解釋，同時(shí)，兩種方法在隱層節(jié)點(diǎn)數(shù)的選擇上，目前還只能依賴經(jīng)驗(yàn)。本文擬結(jié)合兩種方法，借鑒ELM中網(wǎng)絡(luò)參數(shù)隨機(jī)選擇的方式，克服PG網(wǎng)絡(luò)訓(xùn)練過(guò)程中的需要聚類的缺點(diǎn)，在PG網(wǎng)絡(luò)中引入了隨機(jī)投影的思想，提出了基于隨機(jī)投影的平面高斯神經(jīng)網(wǎng)絡(luò)RandPG，它同樣具有全局逼近能力。與PG網(wǎng)絡(luò)相比較：1)它避免了聚類，訓(xùn)練時(shí)間大幅度縮短；2)隨機(jī)選擇投影，有利于突破陷入局部最優(yōu)解的限制；3)不需要隨機(jī)選擇隱節(jié)點(diǎn)個(gè)數(shù)，與類別個(gè)數(shù)相同。與ELM相比較：1)RandPG網(wǎng)絡(luò)幾何意義明確；2)能夠勝任多分類問(wèn)題，且無(wú)需考慮隱節(jié)點(diǎn)個(gè)數(shù)選擇問(wèn)題；3)繼承了PG網(wǎng)絡(luò)對(duì)平面型分布數(shù)據(jù)的分類能力，效果顯著優(yōu)于ELM。最后，本文將三種算法分別在平面型數(shù)據(jù)集和網(wǎng)絡(luò)流數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，并測(cè)試和分析該方法在網(wǎng)絡(luò)數(shù)據(jù)流上的性能。

1 相關(guān)工作

1.1 極限學(xué)習(xí)機(jī)

ELM是一種新的機(jī)器學(xué)習(xí)方法，具備以下四個(gè)特點(diǎn)[7]：1)極限學(xué)習(xí)機(jī)從理論上探討了神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)過(guò)程中隱節(jié)點(diǎn)是否需要調(diào)整的問(wèn)題；2)該方法既可用于單隱層前饋網(wǎng)絡(luò)，又適用于多隱層前饋網(wǎng)絡(luò)；3)超限學(xué)習(xí)機(jī)的學(xué)習(xí)構(gòu)架可拓展到特征學(xué)習(xí)、聚類、回歸和分類等問(wèn)題；4)相比于超限學(xué)習(xí)機(jī)，支持向量機(jī)(Support Vector Machine, SVM)和最小二乘支持向量機(jī)(Least Square Support Vector Machine, LS-SVM)趨向于得到次優(yōu)解。

(1)

以概率1的可能性成立。其中的hi(aiTx+bi)為激活函數(shù)，它有能力分隔具有任何形狀的不連通區(qū)域，ai為輸入網(wǎng)絡(luò)權(quán)向量，bi為對(duì)應(yīng)的閾值。

對(duì)于分類問(wèn)題，式(1)可修改為如下最小化問(wèn)題：

(2)

其中y為x的類別標(biāo)號(hào)。

1.2PG神經(jīng)網(wǎng)絡(luò)

在平面聚類方法(k-Plane Clustering,kPC)[9]基礎(chǔ)上，采用“平面原型”代替RBF網(wǎng)絡(luò)的“點(diǎn)原型”的一種人工神經(jīng)網(wǎng)絡(luò)模型(Plane-Gaussian NN)。該網(wǎng)絡(luò)具有全局的萬(wàn)能逼近能力，同時(shí)還有自身的特點(diǎn)，如局部性等。由于兼有多層感知機(jī)(Multi-layer Perceptron, MLP)與RBF網(wǎng)絡(luò)的部分特點(diǎn)，PG網(wǎng)絡(luò)為這兩種不同類型的網(wǎng)絡(luò)建立了聯(lián)系的橋梁。從對(duì)先驗(yàn)知識(shí)的適用性而言，RBF網(wǎng)絡(luò)更適合高斯分布的數(shù)據(jù)，而PG網(wǎng)絡(luò)則更適合子空間分布的數(shù)據(jù)。

kPC聚類方法需要不斷迭代計(jì)算k個(gè)聚類超平面，即隨機(jī)產(chǎn)生k個(gè)平面，將n個(gè)樣本歸為k個(gè)簇(樣本歸簇)，每個(gè)簇計(jì)算出超平面(聚類更新)，再進(jìn)行樣本歸簇，再計(jì)算簇的超平面，直到每個(gè)簇內(nèi)的樣本不再變化為止。如此，存在如下兩個(gè)問(wèn)題：1)聚類超平面的求解方法僅能保證次優(yōu)；易于陷入局部極小解；2)反復(fù)迭代過(guò)程需要耗費(fèi)大量的訓(xùn)練時(shí)間。

ELM和PG網(wǎng)絡(luò)存在如下異同點(diǎn)。相同的是：1)類別標(biāo)號(hào)采用0-1編碼方式；2)輸出層權(quán)矩陣計(jì)算方法一樣，都是計(jì)算矩陣偽逆來(lái)獲得輸出矩陣。不同點(diǎn)在于：1)輸入權(quán)值不同，ELM采用隨機(jī)方式；而PG網(wǎng)絡(luò)與RBF一樣，權(quán)值均置為1；2)激活函數(shù)不同，ELM方法可采用多種激活函數(shù)，常用sigmoid函數(shù)，而PG網(wǎng)絡(luò)用的是“平面原型”思想，采用的激活函數(shù)稱之為平面高斯函數(shù)(Plane-Gaussian Function),該函數(shù)的參數(shù)需要通過(guò)kPC聚類方法計(jì)算。

鑒于以上分析，本文擬將隨機(jī)投影技術(shù)與PG網(wǎng)絡(luò)結(jié)合起來(lái)，即放棄PG激活函數(shù)的權(quán)值不再通過(guò)聚類獲得，而是采用隨機(jī)投影方法來(lái)完成。下文中將從網(wǎng)絡(luò)模型構(gòu)造、全局逼近能力、性能分析等方面來(lái)介紹隨機(jī)PG網(wǎng)絡(luò)。

2 RandPG：隨機(jī)PG網(wǎng)絡(luò)模型

(3)

2.1RandPG網(wǎng)絡(luò)模型

由PG網(wǎng)絡(luò)結(jié)構(gòu)定義，該類型網(wǎng)絡(luò)的數(shù)學(xué)模型描述如下：

(4)

其中：c為類別個(gè)數(shù)。由式(4)知，wi,γi為隱層的學(xué)習(xí)參數(shù)，在PG網(wǎng)絡(luò)中該參數(shù)由kPC聚類算法解得，因而在訓(xùn)練網(wǎng)絡(luò)時(shí)需要耗費(fèi)大量的時(shí)間。RandPG將放棄聚類方法獲得網(wǎng)絡(luò)權(quán)值，借鑒類似于ELM的隨機(jī)選擇的方法。

在訓(xùn)練階段，當(dāng)式(4)中j取遍{1,2,…,n}時(shí)，可得線性方程組，以矩陣記錄如下：

O=UTΦ

(5)

2.2RandPG的全局逼近性

文獻(xiàn)[7]的全局逼近定理描述如下。

定理2 形如式(4)的連續(xù)光滑函數(shù)G,在線性空間Rd的有界閉區(qū)域C(Id)內(nèi)是稠密的，即對(duì)任給的非平凡連續(xù)函數(shù)f∈C(Id)和任給的ε>0，總存在一組合適的ui，使式(6)成立：

(6)

從定理的證明過(guò)程可知，逼近中只與u的選擇有關(guān)，與函數(shù)G的參數(shù)選擇無(wú)關(guān)。當(dāng)然，此結(jié)論在隱節(jié)點(diǎn)個(gè)數(shù)趨于無(wú)窮時(shí)成立?？闪⒌萌缦峦普摗?/p>

推論1 式(6)中隨機(jī)選擇一組參數(shù){(wi,γi)|wi∈Rd,γi∈R}，亦能保證存在一組合適的ui，使得不等式成立。

2.3RandPG算法

以上內(nèi)容總結(jié)為一個(gè)學(xué)習(xí)算法，描述如下。

輸出：輸出權(quán)矩陣U。

步驟1 隨機(jī)產(chǎn)生一組{(wi,γi)}，i=1,2,…,c；

步驟2 按式(5)計(jì)算矩陣Φ；

步驟3 計(jì)算U，通常采用矩陣偽逆形式，即U=(YΦ+)T，Φ+為Φ的偽逆，實(shí)驗(yàn)部分采用Φ+=(ΦTΦ)-1ΦT來(lái)計(jì)算。按RandPG算法，PG網(wǎng)絡(luò)的輸出連接權(quán)，它是通過(guò)隨機(jī)指定激活函數(shù)參數(shù)完成的，無(wú)需要像PG網(wǎng)絡(luò)采用聚類方法獲得，因此，按此方式的訓(xùn)練神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)速度較大幅度提高。

測(cè)試階段，對(duì)于待歸類樣本z，連同訓(xùn)練算法中的{(wi,γi)}，代入式(3)、(5)，計(jì)算出輸出向量，重新整理為0-1編碼形式，得出歸類結(jié)果。

2.4RandPG性能分析

RandPG算法的實(shí)質(zhì)是訓(xùn)練神經(jīng)網(wǎng)絡(luò)來(lái)逼近類別標(biāo)記(如采用0-1編碼的向量形式，以方便區(qū)別多個(gè)類別)，即期望網(wǎng)絡(luò)輸出與0-1編碼的類別標(biāo)記一一對(duì)應(yīng)，因此可在最小平方誤差(MinimumSquareError,MSE)的優(yōu)化目標(biāo)下完成，向量矩陣形式為:

(7)

將式(4)整理，并代入式(7)得：

(8)

可令式(8)的目標(biāo)函數(shù)對(duì)u的導(dǎo)數(shù)為0，可立得:

u=(ΦTΦ)-1ΦTy

(9)

而且式(9)不僅是唯一解，而且形式上與矩陣偽逆的結(jié)果一樣，與ELM形式上也是一致的。

ELM采用隨機(jī)的方法來(lái)訓(xùn)練前饋神經(jīng)網(wǎng)絡(luò)，一舉突破了以往必須通過(guò)優(yōu)化計(jì)算出網(wǎng)絡(luò)連接權(quán)，較之BP網(wǎng)絡(luò)，訓(xùn)練速度提升了千百倍，現(xiàn)已在很多領(lǐng)域中取得了成功應(yīng)用。然而PG網(wǎng)絡(luò)的訓(xùn)練方法仍沿用經(jīng)典的神經(jīng)網(wǎng)絡(luò)，沿用RBF網(wǎng)絡(luò)訓(xùn)練方法，用“平面原型”聚類代替換“點(diǎn)原型”聚類，都有著清晰的幾何解釋。依據(jù)隨機(jī)投影理論，ELM的網(wǎng)絡(luò)的構(gòu)造權(quán)向量(矩陣)及閾值隨機(jī)選擇方法，提出了PG網(wǎng)絡(luò)隨機(jī)版本RandPG，期望該方法一樣能夠大幅度提高PG網(wǎng)絡(luò)的訓(xùn)練速度，下文中將從測(cè)試精度和訓(xùn)練時(shí)間兩個(gè)方面，測(cè)試RandPG的真實(shí)性能。

3 實(shí)驗(yàn)驗(yàn)證

實(shí)驗(yàn)數(shù)據(jù)分為兩個(gè)部分：一是人工數(shù)據(jù)，用于驗(yàn)證PG和RandPG網(wǎng)絡(luò)的幾何特征，數(shù)據(jù)采用人工生成平面型分布數(shù)據(jù)；二是國(guó)際標(biāo)準(zhǔn)的網(wǎng)絡(luò)流數(shù)據(jù)集。因?yàn)镽andPG算法思想來(lái)自于PG網(wǎng)絡(luò)，激活函數(shù)參數(shù)的隨機(jī)選擇方式與ELM相同，因此，將ELM和PG網(wǎng)絡(luò)作為實(shí)驗(yàn)參照對(duì)象。如前文所述，期望在測(cè)試精度相當(dāng)?shù)那疤嵯?，能夠提高PG型網(wǎng)絡(luò)的學(xué)習(xí)速度。評(píng)價(jià)指標(biāo)主要有兩個(gè)：測(cè)試精度和訓(xùn)練時(shí)間，考慮到模型是否存在欠學(xué)習(xí)問(wèn)題，把訓(xùn)練精度和測(cè)試時(shí)間也一并列入評(píng)價(jià)指標(biāo)。

3.1 人工數(shù)據(jù)集

兩類的人工數(shù)據(jù)集PlaneLine，數(shù)據(jù)分布如圖1所示，共有200個(gè)樣本，3維，分別抽樣于相互交叉的直線(標(biāo)記為“+”)和平面(記為“°”)，其中，直線分布的樣本抽樣于線段z1=(10z2)/17=(-10z3)/17,z1∈[-3,4]，取100個(gè)樣本并在第二、三維分量上注入均勻分布噪聲，大小為[-0.3, 0.3]。平面分布的樣本抽樣于矩形區(qū)域z1+z2+z3+1=0，z1∈[-3,3]，z2∈[-2,3]，抽取100個(gè)樣本點(diǎn)，并在第三維分量上加入均勻分布噪聲，范圍為[-0.3, 0.3]，zi是第i維分量。

PlaneLine數(shù)據(jù)集，隨機(jī)選擇一半為訓(xùn)練集，剩下一半為測(cè)試集，重復(fù)50次，取平均結(jié)果。因數(shù)據(jù)量小，訓(xùn)練時(shí)間上看不出顯著差異。PG的訓(xùn)練和測(cè)試精度均在95%以上，RandPG次之，而ELM的測(cè)試精度僅為86%。值得一提的是，ELM和PG網(wǎng)絡(luò)的隱節(jié)點(diǎn)數(shù)可以自由選擇，而RandPG的隱節(jié)點(diǎn)數(shù)對(duì)應(yīng)類別個(gè)數(shù)，因而是固定值。

圖1 人工數(shù)據(jù)集PlaneLine分布示意圖

3.2 網(wǎng)絡(luò)流數(shù)據(jù)

本數(shù)據(jù)來(lái)源于倫敦瑪麗女王大學(xué)的計(jì)算機(jī)科學(xué)研究組[10]，是通過(guò)高性能網(wǎng)絡(luò)監(jiān)視器收集得來(lái)的，匯集了約1 000個(gè)用戶連接互聯(lián)網(wǎng)的研究設(shè)備，采用全雙工千兆比特以太網(wǎng)鏈接連接互聯(lián)網(wǎng)。該網(wǎng)絡(luò)流數(shù)據(jù)共包括10個(gè)數(shù)據(jù)集，每條記錄有249項(xiàng)特征屬性。以24h為時(shí)間單位，記錄該時(shí)段內(nèi)進(jìn)出設(shè)備(全雙工)的數(shù)據(jù)包記錄，并記入10個(gè)文本文件中。表1簡(jiǎn)要描述其特征屬性。10個(gè)數(shù)據(jù)集，類別數(shù)不完全一樣。每條記錄對(duì)應(yīng)不同的網(wǎng)絡(luò)應(yīng)用，分為WWW、EMAIL、TCP、GAME等10多個(gè)類別。

由于三種方法中都需要計(jì)算矩陣偽逆，其階數(shù)等于訓(xùn)練樣本個(gè)數(shù)，所以批處理方式的樣本訓(xùn)練集不宜過(guò)大，否則會(huì)導(dǎo)致實(shí)驗(yàn)上計(jì)算內(nèi)存不足的問(wèn)題，因此本節(jié)實(shí)驗(yàn)的訓(xùn)練集規(guī)模采用樣本集的百分比表示，從訓(xùn)練集的20%開(kāi)始，直到訓(xùn)練樣本數(shù)達(dá)到50%為止，記錄三種方法的訓(xùn)練精度、測(cè)試精度、訓(xùn)練時(shí)間、測(cè)試時(shí)間，時(shí)間單位采用CPUTIME，限于篇幅，僅列出50%時(shí)的實(shí)驗(yàn)結(jié)果。由于RandPG無(wú)需選擇隱節(jié)點(diǎn)數(shù)，為公平比較，實(shí)驗(yàn)中，將三種網(wǎng)絡(luò)的隱節(jié)點(diǎn)個(gè)數(shù)設(shè)置為相等。實(shí)驗(yàn)重復(fù)50輪，結(jié)果取平均，訓(xùn)練時(shí)間是計(jì)算每種方法的50次平均時(shí)間。

表1 網(wǎng)絡(luò)數(shù)據(jù)流屬性描述

表2中的數(shù)據(jù)是在固定了隱層節(jié)點(diǎn)數(shù)(節(jié)點(diǎn)數(shù)等于類別數(shù))情況下的實(shí)驗(yàn)結(jié)果。

表2 網(wǎng)絡(luò)流數(shù)據(jù)的實(shí)驗(yàn)結(jié)果

從表2的實(shí)驗(yàn)結(jié)果可知，PG網(wǎng)絡(luò)的精度高于ELM和RandPG，由文獻(xiàn)[7]可知，在已知類別數(shù)下，PG網(wǎng)絡(luò)激活函數(shù)的參數(shù)由kPC聚類算法獲得，較之隨機(jī)選取更為可靠，但其訓(xùn)練時(shí)間卻是另外兩種方法的百千倍，而模型訓(xùn)練完成以后的測(cè)試時(shí)間，三者差別并不明顯。隨機(jī)權(quán)值選擇上，ELM和RandPG方法，大多數(shù)網(wǎng)絡(luò)流數(shù)據(jù)結(jié)果中，RandPG要略弱于ELM方法，本質(zhì)問(wèn)題可能出現(xiàn)在激活函數(shù)平面參數(shù)選擇上。PG網(wǎng)絡(luò)中kPC計(jì)算得出的參數(shù)具有明顯的幾何解釋，即按平面擬合本類樣本的方式獲得，在迭代完成后，所得的擬合平面一定程度上更能反映出代表該類的樣本的能力，實(shí)驗(yàn)效果上應(yīng)該優(yōu)于RandPG的隨機(jī)選擇方法。在實(shí)驗(yàn)過(guò)程中，也發(fā)現(xiàn)了一種現(xiàn)象，50輪中偶爾會(huì)出現(xiàn)分類精度優(yōu)于PG的情況，但在報(bào)告的平均結(jié)果中此現(xiàn)象被淹沒(méi)了。對(duì)此現(xiàn)象的解釋可能是局部最優(yōu)解的問(wèn)題，kPC算法的初始聚類平面是隨機(jī)產(chǎn)生的，迭代過(guò)程中僅能保證次優(yōu)，存在陷入局部最小解問(wèn)題；而RandPG采用隨機(jī)方法產(chǎn)生平面參數(shù)，有可能跳出局部最小解的限制。ELM算法與PG網(wǎng)絡(luò)一樣，每一輪的迭代過(guò)程中，分類精度都比較平穩(wěn)，但RandPG變化幅度較大，此處報(bào)告的平均結(jié)果(為了符合實(shí)驗(yàn)結(jié)果匯報(bào)習(xí)慣)，在50輪的迭代過(guò)程中，至少有一半的分類精度應(yīng)該高于此外報(bào)告的結(jié)果。另一方面，盡管也有研究結(jié)果表明，神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中更應(yīng)該關(guān)注網(wǎng)絡(luò)結(jié)構(gòu)而不是隱節(jié)點(diǎn)個(gè)數(shù)[11]，然而，在實(shí)驗(yàn)過(guò)程中，特別是對(duì)類別數(shù)較少情形，隱節(jié)點(diǎn)的個(gè)數(shù)對(duì)分類精度的影響仍然嚴(yán)重。

4 結(jié)語(yǔ)

在網(wǎng)絡(luò)流數(shù)據(jù)的多分類任務(wù)中，神經(jīng)網(wǎng)絡(luò)方法具有獨(dú)特優(yōu)勢(shì)，如它可以直接實(shí)現(xiàn)多分類任務(wù)，且無(wú)分類盲區(qū)，這些特點(diǎn)是擴(kuò)充版本的二分類方法無(wú)法比擬的。本文提出了一種隨機(jī)的基于PG神經(jīng)網(wǎng)絡(luò)的分類方法，以提高PG網(wǎng)絡(luò)的訓(xùn)練速度。平面型數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果表明，相對(duì)于PG網(wǎng)絡(luò)，RandPG網(wǎng)絡(luò)不需要聚類，明顯縮短了訓(xùn)練時(shí)間；RandPG網(wǎng)絡(luò)一定程序上也繼承了PG網(wǎng)絡(luò)的適用于平面型數(shù)據(jù)分類的特性。此外，由于RandPG存在諸如無(wú)需選擇隱節(jié)點(diǎn)個(gè)數(shù)、訓(xùn)練速度快、可突破局部最小解限制等優(yōu)點(diǎn)，該方法在網(wǎng)絡(luò)流數(shù)據(jù)分類任務(wù)中，仍值得推崇。

References)

[1] ZHANG J, XIANG Y, WANG Y, et al. Network traffic classification using correlation information . IEEE Transactions on Parallel and Distributed Systems, 2013, 24(1): 104-117.

[2] 趙國(guó)鋒，吉朝明，徐川.Internet流量識(shí)別技術(shù)研究.小型微型計(jì)算機(jī)系統(tǒng),2010,31(8):1514-1520.(ZHAO G F, JI C M, XU C. Survey of techniques for Internet traffic identification . Journal of Chinese Computer Systems, 2010, 31(8): 1514-1520.)

[3] YAN Z, TRACY C, VEERARAGHAVAN M, et al. A network management system for handling scientific data flows . Journal of Network and Systems Management, 2016, 24(1): 1-33.

[4] ALSHAMMARI R, ZINCIR-HEYWOOD A N. How robust can a machine learning approach be for classifying encrypted VoIP . Journal of Network and Systems Management, 2015, 23(4): 830-869.

[5] FRANCFORT S, LIU T, GHAFARI J, et al. Extreme learning machines for Internet traffic classification〖.16- 01- 02〗. https://www.researchgate.net/publication/261985712_Extreme_Learning_Machines_for_Internet_Traffic_Classification.

[6] HUANG G B, CHEN L, SIEW C K. Universal approximation using incremental constructive feedforward networks with random hidden nodes . IEEE Transactions on Neural Networks, 2006, 17(4): 879-892.

[7] HUANG G B. What are extreme learning machines? Filling the gap between Frank Rosenblatt’s dream and John von Neumann’s puzzle . Cognitive Computation, 2015, 7(3): 263-278.

[8] YANG X, CHEN S, CHEN B. Plane-Gaussian artificial neural network . Neural Computing and Applications, 2012, 21(2): 305-317.

[9] BRADLEY P S, MANGASARIAN O L.k-plane clustering . Journal of Global Optimization, 2000, 16(1): 23-32.

[10] MOORE A, ZUEV D, CROGAN M. Discriminators for use in flow-based classification 〖16- 02- 03〗. https://qmro.qmul.ac.uk/xmlui/bitstream/handle/123456789/5050/RR-05-13.pdf?sequence=1.

[11] BARTLETT P L. The sample complexity of pattern classification with neural networks: the size of the weights is more important than the size of the network . IEEE Transactions on Information Theory, 1998, 44(2): 525-536.

This work is partially supported by the National Natural Science Foundation of China (61375057) and Top-notch Academic Programs Project of Jiangsu Higher Education Institutions (TAPP).

YANG Xubing, born in 1973, Ph. D., associate professor. His research interests include pattern recognition, neural computation.

FENG Zhe, born in 1992, M. S. candidate. Her research interests include pattern recognition, neural computation.

GU Yifan, born in 1996. His research interest includes data analysis.

XUE Hui, born in 1979, Ph. D., associate professor. Her research interests include artificial intelligence.

Network traffic classification based on Plane-Gaussian artificial neural network

YANG Xubing1*, FENG Zhe1, GU Yifan1, XUE Hui2

(1.CollegeofInformationScienceandTechnology,NanjingForestryUniversity,NanjingJiangsu210037,China; 2.SchoolofComputerScienceandEngineering,SoutheastUniversity,NanjingJiangsu210096,China)

Aiming at the problems of network flow monitoring (classification) in complex network environment, a stochastic artificial neural network learning method was proposed to realize the direct classification of multiple classes and improve the training speed of learning methods. Using Plane-Gaussian (PG) artificial neural network model, the idea of stochastic projection was introduced, and the network connection matrix was obtained by calculating the pseudo-inverse analysis. Theoretically, it can be proved that the network has global approximation ability. The artificial simulation was carried out on artificial data and standard network flow monitoring data. Compared with the Extreme Learning Machine (ELM) and PG network using the random method, the analysis and experimental results show that: 1)the proposed method inherits the geometric characteristics of the PG network and is more effective for the planar distributed data; 2)it has comparable training speed to ELM, but significantly faster than PG network; 3)among the three methods, the proposed method is more suitable for solving the problem of network flow monitoring.

Plane-Gaussian (PG) artificial neural network; Extreme Learning Machine (ELM); random projection; global approximation; recognition accuracy

2016- 07- 25;

2016- 08- 02。

國(guó)家自然科學(xué)基金資助項(xiàng)目(61375057)；江蘇高校品牌專業(yè)建設(shè)工程資助項(xiàng)目。

楊緒兵(1973—)，男，安徽六安人，副教授，博士，主要研究方向：模式識(shí)別、神經(jīng)計(jì)算； 馮哲(1992—)，女，江蘇常州人，碩士研究生，主要研究方向：模式識(shí)別、神經(jīng)計(jì)算； 顧一凡(1996—)，男，江蘇無(wú)錫人，主要研究方向：數(shù)據(jù)分析； 薛暉(1979—)，女，江蘇南京人，副教授，博士，主要研究方向：人工智能。

1001- 9081(2017)03- 0782- 04

10.11772/j.issn.1001- 9081.2017.03.782

TP391.4

A