唐建海

(重慶醫(yī)科大學附屬第一醫(yī)院，重慶 400016)

網(wǎng)絡(luò)安全趨勢數(shù)據(jù)挖掘過程中，經(jīng)常出現(xiàn)大量空值或者缺失的情況，對其進行深度挖掘有助于揭示數(shù)據(jù)中包含的信息與關(guān)聯(lián)，獲取潛在信息[1-2]。在相關(guān)研究中，文獻[3]提出了快速頻繁項集挖掘算法。利用AHT-growth算法快速定位節(jié)點，實現(xiàn)頻繁項集挖掘。此方法有效縮短了執(zhí)行時間，但算法所占內(nèi)存問題仍需要進一步優(yōu)化。文獻[4]提出了基于關(guān)聯(lián)規(guī)則的大數(shù)據(jù)挖掘方法。該方法適用于密集數(shù)據(jù)集，改進的E-SLMCM算法可以在遍歷數(shù)據(jù)庫較少次數(shù)下，轉(zhuǎn)變數(shù)據(jù)庫為垂直格式并記錄時間戳，從而節(jié)省了計算用時。但在并行處理大數(shù)據(jù)方面有待提高運算效率。文獻[5]針對稀疏空間數(shù)據(jù)進行上下文離群點挖掘，為減少計算節(jié)點共享與訪問數(shù)據(jù)帶來的I/O開銷，設(shè)計并行離群點挖掘計算框架，進行數(shù)據(jù)約簡、局部稀疏子空間構(gòu)造和稀疏子空間驗證之間的并行計算，從而提高了運行效率。但該方法在多個數(shù)據(jù)節(jié)點挖掘數(shù)據(jù)時，容易發(fā)生數(shù)據(jù)傾斜從而導致系統(tǒng)負載不均衡的問題。

針對上述分析，為了進一步完善網(wǎng)絡(luò)安全趨勢大數(shù)據(jù)挖掘方法，利用Hadoop平臺篩選網(wǎng)絡(luò)安全趨勢大數(shù)據(jù)，重新確定聚類質(zhì)心，引入改進K-均值大數(shù)據(jù)挖掘算法，以實現(xiàn)網(wǎng)絡(luò)安全趨勢大數(shù)據(jù)的深度挖掘。

1 網(wǎng)絡(luò)安全趨勢大數(shù)據(jù)深度挖掘算法

1.1 網(wǎng)絡(luò)安全趨勢大數(shù)據(jù)篩選

考慮網(wǎng)絡(luò)安全趨勢大數(shù)據(jù)信息缺失的情況，根據(jù)Hadoop平臺中的數(shù)據(jù)讀取機制(Hadoop Distributed File System，簡稱HDFS)。通過網(wǎng)絡(luò)安全趨勢大數(shù)據(jù)特征的篩選，排除了信息極端不完整數(shù)據(jù)和空值數(shù)據(jù)，便于重新確定數(shù)據(jù)聚類質(zhì)心。

為了提高篩選數(shù)據(jù)的過濾性，提高后續(xù)網(wǎng)絡(luò)安全趨勢大數(shù)據(jù)深度挖掘的速度，需要評估網(wǎng)絡(luò)安全趨勢大數(shù)據(jù)覆蓋節(jié)點行為，以確定數(shù)據(jù)特征。假設(shè)服務(wù)器節(jié)點i的性能為Yi，則可利用下列函數(shù)描述服務(wù)器節(jié)點性能：

(1)

式中：參數(shù)a、b、c為各個指標對服務(wù)器性能的不同影響權(quán)重；Fi為CPU性能；Ni為內(nèi)存性能；Pi為磁盤I/O性能。在Hadoop平臺中運行作業(yè)，根據(jù)計算結(jié)果評估網(wǎng)絡(luò)安全趨勢大數(shù)據(jù)覆蓋節(jié)點，校驗并修正。當平臺一次運行時，用R為運行任務(wù)總數(shù)，Ri為節(jié)點i完成的運行任務(wù)數(shù)量?？紤]到Hadoop平臺處理的數(shù)據(jù)大小一致，因此Ri也表示一次運行時需要處理的數(shù)據(jù)量的大小。根據(jù)上述分析，驗證式(2)是否成立。

(2)

式中：j為與節(jié)點i相鄰的不同節(jié)點。當任意兩個不同節(jié)點的評估結(jié)果成立時，則表明節(jié)點性能對于Hadoop平臺是可以信賴的。

但由于無法精準得到方程中第一組公式等號兩邊的精準值，因此設(shè)置一個容忍度閾值λ，令λ=5%，將誤差范圍控制在5%以內(nèi)。則式(2)在重新定義后的計算方程為

(3)

當節(jié)點評估結(jié)果滿足該條件時，排除數(shù)據(jù)為信息極端不完整數(shù)據(jù)和空值數(shù)據(jù)，選擇可用來重新計算聚類質(zhì)心的網(wǎng)絡(luò)覆蓋節(jié)點[6]。設(shè)網(wǎng)絡(luò)中各個覆蓋節(jié)點數(shù)據(jù)大小的波動幅度為q，則需滿足式(4)：

(4)

式中：n為網(wǎng)絡(luò)節(jié)點總數(shù)；P1,P2,…,Pn為每一節(jié)點的數(shù)據(jù)量大??；Y1,Y2,…,Yn為各個節(jié)點對應(yīng)的性能評估結(jié)果；PR為Hadoop平臺可處理的數(shù)據(jù)大小。通過上述過程評估節(jié)點性能，修正節(jié)點誤差，并根據(jù)式(4)的計算所得，選擇精準性更高的網(wǎng)絡(luò)安全趨勢大數(shù)據(jù)覆蓋節(jié)點，完成了數(shù)據(jù)的篩選。

1.2 確定質(zhì)心改進大數(shù)據(jù)挖掘算法

根據(jù)上述篩選數(shù)據(jù)結(jié)果，重新確定聚類質(zhì)心，便于后續(xù)深度挖掘網(wǎng)絡(luò)安全趨勢大數(shù)據(jù)。這一過程通過K-均值算法實現(xiàn)[7]，即利用全部網(wǎng)絡(luò)安全趨勢大數(shù)據(jù)的平均值，作為聚類結(jié)果中各個簇的質(zhì)心點，圖1為該算法的質(zhì)心確定示意圖。

根據(jù)圖1可知，網(wǎng)絡(luò)安全趨勢大數(shù)據(jù)覆蓋節(jié)點之間相互重疊、滲透、深入，而得到的質(zhì)心卻存在較大的偏離量。因此根據(jù)重新選擇的網(wǎng)絡(luò)安全趨勢大數(shù)據(jù)覆蓋節(jié)點，重新確定聚類質(zhì)心[8]。假設(shè)任意兩個節(jié)點用Ai和Aj表示，zs用于表示s個聚類簇區(qū)域，則任意節(jié)點之間的距離為

圖1 大數(shù)據(jù)挖掘算法質(zhì)心聚類結(jié)果

(5)

式中：d為節(jié)點之間的距離；m為數(shù)據(jù)維度。則根據(jù)上述計算，確定質(zhì)心的計算公式為

(6)

式中：Ei為生成的i個簇；ei為簇Ei的質(zhì)心[9-10]。根據(jù)上述計算結(jié)果，重新獲取大數(shù)據(jù)挖掘算法的聚類質(zhì)心，以此改進大數(shù)據(jù)挖掘中的K-均值算法，該改進過程為：

根據(jù)Hadoop平臺給定的網(wǎng)絡(luò)覆蓋節(jié)點數(shù)據(jù)，利用質(zhì)心ei生成一個全新的Canopy集合，此時由于全部數(shù)據(jù)需要最少位于Canopy且數(shù)據(jù)點不歸附于同一個簇，因此只需要計算其與質(zhì)心ei的間距，根據(jù)就近原則將數(shù)據(jù)歸入相應(yīng)的Canopy集合中，令簇不堆疊。迭代產(chǎn)生的新簇，統(tǒng)計質(zhì)心獲得的網(wǎng)絡(luò)覆蓋最遠趨勢數(shù)據(jù)，直至算法收斂。

1.3 網(wǎng)絡(luò)安全趨勢大數(shù)據(jù)并行化深度挖掘

將改進后的K-均值挖掘算法，與Hadoop環(huán)境并行化處理。以CSV的文件格式，將網(wǎng)絡(luò)安全趨勢大數(shù)據(jù)存儲于Hadoop分布式文件系統(tǒng)中，并初始化類[11]。根據(jù)改進后的K-均值大數(shù)據(jù)挖掘算法，確定聚類個數(shù)并初始化聚類中心，然后將待執(zhí)行任務(wù)發(fā)送到選擇的網(wǎng)絡(luò)安全趨勢大數(shù)據(jù)覆蓋節(jié)點中；格式化分布式文件系統(tǒng)中的數(shù)據(jù)；逐行掃描覆蓋節(jié)點內(nèi)的數(shù)據(jù)樣本，同時完成其與當前網(wǎng)絡(luò)中多個質(zhì)心之間的計算，找到最近質(zhì)心點，并標記為K。再重新構(gòu)造鍵值對，同為格式化的內(nèi)容[12]。在數(shù)據(jù)清洗階段，數(shù)據(jù)挖掘算法將利用公式(7)，給出中K的哈希取值：

Reduce=Hash(K)

(7)

式中：Reduce為大數(shù)據(jù)挖掘算法的分割結(jié)果；Hash為哈希函數(shù)。將該分割結(jié)果作為分配記錄，將數(shù)據(jù)分配到Hadoop平臺中指定的Reduce端，可以開始并行化處理。在所有Reduce端，構(gòu)造、合并來自清洗階段的數(shù)據(jù)，其構(gòu)造后的表現(xiàn)形式為>。該鍵對將同一個分類的數(shù)據(jù)點連在一起，便于結(jié)果輸出。最后Reduce默認有排序機制，將數(shù)據(jù)按照體量順序進行排列[13]。當非負代價函數(shù)的值穩(wěn)定不變時，說明聚類階段已經(jīng)完成，并重復上述過程完成數(shù)據(jù)排列。根據(jù)上述流程，實現(xiàn)改進K-均值算法與Hadoop的并行化處理。

而網(wǎng)絡(luò)安全趨勢大數(shù)據(jù)的MapReduce階段，則根據(jù)上述數(shù)據(jù)挖掘流程，獲取網(wǎng)絡(luò)安全趨勢大數(shù)據(jù)覆蓋的效果圖。為每一個網(wǎng)絡(luò)覆蓋區(qū)域的數(shù)據(jù)分片，用S1,S2,…,Sn表示。已知Sn從數(shù)據(jù)塊中產(chǎn)生，數(shù)據(jù)分片Sn的個數(shù)決定數(shù)據(jù)覆蓋密度，而數(shù)據(jù)分片Sn的個數(shù)n的取值，依賴于數(shù)據(jù)塊的數(shù)量和大小[14]。已知一個數(shù)據(jù)塊可以分割為若干個數(shù)據(jù)分片，則可以利用式(8)，計算數(shù)據(jù)分片個數(shù)。

(8)

式中：μ為數(shù)據(jù)塊大??；g為數(shù)據(jù)塊數(shù)目。根據(jù)該數(shù)量，獲取完整的數(shù)據(jù)覆蓋密度。MapReduce的數(shù)據(jù)處理端將輸出結(jié)果傳輸?shù)絉educe端，該步驟參考式(7)[15]。至此實現(xiàn)基于Hadoop平臺的網(wǎng)絡(luò)安全趨勢大數(shù)據(jù)深度挖掘算法。

2 仿真實驗

通過仿真實驗，驗證算法挖掘網(wǎng)絡(luò)覆蓋數(shù)據(jù)時的可靠程度，并討論該算法與文獻[3]和文獻[4]兩種大數(shù)據(jù)挖掘算法挖掘時，選擇的網(wǎng)絡(luò)節(jié)點覆蓋率。為區(qū)分實驗測試結(jié)果，將此次研究的算法作為實驗組，將文獻[3]和文獻[4]算法作為對照A組和對照B組。測試過程中選擇網(wǎng)絡(luò)節(jié)點覆蓋率、查全率以及查準率作為測試指標，并設(shè)置三組不同的實驗測試環(huán)境。

2.1 實驗準備

此次實驗在Matlab R2018a中完成，具體參數(shù)設(shè)置如表1所示。

表1 仿真實驗測試參數(shù)

根據(jù)表1設(shè)置的實驗測試條件，分別利用三種不同的算法開始實驗。實驗共分為3組進行，第一組中，節(jié)點數(shù)量為0～50。已知仿真實驗測試下，三種算法均顯示了網(wǎng)絡(luò)覆蓋效果以及節(jié)點選擇結(jié)果。

2.2 網(wǎng)絡(luò)節(jié)點覆蓋率

當網(wǎng)絡(luò)覆蓋趨勢中的節(jié)點數(shù)量為50時，三種算法得到的網(wǎng)絡(luò)覆蓋趨勢節(jié)點挖掘結(jié)果，如圖2所示。

圖2 三種方法的網(wǎng)絡(luò)覆蓋趨勢節(jié)點挖掘結(jié)果(N=0～50)

根據(jù)上述實驗測試結(jié)果可知，面對相同數(shù)量的網(wǎng)絡(luò)覆蓋節(jié)點，實驗組中的大數(shù)據(jù)挖掘算法，均可以利用重新計算得到的質(zhì)心，將這些預設(shè)節(jié)點挖掘出來，準確率達到98%，形成與網(wǎng)絡(luò)覆蓋趨勢高度相似的挖掘反饋結(jié)果。對照A組和對照B組中的兩組對比挖掘算法，通過多次挖掘，得到的網(wǎng)絡(luò)覆蓋節(jié)點大面積堆疊、交叉，其挖掘結(jié)果與網(wǎng)絡(luò)覆蓋趨勢的差異性極大，不能完全反饋網(wǎng)絡(luò)覆蓋趨勢的變化趨勢，只能體現(xiàn)局部網(wǎng)絡(luò)覆蓋特征。

為更好地顯示三組算法的結(jié)果差異，計算三種算法的節(jié)點覆蓋率，表2所示為覆蓋率統(tǒng)計結(jié)果。

表2 算法覆蓋率統(tǒng)計結(jié)果

比較表2中的統(tǒng)計數(shù)據(jù)可知，在擴大覆蓋節(jié)點后，實驗組中的算法獲取超過95%的覆蓋節(jié)點；而對照組并沒有因為節(jié)點數(shù)量增加而大幅度提高挖掘節(jié)點覆蓋率，與實驗組相比，其節(jié)點最大覆蓋率低于70%。綜合上述實驗測試結(jié)果可知，此次研究的算法可以得到更大范圍的覆蓋節(jié)點，以此獲取網(wǎng)絡(luò)安全趨勢大數(shù)據(jù)。

2.3 查全率與查準率對比

為了進一步驗證此次設(shè)計的方法網(wǎng)絡(luò)安全趨勢大數(shù)據(jù)挖掘的效率，對比文獻[3]與文獻[4]方法的查全率與查準率。將實驗結(jié)果對比用直方圖表示，直觀對比三種方法的性能，具體如圖3和圖4所示。

圖3 三種方法的查全率對比

圖4 三種方法的查準率對比

對比圖3和圖4可得，在查全率方面，實驗組方法在數(shù)據(jù)量小于2 000 MB時，算法的性能優(yōu)于對照組的兩組方法，當數(shù)據(jù)量為2 500 MB時，實驗組方法較實驗B組小2.39%。在查準率方面，實驗組方法的性能均高于其他兩種算法，查準率最高達到98.63%。

3 結(jié) 語

此次研究的網(wǎng)絡(luò)安全趨勢大數(shù)據(jù)挖掘算法，充分利用了Hadoop平臺的功能特征，根據(jù)更加精準的質(zhì)心選擇網(wǎng)絡(luò)安全趨勢大數(shù)據(jù)覆蓋節(jié)點，挖掘其中的可靠信息。通過多組實驗測試可以看出，網(wǎng)絡(luò)覆蓋面積越大時，其中的覆蓋節(jié)點越多，查全率與查準率的性能也較高，此次研究的算法應(yīng)用效果較理想。但該算法在查全率仍存在一定局限性，今后的研究應(yīng)該將算法與其他類型的平臺相連接，實現(xiàn)全新的大數(shù)據(jù)挖掘。