肖錚+董祥千+趙文革

摘 要： 針對傳統(tǒng)調度方法一直存在調度精度不準確的問題，提出一種Web網絡大數據的聚類中心調度技術的研究方案。針對Web網絡大數據重新建立調度模型有效的對數據進行識別，優(yōu)化聚類中心的K?means算法，解決對大數據調度能力差的問題，提高聚類中心的大數據調度能力，最后使用建立調度模型完成在Web網絡大數據環(huán)境下的聚類中心數據調度。設計對比仿真試驗，通過實驗數據可以有效地證明Web網絡大數據的聚類中心調度技術的有效性。

關鍵詞： Web網絡大數據； 聚類中心； 調度技術； 數據識別； 數據調度

中圖分類號： TN711?34； TP391.3 文獻標識碼： A 文章編號： 1004?373X（2017）24?0025?03

Abstract： In allusion to the problem of the inaccurate scheduling precision of the traditional scheduling method， a research scheme of clustering center scheduling technology for Web network big data is proposed. The Web network big data scheduling model is reconstructed for effective data recognition. The K?means algorithm in clustering center is optimized to resolve the problem of poor big data scheduling capability and improve the big data scheduling capability in clustering center. The constructed scheduling model is employed to accomplish the data scheduling of clustering center in the Web network big data environment. The contrast simulation experiment was carried out. The experimental data effectively demonstrates the validity of the clustering center scheduling technology for Web network big data.

Keywords： Web network big data； clustering center； scheduling technology； data identification； data scheduling

0 引 言

互聯網時代的快速崛起，在網絡上信息傳遞的數量已經出現井噴式的爆發(fā)，許多依附互聯網的產業(yè)應運而生[1?2]。聚類中心是對數據進行系統(tǒng)分類以及統(tǒng)計調用網絡應用層的關鍵設置[3?4]。聚類中心能夠在Web網絡環(huán)境中進行數據的系統(tǒng)分析篩選，通過不同信道將信息劃分成若干個簇族，這樣方便對海量信息進行汲取分類，保證了數據的有效性同時完成了對數據調度任務[5?6]。傳統(tǒng)的聚類中心對大數據進行調度是通過數據屬性篩選提取進行調度的，這樣的方法雖然調度準確率極高但是調度時間很長，在數據量增長以平方計算的今天，此方法已經不能滿足人們的正常需求[7?8]。針對上述情況，本文提出一種Web網絡大數據的聚類中心調度技術研究方案。還設計了對比仿真試驗，通過實驗數據的分析有效地證明了本文研究的Web網絡大數據的聚類中心調度技術的有效性。

1 聚類中心調度技術的設計方案

本文針對聚類中心數據調度技術進行一定的有效設計，主要針對調度的數據模型進行有效的研發(fā)，調度數據模型是對大數據進行篩選、分類、簇族選取的關鍵所在，其中優(yōu)化數據調用算法也是節(jié)省時間的有效手段。本文在調度數據模型的設計過程中，對其中的K?means算法進行了有效的優(yōu)化，這樣可以提高數據的分配同時加強管理調用的能力。最后通過調用模型完成了在Web網絡下的大數據調用。其調度數據的流程圖如圖1所示。

1.1 大數據調度模型的建立

Web網絡環(huán)境下的大數據首先需要進行標注篩選，這樣能夠有效地提高本文設計調度模型抗數據干擾能力，但是由于簇族劃分過程中會出現數據波動，還需要對調度模型進行系統(tǒng)條件篩選：

式中：為簇族劃分熵函數；為大數據的可信度；為篩選預處理結果；為預處理過程系數；表示簇族的類比屬性集合。

經過篩選過后的大數據需要進行簇族的分類，分類后的數據才可以進入調度模型中進行系統(tǒng)的調用。過程如下：

式中：表示經過分類后的大數據；為簇族分類的路徑標注碼。經簇族分類的大數據便可進行調度：

式中：代表大數據的波動能力；表示大數據的最小波動能力。調度的過程中需要進行一定的條件限制，限制的目的是保證調度的準確性，過程如下：

式中，為大數據屬性有效值。經過上述條件的限制能夠保證模型的調度準確率，也進一步完成了調度模型。

1.2 優(yōu)化聚類中心的K?means算法

本文對聚類中心K?means算法進行了優(yōu)化，K?means算法是針對獨立的大數據進行有效選取計算方法。K?means算法中大數據必須經過預處理才能夠進行K?means計算，大數據預處理[9]公式為：

式中：P為大數據運行參數；為大數據差值轉換屬性；表示大數據差值轉換用時。經預處理后大數據便可進行K?means計算，如下：endprint

式中：表示K?means算法的調用常數，一般是在[100，150]值域范圍內；表示大數據的極限調用屬性；表示能夠平復的能力數據屬性。通過K?means計算過后有效地縮短了計算的步驟，簡化了調用時間，同時避免了數據波動的產生[10]。

2 仿真實驗分析

2.1 參數設定

為了保證設計的Web網絡大數據的聚類中心調度技術的有效性，對參數進行設定，調用常數選擇在[100，150]值域范圍之內；設置熵變函數的表達值為18.5。設置與的分類項分別為：

設置實驗參數如表1所示。

2.2 結果分析

實驗對比過程中，主要以基礎分析、調度時間及調度準確率為指標進行對比分析。其中基礎分析主要通過最大調度距離、平均調度距離為指標對其調度距離進行分析：

式中：為兩個所需調度數據和之間的距離；為數據類中所要調度的數據量；為數據類中所要調度的數據量。實驗結果如表2所示。

分析表2結果得知，本文提出的Web網絡大數據的聚類中心調度技術能夠在Web環(huán)境下進行長距離的大數據調度。本文提出的Web網絡大數據的聚類中心調度技術在最大調度距離上比傳統(tǒng)的調度方法增加了30 m，同時平均調度距離大于傳統(tǒng)調度方法30 m。上述數據表明本文提出的方法能夠進行更快更長距離的大數據調度。調度時間和調度準確率如圖2、圖3所示。

分析圖2結果得知，傳統(tǒng)的調度方法所需的時間明顯要多于本文提出的調度方法。分析圖3結果得知，本文提出的Web網絡大數據的聚類中心調度技術能夠保證較高的調度準確率，同時沒有隨著數據的變化產生浮動。

3 結 語

本文提出一種Web網絡大數據的聚類中心調度技術的研究方案。針對Web網絡大數據進行調度模型的建立，重新建立的調度模型能夠有效的對數據進行識別。特別是大數據的識別，有效地避免了數據干擾、數據混亂的發(fā)生，優(yōu)化了聚類中心中的K?means算法，解決了對大數據調度能力差的問題，提高了聚類中心的調度能力。最后使用建立的調度模型完成在Web網絡大數據環(huán)境下的聚類中心數據調度。希望通過本文的研究能夠提高聚類中心對大數據的調度能力。

參考文獻

[1] 陳珂，柯文德，許波.一種基于增量式時間序列和最佳任務調度的Web數據聚類算法[J].現代電子技術，2016，39（14）：4?8.

[2] 王向華，陳特放，張必明，等.基于時間序列和任務調度的Web數據聚類算法[J].計算機工程與應用，2016，52（9）：159?163.

[3] 張曉，王紅.一種改進的基于大數據集的混合聚類算法[J].計算機工程與科學，2015，37（9）：1621?1626.

[4] 王海巍.我國險企運營中道德風險甄別問題研究：以大數據Hadoop聚類分析技術為視角[J].保險研究，2016（2）：59?67.

[5] 廖律超，蔣新華，鄒復民，等.一種支持軌跡大數據潛在語義相關性挖掘的譜聚類方法[J].電子學報，2015（5）：956?964.

[6] 王晨，李耀庭.大數據大數據視閾下檔案學研究的困境和啟示：基于CNKI檔案類期刊的共詞聚類分析[J].北京檔案，2016（6）：14?17.

[7] 高繼平，馬崢，潘云濤，等.大數據領域代表性專家識別與分析：文獻計量學視角[J].科技管理研究，2016，36（16）：177?182.

[8] 周潤物，李智勇，陳少淼，等.CCF BigData 2015+063面向大數據處理的并行優(yōu)化抽樣聚類K?means算法[J].計算機應用，2016，36（2）：311?315.endprint