聶晶+石中堅(jiān)

摘 要： 針對當(dāng)前云平臺(tái)調(diào)度中存在的問題，設(shè)計(jì)云平臺(tái)下海量數(shù)據(jù)沖擊中的可視化調(diào)度平臺(tái)，其由海量數(shù)據(jù)采集模塊、云平臺(tái)模塊和可視化調(diào)度模塊組成。海量數(shù)據(jù)采集模塊中的天線開始對海量數(shù)據(jù)進(jìn)行采集和調(diào)頻，并傳遞給數(shù)字信號處理器進(jìn)行處理，其處理結(jié)果將傳遞給云平臺(tái)模塊。云平臺(tái)模塊利用Hadoop分布式計(jì)算技術(shù)，對海量數(shù)據(jù)采集模塊的處理結(jié)果進(jìn)行分析和計(jì)算，給出調(diào)度方案。調(diào)度方案將傳遞給可視化調(diào)度模塊進(jìn)行調(diào)度方案的可視化，以及調(diào)度工作的具體實(shí)施。平臺(tái)軟件對云平臺(tái)模塊中調(diào)度方案的產(chǎn)生流程進(jìn)行設(shè)計(jì)。實(shí)驗(yàn)結(jié)果表明，所設(shè)計(jì)的平臺(tái)擁有較好的計(jì)算性能和調(diào)度性能。

關(guān)鍵詞： 云平臺(tái)； 海量數(shù)據(jù)； 可視化調(diào)度平臺(tái)； Hadoop

中圖分類號： TN911?34； TP391 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2017）08?0107?03

Design of visualization scheduling platform for mass data impact under cloud platform

NIE Jing1， SHI Zhongjian2

（1. Nanning College for Vocational Technology， Nanning 530008， China； 2. Hanshan Normal University， Chaozhou 521000， China）

Abstract： Aiming at the problems existing in the current cloud platform scheduling， a visualization scheduling platform for mass data impact under cloud platform was designed， which is composed of the mass data acquisition module， cloud platform module and visualization scheduling module. The antenna in mass data acquisition module carries out the acquisition and frequency modulation of mass data， and transmits the data to the digital signal processor for processing. The processing result is transmitted to the cloud platform module. The Hadoop distributed computing technology is used in the cloud platform module to analyze and calculate the processing result of the mass data acquisition module. The cloud platform module gives out a scheduling scheme. The scheduling scheme is transmitted to the visualization scheduling module to realize the scheduling scheme visualization and specific implementation of the dispatching work. The platform software is used to design the generation process of the scheduling scheme in the cloud platform module. The experimental result shows that the designed platform has perfect computational performance and scheduling performance.

Keywords： cloud platform； mass data； visualization scheduling platform； Hadoop

調(diào)度是一種能夠給出合理運(yùn)行決策的技術(shù)，其能夠有效提升各領(lǐng)域的工作效率和工作精度，縮減人工作業(yè)量。可視化是在20世紀(jì)80年代開始興起的計(jì)算機(jī)圖像顯示技術(shù)，人眼視覺是可視化的基礎(chǔ)[1?3]。將可視化與調(diào)度結(jié)合起來，能夠使原本較為抽象的運(yùn)行決策更加便于理解，可視化調(diào)度平臺(tái)應(yīng)景而生。然而，當(dāng)今社會(huì)各領(lǐng)域的信息量巨大，在海量數(shù)據(jù)沖擊中，可視化調(diào)度平臺(tái)已逐漸落后，云平臺(tái)的產(chǎn)生使這一現(xiàn)象得到有效緩解[4?6]。

1 海量數(shù)據(jù)沖擊中的可視化調(diào)度平臺(tái)設(shè)計(jì)

1.1 海量數(shù)據(jù)采集模塊設(shè)計(jì)

在云平臺(tái)下海量數(shù)據(jù)沖擊中的可視化調(diào)度平臺(tái)中，由于海量數(shù)據(jù)采集模塊掌控著調(diào)度對象中海量數(shù)據(jù)的采集工作，是整個(gè)平臺(tái)性能的基礎(chǔ)保證。為此，需要在保證采集精度的前提下，賦予該模塊足夠的穩(wěn)定性和工作效率，加強(qiáng)模塊對調(diào)度對象的控制能力。圖1是海量數(shù)據(jù)采集模塊組成圖。由圖1可知，海量數(shù)據(jù)采集模塊主要由天線、數(shù)據(jù)接收器、數(shù)字信號處理器、看門狗計(jì)時(shí)器和通信接口組成。在云平臺(tái)下海量數(shù)據(jù)沖擊中的可視化調(diào)度平臺(tái)中，海量數(shù)據(jù)采集模塊的天線是最先經(jīng)受海量數(shù)據(jù)沖擊的。在沖擊開始后，天線隨即對海量數(shù)據(jù)進(jìn)行采集和調(diào)頻。這樣設(shè)計(jì)能夠保證天線免受非調(diào)度對象數(shù)據(jù)的影響，提高模塊采集精度。

1.2 云平臺(tái)模塊設(shè)計(jì)

云平臺(tái)模塊接收到海量數(shù)據(jù)采集模塊傳遞來的處理結(jié)果后，將對其進(jìn)行計(jì)算，給出調(diào)度方案。云平臺(tái)模塊對海量數(shù)據(jù)處理結(jié)果進(jìn)行Hadoop分布式計(jì)算。Hadoop分布式計(jì)算是云平臺(tái)中較為常用的處理技術(shù)，這種技術(shù)能夠?yàn)樵破脚_(tái)下海量數(shù)據(jù)沖擊中的可視化調(diào)度平臺(tái)提供高效、透明的調(diào)度方案，其對調(diào)度人員的技術(shù)要求不高，可節(jié)約平臺(tái)的運(yùn)行成本。圖2是Hadoop分布式計(jì)算的結(jié)構(gòu)圖。

由圖2可知，Hadoop分布式計(jì)算的子項(xiàng)目有四種，分別是映射?歸約模型、分布式關(guān)系數(shù)據(jù)庫、分布式文件系統(tǒng)以及分布式應(yīng)用程序協(xié)調(diào)服務(wù)。

1.3 可視化調(diào)度模塊

可視化調(diào)度模塊是云平臺(tái)下海量數(shù)據(jù)沖擊中的可視化調(diào)度平臺(tái)對調(diào)度對象實(shí)施具體調(diào)度工作的模塊，也是用戶可直接使用的模塊?？梢暬{(diào)度模塊能夠?qū)⒄{(diào)度方案以可視化的形式呈現(xiàn)給用戶，這一工作要求用戶與可視化調(diào)度模塊間應(yīng)具有較強(qiáng)的人機(jī)交互能力，為此，設(shè)計(jì)出如圖3所示的可視化調(diào)度模塊結(jié)構(gòu)圖。

由圖3可知，可視化調(diào)度模塊能夠?qū)崿F(xiàn)調(diào)度方案的特征可視化和密度可視化。特征可視化包括調(diào)度對象中海量數(shù)據(jù)的沖擊形式、海量數(shù)據(jù)類型和調(diào)度形式；密度可視化是指對方案中每條調(diào)度流程相對應(yīng)的海量數(shù)據(jù)密度進(jìn)行可視化。調(diào)度管理對調(diào)度方案進(jìn)行調(diào)用，通過網(wǎng)絡(luò)服務(wù)器將調(diào)度流程分配至其相應(yīng)的調(diào)度對象網(wǎng)絡(luò)節(jié)點(diǎn)上，分配完成后，網(wǎng)絡(luò)服務(wù)器將調(diào)度對象網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)據(jù)反饋給調(diào)度管理。在云平臺(tái)下海量數(shù)據(jù)沖擊中的可視化調(diào)度平臺(tái)中，用戶通過用戶瀏覽器查看平臺(tái)的可視化內(nèi)容和平臺(tái)調(diào)度工作的實(shí)施情況。

2 可視化調(diào)度平臺(tái)軟件設(shè)計(jì)

云平臺(tái)下海量數(shù)據(jù)沖擊中的可視化調(diào)度平臺(tái)的云平臺(tái)模塊，利用Hadoop分布式計(jì)算技術(shù)對海量數(shù)據(jù)采集模塊的處理結(jié)果進(jìn)行分析和計(jì)算，最終實(shí)現(xiàn)調(diào)度方案的給出。調(diào)度方案產(chǎn)生流程如圖4所示。

由圖4可知，云平臺(tái)模塊先對海量數(shù)據(jù)采集模塊處理過的海量數(shù)據(jù)進(jìn)行調(diào)用，把其中具有特殊特征的數(shù)據(jù)構(gòu)建成優(yōu)先處理集合（特殊特征是根據(jù)以往調(diào)度工作里經(jīng)常需要進(jìn)行調(diào)度的數(shù)據(jù)中提取出來的，用戶也可對其進(jìn)行預(yù)定義），再利用分布式關(guān)系數(shù)據(jù)庫對優(yōu)先處理集合中的數(shù)據(jù)進(jìn)行檢驗(yàn)，確定其是否需要進(jìn)行調(diào)度。如果不需要，則更新優(yōu)先處理集合。

3 實(shí)驗(yàn)驗(yàn)證

3.1 平臺(tái)計(jì)算性能驗(yàn)證

在海量數(shù)據(jù)沖擊中的可視化調(diào)度平臺(tái)的計(jì)算性能驗(yàn)證實(shí)驗(yàn)中，以某大型電網(wǎng)作為實(shí)驗(yàn)對象進(jìn)行30天實(shí)驗(yàn)。實(shí)驗(yàn)電網(wǎng)產(chǎn)生的數(shù)據(jù)量為11 GB/天，用本文平臺(tái)、Brook平臺(tái)和Skepu平臺(tái)對實(shí)驗(yàn)電網(wǎng)中的海量數(shù)據(jù)同時(shí)進(jìn)行計(jì)算，并輸出三個(gè)平臺(tái)的計(jì)算用時(shí)和計(jì)算準(zhǔn)確率見圖5、圖6。由圖5、圖6可知， Brook平臺(tái)的計(jì)算用時(shí)高于本文平臺(tái)、低于Skepu平臺(tái)，30天內(nèi)的計(jì)算用時(shí)波動(dòng)不明顯；但該平臺(tái)的計(jì)算準(zhǔn)確率不高，最大值僅為91.2%，整體計(jì)算性能較為平庸。Skepu平臺(tái)的計(jì)算用時(shí)隨著實(shí)驗(yàn)天數(shù)的增長而增長，其計(jì)算準(zhǔn)確率曲線波動(dòng)也較大，造成這些現(xiàn)象的原因可能是該平臺(tái)的存儲(chǔ)性能不好，導(dǎo)致平臺(tái)的計(jì)算性能不高。對比來看，本文平臺(tái)的計(jì)算用時(shí)較短、計(jì)算準(zhǔn)確率較高，實(shí)驗(yàn)輸出曲線波動(dòng)不大，擁有較好的計(jì)算性能。

3.2 平臺(tái)調(diào)度性能驗(yàn)證

用本文平臺(tái)、Brook平臺(tái)和Skepu平臺(tái)對實(shí)驗(yàn)電網(wǎng)產(chǎn)生的海量數(shù)據(jù)進(jìn)行可視化調(diào)度，圖7為三個(gè)平臺(tái)調(diào)度實(shí)施時(shí)間對比圖，圖8為用戶對調(diào)度方案的滿意度對比圖。

由圖7可知， Brook平臺(tái)的調(diào)度實(shí)施時(shí)間過長，不能在海量數(shù)據(jù)類型較為復(fù)雜的領(lǐng)域中使用；Skepu平臺(tái)的調(diào)度實(shí)施時(shí)間較短，但曲線整體呈現(xiàn)上升趨勢；本文平臺(tái)的調(diào)度實(shí)施時(shí)間要低于Brook平臺(tái)和Skepu平臺(tái)。由圖8可知，用戶對三個(gè)平臺(tái)給出的調(diào)度方案的滿意度均很高，除了Skepu平臺(tái)的用戶滿意度曲線在實(shí)驗(yàn)中期有一定的下降，本文平臺(tái)和Brook平臺(tái)的用戶滿意度曲線均較為平穩(wěn)，且用戶對本文平臺(tái)給出的調(diào)度方案的滿意度始終維持在96.5%以上。

綜上所述，本文平臺(tái)具有較好的調(diào)度性能。

4 結(jié) 論

本文設(shè)計(jì)云平臺(tái)下海量數(shù)據(jù)沖擊中的可視化調(diào)度平臺(tái)，其擁有三個(gè)重要模塊，分別是海量數(shù)據(jù)采集模塊、云平臺(tái)模塊和可視化調(diào)度模塊，這些模塊分別負(fù)責(zé)對調(diào)度對象中海量數(shù)據(jù)的采集、計(jì)算和調(diào)度方案的可視化與實(shí)施等工作。實(shí)驗(yàn)通過對比本文平臺(tái)、Brook平臺(tái)和Skepu平臺(tái)的計(jì)算性能和調(diào)度性能，驗(yàn)證了本文平臺(tái)在海量數(shù)據(jù)沖擊中，具有較好的計(jì)算性能和調(diào)度性能。

參考文獻(xiàn)

[1] 朱俊，聶龍生，徐云，等.航天三維可視化系統(tǒng)中語音控制技術(shù)的研究與應(yīng)用[J].現(xiàn)代電子技術(shù)，2015，38（8）：151?153.

[2] 王靜怡，王昕.調(diào)度數(shù)據(jù)網(wǎng)通道故障的診斷及處理技術(shù)[J].現(xiàn)代電子技術(shù)，2016，39（8）：168?170.

[3] 黃國兵，金勇，賈榮興，等.某電能量遠(yuǎn)方終端雙平面網(wǎng)絡(luò)接口設(shè)計(jì)[J].西安工程大學(xué)學(xué)報(bào)，2016，30（1）：102?106.

[4] 王鼎，錢科軍，高一丹，等.云計(jì)算平臺(tái)技術(shù)及其在電網(wǎng)調(diào)度中的應(yīng)用[J].電網(wǎng)與清潔能源，2015，31（4）：72?78.

[5] 王小輝，李圣普.改進(jìn)遺傳算法在云輔助教學(xué)平臺(tái)中的應(yīng)用研究[J].計(jì)算機(jī)與數(shù)字工程，2014，42（5）：883?886.

[6] 陳麗平，郭鑫.最小能耗優(yōu)化云模型中的動(dòng)態(tài)圖挖掘方法[J].計(jì)算機(jī)工程，2015，41（8）：23?31.