楊軍

摘 要： 網(wǎng)絡(luò)環(huán)境下的大數(shù)據(jù)已經(jīng)成為數(shù)據(jù)傳輸?shù)闹饕畔⑤d體，大數(shù)據(jù)使用方式的多樣化需要對網(wǎng)絡(luò)大數(shù)據(jù)進行多維度的調(diào)度調(diào)用。傳統(tǒng)網(wǎng)絡(luò)大數(shù)據(jù)的調(diào)度技術(shù)能夠簡單地對網(wǎng)絡(luò)大數(shù)據(jù)進行調(diào)度，但在目前高維度網(wǎng)絡(luò)環(huán)境下很難進行分層次分維度的調(diào)用。針對上述問題，提出網(wǎng)絡(luò)大數(shù)據(jù)的分層調(diào)度技術(shù)。在網(wǎng)絡(luò)環(huán)境下設(shè)置多維度分層調(diào)度結(jié)構(gòu)，通過網(wǎng)絡(luò)多維度分層實現(xiàn)高精度的大數(shù)據(jù)調(diào)用。通過實驗分析結(jié)果可以看出，提出的網(wǎng)絡(luò)大數(shù)據(jù)的分層調(diào)度技術(shù)能夠在網(wǎng)絡(luò)環(huán)境下對大數(shù)據(jù)進行高精度的分層調(diào)度。

關(guān)鍵詞： 網(wǎng)絡(luò)環(huán)境； 大數(shù)據(jù)調(diào)用； 多維度調(diào)用； 分層調(diào)度； 調(diào)度結(jié)構(gòu)； 數(shù)據(jù)傳輸

中圖分類號： TN711?34； TN273 文獻標(biāo)識碼： A 文章編號： 1004?373X（2018）04?0172?04

Abstract： Big data in the network environment has become a main information carrier of data transmission， and the diversification of big data usage modes requires multi?dimensional scheduling call to network big data. The traditional network big data scheduling technology can schedule network big data simply， but it is difficult to make the hierarchical and multi?dimensional call in the current high dimensional network environment. Aiming at the above problems， a hierarchical scheduling technology for network big data is proposed. The multi?dimensional hierarchical scheduling structure is set up in the network environment， and the high?precision big data call can be realized by multi?dimensional stratification of network. The experimental analysis results show that the proposed hierarchical scheduling technology for network big data can carry out high?precision hierarchical big data scheduling in the network environment.

Keywords： network environment； big data call； multi?dimension call； scheduling structure； hierarchical scheduling； data transmission

0 引 言

在網(wǎng)絡(luò)大數(shù)據(jù)的使用過程中，由于網(wǎng)絡(luò)維度的變化以及應(yīng)用方式不同造成一定大數(shù)據(jù)傳遞堵塞。常規(guī)解決方式一般采用數(shù)據(jù)調(diào)度進行大數(shù)據(jù)的分化，而傳統(tǒng)的網(wǎng)絡(luò)大數(shù)據(jù)調(diào)用技術(shù)通過多種形式進行同屬歸類實現(xiàn)大數(shù)據(jù)調(diào)度[1]。傳統(tǒng)網(wǎng)絡(luò)大數(shù)據(jù)的調(diào)度無法實現(xiàn)多維的調(diào)用，同時調(diào)用過程中無法實現(xiàn)分層調(diào)度，這樣造成大數(shù)據(jù)滯留以及調(diào)度緩慢。針對上述問題，本文提出一種網(wǎng)絡(luò)大數(shù)據(jù)的分層調(diào)度技術(shù)，為了保證該設(shè)計方法的有效性，設(shè)計了對比仿真試驗，結(jié)果表明，本文設(shè)計的網(wǎng)絡(luò)大數(shù)據(jù)分層調(diào)度技術(shù)能夠更加精準(zhǔn)地進行大數(shù)據(jù)分層調(diào)度。

1 網(wǎng)絡(luò)大數(shù)據(jù)的執(zhí)行分層

在網(wǎng)絡(luò)大數(shù)據(jù)環(huán)境下，本文引用分層數(shù)據(jù)技術(shù)進行網(wǎng)絡(luò)大數(shù)據(jù)的分化。本文設(shè)計的網(wǎng)絡(luò)大數(shù)據(jù)的分層調(diào)度技術(shù)在執(zhí)行調(diào)度過程中主要通過對網(wǎng)絡(luò)大數(shù)據(jù)應(yīng)用執(zhí)行方式以及傳輸方式進行分化[2]。但網(wǎng)絡(luò)大數(shù)據(jù)執(zhí)行過程的傳遞過程中存在不同的應(yīng)用方式，多種應(yīng)用方式會造成大數(shù)據(jù)的調(diào)度變化，增加調(diào)度過程的難度。為了實現(xiàn)分層，首先進行網(wǎng)絡(luò)大數(shù)據(jù)的穩(wěn)定分層，穩(wěn)定分層后分別對不同層次維度的大數(shù)據(jù)執(zhí)行精確調(diào)用[3]。層次上大數(shù)據(jù)調(diào)度需結(jié)合調(diào)度篩選屬性，綜合層次結(jié)構(gòu)的調(diào)用方向。網(wǎng)絡(luò)大數(shù)據(jù)一旦分層完畢，調(diào)度馬上進行，改變了傳統(tǒng)的先認定再調(diào)用的過程，使更多時候存在分層后再分層局面。本文使用的數(shù)據(jù)分層執(zhí)行概念，每一次分層后都會默認成為新維度，這樣可以完成多次的執(zhí)行分層。假設(shè)給出一個多層次網(wǎng)絡(luò)大數(shù)據(jù)調(diào)度任務(wù)。設(shè)[T1]，[T2]分別代表兩個不同層次、不同維度、不同方向的大數(shù)據(jù)傳輸層，有：

通常情況下，在一個分層調(diào)度系統(tǒng)中，層次數(shù)的選擇以及個數(shù)都是可以選取任意值的；但劃分的層次數(shù)目過多，系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)會變得十分復(fù)雜，調(diào)度效率也會隨之降低；但是層次分屬過少又不能滿足現(xiàn)階段網(wǎng)絡(luò)多維度的劃分[5]。本文設(shè)計的網(wǎng)絡(luò)大數(shù)據(jù)的分層調(diào)度技術(shù)對分屬層次上進行了攜帶式分層。這樣既能夠滿足多維度的需求，也能夠執(zhí)行單維度的執(zhí)行需求，同時在攜帶量上通過大數(shù)據(jù)壓縮的形式進行分化執(zhí)行[6]。本文設(shè)計的網(wǎng)絡(luò)大數(shù)據(jù)的分層調(diào)度技術(shù)分層結(jié)構(gòu)圖如圖1所示。

本文設(shè)計網(wǎng)絡(luò)大數(shù)據(jù)的分層調(diào)度技術(shù)把來自相同數(shù)據(jù)源的網(wǎng)絡(luò)大數(shù)據(jù)進行首度層次。起始分層被稱為第原始層，依次類推分別是分化層、次分化層[7]。圖1演示了雙分化層的分層過程。在調(diào)度中假設(shè)A，B分別代表不同屬性不同執(zhí)行命令的網(wǎng)絡(luò)大數(shù)據(jù)，分別到達[P1]和[P2]線路上執(zhí)行命令，很容易看出[T1]和[T2]原始層上的維度變化，可確認此調(diào)度的正確性。endprint

2 實現(xiàn)網(wǎng)絡(luò)大數(shù)據(jù)分層傳遞調(diào)度

本文設(shè)計的網(wǎng)絡(luò)大數(shù)據(jù)的分層調(diào)度技術(shù)通過傳統(tǒng)的層次調(diào)度模型來對所在層次上的網(wǎng)絡(luò)大數(shù)據(jù)進行調(diào)度，只有在跨層分布狀態(tài)下才使用分層命令[8]。調(diào)度事務(wù)過程分為語義瀏覽、邏輯調(diào)度和物理執(zhí)行，即在傳統(tǒng)調(diào)度事務(wù)模型基礎(chǔ)上增加了一個執(zhí)行限令。

語義瀏覽調(diào)度過程：調(diào)度過程的目的是完成語義執(zhí)行的高級操作，如果分層階段超過限令需要進行標(biāo)準(zhǔn)修訂，如果沒有超過分層階段的限令，那么直接進行執(zhí)行調(diào)度。調(diào)度的過程中會保留一定的傳輸口令[9]。

邏輯調(diào)度：網(wǎng)絡(luò)環(huán)境下的大數(shù)據(jù)有序是帶有目的性的邏輯執(zhí)行以及邏輯運算，其調(diào)度大數(shù)據(jù)目的為到達指定區(qū)域執(zhí)行。

為此在分層過程中，到達指定維度的上一維度時，已經(jīng)對大數(shù)據(jù)解壓完畢，這樣更方便大數(shù)據(jù)調(diào)用過程，也方便執(zhí)行的準(zhǔn)確性[10]。

物理執(zhí)行：此類比較少見，由于執(zhí)行的是物理意義通過單渠道的對接可以實現(xiàn)。

在每一個分化層之間的大數(shù)據(jù)層面內(nèi)的調(diào)度是通過篩選的方式執(zhí)行的，層次內(nèi)部調(diào)用過程也和整體調(diào)度分層一樣，通過細化分層進行調(diào)度。假設(shè)大數(shù)據(jù)[A]放在某一分化層[P1]中，大數(shù)據(jù)[B]放在某分化層[P2]中。

設(shè)置調(diào)度層上操作分別為[a]和[b]，執(zhí)行邏輯層上響應(yīng)度[a1，a2，…，an]和[b1，b2，…，bn]完成調(diào)度[a]操作序列[a1…bn。]按此順序移動到大數(shù)據(jù)執(zhí)行位置，完成大數(shù)據(jù)在網(wǎng)絡(luò)環(huán)境下的調(diào)用過程。

3 仿真實驗

3.1 參數(shù)設(shè)定

為了保證本文設(shè)計的網(wǎng)絡(luò)大數(shù)據(jù)分層調(diào)度技術(shù)的設(shè)計有效性，對試驗參數(shù)進行設(shè)定，引入輪詢特征參數(shù)對試驗經(jīng)過來衡量，對試驗基礎(chǔ)參數(shù)需進行設(shè)定，實驗過程參數(shù)如表1所示。為了保證本文設(shè)計的實驗的有效性以及完整性，對實驗過程參數(shù)進行隨機選取，這樣可以更加完整地對實驗過程進行考量，實驗過程參數(shù)如表2所示。

3.2 結(jié)果對比分析

實驗結(jié)果如表3所示，本文設(shè)計的網(wǎng)絡(luò)大數(shù)據(jù)分層調(diào)度技術(shù)在調(diào)度路徑的CWND系數(shù)上明顯優(yōu)越于傳統(tǒng)調(diào)度方法；同時在TSN指數(shù)中的空閑值較少，沒有超過限定的趨勢，數(shù)值在小區(qū)內(nèi)波動比較穩(wěn)定，故本文設(shè)計網(wǎng)絡(luò)大數(shù)據(jù)分層調(diào)度技術(shù)在層次調(diào)度上明顯優(yōu)于傳統(tǒng)方法。

通過圖2與圖3對比發(fā)現(xiàn)，本文設(shè)計的網(wǎng)絡(luò)大數(shù)據(jù)的分層調(diào)度技術(shù)能夠保證較高頻率的調(diào)用狀態(tài)，網(wǎng)絡(luò)環(huán)境下的數(shù)據(jù)跳頻以及網(wǎng)絡(luò)跳頻產(chǎn)生低頻狀態(tài)下的數(shù)據(jù)容易增加調(diào)用時長，能夠在網(wǎng)絡(luò)環(huán)境下保持更加高效的狀態(tài)。

4 結(jié) 語

本文提出一種網(wǎng)絡(luò)大數(shù)據(jù)的分層調(diào)度技術(shù)，引入分層數(shù)據(jù)理念，執(zhí)行分層調(diào)度后分別對不同的路線以及不同應(yīng)用方式進行調(diào)用執(zhí)行。通過大數(shù)據(jù)執(zhí)行方式推導(dǎo)其調(diào)用最佳的分化過程，最終實現(xiàn)網(wǎng)絡(luò)大數(shù)據(jù)的分層調(diào)度技術(shù)。實驗結(jié)果表明，設(shè)計的網(wǎng)絡(luò)大數(shù)據(jù)分層調(diào)度技術(shù)能夠在網(wǎng)絡(luò)環(huán)境下進行高效的大數(shù)據(jù)分層調(diào)用，同時在應(yīng)用環(huán)境上具備一定的抗性。

參考文獻

[1] 伊鵬，劉洪，胡宇翔.一種可擴展的軟件定義數(shù)據(jù)中心網(wǎng)絡(luò)流調(diào)度策略[J].電子與信息學(xué)報，2017，39（4）：825?831.

YI Peng， LIU Hong， HU Yuxiang. A scalable traffic scheduling policy for software defined data center network [J]. Journal of electronics & information technology， 2017， 39（4）： 825?831.

[2] 萬聰，王翠榮，王聰.面向數(shù)據(jù)密集型工作流的QoS?aware調(diào)度算法[J].系統(tǒng)仿真學(xué)報，2016，28（3）：549?558.

WAN Cong， WANG Cuirong， WANG Cong. QoS?aware scheduling for data intensive workflow [J]. Journal of system simulation， 2016， 28（3）： 549?558.

[3] 劉鑫，張瑜.電力網(wǎng)絡(luò)系統(tǒng)中統(tǒng)計特征任務(wù)分層的大數(shù)據(jù)融合模型[J].電網(wǎng)與清潔能源，2015，31（8）：36?39.

LIU Xin， ZHANG Yu. Fusion model of the hierarchical big data of characteristics task in electric power network system [J]. Power system & clean energy， 2015， 31（8）： 36?39.

[4] 蔣本立，張小平.大數(shù)據(jù)網(wǎng)絡(luò)的均衡調(diào)度平臺設(shè)計與改進[J].現(xiàn)代電子技術(shù)，2016，39（6）：62?65.

JIANG Benli， ZHANG Xiaoping. Design and improvement of balanced scheduling platform for big data network [J]. Modern electronics technique， 2016， 39（6）： 62?65.

[5] 劉迷.云計算下虛擬信息資源大數(shù)據(jù)特征集成調(diào)度[J].科技通報，2015，31（10）：199?201.

LIU Mi. Integrated scheduling of virtual information resources in data characteristics of cloud computing [J]. Bulletin of science and technology， 2015， 31（10）： 199?201.

[6] 鄒志洪.基于大數(shù)據(jù)的教育趨勢化推導(dǎo)模型設(shè)計與實現(xiàn)[J].現(xiàn)代電子技術(shù)，2017，40（16）：66?68.endprint

ZOU Zhihong. Design and implementation of educational tendency derivation model based on large data [J]. Modern electronics technique， 2017， 40（16）： 66?68.

[7] 蔣蘇蓉，藍江橋，楊玉海.Hadoop框架下的情報分析大數(shù)據(jù)調(diào)度超時預(yù)測方法[J].計算機科學(xué)，2014，41（z1）：409?413.

JIANG Surong， LAN Jiangqiao， YANG Yuhai. Timeout prediction of the schedule method for big data of the intelligence analysis based on Hadoop [J]. Computer science， 2014， 41（S1）： 409?413.

[8] 桂勛，LIU Yilu，鄭永康，等.基于大數(shù)據(jù)技術(shù)的北美FNET/GridEye系統(tǒng)設(shè)計與實現(xiàn)[J].電力系統(tǒng)自動化，2017，41（10）：112?116.

GUI Xun， LIU Yilu， ZHENG Yongkang， et al. Design and implementation of North America FNET/GridEye system based on big data technology [J]. Automation of electric power systems， 2017， 41（10）： 112?116.

[9] 張慧萍，賀紅艷，陳小娟.大數(shù)據(jù)的分層分類優(yōu)化識別仿真研究[J].計算機仿真，2015，32（10）：463?466.

ZHANG Huiping， HE Hongyan， CHEN Xiaojuan. Simulation of optimum identification in hierarchical classification of big data [J]. Computer simulation， 2015， 32（10）： 463?466.

[10] 任凱，鄧武，俞琰.基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)日志分析系統(tǒng)研究[J].現(xiàn)代電子技術(shù)，2016，39（2）：39?41.

REN Kai， DENG Wu， YU Yan. Research on network log analysis system based on big data technology [J]. Modern electronics technique， 2016， 39（2）： 39?41.endprint