黃婕

摘 要：因大規(guī)模任務(wù)處理模型在處理實(shí)際任務(wù)請(qǐng)求通常是基于歷史數(shù)據(jù)的，若總依據(jù)經(jīng)驗(yàn)和以往知識(shí)判斷，會(huì)出現(xiàn)許多無(wú)法識(shí)別并處理的任務(wù)，以及出現(xiàn)模型過(guò)擬合等問(wèn)題。提出了一種基于深度神經(jīng)網(wǎng)絡(luò)的計(jì)算模型進(jìn)行大規(guī)模任務(wù)部署，并引用Agent強(qiáng)化學(xué)習(xí)效用進(jìn)行評(píng)價(jià)，實(shí)現(xiàn)最佳虛擬網(wǎng)絡(luò)映射方案。實(shí)驗(yàn)結(jié)果表明，這種BDTard方法法能滿足大規(guī)模任務(wù)請(qǐng)求，穩(wěn)定系統(tǒng)長(zhǎng)期收益，保障了大數(shù)據(jù)環(huán)境下大規(guī)模任務(wù)處理的高效執(zhí)行。

關(guān)鍵詞：深度神經(jīng)網(wǎng)絡(luò);強(qiáng)化學(xué)習(xí);虛擬網(wǎng)絡(luò)映射

中圖分類(lèi)號(hào)：TP319 ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

Abstract：Since the large-scale task processing model is usually based on historical data in the processing of actual task requests， if the model is always judged based on experience and previous knowledge， there will be many tasks that cannot be recognized and processed， as well as problems such as model overfitting. A computing model based on deep neural network is proposed for large-scale task deployment， and the Agent reinforcement learning utility is evaluated to realize the optimal virtual network mapping scheme. The experimental results show that the BDTard method can meet the requirements of large-scale task， stabilize the long-term benefits of the system， and ensure the efficient execution of large-scale task processing in the big data environment.

Key words：deep neural network; reinforcement learning agent; virtual network mapping

大數(shù)據(jù)環(huán)境下的大規(guī)模任務(wù)處理是時(shí)下數(shù)據(jù)分析熱門(mén)問(wèn)題之一[1]，而依靠歷史數(shù)據(jù)進(jìn)行任務(wù)識(shí)別的方法，在進(jìn)行分析、處理的大規(guī)模任務(wù)部署時(shí)，會(huì)引起負(fù)載不均衡、造成資源浪費(fèi)等問(wèn)題。為了改進(jìn)負(fù)載不均衡、資源浪費(fèi)的問(wèn)題，將大規(guī)模任務(wù)部署到各節(jié)點(diǎn)高效執(zhí)行，且有一定的性能收益。且利用大數(shù)據(jù)環(huán)境下深度神經(jīng)網(wǎng)絡(luò)[2]與Agent[3]結(jié)合，能使得在大規(guī)模任務(wù)在識(shí)別、技術(shù)及處理過(guò)程中有明顯改觀，效率提升明顯。

但由于數(shù)據(jù)的訓(xùn)練模型是基于歷史數(shù)據(jù)的，依據(jù)經(jīng)驗(yàn)對(duì)處理任務(wù)識(shí)別，容易出現(xiàn)過(guò)擬合現(xiàn)象，計(jì)算模型出現(xiàn)偏差。為了提高效率，探索最優(yōu)解，利用大數(shù)據(jù)環(huán)境下的深度神經(jīng)網(wǎng)絡(luò)與Agent結(jié)合的方式，實(shí)現(xiàn)虛擬節(jié)點(diǎn)的最優(yōu)映射方案，這種改進(jìn)的大規(guī)模任務(wù)處理方法能有效防止模型過(guò)擬合[4]，提高效率。

1 問(wèn)題的提出

針對(duì)系統(tǒng)的長(zhǎng)期收益，利用傳統(tǒng)方法結(jié)合最新的人工智能方案[5]，而一種基于Dropout自適應(yīng)的深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)相結(jié)合的方法有較好的效果。可實(shí)際這種方法容易增加用戶行為多樣性的學(xué)習(xí)難度，使得學(xué)習(xí)模型復(fù)雜化，導(dǎo)致網(wǎng)絡(luò)模型過(guò)擬合[6]。因深度模型中存儲(chǔ)的是部分標(biāo)簽數(shù)據(jù)，當(dāng)用戶有虛擬請(qǐng)求時(shí)，利用經(jīng)驗(yàn)知識(shí)難以識(shí)別、處理，使得大數(shù)據(jù)的海量任務(wù)請(qǐng)求無(wú)法有效識(shí)別、及時(shí)處理。因此，提出一種有效且合理的大數(shù)據(jù)環(huán)境下部署任務(wù)的方法[7]迫在眉睫，此方法主要能最小化計(jì)算模型的過(guò)擬合，優(yōu)化泛化能力 [8]。

2 利用Dropout神經(jīng)網(wǎng)絡(luò)建模Agent強(qiáng)化學(xué)習(xí)的BDTard方法

2.1 系統(tǒng)架構(gòu)設(shè)計(jì)

在大規(guī)模任務(wù)處理方法BDTard中，在大數(shù)據(jù)技術(shù)的支撐下，利用深度神經(jīng)網(wǎng)絡(luò)建模來(lái)均衡節(jié)點(diǎn)的映射。如圖1所示，該計(jì)算模型共有五層，包括Input Layer輸入層、Evolution Layer進(jìn)化層（包含Convolutional Layer卷積層和Subsampling Layer池化層）、Fully Connected Layer全連接層、Softmax Layout函數(shù)層、Output Layer輸出層。

如1圖中，輸入層Input Layer用于將Feature Matrix特征矩陣輸入到深度計(jì)算模型中。再將特征矩陣輸送到卷積層中計(jì)算，生成具有抽象特征的特征圖。在Subsampling Layer池化層中建模，目的是減少全連接層Fully Connected Layer中的節(jié)點(diǎn)個(gè)數(shù)。通過(guò)函數(shù)層而輸出最終結(jié)果。而為了提升計(jì)算模型的泛化能力，減少過(guò)擬合現(xiàn)象，將引入深度計(jì)算模型的進(jìn)化層結(jié)構(gòu)，把固有模型平均分成子模型，這種較小數(shù)據(jù)集的“新”模型實(shí)現(xiàn)了模型與自我進(jìn)化相結(jié)合，目的是探索最優(yōu)網(wǎng)絡(luò)映射策略。

然后在全連接層輸出的結(jié)果傳輸?shù)胶瘮?shù)層，用來(lái)求出每個(gè)物理節(jié)點(diǎn)的分布概率，最后云計(jì)算數(shù)據(jù)中心將接收虛擬節(jié)點(diǎn)映射策略，將虛擬數(shù)據(jù)請(qǐng)求分配到底層物理節(jié)點(diǎn)，以實(shí)現(xiàn)基于大數(shù)據(jù)的大規(guī)模任務(wù)處理。

2.2 方法主要思想

基于大數(shù)據(jù)的深度神經(jīng)網(wǎng)絡(luò)與Agent的大規(guī)模任務(wù)處理方法，是把大規(guī)模的任務(wù)部署利用計(jì)算模型的虛擬網(wǎng)絡(luò)進(jìn)行映射。該方法把訓(xùn)練和應(yīng)用中的歷史請(qǐng)求數(shù)據(jù)分開(kāi)，叫做訓(xùn)練集和測(cè)試集。再依據(jù)之前工作求出底層網(wǎng)路物理節(jié)點(diǎn)的狀態(tài)、特征和模型的輸入，使得數(shù)據(jù)集的維度降低。而自適應(yīng)Dropout深度計(jì)算模型主要目的是尋求合理的虛擬節(jié)點(diǎn)映射策略，當(dāng)訓(xùn)練樣本較少時(shí)，Dropout對(duì)大規(guī)模網(wǎng)絡(luò)模型策略非常有效。當(dāng)網(wǎng)絡(luò)結(jié)構(gòu)改變，依據(jù)深度模型去建模，再利用類(lèi)似隱藏去噪法將數(shù)據(jù)的神經(jīng)元的權(quán)重歸零。網(wǎng)絡(luò)層的參數(shù)概率變化，網(wǎng)絡(luò)模型中神經(jīng)元丟棄，需要從物理節(jié)點(diǎn)、任務(wù)請(qǐng)求數(shù)據(jù)中的特征作為模型輸入，將映射概率設(shè)為輸出（虛擬節(jié)點(diǎn)到物理節(jié)點(diǎn)的映射），再利用Agent強(qiáng)化學(xué)習(xí)來(lái)實(shí)現(xiàn)虛擬鏈路映射。若訓(xùn)練集中數(shù)據(jù)不具備對(duì)應(yīng)標(biāo)簽，則利用反向傳播和策略梯度，并結(jié)合歷史數(shù)據(jù)請(qǐng)求進(jìn)行深度計(jì)算模型訓(xùn)練，利用一種貪婪策略評(píng)估Agent強(qiáng)化學(xué)習(xí)的有效性，將大量的任務(wù)請(qǐng)求在進(jìn)行大數(shù)據(jù)分析處理中分配到有效的物理節(jié)點(diǎn)，實(shí)現(xiàn)了能并行處理的最優(yōu)虛擬網(wǎng)絡(luò)映射方案。

2.3 BDTard方法設(shè)計(jì)

如上圖3所示，任務(wù)量從950到3950中，BDTard方法在950、2150、3350和3950的準(zhǔn)確率都達(dá)到了80%。而SpreadOut和Non-SpreadOut只在少部分達(dá)到80%?？梢?jiàn)BDTard方法能更加準(zhǔn)確地在目標(biāo)節(jié)點(diǎn)部署任務(wù)，是一種實(shí)現(xiàn)系統(tǒng)利益最大化的最優(yōu)任務(wù)部署方案。

3.3 系統(tǒng)收益對(duì)比

此實(shí)驗(yàn)通過(guò)在BDTard、SpreadOut和Non-SpreadOut三種方法上進(jìn)行系統(tǒng)平均收益和收益成本比（R/C）的對(duì)比試驗(yàn)。如下圖4所示，三種方法的長(zhǎng)期平均收益值初期是快速下降的，中后期相對(duì)平穩(wěn)。整個(gè)過(guò)程中BDTard方法的收益都是高于SpreadOut和Non-SpreadOut方法的，且另外兩個(gè)方法的收益值相差無(wú)幾。因此，相對(duì)系統(tǒng)長(zhǎng)期平均收益BDTard方法具有明顯優(yōu)勢(shì)。

而另外一個(gè)收益成本比（R/C）對(duì)比試驗(yàn)結(jié)果如下圖5所示。隨著時(shí)間的增長(zhǎng)，三種方法的收益成本比呈增長(zhǎng)趨勢(shì)，但BDTard方法的長(zhǎng)期收益成本比較另外兩種方法收益更高，BDTard方法在資源的利用率方面有明顯優(yōu)勢(shì)，部署大規(guī)模任務(wù)更加合理。

從以上兩個(gè)對(duì)比實(shí)驗(yàn)看出，BDTard方法從系統(tǒng)長(zhǎng)遠(yuǎn)利益考慮，分析任務(wù)請(qǐng)求的需求，利用Dropout自適應(yīng)深度計(jì)算模型和Agent強(qiáng)化學(xué)習(xí)對(duì)底層物理節(jié)點(diǎn)合理分配資源，最大限度降低了資源消耗成本，使得任務(wù)部署方案在長(zhǎng)期獲得更高收益，提高了資源利用率，實(shí)現(xiàn)了高效分析、處理大數(shù)據(jù)。

3.4 部署失敗數(shù)據(jù)對(duì)比

在實(shí)際處理大規(guī)模任務(wù)部署工作中，因某些網(wǎng)絡(luò)故障等原因，有可能導(dǎo)致任務(wù)部署不成功。這組實(shí)驗(yàn)通過(guò)對(duì)比BDTard、SpreadOut和Non-SpreadOut方法在任務(wù)部署的失敗數(shù)據(jù)量，進(jìn)行多組實(shí)驗(yàn)，借助誤差條顯示結(jié)果分布。

如下圖6所示，隨著任務(wù)數(shù)量的增加，三種方法任務(wù)部署失敗量也逐漸增加。但是BDTard方法的失敗數(shù)據(jù)都少于另外兩種方法，且任務(wù)數(shù)據(jù)的增加導(dǎo)致失敗部署的數(shù)據(jù)增長(zhǎng)在速度上也慢于其他兩種方法。整個(gè)實(shí)驗(yàn)過(guò)程中，當(dāng)部署任務(wù)較小時(shí)，三中方法差距不大，但任務(wù)數(shù)據(jù)達(dá)到3000以上時(shí)，差距就拉大了。當(dāng)達(dá)到4000任務(wù)量時(shí)，BDTard方法的失敗率就遠(yuǎn)小于其他兩種方法了。

從上圖6中還發(fā)現(xiàn)，相對(duì)于SpreadOut和Non-SpreadOut方法，BDTard方法隨著時(shí)間、任務(wù)量的增加，任務(wù)部署的成功率呈相對(duì)穩(wěn)定的趨勢(shì)。BDTard方法保障了大規(guī)模任務(wù)部署的可靠性、穩(wěn)定性，也是從系統(tǒng)利益考慮，利用Dropout深度模型和Agent方法來(lái)完成任務(wù)部署，有效地提高了部署的成功率和大規(guī)模任務(wù)處理能力。

4 結(jié) 論

提出的BDTard方法是一種針對(duì)大數(shù)據(jù)環(huán)境下的任務(wù)處理方法。主要利用Dropout深度計(jì)算模型虛擬映射部署任務(wù)，從系統(tǒng)長(zhǎng)遠(yuǎn)利益出發(fā)，利用Agent強(qiáng)化學(xué)習(xí)對(duì)底層物理節(jié)點(diǎn)合理分配資源，避免了計(jì)算模型過(guò)擬合產(chǎn)生。通過(guò)對(duì)比任務(wù)部署的有效性、系統(tǒng)收益和任務(wù)部署失敗數(shù)據(jù)，進(jìn)行實(shí)驗(yàn)比對(duì)分析，結(jié)果表明BDTard方法能滿足大規(guī)模任務(wù)請(qǐng)求，穩(wěn)定系統(tǒng)長(zhǎng)期收益，有效地提高了部署的成功率和大規(guī)模任務(wù)識(shí)別、計(jì)算及處理能力。

參考文獻(xiàn)

[1]MAKKIE M， LI X， QUINN S， et al. A distributed computing platform for fMRI big data analytics[J]. IEEE Transactions on Big Data，2018， 1-1.

[2]鄒鋒.基于深度神經(jīng)網(wǎng)絡(luò)和改進(jìn)相似性度量的推算方法[J]. 計(jì)算機(jī)應(yīng)用與軟件，2019 （11）：286-293，300.

[3]王欣，王芳. 基于強(qiáng)化學(xué)習(xí)的動(dòng)態(tài)定價(jià)策略研究綜述[J]. 計(jì)算機(jī)應(yīng)用與軟件，2019 （12）：1-6.

[4]SUN ?C， ?MA ?M， ?ZHAO ?Z， ?et ?al. ?Sparse ?deep ?stacking ?network ?for ?fault ?diagnosis ?of motor[J]. IEEE Transactions on Industrial Informatics， 2018， 14（7）： 3261-3270.

[5]ZENG ?G， ?LIU ?W. ?An ?iso-time ?scaling ?method ?for ?big ?data ?tasks ?executing ?on ?parallel computing systems[J]. The Journal of Supercomputing， 2017， 73（3）：4493-4516.

[6]QIU ?X， ?LUO ?L， ?DAI ?Y. ?Reliability-performance-energy ?joint ?modeling ?and optimization for a big data task[C]. Proceedings of IEEE International Conference on Software Quality， Reliability and Security Companion （QRS-C）. Vienna， Austria： August 1-3， 2016.

[7]SUN Y， YEN G G， YI Z. Evolving unsupervised deep neural networks for learning meaningful ?representations[J]. ?IEEE ?Transactions ?on ?Evolutionary ?Computation， ?2018， 23（1）： 89-103.

[8]ZHANG ?Q， ?YANG ?L ?T， ?CHEN ?Z. ?Deep ?computation ?model ?for ?unsupervised ?feature learning ?on ?big ?data[J]. ?IEEE ?Transactions ?on ?Services ?Computing， ?2015， ?9（1）： 161-171.

[9]KIM J， BUKHARI W， LEE M. Feature analysis of unsupervised learning for multi-task classification using convolutional neural network[J].Neural Processing Letters， 2017， 47（3）： 783-797.

[10]CHENG D， ZHOU X， LAMA P， et al. Cross-platform resource scheduling for spark and mapReduce on YARN[J]. IEEE Transactions on Computers， 2017， 66（8）： 1341-1353.

[11]NOU R， MIRANDA A， SIQUIR M， et al. Improving openstack swift interaction with the I/O ?stack ?to ?enable ?software ?defined ?storage[C]. ?Proceedings ?;of ?IEEE ?International Symposium on Cloud & Service Computing. Kanazawa， Japan： November 22-25， 2018.

[12]SOPAOGLU U， ?Abul ?O. ?A ?top-down ?k-anonymization ?implementation ?for ?apache spark[C]. Proceedings of IEEE International Conference on Big Data. Boston， MA， USA： December 11-14， 2017.

[13]TAQI ?A ?M， ?AWAD ?A， ?ALAZZO ?F， ?et ?al. ?The ?impact ?of ?multi-optimizers ?and ?data augmentation ?on ?tensorflow ?convolutional ?neural ?network ?performance[C]. Proceedings ?of ?IEEE ?Conference ?on ?Multimedia ?Information ?Processing ?& ?Retrieval. IEEE. Miami， FL， USA： April 10-12， 2018.

[14]WILSON C， VEERAVALLI V V， NEDICH A. Adaptive sequential stochastic optimization[J]. IEEE Transactions on Automatic Control， 2018， 64（2）： 496-509.