唐涌濤 段永強(qiáng) 黃捷 蘇榮 福文劍

摘 要云計(jì)算資源管理是指將存儲(chǔ)、網(wǎng)絡(luò)帶寬以及其他資源分配給一組應(yīng)用程序的操作。由于資源管理過(guò)程中會(huì)受到服務(wù)水平協(xié)議的約束，因此本文對(duì)云平臺(tái)的性能和資源的利用率進(jìn)行了研究，提出了一種自動(dòng)機(jī)器學(xué)習(xí)的新算法，該算法可根據(jù)用戶(hù)需求的動(dòng)態(tài)資源對(duì)物理主機(jī)的狀態(tài)進(jìn)行預(yù)測(cè)，提高物理主機(jī)利用率、減少虛擬機(jī)遷移次數(shù)，減少數(shù)據(jù)中心能耗。

關(guān)鍵詞云計(jì)算;資源管理;自動(dòng)機(jī)器學(xué)習(xí);虛擬機(jī)遷移

0 引言

互聯(lián)網(wǎng)環(huán)境下，云計(jì)算技術(shù)可以為用戶(hù)提供水、電、氣以及電話(huà)等計(jì)算服務(wù)。使用云服務(wù)技術(shù)，用戶(hù)可以隨時(shí)隨地獲取自身所需的服務(wù)，并根據(jù)使用情況支付一定的費(fèi)用[1-5]。一般來(lái)說(shuō)，云計(jì)算架構(gòu)由基礎(chǔ)架構(gòu)及服務(wù)、平臺(tái)及服務(wù)和軟件及服務(wù)組成[6-7]。其中，基礎(chǔ)架構(gòu)設(shè)施層主要包括硬件基礎(chǔ)架構(gòu)，例如存儲(chǔ)、網(wǎng)絡(luò)組件、服務(wù)器、CPU等，平臺(tái)及服務(wù)層主要包括計(jì)算框架和解決方案，例如服務(wù)過(guò)程管理、軟件開(kāi)發(fā)工具等，軟件及服務(wù)層則是將云計(jì)算服務(wù)封裝成各類(lèi)軟件并提供給用戶(hù)。

然而，隨著數(shù)據(jù)中心規(guī)模的不斷擴(kuò)大以及數(shù)據(jù)中心本身的異構(gòu)性，云計(jì)算中的資源管理問(wèn)題也愈發(fā)嚴(yán)峻。盡管逐漸興起的虛擬化技術(shù)允許用戶(hù)可以在通用的基礎(chǔ)架構(gòu)上同時(shí)運(yùn)行多個(gè)應(yīng)用程序，在此之中的資源分配算法可分為基于閾值和人工智能兩大類(lèi)。閾值檢測(cè)方法是指閾值被違法則重新分配資源，盡管此類(lèi)方法較為簡(jiǎn)單，但卻不能長(zhǎng)期使用運(yùn)行;人工智能檢測(cè)方法則是通過(guò)較長(zhǎng)時(shí)間的學(xué)習(xí)獲得相關(guān)機(jī)器的經(jīng)驗(yàn)，從而為機(jī)器分配最合適的資源。除此之外，由于物理主機(jī)（physical machine， PM）的資源是一定的，這樣一對(duì)多的映射關(guān)系必定導(dǎo)致虛擬機(jī)多次遷移，從而破壞云平臺(tái)性能，當(dāng)突然增加或者減少正在運(yùn)行程序的工作流時(shí)，此時(shí)資源分配算法是進(jìn)行高效分配資源的最佳解決方案。對(duì)于能耗管理，從技術(shù)上可分為靜態(tài)和動(dòng)態(tài)兩種，靜態(tài)技術(shù)主要是在設(shè)計(jì)時(shí)執(zhí)行優(yōu)化操作，動(dòng)態(tài)技術(shù)則是在云平臺(tái)運(yùn)行過(guò)程中根據(jù)當(dāng)前的資源需求和動(dòng)態(tài)系統(tǒng)規(guī)范來(lái)調(diào)整系統(tǒng)行為，其中，DVFS是能耗管理技術(shù)中最重要的動(dòng)態(tài)方法之一，其主要通過(guò)更改處理器的電壓電平和頻率來(lái)降低動(dòng)態(tài)能耗[3]。

本文基于對(duì)云平臺(tái)性能和能耗的考慮，設(shè)計(jì)了一種基于自動(dòng)機(jī)器學(xué)習(xí)的節(jié)能動(dòng)態(tài)調(diào)度方案，主要使用機(jī)器學(xué)習(xí)獲得機(jī)器的負(fù)載規(guī)律從而動(dòng)態(tài)調(diào)整資源分配，減少虛擬機(jī)遷移次數(shù)，達(dá)到降低平臺(tái)能耗的目的。

1 自動(dòng)機(jī)器學(xué)習(xí)技術(shù)

自動(dòng)機(jī)器學(xué)習(xí)是在強(qiáng)化學(xué)習(xí)框架中運(yùn)行的一種隨機(jī)模型，其目的在于從一組行為中確定最佳行為。自動(dòng)機(jī)器學(xué)習(xí)過(guò)程可以視作有限數(shù)量對(duì)象的抽取過(guò)程，如圖1所示其從一組有限的行為中選擇一個(gè)行為，并將其應(yīng)用于環(huán)境，環(huán)境評(píng)估施加行為后的狀態(tài)，然后向自動(dòng)學(xué)習(xí)機(jī)發(fā)送強(qiáng)化信號(hào)。環(huán)境反饋的增強(qiáng)信號(hào)用于更新自動(dòng)學(xué)習(xí)機(jī)的內(nèi)部邏輯關(guān)系，通過(guò)長(zhǎng)時(shí)間的持續(xù)學(xué)習(xí)，自動(dòng)學(xué)習(xí)機(jī)逐漸學(xué)習(xí)選擇最佳的行為，從而得到環(huán)境的積極響應(yīng)[8]。

2 系統(tǒng)方案

2.1 方案模型

本文采取的系統(tǒng)模型是擁有n臺(tái)PM的大型云計(jì)算環(huán)境，每個(gè)PM都有相應(yīng)的CPU、網(wǎng)絡(luò)帶寬和隨機(jī)存儲(chǔ)，具體模型圖如圖2所示。

云平臺(tái)的服務(wù)質(zhì)量（quality of service， QOS）通常用服務(wù)等級(jí)協(xié)議（Service-Level Agreement， SLA）表示，一般來(lái)說(shuō)，違反SLA的度量標(biāo)準(zhǔn)包括過(guò)載時(shí)間比例（Overload Time Fraction， OTF）和遷移退化指數(shù)（Performance Degradation Due to Migration， PDM ）[4]，這兩種性能指標(biāo)可以用式（4）表示。

盡管OTF和PDM度量標(biāo)準(zhǔn)都獨(dú)立地表征了云平臺(tái)中違反SLA的等級(jí)，但是Beloglazov[2]也提出了一種同時(shí)表征PM超載和VM遷移導(dǎo)致的性能下降，稱(chēng)為SLA違規(guī)，計(jì)算方式如式（5）所示。

2.2 調(diào)度算法

基于PM負(fù)載的動(dòng)態(tài)性和VM需求資源的不確定性，本文提出了一種自動(dòng)機(jī)器學(xué)習(xí)動(dòng)態(tài)資源調(diào)度方案。在此方案中，主要通過(guò)對(duì)CPU使用的歷史狀態(tài)作為機(jī)器學(xué)習(xí)的樣本，從而得到較好的PM異常狀態(tài)監(jiān)測(cè)，自動(dòng)機(jī)器學(xué)習(xí)的流程如圖3所示。

此流程中，虛擬機(jī)行為可分為三大類(lèi)：提高CPU利用率，記做ASC;降低CPU利用率，記做DESC;不改變CPU利用率，記做NONE。對(duì)于如何確定PM是否超載，我們采用如圖4所示流程。

當(dāng)物理主機(jī)的狀態(tài)發(fā)生變化，虛擬機(jī)上的自動(dòng)機(jī)器學(xué)習(xí)的策略也需要發(fā)生變化，具體流程如圖5所示。

3 測(cè)試結(jié)果與分析

3.1 測(cè)試環(huán)境

為驗(yàn)證算法的有效性，本文在CloudSim模擬測(cè)試平臺(tái)上將本文提出的方案與近期的能源意識(shí)分配方案[2-3]進(jìn)行了比較。在此測(cè)試平臺(tái)中，本文模擬了一個(gè)云計(jì)算基礎(chǔ)架構(gòu)，其中包含800臺(tái)PM，具體參數(shù)如表1所示。

3.2 測(cè)試結(jié)果

在此測(cè)試過(guò)程中，主要性能指標(biāo)為PM過(guò)載和SLA違反產(chǎn)生的能耗，本方案LOAD與其他方案的仿真對(duì)比數(shù)據(jù)如表2所示。

從上表可知，本文所設(shè)計(jì)方案較其他檢測(cè)算法在能耗減少、虛擬機(jī)遷移次數(shù)減少、SLAV降低、PDM降低、OTF降低上更具優(yōu)越性。

除此之外，在本節(jié)中，本文更具上述檢測(cè)結(jié)果在虛擬機(jī)遷移次數(shù)和策略違反上進(jìn)行了圖形比較，遷移次數(shù)對(duì)比如圖6所示，策略違反對(duì)比如圖7所示，結(jié)果顯示，本文所設(shè)計(jì)的檢測(cè)策略較其他檢測(cè)算法更具優(yōu)越性。

4 結(jié)論

本文基于PM狀態(tài)的動(dòng)態(tài)性和VM需求的不確定性，提出了一種基于自動(dòng)機(jī)器學(xué)習(xí)的資源調(diào)度方案，使資源在云計(jì)算環(huán)境中能得到更好的分配。該方案通過(guò)對(duì)用戶(hù)需求資源變化的學(xué)習(xí)，對(duì)PM的狀態(tài)進(jìn)行了預(yù)測(cè)，防止了PM處于過(guò)載狀態(tài)。除此之外，該方案通過(guò)資源調(diào)度實(shí)現(xiàn)了服務(wù)器之間的負(fù)載均衡，減少了空閑PM的運(yùn)行，使得數(shù)據(jù)中心的能源利用率得到了大大的提升。

參考文獻(xiàn)

[1]陳全，鄧倩妮.云計(jì)算及其關(guān)鍵技術(shù)[J].計(jì)算機(jī)應(yīng)用，2009，29（9）：2562-2567.

[2]Beloglazov A， Abawajy J， Buyya R. Energy-aware resource allocation heuristics for efficient management of data centers for Cloud computing[J]. Future Generation Computer Systems， 2012， 28（5）：755-768.

[3]Anton Beloglazov， Rajkumar Buyya. Optimal online deterministic algorithms and adaptive heuristics for energy and performance efficient dynamic consolidation of virtual machines in Cloud data centers[J]. Concurrency & Computation Practice & Experience，24（13）：0-0.

[4]Esfandiarpoor S， Pahlavan A， Goudarzi M. Structure-aware online virtual machine consolidation for datacenter energy improvement in cloud computing[J].Computers & Electrical Engineering，2015，42：74-89.

[5]王佳慧，劉川意，王國(guó)峰，等.基于可驗(yàn)證計(jì)算的可信云計(jì)算研究[J].計(jì)算機(jī)學(xué)報(bào)，2016，39（2）：286-304.

[6]王意潔，孫偉東，周松，等.云計(jì)算環(huán)境下的分布存儲(chǔ)關(guān)鍵技術(shù)木[J].軟件學(xué)報(bào)，2012，23（4）：962-986.

[7]譚一鳴，曾國(guó)蓀，王偉.隨機(jī)任務(wù)在云計(jì)算平臺(tái)中能耗的優(yōu)化管理方法[J].軟件學(xué)報(bào)，2012，23（2）：266-278.

[8]Lakshmivarahan S.， Thathachar M.A.L.. Absolutely Expedient Learning Algorithms for Stochastic Automata[J]. Systems， Man and Cybernetics， IEEE Transactions on， 1973，SMC-3（3）：281-286.

[9]宋杰，李甜甜，閆振興，等.一種云計(jì)算環(huán)境下的能效模型和度量方法[J].軟件學(xué)報(bào)，2012，23（2）：200-214.

[10]羅剛毅，錢(qián)柱中，陸桑璐.一種基于網(wǎng)絡(luò)感知的虛擬機(jī)再調(diào)度算法[J].計(jì)算機(jī)學(xué)報(bào)，2015，38（5）：932-943.