宋和田
摘要:云計算中的資源調(diào)度對云計算的整體性能和運營發(fā)展有重要影響,因此資源調(diào)度已經(jīng)成為云計算的一個重要研究方向。該文首先對云計算環(huán)境下的資源調(diào)度問題做定義,并對相關(guān)的研究現(xiàn)狀進行深入研究分析,歸納總結(jié)出當(dāng)前主要的資源調(diào)度目標(biāo),分別是以性能為中心的調(diào)度目標(biāo)、以服務(wù)質(zhì)量為中心的調(diào)度目標(biāo)以及以經(jīng)濟原則為中心的調(diào)度目標(biāo)。在本文的最后指出在云計算環(huán)境下對資源進行高效管理和調(diào)度的未來重要的研究和發(fā)展方向,即基于預(yù)測、能耗與性能折中的多目標(biāo)優(yōu)化的資源調(diào)度模型。
關(guān)鍵詞:云計算;資源調(diào)度;多目標(biāo)優(yōu)化
中圖分類號:TP393 文獻標(biāo)識碼:A 文章編號:1009-3044(2015)29-0188-03
1 概述
云計算是一種新的計算模型和服務(wù)模式,它將硬件的計算能力作為一種資源的角度來看,好比是將計算資源作為一種類似于電力,網(wǎng)絡(luò)帶寬的服務(wù)通過網(wǎng)絡(luò)提供給用戶的計算模式,用戶以按需擴展的方式來使用計算資源(包括數(shù)據(jù)、軟件、硬件和網(wǎng)絡(luò)帶寬等),而無須了解它提供過程的細節(jié)。對云計算的定義有很多說法,對于到底什么是云計算,至少可以找到上百種不同的解釋[1],現(xiàn)階段最為大家所接受的是美國國家標(biāo)準(zhǔn)與技術(shù)研究院(NIST)定義:云計算是一種可以按使用量付費的模式,這種模式提供高可用的、便捷而高效的、可以按需支付的網(wǎng)絡(luò)訪問,所有的計算資源先進入到可配置的計算資源共享池(這些資源包括網(wǎng)絡(luò),服務(wù)器,存儲,服務(wù)和應(yīng)用軟件),所有的這些資源都能夠被快速提供,只需投入很少的后臺管理工作,或者與服務(wù)供應(yīng)商進行很少的交互[2]。
從云計算的定義可以看出,云計算的核心問題之一就是對資源進行有效的管理。對此,本文對云計算環(huán)境下的資源管理以及相關(guān)的研究進行了深入調(diào)查和分析,對研究現(xiàn)狀全面總結(jié),并重點給出了三種不同的目標(biāo)情況下的相關(guān)理論和方法,他們是:
a) 以降低云計算環(huán)境下的數(shù)據(jù)中心的能耗比為目標(biāo);
b) 以提高云計算系統(tǒng)下的資源利用率為目標(biāo);
c) 基于經(jīng)濟學(xué)原理的云資源管理下資源利用率最大化的多目標(biāo)優(yōu)化模型,以及其相關(guān)理論和方法;
在本文最后指明在云計算環(huán)境下的資源調(diào)度問題的未來研究的一個重要方向:基于預(yù)測、能耗與性能折中的多目標(biāo)優(yōu)化的資源調(diào)度模型。
2 云計算資源調(diào)度概述
可以將云計算看成是網(wǎng)格計算、并行計算和分布式計算等概念的進一步商業(yè)化的發(fā)展,但云計算具有其自身的一些特點,比如在資源聚合形式(完全實現(xiàn)中心存儲)與共享資源和計算能力方式(P2P)以及任務(wù)的提交方式等,所以在云計算環(huán)境下的資源調(diào)度問題也有不同于分布式計算或網(wǎng)格和并行計算等計算模式的特點。
2.1 云計算資源調(diào)度目標(biāo)
云計算環(huán)境下的資源調(diào)度的目標(biāo)可以總結(jié)為如下三點:
1)以降低云計算環(huán)境下的數(shù)據(jù)中心(Data Centre)的能耗為目標(biāo)的資源調(diào)度策略的研究;
2)以提高云計算系統(tǒng)的資源利用效率為目標(biāo)的資源管理策略的研究;
3)采用經(jīng)濟學(xué)領(lǐng)域的研究方法,對云計算環(huán)境下的資源管理建立多目標(biāo)優(yōu)化模型,并對其進行相關(guān)的研究。
2.2 云計算資源調(diào)度問題研究現(xiàn)狀
在本節(jié)中主要針對上一節(jié)所述的云計算環(huán)境下的資源調(diào)度目標(biāo),進行分類說明。并且列舉當(dāng)前在該領(lǐng)域內(nèi)的研究熱點和研究現(xiàn)狀。
在文獻[3]中作者主要研究了虛擬化的計算機集群環(huán)境中的能耗問題,并且給出一個通過降低集群中的所有處理器的工作頻率來減少能耗的機制,并且作者給出了以下能耗計算公式:及,其中為系統(tǒng)的能耗系數(shù),為總的電容負載量,為處理器當(dāng)前的電壓,為處理器的當(dāng)前工作頻率。由該云計算系統(tǒng)下總能耗公式可知,如果可以降低虛擬機的處理器的工作電壓,就可以有效的降低系統(tǒng)總能耗。本文中,作者還給出了一種可以判斷虛擬機的負載的方法,并且根據(jù)負載來動態(tài)調(diào)節(jié)虛擬機的處理器電壓,其具體的實現(xiàn)方法是:通過安裝在每個虛擬機中的監(jiān)控腳本,對虛擬機的運行狀態(tài)和系統(tǒng)負載情況進行監(jiān)控,當(dāng)虛擬機的負載比較低的時候,可以自動降低CPU工作電壓,從而減少處理器的速度并且降低其工作能耗。但在該方法最大的缺點是,其中并沒有建立有效的預(yù)測系統(tǒng),來預(yù)測CPU工作頻率降低后對應(yīng)用性能的影響,這就會造成系統(tǒng)反應(yīng)的延遲,比如當(dāng)系統(tǒng)負載增加時,節(jié)能機制需要一定的時間才能升高處理器的工作頻率,從而提高處理器的性能,但是在這個過程中,由于系統(tǒng)的延遲,會對應(yīng)用性能造成不良的影響。
文獻[4]研究了順序受限(precedence-constrained)在云計算環(huán)境下的并行應(yīng)用資源調(diào)度與分配問題,文中對并行應(yīng)用在順序受限情況下的完成時間和對應(yīng)的能耗進行統(tǒng)計并建立模型,之后作者將此模型轉(zhuǎn)化為一個多目標(biāo)優(yōu)化問題,即最小完成時間和最低能耗為優(yōu)化目標(biāo)的多目標(biāo)優(yōu)化問題,并且利用智能算法求解此多目標(biāo)優(yōu)化問題。最后通過實驗證明了作者所提出的多目標(biāo)混合遺傳算法兼顧到了能耗的最少和應(yīng)用完成時間的最小的雙目標(biāo)優(yōu)化。
圖1 節(jié)能高效云計算體系結(jié)構(gòu)
在文獻[5,6]中,作者提出了一個全新的節(jié)能高效的云計算體系(見圖1),并提出了一種優(yōu)化的選擇算法,可以基于獨有的能耗感知模型對虛擬機的位置進行優(yōu)化,并且通過能耗感知,可以動態(tài)遷移虛擬機,提高服務(wù)器的利用率,并使得空閑的服務(wù)器進入休眠狀態(tài),來降低數(shù)據(jù)中心的總能耗。該云計算體系結(jié)構(gòu)由云計算用戶、動態(tài)服務(wù)分配模塊、虛擬機、服務(wù)器4層組成。其中云計算用戶表示向云計算中心提交服務(wù)請求的具體使用者,而動態(tài)服務(wù)分配模塊則是用戶和云計算平臺中的基礎(chǔ)服務(wù)器之間的接口。高效服務(wù)動態(tài)分配模塊是整個云計算平臺的核心,實現(xiàn)節(jié)能與服務(wù)器調(diào)度的核心功能。在該系統(tǒng)中,所有的虛擬機可以被動態(tài)遷移,從而實現(xiàn)整個云系統(tǒng)中所有物理服務(wù)器的負載平衡。在系統(tǒng)負載較低的時候,系統(tǒng)會遷移虛擬機并集中到部分服務(wù)器上,同時會關(guān)閉部分空閑的計算節(jié)點,當(dāng)在在負載升高時,系統(tǒng)會自動打開空閑節(jié)點,動態(tài)遷移虛擬機到新啟動的服務(wù)器中,從而達到調(diào)整負載平衡的目的。當(dāng)系統(tǒng)中所有服務(wù)器均滿負載運行時,整個系統(tǒng)的最大功耗值,表示空閑的物理服務(wù)器的能耗占系統(tǒng)總能耗的比例,表示CPU在當(dāng)前時間下的工作利用率。作者在此能耗模型的基礎(chǔ)上,給出了資源預(yù)處理分配方法,本方法是基于能耗預(yù)測感知的。即云計算平臺的數(shù)據(jù)中心在接到來自客戶的虛擬機申請的資源請求時,會根據(jù)能耗預(yù)測模型計算出數(shù)據(jù)中心的物理服務(wù)器的總能耗,選擇能耗最小的滿足客戶條件的虛擬機,并且分配給用戶使用。
隨著云計算的使用越來越普及,很多商用的云計算平臺孕育而生,其中比較著名的是Amazon的AWS云計算平臺、IBM 藍云平臺及Google的云計算平臺、以及華為的云計算平臺FusionCloud。他們均根據(jù)自身系統(tǒng)的特點,而采取了靈活多樣,而又高效的資源調(diào)度模型。比如基于經(jīng)濟學(xué)的云資源管理模型研究方面,已經(jīng)有大量的應(yīng)用方案來針對面向市場的云計算體系結(jié)構(gòu)和面向市場的資源分配和調(diào)度方法。以下以Amazon的云計算平臺AWS為例,來介紹其資源調(diào)度方面的特點。
Amazon的云計算平臺AWS是當(dāng)前商用云計算應(yīng)用最為成功的廠家之一。它的調(diào)度策略很好地結(jié)合了經(jīng)濟效益和性能平衡的調(diào)度方式。在其云計算平臺上,用戶可以自由選擇虛擬機的配置,服務(wù)提供的時間,和服務(wù)提供的大概位置等信息,之后,系統(tǒng)會按照這些要求,動態(tài)的計算出成本,并且由系統(tǒng)自動分配相應(yīng)的符合條件的虛擬機供用戶使用,其定價機制是動態(tài)調(diào)整的。根據(jù)用戶的需求量,以及服務(wù)器的工作量等多方面的信息,去調(diào)整定價機制,同時虛擬機的動態(tài)遷移等機制也做得非常的好,是當(dāng)前云系統(tǒng)中的資源調(diào)度策略的成功典型之一。
3 未來資源管理的研究方向分析
近年來,云計算的資源管理與調(diào)度成為云計算領(lǐng)域一個熱門的課題,來自全球各地的研究者對此開展了多種多樣的研究工作,已并且得出很多有效的研究成果,但仍然存在一些不足,需要進一步深入研究和并且能夠給出解決方法。在云計算資源管理與調(diào)度方面,作者總結(jié)出未來可能的研究方向和重點:
1)首先是基于預(yù)測模型的模糊感知技術(shù),能夠有效的預(yù)測資源使用率并提前進行準(zhǔn)備調(diào)度的方法;
2)其次是面向不同應(yīng)用、在不同負載情況下的資源管理與分配策略和機制的研究,以及多目標(biāo)優(yōu)化的資源管理與調(diào)度。
結(jié)合上文的分析,面向多目標(biāo)優(yōu)化的資源管理和調(diào)度將必定成為一個研究的新關(guān)鍵領(lǐng)域,因為對于云計算中心而言,其評價指標(biāo)主要有兩個,一是資源降低能耗,另一個是保證云系統(tǒng)中的應(yīng)用的服務(wù)質(zhì)量和提高應(yīng)用性能,同時還有很多需要考慮的條件需要被引入,包括環(huán)境噪音,服務(wù)器材料的使用,服務(wù)器回收利用等等,所有這些多目標(biāo)之間,可能存在相互沖突。并且多個參數(shù)的引入,將使多目標(biāo)優(yōu)化變得十分復(fù)雜。為了獲得綜合的優(yōu)化結(jié)果,未來對數(shù)據(jù)中心資源分配的多目標(biāo)優(yōu)化模型與算法將成為重點研究的課題。
4 結(jié)束語
云計算系統(tǒng)目前已經(jīng)從工業(yè)和學(xué)術(shù)界走向商用和教育,有大量的企業(yè)私有云計算平臺或者開放的共有云平臺以及教育云、金融云等等,多行業(yè)云平臺已經(jīng)開始走向成熟商用階段。這些商用云計算平臺逐漸顯現(xiàn)出其強大的服務(wù)彈性,和性價比優(yōu)勢,并且得到越來越多用戶的認可。這促使云計算平臺在技術(shù)方面飛速的發(fā)展。但是,云計算平臺的發(fā)展過程中,依然暴露出一些不足,或者一些需要解決的問題,如安全性不足、可擴展性較低、互操作性不夠、服務(wù)水平協(xié)議有缺陷、數(shù)據(jù)遷移難度大和以用戶為中心的隱私難以被保護、透明性不夠、政治和法律相關(guān)條款不充足、業(yè)務(wù)服務(wù)管理模式模糊等。而其中云計算平臺的有效資源管理是云計算中的一個基礎(chǔ)的急需解決的研究方向。本文重點研究和分析了云計算環(huán)境下的資源調(diào)度常見方法和研究現(xiàn)狀以及其存在的問題,這些問題在不同目標(biāo)條件下往往有不同的表現(xiàn)形式,并且深入分析和比較了目前的云計算資源調(diào)度方法,同時在本文的最后,作者對未來云計算環(huán)境下的資源管理的發(fā)展的幾個重要研究方向做出分析和預(yù)測。
參考文獻:
[1] 2014年云計算大會云計算標(biāo)準(zhǔn)化體系草案形成.中國云計算,2014-03-05.
[2] 十種方法保持云中數(shù)據(jù)安全.TechTarget云計算.2013-08-23.
[3] Von L G, Wang L, Younge A J, etal. Power-Aware Scheduling of Virtual Machines in DVFS-enabled clusters [C] //Proc. of IEEE International Conference on Cluster Computing 2009, New Orleans, LA, USA, 2009:1-10.
[4] M. Mezmaz, N. Melab, Y. Kessaci, Y.C. Lee, E.-G. Talbi, A.Y. Zomaya, D. Tuyttens, A parallel bi-objective hybrid metaheuristic for energy-aware scheduling for cloud computing systems, Journal of Parallel and Distributed Computing, Volume 71, Issue 11, November 2011, Pages 1497-1508, http://dx.doi.org/10.1016/j.jpdc.2011.04.007.
[5] Beloglazov A, Abawajy J, Buyya R, Energy – Aware Resource Allocation Heuristics for Efficient Management of Data Centers for cloud Computing [J]. Future Generation Computer System, 2012, 28(5):755-768.
[6] Buyya R, Beloglazov A, Abawajy J. Energy – Efficient Management of Data Centers for cloud Computing: A Vision, Architectural Elements, and Open Challenges [C]//Proceedings of the 2010 International Conference on Parallel and Distributed Processing Techniques and Applications (PDPTA2010). Lasvegas, USA, July 2010.
[7] Hermenier F, Lorca X, Menaud J M, et al. Entropy: a Consolidation Manager for Clusters[C]// In VEE 09: Proceedings of the 2009 ACM SIGPLAN/SIGOPS international conference on Virtual execution environments2009:41-50.
[8] Xindong You, Xianghua Xu, Jian Wan, Dongjin Yu, "RAS-M: Resource Allocation Strategy Based on Market Mechanism in Cloud Computing", CHINAGRID, 2009, 2013 8th ChinaGrid Annual Conference, 2013 8th ChinaGrid Annual Conference 2009, pp. 256-263, doi:10.1109/ChinaGrid.2009.41.
[9] 林偉偉,齊德昱.一種基于動態(tài)重配置虛擬資源的云計算資源調(diào)度方法[P].2011-1-5(201010268105.7).