王 晶,方 偉,陳靜怡,吳 杰
(復(fù)旦大學(xué) 計(jì)算機(jī)科學(xué)技術(shù)學(xué)院,上海200433)
“云計(jì)算”是近年來(lái)IT產(chǎn)業(yè)發(fā)展的新熱點(diǎn),受到各方的廣泛關(guān)注。其作為一種新興技術(shù)和商業(yè)模式,將加速信息產(chǎn)業(yè)和信息基礎(chǔ)設(shè)施的服務(wù)化進(jìn)程,催生大量新型互聯(lián)網(wǎng)信息服務(wù),帶動(dòng)信息產(chǎn)業(yè)格局的整體變革。根據(jù)提供服務(wù)類型的不同,云計(jì)算通常分為基礎(chǔ)設(shè)施即服務(wù)(infrastructure as a service,IaaS)、平臺(tái)即服務(wù)(platform as a service,PaaS) 和 軟 件 即 服 務(wù)(software as a service,SaaS)。其中,基礎(chǔ)設(shè)施即服務(wù)(IaaS)作為最基礎(chǔ)及支撐性的服務(wù)模式,通過虛擬化技術(shù)使得虛擬機(jī)共享物理機(jī)資源池,使運(yùn)營(yíng)商可以通過向用戶提供虛擬機(jī)資源來(lái)承載他們的應(yīng)用。顯然,云計(jì)算應(yīng)用的開展必將導(dǎo)致云IDC中的基礎(chǔ)設(shè)施資源(如服務(wù)器、網(wǎng)絡(luò)設(shè)備、存儲(chǔ)設(shè)備等)大量聚集,于是,虛擬資源調(diào)度管理技術(shù)的優(yōu)劣將直接影響到IDC整體的資源利用率、服務(wù)能力以及SLA。另外,隨著IDC規(guī)模的擴(kuò)增,手動(dòng)及人工管理數(shù)目龐大的物理資源集群已經(jīng)變的非常不現(xiàn)實(shí),如今,更需要一種自適應(yīng)的資源管理技術(shù),以自動(dòng)響應(yīng)IDC運(yùn)行情況變化,并減輕管理人員的負(fù)擔(dān)。因此,這也成為云計(jì)算在IaaS模式下需要重點(diǎn)優(yōu)化和突破的關(guān)鍵技術(shù)問題。
云計(jì)算環(huán)境下的自適應(yīng)資源管理問題是一個(gè)非常復(fù)雜、龐大的課題。目前,國(guó)內(nèi)外的相關(guān)研究主要集中在如下4個(gè)技術(shù)領(lǐng)域:①虛擬機(jī)放置優(yōu)化算法;②虛擬資源動(dòng)態(tài)伸縮模型;③多IDC間的全局云計(jì)算資源調(diào)度;④全局資源配置及能力規(guī)劃模型。本文將從以上4個(gè)研究領(lǐng)域出發(fā),對(duì)云計(jì)算環(huán)境下自適應(yīng)資源管理技術(shù)的現(xiàn)有研究成果進(jìn)行闡述及分析,并指出當(dāng)前研究中存在的一些亟待解決問題,進(jìn)而進(jìn)一步指出未來(lái)的研究發(fā)展趨勢(shì)。
虛擬化技術(shù)為當(dāng)今的IDC帶來(lái)了許多優(yōu)勢(shì):一方面,它能夠有效的幫助IDC提高整體IT資源的利用率,通過集成、整合分散的物理資源、將眾多虛擬機(jī)放置在同一臺(tái)物理機(jī)上;另一方面,它也為IDC提供了更大的靈活性,可以動(dòng)態(tài)的隨需配置各臺(tái)虛擬機(jī)占用資源的大小,同時(shí),也可以通過動(dòng)態(tài)遷移技術(shù)、根據(jù)不同策略使虛擬機(jī)在不同物理機(jī)之間快速移動(dòng)。但是,顯然,這也對(duì)資源管理技術(shù)提出了更高的要求。
虛擬機(jī)放置問題是云環(huán)境下資源管理技術(shù)的一個(gè)最重要的研究點(diǎn),也是目前受到關(guān)注最多的一個(gè)領(lǐng)域,學(xué)術(shù)界和工業(yè)界都對(duì)優(yōu)化的虛擬機(jī)放置技術(shù)進(jìn)行了大量研究。虛擬機(jī)放置需要決定虛擬機(jī)與物理機(jī)之間的映射關(guān)系,其重點(diǎn)即是根據(jù)所設(shè)定的放置策略,尋找優(yōu)化的虛擬機(jī)放置方案,以更好的滿足多重系統(tǒng)目標(biāo)。除此之外,還要求虛擬機(jī)的放置過程能夠自適應(yīng)的響應(yīng)整體運(yùn)行環(huán)境的動(dòng)態(tài)變化,及時(shí)做出改變。
大量的文獻(xiàn)如文獻(xiàn) [1-2]等把虛擬機(jī)放置問題建模成裝箱問題或N維裝箱問題文獻(xiàn) [3-4],通過虛擬機(jī)遷移,使得開啟盡可能少的物理機(jī)以滿足所有虛擬機(jī)的資源請(qǐng)求,從而提高整體的IT資源利用率。文獻(xiàn) [1-2]把虛擬機(jī)放置問題定義為一個(gè)多目標(biāo)優(yōu)化的問題,包括避免違反SLA、減少服務(wù)器數(shù)量、以及減少遷移次數(shù)等;他們提出了一個(gè)基于基因算法的方法來(lái)解決該問題。文獻(xiàn) [5]為虛擬機(jī)與虛擬機(jī)之間和虛擬機(jī)與物理機(jī)之間存在不相容約束的服務(wù)器整合問題制定了一個(gè)兩階段的啟發(fā)式算法:在第一個(gè)階段,通過假設(shè)每個(gè)集群代表一個(gè)沒有容量限制的服務(wù)器,來(lái)找到滿足事項(xiàng)之間和事項(xiàng)倉(cāng)不相容限制的應(yīng)用集群;在第二個(gè)階段,考慮服務(wù)器的能力限制來(lái)把每個(gè)集群中的應(yīng)用分配到目標(biāo)集群中。文獻(xiàn) [6]建立了一種基于分組遺傳基因算法的方法來(lái)解決服務(wù)器整合的問題。文獻(xiàn) [7]認(rèn)為虛擬機(jī)的遷移是有代價(jià)的,在盡量使用最少物理機(jī)產(chǎn)生最大的收益的同時(shí),需要考慮虛擬機(jī)遷移所產(chǎn)生的代價(jià)。
除了提高IDC的資源利用率外,一些文獻(xiàn)還提出了虛擬機(jī)放置的其他優(yōu)化目標(biāo)。對(duì)于IDC運(yùn)營(yíng)商來(lái)說,其最為關(guān)注的是運(yùn)營(yíng)成本,所以,隨著服務(wù)規(guī)模的擴(kuò)張,降低能耗逐漸成為一個(gè)越來(lái)越重要的趨勢(shì),這也成為很多當(dāng)前研究的一個(gè)重點(diǎn)優(yōu)化目標(biāo)。文獻(xiàn) [8-11]都各自提出了降低IDC能耗的解決方法,文獻(xiàn) [12]將能耗問題建模為約束混合整數(shù)規(guī)劃問題(constrained mix-integer programming),將其轉(zhuǎn)化為最小費(fèi)用流問題(minimum cost flow)問題,用快速多項(xiàng)式時(shí)間算法求得最優(yōu)解;相比其它文獻(xiàn),該文獻(xiàn)的解決方案具有較大的優(yōu)勢(shì)及可擴(kuò)展性。另外,文獻(xiàn)[13]把虛擬機(jī)遷移產(chǎn)生的代價(jià)、虛擬機(jī)遷移帶來(lái)的收益、遷移后能保持當(dāng)前狀態(tài)的時(shí)間都納入考慮,并用改良后的A*算法來(lái)得到一個(gè)盡可能優(yōu)的解,在能耗、利用率和性能三者之間盡量平衡。文獻(xiàn) [14]考慮了IDC中的各個(gè)虛擬機(jī)之間的網(wǎng)絡(luò)流量,希望把通信量大的虛擬機(jī)盡量放置到一臺(tái)或鄰近物理機(jī)上,以此來(lái)最大限度的減少全局的網(wǎng)絡(luò)流量。文獻(xiàn) [15]把用戶提出的一些要求作為輸入,例如某個(gè)虛擬機(jī)要獨(dú)占一臺(tái)物理機(jī)、某兩個(gè)虛擬機(jī)不能放置到同一臺(tái)物理機(jī)上等,由此產(chǎn)生的虛擬機(jī)放置算法,盡量滿足用戶的SLA。
所有上述的文獻(xiàn)都是基于確定的工作負(fù)載來(lái)研究虛擬機(jī)放置問題的,為了使上述這些模型能夠提供與應(yīng)用SLA相符合的解決方案,模型中的負(fù)載參數(shù)通常采用的是各應(yīng)用負(fù)載的高峰時(shí)期(如最大或是99%),這就會(huì)導(dǎo)致IDC在很長(zhǎng)時(shí)間內(nèi),都處于低資源利用率、高能耗的狀態(tài)中。為了解決這一問題,文獻(xiàn) [16]研發(fā)了一個(gè)自動(dòng)控制的框架,該框架能夠根據(jù)用戶特定的策略并遵從某些限制(如兼容的軟件、合適的CPU類型、相似的網(wǎng)絡(luò)連接性、共享存儲(chǔ)的使用等),來(lái)動(dòng)態(tài)的對(duì)虛擬機(jī)進(jìn)行遷移。為了解決服務(wù)水平目標(biāo),文獻(xiàn) [17]提出了一個(gè)在負(fù)載動(dòng)態(tài)變化的環(huán)境中,能夠自動(dòng)遷移虛擬機(jī)的資源控制系統(tǒng)。他們提出的方法分為兩部分:①一個(gè)能夠動(dòng)態(tài)判定應(yīng)用等級(jí)性能和通過虛擬機(jī)的反饋來(lái)分配資源的網(wǎng)上模型評(píng)估器;②一個(gè)自適應(yīng)的控制端,它能夠動(dòng)態(tài)地計(jì)算和分配資源。文獻(xiàn) [18]通過預(yù)測(cè)云承載的應(yīng)用的負(fù)載,動(dòng)態(tài)的改變虛擬機(jī)的大小,盡量減少違反應(yīng)用的SLA,同時(shí)盡量使用少的物理機(jī)來(lái)滿足所有的虛擬機(jī)資源要求。
目前,對(duì)虛擬機(jī)放置模型和算法的研究雖然數(shù)目眾多,但是大部分都存在可擴(kuò)展性差、實(shí)際有效性低、目標(biāo)單一化等問題,依然存在很大的優(yōu)化空間。虛擬機(jī)放置問題涉及到虛擬機(jī)到物理機(jī)的映射,對(duì)于絕大多數(shù)現(xiàn)有算法而言是一個(gè)NP難問題,復(fù)雜度過高,隨著IDC規(guī)模的擴(kuò)張,求得可行的解幾乎是不可能完成的任務(wù)。在動(dòng)態(tài)環(huán)境下,如何實(shí)現(xiàn)多種不同放置策略的平衡,實(shí)現(xiàn)IT資源的集約共享,降低能源消耗,同時(shí)探索低復(fù)雜度、高效率、近似優(yōu)化的虛擬機(jī)放置算法,是一個(gè)亟待解決的問題。在未來(lái),期望探索出一種多目標(biāo)優(yōu)化的、自適應(yīng)的虛擬機(jī)放置模型,綜合考慮并權(quán)衡取舍資源利用率、能耗、SLA、網(wǎng)絡(luò)流量、虛擬機(jī)遷移代價(jià)、用戶自定義策略等多方面情況,根據(jù)虛擬機(jī)的動(dòng)態(tài)變化情況自適應(yīng)的調(diào)整放置方案;并且,需要提出一種快速、簡(jiǎn)便的放置算法,在盡可能短的時(shí)間內(nèi)獲得一個(gè)盡量?jī)?yōu)的解決方案。
在虛擬機(jī)被創(chuàng)建前,使用者需要首先向云資源提供商申請(qǐng)其所需的資源情況,如CPU個(gè)數(shù)、內(nèi)存大小等。早期的資源分配方式通常是固定預(yù)分配,即完全按照使用者的請(qǐng)求情況分配給虛擬機(jī)相應(yīng)資源,運(yùn)行后,不論其真實(shí)使用情況如何,都不做任何調(diào)整。這樣的做法固然簡(jiǎn)單,但是,往往不能很好的適應(yīng)應(yīng)用的動(dòng)態(tài)工作負(fù)載的變化。如果資源請(qǐng)求者按照應(yīng)用的峰值負(fù)載申請(qǐng)資源,則將在絕大多數(shù)負(fù)載偏低的時(shí)刻造成資源的大量浪費(fèi);反之,若按照平均負(fù)載申請(qǐng),則會(huì)發(fā)生負(fù)載超越資源承載能力的情況,造成請(qǐng)求延時(shí)。
隨著技術(shù)的發(fā)展,以亞馬遜EC2為代表的彈性云服務(wù)采用了以虛擬機(jī)為單位的粗粒度的方法,按需增減開啟運(yùn)行的虛擬機(jī)數(shù)量,從而達(dá)到及時(shí)響應(yīng)應(yīng)用負(fù)載變化的目的。也就是說,當(dāng)應(yīng)用負(fù)載增加至即將超越資源承受能力時(shí),EC2會(huì)再為云服務(wù)使用者開啟一臺(tái)同樣配置的虛擬機(jī)以緩解負(fù)載壓力,做到負(fù)載均衡;而當(dāng)應(yīng)用負(fù)載降低時(shí),則可以關(guān)閉不必要的虛擬機(jī)以節(jié)省資源。亞馬遜EC2的做法雖然具備負(fù)載自適應(yīng)的虛擬資源伸縮能力,但是,以虛擬機(jī)為最小伸縮單位的變化方式,仍在一定程度上造成了資源的浪費(fèi)。
目前,虛擬資源動(dòng)態(tài)伸縮模型的研究重點(diǎn)在于更加細(xì)粒度的資源調(diào)整方式,以及時(shí)、快速的響應(yīng)應(yīng)用負(fù)載的變化情況。另外,其負(fù)載自適應(yīng)能力不僅需要依靠當(dāng)前的負(fù)載情況,還希望能夠預(yù)測(cè)出未來(lái)一段時(shí)間的工作負(fù)載變化,以更準(zhǔn)確的、有前瞻性的調(diào)整虛擬資源大小。
近期,一些關(guān)注于更精細(xì)的動(dòng)態(tài)虛擬資源伸縮模式的學(xué)術(shù)研究開始涌現(xiàn),但是,其出發(fā)點(diǎn)及所用方法大多仍相對(duì)簡(jiǎn)單、處于研究初期。文獻(xiàn) [19-20]僅考慮了單一資源的分配方式。其中,前者關(guān)注于計(jì)算資源的分配,它提出了一種隨虛擬機(jī)工作負(fù)載變化而根據(jù)CPU優(yōu)先級(jí)或CPU份額動(dòng)態(tài)調(diào)整計(jì)算資源分配的方法;后者則通過預(yù)估每臺(tái)虛擬機(jī)的內(nèi)存使用量、并據(jù)此自動(dòng)的調(diào)整內(nèi)存分配大小,來(lái)提高內(nèi)存資源的使用率。文獻(xiàn) [21-22]實(shí)現(xiàn)了一個(gè)多層次的、應(yīng)用相關(guān)的資源調(diào)度機(jī)制,能夠優(yōu)化單一物理機(jī)內(nèi)部及全局的CPU和內(nèi)存資源流動(dòng)。文獻(xiàn) [23-24]都多方面考慮了CPU、內(nèi)存和網(wǎng)絡(luò)帶寬3種資源的綜合優(yōu)化分配方式。其中,前者提出了一種應(yīng)用無(wú)關(guān)的負(fù)載均衡機(jī)制,通過實(shí)時(shí)監(jiān)控物理機(jī)及虛擬機(jī)的各項(xiàng)資源使用情況,及時(shí)調(diào)整資源分配;后者則提出了一個(gè)自治系統(tǒng),利用自動(dòng)資源監(jiān)測(cè)及熱點(diǎn)檢測(cè),確定物理資源到虛擬資源的重新分配。
所有上述研究工作都是針對(duì)云環(huán)境中當(dāng)前負(fù)載的狀況做出的響應(yīng)情況。除此之外,一些研究還將虛擬機(jī)資源的伸縮問題歸結(jié)于控制論文獻(xiàn) [25-26]問題,通過對(duì)未來(lái)工作負(fù)載進(jìn)行預(yù)測(cè)來(lái)更好、更準(zhǔn)確的優(yōu)化資源分配。文獻(xiàn)[27]提出了一個(gè)由基于控制論的在線模型預(yù)估器和多輸入多輸出(MIMO)資源控制器構(gòu)成的資源控制系統(tǒng),它能夠自動(dòng)的適應(yīng)應(yīng)用負(fù)載動(dòng)態(tài)變化,通過捕捉應(yīng)用程序性能和資源分配值之間的復(fù)雜關(guān)系,按需調(diào)整分配資源量,從而滿足云計(jì)算應(yīng)用提供者的SLA。文獻(xiàn) [28]研究了預(yù)測(cè)技術(shù)對(duì)于虛擬機(jī)動(dòng)態(tài)資源分配的影響,它通過實(shí)驗(yàn)比較了基于控制論的預(yù)測(cè)控制器與自適應(yīng)反饋控制器的有效性,其中前者使用了3種分別基于AR,ANOVA-AR和MP模型預(yù)測(cè)算法。
當(dāng)前,IDC管理者正面臨著多方面的挑戰(zhàn),包括滿足復(fù)雜的云計(jì)算應(yīng)用提供者的SLA、及時(shí)響應(yīng)隨時(shí)間變化的資源需求以及解決資源的相互依賴性等。上述眾多研究工作有許多可借鑒之處,但仍不夠完善,存在進(jìn)一步優(yōu)化的可能性。本領(lǐng)域的研究難點(diǎn)將集中在如何更準(zhǔn)確、可靠的預(yù)測(cè)未來(lái)一段時(shí)間內(nèi)的工作負(fù)載變化情況,以及如何精確、定量的根據(jù)預(yù)測(cè)負(fù)載及當(dāng)前現(xiàn)狀調(diào)整各項(xiàng)虛擬機(jī)資源的分配問題等。因此,更加有效的、細(xì)粒度的虛擬資源自適應(yīng)動(dòng)態(tài)伸縮模型與算法將是未來(lái)的發(fā)展方向。
隨著云計(jì)算應(yīng)用的快速發(fā)展,地域分布的多IDC逐漸成為一種趨勢(shì)。目前,學(xué)術(shù)界與工業(yè)界對(duì)多IDC間的全局云計(jì)算資源調(diào)度的研究尚處于早期階段,并且存在多個(gè)不同的考慮角度。前期的相關(guān)研究主要集中在混合云之間的資源調(diào)度以及某個(gè)具體應(yīng)用在多個(gè)IDC的云環(huán)境內(nèi)的全局調(diào)度這兩個(gè)方面。
針對(duì)混合云的情況,多IDC間的全局云計(jì)算資源調(diào)度主要關(guān)注于使用者的眾多應(yīng)用在企業(yè)私有云和商業(yè)共有云之間的分布方案的決策,其通常綜合考慮了租用成本、性能、安全性等多個(gè)目標(biāo)。文獻(xiàn) [29]研究了借用外部云計(jì)算資源來(lái)擴(kuò)充企業(yè)IDC自身計(jì)算能力的方法:通過一個(gè)全局的資源分配系統(tǒng)向云計(jì)算提供商借用資源以擴(kuò)充IDC自身的容量;提供了多種調(diào)度機(jī)制衡量把哪些應(yīng)用遷移到借用的資源上以達(dá)到費(fèi)用最少同時(shí)利用率最高;提出了衡量這些機(jī)制的方法,從響應(yīng)時(shí)間、最后期限違反率、租用資源費(fèi)用等多個(gè)性能指標(biāo)來(lái)衡量一個(gè)調(diào)度策略。文獻(xiàn) [30]也提出了把企業(yè)IDC的一部分應(yīng)用遷移到云中可能得到的好處,提供了一個(gè)衡量遷移策略的方法,同時(shí)提出了遷移可能遇到的一些安全和策略上的問題。
針對(duì)多個(gè)IDC的云環(huán)境內(nèi)的調(diào)度,一些文獻(xiàn)針對(duì)某些具體的應(yīng)用在云環(huán)境中如何做全局調(diào)度做了研究。相比以上考慮混合云的情況而言,本類研究具有更廣泛的應(yīng)用范圍及更大的實(shí)用價(jià)值。云環(huán)境下,地域分布的多IDC能同時(shí)為不同地域的終端用戶提供服務(wù)。根據(jù)終端用戶對(duì)云上應(yīng)用的請(qǐng)求情況,將資源合理調(diào)度到合適的IDC,既能提升終端用戶的體驗(yàn),又能提高整體云環(huán)境的資源利用率,降低運(yùn)營(yíng)成本。文獻(xiàn) [31]在多個(gè)IDC之上添加了一個(gè)分布式的調(diào)度機(jī)制,調(diào)度計(jì)算型的應(yīng)用,但是,盡管其考慮到了多IDC環(huán)境下的虛擬機(jī)優(yōu)化分布,卻忽略了IDC之間的交互成本,在需要多個(gè)虛擬機(jī)協(xié)同服務(wù)時(shí)性能會(huì)受到較大限制,并且其只注重于計(jì)算型應(yīng)用,適用情況單一。文獻(xiàn) [32]針對(duì)如何降低數(shù)據(jù)訪問的時(shí)延,提出了名為Volley的解決方案。Volley的主要思想是將數(shù)據(jù)副本放置在訪問用戶或者對(duì)其有依賴的數(shù)據(jù)附近,以減少用戶訪問時(shí)延;但是,其沒有綜合考慮各IDC的資源成本的差異,而僅將研究重點(diǎn)放在數(shù)據(jù)上。文獻(xiàn) [33]基于典型的分布式企業(yè)應(yīng)用SAP商業(yè)軟件,將用戶托管服務(wù)劃分為不同的類型,根據(jù)不同的放置策略和安全設(shè)置,將服務(wù)放置在不同的云環(huán)境(IDC)中。其基本思想是根據(jù)用戶需求將相關(guān)組件放置在對(duì)該組件有較大需求的云環(huán)境中。
由于應(yīng)用規(guī)模的限制以及牽扯的細(xì)節(jié)較多(如互操作性、網(wǎng)絡(luò)傳輸成本、資源成本差異等),當(dāng)前針對(duì)跨IDC的云計(jì)算資源調(diào)度的研究仍相對(duì)較少。但是,隨著云計(jì)算技術(shù)的進(jìn)一步發(fā)展以及IDC規(guī)模的擴(kuò)增,基于地域分布的IDC之間的交互與協(xié)作將成為一個(gè)必然的趨勢(shì)?,F(xiàn)有的多IDC間的全局云計(jì)算資源調(diào)度研究往往只考慮了少數(shù)IDC間、特定應(yīng)用、單一調(diào)度目標(biāo)的較單純情況。未來(lái),對(duì)于混合云之間的調(diào)度,將會(huì)依賴于不同云平臺(tái)之間互操作性的進(jìn)一步發(fā)展;而對(duì)于多IDC的云環(huán)境,該領(lǐng)域需要建立一個(gè)全局的云計(jì)算資源調(diào)度模型,綜合考慮地域分布的虛擬資源與終端用戶應(yīng)用模式的適配,以達(dá)到保證云計(jì)算應(yīng)用提供者的SLA、降低云計(jì)算資源提供商的成本以及提高終端用戶QoS的目的。
云環(huán)境下,云計(jì)算資源提供商、云計(jì)算應(yīng)用提供商和應(yīng)用終端用戶是云計(jì)算的參與主體,同時(shí)也是云計(jì)算產(chǎn)業(yè)鏈和價(jià)值鏈的主體文獻(xiàn) [34],其中云計(jì)算資源提供商需要面對(duì)動(dòng)態(tài)變化、地域分布的應(yīng)用終端用戶的訪問模式。
全局優(yōu)化的資源配置與能力規(guī)劃研究為資源提供商的關(guān)鍵商業(yè)決策提供支持。一方面,云計(jì)算資源提供商的投資成本主要包括硬件設(shè)備成本等資源成本,以及場(chǎng)地費(fèi)用、維護(hù)費(fèi)用、能耗成本等運(yùn)營(yíng)成本;云計(jì)算應(yīng)用提供商(云資源使用者)需要對(duì)其使用的資源付費(fèi),同時(shí)得到根據(jù)SLA規(guī)定的服務(wù)。另一方面,數(shù)據(jù)中心的投資建設(shè)和云計(jì)算應(yīng)用終端用戶的訪問都具有多地域分布的屬性。因此,不同的數(shù)據(jù)中心資源配置與能力規(guī)劃方案將具有不同的經(jīng)濟(jì)效益,其旨在協(xié)助資源提供商決定在各地域分布IDC置備多少資源,以達(dá)到高性價(jià)比、有效保證服務(wù)質(zhì)量的目的。
現(xiàn)有的資源配置與能力規(guī)劃模型的研究,大多集中在配置和規(guī)劃云計(jì)算應(yīng)用提供商所需資源方面文獻(xiàn) [35-37],而不是考慮如何配置和規(guī)劃資源提供商擁有的IDC資源。文獻(xiàn) [38]根據(jù)云計(jì)算應(yīng)用提供商所提供應(yīng)用服務(wù)的不同類型,采用不同的資源配置和能力規(guī)劃策略,向云計(jì)算資源提供商租用資源,從而有效配置和規(guī)劃從云計(jì)算資源提供商那里所獲得的資源,最終使得應(yīng)用提供商的收益最大。
另外,目前學(xué)術(shù)界和工業(yè)界對(duì)資源提供商的資源配置和能力規(guī)劃研究,也主要集中于單個(gè)IDC的能力規(guī)劃。文獻(xiàn) [39]研究基于效用計(jì)算的資源投資優(yōu)化模型,優(yōu)先考慮資源的經(jīng)濟(jì)利用,根據(jù)資源過低利用和過高利用出現(xiàn)的情況,結(jié)合經(jīng)濟(jì)模型,確定資源容量的大小,最終為資源提供商提供容量投資決策,以期達(dá)到最大化利潤(rùn)。
目前,對(duì)地域分布的IDC的資源配置與能力規(guī)劃的研究還很少,并且缺乏綜合考慮云計(jì)算終端用戶的訪問模式、訪問質(zhì)量、IDC資源成本等因素的研究模型。本領(lǐng)域期望通過對(duì)云上各類應(yīng)用及它們的訪問特征、資源需求特征進(jìn)行分析,在此基礎(chǔ)上研究終端用戶訪問質(zhì)量與數(shù)據(jù)中心的單位建設(shè)運(yùn)營(yíng)成本以及資源供給能力之間的關(guān)系模型,并對(duì)不同數(shù)據(jù)中心建立投入產(chǎn)出效用模型,最終得到全局優(yōu)化的資源配置與能力規(guī)劃方案。
由于云計(jì)算技術(shù)的發(fā)展時(shí)間尚短,學(xué)術(shù)界針對(duì)大規(guī)模云計(jì)算資源調(diào)度、管理和優(yōu)化的有關(guān)理論與技術(shù)的研究仍處于初期階段;工業(yè)界以亞馬遜EC2為代表的傳統(tǒng)彈性云服務(wù)雖然已經(jīng)實(shí)現(xiàn)了商業(yè)應(yīng)用,并取得了一定程度上的成功,但是,在復(fù)雜云計(jì)算環(huán)境下的資源調(diào)度和管理的優(yōu)化問題遠(yuǎn)未得到解決。
本文從虛擬機(jī)放置優(yōu)化算法,虛擬資源動(dòng)態(tài)伸縮模型、多IDC間的全局云計(jì)算資源調(diào)度、全局資源配置及能力規(guī)劃模型等4個(gè)方面對(duì)國(guó)內(nèi)外當(dāng)前云計(jì)算環(huán)境下的自適應(yīng)資源管理技術(shù)研究現(xiàn)狀進(jìn)行了闡述及分析??傮w而言,這4個(gè)領(lǐng)域的研究都已經(jīng)取得了或多或少的進(jìn)展,但是,仍舊存在一些關(guān)鍵問題有待進(jìn)一步深入研究與改進(jìn)。值得注意的是,這4個(gè)方面并不是完全獨(dú)立的4個(gè)領(lǐng)域,相反,它們是相互影響、相互依存的。因此,在未來(lái)的研究中,即要針對(duì)各個(gè)領(lǐng)域的現(xiàn)存問題提出更有效的解決方案,也應(yīng)關(guān)注它們之間的結(jié)合與協(xié)作方式。
[1] Nakada H, Hirofuchi T. Toward virtual machine packing optimization based on genetic algorithm [G].LNCS 5518:Berlin Heidelberg:Proceedings of the 10th International Work-Conference on Artificial Neural Networks:Part II:Distributed Computing,Artificial Intelligence Bioinformatics Soft Computing,and Ambient Assisted Living,2009:651-654.
[2]Nakada H,Hirofuchi T.Eliminating datacenter idle power with dynamic and intelligent VM relocation [C].Berlin Heidelberg:Advances in Intelligent and Soft Computing,2010:645-648.
[3]Steven S,Skiena.The algorithm design manual[M].Springer,2008:595-598.
[4]Wenceslas Fernandez de la Vega,George S Lueker.Bin packing can be solved within epsilon in linear time [M].Combinatorica,1981:349-355.
[5]Gupta R.A two stage heuristic algorithm for solving the server consolidation problem with item-item and bin-item incompatibility constraints [C].Honolulu USA:IEEE International Conference on Services Computing,2008:39-46.
[6]Agrawal S,Bose S K,Sundarrajan S.Grouping genetic algorithm for solving the server consolidation with conflicts [C].Atlanta,USA:ACM/SIGEVO Summit Genetic and Evolutionary Computation,2008:1-8.
[7]Park J,Kim J,Choi H,et al.Virtual machine migration in selfmanaging virtualized server environments [C].South Korea:International Conference on Advanced Communication Technology,2009:2077-2083.
[8]CHEN G,HE W,LIU J,et al.Energy-aware server provisioning and load dispatching for connection-intensive internet services [C].San Francisco,California:Proceedings of USENIX Symposium on NSDI,2008:337-350.
[9]Nedevschi S,Popal L,Iannaccone G,et al.Reducing network energy consumption via sleeping and rate adaptation [C].San Francisco,California:Proceedings of USENIX Symposium on NSDI,2008:323-336.
[10]FAN X,Weber W,Barroso L A.Power provisioning for a warehousesized computer [C].San Diego,CA:Proceedings of International Symposium on Computer Architecture,2007:13-23.
[11]HEO J,Henriksson D,LIU X,et al.Integrating adaptive components:An emerging challenge in performance-adaptive systems and a server farm case-study [C].Tucson,AZ:IEEE Real-Time Systems Symposium,2007:227-238.
[12]RAO L,LIU X,XIE L,et al.Minimizing electricity cost:Optimization of distributed internet data centers in a multi-electricity market environment [C].San Diego,CA:IEEE INFOCOM,2010:1-9.
[13]Jung G,Joshi K,Hiltunen M,et al.Mistral:Dynamically managing power performance and adaptation cost in cloud infrastructures [C].Genoa,Italy:International Conference on Distributed Computing Systems,2010:62-73.
[14]Vasileios Pappas,ZHANG Li.Improving the scalability of data center networks with traffic-aware virtual machine [C].San Diego,CA:IEEE INFOCOM,2010:1-9.
[15]Tsakalozos K,Roussopoulos M,F(xiàn)loros V,et al.Nefeli:Hint-based execution of workloads in clouds [C].Genoa,Italy:International Conference on Distributed Computing Systems,2010:72-85.
[16]Chris Hyser,Bret Mckee,Rob Gardner,et al.Autonomic virtual machine placement in the data center [R].HP Labs Technical Report,2007.
[17]Padala P,ZHU X.Automated control of multiple virtualized resources[C].Nuremberg,Germany:ACM EuroSys,2009:13-26.
[18]Swarna Mylavarapu,Vijay Sukthankar,Pradipta Banerjee.An optimized capacity planning approach for virtual infrastructure exhibiting stochastic workload [C].Sierre,Switzerland:ACM Symposium on Applied Computing,2010:386-390.
[19]Daniel A Menasc′e,Mohamed N Bennani.Autonomic virtualized environments[C].Silicon Valley,California,USA:International Conference on Autonomic and Autonomous Systems,2006.
[20]ZHAO Weiming,WANG Zhenlin,LUO Yingwei.Dynamic memory balancing for virtual machines [C].ACM SIGOPS Operating Systems Review,2009:37-47.
[21]SONG Ying,LI Yaqiong.A service-oriented priority-based resource scheduling scheme for virtualized utility computing[C].Dalian:International Conference on High Performance Computing,2008:220-231.
[22]SONG Ying,WANG Hui,LI Yaqiong,et al.Multi-tiered ondemand resource scheduling for VM-based data center [C].Shanghai:International Symposium on Cluster,Cloud and Grid Computing,2009:148-155.
[23]ZHOU Wenyu,YANG Shoubao,F(xiàn)ANG Jun,et al.VMCTune:A load balancing scheme for virtual machine cluster based on dynamic resource allocation [C].Nanjin:International Conference on Grid and Cooperative Computing,2010:81-86.
[24]Timothy Wood,Prashant Shenoy,Arun Venkataramani,et al.Sandpiper:Black-box and gray-box resource management for virtual machines [J].Computer Networks,2009,53(17):2923-2938.
[25]Hellerstein J L.Challenges in control engineering of computing systems [C].Boston,MA:Proceedings of American Control Conference,2004:1970-1979.
[26]Karamanolis C,Karlsson M,ZHU X.Designing controllable computer systems [C].Berkeley,CA,USA:Proceedings of Conference on Hot Topics in Operating Systems,2005.
[27]Pradeep Padala,Kai-Yuan Hou,Kang G Shin,et al.Automated control of multiple virtualized resources [C].Nuremberg,Germany:ACM EuroSys,2009:13-26.
[28]XU Wei,ZHU Xiaoyun,Sharad Singhal,et al.Predictive control for dynamic resource allocation in enterprise data centers[C].Vancouver,Canada:IEEE/IFIP Network Operations and Management Symposium,2006:115-126.
[29]Assuncao M D D,Costanzo A d,Buyya R.Evaluating the cost-benefit of using cloud computing to extend the capacity of clusters [C].Munich,Germany:ACM International Sympo-sium on High Performance Distributed Computing,2009:141-150.
[30] Mohammad Hajjat,XIN Sun,Yu-Wei Eric Sung,et al.Cloudward bound:Planning for beneficial migration of enterprise applications to the cloud [C].New Delhi,India:ACM SIGCOMM,2010:243-254.
[31]NIE L,XU Z.An adaptive scheduling mechanism for elastic grid computing [C].Zhuhai:International Conference on Semantics Knowledge and Grid,2009:184-191.
[32]Agarwal S,Dunagan J,Jain N,et al.Volley:Automated data placement for geo-distributed cloud services [C].San Jose,California: Proceedings of USENIX Symposium on NSDI,2010.
[33]Rochwerger B,Breitgand D,Levy E,et al.The reservoir model and architecture for open federated cloud computing[R].IBM Systems J,2008.
[34]Ashraf Bany Mohammed,Jhn Altmann,Junseok Hwang.Cloud computing value chains: Understanding businesses and value creation in the cloud [C].Basel-Boston-Berlin:Economic Models and Algorithms for Distributed Systems,2009:187-208.
[35]Allspaw J.The art of capacity planning:Scaling web resources[M].Reilly Media,2008.
[36]Menasce D A,Almeida V.Capacity planning for web services:Metrics models and methods [R].Upper Saddle River,NJ,USA:Prentice Hall PTR,2001.
[37]Almeida V.Capacity planning for web services [R].Performance Evaluation of Complex Systems: Techniques and Tools Performance Tutorial Lectures.London,UK:Springer-Verlag,2002:142-157.
[38]Raquel Lopes,F(xiàn)rancisco Brasileiro,Paulo Ditarso Maciel Jr.Business-driven capacity planning of a cloud-based IT infrastructure for the execution of web applications [C].Atlanta,Georgia:IEEE International Symposium on Parallel & Distributed Processing,Workshops and Phd Forum,2010:1-8.
[39]LEE In.A model for determining the optimal capacity investment for utility computing [C].Basel-Boston-Berlin:Econo-mic Models and Algorithms for Distributed Systems,2009:209-220.