王明乾 劉建斌

摘要：本文針對數(shù)據(jù)中心云資源虛擬化以及所承載的應用呈現(xiàn)出多用戶、異構(gòu)化等特性，分析服務器多種資源間分配不均衡的問題，建立了云資源調(diào)度模型，提出了云資源均衡調(diào)度方法，提高了面向數(shù)據(jù)中心的基礎設施資源利用率。

關(guān)鍵詞：云資源;調(diào)度模型;調(diào)度方法

1 引言

隨著信息技術(shù)和互聯(lián)網(wǎng)的急速發(fā)展，數(shù)據(jù)量呈現(xiàn)高速增長趨勢，從而導致了數(shù)據(jù)處理能力的相對欠缺。但與此同時數(shù)據(jù)中心的計算資源的利用率一直處于不平衡的狀態(tài)，大量計算設備和存儲設備長期處于閑置狀態(tài)。如何實現(xiàn)資源的高效共享以應對大數(shù)據(jù)高速增長的勢頭，是當前亟需解決的問題。在這種發(fā)展背景下，云計算應運而生。作為云計算的重要應用研究，數(shù)據(jù)中心正在推動一系列的技術(shù)創(chuàng)新來實現(xiàn)云計算的按需提供、彈性可擴展以及海量數(shù)據(jù)存儲等關(guān)鍵特性。

2 云資源調(diào)度需求分析

作為數(shù)據(jù)中心架構(gòu)的核心，虛擬化技術(shù)的主要作用是提供基礎設施作為一種服務，實現(xiàn)多租戶資源分配，提高企業(yè)的資源利用率，將傳統(tǒng)數(shù)據(jù)中心向云計算遷移。虛擬化技術(shù)通過從物理設備中抽象計算、網(wǎng)絡和存儲服務來實現(xiàn)數(shù)據(jù)中心的按需資源供應，通過在物理機器上構(gòu)建虛擬單元，將物理資源重新整合，更靈活的提供資源動態(tài)供應，有效提髙服務器利用率，減少能耗成本[1]。對于數(shù)據(jù)中心來說，合理高效的進行資源調(diào)度的優(yōu)化是必不可少的。

為了使數(shù)據(jù)中心的資源得到更有效的使用，當任務到達時，需要為其提供滿足任務需求的虛擬機類型，減少服務運行的開銷。使數(shù)據(jù)中心在工作負載快速到達峰值時，可以迅速提供大量虛擬機來滿足突然增加的負載，當負載恢復到正常水平后，多余的虛擬資源可以被回收。我們將虛擬機層資源調(diào)度問題定義為：數(shù)據(jù)中心云資源池在某個調(diào)度決策時刻接收到多個用戶的工作請求，并且經(jīng)過分析得到每個用戶需要創(chuàng)建的虛擬機類型，所需資源量，以及該類型虛擬機需要創(chuàng)建的數(shù)量。資源調(diào)度需要解決的問題是，如何從數(shù)據(jù)中心正常運行的物理機器中選取合適的來完成虛擬機的創(chuàng)建。

3 云資源調(diào)度模型

3.1 云資源建模

云資源的建模是云資源管理和控制的基礎，所有的資源調(diào)度優(yōu)化算法都要依賴于統(tǒng)一的資源建模方式。云計算中的資源是一個云系統(tǒng)中任何可用的物理或虛擬組件，系統(tǒng)內(nèi)部的組件以及連接到這個系統(tǒng)的任何設備都是資源。云計算中的資源可以分為物理資源和邏輯資源兩類。

1）物理資源。典型的物理資源包括處理器，內(nèi)存和外圍設備。不同主機之間的物理資源差異很大，一臺普通個人電腦一般只有4G內(nèi)存，500G內(nèi)存，而一臺大型機有大量并行處理器，TB級的內(nèi)存，海量存儲以及一些其他專用設備。

2）邏輯資源。邏輯資源是物理資源的抽象，用來完成應用程序的部署[2]，以及有效的通信。

在每個云服務提供商的數(shù)據(jù)中心，有大量不同規(guī)格的物理設備，向云用戶提供各種計算或者存儲資源，尤其是基礎設施即服務（IaaS），它提供大量的存儲、服務器以及網(wǎng)絡等物理設備構(gòu)建的資源池，用戶將他們的業(yè)務部署在這些物理資源上，為了完成不同用戶的業(yè)務，需要各類型資源的協(xié)調(diào)運作。

針對上述兩種云計算中的資源，可以使用統(tǒng)一的數(shù)學模型進行描述：

3.2 云資源調(diào)度模型

數(shù)據(jù)中心的云資源池是由計算、通信、存儲資源集聚在一起形成的一種大規(guī)模復雜的異構(gòu)并且動態(tài)的結(jié)構(gòu)。如何將數(shù)據(jù)中心集中的資源根據(jù)不同的約束條件和各云計算角色的利益競爭關(guān)系，分配到對應的用戶執(zhí)行任務上，這是資源調(diào)度需要解決的問題[3]。云資源調(diào)度中心的目的就是完成從用戶提交工作請求，到給用戶需要執(zhí)行的任務分配對應的物理資源這一過程。為了實現(xiàn)這一功能，設計了如圖1所示的云資源調(diào)度中心，包括以下主要組件。

1）用戶交互組件。用戶交互組件除了完成用戶的身份驗證以及計費功能外，最主要的功能是對用戶請求的虛擬單元類型、數(shù)量以及參數(shù)進行分析判斷。對于用戶提交到云中的工作，首先分析用戶提交工作中各子任務的資源請求以及依賴關(guān)系，將其對應到合理的虛擬單元類型上，并劃分成不同的處理階段。其次需要分析監(jiān)控中心收集到的數(shù)據(jù)，判斷用戶請求是否能在約束水平內(nèi)完成。

2）注冊中心。注冊中心的主要功能是負責云數(shù)據(jù)中心集群的管理，注冊中心記錄集群中所有物理資源的信息，包括主機名、IP地址、MAC地址、網(wǎng)絡信息等，當有新的物理機加入或者離開數(shù)據(jù)中心時，需要修改數(shù)據(jù)庫中記錄的信息。注冊中心記錄了云數(shù)據(jù)中心所有物理資源的有用信息，包括數(shù)據(jù)中心集群的數(shù)量和分布，對于每個集群由記錄了集群中物理機器的數(shù)量，集群的狀態(tài)，網(wǎng)絡信息。集群中的每臺物理機，又記錄了它們的名稱、位置、狀態(tài)、操作系統(tǒng)、IP地址、端口、資源總量、網(wǎng)絡帶寬、計算能力等，還記錄了物理機上創(chuàng)建的虛擬單元信息。

3）監(jiān)控組件。云資源監(jiān)控模塊是負責收集整個云數(shù)據(jù)中心的計算、存儲、網(wǎng)絡等資源的使用情況，以及用戶提交的工作負載情況，包括請求提交速率，類型，規(guī)格等。監(jiān)控中心負責收集的性能參數(shù)有各類型資源利用率（CPU、內(nèi)存、存儲空間等），響應時間，網(wǎng)絡流量等。

4）決策中心。決策中心每隔一段時間會進行一次資源決策，稱之為決策時刻。決策時刻時決策中心會接收監(jiān)控中心監(jiān)控的各項數(shù)據(jù)，分析數(shù)據(jù)中心各物理機和虛擬單元的工作負載和資源使用情況，根據(jù)合理的資源調(diào)度算法得到優(yōu)化的資源供應或調(diào)度方案，使得系統(tǒng)工作性能達到最佳。

該模塊是云資源管理系統(tǒng)的核心模塊，根據(jù)不同的優(yōu)化目標，調(diào)用對用的資源調(diào)度算法，對云數(shù)據(jù)中心所有的可用資源進行集中式的管理和調(diào)配，以預期的目標為驅(qū)動，將所有可用資源以虛擬單元分配到各用戶的工作及其子任務之中。

5）基礎設施管理器。該模塊是負責系統(tǒng)基礎架構(gòu)中實際的調(diào)整操作，對云數(shù)據(jù)中心的集群、物理資源、虛擬資源以及虛擬鏡像進行管理，包括物理機的啟動關(guān)閉、虛擬單元的創(chuàng)建刪除、配置信息的修改等等。當該模塊接收到?jīng)Q策中心發(fā)出的資源調(diào)度方案，將會使用云環(huán)境中的虛擬化技術(shù)，在對應的物理設備上進行虛擬單元的創(chuàng)建、注銷或者遷移。然后將對應的用戶任務匹配到該資源上，由其負責具體的任務執(zhí)行工作。

4 云資源調(diào)度方法

4.1 資源調(diào)度方法

對于一個虛擬化的云數(shù)據(jù)中心，假設在某個資源調(diào)度決策時刻共有M臺可用物理機，每臺物理機的可用資源表示為[4]：

圖2中描述了一個虛擬化云環(huán)境下資源調(diào)度問題的實例，假設現(xiàn)在有兩臺物理機，可用資源分別為（4，8，40）和（4，6，50）。在某個決策時刻隸屬于三個用戶的三個子任務分別請求的虛擬機類型為（2，4，20），（1，1，10）和（2，2，10）。創(chuàng)建虛擬機需要占用物理機上的可用資源，調(diào)度算法依據(jù)用戶所請求的資源類別、數(shù)量以及物理機的資源分布、負載情況，將用戶所請求虛擬機均衡的分配在物理機上，以達到性能最優(yōu)及資源利用率最大。

4.2 云資源調(diào)度的流程

為了根據(jù)用戶的需求，將數(shù)據(jù)中心集中管理的資源合理分配給對應的需要被執(zhí)行的任務，資源調(diào)度的工作流程如圖3所示：

步驟1：首先由用戶通過門戶網(wǎng)站或者調(diào)用API向云系統(tǒng)提交工作請求，此時用戶管理中心需要先驗證用戶的身份。

步驟2：通過驗證的用戶可以向云端申請資源，用戶請求分析模塊接收請求，將用戶工作中各子任務劃分處理階段，并分析資源請求相關(guān)參數(shù)，根據(jù)系統(tǒng)中可用資源總量進行判斷，是否可以完成用戶請求。

步驟3：若接收該請求，請求會被轉(zhuǎn)交到?jīng)Q策中心進行處理。決策中心首先會從監(jiān)控中心獲取當前數(shù)據(jù)中心各物理節(jié)點和虛擬節(jié)點資源使用狀態(tài)，以及注冊中心中各物理節(jié)點信息以及網(wǎng)絡信息等等。

步驟4：根據(jù)用戶提交的工作類型和資源需求，決策中心選擇合適的資源調(diào)度算法，進行計算，求得優(yōu)化的調(diào)度方案。

步驟5：該方案發(fā)送到基礎設施管理組件，由其負責具體的虛擬單元管理操作，并將用戶請求中的各項子任務分發(fā)到對應合理的物理資源上。

當有新的物理節(jié)點加入數(shù)據(jù)中心云資源池時，需要首先向數(shù)據(jù)中心注冊，注冊消息中包含物理機的基本信息。注冊中心接收消息后會給該物理節(jié)點分配一個唯一標識，返回該標識表示注冊成功，該物理節(jié)點加入云系統(tǒng)。同時注冊中心會向監(jiān)控中心發(fā)送消息，通知該中心與新的物理節(jié)點建立通信，監(jiān)控該節(jié)點的資源使用情況。當有物理機因老化、壞損等原因永久離開云數(shù)據(jù)中心時，需要給注冊中心發(fā)送消息，通知其刪除相關(guān)信息。

5 總結(jié)

本文重點關(guān)注了云計算多用戶環(huán)境下，數(shù)據(jù)中心云資源調(diào)度機制。隨著云計算的出現(xiàn)，數(shù)據(jù)中心云資源虛擬化以及所承載的應用呈現(xiàn)出多用戶、異構(gòu)化等特性，使得服務器內(nèi)部多種資源間分配不均衡的問題愈加突出，嚴重影響了基礎設施資源的使用效率。本文首先闡述了數(shù)據(jù)中心對于云資源調(diào)度機制的迫切需求。通過對數(shù)據(jù)中心云資源虛擬化技術(shù)的研究，建立了云資源調(diào)度模型。提出了多服務器云資源均衡調(diào)度模型，提高了數(shù)據(jù)中心的基礎設施資源利用率。

參考文獻

[1] 劉鵬.云計算的定義和特點[J]. 2012-06-05.http：//www. chinacloud. en/show. aspx，2009..

[2] 黎沛姿，譚北平.在線調(diào)查的代表性與可靠性對比研究[J].市場研究. 2005（08）.

[3] 張建勛，古志民，鄭超. 云計算研究進展綜述[J]. 計算機應用研究，2010，27（2）：429-433.

[4] Leverich J，Kozyrakis C. On the energy （in） efficiency of hadoop clusters[J]. ACM SIGOPS Operating Systems Review，2010，44（1）：61-65.

第一作者：王明乾（1989年12月），男，漢族，籍貫：河北清河，學歷：碩士，職稱：助教，研究方向：云計算。

第二作者：劉建斌（1990年5月），男，漢族，籍貫：山西省忻州市人，學歷：碩士，職稱：助教，研究方向：數(shù)據(jù)存儲技術(shù)。