王 菁，王 崗，高 晶，李 寒，馬 倩

（1.北方工業(yè)大學(xué)云計算研究中心，北京100144；2.北方工業(yè)大學(xué)大規(guī)模流數(shù)據(jù)集成與分析技術(shù)北京市重點實驗室，北京100144）

1 引言

伴隨云計算技術(shù)的發(fā)展，高校逐步邁向云時代，校園云將成為高校重要的研究方向和信息化建設(shè)的主流。校園云能夠為學(xué)生、教師以及科研人員提供安全可靠的計算和存儲服務(wù)。它通過虛擬機(jī)的形式對用戶提供服務(wù)，可以動態(tài)調(diào)度各種物理資源，從而高效地管理云平臺中的資源［1］。

校園云平臺包含教學(xué)、科研兩類應(yīng)用，為高校教師和學(xué)生提供教學(xué)及科研云服務(wù)?？蒲袘?yīng)用因其使用時間以及所需虛擬機(jī)數(shù)量不確定，呈現(xiàn)不可預(yù)知性、非周期性等特點，與傳統(tǒng)應(yīng)用類似。例如，Hadoop實驗需要20臺虛擬機(jī)，使用時間為兩周。而教學(xué)應(yīng)用具有周期性、可預(yù)測性、批量性等特點。例如，Java上機(jī)實驗課需要為每個學(xué)生分配一臺虛擬機(jī)，并且在第1～16周，每周一的1、2節(jié)課上課時間內(nèi)使用。然而實際應(yīng)用中資源利用率仍然較低。

分析原因可知，當(dāng)前虛擬機(jī)調(diào)度機(jī)制為傳統(tǒng)調(diào)度方法，而傳統(tǒng)調(diào)度方法主要分為基于實時的調(diào)度與基于負(fù)載預(yù)測的調(diào)度兩類。若采用基于實時的調(diào)度方法，當(dāng)上課期間出現(xiàn)過載或過閑的情況時才會進(jìn)行調(diào)度遷移，而遷移需要消耗較大的帶寬資源、較多的能耗并且時間較長，勢必會影響上課質(zhì)量；若采用基于負(fù)載預(yù)測的調(diào)度方法，對于新申請的課程虛擬機(jī)資源，沒有可參考的歷史運行數(shù)據(jù)，無法對物理機(jī)負(fù)載進(jìn)行正確預(yù)測。所以，核心問題在于當(dāng)前的虛擬機(jī)調(diào)度機(jī)制未考慮高校教學(xué)應(yīng)用負(fù)載的特征，不能量體裁衣，這樣就會造成很多不必要的虛擬機(jī)遷移，以及由此帶來負(fù)載不均和資源浪費。

綜上所述，由于教學(xué)型應(yīng)用的特殊性，面向教學(xué)需求的計算資源即虛擬機(jī)的調(diào)配這一關(guān)鍵問題又可進(jìn)一步分解為以下兩個子問題：

（1）虛擬機(jī)創(chuàng)建時的部署問題，即決定新創(chuàng)建的虛擬機(jī)部署在哪臺物理機(jī)上；

（2）虛擬機(jī)使用時的動態(tài)調(diào)度問題，即根據(jù)物理機(jī)實際資源使用情況進(jìn)行虛擬機(jī)的動態(tài)遷移。在前期工作［2］中針對第一個子問題進(jìn)行了研究，定義了課程需求模型和物理機(jī)負(fù)載模型，提出了課程虛擬機(jī)部署算法。在此基礎(chǔ)上對第二個子問題開展研究，提出了“先平衡，后節(jié)能”的動態(tài)調(diào)度原理，定義了吻合度、遷移優(yōu)先值、負(fù)載判定值等算法判定參數(shù)，最終提出了課程虛擬機(jī)動態(tài)調(diào)度算法（CRS），以期解決物理集群資源浪費、負(fù)載不均衡問題，實現(xiàn)節(jié)能、環(huán)保、高效的目的。

2 相關(guān)工作

虛擬機(jī)優(yōu)化調(diào)度是虛擬機(jī)管理的核心問題，針對這一問題，學(xué)術(shù)界和工業(yè)界都提出了相關(guān)解決方案，下面將從面向節(jié)能、面向負(fù)載均衡、面向負(fù)載均衡以及節(jié)能三方面進(jìn)行討論：

（1）面向節(jié)能方面，Mylavarapu S等人［3］將虛擬機(jī)的容量規(guī)劃問題建模為隨機(jī)優(yōu)化問題，采用遺傳算法與蒙特卡羅模擬相結(jié)合的方式加以解決。他們首先根據(jù)平均工作負(fù)載來分配虛擬機(jī)資源，部署虛擬機(jī)；此外，根據(jù)應(yīng)用的服務(wù)等級協(xié)議SLA（Service－Level Agreement）在每臺服務(wù)器上預(yù)留了空閑的資源池。這就避免了服務(wù)器過載、應(yīng)用不能滿足SLA 而帶來的虛擬機(jī)遷移。該算法與傳統(tǒng)的基于峰值工作負(fù)載的算法相比，所需服務(wù)器的數(shù)量較少，實現(xiàn)了節(jié)能。Goudarzi H 等人［4］提出了一種生成虛擬機(jī)備份的方法——基于動態(tài)優(yōu)化、局部搜索的算法，該算法決定了每臺服務(wù)器部署的虛擬機(jī)的數(shù)量。此外，還提出了節(jié)能虛擬機(jī)放置算法，該算法主要用來決定放置在不同物理機(jī)上的虛擬機(jī)副本數(shù)量。

（2）面向負(fù)載均衡方面，Chandakanna V R 等人［5］提出了一個適用于負(fù)載均衡集群的基于模型視圖控制器的自適應(yīng)調(diào)整集群框架。該框架可自動部署新的虛擬機(jī)，自動升級現(xiàn)有應(yīng)用，并且保證集群的一致性。Hu J等人［6］提出了一種根據(jù)所采集的歷史數(shù)據(jù)和系統(tǒng)當(dāng)前狀態(tài)利用遺傳算法計算分配虛擬機(jī)資源后對系統(tǒng)的影響，從而找到最優(yōu)分配方式的以負(fù)載均衡為目的的調(diào)度算法。

（3）兼顧節(jié)能以及負(fù)載均衡方面，Chang Y C等人［7］提出了一個基于學(xué)習(xí)算法的神經(jīng)網(wǎng)絡(luò)模型。集群內(nèi)的每臺服務(wù)器上部署了資源管理器用以預(yù)測云服務(wù)器的工作負(fù)載，從而高效地對資源進(jìn)行分配，在提高服務(wù)器性能的同時降低能耗。

但是，目前的研究一般針對傳統(tǒng)的云數(shù)據(jù)中心，當(dāng)然也有少數(shù)面向特定應(yīng)用領(lǐng)域的，比如面向感知數(shù)據(jù)托管平臺［8］、電子 政務(wù)基礎(chǔ)架構(gòu)云［9］、可對云資源進(jìn)行綜合管理的清華云平臺［10］。但是，尚沒有針對高校教學(xué)應(yīng)用的虛擬機(jī)動態(tài)調(diào)度機(jī)制，沒有考慮到教學(xué)云服務(wù)負(fù)載的特征，未能對癥下藥，利用周期性、可預(yù)測性、批量性進(jìn)行有效的管理調(diào)度。

3 動態(tài)調(diào)度算法

3.1 問題定義

設(shè)校園云平臺的數(shù)據(jù)中心有n臺物理服務(wù)器，通過虛擬機(jī)動態(tài)調(diào)度使：

（1）活躍的物理機(jī)數(shù)量盡可能少。

（2）各活躍物理機(jī)的資源利用率盡可能均衡。

為了便于上述問題求解，本文作了如表1所示的定義。

Table 1 Definition of related symbols表1 相關(guān)符號定義

結(jié)合上述的相關(guān)問題可以定義：

3.2 調(diào)度原理

為了達(dá)到3.1節(jié)的目標(biāo)，調(diào)度原理采用了“先平衡，后節(jié)能”的策略。對于實際負(fù)載較高的物理機(jī)進(jìn)行虛擬機(jī)動態(tài)遷移操作，從而消除高負(fù)載的物理機(jī)，實現(xiàn)負(fù)載均衡。然后對于負(fù)載較低的物理機(jī)，選擇合適的物理機(jī)對低負(fù)載上的虛擬機(jī)進(jìn)行動態(tài)遷移，從而關(guān)閉物理機(jī)，實現(xiàn)節(jié)能目的。

具體的調(diào)度原理如圖1所示。

Figure 1 Dynamic scheduling diagram of virtual machine圖1 虛擬機(jī)動態(tài)調(diào)度原理圖

在具體調(diào)度過程中，首先根據(jù)課程虛擬機(jī)運行時物理機(jī)實際資源使用情況對物理機(jī)進(jìn)行分組；然后對于實際負(fù)載較高且已影響虛擬機(jī)正常運行的物理機(jī)，對綜合資源使用率較高的虛擬機(jī)進(jìn)行遷移，目標(biāo)主機(jī)根據(jù)待遷移虛擬機(jī)與正常物理機(jī)的相似程度及資源使用情況確定，從而消除高負(fù)載的物理機(jī)，動態(tài)遷移完成后更新物理機(jī)負(fù)載；當(dāng)調(diào)度域內(nèi)無過載物理機(jī)時，對于實際負(fù)載較低的物理機(jī)，進(jìn)行虛擬機(jī)遷移操作，全部遷移完成之后，即可關(guān)閉該物理機(jī)，實現(xiàn)節(jié)能目的。

3.3 相關(guān)定義

定義1（課程虛擬機(jī)模型） 課程虛擬機(jī)模型可以定義為一個五元組：CVm＝（VMName，IWeek，F(xiàn)Week，Resource，LSet），其中：

（1）VMName表示課程虛擬機(jī)名稱類，是課程虛擬機(jī)唯一性的標(biāo)識。

（2）IWeek表示課程的起始周數(shù)，F(xiàn)Week表示課程的結(jié)束周數(shù)。

（3）Resource表示課程虛擬機(jī)被分配的虛擬資源，每個元素可以表示為一個二元組Resource＝（Cpu，Memory），其中：Cpu表示被分配的虛擬CPU 數(shù)量；Memory表示被分配的虛擬內(nèi)存大小。

（4）LSet表示課程具體的課時集，可表示為一個三元組：LSet＝（LSection，LDay，LWeek），其中，LSection表示課程在某一天具體上課的節(jié)數(shù)；LDay表示一周具體上課的時間，即課程所在的星期幾；LWeek表示課程所在的單雙周類，LWeek＝（SWeek，DWeek），其中，DWeek為1 表示雙周有課，SWeek為1表示單周有課，否則為0。

定義2（物理機(jī)負(fù)載模型） 物理機(jī)上所部署的課程虛擬機(jī)負(fù)載情況可定義為一個二元組：Cijk＝（PName，UResource）。其中：

（1）Cijk表示在第k周，星期j，i節(jié)課的物理機(jī)負(fù)載，其中1≤i≤5，1≤j≤5，1≤k≤16；

（2）PName＝ ｛VMName1，VMName2，…，VMNamew｝，其中w表示為第k周、星期j、i節(jié)課時間段所要同時進(jìn)行的課程虛擬機(jī)的數(shù)目，VMNamew為第w個課程虛擬機(jī)的名稱；

（3）UResource表示物理機(jī)上已消耗的虛擬資源，可以表示為一個二元組UResource＝（Cpu，Memory），其中：Cpu表示已消耗的虛擬CPU 數(shù)量，Memory表示已消耗虛擬內(nèi)存大小。

定義3（吻合度） 待遷移虛擬機(jī)與物理機(jī)負(fù)載相對應(yīng)元之間的重合度高低。公式定義如下：

其中，Numoverlap表示待遷移虛擬機(jī)一共進(jìn)行的課程次數(shù)，Numall表示與物理機(jī)負(fù)載相重合的課程數(shù)。

例如，一個待遷移虛擬機(jī)屬于C＋＋課程，該課程CVm＝（"C＋＋"，1，16，（2，4），｛（4，2，（1，1）），（5，1，（1，1））｝），可以得到該虛擬機(jī)一共進(jìn)行了32次課程。若對于一臺物理機(jī)存在課程Java，課程虛擬機(jī)參數(shù)為CVm＝（"Java"，1，16，（2，4），（4，2，（1，1））），該物理機(jī)有Java課程虛擬機(jī)4臺，則該物理機(jī)與待遷移虛擬機(jī)的重合課程數(shù)為64，則吻合度GOFit＝16/64＝0.25。

定義4（判決周期T） 為了避免負(fù)載抖動的虛擬機(jī)進(jìn)行遷移，本文統(tǒng)計λ倍的平均虛擬機(jī)遷移消耗時間Δt作為物理機(jī)狀態(tài)的判決周期，即T＝λ·Δt，通常λ大于5。

定義5（高負(fù)載物理機(jī)） 在判決周期T內(nèi)，若某一物理機(jī)Pj（1≤j≤m，m為集群中物理機(jī)個數(shù)）某一資源維度上的資源利用率不小于Hi，則稱此物理機(jī)為高負(fù)載物理機(jī)。

定義6（低負(fù)載物理機(jī)） 在判決周期T內(nèi)，若某一物理機(jī)Pj（1≤j≤m，m為集群中物理機(jī)個數(shù)）某一資源維度上的資源利用率不大于Li，則稱此物理機(jī)為低負(fù)載物理機(jī)。

定義7（負(fù)載判定值De） 該值用來對物理機(jī)的負(fù)載進(jìn)行一個綜合度量，更加量化地顯示出過載與過閑的程度，通常用以下公式表示：

其中，RPi為T內(nèi)物理機(jī)在資源維度i上的平均使用大小，TPi為物理機(jī)資源i的總量。De越小則負(fù)載越高，越大則負(fù)載越低。

文獻(xiàn)［11］只考慮了CPU 維度，但通常情況下，還要考慮內(nèi)存、存儲等資源的維度。因此，本文通過對CPU、內(nèi)存兩個維度的資源監(jiān)控，更準(zhǔn)確地度量了物理機(jī)負(fù)載。

定義8（遷移優(yōu)先值） 該值用來對虛擬機(jī)的資源使用情況進(jìn)行綜合評定，用以選出待遷移虛擬機(jī)，如上只考慮CPU、內(nèi)存維度，所以用公式migrateValue＝wcpu·RVcpu＋wmemory·RVmemory計算，其中RVcpu為T 內(nèi)虛擬機(jī)平均活動CPU 大小，RVmemory為T內(nèi)虛擬機(jī)平均使用內(nèi)存大小。

3.4 算法描述

當(dāng)所部署的課程虛擬機(jī)正常運行時，虛擬機(jī)的負(fù)載會隨時間發(fā)生變化。因此，需要實時監(jiān)控物理機(jī)、虛擬機(jī)負(fù)載情況，從而做出正確的優(yōu)化調(diào)度。首先需要獲取集群中所有物理機(jī)的性能監(jiān)控數(shù)據(jù)，根據(jù)De判斷物理機(jī)所處的隊列是高負(fù)載、低負(fù)載還是正常隊列。然后選取最高負(fù)載物理機(jī)，計算其上虛擬機(jī)的遷移優(yōu)先值，選取待遷移的虛擬機(jī)后，根據(jù)當(dāng)前物理機(jī)資源使用情況以及吻合度，選定目標(biāo)主機(jī)，實施遷移操作。通過遷移即可消除高負(fù)載物理機(jī)，達(dá)到負(fù)載均衡的目的。最后對于最低負(fù)載物理機(jī)，對其上的虛擬機(jī)進(jìn)行遷移，從而消除低負(fù)載物理機(jī)，關(guān)閉空閑物理機(jī)，實現(xiàn)節(jié)能目標(biāo)。這樣通過對負(fù)載值的調(diào)節(jié)，可以同時兼顧負(fù)載均衡以及節(jié)能的目標(biāo)。調(diào)度算法描述如下：

算法1 課程虛擬機(jī)動態(tài)調(diào)度算法（CRS算法）

輸入：集群內(nèi)虛擬機(jī)和物理機(jī)的監(jiān)控數(shù)據(jù)。

輸出：虛擬機(jī)和物理機(jī)遷移映射關(guān)系。

算法描述：

上述算法的輸出結(jié)果是遷移映射關(guān)系，根據(jù)該映射關(guān)系，執(zhí)行遷移操作。需要注意的是，一個物理機(jī)同一時間只能進(jìn)行一次遷移操作，避免因同時大規(guī)模遷移帶來集群的震蕩。遷移完成之后，更新平均虛擬機(jī)遷移消耗時間Δt，并調(diào)整監(jiān)控數(shù)據(jù)獲取的周期T。

4 校園云平臺動態(tài)調(diào)度機(jī)制實現(xiàn)

4.1 調(diào)度系統(tǒng)架構(gòu)

為實現(xiàn)上述面向高校教學(xué)云服務(wù)的虛擬機(jī)動態(tài)調(diào)度方法，本節(jié)提出了調(diào)度系統(tǒng)架構(gòu)，架構(gòu)圖如圖2所示。并且在以開源OpenStack Icehouse版本為基礎(chǔ)的校園云平臺上實現(xiàn)了面向教學(xué)需求的虛擬機(jī)動態(tài)調(diào)度系統(tǒng)。

Figure 2 Scheduling system architecture diagram圖2 調(diào)度系統(tǒng)架構(gòu)圖

下面將對系統(tǒng)架構(gòu)進(jìn)行詳細(xì)闡述：

該系統(tǒng)的最底層為計算資源、存儲資源等物理資源；之上為通過服務(wù)器虛擬化技術(shù)形成的虛擬機(jī)資源，即虛擬化層，由于本系統(tǒng)是基于OpenStack這一開源虛擬化平臺管理工具，所以該層為Open－Stack虛擬化平臺；再往上則是本系統(tǒng)的核心部分，主要由數(shù)據(jù)存儲模塊、虛擬機(jī)調(diào)度模塊、虛擬機(jī)控制模塊組成。

下面將逐一介紹核心模塊的功能及其接口：

（1）數(shù)據(jù)存儲模塊。

存儲物理機(jī)預(yù)測負(fù)載：將根據(jù)虛擬機(jī)的課程詳情計算得到的的物理機(jī)預(yù)測負(fù)載存儲寫入到Mysql數(shù)據(jù)庫中；

存儲監(jiān)控數(shù)據(jù)：將通過監(jiān)控軟件獲得的物理機(jī)、虛擬機(jī)的實時資源（cpu、內(nèi)存等）使用情況存儲到Mysql數(shù)據(jù)庫中；

存儲映射關(guān)系表：將服務(wù)器與虛擬機(jī)的放置映射關(guān)系存儲到Mysql數(shù)據(jù)庫中。

（2）虛擬機(jī)調(diào)度模塊。

吻合度計算：根據(jù)待遷移課程虛擬機(jī)課程信息和物理機(jī)負(fù)載計算物理機(jī)的吻合度大??；

物理機(jī)狀態(tài)判斷：根據(jù)監(jiān)控所得數(shù)據(jù)、高低閾值判定物理機(jī)所處狀態(tài)；

負(fù)載判定值計算：根據(jù)物理機(jī)監(jiān)控數(shù)據(jù)更加量化地計算物理機(jī)綜合資源使用情況；

遷移優(yōu)先值計算：對于過載或過閑物理機(jī)上的虛擬機(jī)，根據(jù)監(jiān)測數(shù)據(jù)對虛擬機(jī)的資源使用情況進(jìn)行綜合判定；

動態(tài)調(diào)度：根據(jù)物理機(jī)狀態(tài)、負(fù)載判定值、遷移優(yōu)先值、吻合度對虛擬機(jī)按照調(diào)度規(guī)則進(jìn)行動態(tài)調(diào)度，生成遷移映射關(guān)系。

4.2 OpenStack動態(tài)調(diào)度機(jī)制擴(kuò)展

由于OpenStack不支持虛擬機(jī)的動態(tài)在線遷移，因此，首先需要結(jié)合Ganglia監(jiān)控軟件來獲取監(jiān)控數(shù)據(jù)，實現(xiàn)物理機(jī)集群和虛擬機(jī)集群的實時監(jiān)控。具體步驟如下：（1）通過UDP 協(xié)議將監(jiān)控數(shù)據(jù)封裝為xml文件，被監(jiān)控節(jié)點的監(jiān)控信息匯聚到監(jiān)控節(jié)點，從而將監(jiān)控數(shù)據(jù)以xml文件形式存儲在監(jiān)控節(jié)點；（2）由于Ganglia通過8651端口進(jìn)行監(jiān)控數(shù)據(jù)傳輸，所以等間隔地去讀取物理服務(wù)器端8651端口，獲得xml樹狀結(jié)構(gòu)的數(shù)據(jù)；（3）通過SAXReader接口對xml數(shù)據(jù)進(jìn)行解析，然后將獲得解析的監(jiān)控數(shù)據(jù)實時地存入Mysql數(shù)據(jù)庫中。

其次，OpenStack熱遷移通過搭建分布式存儲Sheepdog實現(xiàn)共享存儲。Sheepdog是為kvm 虛擬化量身定做的分布式文件系統(tǒng)，相比共享SAN存儲，Sheepdog不存在單點故障，并且是開源的，沒有SAN 的價格昂貴。同時，Sheepdog也可作為Cinder、Glance和Swift的后端存儲，每臺服務(wù)器安裝Sheepdog后即是計算節(jié)點也是存儲節(jié)點。

最后，使用Python語言編寫課程虛擬機(jī)動態(tài)調(diào)度算法（CRS算法）并通過調(diào)用OpenStack Nova API中的live＿migration接口進(jìn)行虛擬機(jī)在線遷移。

5 實驗驗證

該實驗使用8臺服務(wù)器構(gòu)建的集群上搭建了OpenStack平臺，具體服務(wù)器配置如表2所示。

Table 2 Server configuration表2 服務(wù)器配置

如表2所示，sigsit.openstack.controller為控制節(jié) 點，computenode1、computenode2、computenode3、computenode4、computenode5、computenode6、computenode7為計算節(jié)點。

為了驗證課程虛擬機(jī)動態(tài)調(diào)度算法（CRS）的效果，本文從物理機(jī)負(fù)載監(jiān)控值比較本算法與其他調(diào)度算法的優(yōu)劣。首先通過表3的所有課程請求采用CRD 算法部署課程虛擬機(jī)，其中所有課程虛擬機(jī)的CPU 核數(shù)為1，內(nèi)存為2GB。

Table 3 Details of the courses on request表3 課程請求詳情

其次，在所有課程虛擬機(jī)部署完成后，通過對不同動態(tài)調(diào)度策略的比較來驗證CRS 算法的優(yōu)勢，調(diào)度策略采用目前使用較為廣泛的OpenStack開源軟件提供的SimpleSchedule（SS）以及貪心算法First Fit（FF）。另外，動態(tài)調(diào)度過程需要設(shè)定相關(guān)參數(shù)，若高閾值設(shè)定過高，容易造成虛擬機(jī)服務(wù)質(zhì)量下降也無法得到遷移；而設(shè)置過低，會導(dǎo)致資源利用率不足的問題。若低閾值設(shè)定過高，當(dāng)有新的虛擬機(jī)遷入時，容易成為高負(fù)載物理機(jī)，引起二次遷移；若設(shè)定過低，則會造成一定的資源浪費。Srikantaiah S等人［12］的研究表明，當(dāng)CPU 利用率超過70%的時候虛擬機(jī)性能明顯下降，本文將相關(guān)值設(shè)定如下：Hcpu＝70%，Lcpu＝10%，Hmemory＝90%，Lmemory＝30%，T＝30s。

從圖3、圖4 可看出，在該課程首次上課時間段內(nèi)，經(jīng)本文提出的CRS算法動態(tài)調(diào)度之后，集群內(nèi)CPU、內(nèi)存基本達(dá)到負(fù)載均衡。而經(jīng)其他兩種算法調(diào)度之后，可以消除高負(fù)載物理機(jī)，但是集群內(nèi)資源嚴(yán)重不均衡，CPU 利用率差距大于25%，內(nèi)存利用率差距大于60%。這樣雖然消除了高負(fù)載物理機(jī)，但是存在資源浪費。

綜上所述，本文提出的虛擬機(jī)動態(tài)調(diào)度算法（CRS），可在保證教學(xué)應(yīng)用需求的同時，達(dá)到兼顧節(jié)能以及負(fù)載均衡多目標(biāo)優(yōu)化的目的。

Figure 3 CPU utilization of the cluster圖3 集 群CPU 利 用 率

Figure 4 Memory utilization of the cluster圖4 集群內(nèi)存利用率

6 結(jié)束語

本文提出了面向高校教學(xué)云服務(wù)的虛擬機(jī)調(diào)度方法及系統(tǒng)，提出了“先平衡，后節(jié)能”的動態(tài)調(diào)度原理，提出了課程虛擬機(jī)動態(tài)調(diào)度算法（CRS），以期解決物理集群資源浪費、負(fù)載不均衡問題，實現(xiàn)節(jié)能、環(huán)保、高效的目的。但是，本文在資源維度的選取方面，只考慮了CPU 和內(nèi)存這兩個維度，具有一定的局限性。為了更接近于真實的復(fù)雜環(huán)境，在日后的研究中可以考慮增加網(wǎng)絡(luò)帶寬、硬盤容量等維度，使得考量指標(biāo)更豐富、更真實。

［1］ Nathuji R，Schwan K.Virtual power：Coordinated power management in virtualized enterprise systems［C］∥Proc of ACM Symposium on Operating Systems Principles（SOSP’07），2007：256－278.

［2］ Qian Ma，Jing Wang，Gang Wang.A deployment scheme of virtual machines for campus cloud platform［C］∥Proc of the 2014International Conference on Service Sciences，2014：187－192.

［3］ Mylayarapu S，Sukthankar V，Banerjee P.An optimized capacity planning approach for virtual infrastructure exhibiting stochastic workload［C］∥Proc of ACM Symposium on Applied Computing（SAC），2010：386－390.

［4］ Goudarzi H，Pedram M.Energy－efficient virtual machine replication and placement in a cloud computing system［C］∥Proc of 2012IEEE 5th International Conference on Cloud Computing（CLOUD），2012：750－757.

［5］ Chandakanna V－R，Vatsavayi V－K.A model view controller based self－adjusting clustering framework［J］.Journal of Systems and Software，2013，29（4）：581－589.

［6］ Hu J，Gu J，Sun G，et al.A scheduling strategy on load balancing of virtual machine resources in cloud computing environment［C］∥Proc of 2010 3rd International Symposium on Parallel Architectures， Algorithms and Programming（PAAP），2010：89－96.

［7］ Chang Y－C，Chang R－S，Chuang F－W.A predictive method for workload forecasting in the cloud environment［M］∥Advanced Technologies，Embedded and Multimedia for Humancentric Computing. Netherlands：Springer Netherlands，2014：577－585.

［8］ Li X，Jiang Y.A sensory－data－h(huán)osting oriented scheduling strategy on virtual machine［C］∥Proc of 2013IEEE and Internet of Things （iThings/CPSCom），IEEE International－Conference on Green Computing and Communications（GreenCom），and IEEE Cybe，Physical and Social Computing，2013：2029－2036.

［9］ Zhao Hong－wei，Shi Bo－le.On capacity planning for E－government cloud computing infrastructure［J］.Computer Applications and Software，2014，31（11）：118－121.（in Chinese）

［10］ Zhao Shao－ka，Li Li－yao，Ling Xiao，et al.Architecture and scheduling scheme design of TsinghuaCloud based on Open－Stack［J］.Journal of Computer Applications，2013，33（12）：3335－3338.（in Chinese）

［11］ Beloglazov A，Buyya R.Energy efficient allocation of virtual machines in cloud data centers［C］∥Proc of the 10th IEEE/ACM International Conference on Cluster，Cloud and Grid Computing（CCGrif’10），2010：577－578.

［12］ Srikantaish S，Kansal A，Zhao F.Energy aware consolidation for cloud computing［C］∥Proc of the 2008Conference on Power Aware Computing and System，2008：10.

附中文參考文獻(xiàn)：

［9］ 趙宏衛(wèi)，施伯樂.電子政務(wù)基礎(chǔ)架構(gòu)云的容量規(guī)劃方法研究［J］.計算機(jī)應(yīng)用與軟件，2014，31（11）：118－121.

［10］ 趙少卡，李立耀，凌曉，等.基于OpenStack的清華云平臺構(gòu)建與調(diào)度方案設(shè)計［J］.計算機(jī)應(yīng)用，2013，33（12）：3335－3338.