朱振華 高宏

摘 要： 隨著商業(yè)界和學(xué)術(shù)界的需求增長，傳統(tǒng)的計(jì)算系統(tǒng)的發(fā)展主要集中于計(jì)算性能的提升。然而，計(jì)算系統(tǒng)與日俱增的能量消耗，導(dǎo)致了的巨額電費(fèi)和二氧化碳排放，使其逐漸成為計(jì)算系統(tǒng)發(fā)展的一大瓶頸。通過對國內(nèi)外計(jì)算系統(tǒng)電源管理技術(shù)領(lǐng)域的應(yīng)用和研究進(jìn)行分析，總結(jié)了硬件、操作系統(tǒng)、虛擬化以及數(shù)據(jù)中心等各個(gè)層次上的電源管理研究的進(jìn)展與核心技術(shù)，最后對全文進(jìn)行了總結(jié)，闡述了電源管理技術(shù)研究在計(jì)算系統(tǒng)中的重要意義以及發(fā)展前景。

關(guān)鍵詞： 計(jì)算系統(tǒng)；電源管理；研究現(xiàn)狀

中圖分類號： TP391 文獻(xiàn)標(biāo)志碼： A 文章編號：2095-2163（2015）04-

A Survey on Power Management of Computing System

ZHU Zhenhua， GAO Hong

（School of Computer Science and Technology， Harbin Institute of Technology， Harbin 150001， China）

Abstract： Driven by the demand of applications from both business and scientific domains， the development of computing systems has been traditionally focused on improving performance. However， the increasing energy consumption from computing system， leading to huge electricity bills and carbon dioxide emission， is becoming one of the biggest bottleneck for performance growth. This paper analyzes the application and research from perspective of the power management technologies， and summarizes the research status and core technologies of computing systems covering hardware， operating system， virtualization， and data center levels. Finally， the paper concludes the contents of this research， which gives out the significance and prospect of Power Management of Computing System in computer system.

Keywords： Computing System； Power Management； Survey

0 引 言

隨著微電子技術(shù)依循摩爾定律的快速發(fā)展，云計(jì)算與大數(shù)據(jù)技術(shù)得以爆炸性地?cái)U(kuò)散，從而印發(fā)世界各地相機(jī)建立了包含有成千上萬節(jié)點(diǎn)的大規(guī)模數(shù)據(jù)中心，由此徹底改變了信息和通信技術(shù)行業(yè)的進(jìn)化格局。然而，大規(guī)模數(shù)據(jù)中心能耗量的大幅增長以及相伴相生的大量二氧化碳排放，即已成為供電系統(tǒng)和生態(tài)系統(tǒng)的重大問題。根據(jù)美國環(huán)保署統(tǒng)計(jì)報(bào)告，2006年，美國數(shù)據(jù)中心耗電累計(jì)610億度，占全美總量的1.5%，電費(fèi)約為45億美元，超過美國所有電視機(jī)耗電量的總和[1]。另據(jù)研究表明，從2005～2010年全球的數(shù)據(jù)中心的能源消耗增長了56%，而在2010年中僅數(shù)據(jù)中心就消耗了全球總電力資源的1.1%～1.5%[2]，而且這種快速增長趨勢仍然在持續(xù)。為此，展開有關(guān)低功耗、低排放、可持續(xù)發(fā)展的新型計(jì)算系統(tǒng)、模型和應(yīng)用方面的研究，即對信息與通信技術(shù)領(lǐng)域的未來發(fā)展有著重大意義。

1 電源管理技術(shù)分類

目前，國內(nèi)外學(xué)者對計(jì)算系統(tǒng)的能耗問題也即電源管理問題，做了大量的研究。從高層次上來劃分，電源管理技術(shù)可以分為靜態(tài)電源管理技術(shù)和動態(tài)電源管理技術(shù)兩大類。其中，靜態(tài)電源管理將設(shè)備的工作模式和運(yùn)行狀態(tài)都設(shè)置為固定的工作模式，并認(rèn)為之后再也不發(fā)生變化，是在電器件研發(fā)初期按照設(shè)備功能要求相應(yīng)的設(shè)置靜態(tài)功耗管理策略。而動態(tài)電源管理技術(shù)則是根據(jù)系統(tǒng)實(shí)時(shí)的運(yùn)行狀態(tài)對系統(tǒng)資源的利用進(jìn)行動態(tài)的調(diào)節(jié)，以使系統(tǒng)的資源利用率與系統(tǒng)的負(fù)載達(dá)到最佳擬合。靜態(tài)電源管理技術(shù)簡單穩(wěn)定但是粒度較粗，并且固定的工作模式也缺乏靈活性，而動態(tài)電源管理技術(shù)則能夠很好地適應(yīng)系統(tǒng)運(yùn)行狀態(tài)變化，在降低功耗上獲得了更佳效果。這兩類電源管理技術(shù)現(xiàn)已成為當(dāng)前計(jì)算系統(tǒng)中降低功耗的重要技術(shù)。

2 靜態(tài)電源管理技術(shù)

靜態(tài)電源管理技術(shù)往往與硬件底層密切相關(guān)，其中囊括了電路層次、邏輯層次、架構(gòu)層次等多層次的硬件設(shè)計(jì)優(yōu)化技術(shù)[3，4]。具體地，電路層的節(jié)能優(yōu)化和邏輯層的節(jié)能優(yōu)化均是依靠芯片層面上的優(yōu)化技術(shù)得以實(shí)現(xiàn)，而其主要就是通過優(yōu)化復(fù)雜的門電路設(shè)計(jì)和晶體管尺寸以減少芯片中電路狀態(tài)切換的電能消耗。兩者之間的不同之處就分別在于，電路層的優(yōu)化減少的是單個(gè)邏輯門電路和晶體管級組合電路的能量消耗；而邏輯層的優(yōu)化，減少的卻是邏輯電路和時(shí)序電路的能量消耗。另外，架構(gòu)層的節(jié)能優(yōu)化則包括了芯片的設(shè)計(jì)和相關(guān)功耗優(yōu)化技術(shù)，如不對稱多核設(shè)計(jì)、寄存器層次的功耗優(yōu)化等。

英特爾處理器便從邏輯設(shè)計(jì)和體系架構(gòu)設(shè)計(jì)上進(jìn)行了降低功耗的諸多優(yōu)化[5]，如：

（1）Micro-Op Fusion：采用操作融合技術(shù)，實(shí)現(xiàn)兩個(gè)操作、一次執(zhí)行。

（2）Dedicated Stack Manager： 通過設(shè)置硬件堆棧管理器，可以明顯減少堆棧管理的微操作數(shù)，達(dá)到減低功耗的目的。

靜態(tài)電源管理技術(shù)由于涉及到最底層電子元器件，且控制過程簡單而粗略、工作模式固定以及無動態(tài)性和實(shí)時(shí)性等缺點(diǎn)，而使其遠(yuǎn)未獲得如動態(tài)電源管理技術(shù)一般的大范圍研究。Qyan G等采用靜態(tài)電源管理方法實(shí)現(xiàn)了對固定優(yōu)先級實(shí)時(shí)系統(tǒng)的電壓控制[6]。Shin Y實(shí)現(xiàn)了固定優(yōu)先級硬件系統(tǒng)的靜態(tài)電源管理[7]。

3 動態(tài)電源管理技術(shù)

動態(tài)電源管理技術(shù)由于對硬件的依賴性沒那么大，較之靜態(tài)電源管理技術(shù)有著較為廣泛而深入的研究。動態(tài)電源管理技術(shù)的核心思想是根據(jù)系統(tǒng)的實(shí)時(shí)狀態(tài)來自適應(yīng)地調(diào)節(jié)系統(tǒng)資源的使用從而達(dá)到減少不必要的能耗的目的，其前提便是硬件支持這種自適應(yīng)的調(diào)整。動態(tài)電源管理技術(shù)又可以細(xì)分為硬件級、操作系統(tǒng)級、虛擬化級以及數(shù)據(jù)中心級等從微觀到宏觀多個(gè)層次的功耗管理技術(shù)。對每一層次的功能實(shí)現(xiàn)解析則可做如下論述。

3.1 硬件級動態(tài)電源管理

硬件級的動態(tài)電源管理技術(shù)因不同的硬件而異，但通?？梢苑譃閮深怐PS（Dynamic Performance Scaling）和DCD（Dynamic Component Deactivation）。有關(guān)DPS技術(shù)，其核心思想是根據(jù)實(shí)時(shí)的需求來動態(tài)自適應(yīng)地調(diào)整硬件部件的性能。最為著名的例子便是DVFS（Dynamic Voltage and Frequency Scaling）技術(shù)，就是通過動態(tài)地調(diào)節(jié)CPU的頻率和電壓，從而達(dá)到節(jié)能的目的?，F(xiàn)代CPU的復(fù)雜架構(gòu)（如流水線技術(shù)、多層緩存等）使得DVFS技術(shù)很難選擇合適的頻率以最佳滿足當(dāng)前的性能需求，換而言之就是很難在性能和功耗之間尋找合適的平衡點(diǎn)，文獻(xiàn)[8-11]即對這方面進(jìn)行了系統(tǒng)而深入的研究。

當(dāng)硬件部件并不支持動態(tài)調(diào)節(jié)性能時(shí)，則主要通過DCD技術(shù)來實(shí)現(xiàn)節(jié)能。DCD技術(shù)的核心思想是通過時(shí)鐘閘控技術(shù)來降低電子部件的功耗，或者干脆關(guān)閉或者休眠不在工作的硬件部件以降低能耗。然而，硬件部件不同狀態(tài)的切換一方面會導(dǎo)致硬件部件的延遲，從而降低系統(tǒng)的性能，另一方面硬件部件在狀態(tài)切換的過程還會由于重新初始化而產(chǎn)生額外的能量消耗。進(jìn)一步地，DCD策略還可細(xì)分為超時(shí)策略（Time-Out Policies）、基于預(yù)測的優(yōu)化策略（Predictive Policies）和基于隨機(jī)過程的優(yōu)化策略（Stochastic Policies）。在此，針對這一分類，給出相關(guān)簡介如下。

第一，超時(shí)策略[12-14]是最簡單通用的策略。如果部件空閑時(shí)間超過預(yù)定時(shí)間，則該策略認(rèn)為未來空閑時(shí)間將大于部件的平均能耗時(shí)間，從而設(shè)置系統(tǒng)為低功耗狀態(tài)。超時(shí)策略的主要不足是等待超時(shí)過程中將增加能耗，喚醒部件時(shí)則會造成系統(tǒng)部件響應(yīng)延遲。

其次，基于預(yù)測的優(yōu)化策略[15-16]是啟發(fā)式方法，假設(shè)系統(tǒng)部件訪問在時(shí)間上存在關(guān)聯(lián)性，未來的空閑時(shí)間可以通過歷史信息進(jìn)行估算。為此，如何提高部件空閑時(shí)間預(yù)測的準(zhǔn)確度將是這類研究面臨的主要問題。

最后，基于隨機(jī)過程的優(yōu)化策略[17]是通過較高層次數(shù)學(xué)抽象建立系統(tǒng)的概率模型，能夠解決啟發(fā)式方法遇到的最優(yōu)化問題。

3.2 操作系統(tǒng)級動態(tài)電源管理

操作系統(tǒng)發(fā)揮著管理系統(tǒng)資源，為用戶提供資源訪問接口的角色作用。操作系統(tǒng)級的動態(tài)電源管理需要操作系統(tǒng)設(shè)計(jì)者在對物理資源和邏輯資源進(jìn)行抽象和管理時(shí)，還要把電源管理機(jī)制和優(yōu)化策略考慮進(jìn)去。操作系統(tǒng)級的電源管理優(yōu)化策略主要從以下幾個(gè)方面開展與實(shí)施：

（1）應(yīng)用程序的適應(yīng)性：操作系統(tǒng)采用電源管理策略，應(yīng)用程序能否不再修改即可運(yùn)行。

（2）系統(tǒng)資源：優(yōu)化策略是針對單個(gè)系統(tǒng)資源，如CPU，還是針對多個(gè)系統(tǒng)資源。

（3）目標(biāo)系統(tǒng)：是針對通用的系統(tǒng)的優(yōu)化，還是針對特殊的如移動設(shè)備或者服務(wù)器的系統(tǒng)的優(yōu)化。

（4）優(yōu)化目標(biāo)：是在性能約束條件下最小化功耗，還是為了滿足功耗預(yù)算。

（5）節(jié)能技術(shù)：是DPS技術(shù)，還是DCD技術(shù)，或者是資源節(jié)流。

（6）工作負(fù)載：是簡單的計(jì)算任務(wù)，還是復(fù)雜的計(jì)算任務(wù)。

操作系統(tǒng)級的主要研究成果列舉如表1所示。

3.3 虛擬化級動態(tài)電源管理

虛擬化級的動態(tài)電源管理主要通過VMM（Virtual Machine Monitor）來實(shí)現(xiàn)，具體主要有兩種方式參與能耗的管理[18]，可將其表述為：

（1）VMM自身作為一個(gè)能耗感知的操作系統(tǒng)，對系統(tǒng)整體性能進(jìn)行監(jiān)控，并利用DVFS等技術(shù)降低系統(tǒng)部件的能耗；

（2）依靠操作系統(tǒng)特定的能耗管理策略和應(yīng)用程序信息，把不同虛擬機(jī)的能耗管理操作映射到硬件功耗狀態(tài)真實(shí)改變上。VMM提供按需能耗管理機(jī)制，即支持基于ACPI（Advanced Configuration and Power Management Interface）的能耗管理機(jī)制，系統(tǒng)間隔性地監(jiān)控CPU利用率，生成一個(gè)獨(dú)立于平臺的命令來改變硬件的功率狀態(tài)。

目前最為流行的3款虛擬機(jī)解決方案分別為Xen hypervisor[19]，VMware solutions和KVM（Kernel-based Virtual Machine）[22]。分別地，Xen支持并實(shí)現(xiàn)了ACPI的P狀態(tài)[20]，此外，還支持C狀態(tài)，即CPU睡眠狀態(tài)。Xen類似于Linux的電源管理子系統(tǒng)，也包含4個(gè)管理器：按需管理器、用戶空間管理器、性能管理器和節(jié)能管理器。文獻(xiàn)[21]則研究了基于Xen上的在線虛擬機(jī)遷移技術(shù)對能耗的影響。KVM與Xen不同之處則在于其能耗管理機(jī)制支持的是S4，S3狀態(tài)，但卻也與Xen一樣支持基于在線遷移整合的能耗管理機(jī)制。最后的VMware EXS Server和VMware ESXi都是企業(yè)級的虛擬化解決方案，與Xen類似地，Vmware也支持ACPI的P狀態(tài)[23]，但不支持C狀態(tài)。Vmware提供VMotion和DRS（Distributed Resource Scheduler）技術(shù)可以實(shí)現(xiàn)基于在線遷移的能耗管理機(jī)制[24]。其中的DRS包含一個(gè)專門的功耗管理子模塊VMware DPM（Distributed Power Management）用來動態(tài)關(guān)閉空閑服務(wù)器，從而減少能量的消耗。

表1 操作系統(tǒng)級研究

Tab.1 Operating system level research

項(xiàng)目名稱 系統(tǒng)資源 目標(biāo)系統(tǒng) 優(yōu)化目標(biāo) 節(jié)能技術(shù)

ECOsystem[25] CPU、內(nèi)存、磁盤、網(wǎng)絡(luò) 移動系統(tǒng) 滿足目標(biāo)電池壽命 資源節(jié)流

Nemesis[26] CPU、內(nèi)存、磁盤、網(wǎng)絡(luò) 移動系統(tǒng) 滿足目標(biāo)電池壽命 資源節(jié)流

GRACE[27] CPU、網(wǎng)絡(luò) 移動系統(tǒng) 性能約束下最小化能耗 DVFS，資源節(jié)流

Linux/RK[28] CPU 服務(wù)器系統(tǒng) 性能約束下最小化能耗 DVFS

PowerNap[29] CPU、內(nèi)存、磁盤、網(wǎng)絡(luò) 服務(wù)器系統(tǒng) 最小化功率、最小化性能損失 DCD

表2 數(shù)據(jù)中心級研究

Tab.2 Data center level research

機(jī)制名稱 系統(tǒng)資源 實(shí)現(xiàn)平臺 優(yōu)化目標(biāo) 節(jié)能技術(shù)

VirtualPower[30] CPU Xen 性能約束下最小化能耗 硬伸縮，軟伸縮，整合/遷移

VPM Token[31] CPU Xen 維持能耗約束 VM感知的能耗預(yù)算

pMapper[32] CPU、網(wǎng)絡(luò) VMware ESX 性能約束下最小化能耗 整合，服務(wù)器功率切換

Energy-Efficient Provisioning[33] CPU CloudSim 性能約束下最小化能耗 DVFS，預(yù)測方法

Energy-Efficient Scheduling [34] 內(nèi)存 Xen，MPSim 減少內(nèi)存消耗 內(nèi)存感知的VM調(diào)度

GreenHDFS[35] 文件系統(tǒng) Hadoop 降低系統(tǒng)能耗 Cold zone能耗管理

3.4 數(shù)據(jù)中心級動態(tài)電源管理

數(shù)據(jù)中心級的動態(tài)電源管理技術(shù)致力于通過整合工作負(fù)載到更少的物理服務(wù)器上從而將空閑的服務(wù)器休眠或關(guān)閉，以提升整個(gè)集群的資源利用率，同時(shí)降低功率和能量消耗。然而，負(fù)載的整合和空閑服務(wù)器的關(guān)閉將不可避免地會對計(jì)算性能造成一定的影響，因此如何平衡這兩者至關(guān)重要。針對這方面已有諸多研究，概括而言主要從以下幾點(diǎn)來進(jìn)行關(guān)注考慮：

（1）虛擬化：優(yōu)化機(jī)制是否利用了虛擬化技術(shù)；

（2）系統(tǒng)資源：優(yōu)化策略是針對單個(gè)系統(tǒng)資源，如CPU，還是針對多個(gè)系統(tǒng)資源；

（3）目標(biāo)系統(tǒng)：優(yōu)化的目標(biāo)系統(tǒng)是同構(gòu)的還是異構(gòu)的；

（4）優(yōu)化目標(biāo)：是在性能約束條件下最小化功耗還是為了滿足功耗預(yù)算；

（5）節(jié)能技術(shù)：采用DPS技術(shù)，或是DCD技術(shù)，還是基于負(fù)載或者虛擬機(jī)的整合，或者是功率切換；

（6）工作負(fù)載：是簡單的計(jì)算任務(wù)，還是復(fù)雜的計(jì)算任務(wù)；

（7）資源管理算法：資源管理系統(tǒng)是采用集中式的管理算法，還是分布式的管理算法。

數(shù)據(jù)中心級的動態(tài)電源管理技術(shù)的主要研究成果列舉如表2所示。

4 結(jié)束語

能耗效率已然成為了現(xiàn)代計(jì)算系統(tǒng)研發(fā)設(shè)計(jì)的一個(gè)重要組成部分。云計(jì)算和數(shù)據(jù)中心發(fā)展帶來的巨額能耗開銷以及與日俱增的二氧化碳排放，即使得能耗管理技術(shù)日顯重要，不可或缺。由此，能耗管理技術(shù)從單個(gè)服務(wù)器節(jié)點(diǎn)到數(shù)據(jù)中心和云，從微觀硬件設(shè)計(jì)到宏觀上的云計(jì)算和數(shù)據(jù)中心的設(shè)計(jì)，均已得到了長足、可觀的深入發(fā)展。

本文從能耗管理技術(shù)的硬件級、操作系統(tǒng)級、虛擬化級以及數(shù)據(jù)中心級等各個(gè)層次總結(jié)了當(dāng)前的研究成果和核心技術(shù)。從中可以看出，計(jì)算資源的智能管理對能耗的降低有著不可忽視的重要作用。DPS和DCD技術(shù)為其提供了底層硬件上的支持，而操作系統(tǒng)作為連接軟硬件之間的橋梁，操作系統(tǒng)層面的能耗管理研究即使得硬件的節(jié)能技術(shù)得以全面發(fā)揮。虛擬化的研究則是更涉長遠(yuǎn)范圍的研究，利用負(fù)載整合和虛擬機(jī)整合技術(shù)，在提高計(jì)算資源的利用率的同時(shí)，保證了性能的優(yōu)越和容錯(cuò)率的優(yōu)良。多種多樣的整合技術(shù)和算法則使得部分資源得以充分的使用，而剩下的空閑資源將轉(zhuǎn)為低功耗狀態(tài)，達(dá)到降低能耗的目的。

如同提升計(jì)算系統(tǒng)性能的需求不斷推動軟件件性能優(yōu)化技術(shù)和評測工具的快速發(fā)展一樣，降低計(jì)算系統(tǒng)能耗的需求也必然推動軟硬件電源管理技術(shù)和測評技術(shù)的發(fā)展，這一研究實(shí)現(xiàn)既符合企業(yè)節(jié)能減排的現(xiàn)實(shí)利益，也是可持續(xù)發(fā)展的科學(xué)發(fā)展觀的理想訴求。

5參考文獻(xiàn)

[1] HOOPER A. Green computing[J]. Communication of the ACM， 2008， 51（10）： 11-13.

[2] KOOMEY J. Growth in data center electricity use 2005 to 2010[J]. A report by Analytical Press， completed at the request of The New York Times， 2011，1： 2010-2018.

[3] DEVADAS S， MALIK S. A survey of optimization techniques targeting low power VLSI circuits[C]//Proceedings of the 32nd annual ACM/IEEE Design Automation Conference， New York： ACM， 1995： 242-247.

[4] VENKATACHALAM V， FRANZ M. Power reduction techniques for microprocessor systems[J]. ACM Computing Surveys （CSUR）， 2005， 37（3）： 195-237.

[5] WECHSLER O. Inside Intel? Core? microarchitecture： Setting new standards for energy-efficient performance[J]. Technology， 2006，3： 1-11.

[6] QUAN G， HU X S. Minimal energy fixed-priority scheduling for variable voltage processors[J]. Computer-Aided Design of Integrated Circuits and Systems， IEEE Transactions on， 2003， 22（8）： 1062-1071.

[7] SHIN Y， CHOI K. Power conscious fixed priority scheduling for hard real-time systems[C]//Design Automation Conference， 1999. Proceedings. 36th ，New Orleans， LA： IEEE， 1999： 134-139.

[8] BARROSO L A， HOLZLE U. The case for energy-proportional computing[J]. IEEE computer， 2007， 40（12）： 33-37.

[9] ANDREW L L H， LIN M， WIERMAN A. Optimality， fairness， and robustness in speed scaling designs[C]//ACM SIGMETRICS Performance Evaluation Review， New York： ACM， 2010， 38（1）： 37-48.

[10] BUTTAZZO G C. Scalable applications for energy-aware processors[C]//Embedded Software， Berlin Heidelberg：Springer ， 2002： 153-165.

[11] VENKATACHALAM V， FRANZ M. Power reduction techniques for microprocessor systems[J]. ACM Computing Surveys （CSUR）， 2005， 37（3）： 195-237.

[12] HAN D R ， GUPTA R. System level online power management algorit hms [ C]//Conf on Design ， Automation and Test in Europe ， Paris ， France：IEEE， 2000.

[13] KRISHNAN P ， LONG P ， VITTER J. Adaptive disk spindown via optimal rent2to2buy in probabilistic environment s [C]// Proc of Intl Conf on Machine Learning， East Sussex ： Omni Press ， 1995： 322-330.

[14] HELMBOLD D ， LONG D ， SHERROD E. Dynamic disk spin2down technique for mobile computing [ C]//Proc of IEEE Conf on Mobile Computing， Los Alamitos ： IEEE Computer Society Press ， 1996： 130-142.

[15] SRIVASTAVA M ， CHANDRAKASAN A ， BRODERSEN R. Predictive system shutdown and ot her architectural techniques for energy efficient programmable computation [J] . IEEE Trans on VL SI System ， Los Alamitos ： IEEE Computer Society Press ， 1996 ， 4 （1） ： 42-55.

[16] HUANG C， WU A. A predictive system shutdown met hod for energy saving of event2driven computation [ C]// Proc of Intl Conf on Computer2Aided Design， Los Alamitos ： IEEE Computer Society Press ， 1997： 28-32.

[17] CHUNG E ， BENINI L， BOGLIOLO A， et al . Dynamic power management for nonstationary service request s [ C]//Proc of Design and Test in Europe Conf， Los Alamitos ： IEEE Computer Society Press ， 1999： 77-81

[18] BELOGLAZOV A， BUYYA R， LEE Y C， et al. A taxonomy and survey of energy-efficient data centers and cloud computing systems[J]. Advances in computers， 2011， 82（2）： 47-111.

[19] BARHAM P， DRAGOVIC B， FRASER K， et al. Xen and the art of virtualization[J]. ACM SIGOPS Operating Systems Review， 2003， 37（5）： 164-177.

[20] WEI G， LIU J， XU J， et al. The on-going evolutions of power management in Xen[R]. Xen Summit：Inter Corporation， 2009.

[21] LEFEVRE L， ORGERIE A C. Designing and evaluating an energy efficient cloud[J]. The Journal of Supercomputing， 2010， 51（3）： 352-373.

[22] KIVITY A， KAMAY Y， LAOR D， et al. kvm： the Linux virtual machine monitor[C]//Proceedings of the Linux Symposium. Citeseer， Ottawa Ontario， Canada：[s.n.] ：2007， 1： 225-230.

[23] VMware Inc.， vSphere resource management guide[R].http：//www.vmware.com/support/pubs.， 2009.

[24] GULATI A， HOLLER A， JI M， et al. Vmware distributed resource management： Design， implementation， and lessons learned[J]. VMware Technical Journal， 2012， 1（1）： 45-64.

[25] ZENG H， ELLIS C S， LEBECK A R. Experiences in managing energy with ecosystem[J]. Pervasive Computing， IEEE， 2005， 4（1）： 62-68.

[26] NEUGEBAUER R， MCAULEY D. Energy is just another resource： Energy accounting and energy pricing in the Nemesis OS[C]//Hot Topics in Operating Systems， 2001. Proceedings of the Eighth Workshop on， Schloss Elmau， Germany： IEEE， 2001： 67-72.

[27] VARDHAN V， SACHS D G， YUAN W， et al. GRACE： a hierarchical adaptation framework for saving energy[J]. Computer Science， University of Illinois Technical Report UIUCDCS-R-2004， 2004， 2409.

[28] RAJKUMAR R， JUVVA K， MOLANO A， et al. Resource kernels： A resource-centric approach to real-time and multimedia systems[C]//Photonics West'98 Electronic Imaging， Bellingham， Washington： IS OP， 1997： 150-164.

[29] MEISNER D， GOLD B T， WENISCH T F. PowerNap： eliminating server idle power[C]//ACM Sigplan Notices， Washington D.C.： ACM， 2009， 44（3）： 205-216.

[30] NATHUJI R， SCHWAN K. VirtualPower： coordinated power management in virtualized enterprise systems[C]//ACM SIGOPS Operating Systems Review. Stevenson， WA： ACM， 2007， 41（6）： 265-278.

[31] NATHUJI R， SCHWAN K， SOMANI A， et al. VPM tokens： virtual machine-aware power budgeting in datacenters[J]. Cluster computing， 2009， 12（2）： 189-203.

[32] VERMA A， AHUJA P， NEOGI A. pMapper： power and migration cost aware application placement in virtualized systems[M]//Middleware 2008，Berlin Heidelberg：Springer， 2008： 243-264.

[33] SHI Y， JIANG X， YE K. An energy-efficient scheme for cloud resource provisioning based on cloudsim[C]//Cluster Computing （CLUSTER）， 2011 IEEE International Conference on. Austin， TX ： IEEE， 2011： 595-599.

[34] JANG J W， JEON M， KIM H S， et al. Energy reduction in consolidated servers through memory-aware virtual machine scheduling[J]. Computers， IEEE Transactions on， 2011， 60（4）： 552-564.

[35] KAUSHIK R T， BHYANDARKAR M. Greenhdfs： towards an energy-conserving， storage-efficient， hybrid hadoop compute cluster[C]//Proceedings of the USENIX Annual Technical Conference， Boston， MA ： USENIX，2010： 109.