魯逸丁

（中國銀聯(lián) 上海市 201201）

1 介紹

云計算平臺當前面臨的主要挑戰(zhàn)是有效管理物理資源，達到優(yōu)化性能和節(jié)約能源的目標。能源消耗會影響環(huán)境，并產(chǎn)生大量資源費用，造成云平臺中計算機集群的高運營成本。降低數(shù)據(jù)中心的能耗受到了學術(shù)界和工業(yè)界的極大關(guān)注[1]。研究表明，數(shù)據(jù)中心服務(wù)器大部分時間都以10%到50%的利用率運行。由于服務(wù)器空閑時會消耗其峰值功率的50%以上[2]，處于空閑狀態(tài)或利用率較低的服務(wù)器會浪費大量的能源。因此，為了最大限度地降低數(shù)據(jù)中心的能耗，需要將虛擬機遷移到盡可能少的服務(wù)器上。云服務(wù)提供商專注于設(shè)計節(jié)能、高效的云平臺資源調(diào)度策略，通過將虛擬機聚合到較少的物理主機，關(guān)閉空閑的物理主機以節(jié)省能源。因此，采用適當?shù)奶摂M機放置和遷移策略，對于為客戶提供期望的虛擬機處理性能，以及節(jié)約云平臺能源至關(guān)重要。

當云平臺收到客戶端的虛擬機創(chuàng)建請求后，資源調(diào)度模塊會創(chuàng)建一個虛擬機，為其分配客戶端請求的CPU、內(nèi)存等物理資源，并將其部署到云平臺的一個物理主機。當前云計算服務(wù)提供商，如阿里云、華為云，通常采用基于隔離的虛擬機放置策略，在獨立物理主機中處理用戶的虛擬機請求。云平臺將這些分配給虛擬機的資源保留，用于虛擬機的整個生命周期，并且僅當客戶請求釋放虛擬機時，才釋放其所占用的資源。研究表明[3]，虛擬機實際僅利用了大約虛擬機所分配CPU 資源的35%和內(nèi)存資源的55%。因此，當虛擬機應(yīng)用的實際資源需求較低時，資源仍然占用，會導致資源浪費。大量處于活動狀態(tài)的物理主機會增加云平臺提供商的能源費用，并對環(huán)境產(chǎn)生不良影響。同時，云資源的過度預(yù)留會導致大量CPU 和內(nèi)存資源浪費。這是由于，云客戶通常不知道其應(yīng)用程序所需要資源的確切數(shù)量，因此他們傾向于過度預(yù)留資源以保證運行應(yīng)用的性能。另外，托管在物理主機上的應(yīng)用所需要的資源數(shù)量隨著時間而改變，使得虛擬機難以充分使用其所請求的全部資源。

虛擬機資源超賣策略[4]能夠較好解決以上資源浪費的問題，這種策略假設(shè)虛擬機占用資源不會超過物理主機的實際容量，部署超過物理主機實際能夠承載容量的虛擬機。由于虛擬機通常不能完全利用其保留的資源，因而虛擬機集群可以部署在更少的物理主機上。然而，當在物理主機上部署虛擬機的資源實際需求量超過了物理主機的容量時，就會造成物理主機過載。此時，過載的物理主機上運行的虛擬機將會出現(xiàn)性能下降，導致違反云服務(wù)提供商和云客戶之間的服務(wù)質(zhì)量協(xié)議。虛擬機遷移技術(shù)[5]能力可用于解決物理主機過載問題，將過載物理主機上托管的虛擬機遷移到其他未充分利用或空閑的物理主機上，可以增強云平臺可管理性、提高資源利用率、節(jié)省物理主機的能耗。然而，同時也會導致停機時間增加，從而降低對虛擬機的處理性能。同時，在動態(tài)的云計算環(huán)境中，每小時會有數(shù)千個虛擬機請求到達，虛擬機遷移成本高昂。因而，需要解決哪些虛擬機應(yīng)該遷移，以及這些虛擬機應(yīng)該遷移到哪些物理主機的問題。

為了解決以上問題，本文提出一種節(jié)能、高性能、低成本的高效能虛擬聚合放置策略，在相同的物理主機上處理不同用戶多種類型的虛擬機請求，設(shè)計虛擬機在云平臺異構(gòu)物理主機的放置位置，從而在性能和用戶成本約束條件下，最大限度地降低基礎(chǔ)設(shè)施能耗。具體而言，首先根據(jù)虛擬機歷史和當前的資源使用情況監(jiān)測數(shù)據(jù)，預(yù)測虛擬機的未來資源利用率，并使用這些預(yù)測結(jié)果做出虛擬機遷移決策，以提高虛擬機的資源利用率；而后，預(yù)測物理主機過載的發(fā)生，并在過載之前觸發(fā)虛擬機遷移操作，以避免違反服務(wù)質(zhì)量協(xié)議；最后，通過確定要遷移哪些虛擬機，以及哪些物理主機需要托管遷移來的虛擬機，以執(zhí)行高能效的虛擬機遷移，從而達到遷移能耗開銷和活動物理主機數(shù)量最小化的目標。

1 虛擬機遷移技術(shù)

虛擬機VMware[6]和Xen 提供實時遷移機制，客戶因遷移過程而經(jīng)歷的停機時間非常短，從幾十毫秒到一秒鐘不等。但當遇到物理主機過載時，采用有效的資源管理策略，決定遷移哪些虛擬機，以及哪些物理主機應(yīng)該是每次遷移的目的地是具有挑戰(zhàn)的難題。最大優(yōu)先試探法[7]通過將具有最大資源需求的虛擬機移動到具有最大資源空閑的物理主機，同時嘗試最小化所需遷移虛擬機的數(shù)量。文獻[8]對這種啟發(fā)式算法進行了改進，將經(jīng)常相互通信的虛擬機放置在彼此靠近的位置。這些啟發(fā)式方法的主要缺點是，它們完全忽略了與遷移相關(guān)的能耗開銷。文獻[9]提出了考慮遷移成本的遷移策略，但僅考慮虛擬機的CPU 單一資源。盡管遷移成本較低的虛擬機，但沒有考慮活動狀態(tài)的物理主機是否有足夠空閑資源來托管遷移的虛擬機。使得物理主機從睡眠狀態(tài)轉(zhuǎn)為活動狀態(tài)來托管遷移的虛擬機，增加了云平臺中開啟物理主機的數(shù)量，從而帶來較高的能耗開銷成本[10]。與以前的工作不同，本文提出的資源調(diào)度框架考慮虛擬機遷移的能耗開銷，以及虛擬機從休眠到活動狀態(tài)切換的能耗開銷，采用面向最小化遷移能耗開銷的虛擬機遷移策略。

文獻[12]提出一種處理物理主機過載的方法，在檢測到過載時觸發(fā)虛擬機遷移，阻止了虛擬機競爭有限的物理資源，但可能會導致服務(wù)級別協(xié)議違約。為了解決該問題，文獻[13]提出基于閾值的虛擬機遷移技術(shù)，當物理主機的利用率超過某個設(shè)定的閾值，在過載實際發(fā)生之前觸發(fā)虛擬機遷移操作。閾值通常設(shè)置為90%的利用率，或者根據(jù)工作負載的波動程度為每個物理主機進行動態(tài)調(diào)整[14]。物理主機的利用率波動越大，設(shè)置的閾值越低，反之亦然。雖然基于閾值的技術(shù)減少了過載，由于為每個物理主機留下了一定的未利用的空閑，限制了利用率增益。此外，超過設(shè)定的閾值并不一定意味著會發(fā)生過載，會觸發(fā)許多不必要的遷移。為了應(yīng)對以上問題，文獻[26]使用傅立葉變換和文獻[27]使用SVM 預(yù)測模型從云應(yīng)用的執(zhí)行軌跡中提取資源的周期性模式，以預(yù)測這些應(yīng)用程序今后的資源需求。文獻[28]對MapReduce 作業(yè)進行了分析，預(yù)測數(shù)據(jù)處理作業(yè)新提交實例的資源需求。文獻[31]提出了快升慢降的在線虛擬機資源需求預(yù)測方案，并觸發(fā)遷移以避免過載。本文提出了一種基于預(yù)測的過載避免技術(shù)，該技術(shù)預(yù)測每個調(diào)度的虛擬機的未來資源需求，以便可以預(yù)見過載并可以提前觸發(fā)遷移。預(yù)測有助于決定將新提交的虛擬機放在哪里，以便在盡可能避免過載的同時提高資源利用率。同時，采用自適應(yīng)預(yù)測Lasso 回歸模型，在線學習和預(yù)測客戶端調(diào)度的虛擬機的資源需求，而不需要任何關(guān)于托管虛擬機的先驗知識。

2 云平臺資源調(diào)度方法

如圖 1 所示，本文將云平臺資源調(diào)度過程分為部署、運行和調(diào)整等三個階段。在部署階段，主要任務(wù)是為用戶的應(yīng)用分配虛擬機資源并部署在合適的物理主機。用戶將應(yīng)用部署在云平臺，處理外部請求，提供特定應(yīng)用功能，這些功能需要特定的硬件資源來滿足處理并發(fā)請求。這些云應(yīng)用部署在虛擬機中，通過虛擬機物理資源的分配，按需獲取硬件資源?？蛻艨梢赃x擇合適物理資源的虛擬機來執(zhí)行應(yīng)用程序，并支付與物理資源相應(yīng)的費用。

圖1：云平臺資源調(diào)度方法

在運行階段，虛擬機的物理資源需求會隨著時間的推移而變化，會造成物理主機資源過載，不能滿足所部署虛擬機的資源需求。每臺物理主機上部署虛擬機資源預(yù)測模塊和物理主機過載預(yù)測模塊。首先，虛擬機資源預(yù)測模塊根據(jù)搜集的每臺虛擬機資源使用歷史數(shù)據(jù)，預(yù)測今后的資源使用狀況，利用預(yù)測信息來保障云平臺部署應(yīng)用的服務(wù)質(zhì)量。而后，物理主機過載預(yù)測模塊匯總物理主機上各個虛擬機的資源預(yù)測結(jié)果，推斷預(yù)測每臺物理主機是否會出現(xiàn)過載現(xiàn)象。

在調(diào)整階段，云平臺部署有中央式的云平臺資源調(diào)度器，其中包括運行監(jiān)測模塊、調(diào)度決策模塊和遷移操作模塊。通過高能效的資源調(diào)度來整合最少數(shù)量的活躍服務(wù)器，并最大限度減少云計算數(shù)據(jù)中心內(nèi)的網(wǎng)絡(luò)流量。首先，運行監(jiān)測模塊搜集云平臺上每個物理主機的預(yù)測過載信息，當檢測到預(yù)測過載的物理主機則觸發(fā)后續(xù)操作；而后，調(diào)度決策模塊綜合分析各物理主機的資源使用狀況，選擇預(yù)測將要過載的需要調(diào)出的源物理主機及其上部署的虛擬機，以及需要調(diào)入的目標物理主機；最后，遷移操作模塊調(diào)用虛擬機遷移接口，將源虛擬機遷移到目標主機。

3 高能效資源調(diào)度框架

本文提出的基于虛擬機聚合的云平臺高能效資源調(diào)度框架，適用于物理主機具有不同的資源配置的異構(gòu)云計算平臺。如圖 2 所示，該框架主要由虛擬機資源預(yù)測器、物理主機過載預(yù)測器、虛擬機放置模塊和虛擬機遷移模塊等構(gòu)成。

圖2：云平臺資源調(diào)度框架

3.1 虛擬機資源預(yù)測

本文所提出的資源調(diào)度框架可以應(yīng)用于虛擬機和物理主機的多維度資源管理，為了簡化描述，這里僅考慮最重要的CPU 和內(nèi)存資源。每臺虛擬機i 中部署了虛擬機資源預(yù)測器，搜集該虛擬機的CPU 和內(nèi)存資源，并結(jié)合其他參數(shù)預(yù)測該虛擬機將來的CPU 需求和內(nèi)存需求。在每個周期結(jié)束時，預(yù)測下個周期該虛擬機的資源需求量。由于虛擬機的資源使用無法準確預(yù)測，本文基于Lasso 回歸模型使用虛擬機的歷史資源使用數(shù)據(jù)來預(yù)測虛擬機將來的資源使用情況。

回歸模型可用于擬合虛擬機資源使用情況的變化，Lasso 回歸模型與多項式回歸、簡單線性回歸、支持向量回歸等回歸模型相比，能夠在更短的時間內(nèi)擬合收斂且具有較高的準確性。因而，本文使用Lasso 回歸模型[20]建模虛擬機的資源需求變化，回歸擬合虛擬機各類資源歷史監(jiān)測數(shù)據(jù)的變化情況，預(yù)測虛擬機下個階段虛擬機的CPU、內(nèi)存等虛擬資源的使用數(shù)量。本文基于該模型預(yù)測虛擬機的資源需求，模型的輸入為歷史多維資源向量表示在時刻t，虛擬機的CPU 和內(nèi)存資源使用量，對其做標準化處理，作為Lasso 回歸模型的輸入變量。模型的輸出為（t+1）時刻的多維資源向量：

其中，n 表示該虛擬機監(jiān)測到此前資源監(jiān)測向量的時間間隔數(shù)量，Xt表示時刻t 虛擬機的資源監(jiān)測值，ωt為Xt對應(yīng)的回歸系數(shù)，α 為隨機誤差項。在約束條件下，通過坐標下降法極小化誤差項構(gòu)建該模型。

3.2 物理主機過載預(yù)測

每臺物理主機j 中部署了物理主機過載預(yù)測模塊，監(jiān)測在該物理主機上部署的所有虛擬機所占用的CPU 和內(nèi)存數(shù)量。物理主機j 的CPU 和內(nèi)存數(shù)量表示為和，資源聚合后的CPU 和內(nèi)存需求表示為和。那么，在資源聚合后，預(yù)測物理主機將具有可用的資源為和

3.3 虛擬機放置

虛擬機放置模塊決定新提交請求虛擬機的放置位置，并且處理虛擬機釋放事件。新虛擬機放置需要同時考慮節(jié)約操作所造成的能耗，以及最小化物理主機過載的概率。在將新虛擬機放置到物理主機之后，為虛擬機部署資源預(yù)測器模塊，用于監(jiān)控虛擬機的當前資源需求，并進行未來資源需求的預(yù)測。

當從客戶端接收到虛擬機釋放請求時，虛擬機放置器釋放為虛擬機分配的CPU 和內(nèi)存資源，更新與虛擬機相關(guān)聯(lián)的系統(tǒng)參數(shù)以及物理主機的資源使用參數(shù)。如果在釋放虛擬機之后物理主機變得空閑，則將物理主機從活動狀態(tài)切換到休眠狀態(tài)以節(jié)省能源。當客戶請求虛擬機時，該模塊進行以下操作：

（1）查看是否有活動物理主機能夠提供足夠的CPU 和內(nèi)存資源以處理虛擬機放置的資源需求，以避免喚醒休眠的物理主機，從而可以節(jié)約從休眠到活動狀態(tài)轉(zhuǎn)換所消耗的能源。

（2）如果多個活動物理主機可以適合所提交的虛擬機放置請求，則挑選具有最大預(yù)測可用資源的物理主機來托管所提交的虛擬機請求，以便降低在該放置之后過載的機會。計算可用資源度量為，選擇該值最大且符合虛擬機放置可用資源條件的活動物理主機放置。

（3）如果沒有活動的物理主機滿足要求，只能將虛擬機放置在休眠的物理主機上，則將該虛擬機放置在具有最大容量的休眠物理主機上，因為該物理主機接下來可以接收更多數(shù)量的虛擬機放置請求，減少了將來喚醒另一個休眠中的物理主機的概率。計算配置資源度量選擇該值最大的休眠物理主機，將其狀態(tài)轉(zhuǎn)換為活動，而后進行放置。

3.4 虛擬機遷移

該模塊用于確定預(yù)測過載物理主機上托管的哪些虛擬機需要遷移，使得該物理主機上預(yù)測的CPU 和內(nèi)存總需求量保持在該物理主機的總?cè)萘恐隆Ｎ锢碇鳈C應(yīng)具有足夠的CPU 和內(nèi)存資源以承載被遷移的虛擬機，因而需要知道所有物理主機的可用資源，預(yù)測在遷移過后物理主機不會過載。同時，為了做出有效決策，該模塊需要已知物理主機上托管虛擬機的遷移能耗開銷成本。在遷移之前，模塊通過虛擬機資源預(yù)測模塊得到預(yù)測的虛擬機資源相關(guān)信息，物理主機處于活動或者休眠狀態(tài)，以及物理主機的狀態(tài)信息。在執(zhí)行遷移操作之后，更新虛擬機和主機映射對應(yīng)關(guān)系，以及主機活動或休眠狀態(tài)。

為了避免違反服務(wù)質(zhì)量約束條件，當虛擬機過載時必須進行遷移操作，因此將哪臺虛擬機遷移到哪臺主機可以形式化定義為如下優(yōu)化問題：

（1）決策變量：如果虛擬機i 遷移到主機j，則變量xij=1，否則xij=0；如果至少一臺虛擬機將調(diào)度遷移到主機j，則yj=1，否則yj=0。

（2）目標函數(shù)：虛擬機遷移能耗表示從過載物理主機上遷移虛擬機的能耗開銷，目標是最小化虛擬機遷移開銷，由虛擬機遷移能耗和物理主機狀態(tài)切換能耗等兩部分組成，可以表示為：

其中，Ovm為預(yù)測過載虛擬機集合，P 為物理主機集合；當虛擬機i 遷移到物理主機j，如果該物理主機不是當前虛擬機i 所在物理主機，則遷移開銷為aij，否則為0；物理主機狀態(tài)切換開銷表示物理主機從休眠狀態(tài)切換到活動狀態(tài)，部署所遷移的虛擬機所需要的能耗bj，否則，如果主機j 已經(jīng)處于活動狀態(tài)，則bj=0。

（3）約束條件：每臺預(yù)測過載的虛擬機必須分配到其中一臺物理主機上，即同時，虛擬機調(diào)度到的物理主機時，物理主機的可用CPU 和內(nèi)存資源數(shù)量必須要在可用范圍之內(nèi)，即

這樣，虛擬機遷移問題可以抽象化描述為整數(shù)線性規(guī)劃，求解的復雜度隨著虛擬機和物理主機規(guī)模的擴大而增加。為了降低優(yōu)化問題求解的復雜度，避免決策遷移當前所有過載物理主機上的虛擬機，本文每次只考慮一個過載物理主機，決定該過載物理主機上的所有虛擬機，以及應(yīng)該遷移到的目標物理主機位置，從而求解更小范圍的優(yōu)化問題。

本文優(yōu)先考慮將虛擬機遷移到已經(jīng)啟動的活動物理主機，在候選活動物理主機列表中，根據(jù)可用資源度量從大到小降序進行排列。按照首次合適的原則，當虛擬機在物理主機列表中首次找到有足夠空間的可用物理主機，就進行部署操作。如果找不到合適，則從休眠物理主機中列表中，按照配置資源度量從大到小尋找合適可用物理主機，從而避免物理主機從休眠狀態(tài)到活動狀態(tài)切換所造成的能耗開銷。

4 結(jié)論

本文提出一種節(jié)能、高性能、低成本的高效能虛擬聚合放置策略，在相同的物理主機上處理不同用戶多種類型的虛擬機請求，設(shè)計虛擬機在云平臺異構(gòu)物理主機的放置位置，從而在性能和用戶成本限制的條件下，最大限度地降低基礎(chǔ)設(shè)施能耗。該框架首先預(yù)測虛擬機的未來資源利用率，并使用這些預(yù)測結(jié)果做出虛擬機遷移決策，以提高虛擬機的資源利用率。而后，預(yù)測物理主機過載的發(fā)生，并在過載之前觸發(fā)虛擬機遷移操作，以避免違反服務(wù)質(zhì)量協(xié)議。最后，通過確定要遷移哪些虛擬機以及哪些物理主機需要托管遷移的虛擬機來執(zhí)行高能效的虛擬機遷移，從而達到遷移能耗開銷和活動物理主機數(shù)量最小化的目標。