李春艷++王茜

摘要：在云計(jì)算平臺(tái)的資源調(diào)度過(guò)程中，需要根據(jù)資源池所承載業(yè)務(wù)平臺(tái)的負(fù)荷情況，及時(shí)調(diào)整業(yè)務(wù)平臺(tái)所分配的資源。通過(guò)對(duì)不同類型的資源進(jìn)行劃分，來(lái)分析觸發(fā)不同資源調(diào)整的條件，在此基礎(chǔ)上探討云計(jì)算平臺(tái)不同資源下的各種調(diào)整策略，以此希望提高云計(jì)算平臺(tái)資源調(diào)度整體的效率和性能。

關(guān)鍵詞：云計(jì)算；云計(jì)算平臺(tái)；資源調(diào)度；優(yōu)化算法

中圖分類號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2017）02-0146-02

隨著云計(jì)算平臺(tái)的規(guī)?；瘧?yīng)用，越來(lái)越多的業(yè)務(wù)平臺(tái)部署在云資源池上。因此在云計(jì)算平臺(tái)資源管理過(guò)程中，為提高資源的利用效率和平臺(tái)的整體運(yùn)行性能，需要對(duì)業(yè)務(wù)平臺(tái)的資源調(diào)度進(jìn)行動(dòng)態(tài)調(diào)整。但在各種不同的情況下如何對(duì)各種資源進(jìn)行調(diào)整？具體的調(diào)整策略是什么？這些是云計(jì)算平臺(tái)資源管理中需要去進(jìn)一步研究的問(wèn)題。

1 云計(jì)算概述

云計(jì)算是能提供動(dòng)態(tài)資源池和虛擬化的下一代高效率和高可靠性的服務(wù)平臺(tái)[1]。

1.1 云計(jì)算定義

云計(jì)算的定義可以從幾個(gè)方面理解。狹義上是基于互聯(lián)網(wǎng)，將各種服務(wù)器資源按照用戶的需求進(jìn)行獲取。從廣義的角度上看，可解釋為基于互聯(lián)網(wǎng)獲取用戶所需的各種服務(wù)，也就是各種服務(wù)的交付使用模式。因此，可將云計(jì)算定義為一種服務(wù)模式，它是按照用戶所需要的各種服務(wù)提供相關(guān)資源，并將相關(guān)資源進(jìn)行管理和調(diào)度。云計(jì)算的概念美國(guó)國(guó)家標(biāo)準(zhǔn)技術(shù)研究院（NIST）給出了定義：

云計(jì)算是一種以互聯(lián)網(wǎng)為基礎(chǔ)，以便捷、按照用戶具體需求的方式訪問(wèn)以某種策略進(jìn)行配置的資源共享池的模式。同時(shí)資源共享池盡量以較少的成本和供應(yīng)商交互，快速計(jì)算、提供或回收各種資源[2][3]。云計(jì)算具有封裝性、可擴(kuò)展、可靠性、容錯(cuò)控制，、并行處理能力、按需服務(wù)、經(jīng)濟(jì)性等多個(gè)特點(diǎn)[4]。

1.2 資源池

云計(jì)算將各種計(jì)算任務(wù)分配至由大量計(jì)算資源構(gòu)成的資源池中。這些計(jì)算資源共同虛擬構(gòu)成了云計(jì)算平臺(tái)的資源池，具體包括存儲(chǔ)資源、計(jì)算資源、網(wǎng)絡(luò)資源。云計(jì)算的本質(zhì)是如果高效率的進(jìn)行資源池的管理和調(diào)度，從而為用戶高速、安全的提供需要服務(wù)。

2 云計(jì)算平臺(tái)資源調(diào)度

2.1 云計(jì)算平臺(tái)資源調(diào)度目的

2.1.1 以降低能耗為優(yōu)化目標(biāo)

大型數(shù)據(jù)中心每年消耗的電能是一個(gè)中等城市電量的好幾倍，所以降減能耗是一個(gè)非常重要的目的。

2.1.2 以提高服務(wù)質(zhì)量和資源利用率為目標(biāo)

云計(jì)算的核心問(wèn)題是如何將資源進(jìn)行合理的調(diào)度和分配，使得用戶盡快得到所需資源進(jìn)行計(jì)算服務(wù)，同時(shí)提高各種資源的調(diào)度效率，優(yōu)化資源利用率。

2.1.3 保證服務(wù)質(zhì)量Q0S

任何服務(wù)提供商衡量標(biāo)準(zhǔn)都是服務(wù)質(zhì)量Q0S[5]。對(duì)于云計(jì)算，在提供各種服務(wù)的時(shí)候也需要最大的保證Q0S，進(jìn)一步體現(xiàn)云計(jì)算的優(yōu)越性。

2.1.4 虛擬化特性

云計(jì)算提供的各種資源和服務(wù)整體來(lái)說(shuō)對(duì)于用戶是經(jīng)過(guò)了封裝的。終端用戶使用云計(jì)算平臺(tái)執(zhí)行各種服務(wù)，是不用具體知道具體方法[6]。執(zhí)行這些服務(wù)請(qǐng)求的是服務(wù)器，甚至只是虛擬出來(lái)的服務(wù)器。這種架構(gòu)對(duì)用戶來(lái)說(shuō)不存在對(duì)設(shè)備的依賴，減少了使用的復(fù)雜性[7]。

2.2 云計(jì)算平臺(tái)資源調(diào)度解決方案

云計(jì)算應(yīng)用核心的技術(shù)是資源的管理和調(diào)度，尤其是資源的合理調(diào)度與分配。近幾年來(lái)，針對(duì)云計(jì)算資源調(diào)度問(wèn)題，相關(guān)的研究單位和研究人員也提出了許多解決方案。

2.2.1 為滿足客戶需求，完成時(shí)間最佳資源分配（CORA）問(wèn)題[8]

完成時(shí)間建立客戶/工作效用函數(shù)。在資源調(diào)度時(shí)，考慮到不同工作對(duì)資源需求的異構(gòu)性和工作完成時(shí)間敏感度的不同，以客戶對(duì)工作完成時(shí)間的敏感度為效用函數(shù)，以工作對(duì)資源的需求量和集群資源容量限制為約束條件，來(lái)優(yōu)化求解集群中所有工作最小效用的最大值。

2.2.2 基于博弈理論的資源分配算法[9]

①單個(gè)參與者的獨(dú)立優(yōu)化問(wèn)題：使用二進(jìn)制整數(shù)規(guī)劃方法處理；②多個(gè)參與者的綜合優(yōu)化問(wèn)題：使用進(jìn)化算法處理。

同時(shí)進(jìn)化算法將優(yōu)化和公平兩個(gè)原則都考慮進(jìn)去，給出較好的折衷資源分配方法。

2.2.3 基于蟻群優(yōu)化的計(jì)算資源分配算法[10]

①首先預(yù)測(cè)所有可用節(jié)點(diǎn)的計(jì)算質(zhì)量；

②根據(jù)云計(jì)算環(huán)境的特點(diǎn)，利用蟻群優(yōu)化算法得到一組最優(yōu)的計(jì)算資源。

2.2.4 一些商業(yè)的虛擬機(jī)資源管理工具[11]

如VMware Capacity Planner和IBM WebSphere CloudBurst。這種方法考慮的較多的是CPU、內(nèi)存等的相關(guān)資源分配，對(duì)于網(wǎng)絡(luò)資源方面的調(diào)度問(wèn)題沒(méi)有過(guò)多的進(jìn)行考慮。

2.3 云計(jì)算平臺(tái)資源調(diào)度相關(guān)算法

對(duì)于資源的調(diào)度優(yōu)化是云平臺(tái)性能優(yōu)化的重點(diǎn)。

2.3.1 FIFO

相對(duì)于來(lái)說(shuō)，最簡(jiǎn)單的調(diào)度算法。將用戶提交的作業(yè)全部放在隊(duì)列中，依照先進(jìn)先出的方式進(jìn)行調(diào)度。

2.3.2 Capacity

這種調(diào)度算法將資源平均分配給所有的作業(yè)，如果這些提交的作業(yè)對(duì)于資源的需求比較相同的時(shí)候，是效率較高的，但是沒(méi)有考慮到作業(yè)的多樣性，有一定的局限。

2.3.3 Fair

這種資源調(diào)度算法，首先要根據(jù)用戶組或者其它具體情況進(jìn)行綜合配置，為每個(gè)用戶組提供一個(gè)獨(dú)立的資源池，然后采用公平共享的原則對(duì)作業(yè)就行共享資源的劃分。

2.3.4 Deadline Scheduler

這種調(diào)度算法將作業(yè)規(guī)定了一個(gè)時(shí)間，在這個(gè)規(guī)定的時(shí)間內(nèi)必須完成，如果沒(méi)有完成直接回收資源。預(yù)防。

3 云計(jì)算平臺(tái)資源調(diào)度優(yōu)化方案

3.1 提高云計(jì)算平臺(tái)資源利用率的方法

對(duì)于提高一個(gè)云計(jì)算平臺(tái)資源利用率有以下兩個(gè)方法：

3.1.1 保持整個(gè)集群的所有節(jié)點(diǎn)都處于一種幾乎滿載的狀況

通過(guò)多隊(duì)列的調(diào)度策略，通過(guò)作業(yè)等待隊(duì)列與運(yùn)行隊(duì)列的調(diào)度執(zhí)行的緩沖與配合，來(lái)保持所有的資源都在使用。

3.1.2 提高單個(gè)節(jié)點(diǎn)的使用效率

通過(guò)將作業(yè)以某種方式進(jìn)行類型的劃分，然后依據(jù)作業(yè)的類型來(lái)分配節(jié)點(diǎn)資源提高單個(gè)節(jié)點(diǎn)的使用效率。

3.2 云計(jì)算平臺(tái)資源調(diào)度優(yōu)化方案

一個(gè)節(jié)點(diǎn)的計(jì)算資源有多種，考慮算法的資源的調(diào)度運(yùn)行情況和實(shí)際情況，將所有的Reduce作業(yè)類型簡(jiǎn)單分成CPU和磁盤(pán)資源依賴型。

對(duì)于作業(yè)類型的劃分有兩種模式。

3.2.1 用戶指定作業(yè)類型

用戶可以將作業(yè)依賴類型參數(shù)指定為：

CPU資源依賴型（CPU_dependant）；磁盤(pán)資源依賴型（Disk_ dependant）；

對(duì)于沒(méi)有指定參數(shù)的作業(yè)類型，則直接安裝原算法中指定的類型進(jìn)行處理。但是這種作業(yè)配置要求用戶對(duì)于作業(yè)類型和算法要有一定的專業(yè)知識(shí)，所以對(duì)于沒(méi)有這方面知識(shí)的用戶來(lái)說(shuō)比較困難。

3.2.2 作業(yè)在調(diào)度執(zhí)行程序中指定作業(yè)類型

①首先等待作業(yè)根據(jù)條件進(jìn)入運(yùn)行隊(duì)列，調(diào)度器選取Map任務(wù)執(zhí)行。

②將任務(wù)統(tǒng)稱為Pilot，對(duì)它進(jìn)行資源分析，確定是屬于哪種作業(yè)。

通過(guò)對(duì)作業(yè)整體類型進(jìn)行劃分，將一道作業(yè)分解為Map-Shuffle和Reduce-compute過(guò)程。確定作業(yè)類型的具體方式如下[12]：

（3.1）

MID、MOD、SID、SOD： Map和Reduce任務(wù)copy階段輸入和輸出數(shù)據(jù)的大??；

MTCT：Pilot任務(wù)的整個(gè)生命周期；

DIOR：磁盤(pán)I/O比率，根據(jù)這個(gè)比率的數(shù)值來(lái)對(duì)具體的作業(yè)類型劃分。

3.2.3 優(yōu)化的指定作業(yè)類型

如果出現(xiàn)數(shù)據(jù)本地化不佳的任務(wù)，需要從其他節(jié)點(diǎn)上下載Map任務(wù)的輸入，因此MTCT較大，根據(jù)3.2計(jì)算出來(lái)的數(shù)值很可能是CPU依賴型。但是，實(shí)際上這類型的任務(wù)以磁盤(pán)依賴型任務(wù)較多。將3.1進(jìn)行優(yōu)化得出以下作業(yè)類型劃分的方式[13]：

CPU依賴型：

（3.2）

磁盤(pán)依賴型：

（3.3）

CIR、COR：Pilot任務(wù)combine輸入和輸出結(jié)果；

：參數(shù)因子，用來(lái)根據(jù)實(shí)際情況進(jìn)行調(diào)節(jié)；

MTET：任務(wù)執(zhí)行時(shí)間；

任務(wù)的執(zhí)行時(shí)間：MTET（MAP_TASK_EXEC_TIME）。

3.3 云計(jì)算平臺(tái)資源調(diào)度優(yōu)化算法

在多隊(duì)列作業(yè)調(diào)度中引入多級(jí)調(diào)度策略，首先為每個(gè)用戶組設(shè)置了兩個(gè)作業(yè)隊(duì)列。

①作業(yè)等待隊(duì)列。按照作業(yè)優(yōu)先級(jí)以及提交時(shí)間順序進(jìn)行綜合排序，在初始化進(jìn)入作業(yè)運(yùn)行隊(duì)列開(kāi)始調(diào)度。

②作業(yè)運(yùn)行隊(duì)列。為每個(gè)作業(yè)隊(duì)列分配一定的資源配額，配額管理方法與Capacity調(diào)度算法一致。運(yùn)行隊(duì)列還可分為可共享型隊(duì)列和非可共享型隊(duì)列兩類?？晒蚕硇完?duì)列中的資源配額回收中加入了搶占共享機(jī)制。

依據(jù)作業(yè)類型的特點(diǎn)和需求，在云計(jì)算資源歸一化的基礎(chǔ)上，實(shí)現(xiàn)資源調(diào)度的優(yōu)化。其中算法流程圖如圖1。

本文重點(diǎn)研究與分析了各種不同的資源管理調(diào)度方法、同時(shí)充分考慮云計(jì)算平臺(tái)運(yùn)行的實(shí)際情況，針對(duì)不同的資源分析觸發(fā)這些資源調(diào)整的條件，并提出具體算法。此外，針對(duì)算法如何更加優(yōu)化，比如，資源搶占、防止乒乓效益等，這也是云服務(wù)提供商非常關(guān)心的問(wèn)題。因此，資源分配策略的不斷改進(jìn)和優(yōu)化，需要更多的研究和探索。

參考文獻(xiàn)

[1]李喬，鄭嘯.云計(jì)算研究現(xiàn)狀綜述[J].計(jì)算機(jī)科學(xué)，2011，38（4）：30-35.

[2]S. Ghemawat，H.Gobioff， S.T.Leung.The Google File System. Communications of the ACM. Volume 37，Issue 5，pp.29-43，2003.

[3]L.A.Barroso J.Dean U.H lzle.Web Search for a Planet：The Google Cluster Architecture.IEEE Micro.Volume23，Issue 2，pp. 22-28， 2003.

[4]吳朱華編著.云計(jì)算核心技術(shù)剖析[M].北京：電子工業(yè)出版社，2011：79-82.

[5]趙立威，方國(guó)偉.讓云觸手可及微軟云計(jì)算實(shí)踐指示[M].北京：電子工業(yè)出版社，2010：153-155.

[6]韓建民，鹿玲杰.資源調(diào)度機(jī)制在計(jì)算機(jī)控制系統(tǒng)中的應(yīng)用.計(jì)算機(jī)應(yīng)用[J]，2013，41（2）：5-6.

[7]I.Menken， G.Blokdijk. Cloud Computing Virtualization Specialist Complete Certification Kit - Study Guide Book and Online Course. Emereo Pty Ltd. 2009.

[8]何福貴，侯義斌.基于有限優(yōu)先級(jí)的動(dòng)態(tài)調(diào)度分組算法.北京工業(yè)大學(xué)學(xué)報(bào)，2013，34（8）：11-12.

[9]張鵬飛.云計(jì)算數(shù)據(jù)中心調(diào)度算法研究[J].電子世界，2014（3）：3-66.

[10]林偉偉，齊德昱.云計(jì)算資源調(diào)度研究綜述[J].云計(jì)算資源調(diào)度研究綜述，2012（10）：127-134.

[11]C. Guo， G. Lu， et al. Secondnet： A data center network virtualizat ion architecture with bandwidth guarantees[C].The 6th International Conference， USA ，December 2010，1-12.

[12]HIEU B T，NOBUYAMA E. A local voting method by scanning high-confidence level voters for vanishing point detection[C]/ /Proc ofSICE Annual Conference.2011：790-795.

[13]何一舟.MapReduce的性能分析與優(yōu)化[D].武漢：華中科技大學(xué)，2011：68-74.