曹紹華，盧清華，張紅霞，薛華威

(中國(guó)石油大學(xué)計(jì)算機(jī)與通信工程學(xué)院,山東青島 266580)

?

基礎(chǔ)理論

基于SDN的服務(wù)器集群動(dòng)態(tài)流量調(diào)度方法

曹紹華，盧清華，張紅霞，薛華威

(中國(guó)石油大學(xué)計(jì)算機(jī)與通信工程學(xué)院,山東青島 266580)

典型的流量調(diào)度是使用一個(gè)專用負(fù)載均衡器把客戶端的請(qǐng)求分發(fā)給不同的應(yīng)用服務(wù)器，但是這種技術(shù)不僅需要專用的硬件支持,而且存在諸多缺點(diǎn),如價(jià)格昂貴、缺乏靈活性和容易成為單點(diǎn)故障等。本文提出一種廉價(jià)、靈活的解決方法，該方法基于SDN技術(shù)，采用DTSSC(Dynamic traffic scheduling of server cluster)模型，通過(guò)獲取各個(gè)服務(wù)器的流量矩陣和負(fù)載矩陣，實(shí)現(xiàn)了各個(gè)服務(wù)器的負(fù)載比均衡。通過(guò)實(shí)驗(yàn)，驗(yàn)證了該方法的有效性，即各個(gè)服務(wù)器的負(fù)載比基本達(dá)到均衡。

動(dòng)態(tài)調(diào)度；SDN；數(shù)據(jù)中心；負(fù)載均衡

0 引 言

隨著互聯(lián)網(wǎng)的飛速發(fā)展，各種各樣的業(yè)務(wù)被引進(jìn)互聯(lián)網(wǎng)中，使得網(wǎng)絡(luò)中充斥著巨大的用戶訪問(wèn)流量，單臺(tái)服務(wù)器無(wú)法滿足用戶的需求。以淘寶為例，阿里巴巴CEO張勇表示，距離雙十一還有4個(gè)小時(shí)，淘寶天貓平臺(tái)已經(jīng)每秒12萬(wàn)次商品打開(kāi)，1.3億次手機(jī)淘寶訪問(wèn)超過(guò)去年雙十一的峰值。面對(duì)如此巨大的用戶請(qǐng)求，如何進(jìn)行處理并提高用戶體驗(yàn)度，已經(jīng)成為許多應(yīng)用都需要面對(duì)的問(wèn)題，通常企業(yè)采用分布式計(jì)算和負(fù)載均衡技術(shù)等進(jìn)行緩解。一種典型的流量調(diào)度是采用專用的負(fù)載均衡器[1]把用戶的請(qǐng)求分發(fā)到不同的應(yīng)用服務(wù)器。但是這種解決辦法不僅需要硬件支持，而且存在諸多的缺點(diǎn)，比如價(jià)格昂貴、缺乏靈活性、容易存在單點(diǎn)故障等。而SDN[2-3]是新提出的網(wǎng)絡(luò)架構(gòu)，將數(shù)據(jù)平面與控制分離，并提供可編程接口，實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)的管控能力。因此將SDN應(yīng)用到動(dòng)態(tài)調(diào)度[4]可以有效解決目前問(wèn)題。

本研究有如下貢獻(xiàn)：(1)通過(guò)控制器監(jiān)控服務(wù)器的流量信息，建立流量矩陣和服務(wù)器的負(fù)載矩陣(2)根據(jù)流量矩陣和負(fù)載矩陣，進(jìn)行流量動(dòng)態(tài)的調(diào)度。

本文結(jié)構(gòu)如下，第二章介紹相關(guān)工作，第三章提出DETSC流量調(diào)度，第四章進(jìn)行試驗(yàn)以及分析，第五章總結(jié)以及未來(lái)工作。

1 相關(guān)工作

隨著SDN的普及以及迅速發(fā)展，基于SDN[]的流量調(diào)度的網(wǎng)絡(luò)創(chuàng)新研究逐漸深入。OpenTM[5]通過(guò)SDN控制器實(shí)時(shí)監(jiān)視網(wǎng)絡(luò)節(jié)點(diǎn)的流量，構(gòu)建網(wǎng)絡(luò)的流量矩陣，然后進(jìn)行調(diào)度。Hedera[6]等人為數(shù)據(jù)中心設(shè)計(jì)了一種解決方案，通過(guò)實(shí)時(shí)獲取openflow交換機(jī)的流統(tǒng)計(jì)信息，然后采用退火算法計(jì)算并作出負(fù)載均衡。但是該方案主要是針對(duì)PortLand網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。

LI Y[7]等人提出了基于胖樹(shù)結(jié)構(gòu)的動(dòng)態(tài)流量調(diào)度算法，采用單跳貪婪算法。該方法實(shí)現(xiàn)了動(dòng)態(tài)的選路策略，但在考慮網(wǎng)絡(luò)的整體狀況時(shí)候，這種基于貪婪算法的選路并非最佳，可能導(dǎo)致部分鏈路負(fù)載超荷。

2 DTSSC的流量調(diào)度

流量調(diào)度的核心是使得服務(wù)器的負(fù)載達(dá)到均衡，即是是服務(wù)器的負(fù)載比相近，本章圍繞該問(wèn)題建立DTSSC模型以及闡述相應(yīng)的算法。

2.1 DTSSC模型

為了描述DTSSC模型，本文定義了三個(gè)變量，分別為：CPU主頻矩陣P[0..n]，剩余內(nèi)存矩陣Mem[0......n]，流量負(fù)載矩陣Flow[0,......n]。

通過(guò)Openflow協(xié)議獲取各個(gè)終端服務(wù)器的的CPU主頻，用矩陣表示如下:

P[0..n]=[p1,p2,……pn]

(1)

同時(shí)實(shí)時(shí)監(jiān)測(cè)終端服務(wù)器的內(nèi)存變化和流量變化，并更新剩余內(nèi)存矩陣Mem和流量負(fù)載矩陣Flow，具體表示如下：

Mem[0......n]=[m1,m2,...mn]

(2)

Flow[0,......n]=[f1,f2,......fn]

(3)

由于每個(gè)服務(wù)器的主頻和內(nèi)存不同，所以處理能力也不盡相同，為了使每個(gè)服務(wù)器的流量負(fù)載和處理能力相匹配，本文定義ratio來(lái)描述服務(wù)器的負(fù)載比，其中使用fi表示流量負(fù)載，用C表示服務(wù)器處理能力。其中公式成立條件是|mi-pi|不等于無(wú)窮大且Ci/mi不等于無(wú)窮大。

Ci=0.1*pi*0.9*mi

(4)

定義 3.1：負(fù)載比

(5)

因此我們可以構(gòu)造負(fù)載比矩陣：

ratio[0....n]=[ratio1,ratio2,....ration]

(6)

每次我們選取min{ratio[0...n]}對(duì)應(yīng)的下標(biāo)服務(wù)器進(jìn)行流量轉(zhuǎn)發(fā)。由于fi和mi在不停得變化，因此負(fù)載比在不斷變化，因此可以對(duì)流量進(jìn)行實(shí)時(shí)調(diào)度。

2.2 DFC算法

本文提出了DFC(dynamic flow control)算法，該算法實(shí)現(xiàn)了實(shí)時(shí)獲取服務(wù)器的流量，并根據(jù)ratio值進(jìn)行流量的調(diào)度。該算法用于對(duì)SDN數(shù)據(jù)中心網(wǎng)絡(luò)進(jìn)行簡(jiǎn)單的流量調(diào)度。具體如下：

1. Get info from servers about cpu,memory,flow matrix//獲得各個(gè)服務(wù)器的CPU、內(nèi)存余量以及已處理流量數(shù)值

2. instance the cpu[0...n],mem[0..n],flow[0..n]//根據(jù)獲得的數(shù)值初始化CPU、內(nèi)存以及流量矩陣

3. Calculate the ratio[0...n] matrix//由公式5計(jì)算出負(fù)載比

4. accept client request;//接受用戶請(qǐng)求

5. i={j,ration[j]==min{ratio[0...n]}};//選擇負(fù)載比最小的服務(wù)器進(jìn)行處理

6. dispatch the request to serveri;//將請(qǐng)求分發(fā)給該服務(wù)器

7. update the memory,flow, ratio ratix//更新內(nèi)存、流量以及負(fù)載比

8. go to 4

3 DTSSC實(shí)現(xiàn)

3.1 架構(gòu)

通過(guò)修改控制器代碼，將DTSSC模塊添加到floodlight控制器中，該模塊實(shí)現(xiàn)的功能如圖1所示：

圖1 DTSSC模塊圖

DTSSC一共包括三個(gè)模塊，分別是獲取信息模塊、運(yùn)行DFC算法進(jìn)行負(fù)載服務(wù)器選擇模塊以及流表重下發(fā)模塊。下面分別介紹這幾個(gè)模塊。

3.2 流量獲取模塊

該模塊實(shí)時(shí)獲取服務(wù)器的CPU、內(nèi)存余量以及Openflow交換機(jī)各個(gè)端口的已處理流量信息，為選取負(fù)載服務(wù)器做準(zhǔn)備。

3.3 負(fù)載均衡模塊

該模塊負(fù)責(zé)運(yùn)行DFC算法，根據(jù)主頻和內(nèi)存和流量計(jì)算各個(gè)服務(wù)器的ratio比率，并形成ratio矩陣，選取較小的ratio對(duì)應(yīng)的服務(wù)器進(jìn)行負(fù)載。

3.4 流表重下發(fā)模塊

根據(jù)負(fù)載均衡模塊計(jì)算得出的最小負(fù)載服務(wù)器，控制器通過(guò)下發(fā)流表給Openflow交換機(jī)，將用戶請(qǐng)求，通過(guò)流表，分發(fā)到該最小負(fù)載比的服務(wù)器上進(jìn)行用戶請(qǐng)求的響應(yīng)。

3.5 DTSSC各模塊之間處理流程

其中DTSSC模塊的各個(gè)功能的交互如圖2所示。

圖2 DTSSC模塊之間交互

信息獲取模塊從網(wǎng)絡(luò)設(shè)備中獲取CPU、內(nèi)存以及流量處理信息，然后將該信息發(fā)送給負(fù)載均衡模塊運(yùn)行DFC算法，根據(jù)DFC算法選擇最小的負(fù)載比的服務(wù)器，然后由流表重下發(fā)模塊下發(fā)響應(yīng)流表到Openflow交換機(jī)上，將用戶請(qǐng)求分發(fā)到該負(fù)載比最小的服務(wù)器上。

3.6 系統(tǒng)處理流程

當(dāng)用戶發(fā)出請(qǐng)求，然后服務(wù)器進(jìn)行響應(yīng)的整個(gè)處理流程圖如圖3所示。

圖3 系統(tǒng)處理流程圖

具體的流程是floodlight控制器啟動(dòng)時(shí)候，會(huì)加載運(yùn)行DTSSC模塊，該模塊會(huì)不停的運(yùn)行信息獲取模塊、DFC算法以及流表重下發(fā)模塊，當(dāng)用戶請(qǐng)求到來(lái)時(shí)候，就通過(guò)下發(fā)的流表，被分發(fā)到負(fù)載比最小的服務(wù)器上，由該服務(wù)器進(jìn)行用戶請(qǐng)求的響應(yīng)。

具體實(shí)現(xiàn)的時(shí)候，可以將所有的服務(wù)器對(duì)外使用一個(gè)虛擬的IP地址，由DTSSC進(jìn)行具體服務(wù)器實(shí)際IP地址的轉(zhuǎn)換。

同時(shí)DTSSC模塊采用多線程[8]技術(shù)定時(shí)獲取交換機(jī)所連的服務(wù)器的統(tǒng)計(jì)信息，選擇當(dāng)前負(fù)載最小的進(jìn)行服務(wù)。二層交換機(jī)的流表動(dòng)作是進(jìn)行簡(jiǎn)單的轉(zhuǎn)發(fā)，即將包從某一個(gè)特定的端口轉(zhuǎn)發(fā)出去。

4 試驗(yàn)驗(yàn)證與分析

4.1 實(shí)驗(yàn)設(shè)計(jì)

控制器采用floodlight[9]開(kāi)源控制器，為簡(jiǎn)便，服務(wù)器均采用內(nèi)存2 GB，主頻為2.2 GHz，搭建如圖4的網(wǎng)絡(luò)拓?fù)鋱D。

圖4 拓?fù)鋱D

在每臺(tái)服務(wù)器上部署Apache web服務(wù)器，來(lái)模擬網(wǎng)頁(yè)請(qǐng)求。樣本集是發(fā)送1000個(gè)請(qǐng)求，分別統(tǒng)計(jì)采用負(fù)載前后的各個(gè)服務(wù)器的負(fù)載比變化。

4.2 實(shí)驗(yàn)分析

從圖5可以看出在負(fù)載前，各個(gè)服務(wù)器的負(fù)載比不均勻，但是在采用DTSSC模型進(jìn)行負(fù)載時(shí)候，基本達(dá)到均衡。

圖5 負(fù)載前后對(duì)比圖

5 結(jié) 語(yǔ)

結(jié)合SDN對(duì)服務(wù)器集群進(jìn)行負(fù)載均衡，并將負(fù)載均衡用控制器進(jìn)行實(shí)現(xiàn)，減少了對(duì)交換機(jī)和服務(wù)器的壓力，使交換機(jī)從一些復(fù)雜的QoS、LoadBalancer等服務(wù)中解脫出來(lái)，提高了交換機(jī)的效率。

與傳統(tǒng)的負(fù)載均衡相比，本研究實(shí)現(xiàn)的DTSSC調(diào)度機(jī)制具有效率高，開(kāi)銷(xiāo)小，部署簡(jiǎn)單的優(yōu)點(diǎn)。經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證，采用該方法進(jìn)行流量調(diào)度可以取得很好的效果，各個(gè)服務(wù)器的負(fù)載接近度接近100%。

未來(lái)將該流量調(diào)度機(jī)制應(yīng)用到更大的實(shí)際網(wǎng)絡(luò)規(guī)模中，進(jìn)行分析該調(diào)度機(jī)制效果。

[1] 吳強(qiáng). 基于SDN技術(shù)的數(shù)據(jù)中心基礎(chǔ)網(wǎng)絡(luò)建設(shè)[J].電信科學(xué)，2013.

[2] Thomas D.Nadeau, Ken Rray.Software Defined network[M]. USA：O’Reilly，2013.8.

[3] 左清云. 基于Openflow的SDN技術(shù)[J]. 軟件學(xué)報(bào)，2013.

[4] 李坤.服務(wù)器集群負(fù)載均衡技術(shù)研究與算法分析[J].計(jì)算機(jī)與現(xiàn)代化，2003-08.

[5] Tootoonchian A, Ghobadi M, Ganjali Y. OpenTM: traffic matrix estimator for OpenFlow networks[C]//Passive and active measurement. Springer Berlin Heidelberg, 2010: 201-210.

[6] Al-Fares M, Radhakrishnan S, Raghavan B, et al. Hedera: Dynamic Flow Scheduling for Data Center Networks[C]//NSDI. 2010, 10: 19-19.

[7] Li Y, Pan D. OpenFlow based load balancing for Fat-Tree networks with multipath support[C]//Proc. 12th IEEE International Conference on Communications (ICC’13), Budapest, Hungary. 2013: 1-5.

[8] 吳功宜 著.計(jì)算機(jī)網(wǎng)絡(luò)高級(jí)軟件編程技術(shù)[M].北京：清華大學(xué)出版社，2011-03

[9] Bao Hua Yang .floodnotes.http://security.riit.tsing hua.edu.cn/～bhyang/publications.html,2013-08-01.

薛華威(1991—)，河南駐馬店人，碩士研究生，主要研究虛擬化、云計(jì)算網(wǎng)絡(luò)。

SDN Based on Dynamic Traffic Scheduling Method of Server Cluster

CAO Shao-hua，LU Qing-hua，ZHANG Hong-xia，XUE Hua-wei

(College of computer and communication, China University of Petroleum, Qingdao 266580 Shandong, China)

Typical traffic scheduling is to use special load balancers distributing client requests to different application servers, but this technique requires not only the dedicated hardware support, but also has many other shortcomings, such as high price, lack of flexibility and easy to become a single point of failure. This paper presents a cheap, flexible solution. Based on SDN this method adopts the DTSSC (dynamic traffic scheduling of cluster server) model and reaches the balance of load ratio for each server through the acquisition of traffic matrix and load matrix of each server. The validity of this method is verified through experiments, which demonstrates the load ratio of each server is basically balanced.

dynamic scheduling；SDN；data center；load balance

10.3969/j.issn.1673-5692.2016.06.012

2016-11-01

2016-12-02

山東省優(yōu)秀中青年科學(xué)家科研獎(jiǎng)勵(lì)基金計(jì)劃(BS2014DX021);科技部創(chuàng)新方法工作專項(xiàng)(2015IM010300);中國(guó)石油大學(xué)自主創(chuàng)新基金(16CX02047A)

曹紹華(1978—)，男，碩士，主要研究方向?yàn)榫W(wǎng)絡(luò)性能優(yōu)化和下一代網(wǎng)絡(luò);

E-mail：caoshaohua2009@163.com

盧清華(1983—)，女，山東淄博人，博士，副教授，研究領(lǐng)域?yàn)榇髷?shù)據(jù)部署架構(gòu)及流程，云計(jì)算可靠性;

張紅霞(1981—)，女，山東東營(yíng)人，博士，講師，研究領(lǐng)域?yàn)榉?wù)計(jì)算，軟件建模，模型檢測(cè);

TP393 文獻(xiàn)標(biāo)識(shí)碼：A

1673-5692(2016)06-625-04