陳林

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都 610065)

0 引言

Hadoop是一個(gè)開源的分布式處理系統(tǒng)，當(dāng)用戶提交一個(gè)作業(yè)后，Hadoop會(huì)將該作業(yè)分成若干個(gè)task任務(wù)，然后分配到多個(gè)節(jié)點(diǎn)并行執(zhí)行，最后返回結(jié)果。

在Hadoop集群中，移動(dòng)數(shù)據(jù)塊的性能消耗要高于移動(dòng)計(jì)算任務(wù)的性能消耗，數(shù)據(jù)負(fù)載均衡可以提高本地化的task任務(wù)次數(shù)，從而可以減少集群中的數(shù)據(jù)傳輸，從而提高集群性能。

1 HDFS默認(rèn)的負(fù)載均衡算法

HDFS默認(rèn)的負(fù)載均衡算法是基于同構(gòu)的集群環(huán)境，該算法的目標(biāo)是把各個(gè)節(jié)點(diǎn)的存儲(chǔ)空間利用率盡量保持在同一水平。當(dāng)機(jī)器中的某個(gè)或者某幾個(gè)節(jié)點(diǎn)空間利用率過高時(shí)，那么我們可以通過執(zhí)行start-balancer.sh來啟動(dòng)負(fù)載均衡程序。Balancer負(fù)載均衡器是根據(jù)用戶給定的閾值threshold，以及平均空間利用率avg來把節(jié)點(diǎn)分為四組：overUtilizedDatanodes、bove-AvgUtilizedDatanodes、belowAvgUtilizedDatanodes、underUtilizedDatanodes，分組過程是通過 avg+threshold、avg、avg-threshold這三個(gè)值來進(jìn)行劃分的。分好組后，就進(jìn)行移動(dòng)數(shù)據(jù)，不停地將前兩組過載節(jié)點(diǎn)的數(shù)據(jù)移動(dòng)到后兩組節(jié)點(diǎn)中，直到所有節(jié)點(diǎn)與avg的差值不超過threshold閾值。

2 異構(gòu)集群的負(fù)載均衡算法分析

2.1 相關(guān)概念定義

配置的存儲(chǔ)空間（Sconf（i））：節(jié)點(diǎn)i分配給hdfs使用的磁盤空間容量。

已用空間（Sused（i））：節(jié)點(diǎn)i中hdfs已經(jīng)使用的磁盤空間容量。

節(jié)點(diǎn)i的CPU性能（Fcpu（i））：對于多核CPU的情況，每個(gè)核的性能為單核的 0.8～0.9，這里我們?nèi)?=0.85，該節(jié)點(diǎn)的CPU性能為：

其中?表示轉(zhuǎn)化率，f（i）表示CPU頻率（GHz），n是核數(shù)。

節(jié)點(diǎn)內(nèi)存性能（Fmem（i））：內(nèi)存性能的度量是使用該節(jié)點(diǎn)內(nèi)存的大小。

節(jié)點(diǎn)剩余空間（Sremain（i））：節(jié)點(diǎn)i中hdfs剩余的空間容量大小。

定義1節(jié)點(diǎn)相對性能：

其中α,β,δ表示CPU相對性能以及內(nèi)存相對性能和節(jié)點(diǎn)相對剩余空間大小的權(quán)重，由于節(jié)點(diǎn)剩余空間有可能在均衡的過程中動(dòng)態(tài)變化，從而影響迭代的收斂，所以對于剩余空間的權(quán)重設(shè)置相對要小一點(diǎn)。所有結(jié)點(diǎn)相對性能之和為性能總和：

定義2集群的平均空間利用率：

定義3各個(gè)結(jié)點(diǎn)基于性能和剩余空間容量的理論空間使用量和空間使用率：

定義4每個(gè)節(jié)點(diǎn)的最大空間負(fù)載：

因?yàn)樵诋悩?gòu)集群環(huán)境中每個(gè)結(jié)點(diǎn)的磁盤空間是不同的,因此計(jì)算出來的每個(gè)結(jié)點(diǎn)的理論使用空間量可能會(huì)大于該結(jié)點(diǎn)的最大負(fù)載量，這個(gè)時(shí)候我們需要將多余出來的部分占用空間分給其他結(jié)點(diǎn)，這里我們提出了一個(gè)迭代算法，計(jì)算理想均衡狀態(tài)。

金，因?yàn)槠焚|(zhì)而尊貴；夢，因?yàn)榻k麗而多彩。這座北方小城，正一步步踐行著自己的“黃金夢”，正用自己手中的顏色描繪著未來的美好藍(lán)圖。

2.2 算法整體介紹

該算法的詳細(xì)步驟如下：

（1）通過計(jì)算CPU、內(nèi)存、以及剩余空間大小來計(jì)算節(jié)點(diǎn)的相對性能F（i），集群總的性能F以及集群空間的平均使用率Ravg；

（2）然后通過每個(gè)結(jié)點(diǎn)的性能占總性能F的百分比來計(jì)算出理論空間使用量，進(jìn)而計(jì)算出理論空間使用率，每個(gè)結(jié)點(diǎn)計(jì)算出的理論空間使用率組合成一個(gè)“理論的負(fù)載均衡理想狀態(tài)”數(shù)組；

（3）計(jì)算各個(gè)結(jié)點(diǎn)最大的空間負(fù)載率，并由此找出理論空間使用量超過最大負(fù)載量的結(jié)點(diǎn)，計(jì)算超出量，并將超出空間分別放置為超出的結(jié)點(diǎn)上，每個(gè)結(jié)點(diǎn)放置的存儲(chǔ)空間占用量為：

其中Sconf(i)和Rtheory(i)為被放置結(jié)點(diǎn)的分配的空間和理論空間使用率，當(dāng)這樣放置后，多余的空間被分配完，那么迭代結(jié)束，否則繼續(xù)迭代計(jì)算，最終得到一個(gè)理想的均衡狀態(tài)數(shù)組，里面存放了各個(gè)結(jié)點(diǎn)的不大于最大空間負(fù)載率Rm的理想空間占用率：

（4）進(jìn)行分組,其中 R（i）表示結(jié)點(diǎn) i存儲(chǔ)空間使用率：

表1

（5）計(jì)算各個(gè)結(jié)點(diǎn)需要移動(dòng)的數(shù)據(jù)量然后進(jìn)行移動(dòng)數(shù)據(jù)。

3 實(shí)驗(yàn)和結(jié)果分析

實(shí)驗(yàn)環(huán)境由五臺(tái)臺(tái)式機(jī)組成，分別通過一個(gè)路由器連接成一個(gè)局域網(wǎng)，網(wǎng)絡(luò)拓?fù)鋱D如下：

圖1 網(wǎng)絡(luò)拓?fù)鋱D

表2

為了對比本文提出的算法和hdfs默認(rèn)的負(fù)載均衡算法，我們做如下操作來導(dǎo)致集群出現(xiàn)負(fù)載不均衡現(xiàn)象：

（1）將所有文件的副本數(shù)設(shè)為2；

（2）將其中某幾臺(tái)作為客戶端進(jìn)行上傳文件；

（3）添加一臺(tái)新結(jié)點(diǎn)，然后再上傳文件；

然后分別運(yùn)行默認(rèn)的負(fù)載均衡算法和本文提出的負(fù)載均衡算法，對比均衡效果，其中閾值threshold我們設(shè)置為6%，實(shí)驗(yàn)的對比結(jié)果如下：

表3

由上面的結(jié)果對比，可以知道：對于CPU和內(nèi)存性能高的并且剩余容量多的主機(jī)，通過本文負(fù)載均衡算法后可以存儲(chǔ)更多的數(shù)據(jù)，而默認(rèn)負(fù)載均衡算法，只是讓每個(gè)節(jié)點(diǎn)的占用比盡量趨近于一致。

參考文獻(xiàn)：

[1]張松.Hadoop異構(gòu)環(huán)境中數(shù)據(jù)副本動(dòng)態(tài)管理研究[D].南京航空航天大學(xué),2015.

[2]武娟,黃海,錢鋒,李擁軍,壽質(zhì)彬.基于多變量動(dòng)態(tài)算法的Hadoop負(fù)載均衡優(yōu)化與實(shí)現(xiàn)[J].電信科學(xué),2012,28（12）:83-87.

[3]劉琨.云計(jì)算負(fù)載均衡策略的研究[D].吉林大學(xué),2016.

[4]劉琨,肖琳,趙海燕.Hadoop中云數(shù)據(jù)負(fù)載均衡算法的研究及優(yōu)化[J].微電子學(xué)與計(jì)算機(jī),2012,29（09）:18-22.

[5]康承昆,劉曉潔.一種基于多衡量指標(biāo)的HDFS負(fù)載均衡算法[J].四川大學(xué)學(xué)報(bào)（自然科學(xué)版）,2014,51（06）:1163-1169.

[6]Kun Liu,Gaochao Xu,Jun'e Yuan.An Improved Hadoop Data Load Balancing Algorithm[J].Journal of Networks,2013,8（12）.