熊安萍，劉進(jìn)進(jìn)，鄒 洋

（重慶郵電大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，重慶400065）

0 引 言

近年來，隨著處理器和網(wǎng)絡(luò)等基礎(chǔ)設(shè)備性能取得飛速發(fā)展，高性能并行技術(shù)的應(yīng)用領(lǐng)域由石油勘探、氣象預(yù)測、科學(xué)研究等計(jì)算密集型領(lǐng)域擴(kuò)展到國際金融、電信業(yè)務(wù)等數(shù)據(jù)密集型領(lǐng)域。需要處理的數(shù)據(jù)量極大增長的同時，對海量存儲系統(tǒng)的性能也提出了巨大挑戰(zhàn)。

基于對象存儲是一種高性能、為解決海量數(shù)據(jù)存儲而設(shè)計(jì)的分布式并行存儲技術(shù)。基于對象存儲體系結(jié)構(gòu)由客戶端（簡稱Client）、元數(shù)據(jù)服務(wù)器（MDS）、對象存儲服務(wù)器（OST）（也稱“存儲節(jié)點(diǎn)”）3部分構(gòu)成。將數(shù)據(jù)通路（讀和寫）和控制通路（元數(shù)據(jù)）分離的策略，每個對象存儲設(shè)備智能地管理自身設(shè)備上的數(shù)據(jù)對象分布，對象存儲體系結(jié)構(gòu)很好地實(shí)現(xiàn)了在元數(shù)據(jù)和文件數(shù)據(jù)之間的并行性、文件數(shù)據(jù)在對象存儲設(shè)備上的并行性，提高了系統(tǒng)I/O性能。在大文件并行存儲的同時，需要分配各種計(jì)算機(jī)資源，并且存儲節(jié)點(diǎn)性能的差異，作業(yè)到達(dá)的隨機(jī)性，都會導(dǎo)致系統(tǒng)各節(jié)點(diǎn)負(fù)載和存儲空間的動態(tài)變化，為了適應(yīng)這種無序變化，文件在對象存儲設(shè)備上如何均衡、高效存儲，進(jìn)而提高系統(tǒng)I/O性能，成為學(xué)術(shù)界研究的熱點(diǎn)。

本文分析了對象存儲技術(shù)現(xiàn)有文件存儲策略與機(jī)制的優(yōu)缺點(diǎn)，針對對象存儲體系結(jié)構(gòu)的特性、數(shù)據(jù)并行存儲的特點(diǎn)提出了一種負(fù)載均衡存儲策略，綜合考慮了影響系統(tǒng)存儲性能的因素，并在現(xiàn)有對象存儲文件系統(tǒng)中設(shè)計(jì)和實(shí)現(xiàn)了該存儲策略。實(shí)驗(yàn)表明，該策略在現(xiàn)有異構(gòu)存儲集群環(huán)境下，能一定程度上避免因部分節(jié)點(diǎn)過載的再次分配，同時，保證了數(shù)據(jù)的均衡、高效存儲，提高了系統(tǒng)整體讀寫性能。相比現(xiàn)有存儲策略，本文的存儲負(fù)載策略具有更加廣泛的適用性。

1 現(xiàn)有文件存儲策略

目前對象存儲技術(shù)普遍采用以下兩種策略將文件數(shù)據(jù)分配到不同的存儲節(jié)點(diǎn)。

第一種策略是順序分配方式，也稱為輪詢放置策略。元數(shù)據(jù)服務(wù)器按照某種規(guī)則將存儲節(jié)點(diǎn)順序編號，選擇有效的存儲節(jié)點(diǎn)，將文件數(shù)據(jù)劃分成一定大小的數(shù)據(jù)片輪詢放置到各個存儲節(jié)點(diǎn)上。

第二種策略是哈希分配方式，也稱為隨機(jī)分配策略。該策略利用哈希函數(shù)確定文件的存儲節(jié)點(diǎn)。

以上策略均為靜態(tài)分配策略，沒有考慮各個對象存儲設(shè)備本身負(fù)載的實(shí)時變化，具體存在以下3個方面的問題：

（1）默認(rèn)了存儲環(huán)境是同構(gòu)的，但是對象存儲系統(tǒng)往往構(gòu)建在異構(gòu)集群環(huán)境下。在集群環(huán)境下，隨機(jī)分配I/O任務(wù)時，所有集群節(jié)點(diǎn)接受任務(wù)的概率相等，在異構(gòu)環(huán)境下，性能較差節(jié)點(diǎn)處理任務(wù)的能力相對較弱，在任務(wù)量一定的情況下，就會出現(xiàn)性能較差節(jié)點(diǎn)任務(wù)滿載或者超載，性能較好節(jié)點(diǎn)相對空閑，影響客戶端響應(yīng)時間，系統(tǒng)資源得不到充分利用。

（2）未考慮所選存儲節(jié)點(diǎn)的I/O負(fù)載，假設(shè)輪詢或者HASH的方式選擇了一個正在進(jìn)行大量I/O處理的超載節(jié)點(diǎn)，則會大大影響客戶端響應(yīng)時間。

（3）未考慮所選節(jié)點(diǎn)的存儲空間負(fù)載的變化。存儲節(jié)點(diǎn)通過刪除、創(chuàng)建、修改等操作，會出現(xiàn)文件數(shù)據(jù)不均衡的分布在各存儲節(jié)點(diǎn)中，部分節(jié)點(diǎn)存儲空間占用率高，部分節(jié)點(diǎn)存儲空間占用率低。而靜態(tài)分配方式，仍然會選擇存儲空間滿載的節(jié)點(diǎn)，造成分配失敗，導(dǎo)致數(shù)據(jù)的遷移或者重新分配，增加系統(tǒng)開銷。

總之，當(dāng)前的數(shù)據(jù)分配策略沒有綜合考慮對象存儲設(shè)備的空間、I/O等負(fù)載的實(shí)時變化，會導(dǎo)致整個存儲系統(tǒng)性能下降。

2 基于對象存儲的負(fù)載均衡存儲策略

本文基于對象存儲的負(fù)載均衡存儲策略基本思想綜合考慮了存儲對象節(jié)點(diǎn)的動態(tài)負(fù)載，包括存儲空間、I/O負(fù)載。由元數(shù)據(jù)服務(wù)器全局地維護(hù)對象存儲節(jié)點(diǎn)存儲空間等負(fù)載信息?？蛻舳艘?.1節(jié)理論為基礎(chǔ)，決定存儲的節(jié)點(diǎn)集合，客戶端從元數(shù)據(jù)服務(wù)器獲取該集合中各存儲節(jié)點(diǎn)負(fù)載信息，選擇剩余空間最大且I/O負(fù)載較小的存儲節(jié)點(diǎn)進(jìn)行文件存儲。

2.1 存儲節(jié)點(diǎn)數(shù)

對象存儲體系結(jié)構(gòu)中的數(shù)據(jù)分配機(jī)制，使得一個完整的數(shù)據(jù)文件分布存儲在多個存儲設(shè)備上，一個客戶端可以同時訪問一個文件的多個部分，同樣，多個客戶端可以同時訪問一個文件的不同部分，提高了系統(tǒng)的整體并行性［3］。但是建立連接的系統(tǒng)開銷對系統(tǒng)整體性能有負(fù)面影響，首先，數(shù)據(jù)同步和文件片段重新拼裝也將花費(fèi)不少CPU時間；其次，一個客戶端與多個OST交互增加了協(xié)議處理開銷［4］?；诖耍墨I(xiàn)［2］提出了柔性對象分布策略，從理論上分析了文件分割與網(wǎng)絡(luò)傳輸時延的關(guān)系，數(shù)據(jù)文件應(yīng)該被分割的對象數(shù)

式中：Tp——數(shù)據(jù)文件并行傳輸?shù)臅r間開銷；T——數(shù)據(jù)文件串行傳輸?shù)臅r間開銷；n——數(shù)據(jù)文件被劃分的對象數(shù)；a——在客戶端劃分?jǐn)?shù)據(jù)、建立連接等的開銷因子；b——數(shù)據(jù)傳輸時間，b＝數(shù)據(jù)大小/網(wǎng)絡(luò)帶寬；c—— 一個常數(shù)，表示數(shù)據(jù)校驗(yàn)、身份認(rèn)證等額外時間開銷。

該公式的意義是：傳輸數(shù)據(jù)文件時，總時延為總開銷因子與傳輸時間之和。并行傳輸時，需要建立連接、數(shù)據(jù)分片等時間開銷是串行傳輸時的n倍，但是數(shù)據(jù)并行傳輸帶寬是串行傳輸?shù)膎倍。Tp/T值越小，說明Tp相對于T而言值越小，并行傳輸?shù)臅r延相對而言越短，性能相比而言越好。因此求出函數(shù)（2）的最小值就是節(jié)點(diǎn)n的最優(yōu)解

考慮到實(shí)際應(yīng)用中，有效的存儲節(jié)點(diǎn)數(shù)不一定恰好滿足該最優(yōu)解，例如，可能會有存儲節(jié)點(diǎn)因?yàn)楦鞣N故障而失效，為此，本文對存儲對象節(jié)點(diǎn)數(shù)目的取值進(jìn)行以下修正：

取分配節(jié)點(diǎn)數(shù)n的取值為：

其中：N為存儲體系結(jié)構(gòu)中有效存儲節(jié)點(diǎn)個數(shù)。［x］表示不大于x的最大整數(shù)。

由此可見，當(dāng)數(shù)據(jù)文件很小時，a值即在客戶端建立連接等開銷應(yīng)該很小，不適合分片存儲，因此對小文件而言，無需分片存儲。

2.2 負(fù)載因素

對象存儲負(fù)載涉及到CPU、內(nèi)存、網(wǎng)絡(luò)、I/O量、硬盤容量等。針對不同作業(yè)類型，選擇能準(zhǔn)確反映節(jié)點(diǎn)綜合負(fù)載的負(fù)載因素，是設(shè)計(jì)調(diào)度策略時考慮的必要前提。

對象存儲體系結(jié)構(gòu)針對大數(shù)據(jù)文件采取分片存儲及并行讀寫策略，存儲節(jié)點(diǎn)的讀寫操作屬于I/O類作業(yè)，需要進(jìn)行頻繁的磁盤讀寫，并且磁盤I/O讀寫速率與CPU及主存速率之間的差異容易導(dǎo)致I/O成為系統(tǒng)的瓶頸。對象存儲體系環(huán)境中，讀寫操作都會涉及到批量數(shù)據(jù)的讀寫及其在網(wǎng)絡(luò)中的傳輸，因此磁盤I/O量和網(wǎng)絡(luò)帶寬是影響系統(tǒng)性能的主要因素，而CPU在對象存儲節(jié)點(diǎn)中主要完成操作流控制和地址轉(zhuǎn)換功能，只需進(jìn)行較少的計(jì)算?；谝陨戏治?，本文選擇存儲節(jié)點(diǎn)的磁盤剩余空間及I/O負(fù)載作為主要負(fù)載因素。

2.3 基于對象存儲的負(fù)載均衡存儲策略

假定我們已經(jīng)為某個文件確定了n個存儲節(jié)點(diǎn)。設(shè)OST＝｛OST0，OST1，OST2，…，OSTn－1｝是該存儲節(jié)點(diǎn)集合，S＝｛S0，S1，S2，S3，…，Sn－1｝是該存儲節(jié)點(diǎn)剩余存儲容量集合。A＝｛A0，A1，A2，…，－An－1｝是存儲節(jié)點(diǎn)剩余空間所占總剩余空間比例。L＝｛Load0，Load1，Load2，…，Loadn－1｝表示存儲節(jié)點(diǎn)的I/O負(fù)載量

式（3）表示存儲節(jié)點(diǎn)剩余磁盤空間占總磁盤剩余空間的比例。

將所有存儲節(jié)點(diǎn)存儲空間虛擬為一個邏輯整體，每個存儲節(jié)點(diǎn)可用空間是對象存儲系統(tǒng)可用空間的一部分。存儲節(jié)點(diǎn)剩余空間比例Ai是整體剩余空間的一部分，存儲節(jié)點(diǎn)Ai越大，剩余空間相對其它節(jié)點(diǎn)可用空間而言越大。為了均衡利用存儲空間資源、平衡存儲空間負(fù)載，優(yōu)先選擇Ai大的存儲節(jié)點(diǎn)

式（4）表示存儲節(jié)點(diǎn)I/O負(fù)載量，其中 MEMi、IOi、Ni分別代表存儲節(jié)點(diǎn)OSTi的內(nèi)存負(fù)載、I/O量和網(wǎng)絡(luò)負(fù)載。其中wi（i＝1，2，3）表示對應(yīng)負(fù)載因素在影響整個I/O負(fù)載情況的重要程度。其中

服務(wù)器性能猶如電壓功率一樣，也有自己的I/O負(fù)載額定值 MAX（i），定義ui＝LOAD（i）/MAX（i）表示存儲節(jié)點(diǎn)OSTi的I/O負(fù)載與負(fù)載額定值的比例即I/O負(fù)載參量。如果ui＞1，說明系統(tǒng)I/O負(fù)載大于額定值，該存儲節(jié)點(diǎn)的I/O負(fù)載處于超載狀態(tài)；如果ui＝1，說明存儲節(jié)點(diǎn)I/O負(fù)載處于飽和狀態(tài)；如果ui＜1，說明存儲節(jié)點(diǎn)I/O負(fù)載小于額定值，表示存儲節(jié)點(diǎn)處于相對空閑狀態(tài)。隨著系統(tǒng)的運(yùn)行，任何一個節(jié)點(diǎn)的I/O負(fù)載狀態(tài)將在這3種狀態(tài)中轉(zhuǎn)換，當(dāng)系統(tǒng)達(dá)到穩(wěn)定平衡時，各節(jié)點(diǎn)應(yīng)該處于I/O負(fù)載飽和狀態(tài)或者接近飽和狀態(tài)。

理論上I/O負(fù)載額定值是對系統(tǒng)性能的評估，但是可以在實(shí)際運(yùn)行中根據(jù)實(shí)際情況動態(tài)調(diào)整該參數(shù)，滿足當(dāng)前系統(tǒng)運(yùn)行需求，當(dāng)某個時刻所有節(jié)點(diǎn)都滿負(fù)荷了，此時可以適當(dāng)?shù)脑龃驧AX（i）的值，可以盡可能多的接納用戶的任務(wù)量，當(dāng)系統(tǒng)整體負(fù)載較輕時，可以適當(dāng)降低MAX（i），此時更多節(jié)點(diǎn)趨于飽和平衡狀態(tài)。動態(tài)調(diào)整這個參數(shù)，動態(tài)調(diào)整系統(tǒng)運(yùn)行的狀態(tài)，系統(tǒng)運(yùn)行狀態(tài)隨著系統(tǒng)的運(yùn)行情況而動態(tài)變化，不斷滿足用戶需求，實(shí)現(xiàn)了應(yīng)對系統(tǒng)I/O負(fù)載的彈性化處理機(jī)制，盡量提高系統(tǒng)的吞吐率。

3 基于對象存儲的負(fù)載均衡存儲策略實(shí)現(xiàn)

基于以上對對象存儲體系中文件存儲策略和異構(gòu)系統(tǒng)負(fù)載特征的研究和分析，結(jié)合基于對象存儲系統(tǒng)的特征和負(fù)載性質(zhì)，設(shè)計(jì)并實(shí)現(xiàn)了一種基于對象存儲的負(fù)載均衡存儲策略，該實(shí)現(xiàn)模塊結(jié)構(gòu)如圖1所示。

圖1 實(shí)現(xiàn)模塊結(jié)構(gòu)

3.1 模塊設(shè)計(jì)

對象存儲體系結(jié)構(gòu)中，負(fù)載信息的采集和存儲由元數(shù)據(jù)服務(wù)器全局維護(hù)，各個對象存儲節(jié)點(diǎn)智能的管理和維護(hù)自身負(fù)載信息，并且實(shí)時的向元數(shù)據(jù)服務(wù)器反饋，客戶端依據(jù)這些信息決策所選存儲節(jié)點(diǎn)集合，符合軟件設(shè)計(jì)的模塊化原則，均衡了處理邏輯的任務(wù)分布。整個數(shù)據(jù)分配流程更加合理、靈活、高效。

（1）剩余空間信息鏈表：存儲空間負(fù)載監(jiān)控模塊發(fā)現(xiàn)當(dāng)前存儲節(jié)點(diǎn)剩余空間變化較大時，主動通知元數(shù)據(jù)服務(wù)器MDS并且捎帶最新的剩余空間信息，MDS相應(yīng)的存儲空間負(fù)載監(jiān)控模塊收到消息后，觸發(fā)負(fù)載信息處理模塊更新該鏈表信息，將鏈表節(jié)點(diǎn)信息按照存儲節(jié)點(diǎn)剩余空間比例從大到小排序。與傳統(tǒng)的主動接受信息相比，該方法節(jié)約了網(wǎng)絡(luò)帶寬，保證了存儲空間信息的實(shí)時性。

（2）I/O負(fù)載信息數(shù)組：MDS的I/O負(fù)載收集模塊周期性的向各存儲節(jié)點(diǎn)發(fā)送I/O負(fù)載信息請求，存儲節(jié)點(diǎn)的I/O負(fù)載監(jiān)控模塊將最新的負(fù)載信息反饋給 MDS，觸發(fā)MDS運(yùn)行負(fù)載信息處理模塊更新各節(jié)點(diǎn)負(fù)載信息。

（3）當(dāng)某個節(jié)點(diǎn)失效或者添加節(jié)點(diǎn)時，觸發(fā)MDS負(fù)載信息管理模塊將在剩余空間信息和負(fù)載信息從鏈表和數(shù)組中刪除或者增加相應(yīng)節(jié)點(diǎn)，并且這種操作對客戶端完全透明，實(shí)現(xiàn)了數(shù)據(jù)存儲的可擴(kuò)展性。

（4）元數(shù)據(jù)服務(wù)器將存儲空間信息和負(fù)載信息分別維護(hù)，提高了系統(tǒng)的靈活性和信息的可靠性。

3.2 實(shí)現(xiàn)算法描述

其基本思想是：基于本文2.1節(jié)理論，決定數(shù)據(jù)文件的分割粒度，選擇剩余空間最大且負(fù)載較輕節(jié)點(diǎn)，將數(shù)據(jù)文件按照給定的放置算法放置到選定的存儲節(jié)點(diǎn)上。

輸入：SIZE數(shù)據(jù)文件大??；B網(wǎng)絡(luò)帶寬；N有效存儲節(jié)點(diǎn)個數(shù)；

輸出：選擇存儲節(jié)點(diǎn)集合Q；

步驟1 從MDS獲取各個有效節(jié)點(diǎn)剩余空間信息鏈表和負(fù)載信息數(shù)組；

步驟2 如果SIZE小于數(shù)據(jù)塊兩倍，選擇存儲節(jié)點(diǎn)數(shù)設(shè)為1，跳轉(zhuǎn)至步驟6；否則，從步驟3開始

步驟3 計(jì)算數(shù)據(jù)傳輸時間b＝SIZE/B；

步驟5 依據(jù)N與n的大小，決定所選存儲節(jié)點(diǎn)個數(shù)M；

步驟6 遍歷存儲節(jié)點(diǎn)剩余空間鏈表，基于存儲節(jié)點(diǎn)索引值從負(fù)載信息數(shù)組中取出負(fù)載參量值，判斷其是否小于1，如果小于1，將存儲節(jié)點(diǎn)索引號加入集合Q中，否則繼續(xù)遍歷，直到集合大小為M，算法結(jié)束?？蛻舳伺c所選存儲節(jié)點(diǎn)進(jìn)行數(shù)據(jù)分配存儲。

3.3 算法實(shí)現(xiàn)

算法實(shí)現(xiàn)所需的核心數(shù)據(jù)結(jié)構(gòu)：

存儲節(jié)點(diǎn)剩余可用空間數(shù)據(jù)結(jié)構(gòu)，由各對象存儲節(jié)點(diǎn)維護(hù)：

存儲節(jié)點(diǎn)剩余可用空間數(shù)據(jù)結(jié)構(gòu)，元數(shù)據(jù)服務(wù)器節(jié)點(diǎn)維護(hù)：

算法所需要的部分函數(shù)和鏈表：

Dist＿info＿linklist鏈表：用于存放有效存儲節(jié)點(diǎn)存儲容量信息，MDS服務(wù)器按照剩余空間比例字段從大到小排序。

Load＿info信息表：用于存放有效存儲節(jié)點(diǎn)I/O負(fù)載相關(guān)信息。

Get＿ratio（idx）：從I/O負(fù)載信息數(shù)組中得到索引號為idx的存儲節(jié)點(diǎn)相應(yīng)I/O負(fù)載參量。

Add＿To＿Set（idx，Q）：將索引號為idx的存儲節(jié)點(diǎn)添加到節(jié)點(diǎn)所選集合Q中。

M：選擇存儲節(jié)點(diǎn)數(shù)。

STRIPE＿SIZE：兩倍的數(shù)據(jù)塊大小。

客戶端負(fù)載均衡存儲策略偽代碼如下所示：

輸入：數(shù)據(jù)文件大小SIZE，網(wǎng)絡(luò)帶寬B，有效存儲節(jié)點(diǎn)個數(shù)N。

算法輸出：選擇的存儲節(jié)點(diǎn)集合OST＿SET＝｛｝，初始化為空，集合個數(shù)為count，初始化為0

算法開始：

4 實(shí)驗(yàn)及結(jié)果分析

測試平臺搭建1個MDS服務(wù)器，10個OST服務(wù)器，6個客戶端，在對象存儲文件系統(tǒng)Lustre1.4.7版本上實(shí)現(xiàn)負(fù)載均衡存儲策略，使用IOzone作為文件系統(tǒng)讀寫性能測試工具。

比較現(xiàn)有數(shù)據(jù)分配算法（TDAA）與本文基于對象存儲的負(fù)載均衡算法（OBSLBA），設(shè)置數(shù)據(jù)塊大小固定值為256K，3個客戶端測試大小為64M、128M、256M、1024M、2048M的數(shù)據(jù)文件的寫性能，在測試過程中，通過不斷的刪除、創(chuàng)建、修改文件、播放視頻等操作模擬系統(tǒng)資源的無序動態(tài)變化，最后求其平均值。

實(shí)驗(yàn)結(jié)果如圖2所示，本文的負(fù)載均衡存儲算法的寫性能比傳統(tǒng)的數(shù)據(jù)分配算法寫性能要好，系統(tǒng)寫的數(shù)據(jù)文件越大，兩者性能差異越大。主要原因是現(xiàn)有數(shù)據(jù)分配算法沒有充分考慮系統(tǒng)存儲資源和系統(tǒng)I/O負(fù)載的動態(tài)變化，導(dǎo)致數(shù)據(jù)不合理的分配，部分節(jié)點(diǎn)超載或者飽和仍然會收到大量的讀寫任務(wù)，影響系統(tǒng)的寫性能，數(shù)據(jù)文件越大，系統(tǒng)資源需求越大，數(shù)據(jù)越不均衡的分配，導(dǎo)致系統(tǒng)整體性能越低，相比本文基于對象存儲的負(fù)載均衡存儲策略，差別就越明顯。

圖2 寫性能比較

設(shè)置數(shù)據(jù)塊大小為256K，分別采用1、2、4、6個客戶端并發(fā)寫2G的數(shù)據(jù)文件，在測試過程中，通過不斷的刪除、創(chuàng)建、修改文件、播放視頻等操作模擬系統(tǒng)資源無序的動態(tài)變化進(jìn)行測試。

實(shí)驗(yàn)結(jié)果如圖3所示，隨著客戶端數(shù)量的增加，系統(tǒng)寫性能下降，主要原因是客戶端并發(fā)寫時，對系統(tǒng)資源需求越大，系統(tǒng)負(fù)載將會越大，影響系統(tǒng)整體吞吐率。本文基于對象存儲負(fù)載均衡算法靈活、方便的數(shù)據(jù)分配機(jī)制能均衡使用存儲資源的同時，避免負(fù)載不均衡分配，盡量提高了系統(tǒng)的整體性能，并且客戶端越多，相對現(xiàn)有數(shù)據(jù)分配算法而言，這種優(yōu)越性越容易體現(xiàn)。

圖3 不同客戶端并發(fā)訪問時寫性能比較

由此可見，本文實(shí)現(xiàn)的基于對象存儲的負(fù)載均衡存儲策略能較好適應(yīng)系統(tǒng)存儲資源、負(fù)載的動態(tài)變化，客戶端能夠靈活選擇合理的存儲節(jié)點(diǎn)，保證對象存儲系統(tǒng)寫性能的高效性。

5 結(jié)束語

本文研究了基于對象存儲技術(shù)的數(shù)據(jù)分配策略，重點(diǎn)分析了這類策略在系統(tǒng)動態(tài)變化時的不足，給出了靈活、簡單、高效、并且能滿足存儲資源和I/O負(fù)載無規(guī)律變化環(huán)境的基于對象存儲的負(fù)載均衡存儲策略。實(shí)驗(yàn)結(jié)果表明，該策略能均衡使用系統(tǒng)的存儲資源，能避免I/O負(fù)載超載節(jié)點(diǎn)的再次分配，提高了系統(tǒng)的吞吐量，保證了系統(tǒng)高效的讀寫性能，尤其是寫性能。

［1］YU Zhanwu，ZHENG Sheng，LI Zhongmin，et ak.Massive spatial data storage and management based on object－based storage［J］.Geomatics and Information Science of Wuhan University，2008，33（5）：528－532（in Chinese）.［喻占武，鄭勝，李忠民，等.基于對象存儲的海量空間數(shù)據(jù)存儲與管理［J］.武漢大學(xué)學(xué)報(bào)：信息科學(xué)版，2008，33（5）：528－532.］

［2］WANG Fang，ZHANG Shunda，F(xiàn)ENG Dan，et al.Hybrid object allocation policy for object storage systems［J］.J Huazhong Univ of Sci ＆Tech：Nature Science Edition，2007，35（3）：46－48（in Chinese）.［王芳，張順達(dá)，馮丹，等.對象存儲系統(tǒng)中的柔性對象分布策略［J］.華中科技大學(xué)學(xué)報(bào)：自然科學(xué)版，2007，35（3）：46－48.］

［3］Yu Weikuan，Jeffrey Vetter，Shane Canon R，et al.Exploiting lustre file joining for effective collective IO［C］.Rio De Janeiro，Brazil：Seventh IEEE International Symposium on Cluster Computing and the Grid.American：IEEE Computer Society，2007：267－274.

［4］Jeremy Logan，Phillip Dickens.Towards an understanding of the performance of MPI－IO in lustre file systems［C］.Tsukuba：International Conference on Cluster Computing.American：IEEE，2008：330－335.

［5］Sumit Narayan，John A Chandy.Parity redundancy in a clustered storage system［C］.San Diego，CA：Fourth International Workshop on Storage Network Architecture and Parallel I/Os.American：IEEE Computer Society，2008：17－24.

［6］LING Yun，ZHOU Huafeng.Researches on dynamic Loadbalancing technique for heterogeneous cluster system［J］.Computer Engineering and Design，2008，29（12）：3068－3070（in Chinese）.［凌云，周華鋒.面向異構(gòu)集群系統(tǒng)的動態(tài)負(fù)載均衡技術(shù)研究［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2008，29（12）：3068－3070.］

［7］WANG Fang，LV Song，F(xiàn)ENG Dan，et al.A general－purpose，intelligent RAID－based object storage device［G］.Lecture Notes in Computer Science 2820：Proceedings of the Second international conference on Embedded Software and Systems，2005：747－756.

［8］Mesnier M，Ganger G，Riedel E.Object－based storage：Pushing more functionality into storage［J］.Potentials，IEEE：2005，24（2）：31－34.

［9］ WEI Li，ZHOU Yuezhi，XIA Nan.Approach to allocate storage space dynamically in network storage system［J］.Computer Engineering，2008，34（5）：33－35（in Chinese）.［韋理，周悅芝，夏楠.用于網(wǎng)絡(luò)存儲系統(tǒng)的存儲空間動態(tài)分配方法［J］.計(jì)算機(jī)工程，2008，34（5）：33－35.］

［10］ZHAO Tiezhu，Verdi March，Dong Shoubin，et al.Evaluation of a performance model of lustre file system［C］.Guangzhou，Guangdong China：The Fifth Annual ChinaGrid Conference.A－merican：IEEE Computer Society，2010：191－196.

［11］ZHAO Tiezhu，HU Jinlong.Performance evaluation of parallel file system based on lustre and grey theory［C］.Nanjang，Jiangsu，China：Ninth International Conference on Grid and Cloud Computing.American：IEEE Computer Society，2010：118－123.

［12］LING Bo，WANG Xiaoyu，ZHOU Aoying，et al.A collaborative web caching system based on Peer－to－Peer architecture［J］.Chinese Journal of Computers，2005，28（2）：170－178（in Chinese）.［凌波，王曉宇，周傲英，等.一種基于Peerto－Peer技術(shù)的 Web緩存共享系統(tǒng)研究［J］.計(jì)算機(jī)學(xué)報(bào)，2005，28（2）：170－178.］

［13］Andrew S Tanenbaum，Maarten Van Steen.Distributed systems principles and paradigms［M］.2nd ed，XIN Chunsheng，CHEN Zongbin，transl.Beijin：Tsinghua University Press，2008：358－360（in Chinese）.［Andrew S Tanenbaum，Maarten Van Steen.分布式系統(tǒng)原理與范性［M］.2版.辛春生，陳宗斌，譯.北京：清華大學(xué)出版社，2008：358－360.］

［14］Ananth Rao，Karthik Lakshminarayanan，Sonesh Surana，et al.Load balancing in structured P2Psystems［G］.Lecture Notes in Computer Science 2735：Ion Stoica in PeertoPeer Systems II，2003：68－79.

［15］WANG Fei，XI Hongsheng，YANG Jian.Optimized fileblocking storage scheme in clustered VoD system［J］.Computer Engineering，2008，34（21）：213－215（in Chinese）.［王飛，奚宏生，楊堅(jiān).集中式VoD系統(tǒng)中文件分塊存儲策略［J］.計(jì)算機(jī)工程，2008，34（21）：213－215.］