国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

一種提升自動精簡配置效能的方法研究

2014-06-02 06:34王恩東梁志誠
計算機工程 2014年3期
關(guān)鍵詞:存儲單元鏈表精簡

王恩東,梁志誠,張 宇

?

一種提升自動精簡配置效能的方法研究

王恩東,梁志誠,張 宇

(高效能服務器和存儲技術(shù)國家重點實驗室,濟南 250510)

當前云存儲已經(jīng)成為IT領(lǐng)域的焦點,并在電信以及流媒體等領(lǐng)域有著廣泛需求,自動精簡配置是一種先進的存儲虛擬化技術(shù),能夠提高存儲空間的使用效率,簡化存儲基礎(chǔ)架構(gòu),滿足云儲存基礎(chǔ)架構(gòu)設施的需要。針對當前自動精簡配置存在效能低下的問題,以流媒體行業(yè)為應用背景,設計并實現(xiàn)I_THINP自動精簡配置系統(tǒng)。采用模塊化、分層的設計思想,將文件系統(tǒng)、通用塊設備、iSCSI模塊、精簡池模塊有機結(jié)合,整體提升自動精簡配置的空間使用效率,并降低空間回收對系統(tǒng)性能的負面影響。實驗結(jié)果表明,與現(xiàn)有主流自動精簡產(chǎn)品相比,I_THINP自動精簡配置系統(tǒng)的空間回收效率在97%以上、每秒處理的I/O請求數(shù)量下降16.53%、I/O平均響應時間下降22.82%,證明I_THINP自動精簡配置系統(tǒng)在效能方面達到業(yè)界先進水平。

自動精簡配置;因特網(wǎng)小型計算機系統(tǒng)接口;通用塊設備模塊;塊級輸入輸出;文件系統(tǒng)

1 概述

在流媒體企業(yè)中,傳統(tǒng)的存儲購買方式根據(jù)人為預期與規(guī)劃預先購買冗余的存儲空間,以滿足未來3年~5年對存儲空間的需求。ESG報告中指出[1],采用傳統(tǒng)分配模式,在各種不同應用場景下,存儲資源平均實際使用率不足30%;如何提高現(xiàn)有存儲空間的利用率,是當前流媒體企業(yè)IT成本控制的當務之急。采用自動精簡配置[2]技術(shù)可以解決該問題,通過自動精簡配置可以滿足未來對于存儲容量的需求,后續(xù)企業(yè)可以根據(jù)業(yè)務需求再購買實際物理存儲設備,對存儲系統(tǒng)進行在線存儲容量擴容。

目前國內(nèi)對于自動精簡配置技術(shù)的研究尚處于理論研究狀態(tài)[3],并沒有提出一種能夠提高自動精簡配置效能的架構(gòu)設計以及實現(xiàn)。

目前國外的大型存儲廠商已具備自動精簡配置技術(shù),并應用到自身的存儲產(chǎn)品中,但這些自動精簡配置產(chǎn)品在具備自身優(yōu)勢的同時,也存在一些問題。例如:HP 3PAR的自動精簡產(chǎn)品需要采用其特有的ASIC輔助芯片協(xié)助完成自動精簡配置的功能;EMC的產(chǎn)品需要借助第三方的全零頁探測軟件完成空間回收的操作,并且空間回收操作對系統(tǒng)性能負面影響比較大,對于不具備空間回收功能的產(chǎn)品,由于部分用戶占用了大量的存儲空間,但并未實際存儲數(shù)據(jù),導致存儲系統(tǒng)的空間閑置浪費、而不能被其他用戶使用,導致存儲空間利用率低[3]。不同的空間回收算法具有不同的空間回收效率,因此也存在不同程度存儲空間利用率較低的問題[3-5]、并且空間回收對系統(tǒng)性能也產(chǎn)生了一定的負面影響[6-7]。

如何最大限度地提高現(xiàn)有存儲容量的利用率、并降低空間回收對存儲系統(tǒng)性能的負面影響,這是提升自動精簡配置效能的關(guān)鍵。由于流媒體數(shù)據(jù)[6]具有數(shù)據(jù)文件大小在MB級別至GB級別、存儲的數(shù)據(jù)量不斷逐步增加、多客戶端對存儲池數(shù)據(jù)進行并行操作(讀、寫、刪除)等特點,因此本文以流媒體行業(yè)為應用背景,設計并開發(fā)一套I_THINP自動精簡配置系統(tǒng),該系統(tǒng)采用模塊化、層次化架構(gòu),多模塊協(xié)同提升存儲系統(tǒng)空間利用率,并同時降低空間回收對系統(tǒng)性能的影響,借此提升自動精簡配置整體效能。

2 自動精簡配置效能提升設計

2.1 整體架構(gòu)設計

本文設計的I_THINP自動精配置系統(tǒng),不需要特殊的硬件支持(ASIC芯片),采用模塊化、層次化架構(gòu),全新空間回收機制以及算法設計,實現(xiàn)自動精簡配置功能。I_THINP具備以下特點:(1)存儲空間寫時分配,高效的自動精簡配置空間回收效率;(2)單位存儲單元大小可定制;(3)異構(gòu)平臺的支持;(4)不依賴第三方軟件。

圖1描述了I_THINP自動精簡配置系統(tǒng)整體架構(gòu),自動精簡配置系統(tǒng)由客戶端和存儲器組成;客戶端包括文件系統(tǒng)、通用塊設備模塊、iSCSI(Internet Small Computer System Interface)客戶端;存儲器端包括iSCSI服務端、通用塊設備模塊、精簡存儲池、邏輯存儲池。

圖1 自動精簡配置系統(tǒng)整體架構(gòu)

自動精簡配置系統(tǒng)架構(gòu)具體描述如下:

(1)文件系統(tǒng):負責為用戶建立文件,存入、讀出、修改、轉(zhuǎn)儲文件,控制文件的存取,當用戶不再使用時刪除文件、通知精簡池進行空間回收等。

(2)通用塊設備模塊:對I/O(Input/Output)請求進行切割、合并、轉(zhuǎn)發(fā),對I/O請求進行調(diào)度。

(3)iSCSI實例(iSCSI客戶端及服務端):在IP(Internet Protocol)協(xié)議的上層運行SCSI指令集,實現(xiàn)I/O請求在網(wǎng)絡上進行轉(zhuǎn)發(fā)、傳輸。

(4)精簡存儲池:自動精簡配置的核心模塊,精簡池管理底層通用邏輯卷組,將卷組按照以最小64 KB單元進行切割,切割后的最小存儲單元采用樹形結(jié)構(gòu)進行組織管理,對讀、寫、空間回收請求分別進行處理。

(5)邏輯存儲池:邏輯存儲池對物理磁盤進行組織管理,邏輯存儲池在整體架構(gòu)中作為輔助模塊,只提供存儲空間給精簡存儲池使用。

自動精簡配置效能提升點在于:提高精簡池存儲單元的最大重復利用率,即降低存儲池已經(jīng)分配、但未實際使用的存儲空間;降低空間回收對系統(tǒng)性能的影響。為了最大程度重復利用存儲單元,需要提高精簡池的空間回收效率,對于不再使用的精簡池存儲單元加快空間回收,就能提升整個存儲系統(tǒng)的效能。效能的提升需要通過如下模塊的協(xié)同來實現(xiàn):客戶端文件系統(tǒng),通用塊設備模塊,iSCSI實例,服務端精簡池。下面詳細說明每個模塊在提升空間回收效率方面的設計與實現(xiàn)。

2.2 文件系統(tǒng)

客戶端文件系統(tǒng)是觸發(fā)服務端精簡池空間回收的源頭,文件系統(tǒng)何時發(fā)送空間回收請求、空間回收請求(Block Input Output, BIO)涉及的數(shù)據(jù)量以及空間回收請求的頻率,直接影響精簡池空間回收的效率以及精簡池對讀、寫請求處理的效率。文件系統(tǒng)發(fā)送空間回收請求的具體處理流程如下:

(1)在文件系統(tǒng)中增加自動精簡空間回收任務;該任務負責暫時收集并存儲需要回收的文件系統(tǒng)塊信息,通知精簡池進行空間回收。

(2)當用戶執(zhí)行刪除文件操作時,文件系統(tǒng)通過執(zhí)行自動精簡空間回收任務提供的回調(diào)函數(shù),觸發(fā)空間回收任務開始收集所要刪除文件占用的文件系統(tǒng)塊,空間回收收集任務將這些文件系統(tǒng)塊信息保存到自身的緩沖鏈表中。文件系統(tǒng)在向緩沖鏈表中添加節(jié)點時,按照文件系統(tǒng)塊組為單位粒度進行添加,不以文件系統(tǒng)塊為單位粒度添加,當文件系統(tǒng)回收的空間跨越多個塊組時,按照塊組進行分割,這種大粒度I/O發(fā)送請求可提高精簡池空間回收算法效率;原因在于文件系統(tǒng)發(fā)送大粒度空間回收請求,空間回收請求I/O滿足精簡池的空間回收條件的概率增大,因此精簡池的空間回收效率會相應提高。

(3)自動精簡配置空間回收任務將需要回收的文件系統(tǒng)塊緩存在鏈表中,文件系統(tǒng)層向精簡池批量發(fā)送空間回收請求;當空間回收任務未運轉(zhuǎn)時,文件系統(tǒng)可以繼續(xù)向此緩沖鏈表中添加回收節(jié)點;當操作系統(tǒng)內(nèi)核調(diào)度空間回收任務運行時,任務開始循環(huán)遍歷回收緩沖鏈表,當從緩沖鏈表中摘除一個節(jié)點后,調(diào)用客戶端通用塊層提供的回調(diào)函數(shù),進行空間回收請求的下發(fā)。

文件系統(tǒng)發(fā)送空間回收請求的流程如圖2所示。

圖2 文件系統(tǒng)發(fā)送空間回收請求的流程

2.3 通用塊設備模塊

客戶端通用塊設備模塊在接收到來自文件系統(tǒng)的空間回收請求時,將請求進行轉(zhuǎn)發(fā)至iSCSI層,由于通用塊模塊具備請求切割的能力,會根據(jù)塊設備信息將大粒度I/O請求切割成若干子I/O請求,之后將請求再進行轉(zhuǎn)發(fā)到下一模塊,這種方式會降低精簡池空間回收效率,并且會增加整個存儲網(wǎng)絡中的I/O壓力。因此在通用塊設備模塊層,不對空間回收請求進行切割,當收到來自文件系統(tǒng)層的空間回收請求時,直接轉(zhuǎn)發(fā)給iSCSI模塊。該方式增加了精簡池收到大粒度I/O請求的概率,可以提高精簡池的空間回收算法效率,并且有利于減少網(wǎng)絡阻塞[8]。

2.4 iSCSI模塊

I_THINP自動精簡配置系統(tǒng)通過iSCSI[8]協(xié)議實現(xiàn)對異構(gòu)平臺的支持,當前已支持的客戶端系統(tǒng)包括LINUX、WINDOWS。

iSCSI模塊作為I/O請求的網(wǎng)絡通道,其具備對I/O請求進行切割及轉(zhuǎn)發(fā)的能力,前面已經(jīng)分析過小粒度的I/O空間回收請求會影響到精簡池的空間回收效率。在自動精簡配置中,使用iSCSI協(xié)議中的UNMAP指令,對空間回收請求進行網(wǎng)絡傳輸。通過優(yōu)化iSCSI客戶端與服務端協(xié)商UNMAP的I/O粒度后,空間回收請求最大I/O粒度可以達到GB級別,從而提升自動精簡配置空間回收效率。

2.5 精簡存儲池

精簡存儲池作為自動精簡配置中的核心模塊,為增強整體軟件架構(gòu)的可維護性,簡化軟件的復雜度,降低空間回收對存儲系統(tǒng)讀、寫性能方面的負面影響,設計精簡池空間回收的原則為:空間回收請求I/O粒度必須是精簡池最小存儲單元大小,并且I/O請求的起始地址與精簡池存儲單元的起始地址對齊。提升精簡池效能的方法具體如下:

(1)提供可變精簡池最小存儲單元:精簡池中的最小存儲單元粒度從KB到GB,這種在存儲粒度上的控制,可滿足不同的應用場景,提高海量存儲數(shù)據(jù)下的應變能力。對于GB級別的視頻數(shù)據(jù)講,按照MB級別的精簡池存儲單元比較適合,大粒度的精簡池存儲單元可以減少精簡池維護元數(shù)據(jù)的壓力。對于郵件數(shù)據(jù)來說,KB級別的精簡池存儲單元比較適合,可最大限度地利用存儲空間、減少空間的浪費,并且有利于空間的回收。

(2)單獨精簡池空間回收隊列(延遲鏈表):整個精簡池模塊的空間回收主要涉及2個隊列,一個為精簡池任務隊列(處理延遲鏈表),此隊列接收所有發(fā)往精簡池的I/O請求;另外一個是單獨處理空間回收的隊列(準備丟棄鏈表);精簡池任務運行時將精簡池任務隊列中的空間回收請求轉(zhuǎn)移至空間回收隊列中,在回收隊列中對所有空間回收請求進行集中批量處理,這種處理方式可以提高大I/O壓力下的精簡池處理請求能力。

(3)空間回收算法:空間回收算法以空間回收的原則作為機制。當精簡池處理空間回收請求時,對大I/O粒度的請求進行切割,將I/O請求切割成首地址與精簡池存儲單元起始地址對齊,按照精簡池存儲單元大小為刻度進行切割;對于滿足空間回收條件的存儲單元信息,將其從池組織元數(shù)據(jù)樹形數(shù)據(jù)結(jié)構(gòu)(btree)中刪除,添加到精簡池的精簡分配控制器中;對于不能回收的部分存儲單元,可以繼續(xù)被原有的客戶端文件系統(tǒng)使用,在重復使用過程中,最終滿足精簡池空間回收原則,被精簡池回收;已經(jīng)回收的精簡池最小存儲單元信息保存在精簡分配控制器中,至此回收的精簡池存儲單元可以被其他客戶端文件系統(tǒng)重新使用。

(4)精簡池空間回收流程:如圖3所示,精簡池空間回收流程分為3個主要步驟:

1)判斷該BIO是否為空間回收請求:①如果是,則將該BIO添加至延遲鏈表,等待后續(xù)處理;②如果不是,則繼續(xù)進行其他后續(xù)BIO的處理。

2)處理準備丟棄鏈表中的BIO,查看準備丟棄鏈表中是否有待處理的BIO:①如果有,首先從準備丟棄鏈表依次取出空間回收請求,由空間回收算法對BIO進行處理,將BIO對應的Block(精簡池塊級存儲單元)信息從池組織元數(shù)據(jù)樹形數(shù)據(jù)結(jié)構(gòu)(btree)中刪除,將Block信息添加到精簡池精簡分配控制器中;②如果沒有,則進入處理延遲鏈表的BIO的流程。

3)處理延遲鏈表的BIO,首先從延遲鏈表中依次取出BIO,在精簡池組織樹形數(shù)據(jù)結(jié)構(gòu)保存的元數(shù)據(jù)信息中查詢是否有該BIO對應的精簡池最小存儲單元:①成功查詢,表明該BIO之前完成寫請求映射,則將該BIO添加至準備丟棄鏈表;②失敗查詢(無數(shù)據(jù)),對于空間回收請求,則不需要特別處理,直接向上層模塊報告該BIO處理結(jié)束。

圖3 精簡池空間回收流程

3 測試及結(jié)果分析

3.1 實驗背景

實驗背景具體如下:

(1)軟硬件環(huán)境

客戶端:Intel(R) Xeon(R) CPU E5520、12 GB內(nèi)存, 100 MB雙工網(wǎng)卡,Ext3-Fs,iSCSI Initiator、Linux操作系統(tǒng);服務端:浪潮AS500G,I_THINP自動精簡配置。

(2)實驗術(shù)語描述

文件系統(tǒng)下發(fā)最大粒度:文件系統(tǒng)向底層模塊發(fā)送空間回收請求涉及的數(shù)據(jù)量;通用塊切割粒度:通用塊對大粒度I/O請求,按照設定值切割成小數(shù)據(jù)量I/O請求;刪除文件數(shù)據(jù)量:客戶端文件系統(tǒng)刪除文件的大小;精簡池對齊操作:精簡池按照回收規(guī)則,對I/O請求進行切割處理;精簡池回收效率:已回收精簡池存儲單元數(shù)目與所要刪除文件占用的精簡池存儲單元數(shù)目的比值。

下面通過實驗數(shù)據(jù),分別從文件系統(tǒng)、通用塊設備模塊、iSCSI協(xié)議實例等方面說明對I_THINP自精簡空間回收效率的影響;將本文設計的I_THINP自動精簡配置系統(tǒng)與業(yè)界主流廠商自動精簡配置系統(tǒng)進行效能對比。

3.2 文件系統(tǒng)下發(fā)空間回收粒度對精簡池回收效率的影響

文件系統(tǒng)下發(fā)空間回收粒度對精簡池回收效率的影響具體如下:

(1)通用塊設備模塊的空間回收請求I/O切割、轉(zhuǎn)發(fā)粒度調(diào)整為1 GB;iSCSI協(xié)議切割、轉(zhuǎn)發(fā)空間回收I/O粒度調(diào)整為1 GB;精簡池空間回收規(guī)則調(diào)整為按照設計的規(guī)則進行空間回收,精簡池最小存儲單元大小為64 KB。

(2)將文件系統(tǒng)下發(fā)空間回收請求的粒度調(diào)整為4 KB,客戶端文件系統(tǒng)拷貝5個512 MB的視頻數(shù)據(jù)文件,刪除全部視頻數(shù)據(jù)文件,統(tǒng)計精簡池的空間回收效率。

(3)重復執(zhí)行步驟(2),將文件系統(tǒng)下發(fā)空間回收請求的粒度依次調(diào)整為8 MB、16 MB、32 MB、128 MB。

(4)實驗數(shù)據(jù)分析如圖4所示,文件系統(tǒng)發(fā)送空間回收請求的I/O粒度為4 KB,精簡池的空間回收效率為0;文件系統(tǒng)發(fā)送空間回收請求的I/O粒度為8 MB,精簡池的空間回收效率為40%;文件系統(tǒng)發(fā)送空間回收請求的I/O粒度為16 MB,精簡池的空間回收效率為59%;文件系統(tǒng)發(fā)送空間回收請求的I/O粒度為32 MB,精簡池的空間回收效率為79%;文件系統(tǒng)發(fā)送空間回收請求的I/O粒度為 128 MB,精簡池的空間回收效率為97%。通過上述實驗數(shù)據(jù)可知,文件系統(tǒng)發(fā)送一次空間回收請求的數(shù)據(jù)量越大,空間回收請求I/O滿足精簡池空間回收條件的概率越大,精簡池空間回收效率越高,否則越低;本文實驗有效驗證了2.2節(jié)文件系統(tǒng)設計的正確性以及算法的高效性。

圖4 文件系統(tǒng)空間回收I/O粒度與精簡池回收效率的關(guān)系

3.3 客戶端通用塊切割I(lǐng)/O粒度對精簡池回收效率的影響

客戶端通用塊切割I(lǐng)/O粒度對精簡池回收效率的影響具體如下:

(1)文件系統(tǒng)下發(fā)空間回收請求的粒度調(diào)整為256 MB;iSCSI協(xié)議切割、轉(zhuǎn)發(fā)空間回收I/O粒度調(diào)整為1 GB;精簡池空間回收規(guī)則調(diào)整為按照設計的規(guī)則進行空間回收,精簡池最小存儲單元大小為64 KB。

(2)將通用塊設備模塊的空間回收請求I/O切割、轉(zhuǎn)發(fā)粒度調(diào)整為4 KB,客戶端文件系統(tǒng)拷貝5個512 MB的視頻數(shù)據(jù)文件,刪除全部視頻數(shù)據(jù)文件,統(tǒng)計精簡池的空間回收效率。

(3)重復執(zhí)行步驟(2),將通用塊設備模塊的空間回收請求I/O切割、轉(zhuǎn)發(fā)粒度依次調(diào)整為8 MB、16 MB、32 MB、128 MB、1 GB。

(4)實驗數(shù)據(jù)分析如圖5所示,通用塊設備模塊的空間回收請求I/O切割、轉(zhuǎn)發(fā)粒度為4 KB,精簡池的空間回收效率為0;當通用塊設備模塊的空間回收請求I/O切割、轉(zhuǎn)發(fā)粒度為1 GB時,精簡池的空間回收效率上升為97%。通過上述實驗數(shù)據(jù)可知:通用塊設備模塊空間回收請求I/O切割、轉(zhuǎn)發(fā)粒度越大,空間回收請求I/O滿足精簡池空間回收條件的概率越大,精簡池的空間回收效率也越高;否則越低;本文實驗有效驗證了2.3節(jié)通用塊設備模塊設計的正確性以及算法的高效性。

圖5 客戶端通用塊I/O切割粒度與精簡池回收效率的關(guān)系

3.4 iSCSI切割I(lǐng)/O粒度對精簡池回收效率的影響

iSCSI切割I(lǐng)/O粒度對精簡池回收效率的影響具體如下:

(1)文件系統(tǒng)下發(fā)空間回收請求的粒度調(diào)整為256 MB;通用塊設備模塊的空間回收請求I/O切割、轉(zhuǎn)發(fā)粒度調(diào)整為1 GB;精簡池空間回收規(guī)則調(diào)整為按照設計的規(guī)則進行空間回收,精簡池最小存儲單元大小為64 KB。

(2)將iSCSI模塊的空間回收請求I/O切割、轉(zhuǎn)發(fā)粒度調(diào)整為4 KB,客戶端文件系統(tǒng)拷貝5個512 MB的視頻數(shù)據(jù)文件,刪除全部視頻數(shù)據(jù)文件,統(tǒng)計精簡池的空間回收效率。

(3)重復執(zhí)行步驟(2),將iSCSI模塊的空間回收請求I/O切割、轉(zhuǎn)發(fā)粒度依次調(diào)整為64 KB、32 MB、128 MB、1 GB。

(4)實驗數(shù)據(jù)分析如圖6所示,iSCSI模塊的空間回收請求I/O切割、轉(zhuǎn)發(fā)粒度為4 KB,精簡池的空間回收效率為0;iSCSI模塊的空間回收請求I/O切割、轉(zhuǎn)發(fā)粒度為64 KB,精簡池的空間回收效率為42%;當iSCSI模塊的空間回收請求I/O切割、轉(zhuǎn)發(fā)粒度為1 GB時,精簡池的空間回收效率上升為97%。由此實驗數(shù)據(jù)可知:iSCSI模塊的空間回收請求I/O切割、轉(zhuǎn)發(fā)粒度越大,空間回收請求I/O滿足精簡池空間回收條件的概率越大,精簡池的空間回收效率也越高,否則越低;有效驗證了2.4節(jié)iSCSI模塊設計上的正確性以及算法的高效性。

圖6 iSCSI切割I(lǐng)/O粒度與精簡池回收效率的關(guān)系

3.5 精簡回收對系統(tǒng)性能的影響

精簡回收對系統(tǒng)性能影響的測試如下:

(1)創(chuàng)建200 GB精簡卷,掛載文件系統(tǒng),利用IOMETER (V2006.07.27)測試精簡卷的每秒處理的I/O請求數(shù)量(Input/ Output Operations per Second, IOPS)和I/O平均響應時間的性能。

(2)創(chuàng)建200 GB精簡卷,掛載文件系統(tǒng),在精簡卷中預置一個100 GB的視頻文件,在刪除該100 GB文件的同時,利用IOMETER(V2006.07.27)測試精簡卷的IOPS和I/O平均響應時間的性能。經(jīng)過測試得出本文設計的I_THINP自動精簡配置回收對系統(tǒng)性能的影響為:IOPS下降16.53%,I/O平均響應時間下降22.82%;圖7對比了I_THINP自動精簡配置空間回收與其他廠商[9]自動精簡配置系統(tǒng)的空間回收對系統(tǒng)性能的影響。

圖7 主流廠商自動精簡配置空間回收對系統(tǒng)性能的影響

從圖7可看出,I_THINP自動精簡配置系統(tǒng),精簡回收功能對系統(tǒng)性能的影響僅次于HP 3PAR;EMC VMAX、Dell Compellent自動精簡配置系統(tǒng)對系統(tǒng)性能的負面影響最大。EMC VMAX、Dell Compellent自動精簡配置系統(tǒng)空間回收采用第三方的全零頁回收技術(shù),全零頁回收技術(shù)[10]會在空間回收前向系統(tǒng)引入一次額外的寫零操作,用來標識需要回收的區(qū)域,為全零頁探測做準備,會對系統(tǒng)性能產(chǎn)生極大的負面影響,并且全零頁回收探測需要定時或者在一定時機觸發(fā),搜集全零頁后,才能觸發(fā)全零頁的回收操作,所以全零頁回收技術(shù)時效性不強,會造成回收效率不穩(wěn)定;由于HP 3PAR在采用全零頁回收的基礎(chǔ)上,使用ASIC硬件芯片輔助完成回收功能,其空間回收對系統(tǒng)性能的負面影響最小。實驗數(shù)據(jù)對比表明:本文設計的I_THINP自動精簡配置系統(tǒng)空間回收對系統(tǒng)性能產(chǎn)生的負面影響相對較小,綜合性能達到業(yè)界先進自動精簡配置產(chǎn)品的水平。

3.6 自動精簡配置整體空間回收效率對比

根據(jù)前面的實驗數(shù)據(jù)可知:本文設計的I_THINP自動精簡配置空間回收效率在97%以上;圖8對比了不同廠商自動精簡配置系統(tǒng)的空間回收效率。

圖8 整體空間回收效率對比

從圖8可看出,通用自動精簡配置系統(tǒng)(Thin Environ- ment)[3-4]的空間回收率在82%左右;I_THINP自動精簡配置系統(tǒng)與Dell Compellent[11]空間回收效率均在96%左右,但Dell Compellent自動精簡配置,如在3.5節(jié)分析其空間回收存在時效性不強、回收效率不穩(wěn)定等問題;NetApp[12]自動精簡配置系統(tǒng)采用彈性卷技術(shù)來實現(xiàn)空間的回收,空間回收效率為100%。數(shù)據(jù)對比表明:本文設計的I_THINP自動精簡配置系統(tǒng)空間回收效率接近100%,已達到業(yè)界先進水平。

4 結(jié)束語

本文設計的I_THINP自動精簡配置系統(tǒng),采用模塊化、分層的設計思想,將文件系統(tǒng)、通用塊設備、iSCSI模塊、精簡池模塊有機地結(jié)合在一起,整體提升了自動精簡配置的空間使用效率、以及降低了空間回收對系統(tǒng)性能的負面影響,在整體效能方面已經(jīng)達到業(yè)界先進水平。I_THINP自動精簡配置系統(tǒng)在架構(gòu)上具備可擴展性;當前精簡池空間回收完全采用軟件的方式來實現(xiàn),對于性能有嚴格要求的特殊場景來講,可以將此部分的功能由硬件芯片來實現(xiàn),能夠進一步提升空間回收效率、降低空間回收對系統(tǒng)性能的負面影響。I_THINP自動精簡配置系統(tǒng)已經(jīng)在存儲系統(tǒng)產(chǎn)品中應用,可為企業(yè)提供更優(yōu)質(zhì)的服務,并降低企業(yè)IT成本投入。

[1] 周家術(shù), 彭雅芳. UIT SV5000G2: 易用、優(yōu)化、綠色、高可用的中端存儲產(chǎn)品[EB/OL]. (2011-04-15). http://www.sino- bridges.com/en/report/129-uit-sv5000g2.

[2] 邱紅飛. 存儲的自動精簡配置技術(shù)應用研究[J]. 電信科學, 2010, 26(11): 12-17.

[3] Qian Kai, Yi Letian, Shu Jiwu. ThinStore: Out-of-band Vir- tualization with Thin Provisioning[C]//Proc. of the 6th International Conference on Networking, Architecture, and Storage. Dalian, China: [s. n.], 2011: 1-10.

[4] NETAPP. b-maximize_storage_efficiency_netapp[EB/OL]. (2010-11-04). http://eval.symantec.com/mktginfo/enterprise/white_ papers/b-maximize_storage_efficiency_netapp_WP.en-us.pdf.

[5] Hitachi Data Systems and Symantec Corporation. Optimize Thin Storage Utilization with Hitachi Dynamic Provisioning and Veritas Storage Foundation by Symantec[EB/OL]. (2010-07- 11). http://www.hds.com/assets/pdf/case-study-hitachi-Optimize- thin-storage-utilization.pdf.

[6] 符青云. 面向大規(guī)模流媒體服務的高性能存儲系統(tǒng)研究[D]. 成都: 電子科技大學, 2009.

[7] 韓樸杰, 康慕寧, 張 曉. 自動精簡配置技術(shù)中空間回收方法的研究[J]. 計算機與現(xiàn)代化, 2012, (12): 168-173.

[8] 劉朝斌. 虛擬網(wǎng)絡存儲系統(tǒng)關(guān)鍵技術(shù)研究及其性能評價[D]. 武漢: 華中科技大學, 2004.

[9] Edison Group. HP Thin Technologies——A Competitive Comparison[EB/OL]. (2010-08-11). http://h20195.www2.hp. com/v2/GetPDF.aspx/4AA4-4079ENW.pdf.

[10] 賽門鐵克擴展自動精簡配置超越零頁面回收[EB/OL]. (2010-04-16). http://stor.zol.com.cn/174/1742038.html.

[11] DELL. Thin-provisioning[EB/OL]. (2011-10-15). http://www. compellent.com/Community/Blog/thin-provisioning.aspx.

[12]Reduce Storage Costs by Reclaiming Disk Space[EB/OL]. (2007-03-15). http://partners.netapp.com/go/techontap/matl/ space_ reclamation.html.

編輯 陸燕菲

Research on a Method for Improving Potency of Thin Provisioning

WANG En-dong, LIANG Zhi-cheng, ZHANG Yu

(State Key Laboratory of High-end Server & Storage Technology, Jinan 250510, China)

Currently, cloud storage becomes the focus of the IT field, and there is a wide range of needs in the field of telecommuni- cations and streaming media. Thin provisioning is an advanced storage virtualization technology which can improve storage space utilization, and simplify storage infrastructure, so thin provisioning can meet the needs of cloud storage infrastructure facilities. Aiming at the problem that thin provisioning has low efficacy currently, this paper designs and implements a I_THINP thin provisioning system. It is based on the background of the streaming media industry, and it uses modular, hierarchical design idea. It improves space useage efficient of thin provisioning and reduces the negative effect of space reclamation for system performance by combination of file system, general block device, iSCSI module and streamline pool module. Experimental result shows that I_THINP thin provisioning system space reclamation percentage is more than 97%, Input/Output Operations per Second(IOPS) is decreased by 16.53%, I/O average response time is decreased by 22.82%, compared with other thin provisioning products, and proves that I_THINP thin provisioning system achieves the advanced level in the industry in terms of performance.

thin provisioning; Internet small computer system interface; generic block device module; block-level input/output; file system

1000-3428(2014)03-0082-06

A

TP319

國家“973”計劃基金資助項目(2012CB724101)。

王恩東(1966-),男,研究員,主研方向:計算機體系結(jié)構(gòu),通信電子系統(tǒng);梁志誠,工程師;張 宇,碩士。

2013-02-06

2013-04-22 E-mail:liangzhch@inspur.com

10.3969/j.issn.1000-3428.2014.03.017

猜你喜歡
存儲單元鏈表精簡
一種28 nm工藝下抗單粒子翻轉(zhuǎn)SRAM的12T存儲單元設計
基于區(qū)域分割的多視角點云精簡算法
基于二進制鏈表的粗糙集屬性約簡
跟麥咭學編程
時常精簡多余物品
數(shù)據(jù)在計算機內(nèi)存中的存儲形式及實驗驗證
基于鏈表多分支路徑樹的云存儲數(shù)據(jù)完整性驗證機制
一種面向應用的流量監(jiān)測精簡架構(gòu)設計
一種成本更低的全新靜態(tài)DRAM存儲單元
MiR-125a-5p is Upregulated in Plasma of Residents from An Electronic Waste Recycling Site