王洪發(fā)

（浙江水利水電學(xué)院計(jì)算機(jī)與信息工程系 杭州310018）

1 引言

云計(jì)算的本質(zhì)是按需提供服務(wù)給組織或個(gè)人[1]。云服務(wù)提供商采用的服務(wù)方式通常是以虛擬機(jī)形式動(dòng)態(tài)分配計(jì)算資源給用戶使用，例如Amazon Elastic Compute Cloud、OpenStack、Eucalyptus、Nimbus和OpenNebula。然而，隨著在一個(gè)云池中的虛擬機(jī)數(shù)量增多，它會(huì)引起以下兩個(gè)問題[2,3]。

·因?yàn)樘摂M機(jī)鏡像難以被共享或移動(dòng)，一臺(tái)虛擬機(jī)很難在不同主機(jī)上運(yùn)行。

·用戶的虛擬機(jī)鏡像和數(shù)據(jù)是不安全的，因?yàn)樗鼈儾皇欠珠_存儲(chǔ)，并且缺乏容災(zāi)性和恢復(fù)機(jī)制。

因此，設(shè)計(jì)一個(gè)虛擬機(jī)鏡像文件存儲(chǔ)系統(tǒng)是非常必要的，更重要地是鏡像文件存儲(chǔ)系統(tǒng)能夠?yàn)橛脩籼峁┛缮炜s、高性能、低成本的數(shù)據(jù)存儲(chǔ)池。

目前，在云計(jì)算數(shù)據(jù)中心有3種模式的鏡像存儲(chǔ)：本地存儲(chǔ)、集中共享存儲(chǔ)和網(wǎng)絡(luò)存儲(chǔ)。本地存儲(chǔ)是最便捷的，但是容量有限，并且鏡像文件不能在不同主機(jī)之間共享，使得虛擬機(jī)遷移變得很困難。集中共享存儲(chǔ)能提供優(yōu)秀的I/O性能和容易的虛擬機(jī)遷移，例如使用光纖或Infiniband[4]連接主機(jī)和磁盤陣列，但是集中共享存儲(chǔ)非常昂貴并且可擴(kuò)展性不好。網(wǎng)絡(luò)存儲(chǔ)是由許多廉價(jià)的存儲(chǔ)設(shè)備組成，它們之間通過TCP/IP以太網(wǎng)連接，并且使用分布式文件系統(tǒng)或并行文件系統(tǒng)。

在本文中，筆者設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于Lustre[5]的分布式鏡像文件存儲(chǔ)系統(tǒng)——IFSpool（image file store pool）。開源實(shí)現(xiàn)的Lustre能夠提供高I/O性能和優(yōu)秀的可擴(kuò)展性和可靠性，并且被成功部署在商業(yè)應(yīng)用環(huán)境，而筆者所做的主要工作是在主機(jī)服務(wù)器和Lustre之間添加存儲(chǔ)適配模塊。利用IFSpool中緊密的結(jié)合隊(duì)列和緩存機(jī)制以及通過協(xié)調(diào)數(shù)據(jù)訪問順序來提高I/O吞吐率和減輕啟動(dòng)風(fēng)暴。實(shí)驗(yàn)結(jié)果表明IFSpool能有效地滿足鏡像文件存儲(chǔ)的需求。

2 鏡像文件存儲(chǔ)的需求

傳統(tǒng)上，云服務(wù)提供商提供3類服務(wù)模式[6,7]：基礎(chǔ)設(shè)施即服務(wù)（IaaS）、平臺(tái)即服務(wù)（PaaS）和軟件即服務(wù)（SaaS）。

在IaaS模式中，云服務(wù)提供商提供虛擬機(jī)、存儲(chǔ)、網(wǎng)絡(luò)等服務(wù)。在PaaS模式中，云服務(wù)提供商提供計(jì)算平臺(tái)和解決方案。通常包括操作系統(tǒng)、編程語言執(zhí)行環(huán)境、數(shù)據(jù)庫和Web服務(wù)器。應(yīng)用程序開發(fā)人員無需購買和管理底層硬件和軟件層，即可在云平臺(tái)上開發(fā)和運(yùn)行他們的軟件解決方案。在SaaS模式中，云服務(wù)提供商提供應(yīng)用軟件服務(wù)，云用戶通過網(wǎng)絡(luò)、虛擬桌面或移動(dòng)終端訪問應(yīng)用軟件。

然而，隨著在云資源池中虛擬機(jī)數(shù)量的快速增加，很多問題出現(xiàn)在存儲(chǔ)領(lǐng)域，如容量不足、數(shù)據(jù)安全、吞吐量限制和啟動(dòng)風(fēng)暴。

Meyer D等[8]提供了一個(gè)精心設(shè)計(jì)的單一存儲(chǔ)服務(wù)。在這個(gè)設(shè)計(jì)中，存儲(chǔ)虛擬機(jī)和通用虛擬機(jī)被部署在每一個(gè)應(yīng)用程序節(jié)點(diǎn)。存儲(chǔ)服務(wù)遵循POSIX I/O接口，由虛擬化提供的封裝，通用虛擬機(jī)可以訪問不同的存儲(chǔ)服務(wù)和使用本地磁盤。對(duì)于一個(gè)小型虛擬機(jī)集群，這種存儲(chǔ)系統(tǒng)能在共享存儲(chǔ)設(shè)備和廉價(jià)商用本地磁盤上表現(xiàn)出良好的性能，然而，當(dāng)虛擬機(jī)數(shù)量超過單個(gè)的存儲(chǔ)容量時(shí)，它甚至不能滿足正常的虛擬機(jī)I/O存取操作，此外，它不允許用戶之間合作共享。

LiaoX F等[9]設(shè)計(jì)了一個(gè)分布式的存儲(chǔ)系統(tǒng)VM Store。VM Store采用直接塊索引結(jié)構(gòu)來做虛擬機(jī)快照，能顯著改善虛擬機(jī)的啟動(dòng)性能，并通過動(dòng)態(tài)更改存儲(chǔ)節(jié)點(diǎn)的數(shù)量，提供分布式存儲(chǔ)的可伸縮性I/O帶寬。VM Store還提出了一種智能對(duì)象的分區(qū)技術(shù)的數(shù)據(jù)預(yù)處理策略，這將更有效地消除重復(fù)數(shù)據(jù)，然而，實(shí)驗(yàn)結(jié)果表明VM Store不適合大規(guī)模的VM鏡像存儲(chǔ)。

Dickens P M和Logan J[10]提出一種新的數(shù)據(jù)再分配模型，采用“多對(duì)多”通信模型能夠有效地減少OST（對(duì)象存儲(chǔ)目標(biāo)）存儲(chǔ)資源的競(jìng)爭(zhēng)訪問，缺點(diǎn)是降低了I/O并行性。

Casale G等[11]提出一種簡單性能模型來預(yù)測(cè)虛擬化應(yīng)用程序的存儲(chǔ)I/O性能整合的影響，并且還定義了對(duì)吞吐量、響應(yīng)時(shí)間和混合的讀/寫請(qǐng)求的簡單線性預(yù)測(cè)模型，但是預(yù)測(cè)模型的信息來源僅僅基于個(gè)人虛擬機(jī)隔離實(shí)驗(yàn)的信息收集。

為了減輕啟動(dòng)風(fēng)暴問題，一些虛擬機(jī)系統(tǒng)部署在SAN或其他昂貴的存儲(chǔ)陣列上，例如VMFS[12]。然而，隨著用戶的增多，即使使用先進(jìn)的存儲(chǔ)系統(tǒng)降低啟動(dòng)風(fēng)暴的發(fā)生率，系統(tǒng)升級(jí)還是變得很困難而且代價(jià)也很高。

因此，有必要建立一個(gè)專有的鏡像文件存儲(chǔ)系統(tǒng)。設(shè)計(jì)這樣一個(gè)鏡像文件存儲(chǔ)系統(tǒng)需要考慮3個(gè)基本問題。

（1）高I/O吞吐量和高可擴(kuò)展性

在共享存儲(chǔ)中，虛擬機(jī)共享同一個(gè)物理存儲(chǔ)池。當(dāng)虛擬機(jī)總訪問負(fù)載變得更高時(shí)，對(duì)I/O訪問的競(jìng)爭(zhēng)量將影響虛擬機(jī)的性能。在這種情況下，鏡像文件存儲(chǔ)必須有高的I/O吞吐量。此外，為存儲(chǔ)和管理成千上萬的虛擬機(jī)鏡像，鏡像存儲(chǔ)池可以在不打斷任何操作的前提下通過添加新的存儲(chǔ)設(shè)備增加容量。

（2）啟動(dòng)優(yōu)化

在云計(jì)算環(huán)境中，每個(gè)虛擬機(jī)將從數(shù)據(jù)中心主機(jī)或共享存儲(chǔ)本地文件系統(tǒng)中讀取引導(dǎo)信息。在參考文獻(xiàn)[9]中，提到在應(yīng)用程序節(jié)點(diǎn)上啟動(dòng)一個(gè)虛擬機(jī)至少需要10 Mbit/s的I/O帶寬，在企業(yè)中成百上千臺(tái)虛擬機(jī)并發(fā)啟動(dòng)所需要的總帶寬將超過存儲(chǔ)服務(wù)器能力的幾倍。

在大多數(shù)情況下，虛擬機(jī)被部署在企業(yè)環(huán)境中為企業(yè)員工提供相同的使用環(huán)境。員工將在上班開始時(shí)啟動(dòng)虛擬機(jī)并在下班時(shí)關(guān)閉虛擬機(jī)。因此，虛擬機(jī)啟動(dòng)或關(guān)閉很大程度上是并發(fā)操作。為了解決這個(gè)問題，結(jié)合隊(duì)列和緩存機(jī)制，并通過協(xié)調(diào)數(shù)據(jù)訪問順序提高I/O吞吐率和減輕啟動(dòng)風(fēng)暴，進(jìn)一步通過使用固態(tài)硬盤（SSD）作為緩存隊(duì)列的存儲(chǔ)介質(zhì)來提高讀寫性能。

（3）容災(zāi)備份

在云計(jì)算環(huán)境中，失效是一種常見的事。2010年1月，Ruby-on-Rails應(yīng)用程序托管公司在Amazon EC2托管的22臺(tái)虛擬機(jī)出現(xiàn)故障。據(jù)報(bào)道由于這次路由器故障所引起的中斷影響了托管在該公司的44 000個(gè)應(yīng)用程序的使用[13]。因此，對(duì)于存儲(chǔ)和管理成千上萬的虛擬機(jī)鏡像的存儲(chǔ)系統(tǒng)，容災(zāi)備份是一個(gè)重要的考慮因素，包括訪問控制、災(zāi)難恢復(fù)工具和冗余的數(shù)據(jù)存儲(chǔ)。所以，分布式存儲(chǔ)系統(tǒng)是一個(gè)合適的選擇。

3 IFSpool設(shè)計(jì)和實(shí)現(xiàn)

本節(jié)將描述專有鏡像文件存儲(chǔ)系統(tǒng)IFSpool的設(shè)計(jì)和實(shí)現(xiàn)，并給出對(duì)提高I/O吞吐量和減輕啟動(dòng)風(fēng)暴的重要改進(jìn)內(nèi)容。

3.1 IFSpool的架構(gòu)

圖1展示了IFSpool的高層體系結(jié)構(gòu)。每個(gè)部件的詳細(xì)討論如下。

圖1 IFSpool體系結(jié)構(gòu)

鏡像服務(wù)器是客戶端與Lustre之間的通信橋梁。鏡像服務(wù)器提供虛擬機(jī)鏡像的發(fā)現(xiàn)、登記和交付服務(wù)。在本文中，采用OpenStack Glance[14]作為IFSpool的鏡像服務(wù)器。Glance允許上傳多種格式的私有和公有的鏡像，包括VHD（Hyper-V）、VDI、qcow2（Qemu/KVM）和VMDK（VMware）。

Lustre[5]是一個(gè)構(gòu)建在廉價(jià)商用機(jī)器上的存儲(chǔ)系統(tǒng)。如圖2所示，元數(shù)據(jù)服務(wù)器（MDS）存儲(chǔ)著每個(gè)文件的布局、大小和位置，客戶端從MDS獲得文件布局，對(duì)象存儲(chǔ)服務(wù)器（OSS）為一個(gè)或多個(gè)本地對(duì)象存儲(chǔ)目標(biāo)（OST）提供文件I/O服務(wù)和網(wǎng)絡(luò)請(qǐng)求處理，OST把文件數(shù)據(jù)作為數(shù)據(jù)對(duì)象存儲(chǔ)在一個(gè)或多個(gè)OSS上，單個(gè)Lustre文件系統(tǒng)通常有多個(gè)OSS和OST，為了優(yōu)化性能，每個(gè)文件被分為幾個(gè)子文件并存儲(chǔ)到不同的OST。在Lustre中一個(gè)來自客戶端的數(shù)據(jù)訪問請(qǐng)求將被分解成幾個(gè)更小的子請(qǐng)求，然后存儲(chǔ)服務(wù)器并行訪問子請(qǐng)求的數(shù)據(jù)。

圖2 Lustre的體系架構(gòu)

3.2 存儲(chǔ)適配器設(shè)計(jì)

存儲(chǔ)適配器是IFSpool的主要部件，在IFSpool中，客戶端也有相對(duì)應(yīng)的部件：元數(shù)據(jù)客戶端（MDC）、對(duì)象存儲(chǔ)客戶端（OSC）和邏輯對(duì)象卷（LOV）。MDC是一個(gè)客戶端接口模塊，可以通過它訪問MDS。

OSC和OST的關(guān)系是一對(duì)一的。一組OSC被包裝成一個(gè)LOV，如圖3所示。

圖3 Lustre文件系統(tǒng)的文件打開、讀取、寫入過程

當(dāng)一個(gè)客戶端創(chuàng)建、打開或讀取一個(gè)鏡像文件時(shí)，它首先獲取存儲(chǔ)在MDS的元數(shù)據(jù)信息。在MDS返回鏡像文件的位置后，客戶端會(huì)直接向相關(guān)的OST設(shè)備發(fā)出I/O訪問請(qǐng)求。例如，在讀取文件之前，客戶端將通過MDC向MDS發(fā)出查詢請(qǐng)求。MDS告訴客戶端從設(shè)備讀取文件。然后客戶端直接訪問設(shè)備。

假設(shè)有4個(gè)虛擬機(jī)，為了簡單起見，假設(shè)每個(gè)虛擬機(jī)鏡像存儲(chǔ)在4個(gè)OST設(shè)備上。圖4顯示了這些虛擬機(jī)存儲(chǔ)在4個(gè)不同的OST上的布局。

圖4 OST的鏡像文件視圖

假設(shè)在某個(gè)特定時(shí)間這4個(gè)虛擬機(jī)同時(shí)讀取鏡像文件，這樣虛擬機(jī)將會(huì)同時(shí)與每個(gè)OST通信，因此會(huì)產(chǎn)生相當(dāng)大的通信開銷，而隨著虛擬機(jī)數(shù)量的增加，性能會(huì)大幅下降。主要因?yàn)樘摂M機(jī)的隨機(jī)磁盤訪問，而且虛擬機(jī)本身也不執(zhí)行一系列連續(xù)的磁盤I/O操作，這將導(dǎo)致隨機(jī)、無序磁盤查找操作，從而產(chǎn)生額外的磁盤開銷和降低了文件訪問的并行操作效率。

存儲(chǔ)適配器的基本原理是對(duì)于每個(gè)OST維護(hù)一個(gè)緩存隊(duì)列，稱為OST隊(duì)列。這些緩存隊(duì)列存儲(chǔ)于存儲(chǔ)適配器服務(wù)器上并且維護(hù)一個(gè)全局散列表，其中散列鍵也稱為OST_ID（每個(gè)OST在Lustre集群里有一個(gè)對(duì)應(yīng)的身份證號(hào)碼）。因?yàn)檫m配器服務(wù)器的存儲(chǔ)介質(zhì)是SSD，所以緩存隊(duì)列擁有高速的讀寫速度。

在IFSpool中，鏡像文件是以條帶方式存儲(chǔ)在幾個(gè)OST上，并且在OST上一個(gè)文件的所有數(shù)據(jù)被視為一個(gè)對(duì)象，該對(duì)象使用128 bit的標(biāo)識(shí)作為對(duì)象ID。與傳統(tǒng)的UNIX文件系統(tǒng)不同，MDS的索引節(jié)點(diǎn)并不指向數(shù)據(jù)塊，相反它指向一個(gè)或多個(gè)與對(duì)象相關(guān)的文件，所以客戶端可以通過對(duì)象ID并行地讀寫文件，換句話說，客戶機(jī)可以通過對(duì)象ID直接和OST交換數(shù)據(jù)。

假設(shè)這4個(gè)虛擬機(jī)同時(shí)與這4個(gè)OST交換數(shù)據(jù)。存儲(chǔ)適配器首先從虛擬機(jī)接收所有數(shù)據(jù)，然后依據(jù)對(duì)象ID分派這些數(shù)據(jù)到相應(yīng)的OST隊(duì)列。當(dāng)已使用空間達(dá)到一個(gè)閾值時(shí)，OST隊(duì)列中的數(shù)據(jù)將按序被寫回到相應(yīng)的OST，同樣。當(dāng)從OST上讀取數(shù)據(jù)時(shí)，對(duì)象首先被分派到相應(yīng)的OST隊(duì)列中，然后每個(gè)虛擬機(jī)依據(jù)OST_ID從OST隊(duì)列取回對(duì)象。圖5顯示了存儲(chǔ)適配器模型。

存儲(chǔ)適配器的優(yōu)點(diǎn)是通過結(jié)合隊(duì)列和緩存機(jī)制將隨機(jī)訪問變成順序訪問。存儲(chǔ)適配器的緩存機(jī)制實(shí)現(xiàn)是不同于傳統(tǒng)的緩存機(jī)制，具體地說，存儲(chǔ)適配器沒有使用替換算法，相反適配器采用有一個(gè)閾值來決定什么時(shí)候回寫數(shù)據(jù)。對(duì)于一個(gè)寫操作，緩存的功能是將隨機(jī)寫入變成順序?qū)懭?，并且把小的?shù)據(jù)塊合并成大的數(shù)據(jù)塊。對(duì)于讀操作，依據(jù)對(duì)象ID將相同的請(qǐng)求合并到一個(gè)特定的OST上，讀操作的I/O吞吐量可以有效地改善，并且可以以大數(shù)據(jù)塊形式順序讀取這些數(shù)據(jù)到相應(yīng)的OST隊(duì)列上。

存儲(chǔ)適配器算法描述如下。

Queue(i)表示存儲(chǔ)OST_ID為i的數(shù)據(jù)對(duì)象的隊(duì)列，隊(duì)列的范圍從0到n-1，n是OST的最大數(shù)。存儲(chǔ)適配器使用時(shí)間片輪轉(zhuǎn)方法為每個(gè)隊(duì)列提供服務(wù)。Read_object(p,ost)表示從ost中讀取對(duì)象p。Insert_object(p,i)表示將數(shù)據(jù)對(duì)象p加入隊(duì)列i中。Dispatch_object(p,i)表示將隊(duì)列i中的數(shù)據(jù)對(duì)象p發(fā)送到本地驅(qū)動(dòng)程序。

Begin

Writing:on arrival of data object p

Queue(i)=hash(object p);

if(there is nothis object exist in this queue)

{if(no free buffers left Queue(i))

{Queue(i)=must_queue;return-1;}

else{Insert_objcet(p,i);return 1;}}

圖5 存儲(chǔ)適配器模型

return 0;

Reading:on arrival of several object requests

m_Object_ID=merge requests by Object ID;

Read_objcet(m_Objcet_ID,OST_ID);

wait for VMs read.

Dispatch:

While(true)do{

if((threshold value==ture)||(Queue(i)==must))

{if(Queue(i)is not empty)

{get a data object from OST_queue;

Dispatch(p,i);}

else if(there is enough slice left to wait for one requests)

{do{wait for data object p;

Dispatch(p,i);}

While(time slice for Queue(i)is enough)}

else{get next queue for service;}}

End

4 實(shí)驗(yàn)結(jié)果

4.1 實(shí)驗(yàn)環(huán)境

計(jì)算服務(wù)器采用兩臺(tái)聯(lián)想Think Server TS430 S1280服務(wù) 器，Intel Xeon E3-1200 8核處理器，32 GB內(nèi)存，兩塊BroadcomNetXtremeⅡ57091Gbit/s以太網(wǎng)卡，6TBSAS6硬盤。

鏡像服務(wù)器配備一臺(tái)戴爾電腦，Intel Xeon E7550 4核處理器，8 GB內(nèi)存，380 GB SATA硬盤。

Lustre集群由4臺(tái)戴爾電腦組成。每臺(tái)電腦配置Intel Xeon E7550 4核處理器、4 GB內(nèi)存、2塊500 GB SATA西部數(shù)據(jù)硬盤。

存儲(chǔ)適配服務(wù)器配備一臺(tái)戴爾電腦、一塊OCZ Vertex3 60 GB的SSD、一塊Highpoint RocketRAID 4320 RAID控制器。

4.2 實(shí)驗(yàn)分析

圖6和圖7分別顯示了在使用HDFS、MooseFS、Lustre和IFSpool作為鏡像存儲(chǔ)池時(shí)指定數(shù)量的虛擬機(jī)平均隨機(jī)讀寫速率。從圖6和圖7看到IFSpool具有更好的I/O吞吐量。Lustre和IFSpool結(jié)果進(jìn)一步確認(rèn)存儲(chǔ)適配器提高了讀寫速率，這證實(shí)了存儲(chǔ)適配器能夠提高并行數(shù)據(jù)訪問速度和降低通信開銷。

圖6 平均讀取速率比較

圖7 平均寫入速率比較

筆者還測(cè)試了不同記錄大小的I/O性能。在測(cè)試環(huán)境中有30個(gè)虛擬機(jī)同時(shí)針對(duì)IFSpool作隨機(jī)讀寫操作。從圖8和圖9看到存儲(chǔ)適配器能提高讀寫速率，尤其是小的記錄，這也證實(shí)了存儲(chǔ)適配器能提高數(shù)據(jù)訪問速度并行度和有效地減少通信開銷。

在圖10和圖11中，比較了同時(shí)啟動(dòng)或關(guān)閉特定數(shù)量虛擬機(jī)所消耗的時(shí)間。在實(shí)驗(yàn)中，每臺(tái)虛擬機(jī)配置2個(gè)VCPU、1 024 MB內(nèi)存、20 GB磁盤映像和Windows XP，所有虛擬機(jī)都是VHD格式，并且都運(yùn)行在同一臺(tái)主機(jī)服務(wù)器上。當(dāng)?shù)卿浗缑娉霈F(xiàn)時(shí)，虛擬機(jī)啟動(dòng)完成；當(dāng)電源關(guān)閉時(shí)，虛擬機(jī)關(guān)閉完成。

圖8 不同大小記錄的寫入速率比較

圖9 不同大小記錄的讀取速率比較

圖10 多臺(tái)虛擬機(jī)同時(shí)啟動(dòng)的時(shí)間消耗

圖11 多臺(tái)虛擬機(jī)同時(shí)關(guān)閉的時(shí)間消耗

從圖10和圖11可以看到當(dāng)啟動(dòng)或關(guān)閉多臺(tái)虛擬機(jī)時(shí)，IFSpool能比本地磁盤消耗更少的時(shí)間，這是由于IFSpool存在并行訪問和緩存機(jī)制。

5 結(jié)束語

鏡像文件存儲(chǔ)是云計(jì)算的關(guān)鍵部分。如果實(shí)現(xiàn)一個(gè)高容量、高可伸縮性和高吞吐量的鏡像文件存儲(chǔ)系統(tǒng)，可以很容易地在不同主機(jī)或不同數(shù)據(jù)中心之間遷移虛擬機(jī)以達(dá)到負(fù)載平衡和節(jié)省電能，同時(shí)可以通過高I/O吞吐量和高容量存儲(chǔ)池來解決啟動(dòng)風(fēng)暴。在本文中，筆者設(shè)計(jì)并實(shí)現(xiàn)一個(gè)基于Lustre的存儲(chǔ)系統(tǒng)IFSpool，它可以在無須中斷數(shù)據(jù)訪問的前提下，通過添加存儲(chǔ)設(shè)備來增加存儲(chǔ)容量和I/O帶寬。IFSpool結(jié)合隊(duì)列和緩存機(jī)制，并通過協(xié)調(diào)數(shù)據(jù)訪問順序提高I/O吞吐率和減輕啟動(dòng)風(fēng)暴。實(shí)驗(yàn)結(jié)果也表明IFSpool是有效的鏡像文件存儲(chǔ)系統(tǒng)。

此外，當(dāng)有成千上萬的用戶時(shí)，數(shù)據(jù)中心會(huì)存在大量的冗余數(shù)據(jù)。未來的工作，將在IFSpool中增加對(duì)重復(fù)數(shù)據(jù)刪除的支持。

1 Foster I,Zhao Y,Raicu I,et al.Cloud computing and grid computing 360-degree compared.Proceedings of IEEE Grid Computing Environments Workshop,Austin,TX,USA,2008:1～10

2 Wood T,Shenoy P,Venkataramaniand A,et al.Black-box and gray-box strategies for virtual machine migration.Proceedings of the 4th USENIX Conference on Networked Systems Design&Implementation,Cambridge,MA,2007:1～14

3 Shafer J.I/O virtualization bottlenecks in cloud computing today.Proceedings of the 2nd Conference on I/O Virtualization,USENIX Association Berkeley,CA,USA,2010

4 Hansen J G,Jul E.Lithium:virtual machine storage for the cloud.Proceedings of the 1st ACM Symposium on Cloud Computing,New York,NY,USA,2010:15～26

5 Wang F,Oral S,Shipman G,et al.Understanding Lustre file system internals.Technical Report ORNL/TM-2009/117,Oak Ridge National Lab,National Center for Computational Sciences,2009

6 Mell P,Grance T.NIST definition of cloud computing.National Institute of Standards and Technology,2011

7 Buyya R,Broberg J,Goscinski A.Cloud Computing:Principles and Paradigms.New York:Wiley Press,2011

8 Meyer D,Aggarwal G,Cully B,et al.Parallax:virtual disks for virtual machines.Proceedings of the ACM SIGOPS/EuroSys European Conference on Computer Systems,Glasgow,Scotland,2008

9 Liao X F,Li H,Jin H,et al.Vmstore:distributed storage system for multiple virtual machines.Science China Information Sciences,2011,54(6):1104～1118

10 Dickens P M,Logan J.A high performance implementation of MPI-IO for a Lustre file system environment.Concurrency and Computation:Practice and Experience,2010

11 C asale G,Kraft S,Krishnamurthy D.A model of storage I/O performance interference in virtualized systems.Proceedings of the 1st Int Workshop on Data Center Performance,Minneapolis,MN,2011

12 Vaghani S B.Virtual machine file system.ACM SIGOPS Operating Systems Review,2010,44(4):57～70

13 Rajagopalan S,Cully B,O’Connor R,et al.SecondSite:Disaster Tolerance as a Service.ACM 978-1-4503-1175-5/12/03,London,England,2012

14 Openstack image-service.http://www.openstack.org/projects/imageservice/

15 Gens F.Defining“Cloud Services”and“Cloud computing”.http://www.fiercetelecom.com/story/defining-cloud-computing-servicesbenefits-and-caveats/2012-03-12,2012