国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

分布式文件系統(tǒng)性能研究

2014-03-30 02:13:27趙鐵柱袁華強
東莞理工學(xué)院學(xué)報 2014年1期
關(guān)鍵詞:磁盤海量條帶

趙鐵柱 袁華強

(東莞理工學(xué)院 工程技術(shù)研究院,廣東東莞 523808)

分布式文件系統(tǒng)性能研究

趙鐵柱 袁華強

(東莞理工學(xué)院 工程技術(shù)研究院,廣東東莞 523808)

隨著海量數(shù)據(jù)存儲和I/O密集型應(yīng)用的發(fā)展,I/O越發(fā)成為了分布式存儲系統(tǒng)的性能瓶頸,分布式文件系統(tǒng)是解決I/O瓶頸問題的重要途徑。如何系統(tǒng)地研究分布式文件系統(tǒng)的性能因子和優(yōu)化方案,是一個重要研究課題。本文系統(tǒng)地闡述了分布式文件系統(tǒng)的性能研究現(xiàn)狀,挖掘并分析了分布式文件系統(tǒng)的關(guān)鍵性能影響因子,為分布式文件系統(tǒng)的設(shè)計和性能優(yōu)化研究提供支持。

分布式文件系統(tǒng);數(shù)據(jù)存儲;性能因子;性能優(yōu)化

近年來,網(wǎng)絡(luò)應(yīng)用的快速普及和云存儲的推廣,網(wǎng)絡(luò)數(shù)據(jù)呈現(xiàn)海量的增長態(tài)勢越發(fā)明顯。信息資源的爆炸性增長,對存儲系統(tǒng)的容量、可擴展性、數(shù)據(jù)可用性以及I/O性能等方面提出了越來越高的要求。隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展,服務(wù)器技術(shù),網(wǎng)絡(luò)技術(shù)和存儲技術(shù)都得到了快速的發(fā)展。雖然計算,傳輸和存儲三大IT基礎(chǔ)設(shè)施都得到了飛速的發(fā)展,但相當于計算(數(shù)據(jù)處理)和傳輸而言,存儲技術(shù)相對發(fā)展緩慢,這主要是由于在I/O子系統(tǒng)方面缺乏相應(yīng)的提高,導(dǎo)致I/O成為了存儲系統(tǒng)的主要瓶頸。

分布式文件系統(tǒng)是指網(wǎng)絡(luò)中的多個存儲節(jié)點通過網(wǎng)絡(luò)組織起來,并通過網(wǎng)絡(luò)來完成各存儲節(jié)點時的通信和控制的文件系統(tǒng)。典型的分布式文件系統(tǒng),如Lustre[1],GFS(Google File System)[2],HDFS(Hadoop Distributed File System)[3]等,將元數(shù)據(jù)和應(yīng)用程序數(shù)據(jù)分開存儲,因為元數(shù)據(jù)和應(yīng)用程序數(shù)據(jù)的存儲和訪問各有特性,可以針對這些個性,分而治之并優(yōu)化,明顯提高整個系統(tǒng)的I/O的性能。并行文件系統(tǒng)(也稱分布式并行文件系統(tǒng)),如GPFS(General Parallel File System)[4],PVFS(Parallel Virtual File System)[5],pMFS(Parallel MFS)[6],是一種特殊的分布式文件系統(tǒng),所謂并行文件系統(tǒng)是指應(yīng)用于多機環(huán)境的網(wǎng)絡(luò)文件系統(tǒng),單個文件的數(shù)據(jù)采用分條等形式存放于不同的I/O節(jié)點之上,支持多機多個進程的并發(fā)存取,同時支持元數(shù)據(jù)和數(shù)據(jù)的分布存放,并提供單一的目錄空間。而要實現(xiàn)一個完整的并行文件系統(tǒng),需要實現(xiàn)如下兩個方面:第一,實現(xiàn)單一的文件映像,并行文件存放在盤陣上的具體分布情況對于用戶來說是透明的,并行文件系統(tǒng)在用戶看來是一完整的樹型結(jié)構(gòu),在調(diào)用時只要給出文件名即可;第二,采用條帶化(Stripe)和分區(qū)(Partition)技術(shù),支持一個文件數(shù)據(jù)在多個磁盤之上和多個進程之間的分布,即多個進程并發(fā)讀寫多個磁盤上的數(shù)據(jù)。

分布式文件系統(tǒng)具有PB級海量數(shù)據(jù)存儲容量,高聚合并發(fā)帶寬,高可擴展性,高可靠性,易管理和使用等特點。能夠有效地解決分布式存儲系統(tǒng)中海量數(shù)據(jù)存儲和I/O瓶頸問題,成為了目前存儲工業(yè)界和學(xué)術(shù)界的研究熱點。分布式文件系統(tǒng)是任何大規(guī)模分布式計算環(huán)境的重要組成部分,它的性能直接影響著整個分布式計算環(huán)境的執(zhí)行效率。因此,分布式文件系統(tǒng)的I/O研究和性能優(yōu)化是一個極具挑戰(zhàn)性和研究價值的工作。本文將系統(tǒng)地綜述分布式文件系統(tǒng)性能研究現(xiàn)狀,分析并挖掘出分布式文件系統(tǒng)的關(guān)鍵性能影響因子,為分布式文件系統(tǒng)性能研究和性能優(yōu)化提供重要的指導(dǎo)價值。

1 分布式文件系統(tǒng)性能研究綜述

目前,分布式文件系統(tǒng)性能研究主要可分為4方面:系統(tǒng)配置參數(shù)分析與調(diào)優(yōu)研究,元數(shù)據(jù)訪問優(yōu)化研究,性能建模與預(yù)測研究,可用性和可擴展性研究。

1.1 系統(tǒng)配置參數(shù)分析與調(diào)優(yōu)研究

由于分布式文件系統(tǒng)的配置參數(shù)較多,研究者們主要通過實驗和基準測試的方法,對參數(shù)進行分析,并根據(jù)測試結(jié)果提出一些經(jīng)驗性的優(yōu)化。如Yu等通過實驗的方法對并行I/O進行了參數(shù)分析,配置和優(yōu)化[7]。Li等利用Fork-Join排隊模型對整個存儲系統(tǒng)框架進行模擬,同時提出一種參數(shù)分析的方法[8]。另由于不同的應(yīng)用對文件系統(tǒng)的要求不同,文件系統(tǒng)在支持上層應(yīng)用時也呈現(xiàn)出各異的性能的差別。應(yīng)用的I/O特征對分布式文件系統(tǒng)的影響較大。關(guān)于應(yīng)用的I/O特征對分布式系統(tǒng)的性能影響的研究比較多,如文獻[9]對底層的磁盤陣列及相關(guān)的因素進行了系統(tǒng)的研究。文獻[10]針對Lustre文件系統(tǒng)的架構(gòu)和性能因子進行了詳細的介紹。文獻[11]針對分布式/并行文件系統(tǒng)的聚合I/O相關(guān)性能因素進行了專門的研究。文獻[12]通過引入Fork-Join隊列模型對存儲系統(tǒng)的性能進行參數(shù)分析。文獻[38]將活動存儲引入到Lustre文件系統(tǒng)中,對系統(tǒng)進行了性能評估和參數(shù)分析等。由于目前這方面的研究主要是通過設(shè)計一些特定系統(tǒng)的測試用例研究系統(tǒng)某些局部的性能,因此缺少一些系統(tǒng)性的,理論性的研究成果。

1.2 元數(shù)據(jù)訪問優(yōu)化研究

元數(shù)據(jù)服務(wù)器主要負責(zé)元數(shù)據(jù)的存儲管理,提供元數(shù)據(jù)信息查詢服務(wù)。而元數(shù)據(jù)是一些數(shù)量巨大的小文件數(shù)據(jù),元數(shù)據(jù)操作量占了整個分布式系統(tǒng)操作量的50%以上。針對這些問題,研究主要集中在以下幾個方面:提高元數(shù)據(jù)的存儲能力;優(yōu)化元數(shù)據(jù)的查詢效率;增強元數(shù)據(jù)的容錯性和一致性等等。如Wang等提出二級元數(shù)據(jù)管理方法來提高分布式文件系統(tǒng)的可用性[13]。文獻[14]針對HDFS小文件的元數(shù)據(jù)管理方式進行優(yōu)化,以提高HDFS對小文件的存取效率。目前,隨著元數(shù)據(jù)的海量增加,如何有效的組織,存儲海量元數(shù)據(jù),及如何提高海量元數(shù)據(jù)查詢響應(yīng)時間,成為研究熱點。因為原有的單一元數(shù)據(jù)服務(wù)器無法滿足元數(shù)據(jù)量的要求。但組織元數(shù)據(jù)服務(wù)器集群池會明顯影響查詢效率,如何優(yōu)化元數(shù)據(jù)服務(wù)器的架構(gòu),同時兼顧元數(shù)據(jù)容量,查詢效率,元數(shù)據(jù)可靠性及一致性,是一個亟待解決的問題。

1.3 性能建模與預(yù)測研究

這方面的研究側(cè)重于通過評估系統(tǒng)的性能,挖掘潛在的性能因素及特點,預(yù)測及指導(dǎo)系統(tǒng)的性能優(yōu)化。主要的難點是:分布式文件系統(tǒng)結(jié)構(gòu)復(fù)雜,很難根據(jù)特定的應(yīng)用,選擇所需的性能因素;另外,系統(tǒng)的性能預(yù)測缺少必要理論支持,基本是從實驗出發(fā),通過系統(tǒng)的性能表現(xiàn),提出一些經(jīng)驗法則或預(yù)測模型。如Zhao等分析了Lustre潛在的性能因素,對Lustre文件系統(tǒng)進行了系統(tǒng)的性能評估,挖掘出以Lustre為代表的分布式/并行文件系統(tǒng)的性能特點[15];根據(jù)Lustre文件系統(tǒng)性能的特點,基于Lustre和灰色系統(tǒng)理論進行性能預(yù)測[16];基于Lustre文件系統(tǒng)的性能評估結(jié)果,建立了一個針對分布式/并行文件系統(tǒng)的相對預(yù)測模型,取得了較好的預(yù)測效果[17]。Yu等對Cay XT的并行I/O性能進行了有效的評估[18]。Shan等通過IOR基準對Lustre文件系統(tǒng)的性能進行了評估和分析[19]。但如何在一些特定的應(yīng)用如搜索引擎應(yīng)用下去評估和優(yōu)化底層的分布式文件系統(tǒng)的結(jié)構(gòu)和性能卻研究的很少。

1.4 可用性和可擴展性研究

為了獲得好的性價比,分布式文件系統(tǒng)大部分運行在廉價的PC集群上,因此系統(tǒng)的可用性和可擴展性是十分關(guān)鍵的。這些研究主要的目標是:在系統(tǒng)規(guī)模增大的同時,如何保證系統(tǒng)軟硬件正常運轉(zhuǎn)提供統(tǒng)一的服務(wù),如何擴充系統(tǒng)規(guī)模來取得更好的性能和容量。主要研究包括:采用日志技術(shù)對系統(tǒng)進行快速恢復(fù);采用類似RAID技術(shù),提供數(shù)據(jù)冗余存儲。對于網(wǎng)絡(luò)失效問題,相關(guān)的解決方案有:1)將網(wǎng)絡(luò)劃分為多個通信塊,并規(guī)定只有包含特定比例的可用節(jié)點才能提供服務(wù),防止數(shù)據(jù)的不一致性,如GPFS[20];2)通過將系統(tǒng)層次化,簡化系統(tǒng)的設(shè)計和管理難度,如GFS等[21];3)將存儲空間虛擬化,屏蔽存儲實現(xiàn)細節(jié),提高容錯性,增強系統(tǒng)動態(tài)負載均衡性[22]等;4)通過設(shè)計一些特定的系統(tǒng)拓撲結(jié)構(gòu),增強系統(tǒng)的可用性,如Zhang等設(shè)計了一種邏輯鏡像環(huán)(LMR)的部署機制,可以顯著地提高分布式文件系統(tǒng)的可靠性和可擴展性[23]。系統(tǒng)可靠性和可擴展性的研究對一些特定的關(guān)鍵領(lǐng)域尤為重要。

2 分布式文件系統(tǒng)關(guān)鍵性能影響因子

研究分布式文件系統(tǒng)性能影響因子,有利于配置,設(shè)計,優(yōu)化系統(tǒng)性能。影響了分布式文件系統(tǒng)性能的關(guān)鍵性能因子包括:條帶塊大小,條帶寬度,條帶偏移量,讀/寫Cache模式,服務(wù)線程數(shù)量。

2.1 條帶塊大小

分布式并行文件系統(tǒng)中,會采用條帶化技術(shù),將大的數(shù)據(jù)文件分塊(條帶分塊)存儲到多個存儲節(jié)點上,同時支持多個進程并發(fā)讀寫多個磁盤上的數(shù)據(jù)。

在分布式文件系統(tǒng)中,條帶塊大小應(yīng)該是頁大?。≒age Size)的整數(shù)倍。通常來講,條帶塊對性能的影響比條帶寬度對性能的影響更難量化,體現(xiàn)在兩個方面:(1)減小條帶塊大小,隨著條帶塊大小的減小,文件被分割成越來越小的分塊。這樣就會有更多的磁盤來存儲同一個文件。理論上講,增加了數(shù)據(jù)傳輸?shù)男阅?,但同時降低了數(shù)據(jù)的定位性能。(2)增大條帶塊大小,增加條帶塊大小的效果和減小條帶塊大小的效果相反。對于給定大小的文件,將會有較少的磁盤來存儲它。因此傳送性能降低,而數(shù)據(jù)定位性能提高。

2.2 條帶寬度

條帶寬度,指數(shù)據(jù)磁盤的數(shù)目。條帶寬度影響文件系統(tǒng)并發(fā)I/O的粒度。條帶寬度越寬,則并發(fā)I/O粒度增加,反之,則減少并發(fā)I/O粒度。例如,在Lustre文件系統(tǒng)中,最大可使用的條帶數(shù)量是168。但實際的使用中,最大可使用的條帶數(shù)量受限于客戶端I/O速率和OSS端的性能(工作負載和數(shù)據(jù)負載)。在實踐中,Oracle公司建議:“使用擁有5或9個磁盤的RAID5磁盤陣列,或擁有6或10個磁盤的RAID6磁盤陣列”,其中在RAID5中,校驗磁盤數(shù)目為1,在RAID6中,校驗磁盤數(shù)目為2。

2.3 條帶偏移量

條帶偏移量指選擇存儲條帶數(shù)據(jù)的起始存儲節(jié)點位置,即決定條帶數(shù)據(jù)分布在哪些存儲節(jié)點上。條帶偏移量的設(shè)置直接影響著系統(tǒng)的空間和負載的均衡性。因此,要根據(jù)節(jié)點的當前狀態(tài)以及數(shù)據(jù)塊的特征信息來選取合適的存儲節(jié)點。常見的條帶數(shù)據(jù)的分配策略,如輪詢方法、權(quán)重輪詢方法、最少連接數(shù)、散列均衡、處理能力均衡、響應(yīng)速度均衡和啟發(fā)式算法等[24]。

2.4 讀/寫Cache模式

通常而言,通過Cache技術(shù)將常用文件數(shù)據(jù)Cache起來,可以顯著提高文件讀寫的I/O速率。尤其在處理小文件數(shù)據(jù)時,常需要將可占用的內(nèi)存空間來Cache文件數(shù)據(jù),來提高I/O性能。因此在使用I/ O基準測試工具測試系統(tǒng)性能時,經(jīng)常需要屏蔽掉讀/寫Cache對文件系統(tǒng)I/O的影響。要耗盡內(nèi)存Buffer后再對低層的磁盤子系統(tǒng)進行I/O性能測試。為了避免Cache效應(yīng)對I/O性能的影響,用于測試的文件大小被設(shè)置成節(jié)點內(nèi)存大小的數(shù)倍。

讀/寫Cache模式分為:提前讀(Read Ahead),讀直達(Read Through),延遲寫(Write Back)和寫直達(W rite Through)。是否使用提前讀或讀直達應(yīng)該根據(jù)工作負載的特征來定。何時使用提前讀或讀直達有不同的應(yīng)用情景。1)適合提前讀的情形:如果應(yīng)用工作負載穩(wěn)定且串行時,提前讀可顯著提高I/O性能。但如果工作負載是隨機或性能的I/O請求大小小于條帶塊大小時,提前讀會降低I/O性能。2)適合讀直達的情形:當工作負載是隨機的或性能的I/O請求大小等于條帶塊大小時,讀直達可提高I/O性能。3)延遲寫和寫直達:在處理大量小文件或單個大文件時,延遲寫Cache可以動態(tài)的提高寫的性能。然而,如果Cache中的小文件過多,Cache flushing極有可能十分緩慢,因此,會引起整個吞吐量的下跌。另外,如果遭遇突然斷電的情況,延遲寫會造成數(shù)據(jù)丟失。如果在數(shù)據(jù)完整性要求比較高的情形下,不推薦使用延遲寫Cache。因此,在使用延遲寫Cache時,需要在性能和風(fēng)險之間權(quán)衡。

2.5 服務(wù)線程數(shù)量

在分布式文件系統(tǒng)中,數(shù)據(jù)存儲服務(wù)器和元數(shù)據(jù)存儲服務(wù)器的服務(wù)線程數(shù)量對文件系統(tǒng)的性能有著重要影響。服務(wù)線程數(shù)量影響I/O的并發(fā)度,隨著服務(wù)線程數(shù)量的增加,文件系統(tǒng)I/O并發(fā)度會相關(guān)的增加,但同時也會消耗過多的內(nèi)存和CPU資源。因此,根據(jù)應(yīng)用的特點和文件系統(tǒng)的配置,選擇合適的服務(wù)線程數(shù)量十分關(guān)鍵。

3 結(jié)語

隨海量數(shù)據(jù)存儲、云存儲研究的展開,分布式文件系統(tǒng)性能研究越發(fā)顯得重要和迫切。分布式文件系統(tǒng)具有高可靠性,高可用性,高I/O帶寬和海量存儲容量等特點,被認為是管理和訪問海量數(shù)據(jù)的有效方式。隨著云存儲時代的到來,對分布式文件系統(tǒng)的研究,尤其是分布式文件系統(tǒng)I/O研究和性能研究,勢必受到更多的重視。本文在全面研究分布式文件系統(tǒng)的系統(tǒng)架構(gòu),性能因素和大量文獻的基礎(chǔ)上,系統(tǒng)地闡述了分布式文件系統(tǒng)的性能研究現(xiàn)狀,研究分析了分布式文件系統(tǒng)的關(guān)鍵性能影響因子,為分布式文件系統(tǒng)的研究提供重要的參考價值。鑒于分布式文件系統(tǒng)性能研究現(xiàn)狀,下一步的研究工作可從兩方面展開:1)面向應(yīng)用特征的分布式文件系統(tǒng)性能研究與優(yōu)化。難點在于:一方面是捕捉應(yīng)用的性能特征。通過捕捉特定應(yīng)用或某一類應(yīng)用的應(yīng)用特征,如讀/寫請求大小、讀/寫請求比率、I/O到達時間間隔、時空相關(guān)性等特征,為后續(xù)的建模提供數(shù)據(jù)基礎(chǔ);另一方面是面向應(yīng)用的性能建模。分析捕捉到的性能特征,挖掘出性能特征潛在的分布規(guī)律。同時,優(yōu)化文件系統(tǒng)中的數(shù)據(jù)分布,減少不必要的I/O操作,提高數(shù)據(jù)的訪問效率。對于一些重要的核心應(yīng)用,對分布式文件系統(tǒng)進行面向應(yīng)用的優(yōu)化是十分必要的,可以有效地提高應(yīng)用性能。2)根據(jù)應(yīng)用需求,有效融合各種主流分布式文件系統(tǒng)的設(shè)計架構(gòu)優(yōu)勢是今后分布式文件系統(tǒng)可能的研究方向和發(fā)展趨勢。這種融合型的分布式文件系統(tǒng)可以發(fā)揮各分布式文件系統(tǒng)的性能優(yōu)勢,較好地處理復(fù)合型應(yīng)用。如Lustre和HDFS這兩種分布式文件系統(tǒng)雖然系統(tǒng)實現(xiàn)結(jié)構(gòu)基本類似,但它們數(shù)據(jù)處理方式卻有較大差別。這兩種方式各有優(yōu)缺點,因此可能并存??梢钥紤]借鑒Lustre的設(shè)計機制,進一步優(yōu)化HDFS的設(shè)計和提高性能;或者在Lustre文件系統(tǒng)中增加復(fù)制等功能,支持搜索引擎的應(yīng)用需求。

[1] Oracle Corp.Lustre File System[EB/OL].http://wiki.lustre.org/index.php/Main-Page.

[2] Google Corp.Google File System[EB/OL].http://labs.google.com/papers/gfs.html.

[3] Apache Software Foundation.Hadoop Distributed File System[EB/OL].http://hadoop.apache.org/hdfs/.

[4] IBM Corp.General Parallel File System[EB/OL].http://www-03.ibm.com/systems/software/gpfs/.

[5] Clemson University and MASA Lab.Parallel Virtual File System[EB/OL].http://www.pvfs.org/.

[6] The Internet Engineering Steering Group.pMFS File System[EB/OL].http://www.pnfs.com/.

[7] Yu W,Vetter JS,Canon R S.Exploiting Lustre File Joining for Effective Collective IO[C]//the Seventh IEEE International Symposium on Cluster Computing and the Grid(CCGrid2007),2007:267-274.

[8] Li H Y,Liu Y,Cao Q.Approximate Parameters Analysis of A Closed Fork-Join Queue Model in An Object-Based Storage System[C]// the Eighth International Symposium on Optical Storage and 2008 International Workshop on Information Data Storage,2008:1-6.

[9] Verma A,Anand A.General Store Placement for Response Time Minimization in Parallel Disks[J].Journal of Parallel and Distributed Computing,2007,67(12):1286-1300.

[10] Yu W,Oral H S,Canon R S.Empirical analysis of a large-scale hierarchical storage system[C]//the14th Int'l Euro-Par Conference on Parallel Processing,2008:130-140.

[11] Bokhari S,Rutt B,Wyckoff P,etal.Experimental analysis of amass storage system[J].Concurrency and Computation:Practice and Experience,2006,18(4):1929-1950.

[12] Logan J,Dickens P.Towards an understanding of the performance of MPI-IO in Lustre file systems[C]//the 2008 IEEE Int'l Conf.on Cluster Computing,2008:330-335.

[13] Wang F,Yue Y L,F(xiàn)eng D.High Availability Storage System Based on Two-level Metadata Management[C]//the Proceedingsof the2007 Japan-China Joint Workshop on Frontier of Computer Science and Technology(FCST 2007),2007:41-48.

[14] Grant M,Saba Se,Wang J.Improving Metadata Management for Small Files in HDFS[C]//the 2009 IEEE International Conference on Cluster Computing and Workshops,2009:1-4.

[15] Zhao T Z,VerdiM,Dong SB,et.al.Evaluation ofa performancemodel of Lustre file system[C]//the fifth Annual ChinaGrid Conference. 2010:191-196.

[16] Zhao T Z,Hu JL.Performance evaluation of parallel file system based on Lustre and grey theory[C]//the 2010 Minth International Conference on Grid and Cloud Computing,2010:118-122.

[17] 趙鐵柱,董守斌,Verdi M,等.面向并行文件系統(tǒng)的性能評估及相對預(yù)測模型[J].軟件學(xué)報,2011(09):2206-2222.

[18] Yu W,Vetter JS,Oral H S.Performance Characterization and Optimization of Parallel I/O on the Cray XT[C]//the 22nd IEEE International Parallel and Distributed Processing Symposium(IPDPS2008),2008:1-11.

[19] Dean J,Ghemawat S.MapReduce:Simplified Data Processing on Large Clusters[C]//the6th Symposium on Operating Systems Design and Implementation,2004:1-13.

[20] McKusick M K,Quinlan S.GFS:Evolution on Fast-forward[J].ACM Queue,2009,7(7):10-20.

[21] Jones T,Koniges A,Yates R K.Performance of the IBM General Parallel File System[C]//the 14th International Symposium on Parallel and Distributed Processing,2000:673-681.

[22] Zhang H,Wu W,Dong X.A High Availability Mechanism for Parallel File System[C]//the6th International Workshop on Advanced Parallel Processing Technologies(APPT 2005),LMCS 3756,2005:194-203.

[23] Kim J,Kim I,Kim T,et.al.Design and Implementation of Metworking Virtualization for Cluster File System[C]//the2009 IEEE International Conference on Computation Science and Its Application,2009:79-83.

[24] 曹鴻.支持智能條帶化的并行文件系統(tǒng)管理平臺的設(shè)計與實現(xiàn)[D].廣州:華南理工大學(xué)計算機科學(xué)與工程學(xué)院碩士論文,2007.

Research on the Performance of Distributed File System

ZHAO Tie.zhu YUAN Hua.q iang
(Engineering and Technology Institute,Dongguan University of Technology,Dongguan 523808,China)

With the developmentofmass data storage and I/O intensive applications,I/O increasingly becomes the performance bottleneck of distributed storage system and the distributed file system is the importantway to solve the problem of I/O bottleneck.How to systematically study the performance factor and optimize scheme of the distributed file system is an important research topic.This paper systematically elaborates the referred performance research of the distributed file system,analyzing the key performance impact factors of the distributed file system,and providing the design and performance optimization research of distributed file system.

distributed file system;data storage;performance factor;performance optimization

TP311

A

1009-0312(2014)01-0020-05

2013-04-01

廣東省自然科學(xué)基金資助項目(S2012040007746);國家自然科學(xué)基金資助項目(61170216)。

趙鐵柱(1983—),男,湖南婁底人,博士,主要從事分布式并行計算、分布式存儲、云計算等研究。

猜你喜歡
磁盤海量條帶
一種傅里葉域海量數(shù)據(jù)高速譜聚類方法
解決Windows磁盤簽名沖突
電腦愛好者(2019年2期)2019-10-30 03:45:31
海量快遞垃圾正在“圍城”——“綠色快遞”勢在必行
當代陜西(2019年14期)2019-08-26 09:42:00
修改磁盤屬性
磁盤組群組及iSCSI Target設(shè)置
創(chuàng)建VSAN群集
一個圖形所蘊含的“海量”巧題
基于條帶模式GEOSAR-TOPS模式UAVSAR的雙基成像算法
基于 Savitzky-Golay 加權(quán)擬合的紅外圖像非均勻性條帶校正方法
一種基于MATLAB的聲吶條帶圖像自動拼接算法
海岸工程(2014年4期)2014-02-27 12:51:28
太康县| 阳原县| 许昌县| 新兴县| 清丰县| 塘沽区| 丰都县| 平顺县| 华容县| 搜索| 平阴县| 莫力| 宜春市| 日喀则市| 苏尼特左旗| 旬邑县| 马尔康县| 礼泉县| 江津市| 汶川县| 东明县| 新绛县| 壤塘县| 南城县| 抚松县| 福泉市| 公主岭市| 丰宁| 乐清市| 大竹县| 饶阳县| 会昌县| 大英县| 正镶白旗| 德庆县| 开阳县| 唐海县| 徐州市| 湖口县| 大宁县| 潞城市|