崔蓓蓓，姜麗

(1.徽商職業(yè)學院 電子信息系，安徽 合肥 230001；2.國防科技大學 電子對抗學院，安徽 合肥 230000)

非結(jié)構(gòu)化數(shù)據(jù)快速發(fā)展，存儲壓力進一步增大，而在云計算的環(huán)境中，存儲的分布式，網(wǎng)絡環(huán)境的虛擬化，使存儲資源進一步池化。如何減少存儲碎片化，提高云環(huán)境下存儲效率是本文考慮的重點，“存儲網(wǎng)格”是國際上提出的全新概念。

計算與存儲在過去30年中一直未能同步發(fā)展，回顧其發(fā)展歷程，處理器和網(wǎng)絡帶寬分別提升了3000倍和1000倍，而磁盤和內(nèi)存帶寬僅提升120倍，落后于摩爾定律[1]。阿姆達爾定律認為，系統(tǒng)中最慢部分存儲的效率決定整個系統(tǒng)的效率。2012 年全球信息數(shù)據(jù)達到 2.1ZB(1ZB= 240GB)[2]。估計到 2020 年，全球總的數(shù)據(jù)量將達到35ZB，為了提升資源的利用效率，最終導致計算、存儲架構(gòu)的分離，訪問控制技術朝著細化粒度、多級層次的方向發(fā)展，存儲虛擬化(storage virtualization)屏蔽物理層，實現(xiàn)物理存儲的邏輯化，提高了存儲效率，存儲網(wǎng)格式是在存儲虛擬化之上提出的新概念。存儲網(wǎng)格式在虛擬化[3]環(huán)境下解決了跨域的分散存儲，然而虛擬網(wǎng)格式存儲又給數(shù)據(jù)的容災備份和尋址帶來挑戰(zhàn)，本文在考慮通過低顆粒度存儲的同時，通過Erasure Code編碼的動態(tài)網(wǎng)格存儲技術，研究通過DHT尋址、從而提高虛擬存儲效率。

1 虛擬存儲模型

圖1 SNIA存儲虛擬技術的分類圖

虛擬化發(fā)展歷經(jīng)了三個主要階段，從基于主機的虛擬化、基于設備的虛擬化到目前基于網(wǎng)絡的虛擬存儲。網(wǎng)絡虛擬存儲可以整合多個存儲子系統(tǒng)，目前的網(wǎng)絡存儲技術(Network Storage Technologies)大致分為三種：直連式存儲(DAS：Direct Attached Storage)、網(wǎng)絡存儲設備 (NAS：Network Attached Storage)和存儲網(wǎng)絡(SAN：Storage Area Network)[4]。現(xiàn)在借用SNIA(存儲網(wǎng)絡工業(yè)協(xié)會)的分類方法，來觀察網(wǎng)絡虛擬化存儲和系統(tǒng)資源的關系。圖1為SNIA虛擬化存儲層次圖。

虛擬存儲系統(tǒng)將各類存儲資源進行整合，形成一個統(tǒng)一的資源管理池，提高資源的利用率，解決非結(jié)構(gòu)化數(shù)據(jù)快速增長與存儲力相對不足的矛盾。在虛擬管理模塊中，根據(jù)數(shù)據(jù)通道管理位置，分為帶內(nèi)(In-Band)和帶外(Out-of-Band)管理[5]兩部分，屏蔽物理位置限制，形成一個大的“存儲池”，為網(wǎng)格存儲提供了資源依據(jù)，而采用Erasure code保證數(shù)據(jù)訪問的安全性，對于存儲資源的尋址采用負載均衡使用哈希數(shù)據(jù)路由[6]提高尋址效率。

2 Storage Grid用戶態(tài)的數(shù)據(jù)模型

Storage GRID存儲和管理大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)的下一代對象存儲，2017年NetApp推出了NetApp Storage GRID Webscale將存儲網(wǎng)格推向新的高度，NetApp在用戶端與SAN之間添加中繼層，擴展存儲網(wǎng)格。然而學術界尚未對網(wǎng)格存儲引起足夠重視，存儲網(wǎng)格為公有云提供了共享數(shù)據(jù)，分散用戶對數(shù)據(jù)的頻繁換進和換出，處理器以block塊為調(diào)度單位的顆粒度的較大，進一步細分Data Blocks，提供顆粒度更細的內(nèi)容存儲，提高存儲資源的利用效率[7]，圖2為DataBlocks數(shù)據(jù)結(jié)構(gòu)圖。

圖2 DataBlocks數(shù)據(jù)結(jié)構(gòu)

將分散的DataBlocks定義為D={D1,D2,L,Dn}，其中n表示 DataBlocks的數(shù)目，其資源在虛擬機的位置集合V={V1,V2,L,Vm}，m表示虛擬機的總數(shù)。物理機上虛擬機位置向量為H={hi1,hi2,L,Dim}，當系統(tǒng)調(diào)用存儲資源時，需要消耗cpu、內(nèi)存、網(wǎng)絡帶寬和存儲用向量Pi=(SCi,SMi,SNi,SHi)表示，相應的虛擬機的系統(tǒng)態(tài)資源GridTablei=(sci,smi,sni,shi)。F=min(Pused)，物理資源使用越少，資源利用率越高。

在進程調(diào)度過程中，用戶態(tài)下對資源的動態(tài)訪問的數(shù)據(jù)模型，可以定義為：GridTable[j]=(storage[j],active[j],domain[j],MaxOline[j])。

storage[j]是指第j個虛擬主機存儲云的存儲能力指數(shù)，單位為字節(jié)；

active[j]，表示第j個虛擬機是否占用活動的資源；

domain[j]，表示第j個虛擬機在虛擬云中區(qū)域范圍；

oline[j]，表示第j個虛擬主機存儲云在線連接數(shù)；

MaxOline[j]，表示第j個虛擬機能夠分配的最大在線連接數(shù)。

存儲節(jié)點存放Data Blocks文件，Storage Grid 根據(jù)這些信息執(zhí)行數(shù)據(jù)管理，Grid主要從解決存儲資源的數(shù)量級的角度出發(fā)。Grid在使存儲的顆粒度變小的同時，考慮虛擬主機動態(tài)執(zhí)行過程，將 blocks 塊進行網(wǎng)格式劃分，并將Storage Grid的動態(tài)化執(zhí)行過程用簡單的算法模型表示，在網(wǎng)格存儲的顆粒度研究上具有一定的積極意義。

3 Erasure code 的數(shù)據(jù)冗余機制

3.1 Erasure code的編碼

多資源池的數(shù)據(jù)同步訪問，需要跨站點的數(shù)據(jù)同步能力，在保持隨時隨地訪問數(shù)據(jù)能力的同時，要保持數(shù)據(jù)訪問的安全性，如何利用有限的存儲資源滿足迅速膨脹的存儲需求成為一個巨大挑戰(zhàn)。采用多副本策略在滿足存儲可靠、優(yōu)化數(shù)據(jù)讀寫性能的同時可能造成資源利用率低的缺陷。Erasure code編碼的存儲策略可以提高存儲資源的利用效率。Erasure Code(N+M)的數(shù)據(jù)方式進行數(shù)據(jù)冗余保護，有效地提網(wǎng)格的利用效率，如果客戶端需要N個DataBlack，進行冗余校驗時需要M個校驗塊，其空間利用率為N/(M+N)。如果有任意小于M的數(shù)據(jù)失效，仍然能通過剩下的數(shù)據(jù)還原出來。也就是說，通常N+M的erasure編碼，能容M塊數(shù)據(jù)故障的場景，這時候的存儲成本是1+M/N，通常M

3.2 Erasure Code的解碼

Erasure Code對N個Data blocks原始數(shù)據(jù)塊進行編碼，編碼后產(chǎn)生M個數(shù)據(jù)塊(M>N),從編碼后的M個數(shù)據(jù)塊進行解碼還原出原始數(shù)據(jù)塊，而部分存儲的損失，不影響數(shù)據(jù)的恢復[9]。根據(jù)圖3可知，如n2、n4、n6出現(xiàn)存儲故障,系統(tǒng)態(tài)會從其他節(jié)點或硬盤把n2、n4、n6數(shù)據(jù)進行重建出來，n1、n3、n5、m1、m2、m3為一個EC條帶，當校驗塊增大時，開銷增大，圖3為DataBlack的Erasure Code冗余備份圖。

圖3 N+M的Erasure Code冗余

Erasure code編碼解決了存儲的穩(wěn)定性，提高了空間的利用效率，但編碼、解碼尚屬于復雜的數(shù)學運算，是以犧牲一定的計算性能為代價的。目前erasure code還僅適用于對冷數(shù)據(jù)的離線處理階段，如何從根本上降低erasure code帶來的performance overhead，使得編碼存儲技術得以真正大量適用，將為大數(shù)據(jù)存儲[8]帶來不容質(zhì)疑的重大意義。當前，Microsoft、Google、Facebook、Amazon、阿里巴巴等互聯(lián)網(wǎng)巨頭將erasure code編碼存儲技術應用于主流存儲系統(tǒng)中。

4 Erasure code 的冗余網(wǎng)格數(shù)據(jù)DHT尋址機制

對存儲的研究除提高存儲效率，增加存儲的額外備份之外[9]，最重要之處是保證數(shù)據(jù)的安全性，跨域的核心數(shù)據(jù)備份將能很大程度降低由于宕機而造成的數(shù)據(jù)丟失，本節(jié)通過跨域的冗余策略及DHT的尋址方式來闡述數(shù)據(jù)的完整性保護。新增或減少映射節(jié)點時盡可能少地避免原有的映射關系，使數(shù)據(jù)能均勻的分布在各個節(jié)點。我們稱這種算法為一致性Hash算法，又稱分布式哈希DHT[10]。

具體步驟為：

(1)將共享存儲的數(shù)據(jù)塊用Erasure Code進行冗余編碼；

(2)根據(jù)在線存儲節(jié)點的性能參數(shù)獲取存儲節(jié)點群，并將文件分布式地儲在當前域內(nèi)的存儲節(jié)點中，保存文件的存儲路由表信息；

(3)將文件的最低級目錄利用hash算法進行尋址。

采用DHT的方法，將物理節(jié)點node映射到2k的環(huán)狀拓撲結(jié)構(gòu)上，總空間為2k-1，通過hash

圖4分布式存儲系統(tǒng)DHT數(shù)據(jù)路由

(node)%2k，物理節(jié)點建立了與hash環(huán)的聯(lián)系，如果在IPv4的環(huán)境下可以取k=32，node在hash環(huán)上的映射位置將表現(xiàn)為實際的物理地址，將存儲對象DataBlocks的數(shù)據(jù)塊以同樣的方式映射到hash環(huán)上，即hash(DataBlocks)%2k=key，這樣就建立了DataBlack和node的唯一聯(lián)系，當node的節(jié)點增加或減少時，只影響附近的一個節(jié)點，不會影響全部節(jié)點的數(shù)據(jù)。

分布式Hash技術，天然支持分布式自動精簡配置(Thin Provisioning)，無須預先分配空間。由于DHT具有動態(tài)維護的特征，允許節(jié)點的自動加入或退出，在虛擬的計算環(huán)境中形成DHT的覆蓋網(wǎng)絡，而不考慮存儲節(jié)點的具體屬性。

5 結(jié)論

存儲網(wǎng)格主要解決存儲資源的數(shù)量級的問題，Storage GRID 為存儲和管理大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)[10]的下一代對象存儲，StorageGRID 將架構(gòu)在VMware虛擬機架構(gòu)之上，將塊存儲以更小的網(wǎng)格化呈現(xiàn)，使算法在滿足用戶需求的前提下，提高存儲資源的利用率，減少碎片化的概率。

存儲網(wǎng)格主要解決了存儲資源的數(shù)量級的問題，并能提供支持多種應用，在研究過程中會遇到多應用，多站點，多種訪問協(xié)議的情況，可采用對存儲資源訪問保留策略，包括在一段時間內(nèi)對放置位置、存儲級別、副本數(shù)量進行日志記錄和刪除。網(wǎng)格存儲采用分布式塊存儲，具有高性能，采用分布式哈希數(shù)據(jù)路由實現(xiàn)負載均衡，采用Erasure code對數(shù)據(jù)進行有效備份，用DHT的進行數(shù)據(jù)路由，使分布式網(wǎng)格存儲在虛擬化存儲的條件下具有更高的可靠性，單個物理設備的故障不影響業(yè)務使用，支持高擴展性非集中式訪問，支持平滑擴展，容量不受限制，易管理。