文/凌霞

1　存儲安全背景和現(xiàn)狀

1.1　存儲數(shù)據(jù)安全風(fēng)險分析

隨著我國信息化建設(shè)逐步推進和完善，企業(yè)信息化程度不斷提高，數(shù)據(jù)已成為企業(yè)的重要資源，數(shù)據(jù)的安全性、可靠性越來越成為企業(yè)生存和發(fā)展的關(guān)鍵，數(shù)據(jù)安全保護成為每個企業(yè)需要解決的重要課題。

國外權(quán)威機構(gòu)統(tǒng)計，造成數(shù)據(jù)損失的最大原因是非計劃宕機，30%由硬件故障導(dǎo)致，其中存儲設(shè)備故障對數(shù)據(jù)威脅最大，后果最嚴重硬件故障30%，其他分別是操作失敗27%，軟件25%，應(yīng)用15%其他3%。

1.2　存儲設(shè)備硬件可用性分析

影響存儲可用性因素主要有故障率和修復(fù)周期，其中存儲的修復(fù)周期包括RAID重建和備件更換周期，據(jù)統(tǒng)計實際應(yīng)用中修復(fù)周期平均為3天，所以故障率成為決定存儲可用性的關(guān)鍵指標。

存儲設(shè)備主要由存儲控制器和硬盤組成，兩者的設(shè)計平均無故障時間（MTTF）為百萬小時以上，其平均年故障率為0.88%，但在實際使用中，硬盤受外界因素（讀寫壓力、電源、溫度等）影響，故障率遠大于設(shè)計值。

本企業(yè)借助服務(wù)器虛擬化技術(shù)，將60多個子系統(tǒng)整合到由4臺服務(wù)器與一臺存儲組成的虛擬化平臺中，在減少物理服務(wù)器的同時，存儲的數(shù)據(jù)變得高度集中，出現(xiàn)了“雞蛋放入一個籃子”的現(xiàn)象。如何提高虛擬環(huán)境下存儲可用性，保證存儲數(shù)據(jù)的安全，是我們在減少物理服務(wù)器的同時，存儲的數(shù)據(jù)變得高度集中，

出現(xiàn)了“雞蛋放入一個籃子”的現(xiàn)象。如何提高虛擬環(huán)境下存儲可用性，保證存儲數(shù)據(jù)的安全，是我們將要探討解決的課題。

2　存儲高可用性的技術(shù)標準與實現(xiàn)方法

2.1　存儲高可用性的技術(shù)標準

評價存儲設(shè)備高可用性的標準有很多，經(jīng)過實踐和研究，可以從技術(shù)和應(yīng)用兩方面進行分析：

2.1.1技術(shù)標準：存儲系統(tǒng)的故障恢復(fù)指標

技術(shù)標準就是對存儲高可用性技術(shù)在性能上提出相應(yīng)標準，主要分以下兩方面

業(yè)界一般使用RPO與RTO兩個參數(shù)來衡量存儲系統(tǒng)的故障恢復(fù)指標。

RPO（Recovery Point Objective）是指發(fā)生故障時可接受的最大可容忍數(shù)據(jù)丟失。不同的數(shù)據(jù)復(fù)制技術(shù)，將會影響數(shù)據(jù)的丟失等級，其中同步數(shù)據(jù)復(fù)制技術(shù)使RPO可以達到秒級。

RTO（Recovery TimeObjective）是指故障發(fā)生后，從系統(tǒng)宕機導(dǎo)致業(yè)務(wù)停止開始到完全恢復(fù)之間的時間段。不同的系統(tǒng)切換技術(shù)，直接影響RTO的效率，其中系統(tǒng)自動恢復(fù)技術(shù)可以使RTO達到秒級

可見構(gòu)建高可用存儲環(huán)境，在設(shè)備故障率上要求就是盡可能將設(shè)備故障率進一步降低；在設(shè)備故障恢復(fù)指標上的要求就是使RPO和RTO達到相關(guān)業(yè)務(wù)系統(tǒng)的要求，同時將業(yè)務(wù)中斷時間與數(shù)據(jù)丟失盡可能趨近于零。

2.1.2應(yīng)用標準

應(yīng)用標準就是對存儲高可用性技術(shù)的適用性提出的標準，主要包括：

讀寫性能：是指基于該技術(shù)構(gòu)建的存儲高可用性系統(tǒng)具有較好的讀寫性能，在讀寫次數(shù)（IOPS）和吞吐率上無明顯下降。

兼容性能：是指基于該技術(shù)構(gòu)建的存儲高可用性系統(tǒng)能夠充分兼容不同品牌、型號的存儲設(shè)備，同時也能兼容各種操作系統(tǒng)。

實施性能：主要指基于該技術(shù)構(gòu)建的存儲高可用性系統(tǒng)無需對現(xiàn)有結(jié)構(gòu)做大的改動，實施時中斷業(yè)務(wù)時間較短。

管理性能：主要指基于該技術(shù)構(gòu)建存儲高可用性系統(tǒng)易于運維和擴展。

2.2　存儲高可用性的傳統(tǒng)方法

目前實現(xiàn)存儲高可用性的較常見技術(shù)是基于操作系統(tǒng)和基于存儲系統(tǒng)兩種，兩者各有優(yōu)缺點。

2.2.1基于操作系統(tǒng)的存儲高可用性

基于操作系統(tǒng)實現(xiàn)存儲高可用性是利用操作系統(tǒng)來實現(xiàn)數(shù)據(jù)鏡像。這種技術(shù)的優(yōu)點是對不同存儲設(shè)備的兼容性較好；缺點是需要特定的操作系統(tǒng)支持，在現(xiàn)有系統(tǒng)環(huán)境中實現(xiàn)難度太大；會增加服務(wù)器資源開銷，甚至可能影響正常的系統(tǒng)運行。因此，這種技術(shù)具有相當(dāng)?shù)木窒扌?，對些特殊的?yīng)用無法支持，比如：oracle rac。當(dāng)業(yè)務(wù)系統(tǒng)比較龐大，會造成系統(tǒng)部署難度加大、管理復(fù)雜度增加

2.2.2基于存儲系統(tǒng)的存儲高可用性

基于存儲系統(tǒng)的存儲高可用性是利用存儲間復(fù)制技術(shù)實現(xiàn)。這種技術(shù)的優(yōu)點是功能強大，效率高，不占用操作系統(tǒng)資源；缺點是對存儲的型號要求較高，通常是局限在同一型號之間；存儲系統(tǒng)故障切換需要一定的時間。這種技術(shù)適合同品牌存儲構(gòu)建小型存儲高可用性系統(tǒng)時使用

2.3　存儲高可用性的虛擬化技術(shù)

鑒于傳統(tǒng)技術(shù)在實現(xiàn)存儲高可用性上存在諸多不足的現(xiàn)狀，目前一種解決存儲高可用性的新技術(shù)——存儲虛擬化。

2.3.1存儲虛擬化架構(gòu)和原理

存儲虛擬化是在物理存儲系統(tǒng)和服務(wù)器之間增加一個虛擬層，它管理和控制所有存儲并對服務(wù)器提供存儲服務(wù)。

存儲虛擬化技術(shù)就是把不同品牌、不同架構(gòu)、不同容量、不同性能的存儲整合成一個存儲資源池——虛擬存儲，提供統(tǒng)一有效的存儲服務(wù)。相當(dāng)于將存儲卷管理的功能從服務(wù)器系統(tǒng)遷移到了存儲虛擬化設(shè)備上，存儲虛擬化設(shè)備工作于服務(wù)器系統(tǒng)和存儲系統(tǒng)之間，對于所有的物理存儲來說，存儲虛擬化設(shè)備是服務(wù)器；而對于服務(wù)器來說，存儲虛擬化設(shè)備則是存儲，存儲虛擬化設(shè)備整合所有的物理存儲上的邏輯卷形成虛擬存儲池，然后根據(jù)應(yīng)用實際需求劃分虛擬存儲，由虛擬存儲來為服務(wù)器提供存儲服務(wù)。服務(wù)器不直接與存儲硬件打交道，存儲配置變化對服務(wù)器層完全透明。

圖1：虛擬機的傳統(tǒng)存儲與虛擬化架構(gòu)存儲

圖2：存儲虛擬化的鏡像標識

2.3.2存儲虛擬化實現(xiàn)高可用性的方式

存儲虛擬化技術(shù)實現(xiàn)存儲高可用性主要是通過存儲虛擬化設(shè)備進行數(shù)據(jù)鏡像來實現(xiàn)的。

虛擬數(shù)據(jù)鏡像是一種新型的存儲虛擬化設(shè)備的工作方式，由存儲虛擬化設(shè)備負責(zé)將數(shù)據(jù)同時向兩個鏡像存儲數(shù)據(jù)之間進行寫復(fù)制，且保持虛擬存儲之間的數(shù)據(jù)同步；為了確保虛擬存儲讀寫數(shù)據(jù)的可靠性和連續(xù)性，數(shù)據(jù)必須在不同存儲系統(tǒng)之間鏡像，如果其中一個存儲系統(tǒng)失效或需要存儲離線維護時，存儲虛擬化設(shè)備仍然能繼續(xù)提供存儲的訪問服務(wù)，當(dāng)失效的存儲系統(tǒng)恢復(fù)服務(wù)時，存儲虛擬化設(shè)備自動重新進行虛擬鏡像存儲之間的數(shù)據(jù)同步，保證不同存儲間數(shù)據(jù)一致。

3　存儲虛擬化高可用性的應(yīng)用

3.1　存儲系統(tǒng)的目前架構(gòu)

3.1.1實際環(huán)境的現(xiàn)狀

本企業(yè)虛擬服務(wù)器環(huán)境由4片刀片服務(wù)器、1臺DS 5300存儲、2臺光纖交換機組成，如圖1，運行了60個虛擬機系統(tǒng)。 DS 5300作為虛擬服務(wù)器的數(shù)據(jù)存儲，虛擬服務(wù)器數(shù)據(jù)定期進行備份。

3.1.2實際環(huán)境的存儲高可用性亟待提高

現(xiàn)有存儲架構(gòu)在故障率、故障恢復(fù)上都存在不足。雖然DS5300已經(jīng)是全冗余的企業(yè)級存儲子系統(tǒng)，但從整個系統(tǒng)層面考慮，DS5300是整個系統(tǒng)的單點故障點。在故障率方面，由于整個系統(tǒng)的數(shù)據(jù)存儲在DS5300上，因此存在單點故障，很難將故障率進一步降低。在故障恢復(fù)方面，目前使用VDP工具在每天凌晨對虛擬服務(wù)器進行數(shù)據(jù)備份，虛擬服務(wù)器數(shù)據(jù)量已達5T，一旦DS5300發(fā)生故障，將損失一天的數(shù)據(jù)，且數(shù)據(jù)恢復(fù)過程至少4個小時，現(xiàn)有存儲結(jié)構(gòu)和已無法降低RTO和RPO的指標，整個系統(tǒng)的數(shù)據(jù)安全存在隱患。

3.2　存儲虛擬化的設(shè)備選型

IBM、HDS、EMC等許多廠商都提供了存儲虛擬化的產(chǎn)品，企業(yè)需要根據(jù)自身實際情況，選擇適合的存儲虛擬化產(chǎn)品。主要可從以下4方面考慮：

（1）支持兩個以上的存儲間進行數(shù)據(jù)復(fù)制，避免存儲單點故障，且產(chǎn)品本身具有雙機冗余的工作方式。

（2）支持數(shù)據(jù)同步復(fù)制，具備故障自動快速恢復(fù)能力，以降低RPO與RTO。

（3）具備廣泛的兼容性，能夠兼容現(xiàn)有的系統(tǒng)與存儲、良好讀寫性能、易于部署、易于實施、管理簡單、綜合成本合理。

（4）充分考慮產(chǎn)品的成熟度與技術(shù)運維支持能力。

綜合以上幾點，及企業(yè)的現(xiàn)狀，選擇IBM卷控制器(簡稱SVC)存儲虛擬化產(chǎn)品來提高企業(yè)的存儲高可用性。

3.3　存儲虛擬化的架構(gòu)設(shè)計

為了在實施期間減少對虛擬機系統(tǒng)的影響，降低實施難度，保留原系統(tǒng)架構(gòu)，只需將一對SVC控制器接入原SAN網(wǎng)絡(luò)即可，物理連接圖（見圖3-1）。SVC控制器在正常工作狀態(tài)下，會把寫入數(shù)據(jù)同時寫到DS5300和DS5020存儲中，確保數(shù)據(jù)冗余，起到對業(yè)務(wù)數(shù)據(jù)保護的作用

當(dāng)主存儲系統(tǒng)DS5300出現(xiàn)故障時，SVC控制器會自動把數(shù)據(jù)讀寫路徑切換到備存儲系統(tǒng)DS5020上，由于SVC控制器為主機提供存儲服務(wù)，SVC控制器數(shù)據(jù)鏈路切換對于主機來說是透明，所以主機上的應(yīng)用無需其它操作，依然可以繼續(xù)運行，SVC控制器確保了整個系統(tǒng)的RPO和RTO都達到了0。

3.4　存儲虛擬化的實施步驟

完成上述架構(gòu)改造后（圖1），對現(xiàn)有的存儲和SVC進行以下配置：

（1）在DS5300存儲上創(chuàng)建一個邏輯盤，由16塊容量為600G 15K 光纖硬盤，以RAID 5的方式組成，在邏輯盤中再創(chuàng)建一個6.54T大小的邏輯卷，并將邏輯卷映射給SVC使用。

（2）在DS5020上進行同樣的邏輯卷的創(chuàng)建，并映射給SVC使用。

（3）在SVC中將以上兩個存儲邏輯卷以image模式（不做條帶化處理保留原來格式，必要時可以脫離SVC直接使用）進行同步鏡像，組成一個虛擬卷，并將這個虛擬卷映射給虛擬服務(wù)器使用。

（4）為了提高系統(tǒng)讀寫性能，將較高性能的DS5300的邏輯卷設(shè)置為主卷（見圖2中帶*），負責(zé)系統(tǒng)的全部讀寫，較低性能DS5020的邏輯卷則為從卷，只進行鏡像同步寫入。

（5）在虛擬服務(wù)器中加入來自SVC的邏輯卷，使用動態(tài)存儲遷移功能對虛擬機進行在線遷移。

3.5　存儲虛擬化的技術(shù)評估

3.5.1設(shè)備故障率的評估

預(yù)設(shè)條件：按照存儲有16塊盤，組成RAID5；硬盤年故障率為5%；設(shè)備修復(fù)時間為3天；存儲故障指在第一塊硬盤故障修復(fù)期內(nèi)，再發(fā)生1塊硬盤故障導(dǎo)致RAID 5失效，設(shè)備故障恢復(fù)性能評估。

對DS5300存儲的硬盤模擬損壞測試，當(dāng)人為拔出2塊硬盤時，RAID 5和主卷已經(jīng)失效。

RTO測試：SVC自動主從卷切換，從卷5秒內(nèi)自動接管，對外提供的服務(wù)未發(fā)生中斷，全過程無需人工干預(yù)。

RPO測試：SVC采用同步鏡像方式，故障發(fā)生后，對虛擬機系統(tǒng)進行檢查，未發(fā)生數(shù)據(jù)丟失。

通過模擬故障實驗可以看出，的RTO和RPO近似為零，與實施之前（RTO約4小時、RPO約1天）相比，存儲可用性得到有效提高。

3.5.2存儲虛擬化綜合應(yīng)用的性能評估

評價存儲系統(tǒng)的讀寫性能有2個指標分別是每秒讀寫次數(shù) (IOPS)和每秒讀寫吞吐速率（MBPS）,使用測試軟件HD TUNE PRO先對DS5300和DS5020的卷分別進行測試，然后將這兩個卷通過SVC組成的虛擬卷進行同樣的測試，其結(jié)果如下：

讀寫次數(shù)測試：三者的IOPS讀性能基本一致；在寫性能上，DS5300在數(shù)據(jù)塊小于4K時性能較好，DS5020則相對較差，而SVC提供的寫性能處于兩者之間，更加接近于DS5300。

吞吐率測試：三者的吞吐率在讀性能上基本一致；在寫性能上，數(shù)據(jù)塊大于32K時DS5300寫性能優(yōu)勢明顯，DS5020性能最差，SVC的寫性能介于二者之間，更接近于DS5300的性能。

通過以上測試可以看出，SVC的讀寫性能處于DS5300和DS5020之間，更加接近于性能最好的DS5300，SVC組成的存儲系統(tǒng)讀寫性能無明顯下降。

4　存儲虛擬化高可用性的總結(jié)與展望

通過存儲高可用性的實現(xiàn)方式進行研究和分析，針對傳統(tǒng)存儲可用性存在的不足，提出利用存儲虛擬化技術(shù)來實現(xiàn)存儲高可用性的解決思路。同時，實現(xiàn)存儲虛擬化在企業(yè)的應(yīng)用實例，證明了該技術(shù)不僅能夠保持存儲現(xiàn)有性能和只需對存儲架構(gòu)進行微調(diào)的前提下，達到高可用性的目標，而且具有良好的擴展性和靈活性，為今后系統(tǒng)的擴展預(yù)留了空間。

綜上所述，我們認為存儲虛擬化技術(shù)不但可以應(yīng)用在新建系統(tǒng)設(shè)計中，還可以較好地應(yīng)用在現(xiàn)有系統(tǒng)的存儲高可用性改造和提升中。存儲虛擬化技術(shù)作為存儲高可用性技術(shù)的發(fā)展方向，值得企業(yè)在今后的系統(tǒng)架構(gòu)設(shè)計中不斷推廣應(yīng)用,同樣通過存儲虛擬技術(shù)建立應(yīng)用系統(tǒng)的容災(zāi)備份系統(tǒng)。