牛小杰

摘 要隨著企業(yè)信息化水平的不斷提升，信息業(yè)務(wù)數(shù)據(jù)容量和重要程度也不斷提高，核心業(yè)務(wù)數(shù)據(jù)往往支撐大范圍業(yè)務(wù)辦公運(yùn)作和決策，如發(fā)生丟失或損壞后果將不可想象。因此，如何通過掌握存儲(chǔ)系統(tǒng)底層架構(gòu)原理并制定正確的數(shù)據(jù)存儲(chǔ)備份恢復(fù)模式，利用合理的存儲(chǔ)備份措施保護(hù)企業(yè)信息數(shù)據(jù)成為當(dāng)今大數(shù)據(jù)時(shí)代存儲(chǔ)設(shè)備應(yīng)用的新課題。

【關(guān)鍵詞】數(shù)據(jù)存儲(chǔ) 磁盤陣列 備份 恢復(fù)

1 緒論

國際上信息化應(yīng)用較為發(fā)達(dá)的國家對(duì)數(shù)據(jù)存儲(chǔ)備份技術(shù)發(fā)展快應(yīng)用廣，但在國內(nèi)仍處于較初級(jí)的階段。隨著信息技術(shù)的不斷進(jìn)步，存儲(chǔ)備份技術(shù)也逐步由單磁盤模式向多磁盤陣列組及數(shù)據(jù)高可用、數(shù)據(jù)傳輸、備份恢復(fù)機(jī)制、容災(zāi)等領(lǐng)域拓展。發(fā)展過程中不僅存儲(chǔ)容量在發(fā)生著巨大的變化，在存儲(chǔ)數(shù)據(jù)存儲(chǔ)方式、傳輸類型、備份容錯(cuò)機(jī)制等多方面都有了巨大的進(jìn)步。

依托現(xiàn)有OSI網(wǎng)絡(luò)模型，數(shù)據(jù)的共享與傳遞也逐漸從依賴主機(jī)系統(tǒng)向依賴網(wǎng)絡(luò)系統(tǒng)發(fā)展。同時(shí)隨著集群技術(shù)、故障轉(zhuǎn)移技術(shù)、應(yīng)用負(fù)載等系統(tǒng)應(yīng)用機(jī)制的產(chǎn)生以及企業(yè)對(duì)數(shù)據(jù)重要性的高度重視，應(yīng)用業(yè)務(wù)系統(tǒng)逐漸從單服務(wù)器運(yùn)行走向多服務(wù)器承載。在企業(yè)中大量的應(yīng)用服務(wù)器部署已經(jīng)非常普遍，僅僅依靠服務(wù)器自身的raid技術(shù)很難對(duì)本身磁盤數(shù)據(jù)進(jìn)行完善的管理優(yōu)化，突發(fā)的存儲(chǔ)部件故障損壞更讓運(yùn)維工程師對(duì)恢復(fù)數(shù)據(jù)頭疼不已。

而現(xiàn)階段不少企業(yè)的主要信息化投入在企業(yè)網(wǎng)絡(luò)建設(shè)、信息安全和業(yè)務(wù)應(yīng)用開發(fā)建設(shè)等方面，對(duì)最基本的數(shù)據(jù)保護(hù)重視程度不足。在如何確定合理的數(shù)據(jù)存儲(chǔ)備份需求、備份恢復(fù)機(jī)制和策略制定、存儲(chǔ)技術(shù)和產(chǎn)品選擇等方面的研究深度不夠、投入不足。為擺脫盲從局面，降低重要業(yè)務(wù)數(shù)據(jù)被破壞或者丟失風(fēng)險(xiǎn)，盡可能避免對(duì)企業(yè)日常業(yè)務(wù)造成的巨大影響和損失，加強(qiáng)存儲(chǔ)知識(shí)及該領(lǐng)域更深層次的研究是非常有必要的，在企業(yè)信息化建設(shè)前期就做好數(shù)據(jù)容災(zāi)規(guī)劃，并通過高質(zhì)量的實(shí)施和嚴(yán)格運(yùn)行管理，提升數(shù)據(jù)存儲(chǔ)備份保障能力，降低數(shù)據(jù)損壞風(fēng)險(xiǎn)。

本文主要結(jié)合實(shí)際工作中企業(yè)存儲(chǔ)產(chǎn)品網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)、存儲(chǔ)備份實(shí)施建設(shè)經(jīng)驗(yàn)和數(shù)據(jù)恢復(fù)案例等技術(shù)要點(diǎn)，為進(jìn)一步提升企業(yè)存儲(chǔ)備份能力提供參考。

2 企業(yè)網(wǎng)絡(luò)存儲(chǔ)的實(shí)施及改進(jìn)案例

2.1 基本思路

隨著企業(yè)信息化業(yè)務(wù)的不斷擴(kuò)展，為了保證數(shù)據(jù)的可靠性、安全性，根據(jù)存儲(chǔ)實(shí)施需求，將多個(gè)業(yè)務(wù)應(yīng)用子系統(tǒng)部署于NetApp存儲(chǔ)盤陣上，部署方式采用SAN架構(gòu)網(wǎng)絡(luò)存儲(chǔ)，并且通過主備兩套存儲(chǔ)完成數(shù)據(jù)同步復(fù)制備份機(jī)制。

存儲(chǔ)部署需要考慮到如下幾個(gè)因素：

2.1.1 數(shù)據(jù)安全性

重要業(yè)務(wù)系統(tǒng)均采取應(yīng)用負(fù)載均衡或HA高可用模式且數(shù)據(jù)庫文件存放在存儲(chǔ)上，使數(shù)據(jù)更為安全可靠；單設(shè)備業(yè)務(wù)系統(tǒng)可將數(shù)據(jù)庫文件與備份數(shù)據(jù)文件分別放在物理服務(wù)器或存儲(chǔ)上，通過數(shù)據(jù)庫備份計(jì)劃任務(wù)可靈活掌握數(shù)據(jù)庫文件備份，保證數(shù)據(jù)文件有2至3份以上，如果主數(shù)據(jù)損壞且嘗試修復(fù)無果的情況下，應(yīng)可利用最近還原點(diǎn)備份數(shù)據(jù)進(jìn)行恢復(fù)還原；

2.1.2 高性能

方案采用雙機(jī)容錯(cuò)模式的存儲(chǔ)組成高可靠，高可用的數(shù)據(jù)存儲(chǔ)平臺(tái)，應(yīng)用分布式部署在兩套存儲(chǔ)系統(tǒng)的4個(gè)控制器上，能有效保障各存儲(chǔ)更好的發(fā)揮性能，不會(huì)產(chǎn)生存儲(chǔ)性能上的瓶頸。

2.1.3 高可用

避免存在單點(diǎn)故障，大到主機(jī)、存儲(chǔ)設(shè)備，小到網(wǎng)絡(luò)線纜、光纖線纜、HBA卡等均是冗余容錯(cuò)的；無論是主機(jī)或存儲(chǔ)設(shè)備出現(xiàn)故障，均可通過主/備份兩套存儲(chǔ)系統(tǒng)保證數(shù)據(jù)的完整性。

2.1.4 數(shù)據(jù)通信最小化

在光纖交換機(jī)上創(chuàng)建基于端口的Hardware Zoning而盡量避免使用Software Zoning，對(duì)數(shù)據(jù)進(jìn)行物理隔離，有效保障數(shù)據(jù)通信安全性。

2.1.5 合理的備份機(jī)制

為有效減免設(shè)備損壞、誤操作等因素帶來的不必要損失，采用存儲(chǔ)備份技術(shù)保存多份數(shù)據(jù)副本。

3 網(wǎng)絡(luò)存儲(chǔ)產(chǎn)品選擇

為保障業(yè)務(wù)可用性，存儲(chǔ)架構(gòu)中所部署存儲(chǔ)系統(tǒng)需滿足企業(yè)存儲(chǔ)需求，存儲(chǔ)系統(tǒng)應(yīng)適用于主流數(shù)據(jù)庫、電子郵件和信息發(fā)送、主目錄合并以及災(zāi)難恢復(fù)等應(yīng)用的企業(yè)SAN存儲(chǔ)架構(gòu)。存儲(chǔ)產(chǎn)品在采購選型過程中應(yīng)注意考慮存儲(chǔ)設(shè)備管理及維護(hù)、存儲(chǔ)設(shè)備性能穩(wěn)定性、存儲(chǔ)自有成熟備份機(jī)制智能化程度較高的產(chǎn)品。這樣整套存儲(chǔ)可根據(jù)企業(yè)業(yè)務(wù)需要更易于部署和使用，性能更高而成本更低。

4 存儲(chǔ)磁盤架構(gòu)規(guī)劃

以企業(yè)存儲(chǔ)磁盤架構(gòu)規(guī)劃案例說明，該企業(yè)存儲(chǔ)架構(gòu)中采用NetApp存儲(chǔ)產(chǎn)品V3240（主存儲(chǔ)）及Fas3210（備份存儲(chǔ)），V3240存儲(chǔ)系統(tǒng)共滿配48塊600GB SAS磁盤，F(xiàn)as3210存儲(chǔ)系統(tǒng)滿配24塊2TBSAS磁盤，為保證存儲(chǔ)控制器CPU占用，根據(jù)設(shè)計(jì)要求各存儲(chǔ)控制器負(fù)責(zé)管理存儲(chǔ)磁盤柜中的一半磁盤；存儲(chǔ)中所有磁盤劃分為Raid-DP類型，如存在某一塊磁盤發(fā)生故障后，熱備盤會(huì)自動(dòng)替換受損磁盤。熱備盤的特點(diǎn)在于不包含數(shù)據(jù)，不管是哪個(gè)RAID組的盤損壞了，都可以替換，也就是說熱備盤是全局起作用的，而不是屬于哪個(gè)Raid Group。熱備盤會(huì)自動(dòng)替換損壞的盤，替換磁盤需于損壞磁盤類型大小一樣，替換速度非?？?。

在Aggregate上為各業(yè)務(wù)劃分Volume（卷），Volume在邏輯上相當(dāng)于我們PC上的一塊磁盤。而NetApp的SnapShot快照技術(shù)是基于Volume來做的，Volume的大小可以調(diào)整，而快照空間也是可以自動(dòng)擴(kuò)展的。

在了解存儲(chǔ)邏輯空間大小后，根據(jù)各個(gè)業(yè)務(wù)系統(tǒng)需要，為各個(gè)業(yè)務(wù)系統(tǒng)劃分足夠空間最后單獨(dú)在每個(gè)Volume卷上劃分單獨(dú)的lun（邏輯單元號(hào)），lun通過FC SAN映射到服務(wù)器操作系統(tǒng)上。

5 存儲(chǔ)網(wǎng)絡(luò)架構(gòu)規(guī)劃

主備存儲(chǔ)各有兩個(gè)控制器，各控制器使用一個(gè)管理以太端口及兩個(gè)業(yè)務(wù)以太端口，控制器業(yè)務(wù)端口通過端口聚合技術(shù)將兩端口合并成一組業(yè)務(wù)端口用以增加I/O數(shù)據(jù)傳輸。

網(wǎng)絡(luò)存儲(chǔ)架構(gòu)設(shè)計(jì)示意圖如圖1所示。

從上圖可以看出，該存儲(chǔ)系統(tǒng)拓?fù)浣Y(jié)構(gòu)包含八臺(tái)服務(wù)器，共四套業(yè)務(wù)系統(tǒng)，在存儲(chǔ)架構(gòu)中采用Fibre Chanel SAN架構(gòu)，涉及操作系統(tǒng)包含RedhatEnterprise Linux 6.3；Windows Server 2008 R2以及IBM AIX及業(yè)務(wù)數(shù)據(jù)庫Oracle 11g R2 、Mysql；中間件包括IBM WAS；Tomcat。各系統(tǒng)都通過HBA卡以FC-SAN方式連接存儲(chǔ)盤陣。

6 存儲(chǔ)備份功能測(cè)試

為切實(shí)保障此次存儲(chǔ)實(shí)施存儲(chǔ)產(chǎn)品具備良好的管理操作性、存儲(chǔ)硬件高可用及具備企業(yè)級(jí)容災(zāi)數(shù)據(jù)備份恢復(fù)機(jī)制，對(duì)NetApp Data ONTAP存儲(chǔ)操作系統(tǒng)、存儲(chǔ)控制器雙活雙控高可靠性以及數(shù)據(jù)同步復(fù)制、快照等存儲(chǔ)技術(shù)進(jìn)行全面測(cè)試。

通過對(duì)存儲(chǔ)設(shè)備應(yīng)用管理操作性測(cè)試表明該存儲(chǔ)系統(tǒng)具有良好的統(tǒng)一管理特性，使日常系統(tǒng)管理只需要在同一系統(tǒng)平臺(tái)下通過瀏覽器形式便能完成絕大部分日常管理工作；其復(fù)雜的存儲(chǔ)狀態(tài)信息，網(wǎng)絡(luò)配置，功能選項(xiàng)都可在GUI界面中查看。

在硬件高可用方面，NetApp存儲(chǔ)系統(tǒng)雙控雙活機(jī)制可以做到在發(fā)生硬件故障（如磁盤損壞，電源、風(fēng)扇掉電，網(wǎng)絡(luò)故障）的情況下，使用系統(tǒng)的RAID保護(hù)結(jié)構(gòu)和容余配置對(duì)系統(tǒng)進(jìn)行自動(dòng)故障排除或磁盤接管，該特點(diǎn)較好地減少可管理的復(fù)雜性并且保證了系統(tǒng)運(yùn)行的高可用性。

在快照備份方面，在測(cè)試磁盤中寫入數(shù)據(jù)后在存儲(chǔ)系統(tǒng)中對(duì)測(cè)試存儲(chǔ)卷手動(dòng)創(chuàng)建SnapShot快照點(diǎn)，在測(cè)試卷磁盤中刪除測(cè)試數(shù)據(jù)，取消掛載磁盤后重新還原快照文件，還原后在掛載磁盤中數(shù)據(jù)又還原至初始測(cè)試數(shù)據(jù)內(nèi)容。

在數(shù)據(jù)災(zāi)難性備份還原測(cè)試中，分別在主存儲(chǔ)源端建立卷vol_test和目的端存儲(chǔ)建立備份測(cè)試卷vol_test_bak，并將源端數(shù)據(jù)映射到測(cè)試系統(tǒng)上，開啟同步傳輸備份機(jī)制，在源端映射磁盤LUN中寫入測(cè)試數(shù)據(jù)，由于測(cè)試采取同步傳輸備份機(jī)制，所以馬上中斷同步傳輸備份，刪除磁盤上的測(cè)試數(shù)據(jù)，此時(shí)的主存儲(chǔ)源端數(shù)據(jù)已經(jīng)被徹底刪除無法恢復(fù)。能否通過同步傳輸備份反向傳輸數(shù)據(jù)還原主存儲(chǔ)測(cè)試數(shù)據(jù)在此一舉，首先離線操作系統(tǒng)上掛載的存儲(chǔ)磁盤，通過resync數(shù)據(jù)反向傳輸機(jī)制將原目的端vol_test_bak改成源端，源端vol_test改成目的端，從存儲(chǔ)管理系統(tǒng)中開啟數(shù)據(jù)反向反向傳輸，數(shù)據(jù)自動(dòng)將備份數(shù)據(jù)vol_test_bak傳輸回vol_test中，重新掛載磁盤到操作系統(tǒng)上。測(cè)試結(jié)果顯示原測(cè)試刪除測(cè)試數(shù)據(jù)又回到了測(cè)試服務(wù)器上，同步傳輸備份功能測(cè)試通過。經(jīng)過存儲(chǔ)備份功能綜合測(cè)試，確認(rèn)該存儲(chǔ)產(chǎn)品功能及性能初步滿足業(yè)務(wù)需求。

7 存儲(chǔ)架構(gòu)優(yōu)化分析

目前企業(yè)內(nèi)部存儲(chǔ)架構(gòu)采用的是兩級(jí)存儲(chǔ)平臺(tái)架構(gòu)：工作級(jí)在線存儲(chǔ)和近似在線的近線存儲(chǔ)，由于兩臺(tái)存儲(chǔ)采用存儲(chǔ)備份技術(shù)備份，既保存實(shí)體數(shù)據(jù)又保存?zhèn)浞輸?shù)據(jù)，主存儲(chǔ)承擔(dān)工作級(jí)存儲(chǔ)角色，備份存儲(chǔ)則擔(dān)當(dāng)了近線存儲(chǔ)的角色。為更有效保障數(shù)據(jù)安全，僅保存一份數(shù)據(jù)副本往往還是不夠安全的，可以考慮在現(xiàn)有技術(shù)基礎(chǔ)上通過增加NAS文件備份存儲(chǔ)系統(tǒng)，將現(xiàn)有在線存儲(chǔ)、近線存儲(chǔ)二層傳統(tǒng)存儲(chǔ)數(shù)據(jù)方式變更為在線存儲(chǔ)、近線存儲(chǔ)和離線存儲(chǔ)的三層存儲(chǔ)架構(gòu)，離線存儲(chǔ)的數(shù)據(jù)不常被調(diào)用，NAS作為離線存儲(chǔ)主要是用于對(duì)在線存儲(chǔ)的數(shù)據(jù)進(jìn)行文件級(jí)備份，以防范可能發(fā)生的數(shù)據(jù)災(zāi)難。

8 業(yè)務(wù)系統(tǒng)存儲(chǔ)備份機(jī)制優(yōu)化

按照行業(yè)內(nèi)通用的基本存儲(chǔ)備份機(jī)制實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)保護(hù)，使用主備2套磁盤存儲(chǔ)陣列，通過存儲(chǔ)備份技術(shù)實(shí)時(shí)同步及計(jì)劃快照備份系統(tǒng)數(shù)據(jù)，優(yōu)點(diǎn)是當(dāng)業(yè)務(wù)系統(tǒng)服務(wù)器出現(xiàn)問題后可通過將備份存儲(chǔ)數(shù)據(jù)回傳技術(shù)將業(yè)務(wù)斷點(diǎn)時(shí)數(shù)據(jù)完全恢復(fù)回原狀態(tài)。缺點(diǎn)是通過光纖掛載存儲(chǔ)無法從存儲(chǔ)本身或其他方式查看到實(shí)際備份存儲(chǔ)中數(shù)據(jù)文件，只有掛載到操作系統(tǒng)中才允許查看。底層數(shù)據(jù)塊備份機(jī)制雖然有效減少帶寬負(fù)載，但是該機(jī)制無法確定數(shù)據(jù)有效性，為提升數(shù)據(jù)存儲(chǔ)可靠性，最大程度降低數(shù)據(jù)丟失損壞的風(fēng)險(xiǎn)，通過對(duì)上述存儲(chǔ)備份技術(shù)和產(chǎn)品的研究，結(jié)合業(yè)務(wù)系統(tǒng)生產(chǎn)環(huán)境的實(shí)際情況，對(duì)其存儲(chǔ)備份機(jī)制和措施進(jìn)行了優(yōu)化提升，具體優(yōu)化措施包括：

使用計(jì)劃快照任務(wù)實(shí)現(xiàn)對(duì)相應(yīng)存儲(chǔ)空間每日0點(diǎn)的快照備份服務(wù)，當(dāng)生產(chǎn)環(huán)境下業(yè)務(wù)數(shù)據(jù)出現(xiàn)損壞或數(shù)據(jù)丟失情況下可通過計(jì)劃快照將數(shù)據(jù)還原到上次快照備份時(shí)間點(diǎn)。

部署NAS網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)，可通過操作系統(tǒng)的NFS、CIFS文件傳輸協(xié)議和SSL加密協(xié)議安全的將數(shù)據(jù)文件傳輸?shù)絅AS存儲(chǔ)系統(tǒng)上，實(shí)際數(shù)據(jù)文件可以從NAS存儲(chǔ)系統(tǒng)中查看到，當(dāng)業(yè)務(wù)系統(tǒng)出現(xiàn)故障后，可將計(jì)劃備份的NAS存儲(chǔ)數(shù)據(jù)恢復(fù)到任意一臺(tái)服務(wù)器上。其缺點(diǎn)在于傳輸速度比光纖慢，無法應(yīng)用于實(shí)時(shí)生產(chǎn)業(yè)務(wù)環(huán)境。在離線備份計(jì)劃中針對(duì)linux操作系統(tǒng)制定，使用計(jì)劃備份腳本定期對(duì)源數(shù)據(jù)全復(fù)制備份，針對(duì)windows操作系統(tǒng)采用NAS同步數(shù)據(jù)軟件建立數(shù)據(jù)備份空間，實(shí)時(shí)比對(duì)同步備份源數(shù)據(jù)，并生成6個(gè)不同的變更節(jié)點(diǎn)文件還原點(diǎn)。

通過上述優(yōu)化措施完成對(duì)業(yè)務(wù)系統(tǒng)數(shù)據(jù)的離線備份提升結(jié)合定期巡檢管理的強(qiáng)化，實(shí)現(xiàn)了在現(xiàn)有存儲(chǔ)備份計(jì)劃的多重保障。后續(xù)的進(jìn)一步優(yōu)化在于提升整體存儲(chǔ)備份能力級(jí)別，結(jié)合《信息系統(tǒng)災(zāi)難恢復(fù)規(guī)范》（GB/T 20988-2007）災(zāi)難恢復(fù)等級(jí)要求，優(yōu)化改進(jìn)RTO（恢復(fù)時(shí)間目標(biāo)）及RPO（恢復(fù)點(diǎn)目標(biāo)）達(dá)到更全面和深入的改造建設(shè)，對(duì)照提升整體存儲(chǔ)備份和恢復(fù)能力。

9 總結(jié)

本文對(duì)主流存儲(chǔ)設(shè)備的關(guān)鍵技術(shù)原理和作用，企業(yè)實(shí)施過程中存儲(chǔ)磁盤架構(gòu)、網(wǎng)絡(luò)架構(gòu)規(guī)劃的研究分析并且結(jié)合存儲(chǔ)備份業(yè)務(wù)文件系統(tǒng)修復(fù)案例說明存儲(chǔ)備份與企業(yè)應(yīng)用之間具有緊密聯(lián)系，為進(jìn)一步提升企業(yè)存儲(chǔ)備份能力提供參考。

參考文獻(xiàn)

[1]張東.存儲(chǔ)系統(tǒng)底層架構(gòu)原理極限剖析[J].大話存儲(chǔ)，2015（01）.

[2]殷蘇民.基于NetApp存儲(chǔ)設(shè)備與技術(shù)的企業(yè)網(wǎng)絡(luò)數(shù)據(jù)高效存儲(chǔ)與備份系統(tǒng)的研究[J].機(jī)械電子工程，2006（02）.

[3]劉衛(wèi)星.網(wǎng)絡(luò)存儲(chǔ)備份應(yīng)用技術(shù)研究[J].數(shù)字技術(shù)與應(yīng)用，2010（01）.

作者單位

核工業(yè)計(jì)算機(jī)應(yīng)用研究所 北京市 100822