劉頎桓 李永強

摘要：本文以重慶農(nóng)村商業(yè)銀行信貸影像系統(tǒng)建設工程項目為背景， 論述了使用華賽VIS6000，N8500系列產(chǎn)品，通過存儲虛擬化，持續(xù)數(shù)據(jù)保護和容災的系統(tǒng)架構(gòu)設計，實現(xiàn)了硬件存儲異構(gòu)條件下的異地持續(xù)數(shù)據(jù)保護，為金融IT應用系統(tǒng)安全性，穩(wěn)定性和數(shù)據(jù)保護作了有益的實踐。

關(guān)鍵詞：CDP災難備份 數(shù)據(jù)保護 金融IT

一、信貸影像系統(tǒng)整體應用框架

1、工程背景

重慶農(nóng)村商業(yè)銀行成立于2008年6月，是在原重慶市農(nóng)村信用社、農(nóng)村合作銀行基礎上組建的股份制商業(yè)銀行，是全國第三家、中西部首家省級農(nóng)村商業(yè)銀行。2010年12月16日于香港H股上市，是首家在香港上市的中國農(nóng)村商業(yè)銀行。資本金70億元，總資產(chǎn)規(guī)模超過2500億元，下轄1家營業(yè)部，43家支行，1700多個營業(yè)機構(gòu)，從業(yè)人員1.3萬余名，注冊資本金居全國農(nóng)村商業(yè)銀行之首，是重慶市資產(chǎn)規(guī)模最大、存款規(guī)模最大、服務網(wǎng)點最多的地方金融機構(gòu)，也是重慶市最大的涉農(nóng)貸款銀行、中小企業(yè)融資銀行和個人信貸銀行。

原重慶農(nóng)村信用社于2007年開發(fā)了信貸管理系統(tǒng)并上線運行，但在重慶農(nóng)村信用社統(tǒng)一法人、成立重慶農(nóng)村商業(yè)銀行后，管理體制和制度辦法均發(fā)生了巨大變化，現(xiàn)有的信貸管理系統(tǒng)已不能滿足重慶農(nóng)村商業(yè)銀行管理現(xiàn)狀和要求，新一代信貸管理系統(tǒng)的建設，要求實現(xiàn)全市200多萬筆信貸業(yè)務的全面在線流程化審批和影像資料的電子化管理，面臨信貸影像數(shù)據(jù)的存儲和關(guān)鍵數(shù)據(jù)庫的異地容災等業(yè)務難題。如何建立一套高效、可靠、完善的災備系統(tǒng)對這些重要數(shù)據(jù)進行連續(xù)有效多層次的保護提上IT議事日程。

2、技術(shù)框架設計

新一代信貸影像系統(tǒng)要求實現(xiàn)信貸數(shù)據(jù)管理及流程化審批，在存儲上分為結(jié)構(gòu)化數(shù)據(jù)的存儲（即通用的數(shù)據(jù)庫）和非結(jié)構(gòu)化數(shù)據(jù)的存儲（掃描件，文件，圖片的存儲平臺）。由于數(shù)據(jù)存儲量大，特別是影像資料部分，一筆貸款信息可能涉及到成百上千的資料信息，掃描件等，且這些影像資料在掃描存儲后，需要在整個信貸管理生命周期中隨時調(diào)閱和查看，同時信貸資料的重要性高，且在線流程化審批要求實時性高，就要求有實時，安全，完整的數(shù)據(jù)備份機制。

考慮到原有的硬件和存儲設備只使用了兩年，在系統(tǒng)整體技術(shù)設計時必須盡量使用好原有的硬件存儲設備，那么就存在一個存儲備份異構(gòu)的問題。

綜合考慮以上種種要求，在信貸影像系統(tǒng)整體技術(shù)架構(gòu)設計時，采用了CDP的存儲備份策越，使用了群集技術(shù)、存儲虛擬化技術(shù)、復制和快照技術(shù)，全面的滿足了系統(tǒng)整體架構(gòu)要求。系統(tǒng)整體技術(shù)框架設計如圖2.1

如圖，整個系統(tǒng)應用使用B/S架構(gòu)，后臺搭建應用服務器集群。在生產(chǎn)中心數(shù)據(jù)庫和內(nèi)容管理平臺（采用IBM CM技術(shù)）采用雙機模式。和災備中心間通過CDP技術(shù)實現(xiàn)數(shù)據(jù)級的實時容災，分別對結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)進行數(shù)據(jù)同步容災處理。在災備中心由于采用的是利舊的設備，所以存儲設備與生產(chǎn)中心異構(gòu)，這種異構(gòu)的處理通過CDP存儲虛擬化的技術(shù)進行解決。

根據(jù)系統(tǒng)整體架構(gòu)設計圖，結(jié)構(gòu)化數(shù)據(jù)存儲分別使用了IBM 8100和 IBM 6800存儲設備，非結(jié)構(gòu)化數(shù)據(jù)存儲使用了華賽的N8500 NAS存儲設備，通過華賽的VIS6000存儲虛擬化產(chǎn)品連接生產(chǎn)中心與災備中心，實現(xiàn)CDP持續(xù)數(shù)據(jù)保護。

二、存儲與災備技術(shù)

1、群集技術(shù)

VIS6000群集采用負載均衡的群集方式，每一臺VIS6000為雙控制器設置，可以提供2節(jié)點的群集，即每一個控制器都可以看成是群集中的一個節(jié)點。

由于每臺VIS6000的處理性能有限，當應用環(huán)境規(guī)模龐大，且對性能要求較高時，就需要用到多臺VIS6000的群集。VIS6000可支持2，4，6，8節(jié)點的群集，隨著節(jié)點的增加，群集的處理性能也會線性增長。

VIS6000集群中的每個節(jié)點都能訪問連接到VIS6000集群中的存儲陣列，并向應用服務器提供無差異的集群服務。各節(jié)點可以并發(fā)處理應用服務器的I/O請求，且各節(jié)點間互為備份，可以均衡負載。當一個節(jié)點發(fā)生硬件或軟件故障時，應用程序可將其執(zhí)行的I/O操作傳送給集群中的備用節(jié)點，從而保障業(yè)務能夠連續(xù)的運行而不受影響。

VIS6000集群有一個唯一的域名稱（域ID），集群初始化時通過“主從競爭”產(chǎn)生一個主節(jié)點（每個集群有且僅有一個主節(jié)點），其他節(jié)點為從節(jié)點。主節(jié)點作為集群的管理樞紐，負責協(xié)調(diào)和分發(fā)集群的配置命令到各集群節(jié)點執(zhí)行。通過集群的“事務”機制來保證集群各節(jié)點配置操作的一致性。各節(jié)點共享配置信息，都可以向前端主機提供服務。當主節(jié)點離線或故障后，集群會重新通過“主從競爭”產(chǎn)生一個新的主節(jié)點。

VIS6000集群的各節(jié)點間通過心跳網(wǎng)絡進行通信，傳遞集群管理信息和業(yè)務調(diào)度信息。集群網(wǎng)絡與其它網(wǎng)絡隔離，每一個節(jié)點的通信網(wǎng)口和交換機冗余配置，當其中一個交換機或網(wǎng)口故障時，集群仍可以通過另一條冗余的網(wǎng)絡鏈路進行通信。

VIS6000集群采用Active-Active的存儲架構(gòu)，正常情況下各節(jié)點同時工作，并發(fā)處理主機的業(yè)務請求。各節(jié)點互為備份，當其中一個或多個節(jié)點發(fā)生故障的時候，剩余節(jié)點會快速地自動接管故障節(jié)點的業(yè)務，保證業(yè)務運行的連續(xù)性。

故障切換的原則是將故障節(jié)點上的業(yè)務切換到負載較輕的節(jié)點上，節(jié)點負載的輕重通過多路徑軟件計算出的I/O數(shù)來進行衡量。由于支持這種硬件級別的故障切換，隨著集群節(jié)點數(shù)目的增多，集群也變得更可靠。

2、數(shù)據(jù)遷移技術(shù)

VIS6000是華為賽門鐵克科技有限公司提供的專業(yè)數(shù)據(jù)遷移設備，能夠支持異構(gòu)環(huán)境下的存儲設備間的數(shù)據(jù)遷移，兼容性強、對當前系統(tǒng)的影響較小、遷移效果比較顯著。

VIS6000數(shù)據(jù)遷移無須在現(xiàn)有環(huán)境中安裝任何軟件或代理，在遷移過程中，業(yè)務不會中斷，可以持續(xù)進行，遷移的過程中可以通過控制遷移的速度，將對業(yè)務的影響控制在很低的水平。

特有的數(shù)據(jù)校驗機制，能夠在數(shù)據(jù)遷移完成后檢驗數(shù)據(jù)移動的情況，通過特有的校驗算法來驗證數(shù)據(jù)的一致性，保證數(shù)據(jù)的完整性、正確性、有效性，增強客戶對關(guān)鍵信息安全性的信息。

使用VIS6000提供的數(shù)據(jù)遷移方案進行現(xiàn)網(wǎng)環(huán)境下的數(shù)據(jù)遷移，能夠有效的將不同廠商、不同類型的存儲系統(tǒng)進行有效的整合，無需購買額外的產(chǎn)品或設備，保證客戶的低成本。

3、存儲虛擬化技術(shù)

存儲虛擬化的定義：通過對存儲(子)系統(tǒng)或存儲服務的內(nèi)部功能進行抽象、隱藏或隔離，使存儲或數(shù)據(jù)的管理與應用、服務器、網(wǎng)絡資源的管理分離，從而實現(xiàn)應用和網(wǎng)絡的獨立管理。 存儲虛擬化把多個、多種存儲設備通過一定的方式統(tǒng)一管理起來，提供大容量、高數(shù)據(jù)傳輸性能的存儲系統(tǒng)。

物理設備掛接到VIS6000上后，VIS6000接手對這些設備的管理，并且在受其控制的物理磁盤上寫入標識信息，使物理磁盤成為VIS6000的“VM磁盤”?！癡M磁盤”是一個邏輯的概念。這樣，就為物理設備和邏輯設備建立了對應關(guān)系。應用服務器在訪問磁盤的時候需要通過VM磁盤來找到物理磁盤。

當有一個或多個物理磁盤被置于VIS6000控制之下時，VIS6000將在這些物理磁盤上創(chuàng)建為卷，每個卷可以跨越多個物理磁盤。在應用服務器（文件系統(tǒng)、數(shù)據(jù)庫或其他應用系統(tǒng)）看來，訪問卷和訪問物理磁盤的方法是一樣的。虛擬對象組合起來形成卷。卷中包含的虛擬對象有：VM 磁盤、磁盤組、子磁盤和 plex。

子磁盤是VM磁盤的一部分，是劃分磁盤的單元，代表磁盤中某一連續(xù)區(qū)域，一個VM磁盤可以分成一個或多個子磁盤；磁盤組是一組VM磁盤的集合；而Plex由一個或者多個子磁盤組成，這些子磁盤可來自于一個或多個物理磁盤；卷是一個虛擬的存儲設備，卷上可以創(chuàng)建文件系統(tǒng)。它由一個或多個Plex組成。

如上所訴，VIS6000存儲虛擬化是基于存儲網(wǎng)絡的虛擬化，通過為數(shù)據(jù)管理系統(tǒng)提供了一層虛擬的“卷”的邏輯設備，來屏蔽異構(gòu)存儲設備的差異，并通過對邏輯卷的管理，克服硬件設備的物理局限性和差異性，使邏輯卷可以跨越多個物理磁盤。

4、復制與快照技術(shù)

VIS6000的數(shù)據(jù)復制是基于交換層的復制技術(shù)，與Symantec SF（storage foundation）軟件結(jié)合，通過特有的日志卷功能和快照代理技術(shù)保證復制數(shù)據(jù)的完整性、正確性、有效性。

本項目建設中，采用VIS6000異步準實時復制。異步數(shù)據(jù)復制是在“線路帶寬和距離能保證完成數(shù)據(jù)復制過程，同時，異地數(shù)據(jù)復制不影響生產(chǎn)系統(tǒng)的性能”這樣的要求下提出來的。異步數(shù)據(jù)復制跟同步復制最大的區(qū)別在于生產(chǎn)中心不需要等到數(shù)據(jù)成功的寫到災備中心，就能進行下一個I/O 操作，并且可以在更遠的范圍內(nèi)進行部署。其原理如圖2.2

1. 生產(chǎn)中心的主機寫入數(shù)據(jù)到生產(chǎn)中心的VIS6000；

2. 生產(chǎn)中心的VIS6000將數(shù)據(jù)寫入到生產(chǎn)中心的日志卷；

3. 日志卷寫入數(shù)據(jù)成功以后，生產(chǎn)中心的VIS6000返回“確認”信號給生產(chǎn)中心的主機，以便主機下發(fā)新的數(shù)據(jù)；

4. 生產(chǎn)中心的VIS6000將數(shù)據(jù)寫入到生產(chǎn)中心的生產(chǎn)卷，同時向災備中心的VIS6000發(fā)出數(shù)據(jù)寫入請求；

5. 災備中心的VIS6000接收到寫入請求后，返回“確認”信號給生產(chǎn)中心的VIS6000;

6. 災備中心的VIS6000將數(shù)據(jù)寫入到災備中心的復制卷；

7. 數(shù)據(jù)成功寫入到災備中心的復制卷后，災備中心的VIS6000返回“完成”信號給生產(chǎn)中心的VIS6000

快照（Snapshot）的定義是：對指定數(shù)據(jù)集合的一個完全可用拷貝，該拷貝包含源數(shù)據(jù)在拷貝時間點的靜態(tài)映像?？煺湛梢允菙?shù)據(jù)再現(xiàn)的一個副本或者復制。

VIS6000提供在指定時間點創(chuàng)建卷映像的功能，這樣的映像稱為卷快照。使用快照，可以聯(lián)機創(chuàng)建卷的備份副本，備份副本可用于恢復因磁盤故障、軟件錯誤或是人為錯誤而丟失的數(shù)據(jù)。

三、系統(tǒng)實現(xiàn)與展望

1、系統(tǒng)實現(xiàn)

本金融IT系統(tǒng)容災實現(xiàn)使用華為賽門鐵克的N8500存儲設備及VIS6000虛擬化網(wǎng)關(guān)，使用CDP數(shù)據(jù)備份技術(shù)，其硬件設備關(guān)鍵部件全冗余，并通過群集技術(shù)、RAID保護等多種技術(shù)保障系統(tǒng)可靠性，最大限度保障了整個系統(tǒng)的可靠性與穩(wěn)定性，很好的滿足了信貸管理系統(tǒng)的業(yè)務連續(xù)性要求。

使用通過部署華為賽門鐵克VIS6000虛擬化網(wǎng)關(guān)，利用VIS6000的在線遷移技術(shù)，在不影響業(yè)務正常運轉(zhuǎn)的基礎上將數(shù)據(jù)遷移至新購的N8500后端存儲單元，遷移完成后對數(shù)據(jù)進行有效的校驗，保障遷移過程中不造成數(shù)據(jù)的丟失，用高可用的數(shù)據(jù)遷移方案解決了數(shù)據(jù)遷移中常見的遷移后數(shù)據(jù)不一致的問題

通過華為賽門鐵克虛擬化網(wǎng)關(guān)的虛擬化管理技術(shù)，在不影響網(wǎng)絡環(huán)境的前提下，將原有DS8100存儲，DS6800存儲和新增的N8500存儲統(tǒng)一整合進行資源調(diào)配，建立統(tǒng)一的資源池，應用服務器對數(shù)據(jù)庫的訪問不受任何影響。

采用VIS6000虛擬化網(wǎng)關(guān)的容災方案嚴格記錄下每一IO的順序，并且按照此順序?qū)O發(fā)到災備中心，由此來保護數(shù)據(jù)一致性。當網(wǎng)絡故障的時候，生產(chǎn)中心的數(shù)據(jù)寫入到日志卷上，日志卷會將這些數(shù)據(jù)記錄下來。日志卷的大小可以根據(jù)容災網(wǎng)絡時間允許的最大斷網(wǎng)時間來進行設定。當網(wǎng)絡恢復的時候，從日志卷里可以將沒有及時發(fā)送的數(shù)據(jù)發(fā)送到容災中心去。

重慶農(nóng)村商業(yè)銀行新一代信貸影像系統(tǒng)的整體設計，采用了基于CDP備份的多種技術(shù)，大大提高了系統(tǒng)健壯性、安全性、高效性，同時設計架構(gòu)上對未來新增存儲、主機等設備接入提供了簡單方便的接入管理平臺，為重慶農(nóng)村商業(yè)銀行信貸影像系統(tǒng)后期的擴容升級，提供了極大的便利。

2、展望

數(shù)據(jù)備份技術(shù)經(jīng)過10年的發(fā)展，已經(jīng)步入一個嶄新的發(fā)展階段，數(shù)據(jù)復制、快照、CDP等技術(shù)受到更多人的關(guān)注。CDP概念的出現(xiàn)使得用戶擁有了一個連續(xù)備份的夢想，CDP的愿景極具吸引力，且部分大型存儲廠商已經(jīng)推出類似CDP產(chǎn)品。但CDP也存在一些不足，如價格相對較貴、對存儲容量要求較高、技術(shù)標準和規(guī)范還不夠成熟、產(chǎn)品化和市場占有量還不高等等。

但隨著數(shù)據(jù)備份技術(shù)的發(fā)展，新的理念和技術(shù)將逐步取代舊的方法，CDP容災和備份技術(shù)的發(fā)展，必定將推動IT數(shù)據(jù)備份向更高標準的方向前進。

參考文獻：

[1] 華為賽門鐵克VIS技術(shù)白皮書

[2] 劉立輝基于CDP的醫(yī)院信息系統(tǒng)備份方案的研究.2011年

[3] 顏軍 CDP:引發(fā)存儲災備技術(shù)革命 2006年