朱嘉斌 黃問遂

(1.蘇州軌道交通建設有限公司 江蘇 蘇州 215003;2.上海華騰軟件系統(tǒng)有限公司 上海 200233)

地鐵清分中心是地鐵票務的最上層系統(tǒng)，主要負責票款交易在線網(wǎng)內(nèi)的存儲和清分清算，其災備是清分系統(tǒng)至關重要的組成部分，是實現(xiàn)清分系統(tǒng)不間斷運行、地鐵票務收益連續(xù)清分的前提保證條件。如何合理規(guī)劃與建設地鐵清分中心的災備系統(tǒng)，成為建設清分中心所必須要考慮的問題。

1 地鐵清分中心災備系統(tǒng)設計目標

地鐵清分中心災備系統(tǒng)按照災備實現(xiàn)的最終目標不同，分為數(shù)據(jù)容災和應用系統(tǒng)容災。數(shù)據(jù)容災，是指建立一個或多個異地的數(shù)據(jù)備份系統(tǒng);應用系統(tǒng)容災，是指在做好數(shù)據(jù)容災的基礎上，在異地建立與本地運營系統(tǒng)類似的備份應用系統(tǒng)，可以根據(jù)企業(yè)的風險評估做備份策略，做到實時切換，在主系統(tǒng)遇故障時可實時平滑切換到應用災備系統(tǒng)。顯而易見，兩者實現(xiàn)的代價不同:數(shù)據(jù)容災僅僅在原系統(tǒng)基礎上增加了數(shù)據(jù)備份空間，備份空間載體可以是大容量硬盤或者磁帶庫等存儲介質(zhì);應用系統(tǒng)容災則是在原系統(tǒng)基礎上額外建立一個獨立完整的系統(tǒng)，包括主機、硬盤等介質(zhì)，也包含系統(tǒng)軟件及專用的系統(tǒng)切換軟件。

為確定建設災備系統(tǒng)的配置規(guī)模，設計最符合用戶需求的清分中心災備系統(tǒng)，實現(xiàn)經(jīng)濟效益與工程社會效益最優(yōu)化的結合，需要考慮災備系統(tǒng)建設的經(jīng)濟代價、所運行業(yè)務受災的影響、災備等級和災難所需恢復的時間等多種因素，統(tǒng)籌平衡各種要素，建立數(shù)據(jù)模型，確定最合適的系統(tǒng)配置，如圖1所示。

圖1 系統(tǒng)建設代價與災難恢復時間和業(yè)務影響

下面以一般城市災備等級要求為例，綜合考慮經(jīng)濟因素，設計能夠?qū)崿F(xiàn)平滑過渡的應用系統(tǒng)容災方案。

2 應用系統(tǒng)容災設計方案

設計的清分中心應用系統(tǒng)容災方案，分本地主應用系統(tǒng)和異地備份系統(tǒng)兩大部分。主應用系統(tǒng)使用雙服務器、雙以太網(wǎng)交換機、雙存儲區(qū)域網(wǎng)絡(storage area network，SAN)交換機、雙冗余磁盤陣列、備份磁帶庫，異地備份系統(tǒng)采用磁盤陣列、單服務器、單交換機實現(xiàn)。主應用系統(tǒng)中的系統(tǒng)管理和異地備份系統(tǒng)間的同步管理由第三方服務器軟件實現(xiàn)。本方案能夠?qū)崿F(xiàn)數(shù)據(jù)庫、應用系統(tǒng)的在線備份，通過采用合適的備份策略(定時增量備份和全備份)，可以實現(xiàn)數(shù)據(jù)最大效率的完全備份存儲。容災設計方案所采用的硬件設備以及備份軟件都必須是成熟可靠的，是經(jīng)過市場多年檢驗的技術，否則難以確保方案符合系統(tǒng)復原的需求。同時，該方案提供的系統(tǒng)設計可以持續(xù)更新升級，具有可擴展性;能為后續(xù)備份系統(tǒng)的功能進一步增加提供充足的擴容空間，不浪費初期建設投資。

備份軟件必須實現(xiàn)清分中心、生產(chǎn)中心和災備中心磁盤陣列之間的遠程數(shù)據(jù)復制，從而確保生產(chǎn)中心和容災中心之間的數(shù)據(jù)一致性。本方案的特點是:數(shù)據(jù)復制過程完全由磁盤陣列控制，與主機無關，不會影響主機對存儲的訪問。采用本方案的好處:一是采取雙機備份技術，降低硬件故障;二是采用準實時的在線備份，降低誤操作或數(shù)據(jù)庫軟件故障;三是采取冗余的網(wǎng)絡接入措施，采用網(wǎng)絡互聯(lián)設備，保證99.9%的網(wǎng)絡正常連接(見圖2)。

2.1 主應用系統(tǒng)容災設計方案

對于地鐵清分中心這種實時性要求高的部門，需要IT系統(tǒng)有非常高的可靠性和系統(tǒng)可用性作為安全生產(chǎn)的基本保障。主應用系統(tǒng)容災是建立在雙機集群的運行環(huán)境上，所有服務器(包括應用服務器、通信服務器、數(shù)據(jù)服務器、加密機以及SAN交換機)均采用雙機并行方式，這樣系統(tǒng)的可靠性能得到大幅度提高。但是，通常后端的數(shù)據(jù)存儲仍然僅有一套。雖然存儲系統(tǒng)的設計從控制器、數(shù)據(jù)通道、I/O接口到磁盤環(huán)路都采用冗余結構，不存在系統(tǒng)本身的單點故障問題，但是考慮到數(shù)據(jù)存儲系統(tǒng)是整個業(yè)務系統(tǒng)的關鍵所在，數(shù)據(jù)安全性和整個系統(tǒng)的可靠性都集中到唯一的磁盤系統(tǒng)，一旦磁盤存儲系統(tǒng)發(fā)生故障，將會導致業(yè)務不能順利進行，對正常的生產(chǎn)造成不可挽回的損失。本設計采用IBM主機、企業(yè)級存儲DS5020以及LVM鏡像容錯加遠程點對點復制(PPRC)的方案，實現(xiàn)生產(chǎn)數(shù)據(jù)的本地高可用性和異地保護。在通常的雙機集群的基礎上，建立完全冗余的數(shù)據(jù)存儲系統(tǒng)，拓撲結構如圖3所示。

采用雙磁盤系統(tǒng)，通過數(shù)據(jù)復制的方式，在兩套磁盤系統(tǒng)之間實現(xiàn)數(shù)據(jù)同步，可以有效地避免由于單一磁盤系統(tǒng)發(fā)生故障而導致的系統(tǒng)意外宕機，充分提高了系統(tǒng)的連續(xù)可用性。這種雙磁盤系統(tǒng)數(shù)據(jù)同步復制機制，是基于IBM主機系統(tǒng)和IBM存儲系統(tǒng)相互配合的卷管理器(logical volume manager，LVM)的數(shù)據(jù)復制和容災方式，是目前技術成熟度高、實施快速簡便、應用行之有效的數(shù)據(jù)容災方式。采用這種方式，主應用系統(tǒng)通過集群軟件HACMP進行主機之間的接管，實現(xiàn)應用系統(tǒng)的高可用性;數(shù)據(jù)存儲系統(tǒng)可以采用LVM進行磁盤存儲系統(tǒng)之間的接管，實現(xiàn)應用存儲系統(tǒng)的高可用性。即使有一半的主機系統(tǒng)和一半的存儲系統(tǒng)發(fā)生故障，不能正常工作，整個系統(tǒng)也不會發(fā)生癱瘓，仍舊可以繼續(xù)運行，充分滿足客戶對高可靠性和連續(xù)可用性的要求。

應用LVM方案，對用戶的現(xiàn)有環(huán)境沒有改變，不存在數(shù)據(jù)集中遷移的問題，而且業(yè)務系統(tǒng)保持同時在線，不存在系統(tǒng)接管、應用重新啟動的問題，可以實現(xiàn)系統(tǒng)的平滑過渡。實施LVM方案，可以在相同型號或不同型號的IBM存儲產(chǎn)品之間進行。在實施IBM LVM的數(shù)據(jù)同步方案時，分別將磁盤系統(tǒng)A和B通過光纖存儲卡(HBA)連接到SAN交換機上，主機可有效地識別兩套存儲系統(tǒng)，對于應用沒有任何影響。在主機上，基于磁盤底層的LVM在兩套磁盤系統(tǒng)之間建立鏡像關系，實現(xiàn)數(shù)據(jù)同步。LVM可以提供操作系統(tǒng)級別的鏡像功能，即可以為一個存儲塊提供多份拷貝。該功能包含在邏輯卷管理中，可支持2～3份拷貝的鏡像，具有可選順序(sequential)和并行(parallel)兩種存取方式，在讀數(shù)據(jù)時可從先找到的拷貝處讀取，加快訪問速度。

圖2 應用系統(tǒng)容災物理拓撲

圖3 數(shù)據(jù)冗余拓撲

鏡像功能在數(shù)據(jù)損壞時，能夠從備份中(最多有3份備份)自動恢復，增強系統(tǒng)的可靠性。

2.2 異地應用系統(tǒng)容災設計方案

僅在本地實現(xiàn)容災是不夠的，還要考慮主系統(tǒng)的物理地點出現(xiàn)災難性破壞，地鐵清分中心系統(tǒng)需要設計異地災備系統(tǒng)。應用系統(tǒng)容災方案中的異地災備部分能夠完全實現(xiàn)主系統(tǒng)的各項功能，是一個獨立完整的系統(tǒng)。異地災備部分主要由歷史數(shù)據(jù)服務器、應用服務器、通信服務器、加密機、磁盤存儲、SAN交換機、工作站等組成。由于異地災備部分與本地主系統(tǒng)之間距離一般不超過15 km，且機房之間可以通過裸光纖連接，所以將異地容災系統(tǒng)的存儲通過裸光纖與主應用系統(tǒng)磁盤存儲連接，實現(xiàn)數(shù)據(jù)鏡像;歷史數(shù)據(jù)服務器、應用服務器、通信服務器則通過交換機、防火墻、路由器與本地主系統(tǒng)路由器相連，實現(xiàn)本地系統(tǒng)失效后異地災備的平滑系統(tǒng)接管。

2.3 異地數(shù)據(jù)備份技術

采用操作系統(tǒng)的鏡像復制、交易緩存/重做機制等技術并組合應用，可以實現(xiàn)異地數(shù)據(jù)備份更優(yōu)的目標。

2.3.1 操作系統(tǒng)的鏡像復制

利用通用的IP網(wǎng)絡傳遞數(shù)據(jù)，無需專門的網(wǎng)絡引擎。這種方式和應用(尤其是數(shù)據(jù)庫應用)結合較緊，在數(shù)據(jù)一致性、完整性上保證較好，與數(shù)據(jù)庫的日志文件基本一致;采用操作系統(tǒng)(OS)級數(shù)據(jù)復制方式，具有配置靈活、價格低、高性能等特征。但是，這種方式最大的缺點是在生產(chǎn)主機上資源占用太大，復制的壓力太大。一個大型系統(tǒng)，如果既要保證系統(tǒng)能正常運行，又要做大量的復制和備份工作，就會成本太高。在交易十分繁忙的應用場合，采用這種方式交易數(shù)據(jù)只能用異步方式傳送到遠程站點，即定期、成批地把累積數(shù)據(jù)發(fā)送到異地備份中心。因此，對數(shù)據(jù)庫應用來說，異步不能保證數(shù)據(jù)庫的一致性，容易造成數(shù)據(jù)庫癱瘓。該方式(Veritas VR)特有的IO log技術，能保證異步方式數(shù)據(jù)庫的一致性。

為了實現(xiàn)數(shù)據(jù)的同步，利用數(shù)據(jù)鏡像功能LVM，為已有的磁盤A(即圖4的本地數(shù)據(jù))添加一個拷貝，并將其鏡像設備指定為磁盤B(即圖4的異地數(shù)據(jù))。

在正常工作模式下，數(shù)據(jù)的寫入操作如圖4所示，其中AIX為高級交互式操作系統(tǒng)(下同)。

生產(chǎn)系統(tǒng)對磁盤A的“本地數(shù)據(jù)”的任何更新都實時在磁盤B的“異地數(shù)據(jù)”得到更新，“本地數(shù)據(jù)”和“異地數(shù)據(jù)”的更新方式可以選擇順序方式或者并行方式，建議使用并行方式以增強整體性能。

圖4 正常工作模式下的數(shù)據(jù)寫入流程

當本地存儲系統(tǒng)發(fā)生故障時，生產(chǎn)無需停頓，生產(chǎn)主機利用異地的數(shù)據(jù)拷貝繼續(xù)運行，因為兩個系統(tǒng)間采取光纖直連方式，性能的影響可以忽略，如圖5所示。

圖5 本地存儲故障情況下的數(shù)據(jù)寫入流程

當進行本地存儲維修時，斷開鏡像關系;在本地存儲修復后，恢復數(shù)據(jù)鏡像關系，數(shù)據(jù)重新在兩份拷貝間同步。

當本地處于災難狀態(tài)、雙機都無法使用時，異地主機接管本地主機的存儲及應用，此時數(shù)據(jù)的同步照常進行，如圖6所示。

圖6 本地災難下的數(shù)據(jù)寫入流程

當本地主機維修恢復運行后，存儲及應用由本地生產(chǎn)主機接管，在正常的運行環(huán)境下工作。

2.3.2 交易緩存/重做機制

設置專門的交易報文緩存區(qū)，并在災備切換時通過交易報文的重做機制實現(xiàn)業(yè)務數(shù)據(jù)的連續(xù)性，達到在有限的代價內(nèi)復原點目標(RPO)為零的優(yōu)化目標。

3 故障情況下的應對措施

1)主機及存儲系統(tǒng)失效。主系統(tǒng)部署了2套服務器、2臺存儲設備。當其中1臺失效時，可自動存儲切換，業(yè)務應用繼續(xù)運行在業(yè)務中心。如果主系統(tǒng)2臺服務器或存儲設備同時失效，則可以將業(yè)務應用切換到容災中心。

2)系統(tǒng)失效。當主應用系統(tǒng)失效時，可以將業(yè)務應用切換到異地容災中心繼續(xù)運行。

3)網(wǎng)絡失效。如果主應用系統(tǒng)與前端連接的網(wǎng)絡失效，但主應用系統(tǒng)的內(nèi)部系統(tǒng)還能發(fā)揮作用，建議主應用繼續(xù)運行在本地，而業(yè)務網(wǎng)絡連接則通過異地容災中心進行中轉(zhuǎn)。如果主應用系統(tǒng)與前端、主應用系統(tǒng)與異地容災中心的網(wǎng)絡連接全部中斷，則需要將業(yè)務應用切換到異地容災中心繼續(xù)運行。

4)電力故障。當主應用系統(tǒng)電力出現(xiàn)故障時，建議有序地將業(yè)務應用切換到異地容災中心。

5)環(huán)境失效。當主應用系統(tǒng)的環(huán)境失效導致該系統(tǒng)不適合人員繼續(xù)工作時，建議將業(yè)務應用切換到異地容災中心。

6)火災。當火災影響到業(yè)務中心的運作時，建議將業(yè)務應用切換到異地容災中心。

7)水災、恐怖事件、公共安全事件。如果火災影響到主應用系統(tǒng)的運作而未影響到異地容災中心，則建議將業(yè)務應用切換到異地容災中心。按照要求，在控制中心與車輛段建設同城容災，清分中心和災備中心采用雙網(wǎng)絡冗余，確保當清分中心失效時可以人工啟動災備中心進行業(yè)務轉(zhuǎn)接。根據(jù)以往實施經(jīng)驗，切換時間若小于120 min，可保證數(shù)據(jù)不會丟失。

4 結語

設計合理的清分中心災備系統(tǒng)，優(yōu)化系統(tǒng)配置，強化相應的軟件功能，提高運營對突發(fā)事件的管理能力，不僅能夠?qū)崿F(xiàn)既定的數(shù)據(jù)及系統(tǒng)備份的目標，還能將因故障而導致的業(yè)務損失降低到最低程度。

［1］夏科芬，李宇軒.清分系統(tǒng)數(shù)據(jù)級備份復制容災技術在城市軌道交通系統(tǒng)中的研究與應用［J］.電腦開發(fā)與應用，2007，20(8):63-65.

［2］蓋學琦.災備中心規(guī)劃五步走［J］.計算機技術理論，2006，43:22-23.

［3］楊曉紅，李健，楊衛(wèi)國.信息系統(tǒng)容災技術的分析與研究［J］.計算機工程與設計，2005(26):10.

［4］肖萬程.災難備份系統(tǒng)［J］.中國信息導報，2003(7):12.

［5］成小平.災難備份系統(tǒng)的建設［J］.中國金融電腦，2003(1):23.

［6］馬錫紅.災難性數(shù)據(jù)備份及恢復［J］.中國金融電腦，2002(6):20.

［7］王富章，李平.關于網(wǎng)絡化AFC系統(tǒng)整合方案的研究［J］.現(xiàn)代城市軌道交通，2005(5):15-18.