收稿日期：2024-02-27

作者簡介：徐新成（1991—），男，研究生，工程師，研究方向：軌道交通智慧化、數(shù)字化。

摘要 為實現(xiàn)城軌業(yè)務(wù)應(yīng)用的統(tǒng)一部署承載，資源動態(tài)分配，安全靈活地為軌道交通各類信息化應(yīng)用系統(tǒng)提供服務(wù)，助力城軌智能化、智慧化發(fā)展，文章結(jié)合云計算技術(shù)特性、城軌各業(yè)務(wù)系統(tǒng)應(yīng)用現(xiàn)狀，充分考慮建設(shè)成本和各業(yè)務(wù)系統(tǒng)功能需求、容災(zāi)的業(yè)務(wù)強(qiáng)相關(guān)性，統(tǒng)籌考慮應(yīng)用系統(tǒng)多業(yè)務(wù)場景下的應(yīng)用雙活，充分探索基于同城異地下的云平臺容災(zāi)架構(gòu)與方案，為軌道交通智慧城軌云架構(gòu)下災(zāi)備方案的研究建設(shè)的科學(xué)性、可行性提供一定的借鑒。

關(guān)鍵詞 城市軌道交通；同城容災(zāi)；城軌云

中圖分類號 U231.7文獻(xiàn)標(biāo)識碼 A文章編號 2096-8949（2024）11-0001-04

0 引言

為滿足貴陽軌道交通規(guī)劃線路建設(shè)對于信息基礎(chǔ)設(shè)施層面的需求，規(guī)劃建設(shè)貴陽軌道交通線網(wǎng)智慧城軌云中心，智慧城軌云中心包括了智慧企業(yè)管理中心、智慧安全生產(chǎn)中心及智慧外部服務(wù)中心，智慧中心是建立在線網(wǎng)智慧城軌云之上，智慧城軌云包括了云平臺及大數(shù)據(jù)平臺[1]，分為中心級（數(shù)據(jù)中心級云平臺）、車站級（站段云節(jié)點）兩個層級，數(shù)據(jù)中心云平臺軟件按遠(yuǎn)期接入9條線路進(jìn)行設(shè)計?？紤]在麥架智慧企業(yè)管理中心和中曹司智慧安全生產(chǎn)中心的容災(zāi)實際情況，智慧安全生產(chǎn)中心作為智慧企業(yè)管理中心的災(zāi)備中心，將建立一個同城異地的數(shù)據(jù)系統(tǒng)，包括數(shù)據(jù)備份系統(tǒng)、備用數(shù)據(jù)處理系統(tǒng)、容災(zāi)系統(tǒng)等部分。

1 架構(gòu)使用場景建議

雙活中心容災(zāi)解決方案對于集中式管理的控制中心，可更大程度保證業(yè)務(wù)的連續(xù)性，也可有效保障災(zāi)難發(fā)生后業(yè)務(wù)恢復(fù)的時效性[2]。主備業(yè)務(wù)數(shù)據(jù)中心網(wǎng)絡(luò)往返延時RTT<100 ms，構(gòu)建應(yīng)用容災(zāi)場景。生產(chǎn)中心故障時，業(yè)務(wù)系統(tǒng)可快速切換到災(zāi)備中心運行。適用于部署架構(gòu)為前端無狀態(tài)應(yīng)用集群+后端數(shù)據(jù)庫的業(yè)務(wù)系統(tǒng)。

1.1 架構(gòu)概述

雙活數(shù)據(jù)中心架構(gòu)如圖1所示。

1.2 架構(gòu)說明

（1）兩個數(shù)據(jù)中心部署為兩個Region，分別為生產(chǎn)中心和災(zāi)備中心，網(wǎng)絡(luò)三層互通；在每個Region各部署一套完整的業(yè)務(wù)系統(tǒng)，通過ELB實現(xiàn)數(shù)據(jù)中心內(nèi)應(yīng)用集群的負(fù)載均衡，數(shù)據(jù)庫跨Region主備部署，數(shù)據(jù)單向異步復(fù)制；外部DNS配置生產(chǎn)中心的EIP1供外部用戶訪問。

（2）通過對云服務(wù)器/云硬盤備份，防止應(yīng)用集群因感染病毒、數(shù)據(jù)誤刪除造成損害。通過數(shù)據(jù)庫備份，防止數(shù)據(jù)庫出現(xiàn)邏輯錯誤。

圖1 雙活數(shù)據(jù)中心災(zāi)備架構(gòu)圖

2 云主機(jī)容災(zāi)架構(gòu)

2.1 架構(gòu)使用場景建議

適用于在兩個數(shù)據(jù)中心構(gòu)建云平臺主備容災(zāi)的場景，用于在生產(chǎn)中心故障時云主機(jī)的故障切換。適用于WEB+APP+DB無法拆分的有狀態(tài)應(yīng)用，全部用云服務(wù)器（ECS）部署，業(yè)務(wù)系統(tǒng)自身無容災(zāi)能力，需要云平臺提供云服務(wù)器的容災(zāi)保護(hù)。

可應(yīng)對設(shè)備故障、數(shù)據(jù)中心故障、區(qū)域性災(zāi)難，計劃內(nèi)停機(jī)，例如計劃性停電、日常運維等。同步復(fù)制RPO≈0，異步復(fù)制RPO分鐘級以上，RTO小時級。

2.2 架構(gòu)概述

架構(gòu)說明：

（1）兩個數(shù)據(jù)中心部署為兩個Region，分別為生產(chǎn)中心和災(zāi)備中心，網(wǎng)絡(luò)三層互通。

（2）業(yè)務(wù)系統(tǒng)部署在生產(chǎn)中心，通過CSDR或VHA+CSDR容災(zāi)實例保護(hù)。

（3）通過ELB實現(xiàn)數(shù)據(jù)中心內(nèi)應(yīng)用集群的負(fù)載均衡，外部DNS配置生產(chǎn)中心的EIP1供用戶訪問。

2.3 故障切換

2.3.1 單套存儲故障切換

在使用VHA+CSDR容災(zāi)實例保護(hù)生產(chǎn)云主機(jī)時，當(dāng)生產(chǎn)中心單套業(yè)務(wù)發(fā)生存儲故障，云主機(jī)的IO自動下發(fā)到另一套業(yè)務(wù)存儲，數(shù)據(jù)不丟失，業(yè)務(wù)不中斷。

2.3.2 站點級故障切換

站點級故障切換如圖2所示，當(dāng)生產(chǎn)中心發(fā)生災(zāi)難時：

（1）手工修改外部DNS，配置災(zāi)備中心ManageOne運營面/運維面等portal的域名解析。

（2）手工將云平臺管理組件一鍵式切換至災(zāi)備中心運行，接管整個云平臺。

（3）手工將CSDR或VHA+CSDR保護(hù)的云主機(jī)切換到災(zāi)備中心運行。

（4）手工修改外部DNS，配置業(yè)務(wù)系統(tǒng)域名解析為EIP2，將外部訪問流量切換至災(zāi)備中心。

3 云主機(jī)容災(zāi)實現(xiàn)方案

3.1 云主機(jī)容災(zāi)概述

3.1.1 服務(wù)概述

云服務(wù)器容災(zāi)服務(wù)（CSDR，Cloud Server Disaster Recovery），為云服務(wù)器提供跨Region異地容災(zāi)保護(hù)，當(dāng)生產(chǎn)中心發(fā)生災(zāi)難時，可在異地容備中心恢復(fù)受保護(hù)的云服務(wù)器。此外，生產(chǎn)中心的云服務(wù)器還可疊加配置本地存儲雙活保護(hù)，形成本地存儲雙活+異地遠(yuǎn)程復(fù)制存儲環(huán)形容災(zāi)。當(dāng)生產(chǎn)中心單套存儲設(shè)備發(fā)生故障時，數(shù)據(jù)零丟失，業(yè)務(wù)不中斷。僅在生產(chǎn)中心發(fā)生整站點災(zāi)難時，才需要切換到異地容災(zāi)中心。

如圖3所示，相對于非容災(zāi)場景下的兩個Region部署，部署CSDR容災(zāi)服務(wù)需要增加：

（1）BCManager eReplication組件，采用虛擬機(jī)部署；CSDR Console已合并到ManageOne中，不需單獨部署虛擬機(jī)。

（2）對于Global管理組件需部署跨Region主備容災(zāi)。

（3）對于生產(chǎn)Region和容災(zāi)Region間的存儲需配置遠(yuǎn)程復(fù)制。支持的存儲類型包括：OceanStor V3/V5、Dorado V3、Dorado V6（異步復(fù)制）、FusionStorage（異步復(fù)制）。

（4）若要部署存儲環(huán)形容災(zāi)，則需要至少三套存儲：即生產(chǎn)AZ部署兩套存儲，異地容災(zāi)AZ部署一套存儲。支持的存儲類型包括OceanStor V3/V5、Dorado V3/V6，不支持FusionStorage。

場景說明：

同步復(fù)制要求：建議距離<100 km，RTT<2 ms（存在數(shù)據(jù)庫容災(zāi)時建議<1 ms）。

異步復(fù)制要求：建議距離<3 000 km，RTT<100 ms。

3.1.2 應(yīng)用場景

（1）適用于在兩個數(shù)據(jù)中心，構(gòu)建云平臺容災(zāi)的場景。

（2）適用于業(yè)務(wù)系統(tǒng)全部用云服務(wù)器部署，業(yè)務(wù)系統(tǒng)自身無容災(zāi)能力，需要云平臺提供云服務(wù)器的容災(zāi)保護(hù)。

（3）（可選）當(dāng)生產(chǎn)中心單套存儲整體或部分存儲池發(fā)生故障時，數(shù)據(jù)零丟失，業(yè)務(wù)不中斷；適用于可靠性要求高的場景。

（4）可應(yīng)對設(shè)備故障、數(shù)據(jù)中心故障、區(qū)域性災(zāi)難，計劃內(nèi)停機(jī)，例如計劃性停電、日常運維等。RPO分鐘級，RTO數(shù)十分鐘至小時級。

3.2 容災(zāi)部署架構(gòu)

云服務(wù)器容災(zāi)服務(wù)是針對兩個Region間業(yè)務(wù)的容災(zāi)，可以將一個Region的云服務(wù)器容災(zāi)到另一個Region；為實現(xiàn)該容災(zāi)功能，需要對基礎(chǔ)設(shè)施進(jìn)行跨Region部署。

（1）跨Region容災(zāi)：需至少規(guī)劃兩個Region，每個Region內(nèi)部署一套ECS/EVS/VPC等云服務(wù)后端及一套OpenStack，站點間三層網(wǎng)絡(luò)互通。

（2）Global管理節(jié)點跨Region容災(zāi)部署：ManageOne、BCManager eReplication及云服務(wù)Console等Global管理節(jié)點跨Region部署。

（3）部署CSDR服務(wù)：在兩個Region管理節(jié)點上各部署兩個BCManager eReplication虛擬機(jī)，并配置BCManager eReplication主備復(fù)制。

（4）配置存儲容災(zāi)：對分別位于兩個Region內(nèi)的生產(chǎn)存儲和容災(zāi)存儲配置數(shù)據(jù)復(fù)制鏈路和容災(zāi)關(guān)系，并注冊到OpenStack。

ManageOne運營中心提供框架，集成了各個服務(wù)的前端界面模塊，是每個云服務(wù)，以及云服務(wù)器容災(zāi)服務(wù)的發(fā)放平臺。ManageOne運維中心提供運維管理。

3.3 關(guān)鍵技術(shù)

3.3.1 容災(zāi)服務(wù)申請

華為云Stack云容災(zāi)服務(wù)采用服務(wù)化設(shè)計，支持多租戶和租戶自服務(wù)[3]。對于租戶或不同業(yè)務(wù)部門，可根據(jù)業(yè)務(wù)對連續(xù)性的要求，自助配置不同的災(zāi)備服務(wù)，縮短災(zāi)備業(yè)務(wù)開通周期。

租戶登錄ManageOne運營面，在云服務(wù)器容災(zāi)服務(wù)界面，選擇生產(chǎn)端VM及其對應(yīng)的容災(zāi)端VM，配置保護(hù)策略，申請云服務(wù)容災(zāi)服務(wù)實例。系統(tǒng)后端BCManager eReplication會自動檢查各參數(shù)是否滿足申請要求。管理員審批申請。系統(tǒng)完成容災(zāi)保護(hù)的自動創(chuàng)建。

BCManager eReplication收到容災(zāi)保護(hù)創(chuàng)建任務(wù)后，調(diào)用存儲容災(zāi)接口在源端云平臺上和存儲上創(chuàng)建容災(zāi)保護(hù)關(guān)系，在備端的云平臺上創(chuàng)建容災(zāi)保護(hù)關(guān)系。BCManager eReplication將針對同一個CSDR服務(wù)實例內(nèi)的所有VM掛載的所有LUN，創(chuàng)建存儲一致性組，在故障發(fā)生時，實現(xiàn)存儲一致性切換。

3.3.2 容災(zāi)測試

容災(zāi)測試有兩個主要用途，一個是用于檢查復(fù)制到容災(zāi)站點的數(shù)據(jù)、云服務(wù)器能否順利的啟動和大概需要花費的時間，另一個是將復(fù)制到容災(zāi)站點的數(shù)據(jù)和云服務(wù)器用于查詢分析或應(yīng)用測試。容災(zāi)測試在容災(zāi)站點的容災(zāi)占位虛擬機(jī)上進(jìn)行，無須停止在生產(chǎn)站點中的生產(chǎn)端云服務(wù)器，不會中斷生產(chǎn)端云服務(wù)器業(yè)務(wù)運行。

容災(zāi)測試可由租戶自行觸發(fā)，并檢查測試后的業(yè)務(wù)數(shù)據(jù)完整性。測試前，租戶可以配置容災(zāi)端云服務(wù)器的測試網(wǎng)卡。

3.3.3 計劃性遷移（含容災(zāi)演練）

計劃性遷移用于在生產(chǎn)站點計劃性中斷前，將業(yè)務(wù)提前遷移到容災(zāi)站點，或用于容災(zāi)演練以檢測容災(zāi)端云服務(wù)器、容災(zāi)恢復(fù)網(wǎng)絡(luò)和數(shù)據(jù)是否可用，業(yè)務(wù)數(shù)據(jù)零丟失。

計劃性遷移與容災(zāi)測試的主要差別：

（1）計劃性遷移需要停止在生產(chǎn)站點中運行的生產(chǎn)云服務(wù)器，將業(yè)務(wù)遷移到容災(zāi)站點運行，此過程生產(chǎn)業(yè)務(wù)會中斷。在演練完成后，可將VM切回到原生產(chǎn)站點。

（2）容災(zāi)測試是在容災(zāi)站點中，針對容災(zāi)卷創(chuàng)建快照，并基于快照創(chuàng)建新卷，在新建的卷中執(zhí)行測試。而計劃性遷移（或容災(zāi)切換）直接在容災(zāi)卷上執(zhí)行。容災(zāi)測試過程，不會中斷生產(chǎn)端云服務(wù)器的業(yè)務(wù)運行。

計劃性遷移必須由容災(zāi)管理員觸發(fā)，切換完成后，通知租戶檢查切換后的業(yè)務(wù)數(shù)據(jù)完整性。在觸發(fā)計劃性遷移流程前，租戶需在云服務(wù)器容災(zāi)服務(wù)實例申請前，指定容災(zāi)端云服務(wù)器的容災(zāi)恢復(fù)網(wǎng)卡。除發(fā)起計劃性遷移由管理員完成，切換結(jié)果檢查由租戶完成外，其他都由系統(tǒng)在后臺自動完成，租戶向容災(zāi)管理員申請容災(zāi)演練，并知會要進(jìn)行容災(zāi)演練的云災(zāi)備產(chǎn)品實例及對應(yīng)的VM（保護(hù)對象）。

3.3.4 站點級故障切換

故障切換主要分成三個部分：切換管理系統(tǒng)、切換業(yè)務(wù)系統(tǒng)（云容災(zāi)服務(wù)實例）和刷新DNS系統(tǒng)。在管理系統(tǒng)切換成功后，關(guān)于業(yè)務(wù)系統(tǒng)的切換，容災(zāi)管理員可在BCManager eReplication上針對每個容災(zāi)實例執(zhí)行一鍵式切換。故障切換流程均由容災(zāi)管理員完成。

（1）切換管理系統(tǒng)。①管理員手工切換ManageOne，使備升為主。②管理員更新內(nèi)部DNS中ManageOne、BCManager eReplication域名為新IP。③管理員手工切換BCManager eReplication，使備升為主。④管理員更新外部客戶端DNS中ManageOne域名為新IP。

（2）切換業(yè)務(wù)系統(tǒng)（云容災(zāi)服務(wù)實例）。①容災(zāi)管理員登錄BCManager eReplication管理界面，選擇保護(hù)實例，觸發(fā)故障切換流程。②BCManager eReplication自動完成存儲陣列和啟動占位VM。③（可選）租戶修改業(yè)務(wù)域名DNS記錄到占位VM的EIP地址。④租戶登錄占位VM，檢驗、啟動業(yè)務(wù)系統(tǒng)。

4 災(zāi)備中心與主中心非同步投入時災(zāi)備方案

在容災(zāi)中心未完成建設(shè)前，無法使用跨數(shù)據(jù)中心容災(zāi)的架構(gòu)，此時，建議通過虛擬機(jī)高可用和數(shù)據(jù)本地備份方式盡可能保障業(yè)務(wù)高可用。在容災(zāi)條件具備后，可以通過擴(kuò)容方式將單中心的云平臺擴(kuò)容為帶主備容災(zāi)能力的云平臺[4]。

（1）虛擬機(jī)高可用。虛擬機(jī)高可用方案可以保障在單主機(jī)故障時，虛擬機(jī)在其余正常的主機(jī)上啟動，繼續(xù)提供服務(wù)，保障業(yè)務(wù)連續(xù)性。

（2）數(shù)據(jù)本地備份方案。本地數(shù)據(jù)備份方案可以將虛擬機(jī)數(shù)據(jù)備份到備份存儲上，當(dāng)業(yè)務(wù)系統(tǒng)主存儲上的數(shù)據(jù)出現(xiàn)損壞時，快速地恢復(fù)數(shù)據(jù)。

5 結(jié)束語

該文通過在兩個數(shù)據(jù)中心部署為兩個Region，在網(wǎng)絡(luò)雙活的基礎(chǔ)上，分別通過存儲雙活和虛擬機(jī)容災(zāi)，實現(xiàn)城軌云平臺級容災(zāi)，解決傳統(tǒng)業(yè)務(wù)對城軌云平臺的高可靠性需求，使業(yè)務(wù)系統(tǒng)更專注于自身業(yè)務(wù)，確保滿足線路關(guān)鍵業(yè)務(wù)系統(tǒng)的運營需求，支撐異常情況下軌道交通的不間斷運營?；谥腔鄢擒壴破脚_的容災(zāi)方案應(yīng)用，對智慧城軌建設(shè)具有積極的推動作用。

參考文獻(xiàn)

[1]中國城市軌道交通協(xié)會. 城軌交通 智慧先行《中國城市軌道交通智慧城軌發(fā)展綱要》正式發(fā)布實施[J]. 都市快軌交通， 2020（2）： 6-7.

[2]王彪. 城軌云架構(gòu)下災(zāi)備方案研究[J]. 都市快軌交通， 2019（3）： 25-31.

[3]華為技術(shù)有限公司. 雙活數(shù)據(jù)中心解決方案技術(shù)白皮書（Hyper Metro）[EB/OL]. 2015-06-29/2024-02-27.

[4]陳瑞軍， 孟偉君， 胡曉偉， 等. 城市軌道交通云平臺容災(zāi)方案研究[J]. 城市軌道交通研究， 2020（9）： 184-188.