馮 寶

（中國聯(lián)合網(wǎng)絡通信有限公司河南省分公司，河南 鄭州 450008）

1 研究背景

隨著經(jīng)濟社會數(shù)字化轉(zhuǎn)型的逐步深入，業(yè)務系統(tǒng)的數(shù)據(jù)量激增，數(shù)據(jù)的安全性和業(yè)務連續(xù)性成為企業(yè)運營和發(fā)展的命脈?，F(xiàn)階段傳統(tǒng)的IDC機房已經(jīng)無法滿足用戶本地業(yè)務數(shù)據(jù)量的激增和數(shù)據(jù)安全的需求，業(yè)務系統(tǒng)上云已成為大部分用戶業(yè)務系統(tǒng)部署的常規(guī)模式，隨著上云客戶不斷增加，海量數(shù)據(jù)存儲成為各企業(yè)生產(chǎn)運營的關注熱點，數(shù)據(jù)產(chǎn)生的價值越來越高[1]，由于人為的誤刪、磁盤損壞、勒索病毒、網(wǎng)絡攻擊等事件愈發(fā)頻繁，數(shù)據(jù)也面臨丟失的風險，數(shù)據(jù)安全問題日益突出，對于一些大型醫(yī)院、企業(yè)及政府單位的云上客戶，其數(shù)據(jù)規(guī)模龐大，對數(shù)據(jù)安全要求極高[2]，同城容災備份已不能滿足客戶的需求，上云客戶提出了對現(xiàn)有上云業(yè)務系統(tǒng)進行的異地災備需求。

2 現(xiàn)行標準災備方案存在的問題

現(xiàn)行的標準災備方案適用于一般的云到云、本地到云的數(shù)據(jù)備份及高可用容災場景。異地容災存在雙中心的選址問題、技術架構(gòu)問題及網(wǎng)絡實現(xiàn)問題[3]。其主要存在以下幾個方面問題：

（1）異地容災備份的雙中心選址為華為VDC 的兩個異地資源池，同屬于一套管理架構(gòu)內(nèi)，管理網(wǎng)絡暢通，業(yè)務網(wǎng)絡的放通還未有標準方案。

（2）標準災備方案中的網(wǎng)絡實現(xiàn)方式主要分為：繞行互聯(lián)網(wǎng)、建設專網(wǎng)。針對以上兩種實現(xiàn)方式，一方面，公網(wǎng)場景下數(shù)據(jù)的傳輸面臨的安全威脅更多；另一方面，異地災備產(chǎn)生的專線費用更高，不利于業(yè)務模式的推廣。

（3）標準災備方案中的業(yè)務實現(xiàn)場景主要分為；云到云、本地到云，同時兼容兩種業(yè)務場景的異地災備實現(xiàn)方案目前還停留在一戶一案，操作起來缺少標準化的保障體系和機制，不利于后期的管理運維。

3 雙中心異地容災備份模式的主要創(chuàng)新點

（1）業(yè)務系統(tǒng)和容災系統(tǒng)部署在不同的城市，數(shù)據(jù)源源不斷地 從源端同步至備端，一旦源端故障，可快速在備端啟動容災系統(tǒng)，可靠性更高，對企業(yè)應用及數(shù)據(jù)庫起到了安全性、業(yè)務連續(xù)性等方面的作用，有效防范火災、地震、供電故障、計算機系統(tǒng)及人為破壞等引起的災難[4]。

（2）基于異地雙節(jié)點之間現(xiàn)有的中繼電路用DCI網(wǎng)絡開創(chuàng)私有備份及容災的專網(wǎng)通道，同時疊加IPSec-VPN，既避免了傳統(tǒng)公網(wǎng)訪問場景下的安全風險，同時節(jié)省了電路成本。標準災備方案中的網(wǎng)絡實現(xiàn)方式主要分為繞行互聯(lián)網(wǎng)、構(gòu)建VPN通道、建設專網(wǎng)三種方式。其中，繞行互聯(lián)網(wǎng)場景下數(shù)據(jù)傳輸面臨的安全威脅更多，而部署專線費用更高，對大多數(shù)客戶成本難以承受。因此，構(gòu)建VPN數(shù)據(jù)傳輸通道，兼顧安全與成本，充分利用網(wǎng)絡基礎設施資源，保證內(nèi)部數(shù)據(jù)的安全性同時，緩解客戶成本壓力。

（3）建設標準的云到云、本地到云的異地災備方案，統(tǒng)一規(guī)劃并管理DCI地址、帶寬和電路，既方便后期運維，又提高了項目的可復制性。針對各類企業(yè)在關注IT系統(tǒng)部署成本的情況下，將新建IT系統(tǒng)和容災系統(tǒng)同時部署在云上；或已有IT系統(tǒng)部署在云上，為保證可靠性，需要在同一云池上部署容災系統(tǒng)的場景，提供標準化產(chǎn)品一站式交付服務，有效地應對地域災害所導致的系統(tǒng)災難，災備產(chǎn)品提供圖形化操作頁面，輕松實現(xiàn)一鍵式演練等功能。

（4）將IPsec VPN技術應用于不同資源池，以實現(xiàn)資源池跨域之間的安全互聯(lián)，進而使機密數(shù)據(jù)在傳輸過程中不會被截取與篡改，從而降低了成本投入，使資源池管理工作水平得到了顯著提升。IPSec是一種網(wǎng)絡層的安全協(xié)議標準，可以無縫地為IPv4和IPv6提供安全保障。它是強健的、可擴展的機制，為數(shù)據(jù)提供身份驗證、完整性檢查以及機密性保證機制，可以防止數(shù)據(jù)收到不明攻擊。IPSec VPN利用IPSec在網(wǎng)絡層為端到端用戶之間，網(wǎng)關/路由器之間或者用戶和路由器之間提供安全保密通信的網(wǎng)絡。IPSec-VPN無論從安全性，還是從經(jīng)濟實用性方面都不失為一項很好的技術。

鄉(xiāng)村類型的分類方式有多種，按產(chǎn)業(yè)結(jié)構(gòu)可分為農(nóng)業(yè)型和非農(nóng)業(yè)型，按人口可分為特大型、大、中、小四級，按行政歸屬又可分為自然村和行政村，按地形地貌的差異將農(nóng)村分為平地式、山地式和丘陵式農(nóng)村。為了更合理地制定出生態(tài)功能下的農(nóng)村土地規(guī)劃方法，應該結(jié)合農(nóng)村的基本現(xiàn)狀，依據(jù)農(nóng)村的基本歸屬類型綜合分析。

（5）按需申請所需要的基礎設施資源，降低企業(yè)TCO；根據(jù)需要，在同一地域或跨地域部署云上的容災系統(tǒng)，提升業(yè)務可靠性和連續(xù)性?？蛻魺o須自建容災機房、采購物理設備、購買專業(yè)軟件，以及投入專人進行維護和測試，專心聚焦企業(yè)自身業(yè)務建設。節(jié)省硬件的部署時間、并且按需申請所需要的基礎設施資源，從而降低TCO，減少在基礎設施硬件、物業(yè)、能源、人力運維等方面的投入。

4 鄭州、洛陽雙中心異地容災備份模式實施方案

4.1 方案概述

依托鄭州資源池和洛陽資源池創(chuàng)建“鄭州主數(shù)據(jù)中心+洛陽備份中心”?；趦纱筚Y源池之間現(xiàn)有的中繼電路用DCI網(wǎng)絡開創(chuàng)私有備份及容災的專網(wǎng)通道，同時疊加IPSec-VPN，既避免了傳統(tǒng)公網(wǎng)訪問場景下的安全風險，同時節(jié)省了電路成本。建設標準的云到云、本地到云的異地災備方案，統(tǒng)一規(guī)劃并管理DCI地址、帶寬和電路，既方便后期運維，又提高了項目的可復制性。

4.2 外部網(wǎng)絡創(chuàng)建

鄭州資源池和洛陽資源池同屬于一套云管平臺，通過一條萬兆光纖承載了管理網(wǎng)絡，業(yè)務網(wǎng)絡還未能實現(xiàn)互訪?；谶@條DCI電路，構(gòu)建兩朵云池之間的外部聯(lián)接網(wǎng)絡。

在鄭州AC平臺創(chuàng)建私有類型外部網(wǎng)關，路由地址為洛陽EIP地址，命名為：DCI-EIP-ZZ；OM創(chuàng)建對應EIP外部網(wǎng)絡并添加外部子網(wǎng)，命名為DCI-EIP-ZZ，網(wǎng)段為：172.250.244.0/22。在洛陽AC平臺創(chuàng)建私有類型外部網(wǎng)關，路由地址為鄭州EIP地址，命名為：DCIEIP-LY，OM創(chuàng)建對應EIP外部網(wǎng)絡并添加外部子網(wǎng)，命名為DCI-EIP-LY，網(wǎng)段為：172.250.248.0/22。

明確DCI外部聯(lián)接網(wǎng)絡（鄭州至洛陽）帶寬的分配規(guī)則，確保不影響運維管理網(wǎng)絡正常運營的前提下，規(guī)劃業(yè)務網(wǎng)絡帶寬的可使用大小，限制鄭州數(shù)據(jù)中心（源：172.250.244.0）至洛陽災備中心（目的：172.250.248.0）、洛陽災備中心（源：172.250.248.0）至 鄭州數(shù)據(jù)中心（目的：172.250.244.0）之間的DCI-EIP帶寬為5G。

通過DCI-EIP方式來實現(xiàn)兩region內(nèi)虛擬機互通，在云管平臺SC上分別為兩region內(nèi)需要互通的虛擬機申請DCI-EIP并設置帶寬，將分配到的DCI-EIP地址綁定給對應虛擬機即可。

4.3 虛擬專有網(wǎng)絡IPSec-VPN

虛 擬 專 用 網(wǎng) 絡（Virtual Private Network，簡 稱VPN），用于在遠端用戶和虛擬私有云（Virtual Private Cloud，簡稱VPC）之間建立一條符合行業(yè)標準的安全加密的通信隧道，可將已有數(shù)據(jù)中心無縫擴展到VPC上，提供可靠、安全的加密通道。

默認情況下，在VPC中的彈性云服務器無法與其他數(shù)據(jù)中心或私有網(wǎng)絡進行通信。如果需要將 VPC中的彈性云服務器和其他的數(shù)據(jù)中心或私有網(wǎng)絡連通，可以啟用VPN功能。

VPN網(wǎng)關是VPC中建立的出口網(wǎng)關設備，通過VPN網(wǎng)關可建立VPC和用戶數(shù)據(jù)中心或其他區(qū)域VPC之間的安全可靠的加密通信。VPN網(wǎng)關需要與用戶本地數(shù)據(jù)中心或其他區(qū)域VPC的遠端網(wǎng)關配合使用，一個本地數(shù)據(jù)中心綁定一個遠端網(wǎng)關，一個虛擬私有云綁定一個VPN網(wǎng)關。VPN網(wǎng)關與遠端網(wǎng)關為一對一或一對多的關系，因此VPN支持點到點或點到多點的連接。

VPN連接是一種基于Internet的IPSec加密技術，通過特殊的隧道加密技術，使加密的安全服務在不同的網(wǎng)絡之間建立保密而安全的通信隧道。

在鄭州數(shù)據(jù)中心已經(jīng)申請了VPC，并申請了2個子網(wǎng)（192.168.1.0/24， 192.168.2.0/24），在洛陽數(shù)據(jù)中心的Router下也有2個子網(wǎng)（192.168.3.0/24， 192.168.4.0/24）。可以通 過VPN使VPC內(nèi)的子網(wǎng)與數(shù)據(jù)中心的子網(wǎng)互相通信。支持點到點VPN（Site-to-Site VPN）和點到多點VPN（Hub-Spoke VPN），VPC內(nèi)的VPN和對端VPN，需要保證IKE 策略以及IPsec策略配置一致。

通過虛擬專有網(wǎng)絡來實現(xiàn)鄭州和洛陽云池內(nèi)的子網(wǎng)互通。在鄭州數(shù)據(jù)中心和洛陽數(shù)據(jù)中心同時創(chuàng)建虛擬私有網(wǎng)絡（VPC）后，根據(jù)鄭州數(shù)據(jù)中心（生產(chǎn)數(shù)據(jù)）的業(yè)務地址和洛陽數(shù)據(jù)中心（備份數(shù)據(jù)）業(yè)務地址申請創(chuàng)建VPN網(wǎng)關。在VPN網(wǎng)關創(chuàng)建后，通過配置兩端云數(shù)據(jù)中心的連接參數(shù)、對應子網(wǎng)等來建立VPN連接。

采用專業(yè)網(wǎng)絡接入設備，基于IKE和IPSec對傳輸數(shù)據(jù)加密，提供了電信級的高可靠性機制，從硬件、軟件、鏈路三個層面保證VPN服務的穩(wěn)定運行。利用Internet構(gòu)建IPsec加密通道，與傳統(tǒng)設備相比，VPN的連通成本相對更低，并且開通即可使用，配置實時生效，快速高效的完成部署。

4.4 路由及流量規(guī)劃

基于專線疊加IPSec-VPN在鄭州數(shù)據(jù)中心和洛陽數(shù)據(jù)中心之間建立網(wǎng)絡連接，同時通過安全設備進行了安全防護。鄭州數(shù)據(jù)中心的邊界出口經(jīng)過了核心防火墻和防病毒網(wǎng)關，云內(nèi)通過虛擬防火墻和安全組進行網(wǎng)絡進出策略的控制。

行業(yè)云采用業(yè)務防火墻實現(xiàn)防火墻的虛擬化，是集中式防火墻，僅針對南北流量做安全過濾。虛擬防火墻是虛擬私有云的安全服務，對VPC進行訪問控制，支持黑白名單（即允許和拒絕策略），根據(jù)與VPC關聯(lián)的入方向/出方向ACL規(guī)則，判斷數(shù)據(jù)包是否被允許流入/流出VPC。

安全組是一組訪問云服務器的規(guī)則集合，為同一個項目內(nèi)具有相同安全保護需求并相互信任的云服務器提供訪問策略。安全組內(nèi)的云服務器無須添加規(guī)則即可互相訪問。僅支持彈性云服務器，暫不支持裸金屬服務器。同時為了防止云服務器被網(wǎng)絡攻擊，在生產(chǎn)服務器端設置了安全組規(guī)則，只允許備份服務器端的業(yè)務IP地址對固定協(xié)議、端口的進出訪問。

在配置兩地網(wǎng)絡流量互通的過程中，首先，將流量引入防病毒網(wǎng)關，并回流；然后，在兩端核心交換機設備各起一個子接口，配上IP地址，做為互聯(lián)，并在鄭州數(shù)據(jù)中心和洛陽數(shù)據(jù)中心的核心交換機設備上配置路由；最后，將DCI-EIP地址引入核心防火墻。

4.5 鏈路運維檢測安全機制

云平臺的組網(wǎng)方式采用了口字和交叉組網(wǎng)共用的方式來確保網(wǎng)絡運行，網(wǎng)絡主干設備間鏈路采用N+1來保護網(wǎng)絡運行的安全，設備間最少有兩條鏈路組成鏈路聚合。還實行了跨設備級鏈路保護來確保流量的安全，即使某設備整臺設備出現(xiàn)異常，也可以確保流量從另一臺設備安全抵達，避免了現(xiàn)在普遍的跨單板級鏈路保護的問題。

云平臺每臺設備鏈路都納管到了平臺監(jiān)控之中，監(jiān)控平臺每天24小時有專人值守查看，確保出現(xiàn)問題能第一時間反饋出來，并溝通專業(yè)人員進行維護。且平臺有獨立的備品倉庫，確保出現(xiàn)問題能及時解決，不會因為備件問題而無法解決。如出現(xiàn)備品倉庫無備件情況，可聯(lián)系設備廠家緊急發(fā)貨，保證24小時內(nèi)恢復業(yè)務正常。

5 雙中心異地容災備份模式實施效果分析

通過部署“鄭州主數(shù)據(jù)中心+洛陽備份中心”的雙中心異地容災備份模式，同時疊加IPSec-VPN網(wǎng)絡技術，將鄭州資源池租戶的重要業(yè)務數(shù)據(jù)備份到洛陽資源池、實現(xiàn)了兩個資源池之間跨域異地災備模式。

大幅度降低客戶的運維成本，同時為租戶提供簡易、便捷的監(jiān)管模式，為其他云上租戶提供了可規(guī)模復制的災備方案，提升了客戶業(yè)務系統(tǒng)上云的使用感知，推動了河南聯(lián)通云計算的快速健康發(fā)展?，F(xiàn)在已將華為VDC河南能源化工鄭州資源池業(yè)務數(shù)據(jù)跨域異地備份到華為VDC洛陽資源池。