華 靜

（中國電信股份有限公司上海分公司 上海 200210）

1 引言

中國電信股份有限公司（簡稱中國電信）上海分公司（簡稱上海電信）新業(yè)務(wù)網(wǎng)絡(luò)平臺是為適應(yīng)上海電信轉(zhuǎn)型新業(yè)務(wù)網(wǎng)絡(luò)承載要求而建設(shè)運營。目前承載了“全球眼”、ITMS、E通VPN、VIP網(wǎng)管、動態(tài)DNS和安全殺毒中心等業(yè)務(wù)。全網(wǎng)以扁平化設(shè)計原則部署，滿足轉(zhuǎn)型新業(yè)務(wù)高性能、高可靠性和高冗余性需求[1]。上海電信E通VPN平臺依托于新業(yè)務(wù)網(wǎng)絡(luò)平臺，提供用戶快速便捷的SSL和IPSec遠(yuǎn)程VPN部署接入技術(shù)，通過合理分布來控制客戶節(jié)點間互訪網(wǎng)絡(luò)流量，以滿足客戶多業(yè)務(wù)承載運營要求。

中國電信長途路由型MPLS VPN業(yè)務(wù)采用CN2（China Telecom next carrying network，中國電信下一代承載網(wǎng)）+城域兩級架構(gòu)。用戶終端可直接通過CN2網(wǎng)絡(luò)或城域接入。用戶接入支持以太、數(shù)字電路等多種接入方式。CN2和城域MPLS VPN跨域?qū)觾?yōu)先采用Option A方式，采用兩對PE-ASBR背對背互為CE進行對接。

單看CN2和E通VPN平臺所采用的每一個IP技術(shù)元素，都沒有太大的問題，但是如何把這些技術(shù)集成，以跨域Option A方式通過E通VPN平臺和CN2對接，為客戶提供主備網(wǎng)秒級故障自動切換恢復(fù)的整體解決方案，目前CN2業(yè)務(wù)部署應(yīng)用未有先例。

因此，本文重點論證了一種適合CN2環(huán)境下長途MPLS VPN路由自動備份切換的業(yè)務(wù)模式的互聯(lián)實現(xiàn)方式和路由實施策略，通過現(xiàn)網(wǎng)的測試案例證實了它的工程實施的可行性，并提供了一個業(yè)務(wù)推廣的典型案例。

2 業(yè)務(wù)模式分析

2.1 CN2長途MPLS VPN業(yè)務(wù)現(xiàn)狀

CN2是同時支持語音、數(shù)據(jù)、視頻等業(yè)務(wù)的中國電信下一代多業(yè)務(wù)核心承載平臺，通過采用全網(wǎng)集中管理和集中操作的維護模式進行日常的CN2網(wǎng)絡(luò)的運行維護工作，保障CN2網(wǎng)絡(luò)協(xié)調(diào)高效、穩(wěn)定可靠運行。狹義上，CN2網(wǎng)絡(luò)是指如圖1所示的4809自治域內(nèi)的所有路由器、業(yè)務(wù)延伸設(shè)備及其中繼電路[2]。

目前上海城域網(wǎng)具備與CN2跨域互聯(lián)的能力，城域MPLS網(wǎng)具備兩臺獨立 PE-ASBR（可兼作PE／SR），與上海2臺CN2 PE-ASBR設(shè)備分別互聯(lián)，互聯(lián)端口采用GE電路。上海城域MPLS網(wǎng)要求具備較好的冗余組網(wǎng)結(jié)構(gòu)，PE設(shè)備具備較強的路由能力（具有超過15萬VPN路由轉(zhuǎn)發(fā)能力），可保證城域MPLS VPN業(yè)務(wù)可靠運行。

對于用戶路由總條數(shù)達到1 500條以上，站點分布在多個城市的VPN用戶，建議直接接入CN2 SR或者通過二層VLL方式跨域接入CN2。針對跨域二層接入采用VLL方式，為保證二層VLL接入電路的質(zhì)量，要求承載VLL的城域MPLS網(wǎng)絡(luò)具備QoS能力。如圖2所示的業(yè)務(wù)模型中VLL終結(jié)在城域網(wǎng)側(cè)PE，VLL兩側(cè)盡量采用一致的接口，避免使用橋接協(xié)議轉(zhuǎn)換；連接的MTU要求大于1 500 byte。CN2和城域MPLSVPN跨域?qū)觾?yōu)先采用OptionA方式，采用兩對PE-ASBR背對背進行對接。中國電信設(shè)置3個出口局（北京、上海、廣州），各部署2臺ISR與合作運營商MPLS VPN對接，對接方式優(yōu)先采用Option A。此外通過海外POP節(jié)點，也可以提供跨運營商MPLS VPN對接。

2.2 E通VPN現(xiàn)狀

相對于MPLS VPN、VPDN等運營商局端部署實施的PP-VPN技術(shù)，通過在用戶端設(shè)置、管理并維護VPN網(wǎng)關(guān)設(shè)備，不需要調(diào)整或改變運營商網(wǎng)絡(luò)的結(jié)構(gòu)與性能的CPE-VPN技術(shù)也隨Internet而蓬勃發(fā)展。部分海外運營商也在嘗試通過SSL和IPSec等基于Internet的虛擬專網(wǎng)技術(shù)給用戶提供安全便捷的VPN接入，作為其在中國境內(nèi)“最后一公里”固網(wǎng)接入的補充方式。

雖然SSL或IPSec作為CPE-VPN用戶可以自行部署，但是對企業(yè)來講，部署一套完備的安全專網(wǎng)將要付出很大的人力、財力。然而，作為運營商，上海電信在這方面有著得天獨厚的優(yōu)勢，“E通VPN”業(yè)務(wù)的組網(wǎng)方式讓運營商能為用戶提供安全的整體解決方案。通過局端PE部署MPLS VPN，用戶端CE部署IPSec技術(shù)的E通VPN，同時上海電信E通VPN平臺又擁有從傳統(tǒng)專線到MPLS VPN業(yè)務(wù)各類專線接口，使兩個不同技術(shù)架構(gòu)的虛擬專網(wǎng)技術(shù)可以有效地集成在一起，滿足用戶自動切換需求，提供端到端的整體解決方案，實現(xiàn)了用戶自行部署或采用第三方運營商獨自建設(shè)都難以解決的網(wǎng)絡(luò)間的無縫融合。

圖1 CN2 MPLS VPN業(yè)務(wù)參考模型

圖2 CN2跨域VLL接入MPLS VPN業(yè)務(wù)模型

上海電信通過在轉(zhuǎn)型新業(yè)務(wù)網(wǎng)絡(luò)平臺下部署Netscreen 500、ISG1000和SA3000，滿足用戶端多種認(rèn)證計費方式的IPSec或SSL接入E通VPN平臺。圖3所示的E通VPN業(yè)務(wù)模型中用戶數(shù)據(jù)通過加密隧道方式聯(lián)入E通VPN平臺后，由平臺內(nèi)3層交換機經(jīng)城域網(wǎng)以EDSL、以太專線和MPLS VPN等方式轉(zhuǎn)發(fā)至用戶總頭。

2.3 功能分析

2.3.1 自動倒換

用戶分點MPLS VPN鏈路故障時，用戶節(jié)點路由自動切換到備份線路訪問用戶總頭數(shù)據(jù)中心內(nèi)數(shù)據(jù)，用戶請求到達數(shù)據(jù)中心后，若用戶端故障，用戶總頭能感知，回復(fù)的數(shù)據(jù)能從備份路由發(fā)送到用戶端。全部切換時間必須在40 s內(nèi)完成，故障時所有路由切換功能自動實現(xiàn)，無需人工干預(yù)。

目前CN2 VPN用戶接入主要以eBGP或靜態(tài)方式，通過eBGP方式接入的用戶端路由故障，用戶總頭可以通過BGP表項自動更新感知，針對靜態(tài)路由方式接入的CE用戶端，用戶總頭無法有效感知，會導(dǎo)致路由黑洞的存在。

兼顧eBGP和靜態(tài)路由2種接入方式，在E通VPN網(wǎng)絡(luò)平臺接入CN2時采取較高管理距離的匯聚路由方式進行路由備份倒換。E通VPN平臺作為上海電信城域網(wǎng)局端設(shè)備中的一個比較特殊的節(jié)點，在某種意義上，E通VPN對用戶端來說就是一個PE，E通VPN和CN2對接方式采用Option A模式，針對目前集團大客戶路由總量會超過1 500條的情況，采取VLL方式跨域接入CN2，以避免對城域網(wǎng)SR性能壓力。

圖3 E通VPN業(yè)務(wù)模型

2.3.2 安全性

用戶路由不暴露于公網(wǎng)，用戶網(wǎng)絡(luò)內(nèi)部數(shù)據(jù)不可被公網(wǎng)訪問,E通VPN平臺上各不同用戶組之間路由互相隔離。

針對用戶內(nèi)部的數(shù)據(jù)安全，在CN2 PE上用戶數(shù)據(jù)通過MPLS標(biāo)記交換方式轉(zhuǎn)發(fā)，用戶間路由互相隔離，保證安全性?？缬驎r通過VLL方式保證用戶數(shù)據(jù)二層隔離，用戶數(shù)據(jù)到打E通VPN平臺后，通過在E通VPN平臺上開啟VR方式，根據(jù)不同用戶組的不同VLL VLAN進入各自的VR，保證用戶數(shù)據(jù)和路由的隔離，從E通VPN平臺到用戶端，采用SSL或IPSec技術(shù)通過ESP方式加密封裝后以密文方式傳送到用戶端。

2.3.3 可靠性

用戶備份網(wǎng)絡(luò)和主用的CN2 MPLS VPN網(wǎng)絡(luò)必須采用異構(gòu)網(wǎng)架構(gòu)，避免因局端設(shè)備故障導(dǎo)致主備網(wǎng)同時失效的隱患。

由于大部分用戶主用網(wǎng)絡(luò)是通過DDN或FR方式接入CN2 MPLS VPN，因此組建備份網(wǎng)絡(luò)時，MPLS VPN和DDN不在考慮之列。E通VPN平臺到用戶終端采用的是Internet承載ESP報文方式，與CN2 PE物理隔離。VLL跨域透傳時數(shù)據(jù)基于上海城域網(wǎng)優(yōu)化平面?zhèn)鬏?，與負(fù)責(zé)本地Internet主要接入的IPMAN和上海熱線屬于不同網(wǎng)絡(luò)，也能實現(xiàn)物理設(shè)備的隔離?？紤]到冗余性，E通VPN平臺會通過2條不同局向的光纖以VLL方式接入到CN2不同PE，因此PE端也排除了單點故障。

2.3.4 可管理性

備份網(wǎng)絡(luò)需作為可管理型網(wǎng)絡(luò)，網(wǎng)絡(luò)終端需要支持標(biāo)準(zhǔn)的SNMP協(xié)議進行管理和流量監(jiān)控。同時網(wǎng)絡(luò)終端需要同時上聯(lián)MPLS VPN和承載IPSec的Internet，可以提供2條WAN線路，具有“雙網(wǎng)雙待”功能，保障線路安全。

定制終端作為集團商務(wù)領(lǐng)航的品牌旗下信息化產(chǎn)品，恰好可以滿足用戶的上述需求。通過在用戶端部署實現(xiàn)中國電信專門為品牌客戶定制的可遠(yuǎn)程實時監(jiān)控、遠(yuǎn)程配置、遠(yuǎn)程診斷、遠(yuǎn)程升級，具有路由器和基本安全功能的定制終端B2-1，利用中國電信專業(yè)維護體系及自動化管理平臺（BBMS），提供零配置快速安裝、專家監(jiān)控值守、快速故障處理、主動維護保障、定期運行分析報告等服務(wù)，可以滿足客戶互聯(lián)網(wǎng)寬帶接入、WLAN無線組網(wǎng)、基本安全防護、降低維護成本、提高維護質(zhì)量等方面需求。

通過部署中國電信商務(wù)領(lǐng)航B2-1定制終端，在網(wǎng)絡(luò)運行監(jiān)控方面，提供7×24 h專家值守、5×8 h主動發(fā)現(xiàn)上網(wǎng)線路故障，快速響應(yīng)、故障主動發(fā)現(xiàn)，并能每月提供網(wǎng)絡(luò)運行月報，保障網(wǎng)絡(luò)運行狀況。

考慮備份網(wǎng)組網(wǎng)成本所限，用戶各分點可以迅速且安全地擴展網(wǎng)絡(luò)。同時，備份網(wǎng)絡(luò)接口最好能以支持以太網(wǎng)接口為主，避免用戶另行購置昂貴的G703、V35等傳統(tǒng)數(shù)據(jù)模塊。

E通VPN通過承載用戶原有的Internet線路作為MPLS VPN備份線路，用戶線路投入成本可控制，通過在定制終端B2-1配置QoS功能，可以保證故障發(fā)生時，用戶Internet線路優(yōu)先保證轉(zhuǎn)發(fā)IPSec應(yīng)用報文。定制終端B2-1豐富的以太網(wǎng)接口，避免了用戶采用DDN傳統(tǒng)數(shù)據(jù)服務(wù)時需另行購置模塊板卡的投入。

3 網(wǎng)絡(luò)設(shè)計部署

3.1 概述拓?fù)?/h3>

某國際跨國集團用戶，通過CN2長途MPLS VPN互聯(lián)其在中國的106個CE節(jié)點，用戶總路由條目超過1 500條，用戶部分CE節(jié)點采用BGP方式接入，部分采用靜態(tài)路由接入。用戶嘗試采取另建一個備份網(wǎng)絡(luò)，但因為主要MPLS VPN部分節(jié)點靜態(tài)路由接入導(dǎo)致備份網(wǎng)絡(luò)的路由黑洞問題而不能自動切換，或者采用模擬線路DDR撥號幾分鐘的切換時間長問題，效果都不能令其滿意。成本和組網(wǎng)的部署便捷性也是其組網(wǎng)考慮的一個主要因素。

針對用戶提出的40 s內(nèi)自動切換，充分利用其現(xiàn)有的網(wǎng)絡(luò)線路 （各分點一條MPLS VPN線路和一條Internet上網(wǎng)線路）不再追加任何線路工程投入的要求，提出以下方案：通過在用戶端部署定制終端B2-1，建立到E通VPN的IPSec隧道，當(dāng)用戶端MPLS VPN線路發(fā)生故障時，用戶路由自動切換到IPSec備份路由上，同時局端CN2 PE配置靜態(tài)備份路由（加大AD值，匯總用戶路由后較短掩碼的出路由）以O(shè)ption A方式VLL跨域打通MPLS VPN到E通VPN的平臺通路。測試拓?fù)淙鐖D4所示。

3.2 CN2路由實施策略

用戶CE直接上聯(lián)CN2 PE組網(wǎng)，經(jīng)用戶授權(quán)后，在用戶測試點Branch1上聯(lián)的CN2 PE上 （資源庫中查出是SH-SH-MS-S-1.CN2設(shè)備），通過上海本地城域網(wǎng)優(yōu)化平面與CN2的互聯(lián)接口，以二層Martini技術(shù)的VLL方式互聯(lián)至上海電信E通VPN平臺，互聯(lián)地址遵循局端規(guī)劃，用戶測試點路由地址為10.152.141.0/24，通過局端CN2 PE上觀察用戶VPN內(nèi)路由表，經(jīng)匯總歸并成10.152.0.0/16，加大管理距離為220，作為用戶備份路由指向E通VPN平臺。

3.3 城域網(wǎng)以太透傳實施策略

E通VPN平臺通過Option A方式VLL跨域接入CN2，上海電信本地城域網(wǎng)只承載用戶二層數(shù)據(jù)報文，用戶路由在城域段內(nèi)透明，只需要在優(yōu)化平面內(nèi)以Martini技術(shù)建立點對點的LDP鄰居連接，互聯(lián)E通VPN平臺和CN2接口，兩端用戶報文封裝以VLAN方式一致，避免dot1q和Bridge1483的橋接協(xié)議轉(zhuǎn)換。

3.4 E通VPN平臺部署

E通VPN平臺通過不同的密鑰和各用戶終端建立IPSec隧道，用戶對端可以通過IP或者用戶名方式識別。通常如果用戶端直接獲得公網(wǎng)IP上網(wǎng)，可以直接采用IP方式，如果是通過防火墻NAT上網(wǎng)，則需用戶名方式建立連接，同時考慮穿透防火墻問題，E通VPN為IPSec隧道建立提供了NAT穿透功能，針對SSL隧道加密，因為運行于HTTPS應(yīng)用層，不存在NAT穿透問題。

35歲以上的女性，孕育胎兒時的心理負(fù)擔(dān)要比適齡孕婦增大，加之社會和家庭的各種壓力，容易使精神處于緊張狀態(tài)，不利于自身的健康和胎兒的生長發(fā)育。

針對用戶間路由隔離安全性要求，E通VPN平臺支持VR（虛擬路由器）功能，各用戶組獨享一個VR，通過VLL透傳外層VLAN來區(qū)分各用戶所屬VR。E通VPN通過Option A方式互聯(lián)CN2，默認(rèn)情況類似本次測試以靜態(tài)接入為主。如將來有用戶BGP接入需求，E通VPN平臺所采用的Juniper ISG1000和Netscreen 500都可以支持BGP路由需求。

圖4 E通VPN平臺熱備CN2 MPLS VPN業(yè)務(wù)模型

此外，E通VPN平臺還可以根據(jù)用戶的需求基于Juniper Netscreen OS環(huán)境進行訪問策略設(shè)置，大大增強了用戶訪問的安全性。

3.5 用戶CE路由實施策略

用戶端部署集團定制終端B2-1，通過用戶原Internet出口建立和E通VPN的IPSec通道。定制終端開啟SNMP功能供遠(yuǎn)程采集流量，同時通過TR069協(xié)議，支持BBMS遠(yuǎn)程管理功能。通過雙網(wǎng)口策略，通往CN2內(nèi)部路由，建立高管理值的備份路由指向IPSec接口，當(dāng)主用失效后，可自動切換。用戶Internet出口配置QoS帶寬保留策略，以供故障時IPSec優(yōu)先轉(zhuǎn)發(fā)，如果用戶日常Internet訪問，流量不高，輕載條件下，QoS部署可以簡化。

3.6 用戶端測試

配置部署完畢后，用戶正常情況下，通過DDN主用線路接入CN2長途 MPLS VPN訪問用戶總頭10.152.114.2：

Tracing the route to 10.152.114.2

1 10.152.128.53 8 msec 8 msec 12 msec

2 10.152.62.210[AS 4809]12 msec 12 msec 11 msec

模擬用戶DDN線路故障，當(dāng)用戶DDN線路發(fā)生中斷時，經(jīng)30 s左右的中斷時間，路由自動切換IPSec備份網(wǎng)絡(luò)。通過E通VPN訪問用戶總頭的traceroute路徑如下：

Tracing the route to 10.152.114.2

1 173.73.73.2 0 msec 0 msec 0 msec

2 61.152.231.114 4 msec 0 msec 0 msec

3 172.210.210.3 4 msec 4 msec 4 msec

4 202.96.218.1 4 msec 4 msec 4 msec

5 222.66.240.57 4 msec 4 msec 4 msec

6 10.152.64.210 8 msec×12 msec

測試結(jié)論：經(jīng)用戶現(xiàn)場演示測試，通過E通VPN線路備份MPLS VPN的技術(shù)方案可以滿足用戶路由自動切換的需求。DDN鏈路故障時，E通VPN切換時間在30 s左右。DDN鏈路恢復(fù)后，路由自動倒回，基本不中斷。實用EVPN備份方式，用戶內(nèi)網(wǎng)應(yīng)用正常。

4 結(jié)束語

CN2是中國電信集團奠定未來10～20年里中國電信頂級運營商基礎(chǔ)的戰(zhàn)略級網(wǎng)絡(luò)平臺，E通VPN通過立足于CN2長途MPLS VPN業(yè)務(wù)，結(jié)合部署轉(zhuǎn)型業(yè)務(wù)的創(chuàng)新模式，有效貫穿了中國電信集團“把握整體和方向，充分發(fā)揮資源優(yōu)勢”的轉(zhuǎn)型策略。

CN2、IPMAN、E通VPN和定制終端等一系列業(yè)務(wù)，通過組網(wǎng)方案的高度整合，為高端客戶提供端到端的整體解決方案，大大提升了數(shù)據(jù)產(chǎn)品的競爭能力，也反映了IP技術(shù)驅(qū)動力下運營商業(yè)務(wù)發(fā)展的趨勢。

1 James D McCabe（美）.秦亞紅等譯.網(wǎng)絡(luò)分析、體系結(jié)構(gòu)與設(shè)計（第二版）.北京：電子工業(yè)出版社，2005

2 中國電信集團運維[2006]30號.中國電信下一代承載網(wǎng)（CN2）網(wǎng)絡(luò)運行維護管理辦法（試行）