程 震,李亞鵬
(中國民用航空西南地區(qū)空中交通管理局,四川 成都 610000)
企業(yè)網(wǎng)絡(luò)是一個(gè)需要具備高穩(wěn)定性、高冗余性以及高擴(kuò)展性并且經(jīng)濟(jì)實(shí)用、數(shù)據(jù)傳輸安全可靠的網(wǎng)絡(luò)平臺(tái)[1]。傳統(tǒng)組網(wǎng)要求性價(jià)比高,建網(wǎng)模式統(tǒng)一,網(wǎng)絡(luò)協(xié)議統(tǒng)一,保證可靠性、穩(wěn)定性、先進(jìn)性以及實(shí)用性,此外具有良好的開放性和擴(kuò)充性,并在一定程度上保證安全。“安全是民航業(yè)的生命線,要始終把安全工作作為頭等大事來抓”,空管行業(yè)的組網(wǎng)目標(biāo)與側(cè)重點(diǎn)有別于一般企業(yè),應(yīng)將安全作為組網(wǎng)的第一追求,運(yùn)維便捷、易故障排查、網(wǎng)絡(luò)環(huán)境穩(wěn)定以及隔離邊界分明等都是最核心的目標(biāo),低延時(shí)、大帶寬以及易擴(kuò)展等則是組網(wǎng)的重要目標(biāo)。
局域網(wǎng)中常用的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)包括總線型結(jié)構(gòu)、星型結(jié)構(gòu)以及樹形結(jié)構(gòu),其中樹形結(jié)構(gòu)可視為星型結(jié)構(gòu)的拓展,也稱為多級(jí)星狀網(wǎng)絡(luò)[2]。傳統(tǒng)小型企業(yè)組網(wǎng)以星型結(jié)構(gòu)為主,分為核心層、匯聚層以及接入層。該結(jié)構(gòu)具有組網(wǎng)容易、運(yùn)維簡(jiǎn)單及功效高等特點(diǎn),但星型結(jié)構(gòu)對(duì)中央節(jié)點(diǎn)可靠性具有極高要求,一旦中央節(jié)點(diǎn)系統(tǒng)發(fā)生故障,將引發(fā)整個(gè)系統(tǒng)的癱瘓[3]。中大型企業(yè)則偏向使用三層網(wǎng)絡(luò)結(jié)構(gòu)的樹形拓?fù)?,其包含核心層、匯聚層以及接口層。該拓?fù)渚€路連接簡(jiǎn)單,維護(hù)簡(jiǎn)單且易于拓展,但同樣存在對(duì)根節(jié)點(diǎn)依賴性大、傳輸時(shí)延較長(zhǎng)、資源共享能力較低及可靠性不高的問題[2]。
成都天府國際機(jī)場(chǎng)是國家“十三五”期間在民用運(yùn)輸樞紐機(jī)場(chǎng)上規(guī)劃建設(shè)的最大項(xiàng)目,也是現(xiàn)今四川投資體量最大的項(xiàng)目。空管數(shù)據(jù)業(yè)務(wù)作為天府機(jī)場(chǎng)空管工程中的一個(gè)重要組成部分,其建設(shè)內(nèi)容主要包含管制信息系統(tǒng)一體化平臺(tái)(ATM Information System Platform,AISP)和空管生產(chǎn)數(shù)據(jù)中心平臺(tái)(ATM Data Center Platform,ADCP)。AISP將在后期運(yùn)營(yíng)中為管制及其他專業(yè)提供空管數(shù)據(jù)服務(wù),ADCP將提供對(duì)外數(shù)據(jù)接口并為民航相關(guān)用戶提供自助查詢服務(wù)等。天府機(jī)場(chǎng)空管數(shù)據(jù)網(wǎng)絡(luò)(Tian Fu ATM Network of Data Business,TFAN)不屬于任何一種傳統(tǒng)網(wǎng)絡(luò),其用戶區(qū)網(wǎng)絡(luò)是一個(gè)經(jīng)典的三層網(wǎng)絡(luò)樹形拓?fù)浣Y(jié)構(gòu),服務(wù)器網(wǎng)絡(luò)則是一個(gè)基于虛擬化技術(shù)而產(chǎn)生的大二層網(wǎng)絡(luò),將其和雙流空管數(shù)據(jù)網(wǎng)絡(luò)看做一體,它又是一個(gè)分布式數(shù)據(jù)中心網(wǎng)絡(luò)??展軘?shù)據(jù)業(yè)務(wù)主體網(wǎng)絡(luò)實(shí)現(xiàn)的目標(biāo)包括兩場(chǎng)存儲(chǔ)互聯(lián)、兩場(chǎng)業(yè)務(wù)互聯(lián)、虛擬化平臺(tái)管理互聯(lián)、業(yè)務(wù)系統(tǒng)隔離、用戶區(qū)邏輯隔離、網(wǎng)絡(luò)硬件設(shè)備統(tǒng)一管理以及網(wǎng)絡(luò)運(yùn)維安全等,確?!耙皇袃蓤?chǎng)”通信網(wǎng)絡(luò)一體化運(yùn)行得安全、順暢且高效。
虛擬局域網(wǎng)(Virtual Local Area Network,VLAN)屬于邏輯上的二層概念,它可以不受地理位置限制將不同的設(shè)備和用戶進(jìn)行二層域劃分,控制廣播范圍。其提供的三層交換機(jī)虛擬接口(Switch Virtual Interface,SVI)可以為該VLAN提供最后的路由,從而實(shí)現(xiàn)不同VLAN之間以及VLAN對(duì)其他網(wǎng)絡(luò)的數(shù)據(jù)訪問,在TFAN設(shè)計(jì)中,VLAN主要用于不同業(yè)務(wù)及不同用戶群體之間的二層隔離。
鏈路聚合包括二層聚合(橋聚合)和三層聚合(路由聚合)兩種模式,聚合方式分為動(dòng)態(tài)聚合和靜態(tài)聚合兩種。利用二層聚合可以將不同的物理端口視為同一個(gè)邏輯端口,從而達(dá)到拓展帶寬、鏈路備份以及負(fù)載分擔(dān)的目的,三層接口則可以額外提供路由功能。鏈路聚合技術(shù)在TFAN中主要起到網(wǎng)絡(luò)設(shè)備縱向中繼互聯(lián)及橫向路由冗余的作用。
堆疊技術(shù)可以將多臺(tái)同類型的設(shè)備合并為一臺(tái)邏輯設(shè)備,在TFAN硬件規(guī)劃上,多網(wǎng)卡的終端設(shè)備會(huì)同時(shí)連接到同一邏輯設(shè)備中的不同物理網(wǎng)絡(luò)設(shè)備上,以此達(dá)到設(shè)備級(jí)冗余的目的。此外,堆疊后的邏輯設(shè)備之間僅需在不同設(shè)備上提供兩個(gè)物理端口進(jìn)行口字型連接便可實(shí)現(xiàn)上行鏈路冗余的效果。堆疊方式主要分為菊花鏈堆疊模式和星型堆疊模式。菊花鏈堆疊模式的功能和級(jí)聯(lián)近似,可以起到拓展端口和硬件冗余的作用,沒有明顯的傳輸瓶頸,但不具備傳輸距離延長(zhǎng)的作用,也不能顯著提高通信效率。星型堆疊模式可以顯著提高交換機(jī)之間的轉(zhuǎn)發(fā)效率,但主交換機(jī)通信壓力較大且存在單點(diǎn)故障的問題[4]。綜合考慮空管數(shù)據(jù)業(yè)務(wù)運(yùn)行需求,菊花鏈堆疊模式更符合實(shí)際生產(chǎn)需要。
開放式最短路徑優(yōu)先(Open Shortest Path First,OSPF)是一種應(yīng)用于內(nèi)部網(wǎng)關(guān)之間的動(dòng)態(tài)路由協(xié)議,該協(xié)議適用于組建大型自治系統(tǒng)網(wǎng)絡(luò),具有收斂速度快、防止路由環(huán)路以及適應(yīng)性廣等優(yōu)點(diǎn)[5]。使用OSPF協(xié)議可以令整個(gè)自治網(wǎng)絡(luò)更易于拓展和運(yùn)維管理,在H3C廠商提供的技術(shù)文檔中,OSPF GR技術(shù)還可以顯著減輕網(wǎng)絡(luò)環(huán)境變化所帶來的的路由震蕩[6]。然而,該協(xié)議配置相對(duì)復(fù)雜,故障排查較難,要求網(wǎng)絡(luò)運(yùn)維人員技術(shù)功底扎實(shí),根據(jù)實(shí)際場(chǎng)景判斷是否有必要啟用該協(xié)議。
虛擬路由器冗余協(xié)議(Virtual Router Redundancy Protocol,VRRP)是一種選擇協(xié)議,它可以將多臺(tái)路由器虛擬為一臺(tái)路由器,當(dāng)主用物理路由器停止工作時(shí)可由備用路由器搶占轉(zhuǎn)發(fā)[7]。使用VRRP不需要改變組網(wǎng)方式也不需要在主機(jī)上做任何配置便可實(shí)現(xiàn)下一跳網(wǎng)關(guān)備份,文獻(xiàn)[8]中提出利用堆疊技術(shù)代替VRRP技術(shù),但適用場(chǎng)景過于苛刻,不適用于TFAN的實(shí)際生產(chǎn)場(chǎng)景。VRRP的實(shí)現(xiàn)主要分為主備備份方式、多備份組負(fù)載分擔(dān)方式以及負(fù)載均衡方式,一般的業(yè)務(wù)場(chǎng)景常使用傳統(tǒng)的主備備份方式,負(fù)載均衡方式則可以更好地提高網(wǎng)絡(luò)利用率[9]。天府空管數(shù)據(jù)網(wǎng)絡(luò)的VRRP應(yīng)用場(chǎng)景與傳統(tǒng)場(chǎng)景不同,涉及經(jīng)過兩臺(tái)網(wǎng)段不同且遠(yuǎn)距離傳輸通信的三層邏輯設(shè)備。
傳統(tǒng)網(wǎng)絡(luò)數(shù)據(jù)中心采用核心、匯聚以及接入的三層網(wǎng)絡(luò)架構(gòu),云計(jì)算數(shù)據(jù)中心則采用跨云計(jì)算中心的大二層網(wǎng)絡(luò),如圖1所示[10]。分布式數(shù)據(jù)中心相較于傳統(tǒng)數(shù)據(jù)中心,比雙活數(shù)據(jù)中心更節(jié)省計(jì)算和存儲(chǔ)硬件資源,比兩地三中心更節(jié)省IT資源,但同樣需要面對(duì)業(yè)務(wù)訪問網(wǎng)絡(luò)設(shè)計(jì)、大二層網(wǎng)絡(luò)設(shè)計(jì)以及數(shù)據(jù)同步3個(gè)難題。
圖1 數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)
TFAN設(shè)計(jì)綜合考慮了網(wǎng)絡(luò)安全性、可靠性以及拓展性,并利用堆疊、鏈路聚合、訪問控制策略以及網(wǎng)絡(luò)鏡像等方式來實(shí)現(xiàn)。為了使整張網(wǎng)絡(luò)拓?fù)涓逦?,依?jù)功能將TFAN劃分為服務(wù)器匯聚網(wǎng)絡(luò)、核心區(qū)網(wǎng)絡(luò)、用戶接入?yún)^(qū)網(wǎng)絡(luò)、硬件管理網(wǎng)絡(luò)以及安全運(yùn)維區(qū)網(wǎng)絡(luò),其中硬件管理網(wǎng)絡(luò)獨(dú)立于其他網(wǎng)絡(luò)。核心區(qū)和用戶接入?yún)^(qū)的主要網(wǎng)絡(luò)設(shè)備運(yùn)行OSPF協(xié)議,實(shí)現(xiàn)路由互通,所有的H3C網(wǎng)絡(luò)設(shè)備運(yùn)行SNMP協(xié)議,為統(tǒng)一網(wǎng)絡(luò)運(yùn)維平臺(tái)U-Center提供告警信息。
TFAN以核心區(qū)網(wǎng)絡(luò)為中心,向下經(jīng)服務(wù)器匯聚交換機(jī)與虛擬化服務(wù)器互聯(lián),經(jīng)安全設(shè)備與用戶接入?yún)^(qū)網(wǎng)絡(luò)互聯(lián),經(jīng)安全核心交換機(jī)與安全運(yùn)維區(qū)網(wǎng)絡(luò)互聯(lián),經(jīng)波分網(wǎng)絡(luò)連接雙流空管數(shù)據(jù)網(wǎng)絡(luò)。硬件管理網(wǎng)絡(luò)使用帶外管理的方式實(shí)現(xiàn),獨(dú)立于其他網(wǎng)絡(luò)功能區(qū)。天府服務(wù)器網(wǎng)絡(luò)經(jīng)波分網(wǎng)絡(luò)與雙流數(shù)據(jù)中心服務(wù)器網(wǎng)絡(luò)進(jìn)行物理打通,利用虛擬化技術(shù)實(shí)現(xiàn)大二層網(wǎng)絡(luò)設(shè)計(jì),通過Edge虛擬機(jī)兩場(chǎng)互備方式實(shí)現(xiàn)網(wǎng)關(guān)冗余提高業(yè)務(wù)可靠性。圖2中各分區(qū)根據(jù)網(wǎng)絡(luò)功能劃分,實(shí)際設(shè)備存在交叉。
圖2 天府?dāng)?shù)據(jù)網(wǎng)絡(luò)
核心網(wǎng)絡(luò)區(qū)在水平方向上與雙流空管數(shù)據(jù)網(wǎng)絡(luò)打通,為兩場(chǎng)業(yè)務(wù)互訪提供路由功能,在垂直方向上為天府用戶訪問天府?dāng)?shù)據(jù)業(yè)務(wù)提供路由功能,在安全運(yùn)維上為監(jiān)管及審計(jì)流量提供二層通道。兩組核心交換機(jī)及一組匯聚層交換機(jī)使用IRF堆疊技術(shù)劃分為3個(gè)堆疊域,形成3臺(tái)邏輯設(shè)備,分管不同業(yè)務(wù)實(shí)現(xiàn)三層隔離。核心區(qū)網(wǎng)絡(luò)如圖3所示。
圖3 核心區(qū)網(wǎng)絡(luò)
在服務(wù)器匯聚網(wǎng)絡(luò)中,存儲(chǔ)設(shè)備通過光纖交換機(jī)和波分網(wǎng)絡(luò)與雙流數(shù)據(jù)網(wǎng)絡(luò)存儲(chǔ)資源互聯(lián),虛擬化服務(wù)器通過匯聚層交換機(jī)和波分網(wǎng)絡(luò)與雙流數(shù)據(jù)網(wǎng)絡(luò)計(jì)算資源互聯(lián),實(shí)現(xiàn)新老機(jī)場(chǎng)虛擬化存儲(chǔ)和計(jì)算資源共享。各匯聚層交換機(jī)采用菊花鏈堆疊模式的IRF技術(shù)虛擬成一臺(tái)邏輯設(shè)備,其至兩組核心交換機(jī)的上行鏈路采用雙端口動(dòng)態(tài)鏈路聚合的方式互聯(lián)。虛擬化服務(wù)器具有4光4電8個(gè)以太網(wǎng)接口,分別與匯聚層交換機(jī)的不同物理交換機(jī)互聯(lián),保證服務(wù)器網(wǎng)絡(luò)高可用。在兩地?cái)?shù)據(jù)中心互聯(lián)的層面上采用A/B雙平面的裸光纖波分復(fù)用技術(shù),既保證了天府至雙流的帶寬又有雙平面?zhèn)鬏斮Y源,保證業(yè)務(wù)連續(xù)性。服務(wù)器匯聚網(wǎng)絡(luò)如圖4所示。
圖4 服務(wù)器匯聚網(wǎng)絡(luò)
用戶接入?yún)^(qū)網(wǎng)絡(luò)基本納入了AISP的所有用戶,后期會(huì)根據(jù)實(shí)際運(yùn)行需求新增防火墻及其他點(diǎn)位的用戶接入設(shè)備,因此該區(qū)域使用樹形網(wǎng)絡(luò)結(jié)構(gòu)。該結(jié)構(gòu)具有拓?fù)渚€路連接簡(jiǎn)單、維護(hù)便捷以及易于拓展的優(yōu)點(diǎn)。各用戶訪問空管數(shù)據(jù)業(yè)務(wù)采用縱向訪問和橫向隔離的方式,引入用戶匯聚交換機(jī)作為一個(gè)純二層設(shè)備簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu),節(jié)約防火墻端口。用戶終端的網(wǎng)關(guān)部署在防火墻上,由防火墻提供ACL策略、NAT等功能。設(shè)備廠商不同防火墻上行至核心交換機(jī)采用靜態(tài)鏈路聚合,不同接入點(diǎn)位的用戶根據(jù)所屬辦公區(qū)和樓層進(jìn)行VLAN劃分,設(shè)備堆疊域根據(jù)點(diǎn)位劃分,方便運(yùn)維人員檢查判斷。用戶接入如圖5所示。
圖5 用戶接入網(wǎng)絡(luò)
天府?dāng)?shù)據(jù)網(wǎng)絡(luò)硬件管理采用帶外管理的方式,利用同機(jī)房綜合布線資源及遠(yuǎn)距離成端傳輸資源將各硬件設(shè)備的管理口數(shù)據(jù)引接至硬件管理交換機(jī),沒有管理口的設(shè)備則使用該設(shè)備的最后一個(gè)以太網(wǎng)口替代,經(jīng)監(jiān)控接入交換機(jī)連接前臺(tái)監(jiān)控。硬件管理網(wǎng)絡(luò)如圖6所示。
圖6 硬件管理網(wǎng)絡(luò)
根據(jù)《民航空管系統(tǒng)網(wǎng)絡(luò)安全和信息化工作管理規(guī)定》《民用航空信息系統(tǒng)安全等級(jí)保護(hù)實(shí)施指南》以及《民航Web應(yīng)用系統(tǒng)安全檢查指南》等文件要求,TFAN建設(shè)需滿足三級(jí)等保條件,除核心區(qū)網(wǎng)絡(luò)對(duì)外出口部分,多數(shù)安全設(shè)備均配置在安全設(shè)備區(qū)。AISP核心交換機(jī)至安全核心交換機(jī)及ADCP核心交換機(jī)至安全核心交換機(jī)之間各有一條光纖互聯(lián),將核心交換機(jī)與匯聚層交換機(jī)之間交互數(shù)據(jù)的鏡像流量轉(zhuǎn)發(fā)給下掛在安全核心交換機(jī)上的審計(jì)設(shè)備。匯聚層交換機(jī)至安全核心交換機(jī)有兩條光纖互聯(lián),一條用于將虛擬化服務(wù)器與匯聚層交換機(jī)之間產(chǎn)生數(shù)據(jù)交互的鏡像流量轉(zhuǎn)發(fā)至安全審計(jì)設(shè)備,另一條用于網(wǎng)絡(luò)安全設(shè)備對(duì)業(yè)務(wù)虛擬機(jī)和客戶端等設(shè)備管理產(chǎn)生的流量交互。安全運(yùn)維網(wǎng)絡(luò)如圖7所示。
圖7 安全運(yùn)維網(wǎng)絡(luò)
在天府空管數(shù)據(jù)業(yè)務(wù)項(xiàng)目實(shí)施過程中,綜合考慮現(xiàn)場(chǎng)環(huán)境、空管業(yè)務(wù)特點(diǎn)以及后期值班人員的運(yùn)維壓力,建設(shè)人員與廠家工程師針對(duì)TFAN設(shè)計(jì)方案進(jìn)行多次商討修訂,最終實(shí)施結(jié)果與最初方案有如下4項(xiàng)修訂。
TFAN的網(wǎng)絡(luò)設(shè)備數(shù)目少且拓?fù)漭^簡(jiǎn)單,OSPF協(xié)議在該局域網(wǎng)中沒有明顯優(yōu)勢(shì)。防火墻作為安全設(shè)備不宜納入到普通三層設(shè)備的管理中,在規(guī)劃上依然沿用的靜態(tài)路由方式。此外,啟用OSPF協(xié)議運(yùn)維難度較大,會(huì)延長(zhǎng)故障恢復(fù)時(shí)間。
在原方案中,相同辦公區(qū)域的不同業(yè)務(wù)終端之間的網(wǎng)絡(luò)隔離依賴客戶端IP和網(wǎng)關(guān),運(yùn)維權(quán)限被下放至終端會(huì)增加運(yùn)維風(fēng)險(xiǎn),因此用戶區(qū)VLAN編號(hào)在采用原辦公區(qū)+樓層的方式基礎(chǔ)上納入業(yè)務(wù)編號(hào)組成新的三位數(shù)字編號(hào)(VLAN ABC),廣播域范圍也進(jìn)一步縮小。VLAN規(guī)劃如表1所示,數(shù)字A為辦公區(qū)編號(hào),數(shù)字B為樓層編號(hào),數(shù)字C為系統(tǒng)編號(hào),內(nèi)容已做脫敏處理。
表1 用戶區(qū)VLAN ABC規(guī)劃表
軟件定義網(wǎng)絡(luò)相比硬件網(wǎng)絡(luò)更加復(fù)雜,利用天府雙流兩場(chǎng)Edge虛擬機(jī)互備的方式保證業(yè)務(wù)網(wǎng)關(guān)高可用,對(duì)運(yùn)維人員的虛擬化技術(shù)能力要求高,增加了故障處置難度。在最終交付的網(wǎng)絡(luò)中,各生產(chǎn)系統(tǒng)業(yè)務(wù)的網(wǎng)關(guān)上調(diào)至服務(wù)器匯聚交換機(jī),廢除VMware NSX Edge功能,采用VRRP技術(shù)的主備方式實(shí)現(xiàn)數(shù)據(jù)業(yè)務(wù)網(wǎng)關(guān)在天府機(jī)場(chǎng)和雙流機(jī)場(chǎng)的兩場(chǎng)路由互備。由于生產(chǎn)數(shù)據(jù)中心為分布式架構(gòu),TFAN業(yè)務(wù)網(wǎng)關(guān)路由冗余場(chǎng)景與傳統(tǒng)場(chǎng)景不同。圖8為傳統(tǒng)網(wǎng)絡(luò)場(chǎng)景與實(shí)際網(wǎng)絡(luò)場(chǎng)景的對(duì)比圖,可以看出在實(shí)際場(chǎng)景中若Network-A的用戶需要訪問10.1.1.3需要跨核心層交換機(jī),由于A用戶默認(rèn)路由下一跳為10.0.0.252,如果只是對(duì)匯聚層交換機(jī)的業(yè)務(wù)網(wǎng)關(guān)做VRRP路由冗余,同樣網(wǎng)絡(luò)不可達(dá)。圖9為傳統(tǒng)VRRP配置方案和天府機(jī)場(chǎng)實(shí)際配置方案的對(duì)比圖,可以看出,在實(shí)際網(wǎng)絡(luò)場(chǎng)景中,核心層面同樣做了VRRP路由冗余來保證網(wǎng)絡(luò)可達(dá)。
圖8 傳統(tǒng)網(wǎng)絡(luò)場(chǎng)景與實(shí)際網(wǎng)絡(luò)場(chǎng)景
圖9 傳統(tǒng)VRRP配置方案和TFAN實(shí)際配置方案
在施工過程中,深信服與華三工程師進(jìn)行了設(shè)備聯(lián)調(diào),因此防火墻上行核心交換機(jī)改為動(dòng)態(tài)聚合模式,以防止靜態(tài)聚合出現(xiàn)不可預(yù)料的問題。
TFAN從設(shè)計(jì)至實(shí)施落地,始終圍繞“安全、穩(wěn)定、便捷”主題推動(dòng)前行,為天府空管網(wǎng)絡(luò)的數(shù)據(jù)提供可靠的通信環(huán)境,打下網(wǎng)絡(luò)“智慧空管”目標(biāo)的硬件基礎(chǔ),并通過介紹TFAN網(wǎng)絡(luò)架構(gòu)、初期網(wǎng)絡(luò)設(shè)計(jì)以及實(shí)施修訂內(nèi)容來傳遞空管網(wǎng)絡(luò)運(yùn)維理念。