張學良

南京中興軟件有限責任公司

0 引言

經(jīng)過一年多的5G建設(shè)，中國已經(jīng)建成全球最大的5G網(wǎng)絡(luò)。5G核心網(wǎng)采用SDN/NFV技術(shù)部署在云資源池上，引入大量的IT技術(shù)和新的組網(wǎng)技術(shù)，硬件層、虛擬層和業(yè)務(wù)層擁有大量的組件，運維工作量和復(fù)雜度成倍增加。整個5G網(wǎng)絡(luò)是面向服務(wù)化和云化架構(gòu)設(shè)計的，在業(yè)務(wù)層面采用切片以及微服務(wù)的SA組網(wǎng)，在NFVI層采用云原生以及SDN等新技術(shù)。但設(shè)備商和運營商缺乏云資源池的運維和運營能力，卻要立即面對已商用的全球最大5G核心網(wǎng)網(wǎng)絡(luò)，相比基于煙囪式的2G、3G和4G核心網(wǎng)設(shè)備，5G核心網(wǎng)的SDN/NFV云化部署給運營商的運維帶來巨大的挑戰(zhàn)。面對這些挑戰(zhàn)，運維體系需要盡快做出演進，才能滿足日益增長的高質(zhì)量網(wǎng)絡(luò)需求。

1 核心網(wǎng)部署架構(gòu)

1.1 核心網(wǎng)NFV架構(gòu)

5G核心網(wǎng)采用NFV架構(gòu)，如圖1所示。該架構(gòu)包含虛擬化的網(wǎng)元、MANO以及NFVI基礎(chǔ)設(shè)施。MANO負責網(wǎng)元的設(shè)計與編排以及生命周期管理，NFVI基礎(chǔ)設(shè)施負責將硬件資源云化，提供虛擬的網(wǎng)絡(luò)、計算和存儲資源?，F(xiàn)在的電信云在該架構(gòu)基礎(chǔ)上進行局部調(diào)整，從而能夠更加靈活部署以及更加快速上線新的網(wǎng)絡(luò)需求。

圖1 NFV架構(gòu)

1.2 核心網(wǎng)云資源池設(shè)計

為了能夠充分發(fā)揮5G網(wǎng)絡(luò)的高可靠、低時延和大連接特性，滿足全國人網(wǎng)和物網(wǎng)的高質(zhì)量網(wǎng)絡(luò)需求，采用層次化、結(jié)構(gòu)化和模塊化的原則來部署全部5G核心網(wǎng)的電信云，如圖2所示。5GC核心網(wǎng)中的控制平面網(wǎng)元部署在集中云，而媒體平面的網(wǎng)元部署在邊緣云中。

圖2 電信云資源池部署圖

集中云：為了應(yīng)對全國的用戶接入，運營商通常劃分大區(qū)來部署集中的電信云。5GC的控制面網(wǎng)元AMF、SMF、NRF、AUSF以及UDM等網(wǎng)元部署在大區(qū)制的數(shù)據(jù)中心。管理子系統(tǒng)既可以與網(wǎng)元在同一個云資源池，也可以單獨組成一個管理域的云資源池，負責整個DC資源管理、性能統(tǒng)計和統(tǒng)一告警。高性能服務(wù)器網(wǎng)絡(luò)子系統(tǒng)既可以是傳統(tǒng)的VLAN組網(wǎng)，也可以為SDN組網(wǎng)。分為計算型服務(wù)器和存儲型服務(wù)器，前者給云平臺提供算力，后者硬盤較多，作為分布式存儲的節(jié)點。通常集中云的組網(wǎng)方案為OpenFlow+eVPN或純eVPN的VxLAN組網(wǎng)方案。

邊緣云：為了有效降低網(wǎng)絡(luò)的時延，在接入層就近疏導接入流量，通常在靠近基站的地方部署核心網(wǎng)的UPF等媒體面網(wǎng)元。高性能服務(wù)器當做計算節(jié)點并提供本地存儲。為了滿足大流量的高速轉(zhuǎn)發(fā)，服務(wù)器上會安裝100G的智能網(wǎng)卡。在智能網(wǎng)卡中完成流量轉(zhuǎn)發(fā)和流量統(tǒng)計。網(wǎng)絡(luò)子系統(tǒng)中采用VLAN和高級路由協(xié)議來進行二三層通信。

1.3 集中云的三層三平面網(wǎng)絡(luò)架構(gòu)

集中云采用結(jié)構(gòu)化和層次化網(wǎng)絡(luò)設(shè)計原則，如圖3所示。水平方向劃分為接入層、核心層和出口層，垂直方向劃分為管理平面、存儲平面和業(yè)務(wù)平面。

圖3 集中云采用結(jié)構(gòu)化和層次化網(wǎng)絡(luò)設(shè)計原則

接入層：不同角色的服務(wù)器提供接入網(wǎng)絡(luò)的端口，通常采用10GE光纖連接。

核心層：匯聚接入層過來的流量并高速轉(zhuǎn)發(fā)，通常采用40GE的光纖與TOR進行交叉連線。

出口層：負責與外部網(wǎng)絡(luò)進行互聯(lián)并提供高級路由功能，與外部網(wǎng)絡(luò)進行快速互聯(lián)。通常采用100G進行口字型連線。

管理平面：云平臺和存儲系統(tǒng)的管理類型流量通信，在不同的管理流量采用VLAN進行隔離。

存儲平面：分布式存儲集群的前后端通信平面以及云平臺與存儲通信的平面。云平臺與存儲對接用三層通信。

業(yè)務(wù)平面：核心網(wǎng)業(yè)務(wù)通信的流量，Underlay采用VLAN+OSPF協(xié)議保證VTEP點之間快速互通。Overlay采用OpenFlow+eVPN方案，保證眾多5GC網(wǎng)元的東西流量和南北流量快速互通。

3 二維運維體系建立

過去的煙囪式設(shè)備維護簡單，運維人員只需負責單一設(shè)備的告警、配置以及性能監(jiān)測，但是電信云在垂直集成上網(wǎng)元業(yè)務(wù)實現(xiàn)涉及到業(yè)務(wù)架構(gòu)、云平臺以及SDN組網(wǎng)等新技術(shù)，水平集成上涉及不同廠家的軟硬件設(shè)備。在大規(guī)模數(shù)據(jù)中心中，軟硬件設(shè)備眾多，技術(shù)復(fù)雜度很高，而國內(nèi)運營商并沒有云資源池運維的經(jīng)驗，加上原來采用以省公司和市公司為主分級開展運維工作，而現(xiàn)在采用大區(qū)制集中云資源池部署，幾個省份共用一個數(shù)據(jù)中心的資源部署核心網(wǎng)的網(wǎng)元。云資源的分配、監(jiān)控和故障排查等運維工作需要大區(qū)和省公司能夠有效協(xié)同起來，共同維護好大區(qū)資源池和邊緣云的高質(zhì)量網(wǎng)絡(luò)。5G通信作為生活和工作的基本需求，又是物聯(lián)網(wǎng)的重要組網(wǎng)部分，網(wǎng)絡(luò)的穩(wěn)定性和可靠性至關(guān)重要。在云資源池運維經(jīng)驗不足、資源池內(nèi)組件眾多、技術(shù)復(fù)雜的情況下，怎么才能做好高質(zhì)量的運維工作？

為了更好地應(yīng)對這些挑戰(zhàn)，本文提出了以技術(shù)領(lǐng)域和能力模型的二維法來建立運維體系。首先，技術(shù)領(lǐng)域采用“高內(nèi)聚、低耦合”原則將電信云分層劃分獨立的專業(yè)子系統(tǒng)。表1描述了專業(yè)子系統(tǒng)的運維工作職責?！案邇?nèi)聚、低耦合”是軟件設(shè)計上的通用設(shè)計方法，同樣能夠?qū)嫶?、?fù)雜的電信云劃分為專業(yè)子系統(tǒng)，各個專業(yè)子系統(tǒng)有專門的團隊或小組負責運維工作以及運維技術(shù)研究。

表1 電信云專業(yè)子系統(tǒng)

機房子系統(tǒng) 機架、機房供電和制冷等物理系統(tǒng)監(jiān)測和維護工作網(wǎng)絡(luò)子系統(tǒng) （1）維護對象：網(wǎng)絡(luò)設(shè)備硬件、網(wǎng)絡(luò)操作系統(tǒng)、交換和路由、物理線路等（2）維護內(nèi)容：網(wǎng)絡(luò)設(shè)備的配置，網(wǎng)絡(luò)流量、動態(tài)表等性能統(tǒng)計以及告警管理、版本升級管理等（1）維護對象：AMF、NRF、SMF、AUSF和UDM等5GC網(wǎng)元以及其它的MANO、EPC和IMS網(wǎng)元（2）維護內(nèi)容：網(wǎng)元內(nèi)部資源監(jiān)測、網(wǎng)元內(nèi)部和外部的業(yè)務(wù)指標測量與告警管理等安全子系統(tǒng) （1）維護對象：防火墻、IPS、抗DDOS攻擊以及漏洞掃描等（2）維護內(nèi)容：安全威脅分析、入侵監(jiān)測，安全事件處理等構(gòu)建安全的技術(shù)和管理體系業(yè)務(wù)子系統(tǒng)

將整個電信云有機劃分為專業(yè)的子系統(tǒng)，每個子系統(tǒng)通過能力模型來驅(qū)動持續(xù)改進運維工作質(zhì)量。通過引入能力模型來度量運維的工作，不僅能夠促進運維工作流程化和標準化，還能持續(xù)改進，引入自動化和智能化方法來不斷提升運維效率，促進不同廠家產(chǎn)品質(zhì)量提升，共同打造精品網(wǎng)絡(luò)。表2展示了電信云運維能力模型。能力模型從人員構(gòu)成、能力、運維的規(guī)范性、度量、自動化、智能化維度來評估。

表2 電信云運維能力模型

電信云的技術(shù)復(fù)雜度以及部署的數(shù)量遠遠超過以前，引入自動化和智能化運維工具尤其重要。自動化部署與驗證、自動化巡檢、AI故障識別以及故障定界和根因分析工具需要進入到運維工作中。整個電信云中成百上千的組件，每時每刻都會產(chǎn)生大量的日志以及KPI數(shù)據(jù)，再疊加上大大小小的集中云和邊緣云，將會產(chǎn)生超大的日志和KPI數(shù)據(jù)，這些數(shù)據(jù)“價值連城”，利用AI技術(shù)可以從中挖掘出系統(tǒng)隱患，在故障產(chǎn)生前就能發(fā)現(xiàn)并解決；當故障發(fā)生時，及時推薦有效的解決辦法，5GC業(yè)務(wù)流程鏈條長，云平臺、網(wǎng)絡(luò)、存儲等各種因素都可能會影響業(yè)務(wù)的連續(xù)性，所以電信云的運維更加需要AI來智能化運維。

4 結(jié)果評價

選取某電信云站點應(yīng)用二維運維體系前后的運維數(shù)據(jù)對比，如表3所示。采集體系建立后三個月的運維數(shù)據(jù)，通過分析表明二維運維體系建立后縮短了故障平均定位時間和平均巡檢時間，提升了團隊發(fā)現(xiàn)隱患數(shù)量以及能力等級。團隊能力等級按照本文提出的二維體系來測量，通過舉證和專業(yè)技術(shù)考試來評價。

表3 運維數(shù)據(jù)分析

5 結(jié)束語

本文詳細分析了5G核心網(wǎng)部署以及技術(shù)復(fù)雜度，相比傳統(tǒng)的單一設(shè)備維護，電信云的運維面臨前所未有的挑戰(zhàn)。為了應(yīng)對這些挑戰(zhàn)，提出了二維運維體系，從技術(shù)劃分專業(yè)子系統(tǒng)和能力度量模型兩個方面來嘗試組織開展高效的運維工作。通過“高內(nèi)聚、低耦合”的方法對子系統(tǒng)進行專業(yè)技術(shù)建設(shè)，通過能力模型來指導各個子系統(tǒng)有序化、標準化、智能化、量化，并優(yōu)化運維工作，使得電信云能夠高效高品質(zhì)進行運維。