王衛(wèi)斌 朱進(jìn)磊 劉建華

中興通訊股份有限公司 南京 210012

引言

當(dāng)前，云計(jì)算的核心理念正在從資源供給調(diào)度為中心向應(yīng)用編排為中心轉(zhuǎn)變。云原生技術(shù)和5G應(yīng)用需求結(jié)合催生了云原生架構(gòu)的5G核心網(wǎng)，成為5G網(wǎng)絡(luò)助力行業(yè)數(shù)字化轉(zhuǎn)型的核心能力。

1 云原生在電信網(wǎng)絡(luò)的應(yīng)用

多年來，電信運(yùn)營商飽受復(fù)雜的專用硬件困擾。隨著云計(jì)算技術(shù)向電信領(lǐng)域的滲透，網(wǎng)絡(luò)功能虛擬化(NFV)被提出。NFV將各類網(wǎng)絡(luò)功能軟件按需部署分布在不同地點(diǎn)的由通用服務(wù)器、交換機(jī)和存儲設(shè)備組成的資源池上[1]。

如圖1所示，電信云原生應(yīng)用是在開發(fā)實(shí)踐過程中逐步發(fā)展出來的，經(jīng)歷了虛機(jī)、容器和云原生三個階段。虛機(jī)階段從封閉走向開放，實(shí)現(xiàn)網(wǎng)絡(luò)功能軟件與底層硬件解耦，同時引入云計(jì)算的集約化資源供給，實(shí)現(xiàn)了網(wǎng)絡(luò)功能和資源的統(tǒng)一管理、自動編排部署和伸縮。ETSI定義了NFV的應(yīng)用和管理框架：VNFM負(fù)責(zé)應(yīng)用部署和管理，VNF拆解為多個VNFC，這些組件根據(jù)實(shí)時負(fù)載動態(tài)彈縮以及時占用和釋放虛擬機(jī)資源。

圖1 電信應(yīng)用云化演進(jìn)

由于虛擬機(jī)資源消耗大，初始化速度慢，為了輕量化和快速彈縮，逐步發(fā)展到輕量化的容器部署階段。該階段在基礎(chǔ)設(shè)施和應(yīng)用之間增加了一層容器編排平臺，如K8S。應(yīng)用進(jìn)一步拆分為輕量化微服務(wù)(Micro Service)組件，MS間通過API通信。云原生階段的平臺能力在容器階段基礎(chǔ)上進(jìn)一步提升。不同應(yīng)用的公共組件被納入平臺范圍，提供統(tǒng)一的平臺服務(wù)(Platform as a Sevice，簡稱PaaS)，應(yīng)用只需關(guān)注業(yè)務(wù)邏輯實(shí)現(xiàn)，基于平臺服務(wù)統(tǒng)一開發(fā)框架快速構(gòu)建。云原生方式重構(gòu)的網(wǎng)絡(luò)功能可以更靈活地服務(wù)在線共享方式，快速動態(tài)地拼接出新應(yīng)用。

當(dāng)前，ETSI正在從網(wǎng)絡(luò)運(yùn)營角度定義電信網(wǎng)絡(luò)云原生應(yīng)用的特性和需求具備程度(Readiness)[2]，如表1所示。

表1 ETSI定義的電信網(wǎng)絡(luò)云原生應(yīng)用特性

2 云原生5GC

2.1 價值和挑戰(zhàn)

5G包括eMBB(增強(qiáng)移動寬帶)、uRLLC(低時延高可靠)和mMTC(低功耗大連接)三大業(yè)務(wù)場景[3]。3GPP在5GC(5G核心網(wǎng))規(guī)范中引入了SBA、切片、無狀態(tài)、CUPS和MEC等關(guān)鍵技術(shù)以靈活滿足多種場景的業(yè)務(wù)需求[4]。

如圖2所示，云原生與5GC在需求和技術(shù)理念上高度一致。云原生技術(shù)棧包含的容器、微服務(wù)、服務(wù)網(wǎng)格、不可變基礎(chǔ)設(shè)施及聲明式API與5GC架構(gòu)中的SBA、網(wǎng)絡(luò)切片、彈性和灰度、編排和管理高度匹配。云原生基于云平臺快速構(gòu)建應(yīng)用，能力層次化開放和運(yùn)維工具化的設(shè)計(jì)理念和方法論與5GC的網(wǎng)絡(luò)功能按需靈活部署、網(wǎng)絡(luò)特性可定制、資源解耦動態(tài)申請以及智能化運(yùn)維需求高度一致。因此，基于ETSI NFV架構(gòu)部署并采用云原生技術(shù)來構(gòu)建5G核心網(wǎng)目前已是主流運(yùn)營商和設(shè)備商的選擇[5]。

圖2 云原生關(guān)鍵技術(shù)與5GC匹配關(guān)系

由于電信應(yīng)用的特殊性，5GC云原生化也存在一些技術(shù)挑戰(zhàn)。

1)多場景基礎(chǔ)設(shè)施適配

5G云原生核心網(wǎng)需要廣泛適應(yīng)私有云、邊緣云、公有云、混合云等云化基礎(chǔ)設(shè)施，還需要支持專用設(shè)備場景的部署[6-8]。復(fù)雜的部署場景對云原生5GC的系統(tǒng)架構(gòu)設(shè)計(jì)提出了挑戰(zhàn)。一方面，要保證管理、資源、應(yīng)用的解耦，確保系統(tǒng)架構(gòu)和接口的通用性；另一方面，又要針對不同場景的特殊要求對各個子系統(tǒng)進(jìn)行相應(yīng)的優(yōu)化和增強(qiáng)。

2)電信特性增強(qiáng)

5G云原生核心網(wǎng)需要支持電信網(wǎng)元的多網(wǎng)絡(luò)平面架構(gòu)，要為控制面網(wǎng)元和轉(zhuǎn)發(fā)面網(wǎng)元提供網(wǎng)絡(luò)隔離和不同的性能支持[9]。原生的Kubernetes技術(shù)并不能很好地支持多網(wǎng)絡(luò)平面以及特殊協(xié)議(如GTP、SCTP)網(wǎng)絡(luò)轉(zhuǎn)發(fā)需求，也不支持動態(tài)巨頁、NUMA、POD資源獨(dú)占，無法滿足高性能轉(zhuǎn)發(fā)需求。高可用和安全隔離是電信增強(qiáng)的另一個重要體現(xiàn)，云原生5GC應(yīng)用內(nèi)部要實(shí)現(xiàn)容器隔離、租戶權(quán)限、安全組隔離等措施在云化通用基礎(chǔ)設(shè)施上提供99.999%的高可用。

3)持續(xù)演進(jìn)和平滑遷移

隨著云原生技術(shù)不斷發(fā)展以及5G核心網(wǎng)本身的演進(jìn)，云原生5GC也會經(jīng)歷不同發(fā)展階段。由于電信應(yīng)用永遠(yuǎn)在線的服務(wù)要求，在跨越不同階段時要考慮應(yīng)用升級對基礎(chǔ)設(shè)施、管理系統(tǒng)的影響，盡可能做到平滑遷移。

2.2 關(guān)鍵技術(shù)

應(yīng)對云原生5GC的上述挑戰(zhàn)的關(guān)鍵技術(shù)包括：合理的系統(tǒng)架構(gòu)設(shè)計(jì)、云原生電信增強(qiáng)技術(shù)和平滑演進(jìn)能力。

2.2.1 系統(tǒng)架構(gòu)設(shè)計(jì)

云原生5GC的系統(tǒng)架構(gòu)如圖3所示，核心網(wǎng)各個網(wǎng)元基于微服務(wù)做功能拆分和歸類，構(gòu)建出公共服務(wù)域和業(yè)務(wù)域，使用容器和自動化編排等技術(shù)，對這些微服務(wù)做靈活組合，在NFV資源池、公有云以及專用硬件設(shè)備上部署運(yùn)行。

圖3 云原生5GC軟件架構(gòu)

1)管理域

管理域MANO是5GC的核心，同時具備資源編排和服務(wù)管理功能。云原生5GC在管理域新增CaaS管理模塊CISM和CCM。CISM由CCM部署，CCM可支持多個CISM集群發(fā)放。MANO根據(jù)VNF部署時注入的節(jié)點(diǎn)信息自動注冊至CISM進(jìn)行納管。MANO和CI/CD工具配合，提供灰度升級、AB測試等特性，完成云原生5GC持續(xù)集成和持續(xù)部署，加速需求響應(yīng)速度。管理域還應(yīng)部署網(wǎng)元設(shè)備管理功能，通過南向接口獲取、管理云原生5GC應(yīng)用的狀態(tài)和運(yùn)行信息，適配轉(zhuǎn)換后再通過北向接口納管到網(wǎng)絡(luò)管理中心。

2)業(yè)務(wù)域

業(yè)務(wù)域是云原生5GC 的靈魂，包含多個標(biāo)準(zhǔn)的網(wǎng)絡(luò)功能NF(Network Function)的微服務(wù)，實(shí)現(xiàn)3GPP定義的5G核心網(wǎng)業(yè)務(wù)能力。這些業(yè)務(wù)微服務(wù)是云原生5GC的實(shí)現(xiàn)載體，與3GPP SBA定義的NFS(Network Function Service)沒有嚴(yán)格的對應(yīng)關(guān)系。

3)公共服務(wù)域

云原生5GC公共服務(wù)域的設(shè)計(jì)目的是實(shí)現(xiàn)通用服務(wù)共享，快速構(gòu)建5GC應(yīng)用。公共服務(wù)域至少包括運(yùn)維管理、LB(Load Balance)服務(wù)、數(shù)據(jù)存儲服務(wù)，為業(yè)務(wù)域的應(yīng)用服務(wù)提供統(tǒng)一的支撐。容器服務(wù)、微服務(wù)治理可以歸屬公共服務(wù)域，也可以下沉到資源域。

運(yùn)維管理提供5G 核心網(wǎng)的FCAPS(Fault、Configuration、Accounting、Performance and Security)功能，以及日志、跟蹤和License等管理運(yùn)維能力。5G核心網(wǎng)的業(yè)務(wù)配置較復(fù)雜，基于Yang模型設(shè)計(jì)業(yè)務(wù)配置，可為運(yùn)維人員提供友好的CLI/MML操作方式，方便查詢、修改、備份和恢復(fù)。

云原生5GC的各個業(yè)務(wù)微服務(wù)需要采用無狀態(tài)設(shè)計(jì)以具備魯棒性和快速彈性。數(shù)據(jù)存儲服務(wù)要具備實(shí)時訪問能力，可為各業(yè)務(wù)微服務(wù)提供業(yè)務(wù)會話上下文數(shù)據(jù)的存儲服務(wù)，根據(jù)業(yè)務(wù)需求提供流程級、事務(wù)級、會話級三級無狀態(tài)服務(wù)。為了確保性能，云原生5GC的數(shù)據(jù)服務(wù)一般不采用開源數(shù)據(jù)庫組件，而是采用自定義的內(nèi)存數(shù)據(jù)庫，并在業(yè)務(wù)邏輯組件設(shè)計(jì)專門的數(shù)據(jù)庫Cache。

4)資源域

基于公有云、運(yùn)營商N(yùn)FV資源池、專用硬件設(shè)備等基礎(chǔ)設(shè)施，為云原生5GC提供物理機(jī)或虛擬機(jī)方式的計(jì)算和存儲資源，以及多網(wǎng)絡(luò)平面組網(wǎng)。針對云原生5GC的轉(zhuǎn)發(fā)性能要求，有時還需要基于加速卡、異構(gòu)處理器等特定硬件的標(biāo)準(zhǔn)化掛接提供高性能數(shù)據(jù)轉(zhuǎn)發(fā)或安全加解密服務(wù)等。

2.2.2 電信增強(qiáng)

1)容器增強(qiáng)

云原生5GC在支持共享CPU配置基礎(chǔ)上針對DPDK應(yīng)用擴(kuò)展新的獨(dú)占式調(diào)度方式，避免所需資源被內(nèi)核線程或K8S上其他應(yīng)用搶占。需要從操作系統(tǒng)層面進(jìn)行多線程CPU綁定來確保這種獨(dú)占性，同時支持動態(tài)巨頁和NUMA親和等調(diào)度方式。

2)網(wǎng)絡(luò)增強(qiáng)

5G核心網(wǎng)包括控制面網(wǎng)元和轉(zhuǎn)發(fā)面網(wǎng)元，不同網(wǎng)元對網(wǎng)絡(luò)的性能和配置要求不同，內(nèi)部還要進(jìn)行不同的平面隔離，而原生的Kubernetes網(wǎng)絡(luò)POD僅支持單網(wǎng)絡(luò)接口。如圖4所示，為了滿足云原生5GC高性能轉(zhuǎn)發(fā)和多平面需求，要引入增強(qiáng)的多網(wǎng)絡(luò)平面插件和智能網(wǎng)卡(Smart-NIC)加速技術(shù)。Smart-NIC支持OVS加速，動態(tài)生成的vNIC用于POD的擴(kuò)展網(wǎng)絡(luò)；POD網(wǎng)絡(luò)通過Multus+CNI-X的方式，提供多網(wǎng)絡(luò)平面和物理網(wǎng)絡(luò)。如果服務(wù)器不支持智能網(wǎng)卡，就需要在普通網(wǎng)卡上采用SR-IOV以確保高速轉(zhuǎn)發(fā)性能，但是SR-IOV的邏輯端口擴(kuò)展性有限制。此外，Kubernetes節(jié)點(diǎn)還要具備多網(wǎng)卡能力，以便于為POD提供hostnic方式的CNI，IP Vlan或Calico方式的CNI。當(dāng)POD上的應(yīng)用有對接多個外部網(wǎng)絡(luò)需求時，還需要擴(kuò)展支持vlan trunk等組網(wǎng)功能。

圖4 云原生5GC的網(wǎng)絡(luò)增強(qiáng)技術(shù)

3)安全增強(qiáng)

容器化環(huán)境中風(fēng)險主要來自容器配置和容器運(yùn)行時引入的漏洞，如內(nèi)核共享、側(cè)信道攻擊、非法訪問敏感數(shù)據(jù)、危險代碼執(zhí)行等。ETSI GS NFV-SEC 023中定義了鏡像制作、鏡像管理和容器逃逸三種主要的云原生安全威脅。對于容器運(yùn)行時，在Kata容器技術(shù)成熟之前可以采用虛機(jī)嵌套容器方式部署，避免容器異常時應(yīng)用間的相互干擾。對于容器環(huán)境配置管理，可以依據(jù)CWPP(Cloud Workload Protection Platform)模型進(jìn)行云原生安全加固。CWPP提供完善的核心防護(hù)和附加防護(hù)策略，包括權(quán)限及數(shù)據(jù)變更管理、安全隔離、完整性監(jiān)控、應(yīng)用控制、行為監(jiān)控和漏洞掃描等。同時，在基礎(chǔ)設(shè)施層可以引入可信芯片TPM/vTPM、可信操作系統(tǒng)、可信VMM等可信計(jì)算技術(shù)增強(qiáng)基礎(chǔ)設(shè)施的安全性。

2.3 持續(xù)演進(jìn)

云原生在不斷演進(jìn)中，5G核心網(wǎng)的云原生化進(jìn)程也應(yīng)依據(jù)應(yīng)用場景、基礎(chǔ)設(shè)施能力和商業(yè)驅(qū)動力綜合考慮。如表2所示，可以從兼容性、服務(wù)化、可靠性、彈性、安全、可觀察性、CI/CD這7個維度構(gòu)建云原生5GCDE成熟度參考模型。分4個階段：L1階段是云原生起步階段、L2階段是云原生進(jìn)階階段、L3階段是云原生成熟階段、L4階段是云原生優(yōu)化階段，不同階段在可觀察性、服務(wù)化、彈性等方面有不同的要求。當(dāng)前，比較先進(jìn)的云原生5GC應(yīng)用基本處于L2階段，正在進(jìn)一步向L3演進(jìn)。

表2 云原生5GC成熟度參考模型

在向高級階段的云原生5GC遷移時，可以采用雙域雙活方式實(shí)現(xiàn)不中斷業(yè)務(wù)升級，不同業(yè)務(wù)域之間采用隧道方式互通，具備信令協(xié)議轉(zhuǎn)換和數(shù)據(jù)同步能力。也可以同一應(yīng)用采用跨不同資源池的混合部署方式，通過擴(kuò)容新資源池和縮容舊資源池方式，最終平滑演進(jìn)至新的云原生應(yīng)用。

3 總結(jié)與展望

云原生5GC圍繞容器云平臺(如K8S)設(shè)計(jì)、開發(fā)和運(yùn)維，采用微服務(wù)架構(gòu)，利用平臺生態(tài)圈豐富的開源組件實(shí)現(xiàn)快速迭代和灰度發(fā)布，靈活滿足行業(yè)專網(wǎng)和邊緣計(jì)算的碎片化需求，快速定制和持續(xù)更新。隨著5G網(wǎng)絡(luò)建設(shè)和商用進(jìn)程的不斷深入，云原生架構(gòu)的5G核心網(wǎng)將得到越來越廣泛的應(yīng)用。