柏楠 唐靜 雷波

摘要：NFV是運(yùn)營商網(wǎng)絡(luò)向未來演進(jìn)的重要方向，需要建立適應(yīng)NFV技術(shù)特點(diǎn)的網(wǎng)絡(luò)運(yùn)營管理系統(tǒng)。對(duì)NFV的基本架構(gòu)進(jìn)行簡單介紹，分析了引入NFV技術(shù)后網(wǎng)絡(luò)運(yùn)營管理及網(wǎng)元測(cè)試管理方面的問題，探討了嘗試解決部分問題的NFVO應(yīng)用實(shí)踐，為虛擬化網(wǎng)絡(luò)運(yùn)營和測(cè)試提供應(yīng)用參考。

關(guān)鍵詞：網(wǎng)絡(luò)管理;網(wǎng)絡(luò)功能虛擬化;網(wǎng)元測(cè)試

1? ?引言

網(wǎng)絡(luò)功能虛擬化（NFV， Network Function Virtualization）是指基于標(biāo)準(zhǔn)服務(wù)器、交換機(jī)等設(shè)備，采用虛擬化軟件化的技術(shù)手段，實(shí)現(xiàn)傳統(tǒng)網(wǎng)絡(luò)設(shè)備實(shí)體的功能。從2012年ETSI成立網(wǎng)絡(luò)功能虛擬化工作組（ETSI ISG NFV）以來，網(wǎng)絡(luò)虛擬化持續(xù)發(fā)展，在網(wǎng)元設(shè)備上提倡分層解耦，采用通用設(shè)備來節(jié)省運(yùn)營成本;在業(yè)務(wù)運(yùn)營上提倡自動(dòng)化，以自動(dòng)擴(kuò)縮容功能為代表的網(wǎng)絡(luò)彈性與快速構(gòu)建能力對(duì)運(yùn)營商頗具吸引力。NFV技術(shù)的引入，使得運(yùn)營商在通信技術(shù)的發(fā)展與變革上有了更多的挑戰(zhàn)，本文主要針對(duì)NFV后網(wǎng)絡(luò)的運(yùn)營管理和網(wǎng)元測(cè)試管理方面進(jìn)行了深入探討和研究。

2? ?網(wǎng)絡(luò)虛擬化帶來的問題

經(jīng)過近幾年的發(fā)展，NFV技術(shù)面臨的一些性能瓶頸已有相當(dāng)?shù)倪M(jìn)展，但從運(yùn)營商對(duì)網(wǎng)絡(luò)運(yùn)營管理的角度來看，在現(xiàn)有物理網(wǎng)絡(luò)中大規(guī)模引入網(wǎng)絡(luò)虛擬化，應(yīng)用虛擬網(wǎng)元（VNF， Virtualize Network Function）來構(gòu)建網(wǎng)絡(luò)承載業(yè)務(wù)還面臨諸多困難。

2.1? 網(wǎng)絡(luò)運(yùn)營管理的難題

ETSI NFV的參考架構(gòu)如圖1所示，從管理角度來看，MANO是管理NFV框架的核心環(huán)節(jié)，它包括虛擬設(shè)施管理器（VIM， Virtualised Infrastructure Manage）、VNF管理器（VNFM， VNF Manager）和NFV編排器（NFVO， NFV Orchestrator）3個(gè)部分，從底層向上分別負(fù)責(zé)對(duì)虛擬資源、虛擬網(wǎng)元和網(wǎng)絡(luò)服務(wù)的管理。其中VIM與虛擬化層的hypervisor具有接口;VNFM與網(wǎng)元管理系統(tǒng)（EMS， Element Management System）和VNF具有接口;NFVO與OSS具有接口。

運(yùn)營商網(wǎng)絡(luò)中傳統(tǒng)網(wǎng)元設(shè)備占多數(shù)，其測(cè)試建設(shè)、運(yùn)營管理和維護(hù)都已非常成熟，BSS/OSS體系建設(shè)

相對(duì)完善，虛擬網(wǎng)元的引入帶來了“虛實(shí)共管”的問題，雖然有NFV MANO（Management and Orches-tration， 編排與管理）體系參考，但MANO與EMS及OSS的交互接口不夠細(xì)致，實(shí)現(xiàn)上缺少支持。管理復(fù)雜度的增加延緩了網(wǎng)絡(luò)管理自動(dòng)化的進(jìn)程，從而拖累了NFV技術(shù)的部分優(yōu)勢(shì)。以vBRAS為例，作為較早引入到城域網(wǎng)中的VNF，vBRAS在實(shí)施過程中就面臨DC內(nèi)資源分配和網(wǎng)絡(luò)配置、網(wǎng)管納管、業(yè)務(wù)初始配置等多個(gè)操作環(huán)節(jié)。沿用傳統(tǒng)物理網(wǎng)元的管理方式和維護(hù)慣性，往往需人工干預(yù)。網(wǎng)絡(luò)管理上的困難主要體現(xiàn)在：

（1）缺乏端到端的自動(dòng)化配置能力。在虛擬網(wǎng)元（VNF）與傳統(tǒng)物理網(wǎng)元（PNF， Physical Network Function）共存的網(wǎng)絡(luò)中進(jìn)行網(wǎng)絡(luò)服務(wù)編排，需要具備對(duì)兩者的基本管理和配置能力。PNF和VNF的業(yè)務(wù)配置都在EMS系統(tǒng)中，但VNF生命周期管理在VNFM和NFVO中，這兩套系統(tǒng)之間需要建立必要的協(xié)同關(guān)系。

（2）各類網(wǎng)元間及虛擬資源層面的告警、性能未實(shí)現(xiàn)協(xié)同。告警分析是網(wǎng)絡(luò)運(yùn)營維護(hù)的重要一環(huán)，多個(gè)故障現(xiàn)象可能都是由同一原因?qū)е?，正確的告警關(guān)聯(lián)性分析至關(guān)重要。在虛實(shí)網(wǎng)絡(luò)或網(wǎng)元之間的、虛擬網(wǎng)元及虛擬化資源層面之間的性能事件、告警信息的協(xié)調(diào)仍然沒有實(shí)現(xiàn)。

（3）在網(wǎng)絡(luò)維護(hù)管理中，受維護(hù)人員使用習(xí)慣等原因的影響，在進(jìn)行業(yè)務(wù)初始配置或狀態(tài)操作時(shí)，仍存在少量不易管理的手工操作方式。尤其是在接入網(wǎng)中，對(duì)于部分虛擬化的接入網(wǎng)元，如vBRAS或vCPE，還有人工操作命令行的情況。這不僅增加了操作錯(cuò)誤的風(fēng)險(xiǎn)，更重要的是它可能會(huì)干擾NFVO或VNFM對(duì)虛擬網(wǎng)元生命周期的狀態(tài)管理。

（4）虛擬網(wǎng)元的承載層面基礎(chǔ)設(shè)施分布廣，面臨復(fù)雜層級(jí)的資源管理。運(yùn)營商業(yè)務(wù)種類繁雜，承載網(wǎng)絡(luò)種類繁多，不同網(wǎng)絡(luò)、不同網(wǎng)元的部署位置各不相同。運(yùn)營商的NFV基礎(chǔ)設(shè)施，按所處地理位置和業(yè)務(wù)部署的差異，也會(huì)有接入局點(diǎn)、邊緣DC、核心DC、區(qū)域中心DC等不同類型。通常不同的VNF會(huì)部署在不同位置，如vBras部署在核心DC或邊緣DC，而vCPE則部署在接入局點(diǎn)，而且對(duì)具體的業(yè)務(wù)網(wǎng)絡(luò)來說，存在隨需動(dòng)態(tài)變化的可能，這對(duì)資源管理和VNF管理提出了很高的要求，相應(yīng)地需要NFV-MANO的部署和管理范圍具有彈性，可以動(dòng)態(tài)調(diào)整。

2.2? 網(wǎng)元測(cè)試管理的問題

在虛擬網(wǎng)元的測(cè)試方面，隨著NFV解耦的進(jìn)展，在基礎(chǔ)設(shè)施硬件、Hypervisor、VNF等層面分別采用不同供應(yīng)商的解耦方案已日趨成熟，由此，面臨如何在有限資源投入情況下對(duì)虛擬網(wǎng)元進(jìn)行客觀、全面快速的測(cè)試等問題。

（1）VNF的更新頻率從原有網(wǎng)絡(luò)設(shè)備的的9～12個(gè)月縮短至3個(gè)月甚至更短，頻繁的版本迭代產(chǎn)生更多的測(cè)試資源要求，若保持傳統(tǒng)的測(cè)試方案會(huì)使測(cè)試周期十分漫長，無法滿足市場(chǎng)的需求。

（2）在軟硬件解耦的環(huán)境下，每一個(gè)環(huán)節(jié)的變化都會(huì)導(dǎo)致測(cè)試場(chǎng)景的變更，例如每次網(wǎng)元的升級(jí)，都會(huì)將所有的測(cè)試用例（包括功能及性能）進(jìn)行遍歷，測(cè)試內(nèi)容更加復(fù)雜，要求測(cè)試方法更加完善。

（3）在VNF管理方面已不同于實(shí)體網(wǎng)絡(luò)設(shè)備，在虛擬網(wǎng)元眾多的情況下，需要保證現(xiàn)網(wǎng)使用的VNF的安全性與可靠性。

3? ?運(yùn)營和測(cè)試管理的實(shí)踐

從2016年提出CTNet2025網(wǎng)絡(luò)重構(gòu)以來，中國電信一直推動(dòng)NFV技術(shù)及產(chǎn)業(yè)鏈的發(fā)展與成熟，在移動(dòng)核心網(wǎng)、城域網(wǎng)等領(lǐng)域進(jìn)行了大量的實(shí)踐探索。在城域網(wǎng)重構(gòu)方面，隨著CO機(jī)房的DC化改造及vBRAS網(wǎng)元產(chǎn)品的發(fā)展完善，在構(gòu)建場(chǎng)景化應(yīng)用的過程中，中國電信研究院以TeleNOS系統(tǒng)為主體，對(duì)虛擬網(wǎng)元的運(yùn)營管理、測(cè)試管理進(jìn)行了持續(xù)探索。

3.1? TeleNOS的基本信息

TeleNOS（Network Orchestration System，網(wǎng)絡(luò)編排系統(tǒng)）系統(tǒng)是參考ETSI NFV-MANO相關(guān)標(biāo)準(zhǔn)研發(fā)的增強(qiáng)NFVO。如圖2所示，系統(tǒng)具備NFVO的各項(xiàng)功能，包括NSD和VNFD模板編排管理、NS/VNF生命周期管理等，支持多VIM和多VNFM的注冊(cè)管理、故障告警管理和性能事件管理等。

在架構(gòu)設(shè)計(jì)上，以分布式任務(wù)隊(duì)列為核心，以NSD和VNFD模板為輸入，采用插件適配器的方式封裝不同形態(tài)特性的周邊系統(tǒng)接口，實(shí)現(xiàn)NFVO的各項(xiàng)功能及更多增強(qiáng)功能，如圖3所示。

3.2? VNF業(yè)務(wù)配置實(shí)踐

在NFVO基本功能基礎(chǔ)上，基于靈活擴(kuò)展的系統(tǒng)架構(gòu)，通過EMS適配插件，TeleNOS系統(tǒng)與EMS進(jìn)行對(duì)接。在VNF實(shí)例化的過程中，操作人員可在單一系統(tǒng)內(nèi)進(jìn)行資源編排選擇和業(yè)務(wù)初始化配置，避免了各部分的信息需要分別使用不同系統(tǒng)或者人工進(jìn)行操作的情況，降低配置錯(cuò)誤的可能性，提高操作人員的效率。選定的業(yè)務(wù)初始化配置信息由TeleNOS系統(tǒng)暫存，并在VNF實(shí)例化完成后，通過執(zhí)行EMS適配插件，調(diào)用相應(yīng)EMS的功能接口，將VNF實(shí)例納管到EMS后，將配置信息下發(fā)到VNF，完成配置生效。

系統(tǒng)中進(jìn)行實(shí)例化操作時(shí)即可配置其業(yè)務(wù)初始化參數(shù)，包括其管理IP地址、EMS中的地址池設(shè)置、vxlan設(shè)置等。當(dāng)實(shí)例化操作完成后，vBras實(shí)例已經(jīng)具有初始業(yè)務(wù)配置。

進(jìn)一步地，借助EMS適配插件，還可以實(shí)現(xiàn)對(duì)部分PNF的配置管理，從而增強(qiáng)NFVO對(duì)PNF和VNF混合編排管理的能力。此外對(duì)于部分規(guī)模較小、功能單一的VNF，缺少對(duì)應(yīng)VNFM和EMS的情況，可以考慮將VNFM與NFVO合并功能，通過CLI適配插件，完成對(duì)其的業(yè)務(wù)配置管理。如圖5所示，虛線為增加的NFVO與EMS、與VNF的接口。

3.3? 自動(dòng)化部署級(jí)聯(lián)實(shí)踐

在NFV環(huán)境中，考慮到NS或VNF的實(shí)例化面臨著多DC或多級(jí)DC的實(shí)施，需要NFV-MANO的部署和管理范圍靈活可變，具有彈性，在TeleNOS中引入NFVO的自動(dòng)化多級(jí)部署方案，將NFVO本身封裝為特殊的VNF包，實(shí)現(xiàn)這一要求。

在NFV-MANO需要擴(kuò)展管理范圍時(shí)，如接管新DC的虛擬化資源或網(wǎng)絡(luò)部署實(shí)例要求向新增DC做延伸，NFVO（上層O）可在注冊(cè)了新增DC節(jié)點(diǎn)的VIM后，使用級(jí)聯(lián)部署插件，自動(dòng)化地在新增的DC節(jié)點(diǎn)部署NFVO實(shí)例，將它作為與原NFVO（上層O）進(jìn)行級(jí)聯(lián)的下層O，并配合上層O實(shí)現(xiàn)NS或VNF在新增節(jié)點(diǎn)的實(shí)例化。這種自動(dòng)部署能力實(shí)現(xiàn)向下擴(kuò)展的方案適用于DC分級(jí)架構(gòu)，如圖6所示，以部署于核心DC的NFVO接管某邊緣DC虛擬資源并向邊緣DC中實(shí)例化一個(gè)下層O的實(shí)際場(chǎng)景為例，其流程如下：

（1）向核心DC的NFVO（上層O）中注冊(cè)邊緣DC的VIM信息，包括租戶賬號(hào)、管理地址、密鑰等。

（2）在上層O的模板數(shù)據(jù)庫中保存有NFVO自身級(jí)聯(lián)部署所需的模板及安裝包等。

（3）在上層O的插件數(shù)據(jù)庫中上傳級(jí)聯(lián)部署的插件。

（4）在上層O中對(duì)級(jí)聯(lián)部署的模板進(jìn)行實(shí)例化，并輸入?yún)?shù)。

（5）上層O通過運(yùn)行插件，將在邊緣DC中實(shí)例化一個(gè)下層O的實(shí)例。

（6）實(shí)例化過程和結(jié)果都會(huì)記錄在上層O的日志中。

（7）下層O實(shí)例正常運(yùn)行，與上層O協(xié)同工作。

針對(duì)DC基礎(chǔ)設(shè)施分散，而管理要集中統(tǒng)一的情況，這種分層級(jí)聯(lián)的自動(dòng)化部署方式就非常合適。其中上層的NFVO是編排調(diào)度和資源管理的核心，在這一節(jié)點(diǎn)上系統(tǒng)可以采用雙機(jī)或集群式的部署模式，增加可靠性;而在下層NFVO則采用虛機(jī)承載，輕便靈活，隨需而設(shè)。功能上，上層的NFVO負(fù)責(zé)全局的編排和統(tǒng)一管理，可以執(zhí)行跨域跨DC的NS編排和實(shí)例化，而下層NFVO則通過同步機(jī)制，協(xié)助上層完成對(duì)本節(jié)點(diǎn)的資源調(diào)度及操作。以上層NFVO發(fā)起在新增邊緣DC實(shí)例化某VNF為例，其流程如下：

（1）上層O的模板數(shù)據(jù)庫中保存有VNF的模板及包。

（2）上層O的插件數(shù)據(jù)庫中已有該VNF對(duì)應(yīng)的VNFM適配插件。

（3）在上層O中，選擇將VNF通過下層O在邊緣DC進(jìn)行實(shí)例化。

（4）上層O調(diào)度下層O實(shí)例自動(dòng)進(jìn)行插件的同步。

（5）上層O調(diào)度下層O實(shí)例自動(dòng)進(jìn)行模板的同步。

（6）上層O調(diào)度下層O實(shí)例執(zhí)行VNF的實(shí)例化。

（7）在下層O所在邊緣DC中VNF實(shí)例生成，運(yùn)行正常。

（8）下層O回傳過程日志到上層O中。

3.4? VNF網(wǎng)元測(cè)試實(shí)踐

在網(wǎng)元及其相關(guān)的測(cè)試方面，依托TeleNOS系統(tǒng)，針對(duì)虛擬網(wǎng)元的測(cè)試需求，使用TOS（Testing Orchestration System，測(cè)試編排系統(tǒng)）組件對(duì)VNF、測(cè)試用例（TestCase）、測(cè)試套（TestSuit）、系統(tǒng)接口（API）、測(cè)試結(jié)果都進(jìn)行統(tǒng)一的管理，可提高VNF驗(yàn)證和測(cè)試的自動(dòng)化水平，便于運(yùn)營商采購時(shí)對(duì)VNF開展評(píng)估，加速新業(yè)務(wù)網(wǎng)元的規(guī)范引入。

面向繁瑣的測(cè)試環(huán)境部署，將測(cè)試環(huán)境交由TeleNOS進(jìn)行管理編排，按測(cè)試所需提出模板，實(shí)現(xiàn)被測(cè)VNF實(shí)例的自動(dòng)化創(chuàng)建，減少測(cè)試環(huán)境的人工干預(yù)。TOS組件根據(jù)網(wǎng)元專業(yè)類型自動(dòng)化匹配測(cè)試套，同時(shí)對(duì)結(jié)果數(shù)據(jù)進(jìn)行自動(dòng)化整理，大幅提高了測(cè)試效率，縮短了測(cè)試周期。通過與專業(yè)儀表廠商進(jìn)行合作，可根據(jù)不同的測(cè)試類型匹配對(duì)應(yīng)的儀表。同時(shí)，在測(cè)試過程中會(huì)對(duì)資源進(jìn)行全程監(jiān)控，測(cè)試結(jié)束后生成周期內(nèi)的資源監(jiān)控報(bào)告。在TOS組件中引入版本管理，通過對(duì)連續(xù)版本的虛擬網(wǎng)元進(jìn)行測(cè)試而建立起的網(wǎng)元版本庫，系統(tǒng)可支持網(wǎng)元版本升級(jí)評(píng)估及合格網(wǎng)元新版本推送等。

4? ?結(jié)束語

運(yùn)營商網(wǎng)絡(luò)的云化虛擬化是產(chǎn)業(yè)發(fā)展的必然趨勢(shì)，在規(guī)模應(yīng)用虛擬網(wǎng)元構(gòu)建虛擬網(wǎng)絡(luò)服務(wù)的過程中，要建立切合實(shí)際生產(chǎn)需要的、高效可靠的管理系統(tǒng)。中國電信在近年的運(yùn)營商網(wǎng)絡(luò)云化領(lǐng)域進(jìn)行了部分探索與應(yīng)用，可以實(shí)現(xiàn)NFV技術(shù)下虛擬網(wǎng)元的運(yùn)營管理及測(cè)試管理，為NFV的網(wǎng)絡(luò)管理建設(shè)提供參考。

參考文獻(xiàn)：

[1] ETSI. Network functions virtualisation （NFV）; management and orchestration; functional requirements specification： GS NFV-IFA 010[S]. 2019.

[2] ETSI. Network Functions Virtualisation （NFV） Release 2; Protocols and Data Models; RESTful protocols specification for the Ve-Vnfm Reference Point： GS NFV-SOL 002[S]. 2019.

[3] ETSI. Network Functions Virtualisation （NFV） Release 3; Management and Orchestration; Report on management of NFV-MANO and automated deployment of EM and other OSS functions： GR NFV-IFA 021[S]. 2019.

[4] 林文峰，陳錦潮. NFV網(wǎng)絡(luò)運(yùn)營體系構(gòu)造[J]. 郵電設(shè)計(jì)技術(shù)， 2018（7）： 60-65.

[5] 胡亞希，霍筱寧. 引入NFV 技術(shù)的網(wǎng)絡(luò)管理方案[J]. 電信科學(xué)， 2018（S1）： 72-77.

[6] 雷波，解云鵬，王波. vBRAS應(yīng)用場(chǎng)景及評(píng)估方法探討[J]. 中興通訊技術(shù)， 2017（2）： 23-26.

[7] 雷波，唐靜. 中國電信打造NFV自動(dòng)化集成與驗(yàn)證平臺(tái)[J]. 通信世界， 2019（13）： 46-47.

[8] 李晨. SDN/NFV賦能5G網(wǎng)絡(luò)架構(gòu)的云化演進(jìn)[J]. 通信世界， 2019（12）： 45-48.

[9] 趙鵬，段曉東. SDN/NFV發(fā)展中的關(guān)鍵：編排器的發(fā)展與挑戰(zhàn)[J]. 電信科學(xué)， 2017，33（4）： 18-25.

[10] 史凡，趙慧玲. 中國電信網(wǎng)絡(luò)重構(gòu)及關(guān)鍵技術(shù)分析[J]. 中興通訊技術(shù)， 2017，23（2）： 2-5.