唐雄燕 馬季春 曹暢 張帥

摘要：基于SDN技術(shù)，中國聯(lián)通利用現(xiàn)有網(wǎng)絡(luò)能力，以差異化保障為抓手，開放運營，以業(yè)務(wù)為驅(qū)動，推進(jìn)China169骨干網(wǎng)、城域網(wǎng)接入網(wǎng)、國際出口的SDN化部署。重點介紹了中國聯(lián)通169網(wǎng)SDN化改造整體思路，相關(guān)的技術(shù)特點及方案優(yōu)勢。分析表明，該方案的創(chuàng)新有效提升寬帶網(wǎng)絡(luò)資源的利用率，挖潛網(wǎng)絡(luò)價值，通過網(wǎng)絡(luò)能力開放和合作，推動產(chǎn)業(yè)鏈健康發(fā)展。

關(guān)鍵詞：骨干網(wǎng);SDN;169網(wǎng)絡(luò)

1? ?引言

近年來，在個人及政企市場，隨著以4K、8K、VR（Virtual Reality，虛擬現(xiàn)實）為代表的大帶寬視頻業(yè)務(wù)，以應(yīng)用上云為代表的云網(wǎng)融合業(yè)務(wù)，以及以車聯(lián)網(wǎng)為代表的超低時延業(yè)務(wù)的蓬勃發(fā)展，客戶對數(shù)據(jù)網(wǎng)絡(luò)的要求越來越嚴(yán)格，在超大連接、超低時延、超大帶寬等方面均提出了新的要求[1]。同時，網(wǎng)絡(luò)需要為不同的業(yè)務(wù)提供差異化的服務(wù)保障（如帶寬、時延保障等），既滿足政企業(yè)務(wù)快速交付，又要降低網(wǎng)絡(luò)維護(hù)復(fù)雜性。上述這些變化均給數(shù)據(jù)網(wǎng)的管理和控制帶來了挑戰(zhàn)，包括運營商在內(nèi)的產(chǎn)業(yè)各界專家也都針對該問題進(jìn)行了細(xì)致的研究。SDN技術(shù)可以最大限度地增強(qiáng)業(yè)務(wù)的控制面板，同時簡化數(shù)據(jù)層轉(zhuǎn)發(fā)設(shè)備，并輔之以靈活開放的業(yè)務(wù)接口，是用來解決復(fù)雜網(wǎng)絡(luò)保障和加快業(yè)務(wù)部署的有效手段[2]。

中國聯(lián)通在廣域數(shù)據(jù)網(wǎng)上，率先大規(guī)模引入SDN技術(shù)，通過網(wǎng)絡(luò)控制器和業(yè)務(wù)編排器實現(xiàn)對公眾互聯(lián)網(wǎng)業(yè)務(wù)的應(yīng)用加速，對各種網(wǎng)絡(luò)資源和網(wǎng)絡(luò)能力進(jìn)行抽象和封裝，靈活組合，為業(yè)務(wù)的開發(fā)提供標(biāo)準(zhǔn)的API接口，開放網(wǎng)絡(luò)能力，實現(xiàn)業(yè)務(wù)的快速編排、下發(fā)和調(diào)整，為不同的業(yè)務(wù)和用戶提供差異化的網(wǎng)絡(luò)保障，取得了良好的收效，本文將結(jié)合中國聯(lián)通在169網(wǎng)絡(luò)的SDN改造過程，詳細(xì)闡述其方案、收效和意義。

2? ?中國聯(lián)通169網(wǎng)SDN化改造整體思路

中國聯(lián)通在2015年提出了下一代網(wǎng)絡(luò)轉(zhuǎn)型的總體目標(biāo)和新型網(wǎng)絡(luò)架構(gòu)Cube-Net2.0[3]，并在2018年結(jié)合AI等技術(shù)升級為Cube-Net2.0+[4]，該架構(gòu)以泛在超寬帶網(wǎng)絡(luò)為基礎(chǔ)，并引入云計算、軟件定義網(wǎng)絡(luò)（SDN）和網(wǎng)絡(luò)功能虛擬化（NFV）技術(shù)進(jìn)行網(wǎng)絡(luò)的重構(gòu)和改造，使得基礎(chǔ)網(wǎng)絡(luò)具備開放、彈性、敏捷等新的技術(shù)特征，形成網(wǎng)絡(luò)即服務(wù)（NaaS）的架構(gòu)理念。根據(jù)Cube-net 2.0+的思路，中國聯(lián)通數(shù)據(jù)網(wǎng)的建設(shè)目標(biāo)是統(tǒng)一控制平面，逐步實現(xiàn)多網(wǎng)融合，并為最終提供端到端網(wǎng)絡(luò)隨選能力[5]。

在該目標(biāo)架構(gòu)中，各網(wǎng)絡(luò)域內(nèi)按照SDN化改造的節(jié)奏單獨部署控制器，實現(xiàn)域內(nèi)網(wǎng)元的集中控制，并且按照大區(qū)、省級、地市等管理單元設(shè)置不同的業(yè)務(wù)入口（Portal）以便分級的管理[7]。在集團(tuán)層面，169網(wǎng)、A網(wǎng)等全國廣域數(shù)據(jù)網(wǎng)SDN化統(tǒng)一部署，并且與現(xiàn)有OSS/BSS系統(tǒng)實現(xiàn)對接。

3? ?169網(wǎng)絡(luò)SDN化改造情況

China169網(wǎng)作為中國聯(lián)通互聯(lián)網(wǎng)業(yè)務(wù)最重要的品牌，承載了中國聯(lián)通絕大多數(shù)寬帶網(wǎng)用戶、信息源和互聯(lián)網(wǎng)流量，對實現(xiàn)集團(tuán)公司戰(zhàn)略目標(biāo)與國家信息化發(fā)展戰(zhàn)略具有重要作用[6]。下面將按照169骨干網(wǎng)、城域網(wǎng)接入和國際出口分別進(jìn)行闡述。

3.1? China169骨干網(wǎng)SDN化部署

中國聯(lián)通針對China169網(wǎng)絡(luò)的實際情況，根據(jù)互聯(lián)網(wǎng)業(yè)務(wù)的差異化需求，確定了通過SDN技術(shù)實現(xiàn)對網(wǎng)絡(luò)流量的精細(xì)化分析與調(diào)控，通過BGP（Border Gateway Protocol，邊界網(wǎng)關(guān)協(xié)議）路由控制、SR-TE（Segment Routing-Traffic Engineering，分段路由流量工程）等技術(shù)實現(xiàn)流量流向疏導(dǎo)、差異化質(zhì)量保證等需求的技術(shù)方案。同時，通過研發(fā)SDN+SR-TE流量調(diào)度功能，精細(xì)控制骨干網(wǎng)中的業(yè)務(wù)流量路徑，實現(xiàn)骨干網(wǎng)內(nèi)客戶的差異化服務(wù)。并且，通過自研的大規(guī)模網(wǎng)絡(luò)信息采集系統(tǒng)功能，即BGP-LS實時采集網(wǎng)絡(luò)拓?fù)渑c質(zhì)量數(shù)據(jù)。通過業(yè)務(wù)路徑規(guī)劃系統(tǒng)功能，采用CSPF（Constrained Shortest Path First，約束最短路徑優(yōu)先）算法計算基于特定約束條件（主要包括：鏈路帶寬、鏈路狀態(tài)、鏈路Cost值、鏈路時延、QoS時延需求、QoS帶寬需求等）下的最短時延路徑，同時建立SR-TE隧道，將不同業(yè)務(wù)流量疏導(dǎo)入不同隧道，以實現(xiàn)對于不同業(yè)務(wù)的差異化服務(wù)。在建立路徑時同時建立備用路徑，實現(xiàn)主用路徑故障時的快速倒換。China169骨干網(wǎng)SDN化改造的部署方案如圖2所示。

3.2? 城域網(wǎng)接入的SDN化部署

城域網(wǎng)接入SDN化架構(gòu)示意圖如圖3所示，該架構(gòu)具有良好的開放性和可擴(kuò)展能力，中國聯(lián)通自研的SDN設(shè)備控制器可支持NetConf協(xié)議，也可采用Telnet/SSH協(xié)議的CLI方式對設(shè)備進(jìn)行控制。可實現(xiàn)在傳統(tǒng)城域網(wǎng)的高品質(zhì)通道的自動化開通，隨著傳統(tǒng)城域網(wǎng)向智能城域網(wǎng)演進(jìn)，可通過城域網(wǎng)編排協(xié)同器與SDN網(wǎng)絡(luò)協(xié)同，實現(xiàn)更加智能、豐富的高品質(zhì)業(yè)務(wù)保障功能。

3.3? 國際出口的SDN化部署

目前中國聯(lián)通國際出口帶寬峰值利用率較高，流量分布不均，已經(jīng)影響國際互聯(lián)網(wǎng)業(yè)務(wù)質(zhì)量。目前的路由策略是只接入某節(jié)點的用戶的國際流量只通過此節(jié)點轉(zhuǎn)接，即使這個國際出口已經(jīng)很擁堵，同時其余節(jié)點還有空余帶寬，也不會將流量分流到其余節(jié)點，通過傳統(tǒng)IP手段的調(diào)整，難以做到國際出口各個節(jié)點間的流量均衡，同時也難以依據(jù)網(wǎng)絡(luò)流量的實時狀況調(diào)整流量策略。

在對問題進(jìn)行詳細(xì)分析的基礎(chǔ)上，中國聯(lián)通通過SDN精細(xì)控制國際出口相關(guān)的BGP路由條目的方式，解決傳統(tǒng)方法難以實現(xiàn)依據(jù)網(wǎng)絡(luò)狀況實施進(jìn)行流量均衡的問題，如圖4所示：

通過自研的網(wǎng)絡(luò)路由與流量分析的系統(tǒng)功能，可實現(xiàn)對國際出口流量的實時精準(zhǔn)監(jiān)測，同時可實現(xiàn)對不同客戶、不同業(yè)務(wù)流量的統(tǒng)計與趨勢分析。依據(jù)網(wǎng)絡(luò)運行狀況，向網(wǎng)絡(luò)維護(hù)人員發(fā)出擁堵預(yù)警，并基于算法進(jìn)行流量優(yōu)化方案計算，提出多種優(yōu)化方案并進(jìn)行優(yōu)化效果展示，可供維護(hù)人員選擇。同時可以依據(jù)網(wǎng)絡(luò)狀況動態(tài)調(diào)整網(wǎng)絡(luò)流量的QoS設(shè)置，保證國際出口用戶的差異化服務(wù)需求。通過SDN的精細(xì)控制，流量調(diào)整粒度可以細(xì)至單條路由，同時可以實現(xiàn)流量的秒級調(diào)整[8]。

3.4? 商業(yè)應(yīng)用特點

結(jié)合上述三個案例，通過SDN技術(shù)，中國聯(lián)通對網(wǎng)絡(luò)進(jìn)行端到端的調(diào)整與優(yōu)化，實現(xiàn)對高品質(zhì)業(yè)務(wù)保障產(chǎn)品的商業(yè)化部署。網(wǎng)絡(luò)的改造只是第一步，在此基礎(chǔ)上，中國聯(lián)通通過與服務(wù)提供商（Service Provider）的合作，以創(chuàng)新業(yè)務(wù)模式，已經(jīng)可為用戶提供如互聯(lián)網(wǎng)直通車產(chǎn)品等服務(wù)[9-10]。其主要優(yōu)勢在于：為特定用戶的特定業(yè)務(wù)分配獨立邏輯通道，提供質(zhì)量保障。合作方（內(nèi)容提供商CP/服務(wù)提供商SP）一點接入，可提供全網(wǎng)服務(wù)或指定省分服務(wù);提供友好的自助服務(wù)界面，為ToB（企業(yè)）、ToI（產(chǎn)業(yè)）、ToC（客戶）等不同的業(yè)務(wù)場景提供可定制的業(yè)務(wù)產(chǎn)品，實現(xiàn)了用戶自服務(wù)，滿足高帶寬視頻、游戲加速等高品質(zhì)業(yè)務(wù)的保障需求。

4? ?方案優(yōu)勢和技術(shù)特點

在China169網(wǎng)絡(luò)改造過程中，中國聯(lián)通運用一系列SDN技術(shù)，取得了良好的效果，具體表現(xiàn)為：

（1）業(yè)界首創(chuàng)在超大型互聯(lián)網(wǎng)中采用SDN技術(shù)實現(xiàn)商業(yè)化部署

本方案在超大型互聯(lián)網(wǎng)骨干網(wǎng)中引入SDN技術(shù)，同時首次引入Segment Routing技術(shù)，具有技術(shù)領(lǐng)先性。而且，對于特定業(yè)務(wù)的路徑疏導(dǎo)、時延優(yōu)化不會影響網(wǎng)絡(luò)中的其他互聯(lián)網(wǎng)業(yè)務(wù)的正常運行，具有較高的穩(wěn)定性。同時，本方案支持對于SDN控制器的再次開發(fā)，可不斷提升與開放網(wǎng)絡(luò)能力，以適應(yīng)業(yè)務(wù)需求的發(fā)展與變化。如互聯(lián)網(wǎng)直通車產(chǎn)品從用戶側(cè)開始建立獨立的通道，接入網(wǎng)、城域網(wǎng)配置相應(yīng)的QoS策略和帶寬保障，在骨干網(wǎng)側(cè)通過SDN控制器優(yōu)化轉(zhuǎn)發(fā)路徑縮短延時，從而有效保障網(wǎng)絡(luò)忙時（擁塞時）特殊業(yè)務(wù)體驗。

（2）業(yè)界率先實現(xiàn)大規(guī)模網(wǎng)絡(luò)端到端協(xié)同，能力分級封裝，提升網(wǎng)絡(luò)價值

中國聯(lián)通利用SDN技術(shù)實現(xiàn)新業(yè)務(wù)快速靈活部署，通過對China169網(wǎng)絡(luò)、IP城域網(wǎng)、接入網(wǎng)、家庭網(wǎng)絡(luò)等各級網(wǎng)絡(luò)實現(xiàn)大規(guī)模端到端協(xié)同，并對網(wǎng)絡(luò)能力進(jìn)行分級封裝，可對服務(wù)提供商（SP）開放網(wǎng)絡(luò)能力，滿足客戶的差異化需求。封裝的網(wǎng)絡(luò)能力包括：帶寬保障能力，即為特定業(yè)務(wù)、特定用戶提供可定制化的帶寬保障，不受簽約帶寬的限制;優(yōu)先分發(fā)能力，即通過為特定業(yè)務(wù)部署優(yōu)先的QoS級別，保障特定應(yīng)用在網(wǎng)絡(luò)上的優(yōu)先轉(zhuǎn)發(fā);時延保障能力，即通過SDN SR技術(shù)，實現(xiàn)智能選路，大大縮短特定業(yè)務(wù)的端到端網(wǎng)絡(luò)時延。通過對以上的能力封裝，對服務(wù)提供商（SP）開放網(wǎng)絡(luò)能力，打造如互聯(lián)網(wǎng)直通車等創(chuàng)新性產(chǎn)品，進(jìn)一步提升寬帶網(wǎng)絡(luò)價值。滿足高帶寬視頻、游戲加速等高品質(zhì)業(yè)務(wù)的保障需求。

（3）架構(gòu)開放，以業(yè)務(wù)創(chuàng)新為驅(qū)動，推動網(wǎng)絡(luò)演進(jìn)和IPv6的規(guī)模化部署

在SDN控制器開發(fā)方面，中國聯(lián)通進(jìn)行了自主研發(fā)和技術(shù)創(chuàng)性。當(dāng)前，業(yè)界應(yīng)用的SDN控制器廠家一般只對本廠家設(shè)備具備控制能力，而位于SDN控制器之上的業(yè)務(wù)系統(tǒng)與SDN控制器也具有很緊密的耦合性。該種系統(tǒng)架構(gòu)設(shè)計在業(yè)務(wù)、功能、網(wǎng)絡(luò)的擴(kuò)展性方面很差，架構(gòu)擴(kuò)展性差，該架構(gòu)下的網(wǎng)絡(luò)能力開放性和彈性不足，難以適應(yīng)業(yè)務(wù)彈性適配的需求。為了解決以上問題，中國聯(lián)通采用了自主研發(fā)的全新的全解耦網(wǎng)絡(luò)架構(gòu)，通過業(yè)務(wù)系統(tǒng)的北向API接口可實現(xiàn)與其他系統(tǒng)的對接和相互調(diào)用;通過定義和實現(xiàn)業(yè)務(wù)系統(tǒng)的南向接口Yang模型，控制器只需要實現(xiàn)該接口就可以和進(jìn)行業(yè)務(wù)系統(tǒng)整合通過規(guī)范化轉(zhuǎn)發(fā)層的設(shè)備配置模板，實現(xiàn)了控制器對多廠家設(shè)備的統(tǒng)一管理，極大地提升了整體架構(gòu)在不同應(yīng)用場景，不同網(wǎng)絡(luò)規(guī)模下的實用性、擴(kuò)展性和開放性。創(chuàng)造性地實現(xiàn)了異構(gòu)控制器的HA協(xié)同，保證了控制系統(tǒng)的可用性和靈活性。

本方案提出的創(chuàng)新業(yè)務(wù)的開展需要為客戶或用戶分配IP地址，受IPv4地址空間限制，部分省份需要采用IPv6的方式進(jìn)行方案部署。為此，中國聯(lián)通制定了兼容IPv6的解決方案。自2018年以來，中國聯(lián)通積極推進(jìn)IPv6的規(guī)?；渴?，已基本完成IP網(wǎng)絡(luò)的IPv6改造。隨著該產(chǎn)品的應(yīng)用和推廣，能夠有效推進(jìn)IPv6的規(guī)?；渴稹?/p>

5? ?結(jié)論

中國聯(lián)通數(shù)據(jù)網(wǎng)SDN化改造，在理論和實踐上進(jìn)行創(chuàng)新突破，提升了中國聯(lián)通IP網(wǎng)絡(luò)業(yè)務(wù)價值及網(wǎng)絡(luò)承載效率，為數(shù)億互聯(lián)網(wǎng)用戶提供了高質(zhì)量互聯(lián)網(wǎng)服務(wù)，支撐中國聯(lián)通公眾互聯(lián)網(wǎng)業(yè)務(wù)、家庭互聯(lián)網(wǎng)業(yè)務(wù)拓展與差異化發(fā)展，并能夠保障高品質(zhì)業(yè)務(wù)的快速轉(zhuǎn)發(fā)，提升用戶體驗。該方案部署于服務(wù)全國31省的超大型骨干互聯(lián)網(wǎng)，控制上百個節(jié)點，2 000余條鏈路，同時具備不斷擴(kuò)展網(wǎng)絡(luò)規(guī)模、增加業(yè)務(wù)種類的能力。在國際出口的流量調(diào)度實現(xiàn)了T級流量的均衡調(diào)優(yōu)，解決了網(wǎng)絡(luò)流量不均的問題，節(jié)省了百G以上的國際出口帶寬資源，提升了網(wǎng)絡(luò)投資有效性。該方案和產(chǎn)品的創(chuàng)新，有效提升了寬帶網(wǎng)絡(luò)資源的利用率，挖潛了網(wǎng)絡(luò)價值，通過網(wǎng)絡(luò)能力開放和合作，推動產(chǎn)業(yè)鏈健康發(fā)展。同時，該產(chǎn)品也為IPv6技術(shù)的應(yīng)用提供了切實可行的應(yīng)用場景，能夠有效促進(jìn)IPv6規(guī)模改造。

參考文獻(xiàn)：

[1] 唐雄燕. 面向云服務(wù)的新型寬帶網(wǎng)絡(luò)體系[M]. 第1版. 北京： 電子工業(yè)出版社， 2017.

[2] 唐雄燕，曹暢. 中國聯(lián)通網(wǎng)絡(luò)重構(gòu)與新技術(shù)應(yīng)用實踐[J]. 中興通訊技術(shù)， 2017，23（2）： 6-11.

[3] 唐雄燕，周光濤，赫罡，等. 新一代網(wǎng)絡(luò)體系架構(gòu)CUBE-Net2.0研究[J]. 郵電設(shè)計技術(shù)， 2016（11）： 1-5.

[4] 刁興玲，王常玲. 5G加速網(wǎng)絡(luò)云化與智能化CUBE-Net2.0+應(yīng)運而生[J]. 通信世界， 2018（20）： 46.

[5] 邵廣祿，唐雄燕. 中國聯(lián)通產(chǎn)業(yè)互聯(lián)網(wǎng)網(wǎng)絡(luò)服務(wù)技術(shù)方案[J]. 郵電設(shè)計技術(shù)， 2016（10）： 1-6.

[6] 肖京鳴. 中國聯(lián)通數(shù)據(jù)網(wǎng)概況和技術(shù)特點[J]. 通信世界， 2000： 12-13.

[7] 程瑩. 中國聯(lián)通SDN的思考和應(yīng)用實例[J]. 中興通訊技術(shù)， 2016，22（6）： 40-43.

[8] 陳天，樊勇兵，陳楠，等. 電信運營商云網(wǎng)協(xié)同業(yè)務(wù)及應(yīng)用[J]. 電信科學(xué)， 2018，34（2）： 161-172.

[9] 李俊杰，唐建軍. 5G 承載的挑戰(zhàn)與技術(shù)方案探討[J]. 中興通訊技術(shù)， 2018，24（1）： 49-52.

[10] 孫穎，林睿，聶世忠. 隨選網(wǎng)絡(luò)系統(tǒng)架構(gòu)及關(guān)鍵技術(shù)實踐[J]. 電信科學(xué)， 2018，33（12）： 142-147. ★