呂華章 王友祥 唐雄燕

【摘? 要】邊緣云和邊緣計算技術目前已經成為產業(yè)界和學術界的研究熱點，目前，中國聯通與中興通訊、英特爾、騰訊合作，在天津寶坻大學城搭建了基于虛擬化的邊緣云測試床，開展了面向OTT業(yè)務的驗證工作。重點介紹了基于邊緣云的vCDN的系統架構實現方案，設計了相關的業(yè)務流程，開展了驗證試驗，最后給出了建設部署方案。測試結果表明，將應用程序部署到網絡邊緣不僅能夠降低回傳帶寬壓力和延遲，而且優(yōu)化了用戶體驗，同時幫助業(yè)務提供方降低了成本。

【關鍵詞】vCDN;邊緣云;邊緣計算;NAPT

doi：10.3969/j.issn.1006-1010.2019.01.004? ? ? ? 中圖分類號：TN929.5

文獻標志碼：A? ? ? ? 文章編號：1006-1010（2019）01-0020-09

引用格式：呂華章， 王友祥， 唐雄燕. 面向5G MEC邊緣云的CDN下沉方案[J]. 移動通信， 2019，43（1）： 20-28.

CDN Subsidence Scheme for 5G MEC Edge Cloud

LV Huazhang， WANG Youxiang， TANG Xiongyan

（China United Network Communication Network Technology Research Institute， Beijing 100048， China）

[Abstract]?Edge cloud and edge computing technology have become the research hotspot in the industry and academia. At present， China Unicom， in cooperation with ZTE， Intel and Tencent， has built a virtual edge cloud test bed in Tianjin University Town and carried out verification work for OTT business. In this paper， the implementation scheme of the system architecture based on edge cloud is descried in detail， the related business process is designed， the verification test is performed， and finally the construction deployment scheme is presented. The test results show that the deployment of applications at the network edge can not only decrease the backhaul bandwidth pressure and delay， but also optimize the user experience and reduce the cost of providers.

[Key words]vCDN; edge cloud; MEC; NAPT

1? ?引言

邊緣云技術（EC， Edge-Cloud）或多接入邊緣計算（MEC， Multi-Access Edge Computing）提供了全新的生態(tài)系統和價值鏈[1]。邊緣云其實就是將計算能力下沉到距離終端用戶更近的網絡邊緣，構建面向業(yè)務的邊緣數據中心。邊緣云技術的興起對業(yè)務提供方和產業(yè)鏈的新企業(yè)是一次寶貴的機會，邊緣云平臺可以為業(yè)務提供豐富的平臺能力，快速地進行業(yè)務部署。預計到2021年，邊緣云的市場規(guī)模將達到800億美元[2]。依托邊緣云平臺，電信運營商可以面向第三方應用開發(fā)者，快速推出以用戶為導向的創(chuàng)新服務，縮短新業(yè)務上市時間[3]。

2014年，ETSI率先啟動MEC標準項目，旨在移動網絡邊緣為應用開發(fā)商與內容提供商搭建一個云化計算與IT環(huán)境的服務平臺，并通過該平臺開放無線側網絡信息，實現高帶寬、低時延業(yè)務支撐與本地管理。聯盟成員包括沃達豐、中興、Intel、華為、諾基亞、惠普等各大廠商，已完成了Phase I階段基于傳統4G網絡架構設計，定義邊緣計算系統應用場景、參考架構、邊緣計算平臺應用支撐API、應用生命周期管理與運維框架、以及無線側能力服務API（RNIS/定位/帶寬管理）等[4-10]，目前正在進行Phase II階段的研究，主要聚焦在包括5G/Wi-Fi/固網在內的多接入邊緣計算系統，重點覆蓋MEC in NFV參考架構、端到端邊緣應用移動性、網絡切片支撐、合法監(jiān)聽、基于容器的應用部署、V2X支撐、Wi-Fi與固網能力開放等研究項目，從而更好地支撐MEC商業(yè)化部署與固移融合需求。

隨著ETSI MEC標準化組織影響力的與日俱增，3GPP也開始把網絡架構使能MEC列為重點研究課題。在4G CUPS[11]架構和5G新核心網架構里[12]，都重點強調了控制面和業(yè)務面的分離。在SA2 5G系統架構中，未來將完成支持邊緣云和邊緣計算的諸多業(yè)務，包括本地分流、會話和服務連續(xù)性、網絡能力開放、QoS保證與策略控制等[13-14]。除此以外，SA5下一代網絡管理架構和特性與SA6公共北向API接口兩個研究組也將邊緣云的各類需求考慮在內[15]。3GPP正在加速邊緣計算標準化的研究工作，助力5G業(yè)務的商用部署。

3.3? 基于NAPT的vCDN實現方案

在天津寶坻的試驗中，主要開展了騰訊視頻和沃視頻vCDN下沉的驗證，MEC通過按域名和NAPT功能來進行視頻業(yè)務的分流。如圖4所示，OTT廠家的CDN HTTP DNS服務器針對IP地址建立服務器選擇映射，確保經MEC NAPT轉換的請求能夠根據負荷均衡策略映射到本地邊緣服務器上（邊緣vCDN）。

首先完成NAPT轉換規(guī)則的建立，對應圖4的步驟1到步驟7：

（1）MEC配置特定域名，監(jiān)聽發(fā)往UE的DNS響應，從DNS響應里獲取到域名對應的IP地址，針對該IP動態(tài)生成分發(fā)規(guī)則;

（2）MEC匹配分發(fā)規(guī)則，對發(fā)往HTTP DNS的報文進行NAPT（源IP替換為特定IP）;

（3）對HTTP DNS返回給UE的報文，MEC反向NAPT轉換后發(fā)給UE;

（4）MEC服務器建立分流機制，對目的地址指向邊緣服務器的數據包進行本地分流。

然后，完成本地分流，對應圖4的步驟8到步驟9：用戶向邊緣服務器請求資源，MEC直接從本地CDN中發(fā)送業(yè)務內容給用戶，實現本地業(yè)務下發(fā)。

3.4? 基于NAPT的vCDN實現

方案優(yōu)勢分析

NAPT方案的提出是實現整個端到端vCDN方案打通的關鍵，其優(yōu)勢同傳統的HTTP代理等方式有明顯的不同，可以簡單地歸納為以下三點：

首先，對于OTT廠商而言，其業(yè)務要在全國范圍鋪開，需要避免對整體CDN架構的調整。因此，不能因為此次對接而影響騰訊現網業(yè)務，NAPT方式完全滿足騰訊的需求。

其次，MEC服務器目前能夠支持一定程度的流量處理和包解析功能，但是其只能處理數據域的IP包頭解析，無法實現深度的DPI解析。深度解析需要MEC服務器進行深層次開發(fā)，短期內無法實現。而NAPT方案能夠將整個業(yè)務局限在IP包頭的解析，很大程度上降低了MEC業(yè)務處理的復雜度，能夠實現業(yè)務的快速部署和運營。

最后，NAPT方案能夠節(jié)約大量的公網IP，目前公網出口不足，NAPT方案能夠將區(qū)域內的相關UE都轉換為相同的IP地址，實現業(yè)務下沉判斷的同時也節(jié)約了IP資源，適合運營商目前的部署策略。

4? ?業(yè)務實踐部署與結果分析

4.1? 實際部署

目前，天津的邊緣云平臺由10余臺X86通用服務器構成計算、存儲和網絡資源池。平臺的計算節(jié)點與存儲節(jié)點采用融合部署方案，控制節(jié)點分離部署，可實現系統管理、告警管理和性能管理。同時，平臺搭載了高性能轉碼集群與高性能存儲集群，提升了邊緣云平臺整體的業(yè)務性能和業(yè)務流暢程度。本次vCDN業(yè)務的驗證是該平臺能夠提供的一個業(yè)務，詳細的部署架構如圖5所示。

4.2? 業(yè)務時延與下載速率測試

業(yè)務驗證測試結果如表1所示，RTT循環(huán)時延得到降低，同時HTTP下載速率有所提升。RTT時延下降了近50%，而HTTP下載速率提升了43%，邊緣云的效果顯而易見。未來我們將驗證更多的業(yè)務類型，包括AR/VR、定位服務、安防監(jiān)控等。

在ping測試試驗中，移動終端連接到MEC，采用了Python腳本的形式。該腳本執(zhí)行系統的ping數據包，同時將ping包的結果保存下來。天津部署有騰訊的省級CDN節(jié)點，同時山東部署有騰訊的公網服務器，廣東部署有全國性質的GSLB負載均衡調度DNS服務器，如果不使用MEC邊緣云，那么所有的CDN流程將在公共CDN和省級CDN節(jié)點上完成，試驗發(fā)現業(yè)務在該流程的建立過程中，存在明顯的丟包和高時延現象。

每次測試的結果都有丟包的現象，有一定的丟包率。同時，最大的回環(huán)時延主要受到現網環(huán)境影響。從統計學的角度來看，可以對比公網CDN和本地CDN的結果，對比結果如圖6和表2所示。根據測試結果分析，使用MEC分流以后，ping包的丟包率明顯降低，同時時延降低將近一半。

下面是對HTTP下載速率的測試。使用如下的測試方法：騰訊視頻給出HTTP下載URL，該地址可以直接被IP所訪問。在移動終端建立一個腳本，該腳本用于在完成TCP數據傳輸之前的TCP建立URL接入、連接。記錄下數據傳輸的首次時間和結束時間，同時記錄下數據傳輸的速率，每次測試都執(zhí)行固定數量的下載內容。

騰訊視頻公網測試的網絡環(huán)境是較好的，所以可以輕易地對比出本地CDN比公網CDN存在巨大的優(yōu)勢：本地網絡的平均下載速率是94.5 Mbit·s-1，而公網的下載速率僅僅為68.71 Mbit·s-1。表3展示CDN測試中HTTP下載測試的結果，圖7展示了本地CDN的抓包情況，而圖8展示的是在公網CDN下的抓包情況。從圖中還可以看出，公網CDN容易受到鏈路環(huán)境影響，下載速率波動較大，而本地CDN能夠一定程度上保證用戶體驗速率較高而不出現波動。

圖7中，UE到騰訊本地服務器：10.20.97.120：38883到10.160.130.20：80。該地址是一個IP地址和端口號的結合表示方法。下載時間為1.932 s，文件長度為25.036 4 MB，最大下載速率為104.15 Mbit·s-1，而最低下載速率為13.02 Mbit·s-1。

圖8中，UE到騰訊公網服務器：10.20.97.120： 55142到125.39.6.153：80。該地址是一個IP地址和端口號的結合表示方法。下載時間為2.71 s，文件長度為25.036 4 MB，最大下載速率為73.90 Mbit·s-1，而最低下載速率為9.24 Mbit·s-1。

可以明顯地比較出，MEC可以降低RTT，同時提升下載速率。

4.3 所提方案對ETSI參考架構的改進

ETSI MEC017協議于2018年2月最新發(fā)布，重點描述了MEC在NFV環(huán)境下的部署，突出了MEC平臺架構的虛擬化部署的色彩。MEC作為與生俱來的帶有NFV屬性的一套生態(tài)，MEC017協議可以認為是MEC003協議的進一步的擴展，更加面向實際部署和落地。MEC017中詳細的參考架構如圖9所示，整個架構遵循以下原則：已有的電信網NFV架構網元部分盡可能地重用，MEC模塊可調用NFV部分功能，MEC內部功能模塊之間的信令不受NFV管理編排器控制，MEC同NFV之間的接口要重新定義。

此次CDN實驗方案，如果映射到整個ETSI所提出的參考架構中，其改動就在于，在MEP邊緣云平臺內部增加了包檢測（packet sniffer）這一模塊，該模塊的用途在于能夠跟蹤、發(fā)現、劫持DNS請求和響應。在NAPT流程中，步驟三就用到包檢測這一功能，用于正確地建立NAPT規(guī)則。而與此同時，提供這一功能的可以是MEP平臺自帶的平臺服務，也可以在data plane數據平面內建立NAPT規(guī)則。未來，包檢測功能將用于流量分流、業(yè)務下沉、負載均衡等多個場景，這一改變將是對ETSI所定義的MEC平臺架構的有利影響。

5? ?結論

作為一項新的ICT融合技術，邊緣云可以整合電信運營商的各類資源，為5G時代業(yè)務的快速部署和運行提供豐富的平臺能力。一種新興技術和生態(tài)的誕生與興起，需要背后商業(yè)模式的強有力支撐。面向未來，業(yè)界對邊緣業(yè)務平臺的各種應用場景有著無限的憧憬與期待。但美好的愿望要變成現實，需要整個產業(yè)鏈的共同努力。此次CDN業(yè)務的試驗是中國聯通整個Edge-Cloud規(guī)模試點及商用推進過程中的一部分，未來我們希望攜手更多的行業(yè)合作伙伴，共同探討邊緣業(yè)務平臺的合作模式，共建5G網絡邊緣生態(tài)系統，全面推動邊緣業(yè)務的蓬勃發(fā)展。

參考文獻：

[1] European Telecommunications Standards Institute （ETSI）. Mobile-Edge Computing Introductory Technical White Paper[EB/OL]. [2016-12-03]. https：//portal.etsi.org/Portals/0/TBpages/MEC/Docs/Mobile edge Computing Introductory Technical White Paper_V1%2018-09-14.pdf.

[2] China Unicom. China Unicom edge computing technology white paper[R]. 2017.

[3] China Unicom. White Paper for China Unicoms Edge-Cloud Service Platform Architecture and Industrial Eco-System[R]. 2018.

[4] European Telecommunications Standards Institute （ETSI）. Mobile Edge Computing （MEC）： Framework and Reference Architecture[R]. 2016.

[5] European Telecommunications Standards Institute （ETSI）. Mobile Edge Computing （MEC）： General principles for Mobile Edge Service APIs[R]. 2017.

[6] European Telecommunications Standards Institute （ETSI）. Mobile Edge Computing （MEC）： Mobile Edge Platform Application Enablement[R]. 2017.

[7] European Telecommunications Standards Institute （ETSI）. Mobile Edge Computing （MEC）： Bandwidth Management API[R]. 2017.

[8] European Telecommunications Standards Institute （ETSI）. Mobile Edge Computing （MEC）： Location API[R]. 2017.

[9] European Telecommunications Standards Institute （ETSI）. Mobile Edge Computing （MEC）： Mobile Edge Management; Part 2： Application lifecycle， rules and requirements management[R]. 2017.

[10] European Telecommunications Standards Institute （ETSI）. Mobile Edge Computing （MEC）： Radio Network Information API[R]. 2017.

[11] 3rd Generation Partnership Project （3GPP）， 3GPP TR， 23.214. Architecture enhancements for control and user plane separation of EPC nodes （Release 14）[S]. 2017.

[12] 3rd Generation Partnership Project （3GPP）， 3GPP TR， 38.211. NR; Physical channels and modulation; （Release 15）[S]. 2018.

[13] 3rd Generation Partnership Project （3GPP）， 3GPP TR， 23.501. System Architecture for the 5G System; （Release 15）[S]. 2017.

[14] 3rd Generation Partnership Project （3GPP）， 3GPP TR， 23.502. Procedures for the 5G System （Release 15）[S]. 2017.

[15] 3rd Generation Partnership Project （3GPP）， 3GPP TR， 23.222. Common API Framework for 3GPP Northbound APIs （Release 15）[S]. 2018.