歐陽恩山，方云根，田經(jīng)化

（中國聯(lián)通湖南省分公司，湖南 長沙 410014）

0 引言

中國電信與中國聯(lián)通共同建設(shè)了一張全球規(guī)模最大的5G 獨(dú)立組網(wǎng)（Stand Alone，SA）共享網(wǎng)絡(luò)，實(shí)現(xiàn)了“一張物理網(wǎng)、兩張邏輯網(wǎng)”的共享模式，為雙方5G 業(yè)務(wù)發(fā)展提供了強(qiáng)有力的網(wǎng)絡(luò)保障。5G SA 網(wǎng)絡(luò)具有高速率、低時(shí)延、大連接的特點(diǎn)[1]，可廣泛應(yīng)用于VR/AR、遠(yuǎn)程醫(yī)療、無人駕駛、工業(yè)控制等場景，賦能產(chǎn)業(yè)轉(zhuǎn)型升級(jí)。特別是5G R16 版本，更是增強(qiáng)了對(duì)低時(shí)延高可靠通信（Ultra-Reliable Low-Latency Communications，uRLLC）業(yè)務(wù)場景的支持能力，用戶面可達(dá)到10 ms 的端到端時(shí)延、1 ms 的空口時(shí)延，可靠性高達(dá)99.999%。

但在網(wǎng)絡(luò)的實(shí)際運(yùn)營過程中，固定網(wǎng)絡(luò)段的傳輸路由問題、無線信號(hào)的覆蓋質(zhì)量引起的丟包重傳、共享網(wǎng)絡(luò)的參數(shù)配置等，都會(huì)大幅增加用戶端到端的時(shí)延，進(jìn)而影響到網(wǎng)絡(luò)性能和對(duì)時(shí)延敏感業(yè)務(wù)的感知。

本文針對(duì)5G SA 網(wǎng)絡(luò)共享方用戶的使用感知問題，深入分析影響用戶端到端時(shí)延的主要原因，提出一種端到端時(shí)延問題定位的方法；通過研究降低5G 無線空口調(diào)度時(shí)延、傳輸時(shí)延等關(guān)鍵技術(shù)[2]，針對(duì)固定網(wǎng)絡(luò)段提出網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化策略和路由優(yōu)化算法；針對(duì)無線網(wǎng)絡(luò)部分，研究提出一種無線網(wǎng)絡(luò)參數(shù)優(yōu)化策略，減少丟包降低時(shí)延。經(jīng)實(shí)際運(yùn)行驗(yàn)證，本文所提策略取得了明顯改善效果，大幅提升了共享方用戶在5G SA 網(wǎng)絡(luò)下的業(yè)務(wù)感知。

1 5G 網(wǎng)絡(luò)端到端時(shí)延影響因素分析

5G 應(yīng)用對(duì)業(yè)務(wù)面數(shù)據(jù)包的傳輸時(shí)延有較高要求，只有達(dá)到一定基準(zhǔn)值才不會(huì)影響業(yè)務(wù)感知，如網(wǎng)站頁面訪問、視頻直播、點(diǎn)播、游戲等業(yè)務(wù)均對(duì)時(shí)延敏感，因此在衡量網(wǎng)絡(luò)端到端體驗(yàn)指標(biāo)時(shí)，需要對(duì)這些業(yè)務(wù)都進(jìn)行時(shí)延測評(píng)[3]。

端到端時(shí)延包含無線空口（用戶設(shè)備UE 與基站間）、固定傳輸段（基站至用戶面功能（User Plane Function，UPF））間的信號(hào)傳輸時(shí)延，需關(guān)聯(lián)無線小區(qū)、核心網(wǎng)、承載網(wǎng)監(jiān)控常用關(guān)鍵指標(biāo)（Key Performance Indicators，KPI），建立時(shí)延影響因子庫。可以通過建立如圖1 所示的基于用戶感知的端到端時(shí)延監(jiān)控模型，快速定位問題。

圖1 基于感知的端到端時(shí)延監(jiān)控模型

本文面向用戶感知，以打造低時(shí)延高可靠SA網(wǎng)絡(luò)為出發(fā)點(diǎn)，剖析優(yōu)化5G 無線空口調(diào)度時(shí)延、傳輸時(shí)延、固定網(wǎng)絡(luò)端口傳輸時(shí)延及設(shè)備處理時(shí)延等關(guān)鍵技術(shù)，深入開展分段研究與問題定位。

1.1 光纖傳輸距離時(shí)延

光信號(hào)在光纖中傳輸所耗費(fèi)的時(shí)間為傳播時(shí)延。傳播距離影響傳播時(shí)延，傳輸介質(zhì)也影響傳播時(shí)延。通常單位長度光纜的時(shí)延約為5 μs/km，傳輸距離越長，時(shí)延越大。

1.2 設(shè)備轉(zhuǎn)發(fā)時(shí)延

設(shè)備轉(zhuǎn)發(fā)時(shí)延包括業(yè)務(wù)發(fā)送時(shí)延、處理時(shí)延及排隊(duì)時(shí)延，在網(wǎng)絡(luò)未發(fā)生擁塞時(shí)，設(shè)備轉(zhuǎn)發(fā)時(shí)延主要和經(jīng)過的設(shè)備跳數(shù)有關(guān)。這里重點(diǎn)探討波分復(fù)用（Wavelength Division Multiplexing，WDM）和光傳送網(wǎng)（Optical Transport Network，OTN）設(shè)備的時(shí)延[4]。WDM 和OTN 設(shè)備主要由電路板OTU、合分波單元、光放大單元組成，設(shè)備部分的時(shí)延一般在100～400 μs，收、發(fā)兩端加起來，時(shí)延一般小于1 ms。一般來說，短距離（如＜100 km）情況下設(shè)備的時(shí)延影響占比較大，長距離時(shí)（如＞500 km），光纖時(shí)延影響較大，傳輸設(shè)備的時(shí)延可以忽略。

1.3 無線空口傳輸時(shí)延

無線空口側(cè)時(shí)延主要受傳輸間隔、資源調(diào)度、混合重傳、終端和基站處理時(shí)延等因素影響。在第三代移動(dòng)通信伙伴項(xiàng)目（the 3rd Generation Partner Project，3GPP）定義的5G NR 協(xié)議中，引入了基于時(shí)隙的調(diào)度方法、上行優(yōu)先級(jí)處理方法、更加靈活的傳輸定時(shí)方案等[5]。影響無線空口的時(shí)延因子有ping 包調(diào)度方式模式、上行預(yù)調(diào)度、預(yù)調(diào)度次數(shù)、上行誤塊率（Block Error Rate，BLER）、下行BLER 等。

2 端到端時(shí)延定位方法

由于5G 共享網(wǎng)絡(luò)組網(wǎng)復(fù)雜，因此面臨端到端時(shí)延定位的問題。針對(duì)電信SA 共享基站至聯(lián)通UPF 網(wǎng)絡(luò)訪問路徑上所有節(jié)點(diǎn)路由，研究基于路由追蹤（tracer）的時(shí)延跟蹤方法，總結(jié)排查影響時(shí)延的各個(gè)因素并提出解決方案，實(shí)現(xiàn)無線網(wǎng)、承載網(wǎng)、核心網(wǎng)時(shí)延變化的根因定位。同步實(shí)施網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化、路由策略優(yōu)化、無線網(wǎng)絡(luò)參數(shù)優(yōu)化[6]，降低各段時(shí)延，提升5G 用戶感知。

本文采取ping 測試分段隔離“透視”跟蹤每一跳網(wǎng)元路段時(shí)延，為時(shí)延問題定位提供了關(guān)鍵性方法，建立了端到端時(shí)延問題“三維四步法”診斷手段與優(yōu)化策略，如圖2 所示。

圖2 端到端時(shí)延優(yōu)化“三維四步法”

將SA 網(wǎng)絡(luò)時(shí)延路由分為兩段，即無線空口段（UE 與基站間）、固定網(wǎng)絡(luò)段（基站至UPF），通過T1、T2 時(shí)間戳解析空口時(shí)延、固定段時(shí)延，見圖3。

圖3 端口跟蹤（T1—T2）基站空口以上時(shí)延回環(huán)

基于tracer 測試跟蹤，進(jìn)一步解析出基站至UPF 的各段路由時(shí)延，實(shí)現(xiàn)分段定位，如圖4。

圖4 基于tracer 跟蹤時(shí)延分段隔離

將聯(lián)通地市承載網(wǎng)N3 接口地址添加至電信地市邊緣路由器（Edge Router，ER），打通電信SA共享基站至聯(lián)通UPF 網(wǎng)絡(luò)訪問路徑上所有節(jié)點(diǎn)路由，實(shí)現(xiàn)利用ping 測試每一跳網(wǎng)元路段時(shí)延。測試的時(shí)延包括：

（1）共享基站空口時(shí)延；

（2）基站端至電信城域網(wǎng)ER 時(shí)延；

（3）電信城域網(wǎng)ER 至地市聯(lián)通智能城域網(wǎng)核心路由器（Metro Core Router，MCR）時(shí)延；

（4）地市聯(lián)通城域網(wǎng)MCR 至省會(huì)匯聚路由器（Multipul Custom Edge，MCE）時(shí)延；

（5）省會(huì)MCE 至省會(huì)MCR 時(shí)延；

（6）省會(huì)MCR 至省會(huì)核心網(wǎng)底層交換機(jī)（End of Row，EOR）時(shí)延；

（7）省會(huì)EOR 交換機(jī)至省會(huì)UPF 時(shí)延；

（8）省會(huì)UPF 至文件訪問服務(wù)器（File Transport Protol Server，F(xiàn)TP）時(shí)延。

3 網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化

3.1 優(yōu)化網(wǎng)絡(luò)拓?fù)洌琈CR 直連簡化路由降低時(shí)延

承載網(wǎng)總時(shí)延=光纖時(shí)延+設(shè)備轉(zhuǎn)發(fā)時(shí)延，其中，設(shè)備轉(zhuǎn)發(fā)時(shí)延每跳為40～50 μs[7]，光纖時(shí)延為5 μs/km。經(jīng)對(duì)比測算，光纖距離是增加時(shí)延的主要原因。通過優(yōu)化網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，將地市智能城域網(wǎng)MCR 通過波分直連省會(huì)長沙MCR，可縮短兩跳路由節(jié)點(diǎn)轉(zhuǎn)發(fā)時(shí)延和兩段光纖鏈路時(shí)延，減少1～2 ms 時(shí)延。地市至省會(huì)MCR 路由直連改造如圖5、圖6 所示，經(jīng)測試統(tǒng)計(jì)對(duì)比，可有效降低時(shí)延。

圖5 地市MCR 直連改造前

以衡陽為例，時(shí)延對(duì)比結(jié)果如表1 所示，采取MCR 直連后，基站ping 至省會(huì)UPF 的大小包時(shí)延平均縮短了1 ms 左右。目前，湖南聯(lián)通已完成了13 個(gè)共享區(qū)地市直連改造。

表1 地市MCR 直連前后ping 時(shí)延對(duì)比結(jié)果

3.2 優(yōu)化環(huán)網(wǎng)結(jié)構(gòu)，減少傳輸路徑和時(shí)延

地市到省中心的鏈路，由省干OTN 系統(tǒng)承載，省干OTN 的環(huán)網(wǎng)結(jié)構(gòu)決定了信號(hào)在光纖傳輸所耗費(fèi)的時(shí)延。

如圖7 所示，湘潭至省中心的兩條鏈路分別為湘潭—閱讀中心局點(diǎn)（短徑，由湘潭直達(dá)長沙）、湘潭—河西局點(diǎn)（長徑，經(jīng)過衡陽、郴州、株洲最后到達(dá)長沙）。其短徑、長徑的時(shí)延分別為0.5 ms和4.0 ms。經(jīng)過環(huán)網(wǎng)結(jié)構(gòu)優(yōu)化，在湘潭至株洲新增了一個(gè)直達(dá)路由，其長度僅為100 km，時(shí)延為0.5 ms。優(yōu)化后湘潭至河西局點(diǎn)的長徑，以及株洲至閱讀中心局點(diǎn)的短徑經(jīng)新路由開通業(yè)務(wù)，可減少587 km 的光纜長度，減少了3 ms 時(shí)延。

圖7 湘潭、株洲環(huán)路優(yōu)化

通過對(duì)長沙和株洲進(jìn)行環(huán)路改造，傳輸距離分別從779 km 下降到92 km 左右，傳輸時(shí)延下降約3 ms。環(huán)網(wǎng)改造前后時(shí)延對(duì)比詳見表2。

表2 環(huán)網(wǎng)改造前后時(shí)延對(duì)比

4 基于負(fù)荷的短徑優(yōu)先路由算法

分段測試過程中，發(fā)現(xiàn)本地網(wǎng)基站至同一UPF的時(shí)延波動(dòng)差異大，最終確定是受路由中波分環(huán)路長、短徑影響。以衡陽為例，長、短徑時(shí)延差異約4 ms，如圖8 所示。

圖8 波分長短徑影響

因?yàn)榫W(wǎng)絡(luò)協(xié)議（Internet Protocol，IP）默認(rèn)轉(zhuǎn)發(fā)策略為動(dòng)態(tài)負(fù)載均衡隨機(jī)算法，地市SA 流量長短徑負(fù)載流量各占50%，導(dǎo)致不同基站隨機(jī)選擇長徑或短徑，時(shí)延差異大?；谲浖x網(wǎng)絡(luò)（Software Defined Network，SDN）[8]，本文創(chuàng)新提出基于流量負(fù)荷的最短路由優(yōu)化算法：

按照上述算法，通過分析傳輸網(wǎng)絡(luò)性能參數(shù)，可實(shí)現(xiàn)基于負(fù)荷的路由最短路徑性能優(yōu)化，具體實(shí)現(xiàn)過程如下：

（1）SDN 控制器獲取網(wǎng)絡(luò)拓?fù)湫畔⒓熬W(wǎng)絡(luò)狀態(tài)信息。網(wǎng)絡(luò)接收用戶接入請(qǐng)求信息，將其發(fā)送至控制器，控制器判斷業(yè)務(wù)類型，并獲取網(wǎng)絡(luò)拓?fù)湫畔ⅰ?/p>

（2）控制器計(jì)算確定業(yè)務(wù)起止網(wǎng)絡(luò)節(jié)點(diǎn)之間所有可選路由。根據(jù)獲取的網(wǎng)絡(luò)拓?fù)湫畔⒑途W(wǎng)絡(luò)狀態(tài)信息，計(jì)算出業(yè)務(wù)起止網(wǎng)絡(luò)節(jié)點(diǎn)之間所有可選路由。

（3）基于業(yè)務(wù)特性確定最佳路由。充分評(píng)估當(dāng)前承載網(wǎng)核心出口為輕載，在不更改線路資源情況下，自動(dòng)監(jiān)控網(wǎng)絡(luò)負(fù)荷，并采用本文提出的算法策略，當(dāng)鏈路負(fù)荷低于50%時(shí)，路由選擇最短路徑；當(dāng)鏈路負(fù)荷高于50%時(shí)，根據(jù)業(yè)務(wù)特性，將非時(shí)延敏感業(yè)務(wù)分流至長徑波分，實(shí)現(xiàn)業(yè)務(wù)分流。

（4）業(yè)務(wù)快速重路由。在線路故障時(shí)通過承載網(wǎng)網(wǎng)絡(luò)協(xié)議（Internet Protocol，IP）的快速重路由（Fast Reroute，F(xiàn)RR）保護(hù)技術(shù)，業(yè)務(wù)毫秒級(jí)切換到長徑備份鏈路，對(duì)用戶實(shí)現(xiàn)無感知切換。

基于上述算法，針對(duì)衡陽智能城域網(wǎng)MCR 和長沙智能城域網(wǎng)MCR，配置外部邊界路由協(xié)議（External Border Gateway Protocol，EBGP）本地優(yōu)先級(jí)（local-preference）屬性，并修改轉(zhuǎn)發(fā)策略為主備模式，經(jīng)測試驗(yàn)證，衡陽ping 時(shí)延減少了4 ms。

5 無線網(wǎng)絡(luò)參數(shù)優(yōu)化策略

5.1 上行智能預(yù)調(diào)度算法

如圖9 所示，傳統(tǒng)的上行調(diào)度，需要等待終端發(fā)送調(diào)度請(qǐng)求（Scheduling Request，SR）[10]，并獲得授權(quán)后才能進(jìn)行調(diào)度。普通上行預(yù)調(diào)度，雖減少了SR 環(huán)節(jié)，但在終端沒有上行數(shù)據(jù)發(fā)送時(shí)，會(huì)造成上行資源的浪費(fèi)，并引發(fā)上行干擾。

圖9 3 種調(diào)度方式對(duì)比

本文引入智能預(yù)調(diào)度方法，該功能由下行業(yè)務(wù)觸發(fā)，一旦基站給終端發(fā)送下行數(shù)據(jù)之后，考慮到終端有相應(yīng)回復(fù)，會(huì)有上行數(shù)傳，此時(shí)基站將在一定時(shí)間內(nèi)持續(xù)主動(dòng)給終端上行授權(quán)，實(shí)現(xiàn)數(shù)據(jù)即到即傳，從而有效降低業(yè)務(wù)等待時(shí)延。

本文針對(duì)不同廠家智能預(yù)調(diào)度機(jī)制，總結(jié)出時(shí)延優(yōu)化參數(shù)集，包括上行聰慧預(yù)調(diào)度次數(shù)、上行聰慧預(yù)調(diào)度間隔、上行聰慧預(yù)調(diào)度延遲觸發(fā)時(shí)間、上行聰慧預(yù)調(diào)度的緩沖區(qū)狀態(tài)報(bào)告（Buffer Status Reporting，BSR）計(jì)算門限等，詳見表3。

表3 預(yù)調(diào)度時(shí)延參數(shù)集

修改預(yù)調(diào)度參數(shù)前后時(shí)延對(duì)比如圖10 所示。開啟智能預(yù)調(diào)度后，ping 循環(huán)時(shí)間（PingLoop Time）從18 ms 下降到12 ms，平均改善了6 ms，時(shí)延優(yōu)化效果明顯。

圖10 修改預(yù)調(diào)度參數(shù)前后時(shí)延對(duì)比

5.2 無線網(wǎng)絡(luò)覆蓋差異化下的時(shí)延影響因子

由于無線環(huán)境比較復(fù)雜，UE 終端接收基站信號(hào)強(qiáng)度偏弱、信噪比（Signal to Interference plus Noise Ratio，SINR）較差、干擾等因素均可導(dǎo)致UE的傳輸速率達(dá)不到低時(shí)延業(yè)務(wù)的傳輸速率要求，從而出現(xiàn)大量通信誤碼，引發(fā)檢錯(cuò)、重傳等，會(huì)導(dǎo)致無線空口時(shí)延大幅增加。

5G 網(wǎng)絡(luò)基于時(shí)分雙工（Time Division Duplexing，TDD）下行時(shí)延處理的關(guān)鍵是混合自動(dòng)重傳（Hybrid Automatic Repeat Request，HARQ）響應(yīng)和重傳機(jī)制[11]。此外，無線網(wǎng)絡(luò)覆蓋及信號(hào)質(zhì)量，都將不同程度影響到業(yè)務(wù)數(shù)據(jù)的傳送質(zhì)量。在控制面表現(xiàn)為，在NR 基于競爭的隨機(jī)接入（即PRACH 接入）過程中，手機(jī)終端發(fā)送Msg1 到RRCSetupComplete 之間的時(shí)延大幅增加。

在UE 的PRACH 接入過程（從發(fā)送Msg1 到RRCSetupComplete 期間），若發(fā)生Msg2 或Msg4 失敗，則會(huì)觸發(fā)Msg1 重傳。Msg1 的最大重傳次數(shù)由參數(shù)preambleTransMax 定義，重傳時(shí)間由raResponseWindow定義。每次重傳功率以powerRampingSte 功率攀升步長增長，直到UE 達(dá)到最大發(fā)射功率或最大重傳次數(shù)，在此期間會(huì)導(dǎo)致空口時(shí)延的增加。

在用戶面時(shí)延主要是通過Ping 包來測試，通常情況下Ping 小包為32 Byte，中包為1 500 Byte，大包為2 000 Byte。Ping 包周期通常為1 s，Ping 不通時(shí)會(huì)間隔3 s 再次進(jìn)行Ping 包。統(tǒng)計(jì)空閑態(tài)UE 對(duì)FTP 服務(wù)器發(fā)起Ping 業(yè)務(wù)，終端發(fā)出第一條RACH preamble 至終端發(fā)出RRC Connection Reconfiguration Complete 的時(shí)間差形成延時(shí)。Ping 包過程如圖11所示。

圖11 Ping 包過程

本文分別選取了無線基站覆蓋好點(diǎn)、差點(diǎn)、極差點(diǎn)，開展大量時(shí)延測試。統(tǒng)計(jì)結(jié)果顯示，當(dāng)無線網(wǎng)絡(luò)參考信號(hào)接收功率（Reference Signal Receiving Power，RSRP）小于-105 dBm 時(shí)，隨著信號(hào)質(zhì)量的變差，丟包率上升，因此需大量重傳數(shù)據(jù)包，經(jīng)測算每重傳一次增加6 ms 時(shí)延。在RSRP 持續(xù)下降至-130 dBm 期間，ping 時(shí)延采樣點(diǎn)嚴(yán)重劣化，部分采樣點(diǎn)時(shí)延甚至達(dá)到100 ms 左右。如圖12 所示，對(duì)不同強(qiáng)度無線信號(hào)下開展大量ping 測試結(jié)果進(jìn)行統(tǒng)計(jì)，結(jié)果表明，RSRP 信號(hào)強(qiáng)度越低，時(shí)延越大。

圖12 網(wǎng)絡(luò)覆蓋差異化下的空口時(shí)延采樣對(duì)比

測試結(jié)論：當(dāng)RSRP 小于-105 dBm 時(shí)，ping平均時(shí)延將大幅增加。因此，在預(yù)調(diào)度參數(shù)一致的情況下，良好的無線網(wǎng)絡(luò)覆蓋及信號(hào)質(zhì)量，可有效降低空口時(shí)延。

6 效果驗(yàn)證

6.1 共享區(qū)時(shí)延優(yōu)化成效顯著

將本文研究成果應(yīng)用于現(xiàn)有網(wǎng)絡(luò)，經(jīng)大量測試，結(jié)果如表4 所示，共享區(qū)聯(lián)通5G SA 時(shí)延由優(yōu)化前的20.48～24.41 ms，降低至13.68～14.02 ms，平均時(shí)延縮短了9～10 ms，與承建區(qū)電信用戶的時(shí)延基本一致，實(shí)現(xiàn)了雙方用戶時(shí)延敏感類業(yè)務(wù)體驗(yàn)一致。

表4 共享區(qū)SA 時(shí)延優(yōu)化前后對(duì)比

6.2 5G 網(wǎng)絡(luò)核心業(yè)務(wù)感知明顯改善

將本文策略應(yīng)用于湖南聯(lián)通網(wǎng)絡(luò)，發(fā)現(xiàn)5G 用戶視頻、游戲類核心業(yè)務(wù)體驗(yàn)良好，視頻卡頓率從1.58%降低至0.93%；游戲卡頓率從0.54%降低至0.29%；移動(dòng)網(wǎng)絡(luò)工信部滿意度測評(píng)，由2021 年的82.28分穩(wěn)步提升至2022 年的91.09 分。

7 結(jié)語

針對(duì)共享區(qū)域5G 業(yè)務(wù)端到端時(shí)延過大、電聯(lián)時(shí)延感知不一致等問題，本文深入分析了影響時(shí)延的關(guān)鍵因素，研究了降低電聯(lián)5G SA 共享網(wǎng)絡(luò)端到端時(shí)延的關(guān)鍵技術(shù)，以及基于無線網(wǎng)、承載網(wǎng)、核心網(wǎng)的端到端時(shí)延優(yōu)化策略，提出了網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化方案、短徑優(yōu)先路由調(diào)度算法、無線空口參數(shù)優(yōu)化方案。現(xiàn)網(wǎng)部署后取得了良好的改善效果，對(duì)提升共建共享5G 網(wǎng)絡(luò)品質(zhì)，有較高的參考價(jià)值。