郭娘容，甘浩宇，陳立豐，賴 粵

（廣東工業(yè)大學，廣州 510006）

0 引言

隨著通信技術的快速發(fā)展，寬帶移動通信技術已經(jīng)迭代到第五代，即5G 網(wǎng)絡。在網(wǎng)絡可靠性精準切片和資源消耗等方面，5G 網(wǎng)絡有著更高的要求。實現(xiàn)5G 網(wǎng)絡資源的精準預測，可以為企業(yè)預留5G 和精準切片提供數(shù)據(jù)支撐，對企業(yè)提高網(wǎng)絡資源利用率，降低能源開銷方面具有重要意義。

近年來，因為深度學習網(wǎng)絡模型對時間序列數(shù)據(jù)有良好的預測效果，所以受到學者們廣泛關注和應用。目前常用基于深度學習網(wǎng)絡的流量預測方法主要有：卷積神經(jīng)網(wǎng)絡（CNN）、循環(huán)神經(jīng)網(wǎng)絡（RNN）、長短時記憶網(wǎng)絡（LSTM）和門控循環(huán)單元網(wǎng)絡（GRU）。

本文將5G 通信特點和垂直行業(yè)業(yè)務相結合，提出了一種基于CNN-GRU的網(wǎng)絡流量預測模型。在eMBB 應用場景下，研究5G 通信的帶寬峰值及其變化趨勢，挖掘5G 網(wǎng)絡流量特點。為了獲取時間序列數(shù)據(jù)間更深層次的關系，使用CNN 和GRU 兩種神經(jīng)網(wǎng)絡結合的網(wǎng)絡模型對時間序列數(shù)據(jù)進行處理，CNN 網(wǎng)絡提取5G 網(wǎng)絡流量的特征向量，并將其作為GRU 神經(jīng)網(wǎng)絡的輸入。實驗結果表明，本文提出的CNN-GRU模型相對于傳統(tǒng)模型具有更好的預測效果，提高了模型的訓練精度，同時訓練結果擁有較高的擬合度，實現(xiàn)對5G 網(wǎng)絡帶寬數(shù)據(jù)高效、精準、可靠的預測。

1 深度學習網(wǎng)絡原理

1.1 CNN

卷積神經(jīng)網(wǎng)絡（CNN）廣泛應用于人臉識別、疾病分析、圖形處理等領域，一般由輸入層、卷積層、池化層、全連接層以及輸出層構成。其中卷積層可從輸入數(shù)據(jù)中快速精準的提取樣本特征。池化層有兩個典型特性。一是可以大幅度加快模型的訓練速度，對提取的特征信息進行降維處理，降低訓練量。二是防止模型訓練結果的過擬合。實際的操作中，常在兩個相鄰的卷積層之間加入1層池化層。全連接層的特性之一是能將當前訓練所提取特征和保留的樣本特征進行組合。正是由于CNN 擁有局部連接和權值共享的特性，使得CNN 可以精準高效地從輸入數(shù)據(jù)中挖掘潛在的特征。

1.2 GRU

循環(huán)神經(jīng)網(wǎng)絡（RNN）由于其在連續(xù)數(shù)據(jù)預測方面效果顯著，而被學者廣泛的關注。LSTM是RNN 的一種變種，而GRU 是在LSTM 基礎上，對其結構進行簡化的一種網(wǎng)絡。LSTM 主要包括輸入門、輸出門和遺忘門三種不同的門結構。GRU設計的初衷是為了簡化LSTM的結構，它將遺忘門和輸入門合二為一變成更新門。數(shù)學描述公式為式（1），式（2），式（3）和式（4）所示。

其中，，分別為更新門、重置門和sigmoid 函數(shù)。是當前時刻的輸入，為上一時刻的記憶變量，，為對應的權值參數(shù)，?為候選集，為現(xiàn)在的狀態(tài)。首先，輸入數(shù)據(jù)與上時刻記憶變量間進行排列組合，經(jīng)過sigmoid 函數(shù)，輸入數(shù)據(jù)轉換為（0，1）之間，并且輸入到更新門和重置門。然后，再將重置門，輸入數(shù)據(jù)以及過去狀態(tài)變量，三者進行線性變換組合。最后，將兩者的信息疊加作為當前時刻的輸出。GRU 模型使用了更新門用來替換LSTM 中的輸入門和遺忘門，由于只有兩個門控單元，從計算復雜度的角度來說，它比LSTM 的效率高。但總體而言，LSTM和GRU兩種網(wǎng)絡模型都能很好的處理和解決時間序列數(shù)據(jù)，解決訓練數(shù)據(jù)長時間依賴的問題。

2 CNN-GRU網(wǎng)絡模型

2.1 5G網(wǎng)絡的整體架構

本文5G 網(wǎng)絡流量的研究對象屬于5G 接入網(wǎng)側流量，側重研究無線終端在接入網(wǎng)側的網(wǎng)絡表現(xiàn)。在eMBB場景下，通過分析網(wǎng)絡帶寬的峰值、連續(xù)性、臨界點表現(xiàn)等信息，預測未來帶寬的變化趨勢。實現(xiàn)5G 帶寬的精準預測，對基站的能源開銷，資源規(guī)劃提供數(shù)據(jù)支撐。5G網(wǎng)絡的架構可以大致分為核心網(wǎng)、傳輸網(wǎng)，以及接入網(wǎng)三部分，具體架構如圖1所示。

圖1 5G網(wǎng)絡架構

2.2 CNN-GRU網(wǎng)絡模型設計

相對于4G 流量而言，5G 流量帶寬峰值更高，上升的速度更快，5G 網(wǎng)絡高峰期的帶寬持續(xù)和流量的快速回落也和4G 流量有所差別。選擇預測模型時，需要兼顧短期的時間數(shù)據(jù)，同時也要將歷史長期數(shù)據(jù)進行存儲和記憶。此外，針對于高峰與低谷之間的臨界邊緣數(shù)據(jù)，只有足夠深層且記憶能力強大的網(wǎng)絡模型，才有能力去克服邊界上的擾動。因此，5G 帶寬預測需要更深層次，更多參數(shù)的網(wǎng)絡來進行特征提取。

為了解決上述問題，使用兩種神經(jīng)網(wǎng)絡組合而成的CNN-GRU網(wǎng)絡模型進行設計。其結合了CNN 和GRU 兩種網(wǎng)絡模型的優(yōu)點，不僅可以精準高效的從時間序列數(shù)據(jù)中挖掘潛在的特征，而且具有強大的記憶能力。首先，將帶寬數(shù)據(jù)進行歸一化。然后，輸入到CNN 網(wǎng)絡中進行帶寬數(shù)據(jù)特征提取，將CNN 網(wǎng)絡訓練后的結果作為GRU 網(wǎng)絡的輸入。通過GRU 網(wǎng)絡模型進行訓練以及Adam 優(yōu)化算法對參數(shù)的更新迭代。最后，再將輸出的結果進行反歸一化。

對比傳統(tǒng)網(wǎng)絡模型，CNN-GRU 網(wǎng)絡模型有著更深的網(wǎng)絡層數(shù)，更多的模型參數(shù)，可以更有效的提取eMBB 數(shù)據(jù)間的關系。CNN-GRU 網(wǎng)絡模型中的CNN部分使用3層卷積層，和3層池化層，其中池化層的池化方法選取最大池化。LSTM的單元數(shù)也為3層，具體結構如圖2所示。

圖2 CNN-GRU網(wǎng)絡模型

3 5G流量預測實驗及結果分析

3.1 數(shù)據(jù)集介紹

本文實驗使用的數(shù)據(jù)集，來自一家愛爾蘭的網(wǎng)絡運營商。該數(shù)據(jù)集在5G 網(wǎng)絡環(huán)境下，通過靜態(tài)和車載兩種模式產(chǎn)生。測試的方式包括視頻流媒體和文件下載等。

3.2 數(shù)據(jù)集預處理

大帶寬被認為是5G 網(wǎng)絡的顯著的特性之一，本文將流量帶寬數(shù)據(jù)作為衡量5G 網(wǎng)絡性能的指標。采用靜態(tài)環(huán)境下文件下載產(chǎn)生的流量下行帶寬數(shù)據(jù)作為輸入數(shù)據(jù)，選擇CNN，LSTM，GRU模型與本文模型進行對比。

首先，對訓練數(shù)據(jù)進行預處理，原數(shù)據(jù)集是多個小文件，對2019年12月16日至2020年2月27 日的5 天采集的數(shù)據(jù)進行整合。然后，去除掉一些無用的數(shù)據(jù)，放棄一些沒有處于下載狀態(tài)的數(shù)據(jù)，即下載帶寬為0 的數(shù)據(jù)（此部分無效數(shù)據(jù)認為是設備或者環(huán)境造成的干擾）。最后，分析數(shù)據(jù)集的5G 網(wǎng)絡帶寬流量特性，確定帶寬預測的輸入特征、將帶寬數(shù)據(jù)和和時間數(shù)據(jù)歸一化到（0，1）之間，并作為CNN-GRU網(wǎng)絡模型的輸入。

3.3 模型評價指標

為了更好對網(wǎng)絡模型的預測結果進行評價分析，將均方根誤差（）、平均絕對誤差（）以及方（Squared）作為評價指標。評價公式的數(shù)學表達如式（5），式（6），式（7）所示。

均方根誤差，可以較為精確反映訓練模型的離散程度。當?shù)臄?shù)值越小的時候，表示這個模型的聚合程度越高，該模型越為精確。

平均絕對誤差，是將實驗的預測結果與實際結果作差，取絕對值，然后再求均值。

當?shù)闹翟叫?，表示模型的誤差越小。

方（Squared），方被學者認為是衡量線性回歸的最好的方法之一，方主要將預測結果轉化為范圍在0 至1 之前的準確度，可以較為直觀的顯現(xiàn)一個模型的擬合度。當模型的擬合度非常理想的時候，其數(shù)值會無線靠近1。

3.4 結果分析

對訓練數(shù)據(jù)集分別采用LSTM模型、GRU模型、CNN-LSTM 模型以及本文提出的CNN-GRU模型進行特征提取和組合。網(wǎng)絡模型中CNN 的卷積層數(shù)為3 層，LSTM 和GRU 的單元數(shù)也為3層。實驗過程中，激活層選取Relu 激活函數(shù)，參數(shù)更新迭代的算法為Adam，數(shù)據(jù)回溯的值為20。實驗結果如表1所示。

表1 不同預測模型評價指標匯總

實驗結果顯示，LSTM和GRU的訓練結果接近，在中的差值小于2.5%，在中差值小于4.3%，Squared也只有一個百分點的差別。與之類似的，CNN-LSTM 和CNN-GRU，在和指標中也分別只有小于2.1%，和3.3%的差別，Squared 也只有一個百分點的差別。因此，可近似的認為LSTM和GRU訓練效果一致，CNN-LSTM和CNN-GRU訓練效果一致。

對比LSTM和CNN-LSTM 兩種模型，我們可以觀察到訓練結果在精度上有顯著提高，和分別減少了9.9%和10.9%，Squared 亦提高了4 個百分點。與之類似的，對比GRU 和CNN-GRU，和分別減少了12.3%和15.0%，Squared提高了5個百分點。

在加入了CNN 模型后，兩種模型的訓練精度都有進一步的提升。但從模型結構的角度上選擇CNN-GRU會更為合適。當未來遇到更為海量的數(shù)據(jù)需求，GRU 只有兩個門單元，對比LSTM 的三個門單元，模型更為簡單，訓練的參數(shù)更少。因此，認為CNN-GRU 是5G 網(wǎng)絡環(huán)境下帶寬流量預測的理想模型。

為了更深入的研究本文提出的CNN-GRU模型在訓練過程的情況，記錄模型的訓練過程并以畫圖的形式呈現(xiàn)。圖3 為CNN-GRU 模型歷史訓練過程，圖4為圖3在測試部分的放大圖。

圖3 CNN-GRU模型歷史訓練過程

圖4 CNN-GRU模型測試過程（放大）

橫軸代表帶寬數(shù)據(jù)的時間點，縱軸代表下載帶寬的數(shù)值，藍色部分表示原始數(shù)據(jù)，橙色部分表示訓練數(shù)據(jù)，紅色部分則為測試數(shù)據(jù)。從結果上看，CNN-GRU 訓練過程中的整體表現(xiàn)較為平穩(wěn)，雖然在部分的帶寬峰值預測中表現(xiàn)得不夠完美，但是對于帶寬數(shù)據(jù)流量的總體趨勢預測屬于較為理想的水平。結合較高的擬合度，驗證了本文模型對時間序列帶寬數(shù)據(jù)具有良好的預測效果。

3.5 網(wǎng)絡預測與垂直行業(yè)應用結合

本文的CNN-GRU 模型對5G 帶寬具有良好的預測效果，可以為垂直行業(yè)的資源優(yōu)化提供數(shù)據(jù)支撐。以下，在電力物聯(lián)網(wǎng)背景下，提出一種基于流量帶寬預測的5G 網(wǎng)絡切片系統(tǒng)方案，將CNN-GRU 模型與電力業(yè)務結合，實現(xiàn)5G 網(wǎng)絡的精細化切片，提高網(wǎng)絡資源利用率，減少5G 基站能源消耗和運營成本，系統(tǒng)架構如圖5所示。

圖5 基于CNN-GRU模型的5G切片系統(tǒng)架構

（1）系統(tǒng)的輸入為電力物聯(lián)網(wǎng)中實際場景下的業(yè)務帶寬數(shù)據(jù)，通過本文的CNN-GRU模型進行參數(shù)迭代，經(jīng)過模型訓練后輸出預測的帶寬信息。同時，通過監(jiān)測工具（Pioneer，Wireshark和Iperf 等）動態(tài)監(jiān)測5G 網(wǎng)絡的資源信息，包括CPU、內存等計算資源的監(jiān)測，以及吞吐率、可靠性、多設備并發(fā)等網(wǎng)絡存儲性能的監(jiān)測。

（2）將預測的帶寬信息和當前的鏈路資源信息進行整和，并與電力物聯(lián)網(wǎng)的業(yè)務需求進行匹配，進一步得到針對業(yè)務的切片需求。

（3）基于帶寬流量預測的切片需求可以直觀表達未來的一段時間電力負載情況，廠區(qū)的邊緣服務器將這些信息作為參數(shù)，構建目標網(wǎng)絡和損失函數(shù)，利用如強化學習的貪婪算法等進行迭代，最大化獎勵，從而實現(xiàn)精細化的網(wǎng)絡切片。切片結果影響下一次模型的訓練，通過調整參數(shù)及算法更新，得到最理想的eMBB網(wǎng)絡資源切片策略，從而實現(xiàn)網(wǎng)絡資源負載的優(yōu)化。

4 結語

由于擁有近似的結構，LSTM網(wǎng)絡和GRU網(wǎng)絡的訓練結果相近，都能較好的處理時間序列數(shù)據(jù)。此基礎上加入CNN 模型，增加了3 層CNN 的卷積層，訓練過程迭代中的參數(shù)將會變多，模型訓練的時間也會相應的增加。更多的參數(shù)提高了深度學習網(wǎng)絡的深度，挖掘數(shù)據(jù)與數(shù)據(jù)之間更深層的關系，模型變得更為穩(wěn)健。反映在模型評價指標中，訓練的時間變長，但是精度得到了提升。CNN-GRU和CNN-LSTM 的訓練結果并沒有太大的差別，但是GRU 對比LSTM 擁有比其簡單的結構，理論上來參數(shù)的計算量更小，為了后期更為大數(shù)據(jù)量的考慮，選擇使用CNN-GRU 作為模型選擇。綜上所述，CNN-GRU 模型能夠提高模型的訓練精度，同時擁有較高的擬合度，實現(xiàn)對5G 網(wǎng)絡下帶寬數(shù)據(jù)高效、精準、可靠的預測。

未來可研究，在uRLLC 以及mMTC 的場景下，結合時延和連接數(shù)等數(shù)據(jù)對5G 網(wǎng)絡的實際表現(xiàn)進行預測，進一步提升預測模型對5G 網(wǎng)絡的適用度以及處理數(shù)據(jù)的能力。