王海寧 袁祥楓 楊明川

【摘? 要】提出了一個基于長短期記憶循環(huán)神經(jīng)網(wǎng)絡與傳統(tǒng)神經(jīng)網(wǎng)絡的網(wǎng)絡流量預測模型。通過與傳統(tǒng)機器學習流量預測方法相對比，驗證了該模型在網(wǎng)絡流量預測中的適用性與更高的準確性。將上述流量預測模型應用在基于軟件定義網(wǎng)絡技術的智能化承載網(wǎng)切片系統(tǒng)中，以提升網(wǎng)絡資源利用率，并提供了實驗室驗證結果。

【關鍵詞】流量預測;神經(jīng)網(wǎng)絡;長短期記憶;網(wǎng)絡切片

doi：10.3969/j.issn.1006-1010.2019.08.007? ? ? 中圖分類號：TN929.5

文獻標志碼：A? ? ? 文章編號：1006-1010（2019）08-0037-08

引用格式：王海寧，袁祥楓，楊明川. 基于LSTM與傳統(tǒng)神經(jīng)網(wǎng)絡的網(wǎng)絡流量預測及應用[J]. 移動通信， 2019，43（8）： 37-44.

[Abstract]?This paper proposes a traffic prediction model based on long short term memory （LSTM） and traditional neural networks. Compared with traditional machine learning-based traffic prediction methods， experiments show that the proposed model has the applicability and higher accuracy in the network traffic prediction. Finally， the above traffic prediction model is applied in the SDN-based intelligent transport network slicing systems to improve the utilization of network resources， and the laboratory verification results are also provided.

[Key words]traffic prediction; neural network; LSTM; network slice

1? ?引言

網(wǎng)絡流量的建模和預測是研究網(wǎng)絡的性能、管理、協(xié)議及服務質量的基礎，對網(wǎng)絡的規(guī)劃設計具有重要意義。精準地預測網(wǎng)絡流量變化對提高網(wǎng)絡穩(wěn)定性，提升用戶體驗，節(jié)省運營商成本等具有重要意義。

針對網(wǎng)絡流量預測問題，國內外的學者展開了深入的研究工作，且已經(jīng)取得了非常不錯的成果。網(wǎng)絡流量預測這類序列預測問題，按照建模方法基本可以分為兩類：第一類是基于時間序列建模的線性預測方法，例如自回歸模型[1]、自回歸滑動[2]、差分自回歸移動平均模型[3]、HoltWinters指數(shù)平滑法[4]等;第二類是基于機器學習算法的非線性預測方法，如主持向量機、梯度提升回歸樹、神經(jīng)網(wǎng)絡[5]等。多個實驗證明，非線性預測方法比線性預測法具有更好的效果[6]。

循環(huán)神經(jīng)網(wǎng)絡（Recurrent Neural Network， RNN）是一種改進的神經(jīng)網(wǎng)絡，它包含自循環(huán)的神經(jīng)元，可以將歷史信息在神經(jīng)元中進行傳遞。在眾多RNN的變體中，長短期記憶（Long Short Term Memory， LSTM）[7]方法彌補了RNN梯度消失、梯度爆炸、長期記憶能力不足等問題，在處理序列問題時效果拔群。近些年在序列回歸預測問題中，有很多學者使用了RNN與LSTM。R Vinayakumar等人應用LSTM對骨干網(wǎng)流量進行預測[8]。王祥雪和許倫輝將LSTM應用在了短時交通流預測研究中[9]。江務學提出了一種基于改進雙線性遞歸神經(jīng)網(wǎng)絡模型的非線性網(wǎng)絡流量預測方法[10]。劉淵和姚萌提出了一種基于Elman遞歸神經(jīng)網(wǎng)絡、小波和自回歸的網(wǎng)絡流量組合預測模型[11]。

以上方法是基于序列本身的性質進行預測，沒有考慮外部環(huán)境特征對序列波動的影響。本文提出一種在多層LSTM網(wǎng)絡的基礎上加入傳統(tǒng)神經(jīng)網(wǎng)絡，引入外部人工構造特征的神經(jīng)網(wǎng)絡結構，提升對網(wǎng)絡流量預測的精度。

2? ?相關理論與技術

2.1? RNN與LSTM

RNN適用于處理序列數(shù)據(jù)。如圖1所示，RNN有一個重復使用的神經(jīng)元，形成一個循環(huán)的鏈式結構，循環(huán)鏈長度取決于輸入序列的長度。這種鏈式使得不同階段的序列數(shù)據(jù)所包含的信息能夠在神經(jīng)元中保留下去。基本的RNN中這個重復的神經(jīng)元結構很簡單，如圖2所示的RNN結構，神經(jīng)內只有一個tanh層。當序列長度過長，這樣簡單的結構會使得距離較遠的信息丟失，并伴隨著梯度消失、梯度爆炸等問題。

2.2? LSTM的幾種應用

以上介紹了LSTM單神經(jīng)元的結構及信息傳遞的過程。根據(jù)LSTM神經(jīng)元的輸入輸出方式的不同，LSTM可分為幾類不同的結構，應用于不同的場景。

圖4至圖7為4種場景下LSTM的結構展開圖。多對一（many-to-one）結構，取神經(jīng)元最后一次循環(huán)的輸出，可應用于單值回歸問題，二分類問題等。一對多（one-to-many）結構，接受序列長度為1的輸入，在接下來的循環(huán)中產(chǎn)生輸出序列，可用于序列生成問題，如輸出一段音樂。多對多（many-to-many）結構根據(jù)輸出序列長度是否等于輸入序列長度可分為兩種情況：若兩者相等，可在輸入的每次循環(huán)中直接產(chǎn)生對應輸出;若不相等，則需要接受所有輸入序列后，在接下來的循環(huán)中產(chǎn)生輸出序列。多對多（many-to-many）結構是應用最廣泛的LSTM結構，可用于序列翻譯、多值回歸問題、多分類等問題。

3? ?基于全連接LSTM網(wǎng)絡流量預測

3.1? 數(shù)據(jù)準備與處理

本研究基于2013年1月至2018年7月某真實網(wǎng)絡采樣點的流量數(shù)據(jù)，按照小時聚合，最終得到時間粒度為1小時的流量數(shù)據(jù)27 312條。

原始數(shù)據(jù)存在缺失值與異常值。對于個別時間的缺失值，使用前后時間點流量的均值填補;對于一段時間的缺失值則舍去。異常值在模型訓練過程中會對模型效果產(chǎn)生偏差，根據(jù)拉依達準則（3σ準則），將[0.003， 0.997]區(qū)間外的值判定為異常值，進行平滑處理。

本文模型的輸入由兩部分組成，序列數(shù)據(jù)與外部特征。序列數(shù)據(jù)為長度為168的流量數(shù)據(jù)，如設置當前時間點為X，[X-167， X]共168個流量數(shù)據(jù)為序列數(shù)據(jù)輸入。外部特征是人工構造的一些輸入特征。本次實驗通過當前時間的時間戳提取時間特征，如是否周末、一天中的第幾個小時等，并經(jīng)過獨熱編碼處理，得到74個時間特征;通過計算最近時間點流量序列的統(tǒng)計信息，如均值、方差、模擬一階差分等，得到25個統(tǒng)計特征，共得到99個外部特征。

3.2? 模型構建與訓練

模型結構如圖8所示，main_input為序列數(shù)據(jù)輸入，序列長度為168，即24小時×7天的流量序列數(shù)據(jù)。aux_input為外部特征輸入。main_input經(jīng)過兩層LSTM產(chǎn)生128個特征，與aux_input的99個特征一起作為全連接層的輸入。全連接層前兩層的激活函數(shù)使用relu，最后一層為linear激活函數(shù)，最終輸出main_output預測下一個1～6小時的業(yè)務量預測值。

按照8：1：1的比例進行訓練集、驗證集、測試集拆分。使用Adam算法進行參數(shù)優(yōu)化。損失函數(shù)采用均方根誤差（Mean Square Error， MSE），公式如下所示：

L（Y，f（X））=（Yj - f（Xj））2? ? ? ? ? ? ? （7）

3.3? 總結與對比

和傳統(tǒng)的機器學習回歸模型相比，本文的模型可以同時預測輸出下1～6個時間點的預測值，便于實際應用場景中對未來流量趨勢的判斷與策略制定。圖9顯示測試集上模型預測的流量變化趨勢與真實數(shù)據(jù)的對比。該模型可以準確預測網(wǎng)絡流量在未來一段時間的變化趨勢。

和傳統(tǒng)的序列預測方法相比，本文模型考慮了外部特征對序列曲線的影響。由于數(shù)據(jù)集信息有限，這里只提取了時間特征與統(tǒng)計特征。在具體的應用場景中，還可根據(jù)實際情況添加特征進行訓練。

本次實驗在測試集上將本文提出的模型與三層LSTM模型、支持向量回歸模型（Support Vector Regression， SVR）、梯度提升回歸樹模型（Gradient Boosting Regression Tree， GBRT）對下一時刻流量值的預測情況進行對比，結果如表1和圖10所示?？梢?，本文LSTM+DNN模型效果最好，其次是SVR。GBRT MSE值優(yōu)于LSTM，但GBRT的預測曲線有明顯的滯后性，對真實值曲線的偶然波動較為敏感。LSTM的曲線較平滑，對真實值曲線的偶然波動不敏感。

4? ?基于流量預測的應用實踐

4.1? 智能化網(wǎng)絡切片場景

當前電信業(yè)務已經(jīng)呈現(xiàn)出多場景、差異化的特點，如果為每種業(yè)務建立一個專用網(wǎng)絡，則需要極高的成本，而網(wǎng)絡切片可以使多個邏輯網(wǎng)絡能夠通過云和網(wǎng)絡功能虛擬化（Network Function Virtualization， NFV）技術共享一個共同的物理基礎設施，有效節(jié)約成本。同時，這樣的共享為靈活的網(wǎng)絡服務提供了新的商業(yè)模式，在垂直行業(yè)，具有彈性資源的網(wǎng)絡架構將根據(jù)服務需求動態(tài)變化。與傳統(tǒng)網(wǎng)絡相比，這種方式更加靈活可用，但靈活動態(tài)的需求也給基于人機交互的當前網(wǎng)絡運營帶來了新的挑戰(zhàn)。

網(wǎng)絡切片是5G網(wǎng)絡的重要使能技術，是端到端的邏輯子網(wǎng)，涉及核心網(wǎng)絡（控制平面和用戶平面）、無線接入網(wǎng)和承載網(wǎng)，需要多領域的協(xié)同配合。不同的網(wǎng)絡切片之間可共享資源也可以相互隔離。網(wǎng)絡切片可以幫助用戶實現(xiàn)想要的功能和特性，完成業(yè)務的快速部署，減少上線時間。

在承載網(wǎng)中，為避免流量高峰期資源緊缺，切片的分配一般以滿足用戶峰值要求來部署，這也造成了大多數(shù)非高峰期時段網(wǎng)絡帶寬、服務質量等專屬資源的冗余和浪費。因此，精準預測流量使用狀況，按需動態(tài)配置切片資源，智能化管理承載網(wǎng)切片成為合理分配網(wǎng)絡資源，保障業(yè)務服務質量的關鍵。

4.2? 智能化承載網(wǎng)切片系統(tǒng)架構

智能化承載網(wǎng)絡切片系統(tǒng)的功能架構如圖11所示。

智能化承載網(wǎng)絡切片系統(tǒng)主要包括：基于AI模型的流量預測系統(tǒng)、智能策略生成器、承載網(wǎng)絡切片管理器（Transport Network Slice Manager， TNSM）以及承載網(wǎng)節(jié)點設備。其中，TNSM和承載網(wǎng)節(jié)點設備之間采用軟件定義網(wǎng)絡（Software Defined Network， SDN）技術，實現(xiàn)TNSM對多個承載網(wǎng)節(jié)點設備的集中控制，并提供流量數(shù)據(jù)采集及配置策略自動化下發(fā)。

流量預測系統(tǒng)推斷預測流量前，需要使用歷史流量數(shù)據(jù)進行訓練。在實際應用中，承載網(wǎng)切片實例的準實時流量吞吐量數(shù)據(jù)由TNSM收集，并發(fā)送給流量預測系統(tǒng)。流量預測系統(tǒng)根據(jù)訓練得到的AI模型和實時數(shù)據(jù)預測下幾個時間周期的流量數(shù)值，例如未來6個小時的流量數(shù)值，并傳遞給智能策略生成器。智能策略生成器根據(jù)接收到的預測結果判斷承載網(wǎng)絡切片的帶寬在下一個時間周期是否需要調整以及如何調整，并在需要調整時生成智能擴縮容策略下發(fā)至TNSM。最后，TNSM通過重新配置承載網(wǎng)節(jié)點的端口帶寬來執(zhí)行相應的智能擴縮容策略。

4.3? 基于流量預測的智能化承載網(wǎng)切片擴縮容策略

在制定承載網(wǎng)切片擴縮容策略時，需要充分考慮以下因素：

（1）添加適當?shù)娜哂噘Y源，以彌補流量預測誤差，特別是在預測值比實際值小的情況。

（2）擴縮容操作頻度，不應引起資源分配的震蕩。

（3）縮容操作要謹慎。

4.4? 智能化承載網(wǎng)切片資源利用率提升效果評估

基于上文中介紹的智能承載網(wǎng)切片擴縮容策略生成方式，可以得到圖12所示的智能承載網(wǎng)切片調整效果以及表格2所示的資源利用率和報警率結果。

4.5? 其它基于流量預測的應用場景

除了用于提升智能化承載網(wǎng)切片系統(tǒng)的資源利用率，基于人工智能的流量預測技術在網(wǎng)絡中還有許多應用場景。例如，對虛擬化寬帶遠程接入服務器（Virtualized Broadband Remote Access Server， vBRAS）、5G用戶面功能（User Plane Function， UPF）等虛擬網(wǎng)元的流量進行預測，并根據(jù)預測結果制定智能化擴縮容策略，通過NFV管理和編排系統(tǒng)（Management and Orchestration， MANO）采集流量數(shù)據(jù)并執(zhí)行虛擬資源的分配調整，可以提升虛擬資源的利用率，降低運營成本。通過預測數(shù)據(jù)中心的負載變化情況，給出虛擬機遷移的策略并觸發(fā)服務器休眠和喚醒操作，可以實現(xiàn)數(shù)據(jù)中心節(jié)能。通過預測無線小區(qū)的業(yè)務量，結合場景識別等技術，可以給出無線側載波關斷、符號關斷等節(jié)能操作的策略建議，輔助實現(xiàn)基站節(jié)能等。

5? ?結束語

本文首先介紹了RNN與LSTM以及LSTM的集中應用。提出了基于LSTM與傳統(tǒng)神經(jīng)網(wǎng)絡的網(wǎng)絡流量序列預測模型，包括數(shù)據(jù)準備、模型構建與訓練、與其他算法模型相對比等內容，并提出了將上述流量預測模型應用在基于SDN技術的智能化承載網(wǎng)切片系統(tǒng)中以提升網(wǎng)絡資源利用率的解決方案。

實驗表明，本文的模型可以很好地擬合數(shù)據(jù)集的流量曲線，并能準確預測未來一段時間的變化趨勢。多層LSTM算法與其他傳統(tǒng)機器學習算法相比，LSTM算法與傳統(tǒng)神經(jīng)網(wǎng)絡相結合的模型具有更好的效果。并且，將上述流量預測模型應用在智能化承載網(wǎng)切片系統(tǒng)中，結合智能化的承載網(wǎng)切片擴縮容調整策略，可以在不提升報警率的情況下顯著提升網(wǎng)絡資源利用率，具有良好的應用前景和經(jīng)濟效益。

參考文獻：

[1] 汪志勇，邱曉紅. 基于多重分數(shù)差分和AR模型的網(wǎng)絡流量預測[J]. 計算機技術與發(fā)展， 2009，19（3）： 84-86.

[2] 高波，張欽宇，梁永生，等. 基于EMD及ARMA的自相似網(wǎng)絡流量預測[J]. 通信學報， 2011，32（4）： 47-56.

[3] 張冉，趙成龍. ARIMA模型在網(wǎng)絡流量預測中的應用研究[J]. 計算機仿真， 2011，28（2）： 171-174.

[4] WILLIAMSBM， HOELLA. Modeling and forecasting vehicular traffic flow as a seasonal ARIMA process： Theoretical basis and empirical results[J]. Journal of Transportation Engineering， 2003（6）： 664-672.

[5] P Cortez， M Rio， M Rocha， et al. Internet traf?c forecasting using neural networks[C]//International Joint Conference on Neural Network. IEEE， 2006： 2635-2642.

[6] M Barabas， G Boanea， A B Rus， et al. Evaluation of network traffic prediction based on neural networks with multi-task learning and multiresolution decomposition[C]//2011 IEEE 7th International Conference on Intelligent Computer Communication and Processing. Cluj-Napoca， 2011： 95-102.

[7] Hochreiter S， Schmidhuber J. Long short-term memory[J]. Neural Computation， 1997（8）： 1735-1780.

[8] R Vinayakumar， K P Soman， P Poornachandran. Applying deep learning approaches for network traffic prediction[C]//2017 International Conference on Advances in Computing. Communications and Informatics （ICACCI）， 2017： 2353-2358.

[9] 王祥雪，許倫輝. 基于深度學習的短時交通流預測研究[J]. 交通運輸系統(tǒng)工程與信息， 2018，18（1）： 81-88.

[10] 江務學. 基于結構優(yōu)化遞歸神經(jīng)網(wǎng)絡的網(wǎng)絡流量預測[J]. 西南大學學報：自然科學版， 2016，38（2）： 149-154.

[11] 劉淵，姚萌. 基于遞歸神經(jīng)網(wǎng)絡的網(wǎng)絡流量組合預測模型[J]. 計算機工程與設計， 2008，29（3）： 700-702.★