羅永華，王敏竹，寧 芊

（四川大學(xué)電子信息學(xué)院，成都 610065）

0 引言

隨著物聯(lián)網(wǎng)、云計(jì)算和超級(jí)大數(shù)據(jù)等各種新型技術(shù)的更新?lián)Q代和不斷普及，網(wǎng)絡(luò)的異構(gòu)型和復(fù)雜性不斷增強(qiáng)，全球通信數(shù)據(jù)量呈爆炸式增長(zhǎng)［1］。如何對(duì)這樣巨大的復(fù)雜網(wǎng)絡(luò)系統(tǒng)進(jìn)行運(yùn)行管理、行為監(jiān)控和安全保障也就成為了亟待解決的問(wèn)題［2］。

流量預(yù)測(cè)技術(shù)通過(guò)對(duì)網(wǎng)絡(luò)中的數(shù)據(jù)量進(jìn)行精準(zhǔn)預(yù)測(cè)，可實(shí)現(xiàn)網(wǎng)絡(luò)資源的合理預(yù)分配，有利于管理復(fù)雜的網(wǎng)絡(luò)系統(tǒng)，同時(shí)也可以對(duì)網(wǎng)絡(luò)中的業(yè)務(wù)流量進(jìn)行預(yù)測(cè)，有助于針對(duì)不同業(yè)務(wù)提供差異化網(wǎng)絡(luò)服務(wù)［3?4］。

為了解決上述問(wèn)題，研究人員提出了一系列的預(yù)測(cè)模型，旨在對(duì)網(wǎng)絡(luò)流量進(jìn)行準(zhǔn)確預(yù)測(cè)。傳統(tǒng)的網(wǎng)絡(luò)流量預(yù)測(cè)模型，如自回歸模型（AR）［5］/差分整合移動(dòng)平均自回歸（ARIMA）模型［6］和HoltWinters 算法［7］等，這些模型雖然結(jié)構(gòu)簡(jiǎn)單，但都是基于線性的模型，其特點(diǎn)是需要人工依據(jù)經(jīng)驗(yàn)設(shè)置多種參數(shù)來(lái)擬合數(shù)據(jù)，適用于短期流量預(yù)測(cè)。網(wǎng)絡(luò)流量實(shí)際上具有非線性、周期性、自相關(guān)性和突發(fā)性等，僅依靠傳統(tǒng)的線性模型很難擬合準(zhǔn)確預(yù)測(cè)。因此研究人員陸續(xù)提出了相應(yīng)的非線性模型，如支持向量機(jī)［8］和深度學(xué)習(xí)［9?10］等方法。

為了提高網(wǎng)絡(luò)流量預(yù)測(cè)精度，本文提出基于時(shí)空融合的GAT?LSTM 模型，用以解決網(wǎng)絡(luò)中的流量預(yù)測(cè)問(wèn)題。GAT?LSTM模型集成了圖注意力網(wǎng)絡(luò)GAT 和長(zhǎng)短期記憶循環(huán)網(wǎng)絡(luò)LSTM。GAT 用于捕捉網(wǎng)絡(luò)流量的網(wǎng)狀拓?fù)潢P(guān)系，LSTM用于捕捉網(wǎng)絡(luò)流量在時(shí)間上的動(dòng)態(tài)變化關(guān)系。GAT?LSTM模型也可以拓展到其他的預(yù)測(cè)任務(wù)上運(yùn)行。實(shí)驗(yàn)階段，本文在數(shù)據(jù)集GEANT和Abilene上與傳統(tǒng)的流量預(yù)測(cè)算法進(jìn)行對(duì)比，以驗(yàn)證GAT?LSTM模型的優(yōu)勢(shì)。

1 理論分析

1.1 問(wèn)題定義

網(wǎng)絡(luò)流量預(yù)測(cè)任務(wù)是指通過(guò)對(duì)輸入的歷史流量信息進(jìn)行分析和處理，預(yù)測(cè)未來(lái)時(shí)刻的網(wǎng)絡(luò)流量。本文將網(wǎng)絡(luò)流量預(yù)測(cè)任務(wù)的目標(biāo)定義為預(yù)測(cè)網(wǎng)絡(luò)未來(lái)時(shí)刻的端到端流量。為推導(dǎo)本文的網(wǎng)絡(luò)流量預(yù)測(cè)任務(wù)，我們將通信網(wǎng)絡(luò)表示為G(V,E)。其中V表示網(wǎng)絡(luò)中的節(jié)點(diǎn)集合，V={u0,u1, …,uN-1}，N表示網(wǎng)絡(luò)中的節(jié)點(diǎn)數(shù)，E表示網(wǎng)絡(luò)中的通信鏈路集合。同時(shí)引入鄰接矩陣A∈?N×N表達(dá)網(wǎng)絡(luò)的拓?fù)潢P(guān)系，其中A由0 和1組成，1 表示兩節(jié)點(diǎn)間存在通信鏈路，0 表示兩節(jié)點(diǎn)之間不存在通信鏈路。我們將通信網(wǎng)絡(luò)中的端到端流量數(shù)據(jù)定義為XN×N×H，作為預(yù)測(cè)模型的輸入特征，其中H表示輸入歷史流量序列的長(zhǎng)度。對(duì)于t時(shí)刻的端到端流量信息，我們可以將其表示為Xt∈?N×N×i。

因此，網(wǎng)絡(luò)G的流量預(yù)測(cè)任務(wù)可以看作為，在綜合分析歷史流量信息XN×N×H下，通過(guò)映射函數(shù)f來(lái)預(yù)測(cè)下一T時(shí)刻網(wǎng)絡(luò)流量的過(guò)程，表示如下：

式中：n是歷史流量數(shù)據(jù)的長(zhǎng)度，T是需要預(yù)測(cè)的流量序列的長(zhǎng)度。

1.2 實(shí)驗(yàn)數(shù)據(jù)集

GEANT：該數(shù)據(jù)集是由薩里大學(xué)研究團(tuán)隊(duì)收集并整理的來(lái)自GEANT 網(wǎng)絡(luò)的流量信息，GEANT 網(wǎng)絡(luò)將整個(gè)歐洲的國(guó)家研究和教育網(wǎng)絡(luò)（NRENs）互相連接起來(lái)，其主要由23個(gè)路由器，38 條鏈路組成。GEANT 數(shù)據(jù)集每隔15 min 記錄一次，時(shí)間跨度為5個(gè)多月，共167天。

Abilene：Abilene 開(kāi)源數(shù)據(jù)集描述了美國(guó)主干網(wǎng)的12 個(gè)節(jié)點(diǎn)之間的流量信息，網(wǎng)絡(luò)節(jié)點(diǎn)間存在15 條鏈路，該數(shù)據(jù)集時(shí)間跨度從2004 年5月1日到2004年9月10日。

2 研究方法

2.1 ARIMA模型

Hyun 等［6］早期提出了差分整合移動(dòng)平均自回歸模型（ARIMA），通過(guò)分析網(wǎng)絡(luò)流量時(shí)間序列的自相關(guān)性，可以捕捉到網(wǎng)絡(luò)流量的時(shí)間特性，ARIMA（p，d，q）模型可表示為

式中：L是滯后算子，d∈?,d> 0。

ARIMA 模型要求時(shí)間序列是平穩(wěn)的，若為非平穩(wěn)時(shí)間序列，則需要將時(shí)間序列轉(zhuǎn)換為平穩(wěn)時(shí)間序列，并求取最佳的階層和階數(shù)。

2.2 LSTM長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)

LSTM 與一般的前饋神經(jīng)網(wǎng)絡(luò)不同，LSTM能夠合理運(yùn)用當(dāng)前輸入時(shí)刻及以前的特征信息，能夠處理好時(shí)間維度的特征，常被用于時(shí)間序列預(yù)測(cè)問(wèn)題。

如圖1所示，LSTM 由遺忘門、記憶門以及輸出門組成。遺忘門的作用是選擇性過(guò)濾掉之前單元狀態(tài)中的某些分量，避免過(guò)多的記憶信息影響網(wǎng)絡(luò)。記憶門是用來(lái)提取當(dāng)前輸入數(shù)據(jù)的有效信息，并將篩選后的信息并入到單元狀態(tài)的控制單位。輸出門是用于計(jì)算當(dāng)前時(shí)刻輸出值的神經(jīng)層。LSTM模型可表示為

圖1 LSTM長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)

2.3 GAT?LSTM模型

圖注意力網(wǎng)絡(luò)GAT 是VELICKOVIC P 等［9］于2018年提出的一種圖神經(jīng)網(wǎng)絡(luò)模型，該模型將注意力機(jī)制引入到圖神經(jīng)網(wǎng)絡(luò)中，每一層通過(guò)鄰居對(duì)新特征的貢獻(xiàn)度進(jìn)行特征聚合，以此生成節(jié)點(diǎn)的新特征，能夠有效學(xué)習(xí)信息的空間特征。

如圖2所示，GAT?LSTM 模型通過(guò)多組GAT學(xué)習(xí)網(wǎng)絡(luò)流量的空間特征并賦給網(wǎng)絡(luò)中的節(jié)點(diǎn)，LSTM 將帶有空間特征的時(shí)間序列預(yù)測(cè)輸出，其模型實(shí)現(xiàn)過(guò)程如下：

圖2 GAT?LSTM 架構(gòu)

首先，我們定義t時(shí)刻輸入的任意單個(gè)時(shí)間片的流量數(shù)據(jù)為Xt={h1,h2, …,hN}，其中hi∈?N×F，N是節(jié)點(diǎn)個(gè)數(shù)，F(xiàn)是節(jié)點(diǎn)特征的維度，通過(guò)式（7）、（8），我們可以得到不同節(jié)點(diǎn)之間的注意力系數(shù)αi,j：

式中：ei,j表示節(jié)點(diǎn)i對(duì)節(jié)點(diǎn)j的權(quán)重；a→∈?2F'是神經(jīng)網(wǎng)絡(luò)中連接層與層之間的權(quán)重矩陣；W∈?NF×F'是待學(xué)習(xí)的權(quán)重矩陣；‖ 表示連接操作；?T表示轉(zhuǎn)置；Ni表示節(jié)點(diǎn)i的鄰居節(jié)點(diǎn)集合。

單個(gè)時(shí)間片的輸出可以通過(guò)k組獨(dú)立的注意力機(jī)制來(lái)拼接每一組注意力聚合的結(jié)果，并延遲最終的非線性函數(shù)，其過(guò)程表示如下：

GAT?LSTM 模型對(duì)于當(dāng)前時(shí)刻輸入歷史流量中的每一個(gè)時(shí)間片都通過(guò)多組GAT 提取空間特征，并將其t時(shí)刻的輸出定義為

式中：Ls=H是歷史流量數(shù)據(jù)的長(zhǎng)度；fs=F'是經(jīng)過(guò)多組GAT后節(jié)點(diǎn)特征的維度。

GAT?LSTM 模型將St序列送入到LSTM 模型中獲取最終輸出，可表示如下：

式中：LSTM表示經(jīng)過(guò)LSTM模型。

3 實(shí)驗(yàn)分析

3.1 評(píng)價(jià)指標(biāo)

為了定量分析ARIMA、GAT、LSTM、GAT?LSTM 模型的評(píng)估性能，我們選擇了平均絕對(duì)誤差MAE、均方根誤差RMSE、誤差ERROR、決定系數(shù)R2四個(gè)評(píng)價(jià)指標(biāo)去評(píng)估真實(shí)流量與預(yù)測(cè)流量的差異，R2越接近1模型性能越好，RMSE、MAE、ERROR 越接近于0，模型性能越好。下述評(píng)價(jià)指標(biāo)的計(jì)算公式中，Y?t表示預(yù)測(cè)值，Yt表示真實(shí)值，Yˉ表示真實(shí)值的平均值，n是真實(shí)值的數(shù)量。

3.2 結(jié)果分析

實(shí)驗(yàn)中，本文將網(wǎng)絡(luò)流量數(shù)據(jù)集歸一化到［0, 1］中，并按照7∶2∶1的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。同時(shí)用歷史的十組數(shù)據(jù)去預(yù)測(cè)未來(lái)15 min，30 min，45 min，60 min的流量。本文設(shè)置學(xué)習(xí)率為0.001，batch size 為64，優(yōu)化器采用Adam 優(yōu)化器，訓(xùn)練迭代次數(shù)為500 次，GAT?LSTM 模型中注意力頭數(shù)設(shè)置為n=2，神經(jīng)元個(gè)數(shù)設(shè)置為［8, 16, 64］。

表1顯示了GAT?LSTM 模型與傳統(tǒng)基線模型在數(shù)據(jù)集GEANT和Abilene下，預(yù)測(cè)未來(lái)15 min，30 min，45 min，60 min 的性能對(duì)比。從表1 可以看見(jiàn)，ARIMA 的預(yù)測(cè)性能最差，例如基于數(shù)據(jù)集GEANT 下的15 min預(yù)測(cè)任務(wù)中，ARIMA 的RMSE 大約是0.044117，R2大約是0.525201，這是因?yàn)锳RIMA 作為經(jīng)典的時(shí)間序列預(yù)測(cè)模型，本質(zhì)上僅能提取網(wǎng)絡(luò)流量序列的時(shí)間特性。相比于ARIMA，基于神經(jīng)網(wǎng)絡(luò)的模型具有更好的預(yù)測(cè)性能，這是因?yàn)樯窠?jīng)網(wǎng)絡(luò)能夠較好地提取網(wǎng)絡(luò)流量序列的非線性關(guān)系和空間特征。GAT?LSTM同時(shí)考慮了網(wǎng)絡(luò)流量序列的空間依賴性和時(shí)間相關(guān)性。因此相比于傳統(tǒng)的ARIMA，GAT?LSTM模型獲得了更好的預(yù)測(cè)性能。

表1 評(píng)價(jià)指標(biāo)

為了評(píng)估GAT?LSTM 捕獲網(wǎng)絡(luò)流量序列的能力，如圖3、圖4 所示，我們將GAT?LSTM 與ARIMA 在數(shù)據(jù)集GEANT 和Abilene 上不同的預(yù)測(cè)范圍內(nèi)進(jìn)行對(duì)比。結(jié)果表明，相比于只考慮了時(shí)間特征的模型（ARIMA），GAT?LSTM 在不同的預(yù)測(cè)尺度上都具有更好的預(yù)測(cè)性能，并且隨著預(yù)測(cè)尺度的增大，GAT?LSTM模型能夠保持穩(wěn)定的預(yù)測(cè)性能，相比于ARIMA，GAT?LSTM更適合應(yīng)用于長(zhǎng)期預(yù)測(cè)。

圖3 基于數(shù)據(jù)集GEANT上的時(shí)空預(yù)測(cè)能力

圖4 基于數(shù)據(jù)集Abilene上的時(shí)空預(yù)測(cè)能力

為了更直觀地觀察GAT?LSTM 與傳統(tǒng)基線模型預(yù)測(cè)性能的對(duì)比，我們從數(shù)據(jù)集GEANT中抽取出一條網(wǎng)絡(luò)流量進(jìn)行可視化分析。圖5、圖6 分別展示了GAT?LSTM 和ARIMA 基于數(shù)據(jù)集GEANT 和Abilene 下30 min 預(yù)測(cè)任務(wù)的性能。從圖中可以看出，GAT?LSTM 能夠準(zhǔn)確描述網(wǎng)絡(luò)流量序列的局部最小值/最大值，ARIMA 隨著預(yù)測(cè)尺度的增加，預(yù)測(cè)局部最大值/最小值的性能降低。

圖5 基于數(shù)據(jù)集GEANT下30 min的預(yù)測(cè)性能

圖6 基于數(shù)據(jù)集Abilene下30 min的預(yù)測(cè)性能

4 結(jié)語(yǔ)

本文通過(guò)組合LSTM 和GAT，形成了GAT?LSTM 模型。將該模型應(yīng)用于網(wǎng)絡(luò)流量數(shù)據(jù)集GEANT 和Abilene中，并與傳統(tǒng)的時(shí)間預(yù)測(cè)模型進(jìn)行了比較，就結(jié)果而言，GAT?LSTM 獲得了較好的預(yù)測(cè)性能。同時(shí)，為了驗(yàn)證GAT?LSTM 模型對(duì)于時(shí)空特征的敏感性，本文以RMSE 為評(píng)價(jià)指標(biāo)，實(shí)驗(yàn)證明相比于單一特征提取的模型，GAT?LSTM 能夠更好地學(xué)習(xí)到時(shí)間序列的時(shí)空特征。綜上，GAT?LSTM 模型在一定程度上補(bǔ)足了現(xiàn)有研究的不足，同時(shí)也能為網(wǎng)絡(luò)流量預(yù)測(cè)精度提升提供必要的參考依據(jù)。