閆保中，蘇鄧軍

哈爾濱工程大學(xué) 智能科學(xué)與工程學(xué)院，黑龍江 哈爾濱 150001

通過挖掘多維時間序列相互之間的結(jié)構(gòu)關(guān)系以及時間序列中反映出的變量隨時間不斷變化的趨勢，利用歷史數(shù)據(jù)對未來的數(shù)據(jù)進(jìn)行預(yù)測，在商業(yè)和工業(yè)領(lǐng)域有著重要的意義[1-4]。如預(yù)測電力負(fù)荷數(shù)據(jù)，從而對發(fā)電量等資源的配置進(jìn)行優(yōu)化[5-6]。傳統(tǒng)的時間序列預(yù)測模型，如差分自回歸移動平均模型(autoregressive integrated moving average model，ARIMA)、指數(shù)平滑等，主要利用較為單一的數(shù)據(jù)特征，如數(shù)據(jù)的周期性、變化趨勢等進(jìn)行預(yù)測，對于單一的自回歸序列，該類算法具有較好的預(yù)測效果，但由于其無法捕捉序列自身或序列復(fù)雜的結(jié)構(gòu)關(guān)系，對于較復(fù)雜的多維時間序列等，該類算法不能獲得較好的預(yù)測效果。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，國內(nèi)外學(xué)者基于深度學(xué)習(xí)技術(shù)對時間序列預(yù)測開展了更深入的研究，如基于循環(huán)神經(jīng)網(wǎng)絡(luò)的編碼器模型[7-8]以及注意力模型[9]。Qin 等[7]模仿人類注意力機(jī)制提出了一種雙階段注意力機(jī)制的自編碼網(wǎng)絡(luò)，解決了傳統(tǒng)網(wǎng)絡(luò)對多維時間序列無法捕捉較長時間內(nèi)數(shù)據(jù)間的相關(guān)性，并選擇合適的數(shù)據(jù)序列來進(jìn)行預(yù)測的問題。但現(xiàn)有的預(yù)測網(wǎng)絡(luò)模型主要存在2 個缺點：1）大部分網(wǎng)絡(luò)采用自回歸生成模式，由于網(wǎng)絡(luò)特性[9]，隨著預(yù)測時間的增長會導(dǎo)致預(yù)測中出現(xiàn)累積誤差，從而影響預(yù)測精度；2）大部分網(wǎng)絡(luò)其本質(zhì)是探索目標(biāo)序列的單一分布期望，面對不符合假設(shè)的序列，其預(yù)測效果往往不理想。

GAN 是一種通過網(wǎng)絡(luò)的反向傳播直接塑造輸出分布的模型。受此啟發(fā)，本文設(shè)計了一種將改進(jìn)后的DA-RNN 網(wǎng)絡(luò)和GAN 相結(jié)合的多維時間序列預(yù)測算法，利用GAN 網(wǎng)絡(luò)中的判別器對DA-RNN 網(wǎng)絡(luò)進(jìn)行優(yōu)化，從而在消除累積誤差的同時加強(qiáng)網(wǎng)絡(luò)對于隨機(jī)變量的預(yù)測效果。受到Transformer 網(wǎng)絡(luò)啟發(fā)，本文采用多維注意力機(jī)制模型[10]對DA-RNN 網(wǎng)絡(luò)進(jìn)行改進(jìn)，同時考慮到只有少數(shù)的歷史數(shù)據(jù)在預(yù)測中起到?jīng)Q定性作用，因此本文利用 a-entmax稀疏映射[11-12]函數(shù)進(jìn)行歸一化變換，使得與當(dāng)前預(yù)測無關(guān)的歷史數(shù)據(jù)所占權(quán)重為零。

1 DA-RNN 算法改進(jìn)

DA-RNN 算法是一種從仿生角度出發(fā)，模仿人類觀察事物的機(jī)制提出的一種時間序列預(yù)測網(wǎng)絡(luò)。網(wǎng)絡(luò)利用編碼器部分的注意力模型，實現(xiàn)從多維時間特征序列中挑選出與當(dāng)前時刻相關(guān)性強(qiáng)的序列特征，并將其用于后續(xù)的預(yù)測。

1.1 提升網(wǎng)絡(luò)運行速度

1.2 注意力模型改進(jìn)

注意力模型是指網(wǎng)絡(luò)根據(jù)循環(huán)神經(jīng)網(wǎng)絡(luò)上一時刻的隱藏狀態(tài)，計算不同時刻的輸入或當(dāng)前時刻的不同輸入與當(dāng)前預(yù)測值的相關(guān)程度，從而給與輸入序列不同的權(quán)重，使得網(wǎng)絡(luò)更關(guān)注與當(dāng)前時刻輸出相關(guān)程度高的歷史數(shù)據(jù)。傳統(tǒng)的注意力機(jī)制包含 Query(Q)、Key(K)及 Value(V)三要素，算法通過計算某一特征空間中Q和K的相關(guān)性分?jǐn)?shù)，經(jīng)過歸一化映射后成為V中各參數(shù)對應(yīng)的權(quán)重值。但對于Q和K，相關(guān)研究表明，其各自應(yīng)由多個相互解耦的特征組成，只在某一特征空間中計算二者的相關(guān)性分?jǐn)?shù)，可能會導(dǎo)致結(jié)果不準(zhǔn)確，進(jìn)一步導(dǎo)致網(wǎng)絡(luò)預(yù)測精度降低。本文引入多維度注意力模型，從多個子空間中計算Q和K之間的相關(guān)性分?jǐn)?shù)，有效解決了相關(guān)性結(jié)果不準(zhǔn)確的問題。

1.2.1 多維度注意力機(jī)制

圖1 多維注意力模型示意

1.2.2 稀疏映射

從圖2 可以發(fā)現(xiàn)：當(dāng) α=1時 ，x=0部分對應(yīng)的映射值不為0；當(dāng) α ＞1時 ，x=0部分的映射值為0，且隨著 α值的增大，對應(yīng)的映射曲線變化幅度越大。對應(yīng)于注意力機(jī)制，隨著 α值的增大，網(wǎng)絡(luò)對于相關(guān)性分?jǐn)?shù)高的歷史數(shù)據(jù)會給與更高的權(quán)重值。

圖2 不同 α 值下 a -entmax映射

1.3 網(wǎng)絡(luò)優(yōu)化目標(biāo)改進(jìn)

DA-RNN 網(wǎng)絡(luò)中以最小化預(yù)測均方誤差（mean square error，MSE）損失為優(yōu)化目標(biāo)。在滿足預(yù)測值與真實值之間的殘差為獨立變量，且對于整個序列其方差不變的情況下，以MSE 有優(yōu)化目標(biāo)的模型能取得較好的效果，但對于不滿足這一假設(shè)的序列，其效果并不好。結(jié)合分位數(shù)回歸模型及GAN 網(wǎng)絡(luò)中的判別器模型[13]，本文構(gòu)建了新的網(wǎng)絡(luò)損失函數(shù)，改進(jìn)了網(wǎng)絡(luò)的優(yōu)化目標(biāo)，使其在方差會發(fā)生變化或殘差分布為非正態(tài)分布的序列上也能取得較好的效果。

分位數(shù)回歸損失函數(shù)為

2 GAN 網(wǎng)絡(luò)的構(gòu)建

GAN 網(wǎng)絡(luò)由生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)2 部分構(gòu)成。生成網(wǎng)絡(luò)目的在于通過訓(xùn)練生成與真實數(shù)據(jù)類似分布的數(shù)據(jù)，判別網(wǎng)絡(luò)目的在于區(qū)分出生成的數(shù)據(jù)和真實數(shù)據(jù)。本文以改進(jìn)后的DARNN 網(wǎng)絡(luò)為基礎(chǔ)構(gòu)建生成網(wǎng)絡(luò)。判別網(wǎng)絡(luò)目的在于通過訓(xùn)練達(dá)到區(qū)分出生成網(wǎng)絡(luò)生成數(shù)據(jù)和真實數(shù)據(jù)的目的。考慮到網(wǎng)絡(luò)復(fù)雜度等因素，本文以全連接網(wǎng)絡(luò)為基礎(chǔ)，構(gòu)建判別網(wǎng)絡(luò)，網(wǎng)絡(luò)具體結(jié)構(gòu)見下表。

如表1 所示，網(wǎng)絡(luò)由輸入層，2 個隱藏層及輸出層組成。其中，輸入層大小為輸入序列長度，輸出層結(jié)果經(jīng)過 Sigmoid函數(shù)映射為0～1 之間的值，表示當(dāng)前輸入為真實數(shù)據(jù)的置信度，值越接近1，表示當(dāng)前輸入值為真實數(shù)據(jù)的可能性越高；反之，輸入數(shù)據(jù)為生成網(wǎng)絡(luò)預(yù)測值的可能性越高。

表1 判別網(wǎng)絡(luò)結(jié)構(gòu)

3 實驗驗證

選用某公開納斯達(dá)克指數(shù)數(shù)據(jù)集nasdaq100作為測試數(shù)據(jù)集，并選擇數(shù)據(jù)集中的“AAL”參數(shù)作為預(yù)測指標(biāo)，將本文算法與DA-RNN 算法進(jìn)行對比，對本文算法的有效性和準(zhǔn)確性進(jìn)行評估。測試平臺配置如表2 所示，數(shù)據(jù)集的特征數(shù)量為83，時間點數(shù)為40 561 個。

表2 測試平臺配置

3.1 網(wǎng)絡(luò)運行時間測試

針對1.1 節(jié)中利用GRU 網(wǎng)絡(luò)單元替換LSTM網(wǎng)絡(luò)單元，從而實現(xiàn)降低網(wǎng)絡(luò)復(fù)雜度，提升網(wǎng)絡(luò)運行速度的優(yōu)化目標(biāo)進(jìn)行測試，分別選用滑動窗口序列長度T=10和T=50對網(wǎng)絡(luò)運行速度進(jìn)行測試，迭代輪次 (epochs)值均為50，在不同的測試輪次中，算法時間消耗時間t如圖3 及圖4 所示。

圖3 輸入序列長度為10 時網(wǎng)絡(luò)運行時間對比

圖4 輸入序列長度為50 時網(wǎng)絡(luò)運行時間對比

當(dāng)T=10時，使用GRU 單元和使用LSTM 單元在運行時間上差距較小，約為1 000 ms；當(dāng)T=50時，二者之間差距擴(kuò)大到約5 000 ms。由此可見，隨著輸入序列長度的增加，利用GRU 單元替換LSTM 單元可以有效提升網(wǎng)絡(luò)運行速度。

3.2 預(yù)測精度對比

本文選擇數(shù)據(jù)集中“AAL”參數(shù)作為目標(biāo)序列，使用sklearn 庫中的MinMaxScaler 方法對數(shù)據(jù)集進(jìn)行歸一化預(yù)處理，使用MSE 作為預(yù)測結(jié)果衡量標(biāo)準(zhǔn)，分別對本文算法及DA-RNN 算法進(jìn)行測試，具體模型配置如表3 所示。

表3 實驗?zāi)Ｐ团渲脜?shù)

本文算法與DA-RNN 算法對于“AAL”序列預(yù)測結(jié)果分別如圖5 和圖6 所示。

圖5 本文算法預(yù)測結(jié)果

圖6 DA-RNN 算法預(yù)測結(jié)果

由圖6 可以發(fā)現(xiàn)，DA-RNN 網(wǎng)絡(luò)在預(yù)測過程中存在較為明顯的累積誤差，隨著預(yù)測時間的增長，網(wǎng)絡(luò)的預(yù)測誤差明顯增大。而對比圖5，本文提出的基于GAN 網(wǎng)絡(luò)的時間序列預(yù)測算法則基本能消除累積誤差對網(wǎng)絡(luò)預(yù)測結(jié)果的影響。由此可見，本文算法明顯優(yōu)于DA-RNN 算法，原因在于RNN 網(wǎng)絡(luò)在預(yù)測某一時刻值y?t時，前一時刻預(yù)測值y?t-1也會參與到其中，隨著序列的增長，累積誤差會越來越大，導(dǎo)致預(yù)測精度越來越低；本文結(jié)合GAN 網(wǎng)絡(luò)，利用GAN 網(wǎng)絡(luò)的判別器作為正則項來消除生成網(wǎng)絡(luò)中的累積誤差，并采用分位數(shù)損失作為網(wǎng)絡(luò)優(yōu)化目標(biāo)，力求探索目標(biāo)序列的完整分布，提高預(yù)測精度。2 種算法預(yù)測結(jié)果的MSE 損失LMSE如表4 所示。

表4 預(yù)測結(jié)果誤差統(tǒng)計

4 結(jié)論

本文提出了一種基于GAN 網(wǎng)絡(luò)的時間序列預(yù)測算法，主要包括：

1)結(jié)合DA-RNN 網(wǎng)絡(luò)與GAN 網(wǎng)絡(luò)，利用判別器網(wǎng)絡(luò)消除預(yù)測過程中的累積誤差，并增強(qiáng)網(wǎng)絡(luò)對非正態(tài)分布數(shù)據(jù)的預(yù)測精度；

2)采用多維注意力機(jī)制對DA-RNN 網(wǎng)絡(luò)進(jìn)行改進(jìn)，并根據(jù)預(yù)測過程中僅有少量歷史數(shù)據(jù)與當(dāng)前時刻預(yù)測結(jié)果關(guān)聯(lián)程度較高的特性，采用α-entmax稀疏映射函數(shù)改進(jìn)多維注意力模型；

本文通過公開數(shù)據(jù)集進(jìn)行實驗測試，驗證了算法的有效性。在后續(xù)的研究中，考慮將本文算法應(yīng)用于實時數(shù)據(jù)預(yù)測，并將其應(yīng)用到如異常檢測等方面。