黃艷國(guó)，周陳聰，左可飛

(江西理工大學(xué) 電氣工程與自動(dòng)化學(xué)院, 江西 贛州 341000)

0 引言

近年來(lái)，高速公路的擁堵問題日益嚴(yán)重，隨著社會(huì)車輛保有量的增加也逐漸暴露出道路基礎(chǔ)設(shè)施不足的問題，而公路基建的資源瓶頸也影響著交通運(yùn)輸?shù)陌踩凸芾怼榱藢?duì)有限的高速公路資源進(jìn)行最優(yōu)的合理調(diào)度，道路的交通流預(yù)測(cè)成為了高速路資源分配十分重要的技術(shù)領(lǐng)域，對(duì)緩解高速路的擁堵起著至關(guān)重要的作用[1-2]。

隨著科技的發(fā)展，國(guó)內(nèi)外相關(guān)學(xué)者對(duì)公路交通流的預(yù)測(cè)手段也從傳統(tǒng)的基于參數(shù)預(yù)測(cè)轉(zhuǎn)變?yōu)楫?dāng)下流行的非參數(shù)預(yù)測(cè)。前者主要以數(shù)理統(tǒng)計(jì)和微積分等傳統(tǒng)數(shù)學(xué)和物理方法為基礎(chǔ)的預(yù)測(cè)模型，后者則以現(xiàn)代科學(xué)技術(shù)和方法(如神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)、大數(shù)據(jù))為主要研究手段而形成的預(yù)測(cè)模型[3]。然而，由于參數(shù)模型適用的局限性且預(yù)測(cè)精確度的有限性，在一定程度上難以滿足交通流非線性特征的需求[4-5]，因此考慮交通流非線性特征的預(yù)測(cè)模型也隨之出現(xiàn)。對(duì)非參數(shù)模型來(lái)說(shuō)，主要分為淺層機(jī)器學(xué)習(xí)模型和深度學(xué)習(xí)模型。第1類主要是支持向量回歸(Support Vector Regression，SVR)等淺層模型[6-8]。第2類為長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(Long Short-term Memory，LSTM)為代表的循環(huán)神經(jīng)網(wǎng)絡(luò)模型。其中，由于SVR模型對(duì)核的選取比較敏感及大量的參數(shù)需求，存在一定的局限性。同時(shí)淺層的機(jī)器學(xué)習(xí)模型結(jié)構(gòu)簡(jiǎn)單，在處理大規(guī)模的交通流數(shù)據(jù)時(shí)會(huì)遇到結(jié)構(gòu)瓶頸，難以適應(yīng)大數(shù)據(jù)的車流量信息。而深度學(xué)習(xí)憑借著計(jì)算機(jī)技術(shù)發(fā)展和海量的車流量數(shù)據(jù)，逐漸被學(xué)者將其應(yīng)用到預(yù)測(cè)領(lǐng)域并在試驗(yàn)研究中取得不錯(cuò)的效果。如王祥雪等[9]將LSTM模型用于交通流預(yù)測(cè)，其試驗(yàn)預(yù)測(cè)結(jié)果顯示LSTM模型比傳統(tǒng)的RNN模型在其數(shù)據(jù)集上的評(píng)價(jià)指標(biāo)MAE和RMSE分別有所下降。Fu等[10]首次將門控循環(huán)單元(GRU)應(yīng)用于交通流預(yù)測(cè)，也取得了不錯(cuò)的預(yù)測(cè)效果。Lü等[11]考慮了交通流空間上的相關(guān)性，提出了堆疊式自編碼器(Stacked Autoencoder，SAE)模型。雖然上述深度模型的試驗(yàn)預(yù)測(cè)效果很好，但在實(shí)際應(yīng)用中，模型存在的一些缺陷也隨之出現(xiàn)。比如LSTM網(wǎng)絡(luò)模型本身無(wú)法捕捉數(shù)據(jù)的空間特征，SAE模型沒有考慮時(shí)序上的影響。研究學(xué)者也針對(duì)模型的缺陷進(jìn)行了相應(yīng)的改進(jìn)與完善，增加神經(jīng)網(wǎng)絡(luò)深度是提高整體性能的有效方法[12]。Sagheer等[13]提出了一種深度長(zhǎng)短期記憶網(wǎng)絡(luò)(Deep LSTM)結(jié)構(gòu)進(jìn)行時(shí)間序列預(yù)測(cè)，可以更高效地表示長(zhǎng)間隔時(shí)間序列數(shù)據(jù)的復(fù)雜特征，并采用遺傳算法優(yōu)化參數(shù)。由于遺傳算法本身存在收斂速度慢及局部搜索能力不足的特點(diǎn)，導(dǎo)致模型訓(xùn)練存在不穩(wěn)定性。而Liu等[14]提出了一個(gè)新的優(yōu)化算法RAdam，根據(jù)方差分散度，動(dòng)態(tài)地打開或關(guān)閉自適應(yīng)學(xué)習(xí)率，既能保證收斂速度快，也不容易掉入局部最優(yōu)解。針對(duì)交通流時(shí)間序列而言，其周期性、空間和時(shí)間相關(guān)性都對(duì)下一步的預(yù)測(cè)效果產(chǎn)生直接的影響，進(jìn)一步影響到模型預(yù)測(cè)的準(zhǔn)確度[15-17]。因此，如何綜合地提取交通流序列的特征信息是基于深度學(xué)習(xí)的組合模型亟需解決的關(guān)鍵問題。

為了較為全面地提取交通流特性，本研究根據(jù)現(xiàn)有交通流預(yù)測(cè)方法存在的不足和最優(yōu)化算法領(lǐng)域的研究成果，提出一種以自動(dòng)編碼器和長(zhǎng)短期記憶循環(huán)網(wǎng)絡(luò)為結(jié)構(gòu)基礎(chǔ)的交通流預(yù)測(cè)算法。該算法通過(guò)引入深層LSTM模型來(lái)獲取交通流時(shí)間序列潛在的周期性和和時(shí)空性特征，利用AE模型作為底層框架，對(duì)捕獲的特征信息在空間維度上進(jìn)行解析和重建，進(jìn)一步增強(qiáng)對(duì)交通流數(shù)據(jù)的時(shí)間和空間相關(guān)性能力，并結(jié)合RAdam算法對(duì)組合模型進(jìn)行全局的優(yōu)化訓(xùn)練，達(dá)到更高預(yù)測(cè)精確度的目的。

1 DLSTM-AE組合模型的構(gòu)建

1.1 時(shí)間相關(guān)性信息提取

LSTM模型是遞歸神經(jīng)網(wǎng)絡(luò)(RNN)的一種特殊網(wǎng)絡(luò)架構(gòu)[18]，其核心關(guān)鍵在于提出了細(xì)胞狀態(tài)和門機(jī)制概念，在一定程度上解決了RNN模型梯度消失問題。但對(duì)復(fù)雜的時(shí)間序列數(shù)據(jù)而言，深層RNN模型與淺層RNN模型相比，可以更好地表達(dá)高維度的非線性和長(zhǎng)間隔時(shí)間特征，能充分學(xué)習(xí)到時(shí)間序列數(shù)據(jù)更深層的關(guān)聯(lián)信息。Deep LSTM(DLSTM)是標(biāo)準(zhǔn)LSTM模型的一種堆疊形式，屬于深層循環(huán)神經(jīng)網(wǎng)絡(luò)。每個(gè)LSTM塊都具有多個(gè)LSTM單元，每個(gè)單元和下一個(gè)LSTM塊的對(duì)應(yīng)單元存在前饋連接[10,19]。同時(shí)，每個(gè)塊都在進(jìn)行不同時(shí)間尺度的訓(xùn)練。這種架構(gòu)在進(jìn)行反向傳播時(shí)可以全局調(diào)整各個(gè)塊的參數(shù)，對(duì)復(fù)雜的交通流時(shí)序具有較高的非線性擬合能力[20]。

1.2 空間相關(guān)性信息提取

自編碼器網(wǎng)絡(luò)是一個(gè)簡(jiǎn)單的3層神經(jīng)網(wǎng)絡(luò)，由輸入層、隱藏層和輸出層依次排列連接，其欠完備自編碼器結(jié)構(gòu)如圖1所示。AE作為生成模型，每層訓(xùn)練都采用無(wú)監(jiān)督學(xué)習(xí)算法，其訓(xùn)練過(guò)程由Encoder和Decoder 2個(gè)階段組成。交通流數(shù)據(jù)經(jīng)過(guò)Encoder映射到隱藏層。在該階段，生成模型會(huì)將輸入數(shù)據(jù)進(jìn)行壓縮表示，進(jìn)行降維，捕獲輸入的深層特征。再通過(guò)Decoder，對(duì)原始數(shù)據(jù)進(jìn)行重建，生成與輸入數(shù)據(jù)對(duì)應(yīng)的編碼格式。

圖1 欠完備自編碼器結(jié)構(gòu)圖(n∈R,j∈R,m

給定1個(gè)未標(biāo)記的交通流輸入數(shù)據(jù)集Xn∈Rm(n=1，2，3，…，N);m,N∈R。AE 2個(gè)階段用公式表示為：

H(x)=f(U1x+b1)，

(1)

(2)

1.3 基于DLSTM-AE組合模型的預(yù)測(cè)

本研究提出了一種新架構(gòu)作為自編碼器原始架構(gòu)的變體，使其能夠從時(shí)間序列問題中提取特征。特別是，本研究將原始AE架構(gòu)從前饋神經(jīng)網(wǎng)絡(luò)基礎(chǔ)更改為DLSTM循環(huán)網(wǎng)絡(luò)基礎(chǔ) (如圖2所示)，并將其表示為基于DLSTM的自動(dòng)編碼器(DLSTM-AE)。DLSTM-AE依賴于循環(huán)神經(jīng)網(wǎng)絡(luò)，更適合對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行建模[14]。DLSTM-AE模型的結(jié)構(gòu)如圖2所示。

圖2 DLSTM-AE模型的架構(gòu)Fig.2 Architecture of DLSTM-AE model

DLSTM-AE模型的預(yù)測(cè)步驟如下：

步驟1 對(duì)原始數(shù)據(jù)進(jìn)行歸一化，再根據(jù)預(yù)測(cè)目標(biāo)的間隔時(shí)間重新劃分成新的訓(xùn)練集和測(cè)試集。

步驟2 隨機(jī)初始化DLSTM-AE模型中的參數(shù)W和b，將訓(xùn)練集數(shù)據(jù)Xt(x1,x2,x3,…,xn),n∈R送入Encoder模塊，通過(guò)DLSTM模型讀取輸入數(shù)據(jù)并將其編碼為學(xué)習(xí)到的表示向量(h1,h2,h3,…,hm,m

步驟6 在訓(xùn)練網(wǎng)絡(luò)，調(diào)整參數(shù)階段，考慮訓(xùn)練期間的變化和動(dòng)量的影響，選擇RAdam優(yōu)化器對(duì)涉及的權(quán)重進(jìn)行迭代更新。

步驟7 訓(xùn)練模型之后，經(jīng)測(cè)試集得出最終的預(yù)測(cè)序列Y={Yt-(k-1),Yt-(k-2),Yt-(k-3),…,Yt}，Yt為模型在t時(shí)刻的預(yù)測(cè)值，Y為模型在t時(shí)刻的預(yù)測(cè)序列。

2 基于RAdam的模型優(yōu)化算法

在以往的模型訓(xùn)練過(guò)程中，大多數(shù)采用Adam算法進(jìn)行參數(shù)優(yōu)化。由于Adam優(yōu)化器在訓(xùn)練初期二階矩的方差會(huì)非常大，而二階矩指數(shù)Vt與優(yōu)化器的更新梯度方向有關(guān)，因此Adam參數(shù)更新量的方差也會(huì)很大，容易導(dǎo)致在尋找最優(yōu)解過(guò)程中收斂到局部最優(yōu)?；贏dam改進(jìn)的Radam優(yōu)化器的算法優(yōu)勢(shì)在于使用warmup的方法進(jìn)行初期預(yù)熱，即在訓(xùn)練開始階段，由隨機(jī)梯度下降SGD和動(dòng)量Momentum進(jìn)行預(yù)熱，縮小方差。以達(dá)到模型更高預(yù)測(cè)精度的同時(shí)提高訓(xùn)練的時(shí)效性。RAdam算法步驟描述如表1所示。

表1 RAdam算法步驟Tab.1 Steps of Radam algorithm

當(dāng)樣本批量batch-size大小為256，迭代次數(shù)epochs大小為600，滑動(dòng)窗口lag為12，Encoder-LSTM層數(shù)為3，Decoder-LSTM層數(shù)為3，LSTM塊隱藏神經(jīng)元個(gè)數(shù)為32，激活函數(shù)為ReLU時(shí)，在訓(xùn)練集上的損失函數(shù)表現(xiàn)如圖3所示。

由圖3可知，在損失函數(shù)在訓(xùn)練集和驗(yàn)證集的測(cè)試中，與Adam優(yōu)化器比較，RAdam對(duì)學(xué)習(xí)率變化具有良好的時(shí)效性和魯棒性。

圖3 RAdam 和Adam分別在訓(xùn)練集和驗(yàn)證集上的損失函數(shù)Fig.3 RAdam and Adam in training set and verification set respectively注：圖中驗(yàn)證集的損失函數(shù)為執(zhí)行驗(yàn)證集劃分validation_split=0.05后的損失值。

3 仿真結(jié)果與分析

3.1 試驗(yàn)環(huán)境與數(shù)據(jù)來(lái)源

本研究試驗(yàn)基于TensorFlow中的Keras神經(jīng)網(wǎng)絡(luò)庫(kù)，在PyCharm開發(fā)環(huán)境(Windows10專業(yè)版，CPU為2.3 GHz，4核，Inter(R) Core(TM) i5-6300HQ，16GB內(nèi)存)中完成模型的搭建及訓(xùn)練。選取的數(shù)據(jù)集來(lái)自美國(guó)加利福尼亞州運(yùn)輸部交通流數(shù)據(jù)集(Performance Measurement System, PeMS)，其數(shù)據(jù)是從跨越加利福尼亞州所有主要大都市區(qū)的高速公路的各個(gè)探測(cè)器實(shí)時(shí)收集。通過(guò)篩選掉那些節(jié)點(diǎn)間距小于5.6 km的檢測(cè)器，用線性插值法填充缺失值并將輸入數(shù)據(jù)歸一化至[0, 1]區(qū)間。進(jìn)行預(yù)處理后的數(shù)據(jù)集包含12 096組數(shù)據(jù)，其中訓(xùn)練集包含7 777組數(shù)據(jù)，測(cè)試集包含4 321組數(shù)據(jù)。時(shí)間范圍從2016年1月4日至2016年3月31日，每組數(shù)據(jù)的時(shí)間間隔為5 min。

3.2 評(píng)價(jià)指標(biāo)

在試驗(yàn)過(guò)程中，為了科學(xué)評(píng)估DLSTM-AE組合模型的性能，選用均方根誤差RMSE、平均絕對(duì)誤差MAE和相關(guān)系數(shù)R2作為模型的評(píng)價(jià)指標(biāo)。

(3)

(4)

(5)

3.3 模型參數(shù)設(shè)置

經(jīng)多次模型訓(xùn)練調(diào)試后，最終確定模型參數(shù) batch-size為256，epoch為600次，時(shí)間步長(zhǎng)為12，激活函數(shù)選擇ReLU，Encoder解析后的表示向量長(zhǎng)度m和Decoder重構(gòu)后的狀態(tài)向量長(zhǎng)度j均為6，并且將validation-split設(shè)置為0.05。

3.4 基于交通流時(shí)空性的預(yù)測(cè)結(jié)果對(duì)比分析

為了驗(yàn)證所提出模型的有效性，選取一些基準(zhǔn)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型作為對(duì)照組，而本研究提出的模型設(shè)置為試驗(yàn)組，通過(guò)試驗(yàn)驗(yàn)證進(jìn)行對(duì)比分析。試驗(yàn)數(shù)據(jù)仍來(lái)源于PeMS數(shù)據(jù)集中，該數(shù)據(jù)的測(cè)試集時(shí)間間隔為5 min。其中對(duì)照組的試驗(yàn)?zāi)Ｐ头謩e為門控循環(huán)單元模型(GRU)、長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)模型(LSTM)、雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)模型(BiLSTM)和堆疊式自編碼網(wǎng)絡(luò)模型(SAEs)。就試驗(yàn)預(yù)測(cè)模型的優(yōu)化器而言，試驗(yàn)組選擇RAdam優(yōu)化器，對(duì)照組選擇RMSprop優(yōu)化器。根據(jù)試驗(yàn)組所測(cè)試的各項(xiàng)參數(shù)結(jié)果，對(duì)照組與試驗(yàn)組的訓(xùn)練參數(shù)保持一致。各試驗(yàn)?zāi)Ｐ驮谠摂?shù)據(jù)集上的評(píng)估指標(biāo)如表2所示。

表2 基于PeMS數(shù)據(jù)集的預(yù)測(cè)結(jié)果Tab.2 Evaluation result based on PeMS dataset

從表中可知，DLSTM-AE模型在PeMS數(shù)據(jù)集上的平均預(yù)測(cè)RMSE、MAE值均小于對(duì)照組模型，R2值均大于對(duì)照組模型，訓(xùn)練時(shí)間與GRU模型接近。相比對(duì)照組，試驗(yàn)組的RMSE值下降了約0.445～1.826，MAE值下降了約0.282～0.984，R2值提高了約0.005～0.023。而在訓(xùn)練時(shí)間上，SAEs模型雖用時(shí)最短，其原因在于采用自下而上逐層的非監(jiān)督預(yù)訓(xùn)練，減少了反向傳播的時(shí)間。但其RMSE和MAE值相比較與試驗(yàn)組分別高出約9.70%與10.43%，R2值降低約1.16%。

試驗(yàn)結(jié)果表明，本研究提出的DLSTM-AE組合模型結(jié)合了循環(huán)記憶網(wǎng)絡(luò)的預(yù)測(cè)精確度和自編碼器的時(shí)效性，在PeMS數(shù)據(jù)集上的預(yù)測(cè)表現(xiàn)最優(yōu)。

3.5 基于交通流周期性的預(yù)測(cè)結(jié)果對(duì)比分析

為了進(jìn)一步分析交通流的周期性和時(shí)空特性，基于PeMS數(shù)據(jù)集，分別對(duì)2016年3月的2周內(nèi)多個(gè)特定的工作日(星期一、星期三、星期五)進(jìn)行預(yù)測(cè)，以更好地評(píng)估組合模型的預(yù)測(cè)性能。DLSTM-AE模型與對(duì)照組模型的預(yù)測(cè)結(jié)果如表3和表4所示。

由表3和表4可知，從相鄰周的多個(gè)特定工作日來(lái)看，DLSTM-AE模型隨著預(yù)測(cè)步長(zhǎng)增加在評(píng)估指標(biāo)RMSE和MAE值也逐漸上升，R2緩慢下降。表明預(yù)測(cè)時(shí)間的長(zhǎng)短對(duì)模型性能有較大的影響。但相比較于對(duì)照組模型的試驗(yàn)數(shù)據(jù)，DLSTM-AE組合模型的性能評(píng)價(jià)指標(biāo)更具有中心化，模型泛化能力更強(qiáng)。對(duì)于試驗(yàn)?zāi)Ｐ图軜?gòu)來(lái)說(shuō)，DLSTM-AE組合模型對(duì)預(yù)測(cè)時(shí)間步長(zhǎng)的增加導(dǎo)致模型誤差積累的趨勢(shì)具有減緩效果，彌補(bǔ)了單一模型在長(zhǎng)時(shí)間預(yù)測(cè)能力上的不足。

表3 DLSTM-AE模型與對(duì)照組模型在第k周下的預(yù)測(cè)結(jié)果Tab.3 Prediction result of DLSTM-AE model and control model in kth week

表4 DLSTM-AE模型與對(duì)照組模型在第k+1周下的預(yù)測(cè)結(jié)果Tab.4 Prediction result of DLSTM-AE model and control model in (k+1)th week

DLSTM-AE組合模型與對(duì)照組模型在特定工作日下早高峰時(shí)間段的車流量預(yù)測(cè)結(jié)果如圖4所示。

圖4 試驗(yàn)?zāi)Ｐ驮诙鄠€(gè)特定工作日下的預(yù)測(cè)結(jié)果Fig.4 prediction result of experimental model in multiple specific working days

由圖4可知，通過(guò)對(duì)比2幅圖的曲線擬合結(jié)果，DLSTM-AE模型在實(shí)際交通流周期性和時(shí)空性的預(yù)測(cè)數(shù)據(jù)更加貼合真實(shí)數(shù)據(jù)。當(dāng)車流量處于高峰時(shí)，交通流量處于快速突變狀態(tài)，會(huì)增加交通流預(yù)測(cè)的難度，但DLSTM-AE模型對(duì)比對(duì)照組模型可以較好地追蹤真實(shí)交通流量，較少出現(xiàn)異常的預(yù)測(cè)值。當(dāng)車流量處于急劇變化的周期內(nèi)，會(huì)造成模型預(yù)測(cè)值的精確度下降，而DLSTM-AE模型在此周期結(jié)束的下一刻仍準(zhǔn)確預(yù)測(cè)交通流的變化趨勢(shì)。

4 結(jié)論

本研究將對(duì)交通流時(shí)序數(shù)據(jù)的時(shí)間維上具有良好擬合效果的DLSTM模型與對(duì)空間維上具有優(yōu)勢(shì)的AE模型進(jìn)行組合，充分挖掘了交通流的時(shí)空信息。利用RAdam優(yōu)化算法解決深層循環(huán)神經(jīng)網(wǎng)絡(luò)的梯度退化問題，從而提高了交通流量預(yù)測(cè)的準(zhǔn)確率。通過(guò)仿真試驗(yàn)，對(duì)比常用的LSTM，BiLSTM，GRU和SAEs預(yù)測(cè)模型，對(duì)多個(gè)特定工作日的交通流進(jìn)行了預(yù)測(cè)。本研究提出的組合模型在預(yù)測(cè)精確度和時(shí)效性上均有較好的表現(xiàn)。在相鄰周對(duì)應(yīng)工作日的預(yù)測(cè)結(jié)果來(lái)看，DLSTM-AE組合模型的預(yù)測(cè)誤差更小，時(shí)效性更強(qiáng)，這對(duì)城市道路的管理具有重大意義。在后續(xù)的工作中，應(yīng)考慮天氣等其他因素的影響，同時(shí)模型的實(shí)際應(yīng)用價(jià)值也值得進(jìn)一步研究。