關(guān)鍵詞：交通流預(yù)測;深度學(xué)習(xí);長短期記憶網(wǎng)絡(luò);Transformer;圖卷積網(wǎng)絡(luò)

中圖分類號：TP399 文獻(xiàn)標(biāo)志碼：A

0 引言（Introduction）

隨著我國城市交通擁堵問題愈發(fā)嚴(yán)重，建設(shè)智能交通系統(tǒng)已成為提高路網(wǎng)通行效率，緩解交通擁堵問題的重要手段[1]。實(shí)時、準(zhǔn)確的交通流預(yù)測不僅能為交通信號控制提供必要的信息支撐，還能輔助規(guī)劃最優(yōu)出行路線以充分利用路網(wǎng)的承載能力，是智能交通系統(tǒng)的重要組成部分。

近年來，基于深度學(xué)習(xí)的交通流預(yù)測方法表現(xiàn)出了十分優(yōu)秀的性能[2]。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）、圖卷積網(wǎng)絡(luò)（Graph Convolutional Network，GCN）和循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）已被廣泛應(yīng)用于交通流預(yù)測領(lǐng)域[3-5]。

然而，現(xiàn)有深度學(xué)習(xí)方法在提取多維空間特征、同時建模短期和長期時間依賴關(guān)系方面存在一定的局限性，并且多數(shù)研究人員僅使用預(yù)測精度作為模型的評價指標(biāo)，忽略了模型復(fù)雜度對模型實(shí)時響應(yīng)能力的影響。針對上述問題，本文提出了一種基于時間信息增強(qiáng)Transformer的短時交通流預(yù)測模型（TIE-Trans），在進(jìn)一步提高對時空特征提取能力的同時，有效地抑制了模型復(fù)雜度的增長。

1 相關(guān)工作（Related work）

以往的交通流預(yù)測方法大致可分為參數(shù)方法、機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法3類。其中，參數(shù)方法和機(jī)器學(xué)習(xí)方法的提出時間較早，現(xiàn)有的研究一般將其與深度學(xué)習(xí)方法結(jié)合使用。

例如，MA等[6]利用K均值算法對包含不同交通流量模式的數(shù)據(jù)進(jìn)行分組，再利用深度學(xué)習(xí)方法對每組數(shù)據(jù)分別建立預(yù)測模型，避免了包含不同交通流量模式的數(shù)據(jù)之間相互干擾。游茜[7]同時使用稀疏自動編碼器和LSTM 捕獲交通流數(shù)據(jù)中的時間相關(guān)性，并使用注意力機(jī)制進(jìn)一步改善預(yù)測模型的性能。

近年來，深度學(xué)習(xí)方法是交通流預(yù)測領(lǐng)域的重點(diǎn)研究內(nèi)容。LI等[8]提出了一種基于小波分解、CNN和LSTM（Longshort-term memory network， LSTM）的模型用于高速公路流量預(yù)測。為了提高長時預(yù)測的精度，該模型首先利用小波分解將原始交通流數(shù)據(jù)分解為高頻數(shù)據(jù)和低頻數(shù)據(jù)，再分別使用CNN-LSTM模塊捕獲時空特征。ZHENG等[9]設(shè)計(jì)了一個包含注意力機(jī)制的conv-LSTM 模型以增強(qiáng)捕獲時間特征的能力。該模型還使用了多組深度神經(jīng)網(wǎng)絡(luò)分別捕獲近期數(shù)據(jù)、日周期數(shù)據(jù)和周周期數(shù)據(jù)的時空特征，有效地提高了預(yù)測精度。YAN等[10]重新設(shè)計(jì)了Transformer模型中編碼器、解碼器的結(jié)構(gòu)以捕獲全局和局部的空間相關(guān)性，解決了原始Transformer模型無法直接處理鄰接矩陣的問題。GUO等[11]將動態(tài)GCN模塊嵌入至Transformer模型內(nèi)部，以動態(tài)方式對空間相關(guān)性進(jìn)行建模。該模型還對Transformer中的多頭自注意力機(jī)制進(jìn)行了優(yōu)化，解決了傳統(tǒng)多頭自注意力在數(shù)值數(shù)據(jù)預(yù)測中局部趨勢不可知的問題。CHEN等[12]同時使用預(yù)測解碼器和回憶解碼器構(gòu)建了一個雙向Transformer模型，利用回憶解碼器執(zhí)行“現(xiàn)在-過去”的學(xué)習(xí)任務(wù)，為預(yù)測任務(wù)提供輔助信息。

3 模型結(jié)構(gòu)（Model structure）

為了更有效地建模交通流量中的時空特征和周期性特征，本文提出了一種基于時間信息增強(qiáng)Transformer的短時交通流預(yù)測模型（TIE-Trans），其整體框架如圖1所示。在TIETrans模型中，輸入的流量數(shù)據(jù)會被預(yù)先分為“近期數(shù)據(jù)”“日周期數(shù)據(jù)”“周周期數(shù)據(jù)”3組。與此相對應(yīng)的是，模型也包含一個近期數(shù)據(jù)特征提取模塊和兩個周期性數(shù)據(jù)特征提取模塊。近期數(shù)據(jù)特征提取模塊由一個多圖卷積層和一個LSTMTrans層組成，能夠有效地建模多個維度的空間相關(guān)性和不同距離上的時間依賴關(guān)系。周期性數(shù)據(jù)特征提取模塊由CNN和LSTM網(wǎng)絡(luò)組成，它不僅能夠捕獲交通流量的周期性變化規(guī)律，用于修正由近期數(shù)據(jù)得到的預(yù)測值，還具有較低的時間復(fù)雜度，保證預(yù)測模型的響應(yīng)速度。使用3個可訓(xùn)練的權(quán)重矩陣將上述3個模塊的輸出進(jìn)行加權(quán)融合，即可得到最終的預(yù)測結(jié)果。

3.1 近期數(shù)據(jù)特征提取模塊

3.1.1 多圖卷積層

由于以RNN為代表的時序預(yù)測模型無法有效地捕獲節(jié)點(diǎn)間的空間依賴關(guān)系，因此需要使用CNN、GCN等神經(jīng)網(wǎng)絡(luò)與時序預(yù)測模型聯(lián)合提取時空特征。然而，CNN最初是一種用于處理圖像數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)，只能處理規(guī)則的歐式數(shù)據(jù)，如圖2（a）所示。與CNN相比，GCN可以通過鄰接矩陣表示不規(guī)則的路網(wǎng)空間結(jié)構(gòu)，如圖2（b）所示，在交通流預(yù)測任務(wù)中更具優(yōu)勢。值得注意的是，原始的GCN通常是基于拓?fù)鋱D或距離圖來構(gòu)建鄰接矩陣，這種單一的圖結(jié)構(gòu)很難充分描述不同交通節(jié)點(diǎn)間的空間依賴關(guān)系[13]。為了捕獲更深層次的空間依賴關(guān)系，本研究設(shè)計(jì)了一個流量相似性圖，并與距離圖一同組成多圖卷積網(wǎng)絡(luò)。

3.2 周期性數(shù)據(jù)特征提取模塊

通常情況下，人類活動具有一定的規(guī)律性，這使得每日或每周的交通流量模式會呈現(xiàn)出明顯的周期性變化，如圖5所示，交通流量具有“日周期”和“周周期”變化規(guī)律[15]。然而，交通流預(yù)測模型輸入數(shù)據(jù)的時間跨度一般不會超過2 h，這遠(yuǎn)遠(yuǎn)小于“日周期”和“周周期”的周期長度。如果直接將過去一周的交通流量數(shù)據(jù)一次性輸入預(yù)測模型中，不僅會使得模型的計(jì)算復(fù)雜度急劇增大，還會引入大量的無關(guān)數(shù)據(jù)，進(jìn)而對預(yù)測結(jié)果產(chǎn)生負(fù)面影響。

為了捕獲交通流量的周期性變化，一些研究人員將其設(shè)計(jì)的預(yù)測模型復(fù)制為3份，分別建?！敖跀?shù)據(jù)”“日周期數(shù)據(jù)”“周周期數(shù)據(jù)”的時空相關(guān)性。為了提高預(yù)測模型的響應(yīng)速度，本研究采用了一種更加輕量化的模型結(jié)構(gòu)。CNN是交通流預(yù)測領(lǐng)域中常用的神經(jīng)網(wǎng)絡(luò)之一，它使用一個固定形狀的卷積核以聚合不同交通節(jié)點(diǎn)間的空間信息。與多圖卷積網(wǎng)絡(luò)相比，CNN不需要實(shí)時計(jì)算流量相似性矩陣，時間復(fù)雜度明顯降低。因此，本研究使用兩層CNN和兩層LSTM 提取周期性數(shù)據(jù)的時空特征，并使用3個可訓(xùn)練的權(quán)重矩陣融合3個模塊的輸出結(jié)果。實(shí)驗(yàn)結(jié)果顯示，相較于使用3個GCN-LSTM-Trans模塊，本文采用的輕量化模型的訓(xùn)練時間僅為前者的37%，有效地抑制了模型復(fù)雜度的增長。

4 仿真實(shí)驗(yàn)（Simulation experiment）

4.1 數(shù)據(jù)集

為了評估本模型的真實(shí)性能，研究人員在PEMS04（Performance Measurement System Dataset 04）和PEMS08（Performance Measurement System Dataset 08）兩個公開數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。數(shù)據(jù)集由加利福尼亞州交通運(yùn)輸部提供，主要包含高速路網(wǎng)中的車流量、行駛速度、車道占用率等信息，數(shù)據(jù)的細(xì)粒度為5 min。其中，PEMS04數(shù)據(jù)集包含307個監(jiān)測點(diǎn)的交通數(shù)據(jù)，數(shù)據(jù)的時間跨度為2018年1月1日至2018年2月28日。PEMS08數(shù)據(jù)集包含170個監(jiān)測點(diǎn)的交通數(shù)據(jù)，數(shù)據(jù)的時間跨度為2016年7月1日至2016年8月31日。本研究使用歷史1 h的車流量數(shù)據(jù)預(yù)測未來1 h（細(xì)粒度為5 min時，共12步）的車流量數(shù)據(jù)。

4.2 基線模型

本研究選取了6個預(yù)測模型作為本工作中的基線模型，包括1個參數(shù)模型、2個基礎(chǔ)的深度學(xué)習(xí)模型及3個最新的深度學(xué)習(xí)模型。下文將對這些模型進(jìn)行簡要介紹并注明模型來源。

（1）ARIMA[16]：ARIMA模型是自回歸模型（AR）、微分過程（I）和移動平均模型（MA）的組合。ARIMA模型可以捕捉數(shù)據(jù)的變化趨勢，但很難捕捉非線性關(guān)系。

（2）LSTM[17]：LSTM是RNN的一個改進(jìn)版本，它通過引入門控機(jī)制緩解RNN難以捕獲長期時間依賴關(guān)系的問題。

（3）CNN-LSTM[18]：CNN是機(jī)器視覺領(lǐng)域中常用的模型之一，也可以用于聚合不同交通節(jié)點(diǎn)的空間信息。在此模型中，它與LSTM串行連接以聯(lián)合提取時空特征。

（4）ttnet[10]：ttnet是Transformer模型遷移到交通流預(yù)測領(lǐng)域后的版本，它對原始模型中的嵌入層和編碼-解碼器部分進(jìn)行了優(yōu)化。

（5）ASTGNN[11]：ASTGNN是Transformer的一個改進(jìn)版本，它將動態(tài)圖卷積網(wǎng)絡(luò)嵌入Transformer模型的內(nèi)部以捕獲時變的空間依賴關(guān)系。

（6）BI-STAT[12]：BI-STAT是一種雙向Transformer網(wǎng)絡(luò)，它利用回憶解碼器增強(qiáng)了模型捕獲上、下文信息的能力，并利用動態(tài)停止模塊降低了模型的計(jì)算復(fù)雜度。

4.3 實(shí)驗(yàn)設(shè)置

本研究首先按照6∶2∶2的比例將所有數(shù)據(jù)劃分為訓(xùn)練集、驗(yàn)證集和測試集。之后，對所有的輸入數(shù)據(jù)進(jìn)行0均值歸一化，并將其輸入預(yù)測模型中進(jìn)行訓(xùn)練。在訓(xùn)練過程中，模型會基于均方誤差（MSE）更新內(nèi)部參數(shù)。在測試階段，使用平均絕對誤差（MAE）、均方根誤差（RMSE）及平均絕對百分比誤差（MAPE）評估模型的預(yù)測精度。此外，本研究會記錄模型每輪次的訓(xùn)練時長，以評估模型的時間復(fù)雜度。

本模型基于Pytorch 深度學(xué)習(xí)框架構(gòu)建，并在一張RTX 3060上進(jìn)行訓(xùn)練。模型總計(jì)訓(xùn)練80輪，每輪訓(xùn)練后會立即進(jìn)行一輪驗(yàn)證以記錄模型性能。訓(xùn)練結(jié)束后，本研究再將驗(yàn)證過程中記錄的最佳的參數(shù)加載至模型中進(jìn)行測試。在訓(xùn)練過程中，將dropout設(shè)置為0.1，初始學(xué)習(xí)率設(shè)置為0.001，并且當(dāng)預(yù)測精度連續(xù)5輪沒有提升時，學(xué)習(xí)率會降低50%。具體的模型參數(shù)設(shè)置如表1所示。

4.4 實(shí)驗(yàn)結(jié)果及對比分析

將本模型與6個基線模型在PEMS08和PEMS04兩個數(shù)據(jù)集上進(jìn)行對比，對比內(nèi)容為未來15 min、30 min和60 min的預(yù)測精度，未來60 min內(nèi)的平均預(yù)測精度，以及模型的時間復(fù)雜度。表2至表4中，性能最佳的數(shù)據(jù)用加粗字體和下劃線標(biāo)記，性能次佳的數(shù)據(jù)用加粗字體標(biāo)記。

首先，TIE-Trans在不同數(shù)據(jù)集、不同預(yù)測時間步長上的RMSE指標(biāo)均優(yōu)于所有基線模型的RMSE指標(biāo)。對于MAE和MAPE指標(biāo)，TIE-Trans也與最新的基線模型處于同一性能水平。其次，相較于基線模型，TIE-Trans在PEMS04數(shù)據(jù)集上的性能提升幅度略高于在PEMS08數(shù)據(jù)集上的性能提升幅度。這表明本文模型在更大的區(qū)域內(nèi)捕獲更加復(fù)雜的時空相關(guān)性時，也具有良好的表現(xiàn)。此外，如表4所示，TIE-Trans在時間復(fù)雜度上的表現(xiàn)遠(yuǎn)勝于3個最新的基線模型的表現(xiàn)。與ttnet和ASTGNN 相比，TIE-Trans在預(yù)測精度上提高了約5%的同時，時間復(fù)雜度分別降低了18%和65%。與最優(yōu)的基線模型BI-STAT相比，TIE-Trans在預(yù)測精度上提高了約1%的同時，時間復(fù)雜度降低了87%。

為了更直觀地展示預(yù)測模型在不同預(yù)測時間步長上的性能，本研究在圖6中對比了所有預(yù)測模型的誤差變化趨勢。從圖6中可以看出，在預(yù)測時間步長較短時，各種深度學(xué)習(xí)模型的性能與ARIMA模型的性能差距不大，但隨著預(yù)測時間的不斷增加，ARIMA模型的誤差急劇提高。在深度學(xué)習(xí)模型中，CNN-LSTM模型的預(yù)測精度明顯高于LSTM 模型的預(yù)測精度，這表明引入空間信息對時間序列預(yù)測有著十分積極的影響。在中長期預(yù)測方面，TIE-Trans的預(yù)測誤差低于所有基線模型的預(yù)測誤差，并且誤差并未隨著預(yù)測時間的延長而明顯增加。這是因?yàn)槟Ｐ屠昧私煌髁康闹芷谛宰兓?guī)律對預(yù)測結(jié)果進(jìn)行了進(jìn)一步的修正。

5 結(jié)論（Conclusion）

本文提出了一種帶有短期時間信息增強(qiáng)的Transformer模型，用于解決傳統(tǒng)深度學(xué)習(xí)方法無法同時建模短期和長期時間相關(guān)性的問題。同時，基于距離圖和流量相似性圖構(gòu)建了一個多圖卷積網(wǎng)絡(luò)，提高了模型建模遠(yuǎn)距離空間相關(guān)性的能力。針對捕獲交通流的周期性特征可能導(dǎo)致模型復(fù)雜度急劇增大的問題，本文設(shè)計(jì)了一種輕量化的模型結(jié)構(gòu)提取、融合周期性特征，保證了預(yù)測模型的實(shí)時響應(yīng)能力。在兩個真實(shí)數(shù)據(jù)集上的仿真測試結(jié)果顯示，本文所提預(yù)測模型在預(yù)測精度和響應(yīng)速度上的綜合表現(xiàn)均優(yōu)于基線模型的綜合表現(xiàn)。這表明所設(shè)計(jì)的多圖卷積網(wǎng)絡(luò)與LSTM-Trans網(wǎng)絡(luò)在提取時空特征方面具有優(yōu)秀的性能。需要注意的是，在融合交通流的周期性特征方面，本研究使用了3個固定的權(quán)重矩陣融合近期、日周期和周周期數(shù)據(jù)的預(yù)測結(jié)果。未來的研究，將考慮實(shí)時計(jì)算近期流量數(shù)據(jù)與周期性流量數(shù)據(jù)之間的時空相關(guān)性，并據(jù)此對權(quán)重矩陣進(jìn)行動態(tài)調(diào)整以進(jìn)一步提高預(yù)測精度。

作者簡介：

張鳴劍（1998-），男，碩士生。研究領(lǐng)域：交通流量預(yù)測。

葉寶林（1984-），男，博士，副教授。研究領(lǐng)域：智能交通。

董睿（1985-），男，碩士，講師。研究領(lǐng)域：智能控制，嵌入式系統(tǒng)。

陳濱（1987-），男，博士，副教授。研究領(lǐng)域：智慧交通，圖像處理，深度學(xué)習(xí)。