趙萍， 李欣， 朱少武

(中國人民公安大學信息網絡安全學院， 北京 100038)

人們高度關注在日常出行中的人身安全與出行選擇問題。由于交通路況的復雜多變性，預測交通流量、擁堵，合理預判路況、規(guī)避突發(fā)事故等智能交通領域的問題成為研究的熱門方向。智能交通系統(tǒng)[1](intelligent traffic system, ITS)提出的道路科學管控模式為提升道路運輸效率提供了解決方案，并使高峰時段的擁堵情況得到一定改善。但是，現實生活中，交通由于受到突發(fā)的事故、早晚出行車流高峰等因素的影響，傳感器站收集的路況數據信息呈非線性，歷史路況以及當前車輛所處的地理位置和當前路況共同對道路預測問題發(fā)生作用。因此，對交通流量，車速和道路占用率等數據的空間時間相關性分析，并挖掘隱含的規(guī)律和模式特征成為交通預測領域研究發(fā)展的突破口。

在智能交通領域中對道路流量、擁塞、事故等路況預測相關問題的研究持續(xù)了幾十年。針對道路預測中的時間依賴特性，早期的文獻中利用統(tǒng)計學數學模型預測時間序列，基于當前的數據通過分析時間序列對未來交通流量做出預測，具有代表性的如Pitakrat等[2]提出的自回歸綜合移動模型(auto-regressive integrated moving average model, ARIMA)。該模型結構簡單，但是僅能捕捉穩(wěn)定的、線性關系數據中的規(guī)律。交通數據因容易受到外界突發(fā)事故或天氣等因素影響，呈現非穩(wěn)定性和復雜性，該模型對此處理效果欠佳。為了解決非線性交通數據的難點，曹潔等[3]提出基于小波和多維重構的BP(back propagation)神經網絡，針對原始數據剔除噪聲，改進原始BP神經網絡收斂速度慢，容易陷入局部極小值的缺陷并進一步提升了對非線性交通數據的擬合能力。朱永強等[4]采用遺傳算法優(yōu)化參數的最小二乘支持向量機處理復雜的交通數據，實現對道路交通流量的預測，該算法針對模型穩(wěn)定性問題進行改進優(yōu)化預測精度。Zhang等[5]利用K近鄰算法預測交通情況，將當前路況與已知相似路況對比實現預測。但機器學習模型效果依賴于大量特征工程，導致機器學習算法選擇的局限性，模型缺乏普適性。隨著深度學習的發(fā)展， Laptev 等[6]利用循環(huán)神經網絡(recurrent neural network, RNN)提取交通數據中的動態(tài)時間特性，以充分考慮歷史路況對當前路況的影響。為了避免RNN中的梯度爆炸等問題，Ma等[7]、Abbas等[8]利用深度長短時記憶神經網絡(long short-term memory, LSTM)捕獲非線性的交通動態(tài)數據中的時間特征。

前述模型著墨于通過道路的時間特性預測交通問題，對道路拓撲結構中空間特征的挖掘尚淺。針對道路網絡的空間特性，有研究利用貝葉斯模型對道路網空間特性進行建模[9]。進一步，Zhang等[10]利用卷積神經網絡(convolutional neural networks, CNN)能夠提取數據空間局部特征的優(yōu)勢，在大規(guī)模和高維度的數據集中對節(jié)點的空間特性進行建模。但卷積神經網絡適用于提取標準網格化數據的特征[11]。近來，圖拓撲結構被廣泛應用于模擬現實世界中的實體和它們之間的關系，以更好地獲取數據中的空間相關性[12]。部分研究把交通路網抽象成多個實體及其之間相互關系，以圖拓撲結構中的點表示實體，邊描述實體的相互關系，形成交通網絡中的道路圖；再將智能交通領域的道路擁塞和流量預測的研究熱點利用圖論的知識加以解決[13]。在此基礎上，結合圖論的方法能夠更有效地提取交通路網的空間特征，Aggarwal 等[14]利用隨機游走方法將圖的空間結構和內容結合進行節(jié)點分類;Güne等[15]利用遺傳算法對隨時間動態(tài)變化的圖的節(jié)點進行分類，提升了分類的效果;Li等[16]提出了一種路徑固定長度向量嵌入表示方法優(yōu)化該問題，對隨時間變化的路網圖中的路徑進行分類，即將研究節(jié)點分類問題拓展為路徑分類問題;Kipf等[17]基于通用的圖卷積神經網絡的模型框架，從譜域角度研究道路網絡交通預測問題；Cui等[12]利用圖卷積神經網絡對交通路網圖進行學習和預測，通過拉普拉斯矩陣在圖結構化的數據上實現卷積操作；Zhang等[18]在圖卷積神經網絡模型基礎上還結合Encoder-Decoder模型學習圖中邊及其上下游節(jié)點間的關系。此外，注意力機制在自然語言處理、計算機視覺等領域的成功表現使其在交通領域應用興起。Velikovi等[19]利用融合注意力機制的神經網絡對時間序列進行預測取得了顯著效果。

上述模型對于同時有效的提取交通圖拓撲數據中的空間、時間特性以及時空相關性仍有提升空間。將道路抽象成隨時間變化的圖，對圖中路徑依屬性分類以預測道路擁堵和事故等突發(fā)狀況的研究非常有限[20-21]。并且當前研究不夠全面依據節(jié)點受到時間、特殊地理位置等客觀因素不同，考慮到圖中的鄰節(jié)點對關鍵節(jié)點所帶來的不同影響。因此，合理建模動態(tài)變化的交通道路圖，以及對隨時間變化的道路圖中的節(jié)點特征進行表示學習，對節(jié)點連接形成的路徑分類，并在此基礎上，有效挖掘交通數據的空間和時間模式，仍然是高效準確預測道路的擁塞和事故導致的路況異常研究的難點。

現設計一種基于深度學習的道路擁堵和突發(fā)情況預測方法——時空圖注意力神經網絡模型(graph attention network-gated recurrent neural network, GRU-GAT)。通過該模型，充分考慮交通道路網絡中的時間和空間依賴性，以更準確的實現道路擁塞和異常的預測。圖注意力神經網絡能夠關注到交通數據空間特征同時學習到客觀因素導致的節(jié)點隱含特征的區(qū)別，通過綜合考量交通路網圖中節(jié)點的屬性特征，以及道路圖局部和全局拓撲結構特征，依據節(jié)點的鄰域特性為節(jié)點分配不同的權重；斟酌實體間影響程度的差異性，進一步優(yōu)化對圖中的節(jié)點的屬性表示，對道路情況進行分類。門控循環(huán)單元具有高效捕捉數據時間特征的能力以及避免循環(huán)神經網絡梯度爆炸問題的優(yōu)勢，針對道路預測中一系列時序信息中的內在和外在時間依賴性問題，GRU能在捕獲時間特征的同時提升算法的效率。將上述二者結合建模交通數據，在文獻[16]對時變圖中路徑進行分類的研究基礎上，有效提取空間和時間特征及其相關性的同時，從空域角度預測道路擁堵和斷交等異常情況。通過在CALTransPeMS實時采集的高速公路交通數據上進行實驗，檢驗模型在真實交通擁塞與異常預測業(yè)務場景中的效果。

1 研究方法

1.1 準備工作

首先將對研究的問題進行定義和解釋，并給出所應用的變量對應的符號表示。

1.1.1 道路網絡拓撲圖

使按照車流行使走向將道路網絡建模為有向圖G=(V,P)。其中，節(jié)點集合V表示傳感器站點(布設在道路上的探測器)，路徑集合P表示路段。數個v節(jié)點勾連構成多條路段。例如，p={v1,v2,…,vm},表示p路徑由m個節(jié)點勾連而成，v∈V。A為描述路徑狀態(tài)的鄰接矩陣，At(i,j)∈(0,1)表示在t時刻從vi到vj連接路段的狀態(tài)。A=1表示該路段車輛正常通行，A=0表示該路段存在擁堵或異常情況。對應每一個時間段0,1,…,t，有A={A0,A1,…,At},形成一個時間序列，由于每個時段道路的連接狀態(tài)不同，即由于道路因突發(fā)事故或擁堵形成對應的鄰接矩陣A不同，圖的拓撲結果隨時間動態(tài)變化，進而形成了一系列隨時間變化的圖G={G0,G1,…,Gt}。

圖1展示了道路隨時間動態(tài)變化的拓撲結構，節(jié)點之間不同時刻由于節(jié)點收集數據的不同具有不同的連接狀態(tài)，呈現不同的拓撲結構，稱為隨時間變化的交通路網拓撲圖。

圖1 道路路況隨時間變化拓撲圖

1.1.2 節(jié)點特征

在復雜動態(tài)的交通道路網絡基礎上進行未來道路擁堵或事故預測時涉及以下幾個關鍵點。

(1)節(jié)點空間相關性。路網圖被看作是由道路和道路上設定的傳感器站連接形成的圖，這些傳感器站表示為圖中的節(jié)點，道路被表示為圖中的邊。每個傳感器記錄固定時間段內通過該點位的車輛的平均時速和道路的平均占用率，認為在同一條道路中的相鄰或一定范圍內的節(jié)點上所采集到的信息是具有相關性的，在一個時間段內同一路徑上一定距離范圍內節(jié)點采集到的信息會展現出一定的相似性和關聯性。

(2)道路圖拓撲結構動態(tài)性。因各種突發(fā)情況在車輛行駛中的產生致使道路拓撲結構是隨著時間動態(tài)變化的。利用每一個時間段收集的節(jié)點信息將道路狀態(tài)以圖的形式表示，則每個時間段所記錄到的交通道路圖會因道路擁堵或事故等突發(fā)情況而呈現不同的拓撲結構。例如，在t時刻A道路因發(fā)生事故而擁堵，那么與這條道路相連的其他道路會在t+1時刻分散來自A路的車輛。圖中與這些道路對應的邊就會呈現路況變動。

(3)時間特性。每一個傳感器站所采集節(jié)點的特征都具備某種內在和外在時間關聯。其次，由這些數據構成的時間序列呈現出非線性、復雜性。從時間序列預測問題出發(fā)，t-m時段觀測的數據可以為t時段的道路情況預測提供有意義的信息，這是動態(tài)時序數據中內在的時間特性。此外外部客觀時間因素對交通道路預測也會帶來影響，如一天內早晚出行高峰時段、雙休日和工作日時段以及節(jié)假日時期人們的出行習慣都會對道路擁堵和事故預測帶來影響。

上述三個特性是完善道路預測研究的難點。為了攻克上述挑戰(zhàn)，首先，要對動態(tài)的道路拓撲圖建模，以提取路網圖拓撲結構中節(jié)點空間特性；接下來，挖掘交通數據的時間特性并把握長期的變化規(guī)律；最后，對動態(tài)拓撲圖的空間特征和時間特征之間的關系做出探討。

圖2展現了道路中節(jié)點之間的相互影響，節(jié)點b在t時刻受到來自a節(jié)點的車流影響，同時還受到其他鄰節(jié)點的影響；此外b節(jié)點還受到t-1時刻來自a節(jié)點的車流的影響。該圖呈現出節(jié)點及其鄰節(jié)點間同時被時間和空間所影響。

圖2 節(jié)點間的時空相關性

1.2 時空圖注意力神經網絡模型

設計了一個時空圖注意力神經網絡模型(GRU-GAT)，該模型能夠對交通數據的空間特性和時間特性并行提取，挖掘節(jié)點的隱含特征，對道路拓撲圖中的路徑進行分類，據此預測出道路的擁堵或事故等造成道路斷交的情況。該模型的框架圖如圖3所示，首先利用圖注意力神經網絡獲取動態(tài)的圖拓撲結構以及圖的節(jié)點隱含特征的表示。然后應用門控循環(huán)單元(GRU)提取道路網絡中的內部和外部的主客觀因素隱含的時間依賴性。最后用路徑嵌入(self-attentive path embedding, SAPE)將任意長度路徑嵌入在固定向量中，對路況進行預測。

圖3 模型結構圖

接下來將對GRU-GAT模型的細節(jié)進一步闡述。

GRU-GAT模型的第一部分應用從空域的角度考慮圖結構的方法，利用圖注意力神經網絡來建模每個時段道路交通網絡中的道路(邊)以及設置在道路上的傳感器站(節(jié)點)構成的幾何空間結構來對交通路網圖進行表示學習，表征路網結構的幾何關系。GAT的優(yōu)勢在于其能夠很好地表示動態(tài)的圖空間結構。該優(yōu)點與交通路網圖每個時刻隨車況動態(tài)變化的特點相契合。傳感器站每小時搜集的數據描述了每個時段的交通路況信息。該信息映射到圖中就會通過圖中邊和節(jié)點有無連接來表示。當道路數據超過設定的閾值時，該條道路由于擁堵嚴重或突發(fā)因素道路暫時不能通行，圖中對應的路徑就不連通，特征向量會改變，故當前時段會得到與歷史時段具有不同空間結構的路網拓撲圖。這也構成了本文研究難點之一，即路網圖的空間結構在每個時段都動態(tài)變化著。其次，圖注意力神經網絡能夠適用有向圖的空間特征的提取。道路圖依據車輛走向而形成有向圖。第三，圖注意力神經網絡能夠關注到中心節(jié)點的鄰節(jié)點對其帶來的不同影響，這種不同的影響在模型訓練中通過為鄰節(jié)點分配不同的權重來表示，該特點能夠更切實地反映真實道路中，特殊的地理位置、事故等因素對道路情況預測問題帶來的影響。

將N個傳感器站收集到的信息定義為特征，其大小為4 438×2 160，作為輸入。每個節(jié)點的特征向量為hi(i∈N)，有h={h1,h2,…,hn}，特征向量的維度為2；然后對節(jié)點的特征向量h進行特征變換得到新的特征向量h′i(i∈N)，接下來就是利用self-attention機制(圖4)來計算兩個節(jié)點之間的重要程度，即注意力權重，節(jié)點i及其鄰節(jié)點j的權重用aij表示。計算節(jié)點i與節(jié)點j注意力值的公式為

圖4 圖注意力機制結構

eij=a(Whi,Whj)

(1)

可以利用該機制對圖中節(jié)點對的注意力值eij進行計算。W是需要訓練的權重矩陣，可以對特征進行轉化，通過把節(jié)點經過了線性變換的特征向量進行拼接后，再與一個向量a計算內積；其中，a表示可訓練的參數向量，兩個向量內積求得的數值由兩個節(jié)點的特征信息所決定。運用文獻[19]中的masked attention將圖的結構融入該機制，從而只計算i節(jié)點的一階鄰居節(jié)點集合中的節(jié)點對i節(jié)點的影響權重aij。接下來，利用softmax函數對節(jié)點i的一階鄰居節(jié)點集合進行歸一化，歸一化后得到注意力權重αij這一聚合系數，以對比各節(jié)點之間的系數差異。這也就構成了圖注意力神經網絡中的核心graph attention layer，一個單層前饋神經網絡，激活函數為leakyRelu，圖5所示為計算原理。公式為

圖5 注意力系數

(2)

接下來，需把獲得的鄰節(jié)點的權重和節(jié)點自身特征融合抽象成新的特征。將式(2)中經歸一化處理后的注意力系數與對應的特征再做線性結合，獲得每個節(jié)點最后的特征表示作為輸出，即

(3)

式(3)中:σ為激活函數。

注意力機制的最后一個操作即multi-head操作機理如圖6所示。基于此操作可以提取到圖中的更多信息，穩(wěn)定self-attention的學習過程，優(yōu)化注意力模型，公式為

圖6 多頭注意力機制

(4)

模型的第二部分是應用了GRU來解決研究的第二個難點，即路網圖的時間依賴性。GRU在長短時記憶神經網絡基礎上進一步改進門控結構，在解決RNN中梯度爆炸和梯度消失的問題的同時，GRU較之LSTM的優(yōu)勢在于其模型的結構更為簡單，涉及的參數更少，應用在模型中也同樣能取得很好的效果，還能提升模型訓練的效率。GRU中有兩個控制單元門，即為Reset gate 和 Update gate。計算方法公式為

rt=σ(Wr[ht-1,xt])

(5)

zt=σ(Wz[ht-1,xt])

(6)

(7)

(8)

式(8)中：ht即為最終輸出的隱含層信息。在這一部分，將經過attention layer的新的特征向量按照傳感器站收集的時間順序輸入GRU中，以此得到連續(xù)的每個時段的交通路網圖中內在的時間依賴性。將輸出的最后的一個結果，作為模型最終對路經進行分類判斷并預測道路狀態(tài)的依據。

2 實驗

2.1 實驗環(huán)境

本實驗依托于Pytorch作為深度學習底層框架。硬件環(huán)境為：NVIDA-GTX1660Ti GPU，操作系統(tǒng)為windows 1 064位，CPU為Intel(R)Core(TM)i7-9750H CPU @ 2.60 GHz，內存16 GB。

2.2 實驗數據集

本次實驗采用了加州運輸機構(CalTrans)性能測量系統(tǒng)(PeMS)收集的高速交通數據集，該數據集是設置在美國加利福尼亞州4 438個傳感器站從2018年6月1日—8月30日連續(xù)三個月的交通數據，具體數據內容為聚合在每小時粒度上的車輛平均速度和道路平均占用率。每小時觀測點將記錄一個結果，3個月的時間步長為2 160。在路網拓撲中，兩個站點的節(jié)點分別表示為vi和vj，依據兩個節(jié)點的數據信息，描述路段pij狀態(tài)，當兩點間路段通勤正常則被表示為Aij=1，否則Aij=0，據此構造鄰接矩陣A。道路圖的空間關系依據這些節(jié)點檢測到的數據表明的路況異常與否，具有不同的拓撲結構。隨機獲取200條路段中的兩個節(jié)點作為路段的起點和終點，形成200條路段樣本。故一共有2 160×200條隨機路徑作為樣本，其中選取70%作為訓練數據集，10%作為驗證數據集，20%為測試數據集。利用前24 h的數據預測第25小時道路的狀態(tài)。

2.3 評估指標和對比方法

以DCRNN、LRGCN、LRGCN-SAPE(static)、LRGCN-SAPE(evolving)4種方法作為Baseline。以準確率、召回率和F1值作為最優(yōu)評價指標，具體計算公式為

(9)

(10)

(11)

式中:TP表示被模型預測為正的正樣本；FP表示被模型預測為正的負樣本；FN表示被模型預測為負的正樣本。

2.4 實驗結果及分析

實驗結果如表1所示，GRU-GAT模型在三種評價指標中均取得了最優(yōu)結果。

表1 實驗結果對比

DCRNN、LRGCN、LRGCN-SAPE(static)都是在靜態(tài)的交通數據圖中獲取數據時間和空間特征的深度學習方法，與之相比GRU-GAT方法能夠在準確率、召回率和F1值的結果均優(yōu)于上述三個模型，表明該方法能夠更好地提取數據集中的時間和空間特征。DCRNN針對道路車流量建模為有向圖的擴散過程，在交通拓撲圖中利用雙向隨機漫步捕獲空間特征，但是在對路網圖中的邊賦予權重時僅簡單地以傳感器站點之間的距離來進行表征，缺乏對道路實際業(yè)務場景下各類復雜因素的考量。與之相比，GRU-GAT方法能夠經考慮了道路各種突發(fā)因素下合理分配權重，所捕獲的空間特征更加周圓豐富。LRGCN與LRGCN-SAPE(static)在建模道路圖中能夠進一步關注一階鄰節(jié)點帶來的影響，但是在分配權重時為所有一階鄰節(jié)點分配的權重相同，與之相比GRU-GAT在權重分配問題上運用注意力機制為鄰節(jié)點合理分配不同權重，在解決交通異常預測問題中更符合業(yè)務場景實際。GRU-GAT方法使用GRU替換LSTM，與LRGCN-SAPE(static)相比，降低了一定的參數量，有助于模型訓練速度的提升。

LRGCN-SAPE(evolving)是應用在一系列隨時間變化的交通拓撲圖中提取數據空間和時間特征的方法，與之相比GRU-GAT模型在上述三個指標上也表現良好，表明在對動態(tài)的交通數據建模成路網圖后，對待動態(tài)的交通場景GRU-GAT模型依然可以有效地提取動態(tài)道路圖的時空特性并進行道路交通情況的預測，得到了更優(yōu)的預測結果，并保證了預測結果的準確性。

接下來通過繪制損失結果如圖7所示，呈現對多種基準方法的訓練效果和模型學習率的對比結果。

圖7 不同方法驗證損失函數值對比

圖7中展示了不同模型的學習曲線的變化趨勢，DCRNN的學習曲線存在一定的波動，表明該模型與其他方法相比更加難以收斂。GRU-GAT和LRGCN-SAPE(evolving)方法比別的方法都較快的收斂，但GRU-GAT較LRGCN-SAPE(evolving)方法的收斂速度更快，表明GRU方法能夠在達到與LSTM方法相同效果的基礎上進一步提升效率。此外GRU-GAT較別的方法的驗證損失函數最小，無明顯的波動，該結果表明該模型的訓練效率優(yōu)于其他模型，并且能夠及時收斂不易過擬合。

3 結論

設計了一種時空圖注意力機制神經網絡模型GRU-GAT,結合圖注意力神經網絡和門控循環(huán)單元實現對交通數據圖中時間和空間特征的并行提取，對交通道路流量與異常進行預測，得到以下結論。

(1)在PeMS交通數據集上的預測實驗，模型效果好于對比方法，證明該模型在挖掘利用交通拓撲數據的時空關聯特性的優(yōu)勢。

(2)圖注意力神經網絡可以提取不特定結構的交通路網圖中的空間特征，當具備滿足構建模型拓撲結構的信息時，例如車輛的平均時速與車道平均占用率，則該模型也能夠處理其他的交通數據集，具有較優(yōu)的泛化能力。

(3)模型應用的門控循環(huán)單元能夠降低模型的參數復雜度，并保持較優(yōu)的訓練結果。

(4)未來優(yōu)化該模型研究時，將進一步考慮到交通預測問題中的其他客觀因素如天氣等；另外該模型由于以圖論方法為基礎進行設計，涉及并使用的參數量仍較多，旨在保有當前模型性能的前提下，縮減模型的參數量。從而進一步提升模型的預測準確率，以及訓練速度和訓練效率。