徐東偉 彭 鵬 何德峰

(*浙江工業(yè)大學(xué)網(wǎng)絡(luò)空間安全研究院 杭州310023)

(**浙江工業(yè)大學(xué)信息工程學(xué)院 杭州310023)

0 引言

隨著城市交通出行需求的不斷增長,快速而有效的未來交通狀態(tài)評估對于緩解交通擁堵、提高交通路網(wǎng)運行效率等具有著重要意義。短時交通流預(yù)測作為一種有效的未來交通狀態(tài)評估方法,其預(yù)測結(jié)果不僅能夠幫助人們規(guī)劃更為合理的出行路線,還可以幫助交通管理部門制定更為科學(xué)的交通治理方案和采取更為有效的交通管控手段。

為了實現(xiàn)實時、準確的短時交通流預(yù)測,國內(nèi)外研究學(xué)者們提出了大量的交通流預(yù)測方法和模型。這些預(yù)測模型通?？梢苑譃閰?shù)模型和非參數(shù)模型。常見的參數(shù)模型有自回歸差分移動平均模型[1]、卡爾曼濾波模型[2]、隱馬爾可夫模型[3]等。相比于參數(shù)模型,非參數(shù)模型沒有固定模型參數(shù)和固定模型結(jié)構(gòu)的約束,因此有著更優(yōu)秀的數(shù)據(jù)學(xué)習(xí)能力和表達能力。常見的非參數(shù)模型有支持向量機(support vector machine,SVM)模型[4]、K 最近鄰(knearest neighbor,KNN)模型[5]、決策樹模型[6]、神經(jīng)網(wǎng)絡(luò)模型[7-9]、深度學(xué)習(xí)模型[10]等。

相比于其他模型,深度學(xué)習(xí)模型不僅有著靈活的模型設(shè)計,還有著強大的海量數(shù)據(jù)深層特征學(xué)習(xí)能力。因此,越來越多的深度學(xué)習(xí)模型被提出并用于解決短時交通流預(yù)測問題。文獻[11]基于深度信念網(wǎng)絡(luò)(deep belief networks,DBN)實現(xiàn)了交通流的多種任務(wù)預(yù)測。文獻[12] 構(gòu)建堆棧自編碼(stacked auto encoder,SAE)模型,實現(xiàn)了大數(shù)據(jù)下的短期交通流預(yù)測。文獻[13]提出了一種基于長短期記憶神經(jīng)網(wǎng)絡(luò)(long short-term memory,LSTM)的短期交通流預(yù)測模型。文獻[14]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)的短期交通流預(yù)測模型。文獻[15]提出了一種基于圖卷積網(wǎng)絡(luò)(graph convolutional network,GCN)的交通流預(yù)測模型。文獻[16]使用時空注意力神經(jīng)網(wǎng)絡(luò)完成了短時交通流的預(yù)測。除此之外,人們還提出了一些組合模型來進一步提高交通流的預(yù)測精度。文獻[17]將一維卷積與LSTM 相結(jié)合,提出了基于卷積-長短期記憶神經(jīng)網(wǎng)絡(luò)(convolutional LSTM,Conv-LSTM)的短期交通流預(yù)測模型。文獻[18]提出了一種CNN 與支持向量回歸(support vector regression,SVR)相組合的交通流預(yù)測模型。文獻[19]將CNN 與LSTM 相組合,進一步提高了LSTM 的短時交通流預(yù)測精度。

隨著人們的不斷研究,交通流預(yù)測模型的預(yù)測精度相比過去已經(jīng)有了較大的提高,但是這些模型是以完整交通流數(shù)據(jù)為研究前提的。在實際生產(chǎn)生活中,檢測器故障、服務(wù)器檢修等現(xiàn)象均可導(dǎo)致不等程度的交通數(shù)據(jù)缺失問題。針對上述問題,主要采用的解決方法為先數(shù)據(jù)修復(fù)然后再預(yù)測,但是該方法相比于直接預(yù)測而言過程較為復(fù)雜且數(shù)據(jù)修復(fù)的質(zhì)量將直接影響模型的預(yù)測精度。

生成式對抗網(wǎng)絡(luò)(generative adversarial network,GAN)作為一種新型的生成式深度學(xué)習(xí)模型,其通過數(shù)據(jù)分布學(xué)習(xí)與博弈機制即可生成圖片[20]、對話文本[21]等內(nèi)容,具有強大的數(shù)據(jù)生成能力。為此,本文采用GAN 主體框架,以缺失交通流數(shù)據(jù)作為輸入,借助全連接層、門控循環(huán)單元(gated recurrent unit,GRU)層的數(shù)據(jù)生成能力與多層全連接層的判別能力,實現(xiàn)數(shù)據(jù)缺失下短時交通流的直接預(yù)測。

1 GAN

1.1 原始GAN

2014 年,文獻[22]提出了一種基于博弈思想的生成式模型,即生成式對抗網(wǎng)絡(luò)GAN。該模型為日后各種GAN 的變體模型的提出奠定了深厚的基礎(chǔ),因此人們也將該模型稱之為原始GAN。GAN 作為一種新型的深度學(xué)習(xí)模型,其主要由生成網(wǎng)絡(luò)G和判別網(wǎng)絡(luò)D兩部分組成。GAN 的模型框架結(jié)構(gòu)如圖1 所示。

圖1 GAN 模型框架結(jié)構(gòu)圖

在GAN 中,生成網(wǎng)絡(luò)主要負責(zé)數(shù)據(jù)的生成,而判別網(wǎng)絡(luò)D則主要負責(zé)生成數(shù)據(jù)x′與真實數(shù)據(jù)x間的區(qū)分。當(dāng)噪聲樣本z輸入到GAN 中時,首先生成網(wǎng)絡(luò)G基于噪聲z輸出生成數(shù)據(jù)x′,然后將生成數(shù)據(jù)x′與真實數(shù)據(jù)x輸入判別網(wǎng)絡(luò)D進行真假數(shù)據(jù)的判別。

為了保證GAN 生成數(shù)據(jù)的質(zhì)量,GAN 的模型損失函數(shù)在生成網(wǎng)絡(luò)G與判別網(wǎng)絡(luò)D的博弈訓(xùn)練過程中對兩者均進行了考慮。生成網(wǎng)絡(luò)損失函數(shù)LG、判別網(wǎng)絡(luò)損失函數(shù)LD計算方式分別如下:

其中,z為隨機噪聲,x為真實數(shù)據(jù)。當(dāng)兩個網(wǎng)絡(luò)達到納什平衡時,則GAN 模型訓(xùn)練完成。

雖然原始GAN 早期在圖像生成領(lǐng)域展現(xiàn)了出色的表現(xiàn),但是依舊存在訓(xùn)練過程中納什平衡難以維持、無法準確反映模型訓(xùn)練程度、模型生成的數(shù)據(jù)樣本單一等問題。為了有效解決原始GAN 的上述問題,人們對GAN 的結(jié)構(gòu)、損失函數(shù)等進行了改進,提出了一系列的GAN 的變體模型。

1.2 WGAN

針對原始GAN 存在的問題,文獻[23]對原始GAN 進行改進,提出了Wasserstein GAN(WGAN)。相比與原始GAN,WGAN 的改變主要包含以下幾個方面。

首先,在真假數(shù)據(jù)相似度衡量上,WGAN 采用Wasserstein 距離代替了GAN 中原有的JS 散度或KL 散度。Wasserstein 距離計算方式如下:

其中,Π(Pr,Pg) 為Pr和Pg的聯(lián)合分布的集合。相比JS 散度或KL 散度,Wasserstein 距離在數(shù)據(jù)樣本分布無重疊時依舊可以通過計算來反映兩個數(shù)據(jù)分布之間的有效距離。

其次,在網(wǎng)絡(luò)結(jié)構(gòu)上,WGAN 將GAN 中判別網(wǎng)絡(luò)中輸出層的激活函數(shù)sigmoid 進行了刪除,使得判別網(wǎng)絡(luò)可以直接根據(jù)Wasserstein 距離計算衡量數(shù)據(jù)分布間的相似度,并有效避免了sigmoid 函數(shù)潛在的梯度消失問題。

最后,在模型訓(xùn)練上,WGAN 在模型損失函數(shù)計算時不再進行l(wèi)og 計算,在判別網(wǎng)絡(luò)參數(shù)更新過程添加了權(quán)重裁剪,并推薦使用RMSProp 優(yōu)化器進行模型參數(shù)的求解。根據(jù)WGAN 的改變,WGAN 生成網(wǎng)絡(luò)損失函數(shù)LG、判別網(wǎng)絡(luò)損失函數(shù)LD的計算方式分別如下:

基于上述改進,WGAN 不僅有效解決了GAN在訓(xùn)練過程中存在的不穩(wěn)定問題,明確了一個合理的數(shù)值去反映GAN 的訓(xùn)練進程,還基本解決了GAN 的模式單一問題,提高了生成數(shù)據(jù)的多樣性。

2 模型設(shè)計

2.1 模型結(jié)構(gòu)設(shè)計

GAN 及其變體在圖像、文本、視頻等諸多領(lǐng)域的成功不僅證明了其強大的數(shù)據(jù)生成能力,還說明其具有一定的普適性?；谝陨咸匦?針對數(shù)據(jù)缺失下的短時交通流預(yù)測問題,本文提出了一種基于Wasserstein 生成式對抗網(wǎng)絡(luò)的短時交通流預(yù)測模型。該模型的框架結(jié)構(gòu)如圖2 所示。

圖2 本文預(yù)測模型框架結(jié)構(gòu)圖

模型主要由生成網(wǎng)絡(luò)G和判別網(wǎng)絡(luò)D兩部分共同構(gòu)成,其輸入為數(shù)據(jù)缺失的交通流時空矩陣x,輸出為修復(fù)后的交通流時刻矩陣x′ 和預(yù)測的交通流量數(shù)據(jù)y′。假設(shè)第m條路段在第t時刻的真實交通流數(shù)據(jù)為xmt,修復(fù)后的交通流數(shù)據(jù)為,第m條路段在第t+p時刻的交通流預(yù)測值為,那么x、x′和y′分別表示如下:

其中,m表示路段的數(shù)量,t表示交通流歷史數(shù)據(jù)窗口的大小,p表示交通流預(yù)測的窗口大小。

在該模型中,生成網(wǎng)絡(luò)G主要由輸入層、全連接層、GRU 層和輸出層構(gòu)成,其具體結(jié)構(gòu)設(shè)計如圖3所示。其中,輸入層、輸出層分別負責(zé)接收歷史交通流數(shù)據(jù)和輸出交通流預(yù)測結(jié)果,全連接層1 負責(zé)交通流數(shù)據(jù)的編碼,GRU 層負責(zé)交通流編碼結(jié)果的特征提取,全連接層2 負責(zé)GRU 層特征提取結(jié)果下的解碼。假設(shè)第t時刻的交通流數(shù)據(jù)集合為xt={x1t,x2t,…,xmt},那么生成網(wǎng)絡(luò)G計算過程的數(shù)學(xué)表達式如下:

圖3 生成網(wǎng)絡(luò)框架結(jié)構(gòu)示意圖

其中,·表示矩陣乘法運算,[]表示向量相連操作,*表示矩陣的點乘運算,et表示全連接層1 編碼輸出,rt、zt、ht和分別表示GRU 層中重置門、更新門、隱藏層和候選隱藏層的輸出。

相比于生成網(wǎng)絡(luò)G,判別網(wǎng)絡(luò)D主要負責(zé)生成交通流數(shù)據(jù)與真實交通流數(shù)據(jù)的區(qū)分,其主要由多層全連接層構(gòu)建而成。判別網(wǎng)絡(luò)D的結(jié)構(gòu)設(shè)計如圖4 所示。其中,d和d′分別表示在真實交通流數(shù)據(jù)和生成數(shù)據(jù)下判別網(wǎng)絡(luò)D的判別輸出。

圖4 判別網(wǎng)絡(luò)框架結(jié)構(gòu)示意圖

2.2 模型損失函數(shù)設(shè)計

本文模型的損失函數(shù)設(shè)計主要包含生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)兩部分。生成網(wǎng)絡(luò)損失函數(shù)主要用于保證生成網(wǎng)絡(luò)輸出的交通流預(yù)測數(shù)據(jù)與真實的交通流數(shù)據(jù)在數(shù)據(jù)分布上盡可能地相似,而判別網(wǎng)絡(luò)損失函數(shù)則主要用于保證生成數(shù)據(jù)與真實交通流數(shù)據(jù)的有效區(qū)分。

生成網(wǎng)絡(luò)損失函數(shù)主要由基本生成損失函數(shù)、預(yù)測損失函數(shù)和數(shù)據(jù)修復(fù)損失函數(shù)3 部分組成?；旧蓳p失函數(shù)主要用于促使生成網(wǎng)絡(luò)盡可能地生成判別網(wǎng)絡(luò)無法區(qū)分真假的數(shù)據(jù)樣本。而預(yù)測損失函數(shù)可以在一定程度上保證生成的交通流數(shù)據(jù)的預(yù)測質(zhì)量。此外,在一定程度上,對于數(shù)據(jù)修復(fù)損失函數(shù)的考慮可以進一步提高模型的預(yù)測性能。因此,生成網(wǎng)絡(luò)損失函數(shù)表示如下:

其中,x′表示修復(fù)后的交通流時刻矩陣,表示完整的交通流時刻矩陣,y表示交通流數(shù)據(jù)的真實值,y′表示交通流數(shù)據(jù)的預(yù)測值,-D(y′) 為基本生成損失函數(shù),(y′ -y)2為預(yù)測損失函數(shù),為修復(fù)損失函數(shù)。

判別網(wǎng)絡(luò)損失函數(shù)主要是對數(shù)據(jù)相似度的衡量,其表示如下:

3 實驗過程及結(jié)果分析

3.1 實驗數(shù)據(jù)

本文的實驗數(shù)據(jù)來自美國加州交通運輸性能測量系統(tǒng)。該系統(tǒng)包含了全加州高速公路中部署的15 000 多個交通檢測器的數(shù)據(jù),這些數(shù)據(jù)包括交通流量、速度、飽和度等重要交通參數(shù)。本文選取了其中4 個檢測器2016 年4 月1 日至4 月30 日工作日的交通流量數(shù)據(jù)作為實驗數(shù)據(jù),數(shù)據(jù)采樣時間間隔為5 min。其中,前80%的實驗數(shù)據(jù)作為模型的訓(xùn)練集,剩余的實驗數(shù)據(jù)作為模型的測試集。

3.2 數(shù)據(jù)預(yù)處理

為了減少實驗數(shù)據(jù)的實際量綱對模型訓(xùn)練速度和預(yù)測性能的影響,本文對實驗數(shù)據(jù)進行了標準化處理,將數(shù)據(jù)量綱控制在[0,1]之間。本文采用的數(shù)據(jù)標準化計算方式如下:

其中,x表示原始數(shù)據(jù),x*表示標準化的數(shù)據(jù),min(x) 與max(x) 分別表示原始數(shù)據(jù)中的最小值和最大值。

本文原始實驗數(shù)據(jù)為完整的交通流量數(shù)據(jù)。為了有效模擬交通流數(shù)據(jù)不同程度的缺失,本文對原始實驗數(shù)據(jù)進行了隨機的數(shù)據(jù)缺失處理。數(shù)據(jù)缺失處理過程如圖5 所示。

圖5 數(shù)據(jù)缺失處理示意圖

首先根據(jù)各檢測器歷史交通流數(shù)據(jù)構(gòu)建完整時空矩陣xC,然后構(gòu)建與交通流時空矩陣大小相同的掩碼矩陣m,最后將xC與m進行點乘運算,從而生成數(shù)據(jù)缺失下的交通流時空矩陣x。其中,掩碼矩陣m中的0 表示數(shù)據(jù)缺失,1 表示數(shù)據(jù)完整,0 與1的分布比例由實際的數(shù)據(jù)缺失率決定。為保證更好地模擬數(shù)據(jù)缺失過程,數(shù)據(jù)缺失處理過程中的數(shù)據(jù)損失率集合設(shè)定為{0.2,0.4,0.6,0.8},且構(gòu)建的m均為隨機生成。

3.3 模型參數(shù)

本文涉及的模型參數(shù)主要分為生成網(wǎng)絡(luò)、判別網(wǎng)絡(luò)、模型訓(xùn)練這3 部分。在生成網(wǎng)絡(luò)部分,全連接層1、GRU 層、全連接層2 的神經(jīng)元個數(shù)分別設(shè)置為64、32、4。在判別網(wǎng)絡(luò)部分,采用4 層全連接層,其每層神經(jīng)元個數(shù)分別設(shè)置為32、16、8、1。在模型訓(xùn)練部分,生成網(wǎng)絡(luò)與判別網(wǎng)絡(luò)均采用RMSProp 優(yōu)化器進行訓(xùn)練,學(xué)習(xí)率設(shè)置為0.00001,批次大小為128,單次迭代下判別網(wǎng)絡(luò)訓(xùn)練次數(shù)設(shè)置為5,判別網(wǎng)絡(luò)的權(quán)重裁剪范圍設(shè)置為[-0.01,0.01]。此外,本文的交通流歷史數(shù)據(jù)窗口大小t設(shè)置為12,交通流預(yù)測窗口大小p即預(yù)測步長設(shè)置為1。

3.4 性能評價指標

為了更為有效地評估預(yù)測結(jié)果,本文選取了均方根誤差(RMSE)、絕對平均誤差(MAE)和平均絕對百分比誤差(MAPE)這3 個性能指標來衡量模型的預(yù)測表現(xiàn)。其計算方式分別如下:

其中,yi表示交通流量的真實值,表示交通流量數(shù)據(jù)的預(yù)測值。

3.5 實驗結(jié)果與分析

為有效了解和分析所提模型的交通流預(yù)測表現(xiàn),本文首先對數(shù)據(jù)缺失率為0.2 情況下的模型預(yù)測結(jié)果進行分析。

以4 月27 日為例,提出模型的各路段預(yù)測結(jié)果如圖6 所示。從預(yù)測整體結(jié)果來看,所提模型具有較好的預(yù)測性能,其不僅可以有效捕捉交通流的變化趨勢,還能夠較好地貼合交通流數(shù)據(jù)的真實值。此外,相比于高峰期的交通流預(yù)測而言,該模型在非高峰期的交通流預(yù)測有著更大的優(yōu)勢和精準度。

圖6 提出模型的各路段預(yù)測結(jié)果

為了進一步驗證提出模型的預(yù)測性能,本文還對模型在其余數(shù)據(jù)缺失率情況下的交通流預(yù)測進行了實驗,并將提出模型的預(yù)測表現(xiàn)與KNN、SVR、反向傳播神經(jīng)網(wǎng)絡(luò)(back propagation,BP)、LSTM、GRU、SAE、Conv-LSTM 進行了對比。各模型在不同數(shù)據(jù)缺失情況下的預(yù)測結(jié)果性能指標分析如表1～表3 所示。

從表1～表3 中可知,在不同程度的數(shù)據(jù)缺失下,本文提出的模型預(yù)測性能均高于其他對比模型。在數(shù)據(jù)缺失率為0.2 時,本文模型在RMSE、MAE、MAPE 上分別改善了11.95%～40.08%、12.07%～43.55%和13.53%～39.26%;在數(shù)據(jù)缺失率為0.4時,本文模型在RMSE、MAE、MAPE 上分別改善了9.28%～52.85%、9.87%～58.31%和10.60%～48.12%;在數(shù)據(jù)缺失率為0.6 時,本文模型在RMSE、MAE、MAPE 上 分 別 改 善 了11.12%～63.31%、11.93%～68.20%和11.01%～56.75%;在數(shù)據(jù)缺失率為0.8 時,本文模型在RMSE、MAE、MAPE 上分別改善了4.74%～64.35%、5.67%～69.18%和7.80%～54.19%。在對比模型中,KNN 預(yù)測表現(xiàn)最差,SVR 的非線性空間映射使其預(yù)測表現(xiàn)要優(yōu)于BP 和SAE,LSTM 和GRU 因其優(yōu)秀的時間特征處理能力而有著較好的預(yù)測表現(xiàn),而Conv-LSTM 對交通數(shù)據(jù)時空特征的有效處理使其預(yù)測表現(xiàn)要遠優(yōu)于其他對比模型。

表1 各模型RMSE 性能指標分析

表2 各模型MAE 性能指標分析

表3 各模型MAPE(%)性能指標分析

此外,為探究數(shù)據(jù)修復(fù)函數(shù)對于本文模型的預(yù)測表現(xiàn)影響,本文對不含數(shù)據(jù)修復(fù)損失函數(shù)的預(yù)測模型進行了實驗分析,其分析結(jié)果如表4 所示。

表4 無數(shù)據(jù)修復(fù)損失函數(shù)下的模型預(yù)測結(jié)果分析

將有無數(shù)據(jù)修復(fù)損失函數(shù)的模型預(yù)測性能進行對比,可以發(fā)現(xiàn)本文模型在缺乏對數(shù)據(jù)修復(fù)損失函數(shù)考慮后,其預(yù)測性能出現(xiàn)了一定的下降。因此,在本文模型損失函數(shù)設(shè)計過程中對數(shù)據(jù)修復(fù)損失函數(shù)進行考慮并使用具有一定的合理性。雖然本文模型的預(yù)測性能在不考慮數(shù)據(jù)修復(fù)損失函數(shù)時會出現(xiàn)一定的下降,但是依舊要優(yōu)于其他對比預(yù)測模型。

4 結(jié)論

本文旨在解決數(shù)據(jù)缺失下的短時交通預(yù)測問題,以實現(xiàn)交通數(shù)據(jù)缺失下更直接、更精準的短時交通流預(yù)測。為實現(xiàn)這一目標,本文基于生成式對抗網(wǎng)絡(luò)提出了一種以缺失數(shù)據(jù)為輸入、未來交通流狀態(tài)為輸出的端到端的預(yù)測模型。在模型生成網(wǎng)絡(luò)部分,本文利用全連接層和GRU 層實現(xiàn)缺失數(shù)據(jù)中重要特征的提取和預(yù)測結(jié)果的輸出;在模型判別網(wǎng)絡(luò)部分,本文采用多層全連接層完成對生成數(shù)據(jù)與真實數(shù)據(jù)的區(qū)分。在模型損失函數(shù)設(shè)計上,本文對WGAN 損失函數(shù)進行了改進,在其基礎(chǔ)上添加了數(shù)據(jù)修復(fù)損失函數(shù)。實驗結(jié)果表明,本文提出的模型在不同的數(shù)據(jù)缺失下均有著較好的預(yù)測表現(xiàn)且預(yù)測性能也均優(yōu)于其他對比模型。此外,本文通過有無數(shù)據(jù)修復(fù)損失函數(shù)下的模型預(yù)測表現(xiàn)對比,驗證了模型損失函數(shù)改進的可行性和有效性。本文以高速路為實驗對象,其網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜度相對較低,在未來的研究中可以對更為復(fù)雜的城市道路的短時交通流預(yù)測進行研究。