程肇蘭，張小強,2,3，梁 越

(1.西南交通大學 交通運輸與物流學院，四川 成都 611756；2.綜合交通大數(shù)據(jù)應用技術國家工程實驗室，四川 成都 611756；3.綜合交通運輸智能化國家地方聯(lián)合工程實驗室，四川 成都 611756)

鐵路貨物運輸長期以來扮演著國民經(jīng)濟發(fā)展中的重要角色，但隨著公路、航空等運輸網(wǎng)絡的逐步完善以及顧客運輸需求的變化，鐵路貨物運輸正面臨其他運輸方式的激烈競爭。鐵路運輸企業(yè)需要制定靈活的運輸計劃和營銷策略以改善鐵路貨物運輸?shù)木置?，這就需要鐵路運輸部門準確預測并掌握計劃期內(nèi)的貨運量。目前對鐵路貨運量預測的研究主要側重于年度貨運量預測，但短期貨運量(月、日貨運量)作為月度貨物運輸計劃和旬日歷裝車計劃、車站貨運日班計劃、空車運用計劃等日常工作計劃編制的依據(jù)，其準確預測在鐵路日常工作組織層面也有十分重要的意義。因此，如何提高鐵路短期貨運量預測精度已然成為鐵路運輸企業(yè)亟待解決的問題[1]。鐵路貨運量因受到宏觀經(jīng)濟因素、競爭因素、運輸貨物本身季節(jié)特性等影響而呈現(xiàn)上下浮動和季節(jié)波動特性。宏觀經(jīng)濟因素與競爭因素對貨運量的影響存在滯后效應，這種滯后效應表現(xiàn)為前一段時間的經(jīng)濟情況、競爭情況影響后一段時間運輸企業(yè)采取的經(jīng)營策略和貨主對運輸方式的選擇，進而影響鐵路貨運量。多元回歸預測、支持向量機、BP(Back Propagation)神經(jīng)網(wǎng)絡等預測方法[2-5]因在進行鐵路短期貨運量預測時沒有考慮到這種延遲和滯后效應，所以預測精度有限。長短期記憶網(wǎng)絡(Long Short-term Memory, LSTM)特別適合處理和預測間隔和延遲相對較長的時間序列，已經(jīng)廣泛應用于股票、短時交通流、疾病、點擊率等方面的預測，但在鐵路短期貨運量預測方面的應用較少。本文借助LSTM網(wǎng)絡模型研究鐵路短期貨運量預測。

1 LSTM網(wǎng)絡理論

LSTM網(wǎng)絡是一種特殊類型的循環(huán)神經(jīng)網(wǎng)絡(Recurrent Neural Network，RNN)。

1.1 RNN

擁有輸入層-隱含層-輸出層結構的傳統(tǒng)神經(jīng)網(wǎng)絡如BP神經(jīng)網(wǎng)絡在相鄰兩層間一般采用全連接方式，但非相鄰兩層的神經(jīng)元之間沒有連接，同一層內(nèi)的神經(jīng)元間也無連接，見圖1(a)。RNN由BP神經(jīng)網(wǎng)絡改進而來，與BP神經(jīng)網(wǎng)絡最大的不同之處在于RNN隱含層內(nèi)的神經(jīng)元之間存在連接。如圖1(b)所示，RNN中隱含層的輸入不僅包括輸入層的輸入還包括上一時刻隱藏層的輸出，這意味著RNN網(wǎng)絡會記憶前面的信息并應用于當前輸出的計算中。因其在記憶方面的能力，RNN網(wǎng)絡已經(jīng)成功應用在語音識別、機器翻譯、音樂生成、文本生成等自然語言領域[6]。

圖1 BP神經(jīng)網(wǎng)絡與RNN對比

標準的RNN模型結構見圖2。x(t)為t時刻的樣本輸入；h(t)為t時刻的隱藏狀態(tài)，由x(t)和t-1時刻的隱藏狀態(tài)共同決定h(t-1)；O(t)為t時刻模型輸出，只由h(t)決定；L(t)為t時刻的損失函數(shù)；y(t)則為訓練樣本時的真實輸出；U、W、V為網(wǎng)絡共享參數(shù)。

圖2 標準RNN結構

1.2 LSTM

RNN的兩種傳統(tǒng)算法——基于時間的反向傳播算法(Back-propagation Through Time, BPTT)和實時循環(huán)學習算法(Real-time Recurrent Learning，RTRL)，可能會因為出現(xiàn)梯度爆炸或者梯度消失的情況而失效[7]，因此在實際中，標準RNN的應用范圍有限，取得更多成果的大多是RNN的改進網(wǎng)絡。LSTM網(wǎng)絡就是為了避免上述問題而專門設計的一種特殊類型的RNN網(wǎng)絡，在1997年由Sepp Hochreiter和Jürgen Schmidhuber第一次提出。LSTM的巧妙之處在于通過增加輸入門、遺忘門、輸出門以獲得變化的自循環(huán)權重，在模型參數(shù)固定的情況下，不同時刻的積分尺度得以動態(tài)改變，從而能夠規(guī)避梯度消失或者梯度爆炸的問題[8]。

f(t)=σ(Wf·[h(t-1),x(t)]+bf)

(1)

i(t)=σ(Wi·[h(t-1),x(t)]+bi)

(2)

(3)

(4)

o(t)=σ(Wo·[h(t-1),x(t)]+bo)

(5)

h(t)=o(t)·tanhC(t)

(6)

式中：f(t)為t時刻遺忘門的輸出；i(t)為t時刻輸入門的輸出；o(t)為t時刻輸出門的輸出；Wf、Wi、Wc、Wo和bf、bi、bc、bo分別為遺忘門、輸入門、細胞狀態(tài)、輸出門對應的系數(shù)；σ為sigmoid激活函數(shù)；tanh為雙曲正切激活函數(shù)。

圖3 LSTM的隱藏層結構

2 LSTM貨運量預測模型構建

鐵路貨運量受許多因素影響。在現(xiàn)實中，影響因素值的統(tǒng)計最短周期往往較長，一般以月或更長的時間段進行統(tǒng)計。日貨運量的影響因素值往往因為周期太短而無法獲取。因此，對于不同時期(月、日)的貨運量預測，應當依據(jù)不同時期的特點，分別建立LSTM貨運量預測模型。針對月貨運量預測，建立基于月貨運量數(shù)據(jù)的LSTM多變量預測模型；針對日貨運量預測，建立基于日貨運量數(shù)據(jù)的LSTM時間序列預測模型。

2.1 模型輸入

對于基于月貨運量數(shù)據(jù)的LSTM多變量預測模型，由于宏觀經(jīng)濟因素、競爭因素對貨運量的影響存在滯后效應，因此t時刻的貨運量yt不僅受到t時刻影響因素Xt的影響，還同時受到t-1,t-2,…,t-k(k=1,2,3,…)時刻影響因素Xt-1,Xt-2,…,Xt-k的影響。且影響因素Xt-k的影響力隨k遞增而減弱。假設t月的貨運量yt將同時受到t-1,t-2,…,t-k月影響因素的影響，忽略t-k月之前的影響因素的影響力。又考慮到t月不能觀察到在t+1月公布的t影響因素值。因此，基于月貨運量數(shù)據(jù)的LSTM預測模型t時刻的輸入是t-1,t-2,…,t-k月影響因素值Xt-1,Xt-2,…,Xt-k及對應的月貨運量yt-1,yt-2,…,yt-k。

對于基于日貨運量數(shù)據(jù)的LSTM時間序列模型，考慮難以準確獲取影響因素每日統(tǒng)計值，模型t時刻的輸入為t-1,t-2,…,t-k時刻的日貨運量yt-1,yt-2,…,yt-k。

2.2 模型結構

兩個模型的基本結構均為輸入層、隱含層和輸出層的神經(jīng)網(wǎng)絡結構。隱含層均采用多層LSTM單元?？梢酝ㄟ^網(wǎng)格搜索[10]方法確定合適的隱含層數(shù)、合適的神經(jīng)元個數(shù)超參數(shù)取值。本文采用的損失函數(shù)為均方差(Mean Squared Error, MSE)[11]，計算方法為

(7)

2.3 模型評估

為評估模型預測效果，采用均方根誤差RMSE、平均絕對值誤差MAE和R2平均絕對百分比誤差MAPE[12]。

各誤差計算方法如下所示：

(8)

(9)

(10)

(11)

3 實證案例

3.1 試驗數(shù)據(jù)

本文的研究數(shù)據(jù)來自于中國鐵路廣州局集團有限公司(以下簡稱廣鐵集團)2009—2017年的原始貨票數(shù)據(jù)記錄。在對貨票數(shù)據(jù)進行去除廢票、刪除缺失值、去除不合理數(shù)據(jù)等數(shù)據(jù)清洗后，統(tǒng)計得到廣鐵集團2009—2017年每日和每月的貨運發(fā)送量，見圖4。總體上，兩者的隨機變動與周期性變動趨勢均比較明顯且保持大體一致：前者主要在5 000車上下波動，而后者在160 000車上下波動； 前者與后者均在每年2月份到達波谷，隨后上升并持續(xù)在小范圍內(nèi)波動。

圖4 廣鐵集團2009—2017年貨運發(fā)送量

3.2 鐵路貨運量影響因素指標選取及相關性分析

一個地區(qū)的鐵路貨運量通常受到各個方面因素的影響，主要包括地區(qū)的宏觀經(jīng)濟運行情況、市場供需結構、外部競爭環(huán)境等外部因素和鐵路營業(yè)里程、運輸能力、服務水平等內(nèi)部因素。在外部因素中，表示宏觀經(jīng)濟運行狀況的地區(qū)生產(chǎn)總值對鐵路貨運量大小起決定性作用。又考慮到鐵路貨物運輸?shù)膶ο笾饕婕皣窠?jīng)濟重要組成部分中的第一產(chǎn)業(yè)和第二產(chǎn)業(yè)產(chǎn)品，第一產(chǎn)業(yè)總產(chǎn)值和第二產(chǎn)業(yè)增加值也能夠直接體現(xiàn)第一產(chǎn)業(yè)和第二產(chǎn)業(yè)的經(jīng)濟運行情況。由于鐵路貨物運輸?shù)奶攸c和性質(zhì)，其主要受到來自公路貨物運輸?shù)母偁帲虼诉x取公路貨運量表示對鐵路運輸競爭力的大小。在內(nèi)部因素中，鐵路營業(yè)里程的增加特別是高速鐵路的大量投入運營，能釋放平行的既有線運輸能力并提高運行圖中貨運列車鋪畫密度，進而提升貨物運輸能力[13]。表1為2009—2017年原廣州鐵路局范圍(廣東省、湖南省、海南省)內(nèi)的部分月份影響因素取值[14]。

分析上述影響因素之間相關性和各影響因素對廣鐵集團月貨運量的影響大小，各影響因素之間、各影響因素與月總貨運量的相關性系數(shù)圖，見圖5。

圖5 廣鐵集團2009—2017貨運量(單位：車)

圖5中，對角線部分代表各影響因素和月貨運量自身分布，下三角部分畫出了對應的散點圖，上三角部分則代表對應的相關系數(shù)，星星越多表示兩者的相關性越強。由圖5可知，上述影響因素(不包括GDP)與鐵路月貨運量均存在較強的相關性，且第一產(chǎn)業(yè)總產(chǎn)值和公路貨運量與鐵路月貨運量的相關性尤為突出。但GDP與鐵路月貨運量的相關性不顯著，這可能是因為以季度平均GDP代替每月實際GDP，不能體現(xiàn)GDP在季度內(nèi)的變化趨勢。在影響因素之間，GDP、第二產(chǎn)業(yè)增加值、第一產(chǎn)業(yè)總產(chǎn)值、鐵路運營里程之間均存在很強的相關性。結合指標數(shù)據(jù)獲取情況和以上分析，確定以下因素為鐵路貨運量影響因素的指標：第二產(chǎn)業(yè)增加值、第一產(chǎn)業(yè)總產(chǎn)值、鐵路運營里程、公路貨運量。

3.3 參數(shù)設置及試驗結果

(1)基于月貨運量數(shù)據(jù)的LSTM多變量預測模型及參數(shù)選擇

網(wǎng)絡構建采用Keras框架實現(xiàn)LSTM[16]，將數(shù)據(jù)集分為訓練集(前8年數(shù)據(jù))和測試集(后1年數(shù)據(jù))。通過反復試驗發(fā)現(xiàn)，k=1且采用單層隱含層的LSTM網(wǎng)絡具有最好的預測精度，包含的節(jié)點數(shù)為6。模型采用Adam(Adaptive Moment Estimation)優(yōu)化算法[17]，激活函數(shù)采用tanh函數(shù)。

(2)基于日貨運量數(shù)據(jù)的LSTM時間序列預測模型及參數(shù)選擇

模型將數(shù)據(jù)集的前70%作為訓練集，后30%作為測試集。通過反復試驗，確定時間步長k=1時，采用單層隱含層的LSTM網(wǎng)絡模型的預測精度最高，每層包含的節(jié)點數(shù)為5。優(yōu)化算法亦采用Adam，激活函數(shù)采用tanh函數(shù)。

(3)試驗結果

表2為預測結果的評價指標。

表1 部分月份影響因素取值

由表2可知，基于月貨運量數(shù)據(jù)的LSTM多變量預測模型的預測結果顯示，測試集上16萬車左右的貨運量的預測平均絕對值誤差在8 574車，平均絕對值百分比誤差為6.0%?；谌肇涍\量數(shù)據(jù)的LSTM時間序列預測模型的預測結果顯示，測試集上5 200車左右的貨運量的預測平均絕對值誤差在348車，平均絕對值百分比誤差在7.9%左右。兩者的預測精度均較高。

3.4 對比試驗

為比較LSTM預測方法與其他預測方法的預測精度，本文采用另外兩種比較常用預測方法-時間序列預測模型[18]和BP神經(jīng)網(wǎng)絡預測[19]。類似地，對月貨運量時間序列數(shù)據(jù)建立ARIMA(0,1,1)(0,1,2)[12]模型，模型為

(1-B)(1-B)Yt=(1+0.507 8B)

(1+0.915 7B12-0.246 6B24)εt

(11)

式中：Yt為時間序列；B為延遲算子；εt為白噪聲隨機誤差序列。

對日貨運量數(shù)據(jù)的時間序列數(shù)據(jù)建立ARIMA(1,1,1)，模型為

Yt=0.262 6Yt-1+εt-0.705εt-1

(12)

建立基于月貨運量數(shù)據(jù)的BP神經(jīng)網(wǎng)絡模型，采用3層網(wǎng)絡結構，輸入層5個神經(jīng)元，隱含層包含15個神經(jīng)元。前8年數(shù)據(jù)作訓練集，后1年數(shù)據(jù)作測試集。優(yōu)化算法采用Adam、激活函數(shù)采用tanh和損失函數(shù)采用MSE。建立基于日貨運量數(shù)據(jù)的BP神經(jīng)網(wǎng)絡模型，同樣采用3層網(wǎng)絡結構，輸入層1個神經(jīng)元，隱含層6個神經(jīng)元。前70%作訓練集，后30%作測試集，其余參數(shù)與基于月貨運量數(shù)據(jù)的BP神經(jīng)網(wǎng)絡模型相同。

表3為對比模型在測試集上的表現(xiàn)。

表2 LSTM預測結果評價指標

通過比較LSTM模型與對比模型分別在訓練集和測試集上的表現(xiàn)發(fā)現(xiàn)：LSTM模型總體上優(yōu)于時間序列模型和BP神經(jīng)網(wǎng)絡模型。其中，對于月貨運量預測，在訓練集上，ARIMA(0,1,1)(0,1,2)[12]的各項誤差指標均優(yōu)于LSTM模型和BP神經(jīng)網(wǎng)絡模型；但在測試集上的表現(xiàn)卻差于后兩者。這可能是由于宏觀環(huán)境變化，2017年鐵路運量有較大幅度回暖，但時間序列模型僅僅依據(jù)歷史的趨勢并未考慮這些客觀因素。對于日貨運量預測，BP神經(jīng)網(wǎng)絡和LSTM模型的預測誤差雖然比較接近，但LSTM模型在測試集上的預測精度更高，模型的泛化能力更優(yōu)。ARIMA模型在訓練集上的誤差很小，但測試集上的誤差較大，這可能是因為測試集覆蓋的時間段較長，隨著時間的推移時間序列模型預測的誤差變大。但LSTM在相同情況下表現(xiàn)出更高的預測精度，進一步體現(xiàn)了LSTM模型良好的預測性能。

表3 對比模型預測結果評價指標

圖6 預測貨運量效果對比

圖6為分別各個預測方法的月貨運量預測值和日貨運量預測值與實際值的比較。其中，圖6(a)直觀表現(xiàn)出LSTM預測與BP預測效果接近，在2017年后的預測結果均優(yōu)于時間序列預測，與上文分析結果相一致。圖6(b)～圖6(d)以實際運量為橫坐標，預測運量為縱坐標。可以觀察斜線的斜率情況(斜率越接近1，預測效果越好)直觀判斷各模型的預測效果：LSTM預測明顯優(yōu)于BP和時間序列預測。

4 結論

結合實際情況，本文主要建立了基于月貨運量數(shù)據(jù)的LSTM多變量預測模型和基于日貨運量數(shù)據(jù)的LSTM時間序列預測模型。前者考慮了影響因素對貨運量影響的滯后效應，擁有較長時間的記憶能力，并能夠有效學習影響因素與貨運量的關系；后者則集中考慮貨運量時間序列的序列依賴性，構建長時間序列的LSTM網(wǎng)絡。為體現(xiàn)LSTM網(wǎng)絡性能，分別建立了基于月貨運量和基于日貨運量的ARIMA模型和BP神經(jīng)網(wǎng)絡模型，通過對比以上模型在訓練集和測試集上的預測結果指標，發(fā)現(xiàn)構建的基于月貨運量數(shù)據(jù)LSTM多變量預測模型和基于日貨運量數(shù)據(jù)的LSTM時間序列預測模型均擁有優(yōu)秀的預測精度，體現(xiàn)了LSTM網(wǎng)絡對長時間序列上的學習能力及泛化能力。LSTM網(wǎng)絡在預測中的良好表現(xiàn)，為鐵路短期貨運量的預測提供一種預測思路，對鐵路日常運輸組織具有十分重要的意義。在接下來的研究中，可以改進LSTM模型，以進一步提高模型的預測精度。