陳思杰，傅仰耿

(福州大學(xué)計算機與大數(shù)據(jù)學(xué)院，福建 福州 350108)

0 引言

需求預(yù)測作為收益管理實施過程中的核心問題，多年以來一直受到國內(nèi)外學(xué)者們高度的關(guān)注，預(yù)測的準(zhǔn)確程度直接影響到了收益管理系統(tǒng)的可行性與價值，也直接影響著各個航空公司的票價結(jié)果與整體收益[1].在航空收益管理的需求預(yù)測方法之中，主要有三個方法：定量分析法、定性分析法、決策分析法.除了傳統(tǒng)的需求預(yù)測方法外，近年來有不少學(xué)者也應(yīng)用了許多新興的智能預(yù)測算法和新興技術(shù)，例如機器學(xué)習(xí)方法、大數(shù)據(jù)平臺技術(shù)等.根據(jù)國內(nèi)外研究現(xiàn)狀可知，基于傳統(tǒng)算法的需求預(yù)測模型依賴于精確的實驗數(shù)據(jù)，并且算法工作量較大，模型的預(yù)測結(jié)果穩(wěn)定性差，無法保證預(yù)測精度[2-4];基于智能算法的預(yù)測模型與之相比實用性較強，相較于傳統(tǒng)算法精度和穩(wěn)定性都有一定的提高.但是，航線訂座需求預(yù)測受到各方面因素的互相影響，當(dāng)下基于智能算法的航線訂座需求預(yù)測研究較少，并且現(xiàn)有模型的預(yù)測精度仍然有待提高[5-7].為了提高航線訂座需求的預(yù)測精度，提出基于注意力機制的長短時記憶神經(jīng)網(wǎng)絡(luò)(long short-term memory neural network，LSTM) 航線訂座需求預(yù)測模型，首先對航線訂座數(shù)據(jù)進行清洗與指標(biāo)計算，然后利用注意力機制進行參數(shù)權(quán)重分配，最后通過長短時記憶神經(jīng)網(wǎng)絡(luò)算法對航線訂座指標(biāo)數(shù)據(jù)進行建模預(yù)測，對預(yù)測模型參數(shù)進行調(diào)整優(yōu)化，得到航線預(yù)測模型后代入數(shù)據(jù)計算結(jié)果作為航線訂座需求的最終預(yù)測值，以此構(gòu)建航線訂座需求的預(yù)測模型，實現(xiàn)對航線訂座變化情況的預(yù)測.

1 數(shù)據(jù)準(zhǔn)備

1.1 數(shù)據(jù)采集與預(yù)處理

本研究數(shù)據(jù)為國內(nèi)某航空公司2017—2019年期間的航線飛行歷史數(shù)據(jù)，包含該航空公司國內(nèi)直飛航線在這三年當(dāng)中共571 959條的訂座離港數(shù)據(jù).歷史與預(yù)售數(shù)據(jù)的采集主要通過數(shù)據(jù)接口從中航信的離港控制系統(tǒng)(departure control system，DCS)與訂座控制系統(tǒng)(inventory control system，ICS)中采集得到.DCS系統(tǒng)具備旅客值機、航班控制、登記控制等信息服務(wù)功能，ICS系統(tǒng)具備的功能是能夠提供包含航班信息、座位控制、運價管理、銷售控制等訂座數(shù)據(jù).針對采集數(shù)據(jù)的異常情況，總共做了以下幾方面的處理：1) 對于航線日期數(shù)據(jù)存在異常的情況，統(tǒng)一進行了判斷修正，并以‘YYYYMMDD’的格式進行存儲；2) 對于存在旅客人數(shù)為0或者NULL的采集異常數(shù)據(jù)，將此類數(shù)據(jù)從數(shù)據(jù)集中進行剔除；3) 對于航班總布局?jǐn)?shù)存在異常的情況，通過參考歷史同航班數(shù)據(jù)的航班總布局?jǐn)?shù)目進行修正補充；4) 對于存在的數(shù)據(jù)缺失，航班數(shù)目不全的情況，通過利用離港系統(tǒng)不同數(shù)據(jù)接口所得到的數(shù)據(jù)進行相互補充，盡可能地保證數(shù)據(jù)集合的完整性.

在航線需求預(yù)測實驗中，對于源數(shù)據(jù)總共處理得到包括訂座數(shù)、客座率、月份、星期、分配座位數(shù)、折扣率、節(jié)假日標(biāo)識、預(yù)售數(shù)1、預(yù)售數(shù)2、預(yù)售數(shù)3共10個特征指標(biāo)，每條航線共包括了2017，2018，2019年的實驗數(shù)據(jù)，以廈門-上海航線在2017年1月份第一周的數(shù)據(jù)作為示例，數(shù)據(jù)預(yù)處理后得到的結(jié)果如表1所示.

表1 實驗中使用的廈門-上海航線數(shù)據(jù)集Tab.1 Xiamen-Shanghai route dataset used in the experiment

1.2數(shù)據(jù)標(biāo)準(zhǔn)化

為了使10個不同維度的特征數(shù)據(jù)在數(shù)據(jù)上具備一定的比較性，在構(gòu)建預(yù)測模型之前，首先對10個不同維度的特征數(shù)據(jù)進行標(biāo)準(zhǔn)化與歸一化操作，按一定比例將數(shù)據(jù)進行縮放，使數(shù)據(jù)值全部都落入一個小的特定區(qū)間.由于節(jié)假日標(biāo)識特征屬于類別數(shù)據(jù)，因此，在做歸一化操作之前，需要對該類別數(shù)據(jù)進行數(shù)據(jù)化操作.數(shù)據(jù)化操作的方式是通過對類別數(shù)據(jù)進行標(biāo)簽編碼將其轉(zhuǎn)換成連續(xù)的數(shù)值型變量，把不是連續(xù)的文本或數(shù)字通過標(biāo)簽各做一個編號.經(jīng)過標(biāo)簽編碼處理后，節(jié)假日特征指標(biāo)編碼關(guān)系如下：N標(biāo)簽記為0，中秋編碼為1，五一編碼為2，元旦編碼為3，國慶編碼為4，春節(jié)編碼為5，清明編碼為6，端午編碼為7，詳見表2所示.

表2 實驗中使用的節(jié)假日標(biāo)簽數(shù)據(jù)集Tab.2 Holiday label dataset used in the experiment

2 航線訂座需求預(yù)測方法

航線訂座需求預(yù)測問題與問題前序預(yù)測結(jié)果存在著較為緊密的關(guān)聯(lián)，航線需求數(shù)在時序上呈現(xiàn)一定的周期性波動，隨著時序的長期移動，預(yù)測值與前序預(yù)測結(jié)果整體上具備相同的變化趨勢.此外，考慮到航司收益管理的定價政策，前序預(yù)測值與航線預(yù)售結(jié)果往往對航司票價折扣的波動有著關(guān)鍵的影響，因此，將LSTM神經(jīng)網(wǎng)絡(luò)算法應(yīng)用在該具備時間序列特征的場景中是可行且具備一定優(yōu)勢的.

本研究算法的基本實現(xiàn)過程如圖1所示，整體可以劃分為：歷史數(shù)據(jù)與預(yù)售數(shù)據(jù)的采集,對采集數(shù)據(jù)的清洗與過濾,根據(jù)采集數(shù)據(jù)計算特征指標(biāo)數(shù)據(jù),對數(shù)據(jù)進行標(biāo)準(zhǔn)化,由數(shù)據(jù)構(gòu)建LSTM航線需求預(yù)測模型這幾大步驟.

圖1 算法實現(xiàn)過程圖Fig.1 Algorithm implementation process diagram

2.1 注意力機制

注意力機制的原理可以概括為以下三個步驟，首先是通過query和key進行相似度的計算，從而獲得權(quán)重值；然后需要對獲得的權(quán)重值進行歸一化處理，使其直接可用；最后將處理后的權(quán)重值與Value進行加權(quán)求和.

注意力(Attention)機制的本質(zhì)思想如圖2所示，由一系列的鍵值組合〈Key,Value〉數(shù)據(jù)對元素共同構(gòu)成了Source.Target中的元素Query通過Source，計算與各個Key的相關(guān)性或者相似性，得到每個Key映射到相應(yīng)Value的權(quán)重系數(shù).再對Value做一個加權(quán)求和操作，便獲得了Attention的最終結(jié)果數(shù)值.

圖2 Attention機制Fig.2 Attention mechanism

2.2 長短時記憶神經(jīng)網(wǎng)絡(luò)

長短時記憶神經(jīng)網(wǎng)絡(luò)是具備反饋結(jié)構(gòu)的一種神經(jīng)網(wǎng)絡(luò)，其為循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)的變種，該神經(jīng)網(wǎng)絡(luò)巧妙地解決了RNN的長期依賴問題[8-9].由圖3所示，LSTM的循環(huán)結(jié)構(gòu)體中被設(shè)計成了由三個門結(jié)構(gòu)組成，即輸入門、遺忘門以及輸出門[10].其中，輸入門用于處理當(dāng)前時刻下的輸入，其輸出是由兩部門內(nèi)容組成.一部分是ht-1和xt經(jīng)過激活函數(shù)sigmoid得到的輸出結(jié)果it,另外一個部分則是通過了激活函數(shù)tanh后得到的輸出結(jié)果at,輸出結(jié)果it和輸出結(jié)果at兩者進行相乘后再對細胞狀態(tài)進行更新,其數(shù)學(xué)表達式為：

圖3 LSTM示意圖Fig.3 LSTM schematic

it=σ(Wiht-1+Uixt+bi)

(1)

at=tanh(Waht-1+Uaxt+ba)

(2)

其中：Wi,Ui,bi,Wa,Ua,ba代表線性關(guān)系的系數(shù)和偏倚，σ代表激活函數(shù)sigmoid.輸出門負責(zé)計算并輸出隱藏狀態(tài)ht，隱藏狀態(tài)ht由兩個部分組成；第一個部分是由上一個時刻的隱藏狀態(tài)ht-1與本時刻的輸入xt通過激活函數(shù)sigmoid后得到的at；第二個部分則是由本時刻新的隱藏細胞狀態(tài)Ct通過激活函數(shù)tanh后得到.其數(shù)學(xué)表達式為:

ot=σ(Woht-1+Uoxt+bo)

(3)

ht=ot⊙tanh(Ct)

(4)

遺忘門是用來控制是否遺忘，以一定概率控制是否遺忘上一層的細胞狀態(tài)，其輸入包括上一時刻的隱藏狀態(tài)ht-1和本時刻的輸入xt,兩個輸入通過激活函數(shù)(一般為sigmoid函數(shù))后得到遺忘門的輸出

ft.因為經(jīng)過sigmoid激活函數(shù)后的輸出范圍在[0,1]，所以遺忘門的輸出ft代表的含義是對于上一時刻隱藏狀態(tài)的遺忘概率，其數(shù)學(xué)表達式為：

ft=σ(Wfht-1+Ufxt+bf)

(5)

其中：Wf,Uf,bf代表線性關(guān)系的系數(shù)和偏倚，σ代表激活函數(shù)sigmoid.LSTM除了和RNN一樣會在每個序列索引位置向前傳播隱藏狀態(tài)ht之外，另外還多了一個隱藏狀態(tài)Ct，這個隱藏狀態(tài)通常稱為細胞狀態(tài)[11]，Ct在LSTM的結(jié)構(gòu)如圖4所示.Ct只與少量的線交互，像傳送帶一樣，將數(shù)據(jù)直接運行在整個鏈上，并受到各個控制門的影響.

圖4 LSTM示意圖Fig.4 LSTM schematic

2.3 基于注意力機制的LSTM航線訂座需求預(yù)測模型

本研究實驗數(shù)據(jù)采集存儲于oracle 11g數(shù)據(jù)庫中，實驗環(huán)境基于python 3.7.0，基于python的keras人工神經(jīng)網(wǎng)絡(luò)庫處理數(shù)據(jù)并建立預(yù)測方程.采用LSTM神經(jīng)網(wǎng)絡(luò)算法對標(biāo)準(zhǔn)化和歸一化后的實驗數(shù)據(jù)進行訓(xùn)練和預(yù)測，訓(xùn)練過程首先以7∶3的比例將數(shù)據(jù)集合劃分為訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù).以廈門-上海航線為例，包含2017—2019年期間經(jīng)過加工處理后共1 095條航線數(shù)據(jù)，其中，訓(xùn)練數(shù)據(jù)767條數(shù)據(jù)，測試數(shù)據(jù)328條數(shù)據(jù).完成數(shù)據(jù)集的劃分后，需要將準(zhǔn)備好的數(shù)據(jù)集轉(zhuǎn)換構(gòu)造為監(jiān)督學(xué)習(xí)問題，考慮到上一個時間段對當(dāng)天航線訂座數(shù)的影響，將監(jiān)督學(xué)習(xí)問題的框架作為航線條件和訂座情況在前一個時間步驟預(yù)測航線訂座數(shù)，構(gòu)建數(shù)據(jù)集通過前n天的航線需求數(shù)據(jù)對當(dāng)天的航線訂座數(shù)進行預(yù)測，這里n表示時間步長參數(shù)，需要通過實驗對參數(shù)進行調(diào)整確定.

由于當(dāng)前數(shù)據(jù)集是按照航線起飛日期依次排序的時間序列數(shù)據(jù)集，實驗過程首先對標(biāo)準(zhǔn)化后的數(shù)據(jù)集合做了一次轉(zhuǎn)化預(yù)處理，使得數(shù)據(jù)集能夠滿足條件用于最近n天需求情況對當(dāng)天航線訂座數(shù)進行多步預(yù)測.通過把時間序列數(shù)據(jù)轉(zhuǎn)換成一組包含成對輸入輸出的序列數(shù)據(jù)的方式，使得問題間接轉(zhuǎn)化為監(jiān)督學(xué)習(xí)問題，轉(zhuǎn)化的核心方法是用到了Pandas所提供的shift()函數(shù).對于一個給定的DataFrame數(shù)據(jù)，shift()函數(shù)實現(xiàn)了對輸入的列進行復(fù)制，并將該列復(fù)制的副本數(shù)據(jù)往后或者往前移動，其中，移動后存在的數(shù)據(jù)空位會用NaN進行填充.通過上述操作，創(chuàng)建出了滯后值的數(shù)據(jù)列，通過觀察值與滯后值的數(shù)據(jù)列，便能夠較好地得到一個監(jiān)督學(xué)習(xí)數(shù)據(jù)集的格式數(shù)據(jù).以時間步長n=7時為例，處理后的數(shù)據(jù)格式如圖5所示.

圖5 監(jiān)督學(xué)習(xí)數(shù)據(jù)集Fig.5 Supervised learning data set

采用多變量輸入數(shù)據(jù)擬合LSTM模型，將輸入(X)重構(gòu)為LSTM預(yù)期的3D格式，即[樣本數(shù)，時間步長，特征]，對于訓(xùn)練數(shù)據(jù)，重構(gòu)后即為[767,n,10]的格式.針對航線訂座需求預(yù)測場景，為了能夠更好地捕獲重要信息，在設(shè)計航線需求預(yù)測模型時引入注意力機制用于權(quán)重參數(shù)的分配，在輸入層(LSTM)之前加入Attention.為了滿足注意力結(jié)構(gòu)里Dense層的輸入格式，Attention的設(shè)計首先通過Pemute對輸入的第1和第2個維度進行置換，置換后輸出格式為[特征，時間步長]，然后將格式為[特征，時間步長]的數(shù)據(jù)輸入到激活函數(shù)為softmax的Dense層，計算得到每個特征的權(quán)重.通過Dense后，需要用Permute再次對維度進行變換，完成變換后利用Multiply層完成Attention的第二個結(jié)構(gòu)，用權(quán)重乘以輸入，便完成了模型中注意力層的設(shè)計.對應(yīng)參數(shù)分配結(jié)構(gòu)圖,如圖6所示.

圖6 參數(shù)分配結(jié)構(gòu)圖Fig.6 Parameter allocation structure diagram

通過注意力層的權(quán)重分配后，將得到的格式為[樣本數(shù)，時間步長，特征]的數(shù)據(jù)輸入到LSTM層，利用Adam 算法不斷優(yōu)化調(diào)整預(yù)測模型參數(shù)，對訓(xùn)練數(shù)據(jù)集合進行調(diào)參訓(xùn)練，主要針對units，epochs，batch_size進行調(diào)參.其中，units參數(shù)為整數(shù)，代表輸出維度，指的是LSTM神經(jīng)網(wǎng)絡(luò)中包含的前饋神經(jīng)網(wǎng)絡(luò)中的隱藏神經(jīng)元個數(shù).epochs參數(shù)為整數(shù)，代表訓(xùn)練的總輪數(shù)，當(dāng)沒有設(shè)置initial_epoch時，模型的訓(xùn)練將會在輪次達到epochs參數(shù)所設(shè)置的值時停止.batch_size參數(shù)為整數(shù)，代表模型訓(xùn)練中進行梯度下降的每個batch使用的樣本數(shù)，每一個batch的樣本在模型訓(xùn)練的過程中會被計算一次梯度下降，對目標(biāo)函數(shù)進行優(yōu)化.以廈門-上海航線的LSTM預(yù)測模型為例，經(jīng)過多次調(diào)參與測試，最終units參數(shù)設(shè)置為60，epochs參數(shù)設(shè)置為200，batch_size參數(shù)設(shè)置為60.確定了上述參數(shù)后，將時間步長參數(shù)n在[3,10]區(qū)間內(nèi)分別取值進行調(diào)參實驗，根據(jù)n的不同取值，預(yù)測實驗結(jié)果如表3所示.

表3 時間步長調(diào)參結(jié)果Tab.3 Time step tuning results

根據(jù)調(diào)參結(jié)果，時間步長n在取值7時平均絕對誤差指標(biāo)(mean absolute error，MAE)與均方根誤差指標(biāo)(root mean square error，RMSE)結(jié)果最優(yōu)，分別為13.1與17.2，繪制損失函數(shù)如圖7所示.

圖7 廈門-上海航線loss函數(shù)Fig.7 Xiamen-Shanghai route loss function

3 實驗結(jié)果與分析

為了驗證本研究提出的預(yù)測模型性能，分別采用收益管理領(lǐng)域里傳統(tǒng)需求預(yù)測定量分析法的常用方法：移動平均法、指數(shù)平滑法,以及新興的神經(jīng)網(wǎng)絡(luò)預(yù)測方法如RNN神經(jīng)網(wǎng)絡(luò)算法[12-13]、CNN-LSTM混合模型[14]對航線訂座需求預(yù)測進行實驗驗證與對比分析.以廈門-上海航線為例，多次實驗后取平均值，LSTM與各預(yù)測算法的實驗對比結(jié)果分別如圖8～11所示.其中，縱坐標(biāo)表示航線訂座人數(shù)，橫坐標(biāo)表示測試樣例.

通過對比圖8～11中預(yù)測值與真實值的曲線圖，直觀地看出，移動平均法與指數(shù)平滑法這兩個傳統(tǒng)的需求預(yù)測方法的預(yù)測結(jié)果都不理想，整體預(yù)測數(shù)值與實際值的偏差較大，曲線上下波動無規(guī)律，通過實驗曲線可以明顯地看出這兩個傳統(tǒng)算法在本次實驗預(yù)測中出現(xiàn)了嚴(yán)重誤差，全都較大偏離了真實值.RNN神經(jīng)網(wǎng)絡(luò)的預(yù)測曲線相比于傳統(tǒng)預(yù)測方法來看整體結(jié)果較好，但是預(yù)測結(jié)果整體偏大，預(yù)測值的精度相較于Attention-LSTM神經(jīng)網(wǎng)絡(luò)較差，與真實值之間的偏差較大.CNN-LSTM混合模型應(yīng)用于股票指數(shù)預(yù)測中具有較好的效果[14]，然而應(yīng)用在航線需求預(yù)測中的實驗效果并不理想，整體預(yù)測結(jié)果偏差較大，曲線趨勢平緩，對于峰值的預(yù)測效果較差.相比之下，基于注意力機制的LSTM預(yù)測模型得出的預(yù)測結(jié)果準(zhǔn)確性和穩(wěn)定性都有顯著提升，且對于曲線中的峰值情況的預(yù)測結(jié)果相比于傳統(tǒng)預(yù)測方法，RNN神經(jīng)網(wǎng)絡(luò)及CNN-LSTM混合模型也較為接近，偏差值較小，預(yù)測效果更為準(zhǔn)確.

圖8 Attention-LSTM與移動平均法預(yù)測對比Fig.8 Attention-LSTM and moving average prediction comparison

圖9 Attention-LSTM與指數(shù)平滑法預(yù)測對比Fig.9 Attention-LSTM and Exponential smoothing prediction comparison

圖10 Attention-LSTM與RNN預(yù)測對比Fig.10 Attention-LSTM and RNN comparison

圖11 Attention-LSTM與CNN-LSTM預(yù)測對比Fig.11 Attention-LSTM and CNN-LSTM comparison

根據(jù)預(yù)測結(jié)果與實際真實值計算出實驗結(jié)果的平均絕對誤差指標(biāo)與均方根誤差指標(biāo)進行定量分析評價.平均絕對誤差(MAE)是所有單個觀測值與算術(shù)平均值偏差的絕對值平均，由于其能夠解決誤差相互抵消的問題，因而能夠準(zhǔn)確反映實際預(yù)測誤差的大小[15];均方根誤差(RMSE)是預(yù)測值與真實值偏差的平方與觀測次數(shù)n比值的平方根，可以用來衡量觀測值同真實值之間的偏差[16].MAE和PMSE的計算公式分別為：

(6)

分別采用移動平均法、指數(shù)平滑法、RNN神經(jīng)網(wǎng)絡(luò)算法、CNN-LSTM混合模型進行對比實驗，對航線訂座需求預(yù)測進行實驗驗證.表4為各預(yù)測模型的統(tǒng)計結(jié)果.

表4 預(yù)測誤差統(tǒng)計結(jié)果Tab.4 Forecast error statistics

由表4可知，基于注意力機制的LSTM模型預(yù)測精度最高，其MAE結(jié)果為13.1，RMSE結(jié)果為17.2，與移動平均法相比，MAE降低了43.0%，RMSE降低了39.9%；與指數(shù)平滑法相比，MAE降低了41.5%，RMSE降低了37.9%；與RNN神經(jīng)網(wǎng)絡(luò)算法相比，MAE降低了9.0%，RMSE降低了5.0%；與CNN-LSTM相比，MAE降低了13.8%，RMSE降低了11.3%.

總體來看，基于注意力機制的LSTM航線訂座需求預(yù)測模型相比較于其他傳統(tǒng)預(yù)測算法精度更高，預(yù)測結(jié)果明顯優(yōu)于文獻中已有的移動平均法、指數(shù)平滑法等傳統(tǒng)需求預(yù)測算法，也優(yōu)于新興的RNN神經(jīng)網(wǎng)絡(luò)算法以及CNN-RNN混合模型，該模型應(yīng)用于航線訂座需求時序數(shù)據(jù)變換趨勢的預(yù)測上明顯提高了精度，可以更加準(zhǔn)確地對航線需求的訂座規(guī)律和變化趨勢進行預(yù)測.

4 結(jié)論

提出的基于注意力機制的LSTM航線訂座需求預(yù)測模型具有較好的預(yù)測效果，可以較好地擬合歷史預(yù)售數(shù)據(jù)、航線布局、航線日期與航線訂座需求之間的關(guān)系，提高了對未來航線訂座情況的預(yù)測精度，為航線訂座需求的預(yù)測提供一種新的思路和方法.將基于注意力機制的LSTM航線訂座需求預(yù)測模型與傳統(tǒng)的需求預(yù)測方法、RNN神經(jīng)網(wǎng)絡(luò)算法及CNN-RNN混合模型進行實驗對比，代入實例驗證文中基于注意力機制的LSTM預(yù)測模型應(yīng)用于航線需求預(yù)測的有效性與優(yōu)越性.