陳靜杰，趙華治

(1.中國民航大學(xué) 電子信息與自動化學(xué)院，天津 300300； 2.中國民航大學(xué) 中歐航空工程師學(xué)院，天津 300300)

0 引 言

國內(nèi)外區(qū)間預(yù)測算法研究可以分為兩大類，第一類是基于精確點預(yù)測模型和誤差分析的區(qū)間預(yù)測算法[1-3]，第二類是基于數(shù)據(jù)驅(qū)動的區(qū)間預(yù)測算法[4-6]。目前區(qū)間預(yù)測算法主要應(yīng)用在風(fēng)速[1,4]、風(fēng)功率[2,3,7]、能量負載[8,9]等的區(qū)間預(yù)測上，航空油耗區(qū)間預(yù)測上，只有小樣本油耗數(shù)據(jù)區(qū)間上下界預(yù)測[10]以及在給定區(qū)間覆蓋率下的最小樣本求解[11]的研究，還沒有適用于任意航段的航空油耗區(qū)間預(yù)測算法的相關(guān)研究。

Khosravi等[5]將高質(zhì)量區(qū)間預(yù)測原則與神經(jīng)網(wǎng)絡(luò)損失函數(shù)相結(jié)合，提出了上下界估計(lower upper bound estimation，LUBE)方法，且該方法已經(jīng)應(yīng)用在了洪水預(yù)測[12]，但是LUBE方法與梯度下降法不相容，只能采用不同于梯度下降法的模擬退火算法[13]和粒子群優(yōu)化算法[14]進行訓(xùn)練，而目前梯度下降法已經(jīng)成為了神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)訓(xùn)練方法[15]。Tim Pearce等[6]在LUBE方法的基礎(chǔ)上，通過改進神經(jīng)網(wǎng)絡(luò)損失函數(shù)，提出了深度學(xué)習(xí)高質(zhì)量區(qū)間預(yù)測方法，讓算法能夠通過梯度下降法進行訓(xùn)練，而且此區(qū)間預(yù)測算法在不明確數(shù)據(jù)分布的情況下，依舊具有較優(yōu)的算法性能。

本文將深度學(xué)習(xí)高質(zhì)量區(qū)間預(yù)測算法應(yīng)用于航段油耗區(qū)間預(yù)測上，結(jié)合飛機航段油耗數(shù)據(jù)總數(shù)據(jù)量大，各航段數(shù)據(jù)量、數(shù)據(jù)分布區(qū)間不一致的特點，采用初級數(shù)據(jù)源分類預(yù)處理、自適應(yīng)參數(shù)、損失函數(shù)改進的方法，對原區(qū)間預(yù)測算法進行了優(yōu)化，提出了更適用于航段油耗區(qū)間預(yù)測這一應(yīng)用場景的神經(jīng)網(wǎng)絡(luò)航段油耗區(qū)間預(yù)測算法。

各個機型航段油耗數(shù)據(jù)分布相似，本文采用某航空公司某一年A330實際運行數(shù)據(jù)進行區(qū)間預(yù)測模型訓(xùn)練和測試。并在短航程、中航程、長航程中各選擇兩個典型航段，共計6個航段，用于算法性能定量分析比較。

1 深度學(xué)習(xí)高質(zhì)量區(qū)間預(yù)測算法

1.1 損失函數(shù)推導(dǎo)

深度學(xué)習(xí)高質(zhì)量區(qū)間預(yù)測算法(簡記為QD)中高質(zhì)量指在給定置信水平1-α下，訓(xùn)練得到的預(yù)測區(qū)間覆蓋率(prediction interval coverage probability，PICP)滿足PICP大于等于1-α， 且訓(xùn)練得到的預(yù)測區(qū)間平均長度(mean prediction interval width，MPIW)盡可能的小?；诟哔|(zhì)量原則可以推導(dǎo)出深度學(xué)習(xí)高質(zhì)量區(qū)間預(yù)測算法的損失函數(shù)。

設(shè)置輸入自變量和目標(biāo)觀測值為X和y，n個數(shù)據(jù)點，xi∈D是對應(yīng)于yi的第i個D維的輸入量。對于1≤i≤n，待預(yù)測的預(yù)測區(qū)間上下界分別記作預(yù)測區(qū)間應(yīng)該以一定比率1-α覆蓋所有觀測值，其中α取值一般為0.01或者0.05

(1)

設(shè)置長度為n的向量K， 其中n為觀測值個數(shù)，向量中的元素ki∈{0,1} 值由下面公式定義

(2)

則，覆蓋的觀測值總數(shù)為

(3)

預(yù)測區(qū)間覆蓋率PICP和預(yù)測區(qū)間平均長度MPIW由下列公式定義

(4)

(5)

其中，預(yù)測區(qū)間覆蓋率是落在預(yù)測區(qū)間內(nèi)的觀測值數(shù)量與所有觀測值數(shù)量的比值。預(yù)測區(qū)間平均長度是所有預(yù)測得到的區(qū)間長度的平均值，其單位與觀測值的單位一致。覆蓋率與設(shè)定的置信水平差異越小，算法性能越優(yōu)；覆蓋率相近，預(yù)測區(qū)間平均長度越短，算法性能越優(yōu)。

對于PICP，采用最大似然法，根據(jù)K和α尋找使得神經(jīng)網(wǎng)絡(luò)的最優(yōu)參數(shù)θ

(6)

其中，K中的每個元素ki可以看作伯努利隨機變量，即ki～Bernoulli(1,1-α)。 同時可以進一步假設(shè)每個元素ki滿足獨立同分布，那么預(yù)測區(qū)間覆蓋總數(shù)c可以看作滿足二項式分布，即c～Binomial(n,(1-α))， 此時似然函數(shù)可以寫為

(7)

根據(jù)中心極限理論(特別是Moivre-Laplace theorem)，對于較大的數(shù)據(jù)量n，二項式分布可以近似看作正態(tài)分布

(8)

采用負對數(shù)似然函數(shù)Negative Log Likelihood(NLL)最小化代替似然函數(shù)最大化，因此式(8)可以簡化為

(9)

只考慮當(dāng)PICP<(1-α) 時的單邊損失，綜合考慮預(yù)測區(qū)間長度和覆蓋率的重要性。因此結(jié)合式(5)和增加懲罰系數(shù)λ的式(9)得到數(shù)據(jù)驅(qū)動的損失函數(shù)

(10)

由于式(4)PICP中的ki為階梯函數(shù)，則損失函數(shù)LossQD在部分點處不可導(dǎo)，不滿足梯度下降法的條件，因此利用Sigmoid函數(shù)σ對ki進行柔和化處理，使其處處可導(dǎo)。其中s為放大系數(shù)

(11)

1.2 構(gòu)建神經(jīng)網(wǎng)絡(luò)

(12)

圖1 神經(jīng)網(wǎng)絡(luò)區(qū)間預(yù)測模型結(jié)構(gòu)

(13)

2 改進的航段油耗區(qū)間QD算法

深度學(xué)習(xí)高質(zhì)量區(qū)間預(yù)測算法損失函數(shù)中的區(qū)間覆蓋率項由概率論相關(guān)定理推導(dǎo)而來，進行柔和化處理之后，加上平均區(qū)間長度項得到損失函數(shù)。從損失函數(shù)式(10)可以推導(dǎo)出，高質(zhì)量區(qū)間預(yù)測算法在航段油耗預(yù)測這一應(yīng)用場景下存在以下不足：

(1)該損失函數(shù)在訓(xùn)練過程中只需要滿足預(yù)測區(qū)間覆蓋率大于1-α， 就能得到預(yù)測區(qū)間覆蓋率項最小值，因此訓(xùn)練得到的區(qū)間覆蓋率不一定接近設(shè)定的置信水平。而在航段油耗區(qū)間預(yù)測時需要滿足預(yù)測的區(qū)間覆蓋率非常接近設(shè)定的置信水平值，同時保證平均區(qū)間長度盡可能的小。

(2)初始區(qū)間覆蓋率項、平均區(qū)間長度項在該損失函數(shù)中的權(quán)重隨著訓(xùn)練樣本數(shù)變化而變化，算法普適性較差，區(qū)間覆蓋率項、平均區(qū)間長度項在訓(xùn)練時無法平衡，會出現(xiàn)偏向某一項的情況，最終導(dǎo)致預(yù)測模型的結(jié)果不滿足最初的需求。

因此在深度學(xué)習(xí)高質(zhì)區(qū)間預(yù)測算法基礎(chǔ)上，結(jié)合航段油耗數(shù)據(jù)量以及數(shù)據(jù)分布特點對原區(qū)間預(yù)測算法進行了如下改進。提出了更加適合航段油耗預(yù)測這一應(yīng)用場景的航段油耗深度學(xué)習(xí)高質(zhì)量區(qū)間預(yù)測算法。

2.1 訓(xùn)練數(shù)據(jù)優(yōu)化

航段油耗數(shù)據(jù)分布情況如圖2所示，可以看出航段油耗數(shù)據(jù)具有各航段數(shù)據(jù)量不一致、分布區(qū)間不一致、總數(shù)據(jù)量大的特點。

圖2 航段油耗分布

根據(jù)損失函數(shù)式(10)和第3章中QD算法定性定量結(jié)果可以推導(dǎo)出，如果考慮全局預(yù)測區(qū)間覆蓋率和平均預(yù)測區(qū)間長度，采用全部樣本直接訓(xùn)練，會出現(xiàn)整體達到最優(yōu)解而各航段不滿足預(yù)期的情況，同時相同置信水平和平均區(qū)間長度下存在多種最優(yōu)解，導(dǎo)致多次訓(xùn)練得到的結(jié)果不一致且差異較大。因此QD算法在航段油耗區(qū)間預(yù)測時穩(wěn)定性和可靠性較低，不同航段下算法性能差異較大，需要進行優(yōu)化改進。

首先對訓(xùn)練數(shù)據(jù)進行優(yōu)化，將初級數(shù)據(jù)源按不同航段或者航段大圓距離進行分類，統(tǒng)計各航段數(shù)據(jù)量。同時針對各航段油耗分布范圍不一致的特點，將所有訓(xùn)練數(shù)據(jù)進行無量綱化處理，提高算法的普適性。用各個航段的數(shù)據(jù)進行訓(xùn)練以得到合理油耗的上下界。

2.2 算法改進

(14)

(15)

其中，MAX,MIN是觀測值y無量綱化時設(shè)定的最大最小值，K，L是常數(shù)，K是用來增加覆蓋率項的權(quán)重，可以降低預(yù)測覆蓋率和置信水平之間的最大差值，L的取值范圍2到5用來略微擴大相鄰觀測值間的差異。

通過觀察原損失函數(shù)公式，可以進一步將max(0,(1-α)-PICP)2優(yōu)化成max(0,(1-α)-PICP)， 這樣既能解除前文提到的多樣本數(shù)限制，又能減緩損失函數(shù)值波動，使其盡快達到最優(yōu)值且趨于平穩(wěn)。將新的懲罰系數(shù)λ代入式(10)中，得到新的損失函數(shù)計算公式。最后使用新的損失函數(shù)構(gòu)建新的神經(jīng)網(wǎng)絡(luò)航段油耗區(qū)間預(yù)測模型

(16)

在定義新的懲罰系數(shù)λ和放大系數(shù)s之后，能讓不同樣本數(shù)下的初始區(qū)間長度項和區(qū)間覆蓋率項在相同量級，且PICP接近理論值，增加了算法的普適性。設(shè)定的K，L值能讓模型在訓(xùn)練過程中，優(yōu)先保證區(qū)間覆蓋率非常接近設(shè)定的置信水平值，然后使得區(qū)間長度最短，達到最優(yōu)解，提升了算法的可靠性。上述設(shè)定使得多次訓(xùn)練的損失函數(shù)最小值非常接近，預(yù)測的結(jié)果也非常接近，算法穩(wěn)定性增加。

3 實驗結(jié)果分析與比較

前已述及原深度學(xué)習(xí)高質(zhì)量區(qū)間預(yù)測算法記作算法QD，下文將訓(xùn)練數(shù)據(jù)優(yōu)化后的算法記作算法QD_data，將最后改進得到的航段油耗深度學(xué)習(xí)高質(zhì)量區(qū)間預(yù)測算法記作算法QD_fuel。隨機選取實驗數(shù)據(jù)的80%作為訓(xùn)練數(shù)據(jù)，采用3種區(qū)間預(yù)測算法進行建模，設(shè)置置信水平為90%，每種算法進行3次訓(xùn)練，對所有訓(xùn)練結(jié)果進行定性和定量的分析和比較。

3.1 實驗結(jié)果定性分析與比較

將訓(xùn)練得到的油耗區(qū)間上下界以及訓(xùn)練過程中的損失變化值進行可視化，得到如圖3和圖4所示實驗結(jié)果。

圖4 航段油耗區(qū)間預(yù)測結(jié)果

QD算法僅考慮全局覆蓋率和平均區(qū)間長度，經(jīng)一次訓(xùn)練得到各航段預(yù)測結(jié)果，訓(xùn)練過程中損失函數(shù)值變化情況如圖3(a)所示，QD_data和QD_fuel算法，分別訓(xùn)練各航段油耗數(shù)據(jù)得到預(yù)測結(jié)果，各航段訓(xùn)練過程中的損失函數(shù)值變化情況如圖3(b)、圖3(c)所示。

從圖3(a)可以看出，損失函數(shù)值趨于最小值且已經(jīng)平穩(wěn)，說明這是該區(qū)間預(yù)測模型訓(xùn)練得到的最優(yōu)結(jié)果，但是從圖4(a)可以看出，原區(qū)間預(yù)測算法訓(xùn)練得到各個航段的區(qū)間覆蓋率差異較大，有的航段PICP≈100%， 有的航段PICP?(1-α)。 如果用于航司所報告油耗數(shù)據(jù)合理性判斷，會出現(xiàn)部分航段大量出現(xiàn)不合理數(shù)據(jù)，部分航段幾乎沒有不合理數(shù)據(jù)的情況，對于不同航段算法普適性、可靠性均較低；從圖3(b)可以看出，損失函數(shù)值在訓(xùn)練過程中一直在波動，部分航段在訓(xùn)練結(jié)束時損失并未趨于穩(wěn)定和最小值，說明該區(qū)間預(yù)測模型未能訓(xùn)練出最優(yōu)結(jié)果，從圖4(b)可以看出，通過訓(xùn)練數(shù)據(jù)優(yōu)化，算法普適性和可靠性有所提高，但是仍有部分航段出現(xiàn)未能訓(xùn)練出結(jié)果或者訓(xùn)練結(jié)果陷入局部最優(yōu)的情況；從圖3(c)中損失函數(shù)值的變化可以看出，所有航段均能趨于穩(wěn)定且到達最優(yōu)解，從圖4(c)可以看出，所有航段均未發(fā)現(xiàn)異常訓(xùn)練結(jié)果，算法普適性和可靠性進一步提高。

3.2 實驗結(jié)果定量分析與比較

本文選用預(yù)測區(qū)間覆蓋率PICP和無量綱化平均預(yù)測區(qū)間長度(nondimensionalized mean prediction interval width，NMPIW)兩個區(qū)間預(yù)測算法性能定量評價指標(biāo)對算法進行定量分析和比較

(17)

其中，R為人為設(shè)定的觀測值區(qū)間長度參考范圍。無量綱化平均預(yù)測區(qū)間長度是平均預(yù)測區(qū)間長度與參考的觀測值區(qū)間長度R的比值。

6個航段3次訓(xùn)練得到的實驗結(jié)果見表1～表3。QD、QD_data、QD_fuel訓(xùn)練得到的全局預(yù)測區(qū)間覆蓋率分別為0.9104，0.9185，0.9004；全局預(yù)測區(qū)間平均長度6750.59(kg)，7022.88(kg)，6503.51(kg)。

從表1和表2中單次訓(xùn)練的結(jié)果可以發(fā)現(xiàn)QD算法和QD_data算法訓(xùn)練得到的預(yù)測覆蓋率PICP不在設(shè)定的置信水平周圍，算法可靠性較低。從表1和表2中多次訓(xùn)練得到的實驗結(jié)果可以發(fā)現(xiàn)由于神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)特性以及隨機生成的權(quán)重、偏置等參數(shù)的影響，神經(jīng)網(wǎng)絡(luò)區(qū)間預(yù)測模型存在模型不確定性，實驗結(jié)果容易陷入局部最優(yōu)，或者在設(shè)定的有限迭代次數(shù)下達不到最優(yōu)解，導(dǎo)致不同次訓(xùn)練得到的結(jié)果差異性較大，算法本身穩(wěn)定性低。

表1 QD算法PICP和NMPIW結(jié)果對比

表2 QD_data算法PICP和NMPIW結(jié)果對比

表3 QD_fuel算法PICP和NMPIW結(jié)果對比

從表3可以看出，改進后的區(qū)間預(yù)測算法訓(xùn)練得到的預(yù)測區(qū)間覆蓋率PICP均在設(shè)定的置信水平周圍，無量綱化區(qū)間長度NMPIW明顯減小，不同次訓(xùn)練得到的PICP變化上下不超過1個數(shù)據(jù)點引起的覆蓋率變化，同時不同次訓(xùn)練得到的無量綱化區(qū)間長度NMPIW變化不超過1%，因此算法可靠性、穩(wěn)定性明顯提升。此外改進后的算法普適性增強，對不同訓(xùn)練樣本數(shù)、不同數(shù)據(jù)分布的各個航段均具有較優(yōu)的可靠性和穩(wěn)定性。

為了進一步驗證本文算法的有效性，引入基于伽馬函數(shù)近似的參數(shù)估計區(qū)間預(yù)測算法以及LUBE算法，其中基于伽馬函數(shù)近似的區(qū)間預(yù)測算法記作Gamma算法，是一種先對航段歷史數(shù)據(jù)通過伽馬函數(shù)近似擬合得到數(shù)據(jù)分布參數(shù)，然后根據(jù)置信水平進行區(qū)間預(yù)測的算法。LUBE算法是以區(qū)間覆蓋率和寬度的綜合指標(biāo)(coverage width-based criterion，CWC)作為損失函數(shù)，構(gòu)建單輸入、單隱藏層、雙輸出的區(qū)間預(yù)測神經(jīng)網(wǎng)絡(luò)模型，然后通過粒子群算法中粒子個體與群體之前的信息相互，不斷更新位置和速度信息，最終得到最優(yōu)訓(xùn)練結(jié)果，實現(xiàn)區(qū)間預(yù)測模型構(gòu)建。

Gamma算法的優(yōu)點在于擬合了各航段數(shù)據(jù)分布情況、計算效率高、沒有模型不確定性。算法缺點為僅考慮了區(qū)間覆蓋率，根據(jù)設(shè)定的置信水平分配兩邊覆蓋率時，分配方法沒有明確的依據(jù)，現(xiàn)在常用的雙邊均分不一定合理，而且Gamma算法只能用于單影響因素區(qū)間預(yù)測。LUBE算法的優(yōu)點為損失函數(shù)綜合考慮了預(yù)測區(qū)間覆蓋率和預(yù)測區(qū)間長度，損失函數(shù)不需要處處可導(dǎo)，粒子群算法在足夠粒子數(shù)和迭代次數(shù)下可以得到全局的最優(yōu)解。算法缺點在于粒子群中粒子的初始位置和速度隨機生成，達到最優(yōu)解所需的粒子數(shù)和迭代次數(shù)不確定度高，導(dǎo)致在有限粒子數(shù)和迭代次數(shù)下訓(xùn)練得到的最優(yōu)解不一致，算法不確定度高，同時算法運行時間長，計算效率低。LUBE算法3次訓(xùn)練得到的實驗結(jié)果見表4。

表4 LUBE算法PICP和NMPIW結(jié)果對比

選擇PICP值、MPIW值以及算法運行時間t作為算法性能的定量評價指標(biāo)，設(shè)計部分航段和所有航段的算法性能測試實驗，在置信水平為90%時相同訓(xùn)練樣本及測試樣本情況下的算法性能對比結(jié)果見表5、表6。

表5 PICP和NMPIW部分航段預(yù)測結(jié)果對比

表6 PICP、MPIW和t全局預(yù)測結(jié)果對比

從表4中LUBE算法不同次訓(xùn)練得到的結(jié)果可以看出，在較少粒子數(shù)和迭代次數(shù)下，樣本數(shù)較多的航段未能訓(xùn)練得到最優(yōu)解，同時粒子初始化參數(shù)隨機獲取，在未能達到全局最優(yōu)時，不同次訓(xùn)練得到的區(qū)間長度差異較大，算法的穩(wěn)定性較差。從表6中可以看出LUBE算法的運行時間較長，如果增加粒子數(shù)和迭代次數(shù)，會進一步降低算法運行效率，在樣本數(shù)較少的航段出現(xiàn)計算資源浪費的情況。此外粒子數(shù)和迭代次數(shù)的選擇沒有可靠的依據(jù)，只能通過反復(fù)實驗得到平衡計算效率和計算精度的最優(yōu)參數(shù)。

從表5中Gamma算法預(yù)測結(jié)果可以看出，在樣本數(shù)較少的航段，由于樣本數(shù)較少，航段數(shù)據(jù)分布特點不明顯，導(dǎo)致Gamma函數(shù)近似擬合的效果較差，預(yù)測結(jié)果不理想，因此Gamma算法在數(shù)據(jù)量較少的航段的可靠性較差。

從表5、表6中部分航段和全局預(yù)測結(jié)果可以看出Gamma算法的計算效率最高，但是只考慮了預(yù)測區(qū)間覆蓋率，因此計算得到的平均區(qū)間長度較長，算法可靠度較低，對于數(shù)據(jù)量較少的航段，可靠性更低，算法不適用于小樣本區(qū)間預(yù)測。LUBE算法得到的區(qū)間覆蓋率接近設(shè)定的置信水平而且平均區(qū)間長度較小，但是算法運行時間較長，計算效率不高，同時最優(yōu)粒子數(shù)和迭代次數(shù)難以確定，需要平衡算法穩(wěn)定性和算法運行效率。本文算法得到的區(qū)間覆蓋率最接近設(shè)置值，且平均區(qū)間長度最短，計算效率較高，對于任意數(shù)據(jù)量的航段，均能實驗最準(zhǔn)確的預(yù)測。因此本文算法的可靠性最高，算法綜合性能最好。

4 結(jié)束語

本文將初級數(shù)據(jù)源按航段進行分類并進行無量綱化處理，構(gòu)建可以根據(jù)樣本數(shù)、設(shè)定的置信水平、設(shè)定的無量綱化范圍自適應(yīng)懲罰系數(shù)和放大系數(shù)的損失函數(shù)，提出了航段油耗深度學(xué)習(xí)高質(zhì)量區(qū)間預(yù)測算法。實驗結(jié)果表明，設(shè)定的置信水平為90%時，各航段的預(yù)測覆蓋率均在置信水平附近，總區(qū)間覆蓋率為PICP=0.9004， 預(yù)測區(qū)間平均長度6503.512(kg)，較改進前算法、Gamma算法、LUBE算法減少200(kg)到500(kg)，預(yù)測區(qū)間覆蓋率最接近設(shè)定的置信水平值。本文所提出的航段油耗深度學(xué)習(xí)高質(zhì)量區(qū)間預(yù)測算法具有較優(yōu)的可靠性、穩(wěn)定性和普適性。預(yù)測的航段合理油耗區(qū)間，可以用來對航司所報告油耗數(shù)據(jù)進行合理性判斷，并作為碳核查輔助工具基礎(chǔ)。此外航段油耗深度學(xué)習(xí)高質(zhì)量區(qū)間預(yù)測算法可以進一步擴大應(yīng)用場景，用于多影響因素，更精確的航段油耗區(qū)間預(yù)測，未來將引入航向、業(yè)載、飛行時間等多個影響因素，研究各航段多影響因素下區(qū)間預(yù)測算法的預(yù)測效果，得到更為合理可靠的油耗區(qū)間。