楊淑芬，曾 聰，唐鈺涵

(中交第二公路勘察設(shè)計研究院有限公司，武漢 430056)

電離層對穿越其中的無線信號造成折射和延遲，對基于衛(wèi)星的導(dǎo)航定位、位置服務(wù)、遙感、遙測等造成嚴(yán)重影響。美國方面取消SA政策后，電離層延遲和多路徑效應(yīng)被認(rèn)為是影響GNSS定位精度的最大誤差源[1]。因此，研究電離層總電子含量(total electric content, TEC)的變化規(guī)律并對其進(jìn)行預(yù)報，建立精確可靠的電離層延遲改正模型對實際應(yīng)用具有十分重要的意義[2]，電離層TEC預(yù)報已經(jīng)成為電離層研究中的熱點。文獻(xiàn)[3]利用時間序列進(jìn)行電離層TEC預(yù)報，預(yù)報的結(jié)果誤差在3 TECu以內(nèi)。文獻(xiàn)[4]提出經(jīng)驗正交函數(shù)(empirical orthogonal function, EOF)與LSTM(long short-term memory, LSTM)神經(jīng)網(wǎng)絡(luò)相結(jié)合的預(yù)報方法，實現(xiàn)了區(qū)域格網(wǎng)電離層預(yù)報并提高了預(yù)報精度。文獻(xiàn)[5]等通過最小二乘配置的方法進(jìn)行長期預(yù)報和短期預(yù)報，預(yù)報精度為1～7 TECu。文獻(xiàn)[6]建立集合經(jīng)驗?zāi)B(tài)分解(ensemble empirical mode decomposition, EEMD)與Holt-Winters組合的預(yù)報模型，在地磁平靜期模型的相對精度最優(yōu)可達(dá)91.71%，地磁活躍期最優(yōu)可達(dá)86.83%。文獻(xiàn)[7]提出小波分解和自回歸移動平均(autoregressive moving average model, ARMA)相結(jié)合的短期電離層預(yù)報方法，預(yù)報精度較單一ARMA模型有顯著提高。文獻(xiàn)[8]重點分析了BP神經(jīng)網(wǎng)絡(luò)和ARMA兩種模型在中緯度地區(qū)的預(yù)報效果，結(jié)果表明不同季節(jié)、不同電離層活躍情況下兩種模型的預(yù)報性能各有優(yōu)勢。然而，上述預(yù)報模型大多存在參數(shù)選取困難、自適應(yīng)性差、不同參數(shù)設(shè)置導(dǎo)致預(yù)報效果不穩(wěn)定、偏差較大等一系列問題，如何建立自動化程度高、效果穩(wěn)定的預(yù)報模型亟需進(jìn)一步研究。

論文基于IGS中心提供的電離層產(chǎn)品，選取深度學(xué)習(xí)方法中最適合時間序列預(yù)報的長短期記憶神經(jīng)網(wǎng)絡(luò)利用粒子群算法(particle swarm optimization, PSO)自適應(yīng)確定最優(yōu)解的特性改進(jìn)優(yōu)化確定參數(shù)，得到最優(yōu)神經(jīng)網(wǎng)絡(luò)模型，分別對低、中、高不同緯度的電離層TEC序列進(jìn)行預(yù)報分析，以建立一種簡潔高效、準(zhǔn)確度高的PSO-LSTM神經(jīng)網(wǎng)絡(luò)模型。

1 模型原理

1.1 粒子群算法

Kennedy和Eberhart依據(jù)鳥群覓食行為啟發(fā)于1995年首次提出粒子群算法。算法首先通過隨機生成的方式在給定的解空間內(nèi)生成粒子的初始位置以及初始速度，再根據(jù)需求解的問題確定適應(yīng)度函數(shù)并計算出初始的適應(yīng)度值，并得到個體局部最優(yōu)解及全局最優(yōu)解，最后通過粒子速度和位置的更新公式不斷進(jìn)行迭代得到解空間范圍內(nèi)的最優(yōu)解。粒子速度和位置的更新公式如下：

(1)

(2)

1.2 LSTM神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)模型對復(fù)雜的非線性關(guān)系進(jìn)行擬合具有速度快、精度高的優(yōu)勢，而電離層TEC時間序列數(shù)據(jù)因受到多種因素的影響呈現(xiàn)出非線性的特征，因此利用神經(jīng)網(wǎng)絡(luò)模型可以提高電離層TEC預(yù)報的精確度。LSTM神經(jīng)網(wǎng)絡(luò)[9]最早由Hochreiter和Schmidhuber在1997年提出，其已被證明在時間序列預(yù)報中能更好模擬數(shù)據(jù)的長期依賴性，記憶數(shù)據(jù)間的長期關(guān)系。相比于循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)，LSTM神經(jīng)網(wǎng)絡(luò)可以在更長的序列中取得較好的效果，能夠?qū)τ袃r值的信息進(jìn)行長期記憶。LSTM神經(jīng)網(wǎng)絡(luò)的神經(jīng)元由遺忘門、輸入門、更新門和輸出門4個門限組成，它們的算式為：

ft=σ(Wf[ht-1,xt]+bf),

(3)

it=σ(Wi[ht-1,xt]+bi),

(4)

Ut=tanh(WU[ht-1,xt]+bU),

(5)

Ot=σ(WO[ht-1,xt]+bO).

(6)

式中:ft,it,Ut和Ot分別為4個門限；前一時刻輸入值為ht-1、當(dāng)前時刻輸出值為ht、當(dāng)前時刻變量輸入值為xt；W為權(quán)重矩陣，b表示偏置項；σ和tanh分別為sigmoid和雙曲正切激活函數(shù)。遺忘門判斷是否讀取ht-1，輸入門判斷xt是否用于更新上一時刻的神經(jīng)元狀態(tài)Ct，更新門判斷Ct-1是否更新為Ct，輸出門用于確定當(dāng)前時刻的隱藏層輸出值，與神經(jīng)元狀態(tài)值共同確定最終的預(yù)報結(jié)果。

1.3 PSO-LSTM神經(jīng)網(wǎng)絡(luò)模型

與其它神經(jīng)網(wǎng)絡(luò)相似，LSTM神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練參數(shù)如隱含層神經(jīng)元個數(shù)和初始學(xué)習(xí)率難以確定，參數(shù)的選擇對模型的精度和穩(wěn)定性有較大程度的影響。為降低這種影響，利用粒子群算法對最優(yōu)初始學(xué)習(xí)率進(jìn)行參數(shù)尋優(yōu)，提高LSTM神經(jīng)網(wǎng)絡(luò)模型的精度和穩(wěn)定性，具體流程如下：

1)初始化粒子群參數(shù)，包括種群數(shù)量、最大迭代次數(shù)、學(xué)習(xí)因子、慣性因子、速度范圍以及位置范圍。

2)隨機生成一組初始學(xué)習(xí)率，將LSTM神經(jīng)網(wǎng)絡(luò)模型預(yù)報結(jié)果的均方根誤差作為適應(yīng)度函數(shù)進(jìn)行第一次迭代得到個體局部最優(yōu)解和全局最優(yōu)解，將其作為歷史最佳位置。

3)利用粒子速度和位置的更新公式對種群的速度以及位置進(jìn)行更新，并計算對應(yīng)的適應(yīng)度值。

4)當(dāng)適應(yīng)度值達(dá)到設(shè)置的精度要求時或模型達(dá)到設(shè)置的最大迭代次數(shù)時停止迭代并輸出此時的全局最優(yōu)解，將其作為最終的初始學(xué)習(xí)率輸入到LSTM神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行模型訓(xùn)練得到TEC預(yù)報值，進(jìn)行相應(yīng)的精度分析。

2 實驗分析及精度評定

2.1 實驗分析

論文選取IGS中心提供的電離層產(chǎn)品進(jìn)行實驗，根據(jù)太陽活動選取2020年6月和12月的電離層TEC數(shù)據(jù)進(jìn)行預(yù)報分析，對應(yīng)年積日分別為152～181、335～364，兩個時段的太陽活動指數(shù)(F10.7)如圖1所示，從圖中可以看出6月F10.7指數(shù)均在75以下，太陽活動平靜，12月太陽活動明顯劇烈，F(xiàn)10.7指數(shù)均在80以上。對低緯度(10°N 100°E)、中緯度(40°N 100°E)和高緯度(70°N 100°E)的TEC進(jìn)行建模預(yù)報，利用數(shù)據(jù)前25 d作為樣本序列，分別采用PSO-LSTM模型和ARMA模型、Holt-Winters模型、單一LSTM模型預(yù)報后5 d的TEC值。實驗?zāi)Ｐ驮O(shè)置粒子群慣性因子ω為0.8、學(xué)習(xí)因子c1、c2均設(shè)置為0.5、最大迭代次數(shù)為50。LSTM神經(jīng)網(wǎng)絡(luò)模型的輸入層數(shù)和輸出層數(shù)設(shè)置為1層、隱含層神經(jīng)元個數(shù)設(shè)置為200。將需要訓(xùn)練的TEC序列輸入到神經(jīng)網(wǎng)絡(luò)中經(jīng)粒子群算法對初始學(xué)習(xí)率進(jìn)行尋優(yōu)得到最優(yōu)初始學(xué)習(xí)率，提高LSTM神經(jīng)網(wǎng)絡(luò)的預(yù)報精度。將模型的預(yù)報值與IGS中心提供的TEC實際值進(jìn)行對比分析，通過均方根誤差(RMSE)、相關(guān)系數(shù)(R)、平均殘差(Δ)和平均相對精度(P)4個指標(biāo)來評定精度，算式如下：

圖1 2020年6月和12月F10.7指數(shù)

(7)

(8)

(9)

(10)

PSO-LSTM模型在兩個時段的預(yù)報結(jié)果如圖2和圖3所示，從中可以看出電離層TEC數(shù)值在低緯度地區(qū)晝夜變化較大且其變化趨勢較為規(guī)律，而在中、高緯度地區(qū)內(nèi)變化較為復(fù)雜，規(guī)律性不明顯。由于不同經(jīng)緯度地區(qū)接受太陽輻射不同，在同一經(jīng)度不同緯度上電離層電子含量之間的差值最大可達(dá)40 TECu，正常情形下，電離層TEC在不同緯度有著不同的變化規(guī)律，并會隨著緯度變低而逐漸增大，這種現(xiàn)象增加了模型精確預(yù)報電離層TEC的難度。

圖2 年積日177～181不同模型預(yù)報效果對比

通過圖2和圖3可以看出,PSO-LSTM模型在不同時段均表現(xiàn)良好，模型預(yù)報的結(jié)果與IGS中心發(fā)布的TEC值具有一致性，初步證明PSO-LSTM模型在預(yù)報電離層TEC上具有可靠性。同時，PSO-LSTM模型在低緯度地區(qū)預(yù)報精度較好，預(yù)報值與IGS中心提供的TEC值吻合程度最高。但是隨著緯度的上升，諸如像磁暴和太陽活動等因素會較大程度影響電離層TEC變化，使得中、高緯度地區(qū)的電離層TEC預(yù)報精確度降低，并且隨著預(yù)報天數(shù)的增加，預(yù)報精度也呈現(xiàn)逐步下降趨勢。

圖3 年積日360～364不同模型預(yù)報效果對比

電離層TEC變化與太陽活動密切相關(guān)，太陽活動劇烈時電離層受太陽輻射強度大，大氣中性分子發(fā)生電離的能量增多使電離層電子含量多；太陽活動平靜時地球接受太陽的輻射強度小，電離空氣分子的能量減少，使得電離層電子含量低。通常夏季7月份和冬季11月份的電離層電子含量相差至少3倍以上，但有時也會出現(xiàn)相反的情形，即冬季的電子含量比夏季的電子含量大，稱這種現(xiàn)象為“季節(jié)異?！盵10]。通過圖2和圖3可以看出，ARMA模型在預(yù)報時的精度相比較其他3個模型而言精度較低，而對于Holt-Winters模型、LSTM模型和PSO-LSTM模型預(yù)報精度的高低通過圖形無法直接判斷，需進(jìn)一步計算確定。

2.2 精度評定

通過參考IGS提供的電離層TEC產(chǎn)品，對不同模型預(yù)報得到的電離層TEC預(yù)報值進(jìn)行精度評定，分別計算得出不同模型在低、中、高緯度地區(qū)預(yù)報結(jié)果的均方根誤差、平均相對精度、相關(guān)系數(shù)和平均殘差如表1和表2所示。

表1 年積日177～181不同模型預(yù)報精度對比

從表中可以看出低緯度地區(qū)不同模型預(yù)報結(jié)果的相關(guān)系數(shù)高于中、高緯度地區(qū)，并且隨著緯度的增加TEC預(yù)報值的相關(guān)系數(shù)呈現(xiàn)下降趨勢。在均方根誤差方面，不同模型在中緯度地區(qū)均方根誤差最大，分別為2.29 TECu、1.72 TECu、1.91 TECu和1.76 TECu，高緯度地區(qū)均方根誤差最小，為0.74 TECu、0.64 TECu、0.85 TECu和0.58 TECu。在平均殘差方面不同模型在高緯度地區(qū)平均殘差最小，分別為0.59 TECu、0.49 TECu、0.68 TECu和0.45 TECu。并且通過結(jié)合表1和表2，可以看出在不同季節(jié)、不同模型的預(yù)報精度有所不同，由于季節(jié)會對電離層TEC產(chǎn)生一定的影響，太陽活動劇烈的季節(jié)高緯度地區(qū)預(yù)報效果最差，經(jīng)粒子群算法優(yōu)化的LSTM神經(jīng)網(wǎng)絡(luò)在預(yù)報效果上有一定程度的提高，PSO-LSTM模型在太陽活動劇烈的季節(jié)高緯度的預(yù)報均方根誤差相比LSTM模型降低了0.27 TECu，平均相對精度提高8.82%，相關(guān)系數(shù)提高0.16，平均殘差降低0.23 TECu，綜合4個指標(biāo)PSO-LSTM模型預(yù)報效果最優(yōu)。

表2 年積日360～364不同模型預(yù)報精度對比

PSO-LSTM模型的預(yù)報殘差如圖4和圖5所示，圖4為太陽活動平靜期不同模型的預(yù)報殘差，圖5為太陽活動劇烈期不同模型的預(yù)報殘差。從中可以看出太陽活動平靜期不同模型的預(yù)報殘差均可保持在4 TECu 以內(nèi)，其中PSO-LSTM模型預(yù)報殘差最小，大多分布在2 TECu以內(nèi)，ARMA模型的預(yù)報殘差略大于Holt-Winters模型，LSTM神經(jīng)網(wǎng)絡(luò)的預(yù)報殘差最大，低緯度地區(qū)部分殘差超過5 TECu，是所有模型中預(yù)報殘差最大的。太陽活動劇烈期不同模型的殘差特點與平靜期基本相同，PSO-LSTM模型和Holt-Winters模型殘差較小，LSTM模型在某些時刻預(yù)報殘差明顯較大，在中緯度地區(qū)部分殘差超過4 TECu。

圖4 年積日177～181不同模型預(yù)報殘差對比

圖5 年積日360～364不同模型預(yù)報殘差對比

為詳細(xì)分析PSO-LSTM模型的預(yù)報效果，本次實驗分別統(tǒng)計不同模型在年積日177～181的預(yù)報值殘差分布情況如表3所示。從中可以看出PSO-LSTM模型在低、中、高緯度預(yù)報殘差小于1 TECu,分別占比65.8%、65.8%和91.7%；ARMA模型在低、中、高緯度預(yù)報殘差小于1 TECu，分別占比36.7%、43.3%和92.5%；Holt-Winters模型在低、中、高緯度預(yù)報殘差小于1 TECu，分別占比68.3%、60.8%和94.2%；LSTM模型在低、中、高緯度預(yù)報殘差小于1 TECu，分別占比57.5%、52.5%和93.3%。3個緯度4種模型小于1 TECu的預(yù)報殘差取平均后分別為74.4%、57.5%、74.4%和67.8%，其中PSO-LSTM模型預(yù)報殘差小于1 TECu的占比最高。

表3 年積日177～181不同模型殘差百分比統(tǒng)計

年積日360～364不同模型的預(yù)報值殘差分布情況如表4所示，PSO-LSTM神經(jīng)網(wǎng)絡(luò)模型在低、中、高緯度預(yù)報殘差小于1 TECu約占59.2%、40.8%和95%；ARMA模型在低、中、高緯度預(yù)報殘差小于1 TECu約占54.2%、30%和81.7%；Holt-Winters模型在低中高緯度預(yù)報殘差小于1 TECu約占47.5%、45%和92.5%；LSTM模型在低中高緯度預(yù)報殘差小于1 TECu約占52.5%、46.7%和74.2%；不同模型小于1 TECu的預(yù)報殘差取平均后分別占比65%、55.3%、61.7%和57.8%。同時通過圖4和圖5也可以看出ARMA模型預(yù)報殘差較大，LSTM模型和Holt-Winters模型次之，PSO-LSTM模型預(yù)報殘差基本穩(wěn)定在0左右，預(yù)報效果最為穩(wěn)定。

表4 年積日360～364不同模型殘差百分比統(tǒng)計

3 結(jié)束語

論文將粒子群算法引入電離層TEC預(yù)報模型，構(gòu)建了一種PSO-LSTM神經(jīng)網(wǎng)絡(luò)模型，解決了神經(jīng)網(wǎng)絡(luò)預(yù)報模型的參數(shù)選擇困難問題，將該模型與傳統(tǒng)預(yù)報模型進(jìn)行短期預(yù)報并評價其預(yù)報性能。實驗結(jié)果表明，文中建立模型在實際的預(yù)報工作中具有自適應(yīng)選取最優(yōu)參數(shù)，自動高效得到最佳訓(xùn)練模型的優(yōu)點，預(yù)報結(jié)果顯示文中模型在太陽平靜期的預(yù)報誤差小于1 TECu；太陽活躍期預(yù)報誤差小于1.8 TECu。與傳統(tǒng)LSTM神經(jīng)網(wǎng)絡(luò)模型相比，文中模型在不同緯度的總體預(yù)報精度在太陽平靜期提高了3.98%；太陽活躍期提高了8.48%，與單一模型相比PSO-LSTM神經(jīng)網(wǎng)絡(luò)模型預(yù)報的精準(zhǔn)度和穩(wěn)定性均有提升。將粒子群算法應(yīng)用于電離層監(jiān)測預(yù)報領(lǐng)域為模型的優(yōu)化改進(jìn)提供了一個新的思路。