雷雨，郭浩

一種ELM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)方法及在衛(wèi)星鐘差預(yù)報(bào)中的應(yīng)用1

雷雨1，2，3，郭浩4

（1.中國科學(xué)院 國家授時(shí)中心，西安 710600；2.中國科學(xué)院 時(shí)間頻率基準(zhǔn)重點(diǎn)實(shí)驗(yàn)室，西安 710600；3.中國科學(xué)院大學(xué)，北京 100049；4.西安文理學(xué)院 機(jī)械與材料工程學(xué)院，西安710061）

針對極端學(xué)習(xí)機(jī)（extreme learning machine，ELM）神經(jīng)網(wǎng)絡(luò)隱層結(jié)構(gòu)難以確定的問題，基于自適應(yīng)共振理論（adaptive resonance theory，ART）網(wǎng)絡(luò)良好的自組織分類功能，提出一種基于ART網(wǎng)絡(luò)思想的ELM網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)方法。該方法將ART網(wǎng)絡(luò)的自組織聚類特性用于ELM網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)中，通過對輸入向量與已存模式的相似度比較將輸入向量進(jìn)行分類，確定隱層節(jié)點(diǎn)規(guī)模。仿真實(shí)驗(yàn)表明，與其他網(wǎng)絡(luò)相比，ART-ELM網(wǎng)絡(luò)具有更精簡的結(jié)構(gòu)、更快的學(xué)習(xí)速度以及更好的映射能力。通過用于GPS衛(wèi)星鐘差預(yù)報(bào)的實(shí)驗(yàn)表明，根據(jù)ART-ELM網(wǎng)絡(luò)所預(yù)報(bào)的鐘差較IGS超快速預(yù)報(bào)（IGS ultra-predicted，IGU-P）鐘差在精度上有較大改善。

極端學(xué)習(xí)機(jī)；網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)；自適應(yīng)共振理論網(wǎng)絡(luò)；鐘差預(yù)報(bào)

0　引言

極端學(xué)習(xí)機(jī)（extremelearningmachine，ELM）是近年發(fā)展起來的一種新型單隱層前饋神經(jīng)網(wǎng)絡(luò)[1]，因其具有結(jié)構(gòu)簡單、學(xué)習(xí)速度快和泛化能力好等優(yōu)點(diǎn)，目前在時(shí)間序列預(yù)測等領(lǐng)域得到了廣泛應(yīng)用[2-3]。ELM的網(wǎng)絡(luò)結(jié)構(gòu)為3層，包括1個(gè)輸入層、1個(gè)輸出層和1個(gè)隱層，其中隱層包含大量的非線性節(jié)點(diǎn)。ELM克服了傳統(tǒng)前饋神經(jīng)網(wǎng)絡(luò)收斂速度慢、容易陷入局部最優(yōu)等缺陷，在訓(xùn)練初始階段隨機(jī)產(chǎn)生輸入權(quán)值和偏置，并在訓(xùn)練過程中保持不變，其網(wǎng)絡(luò)的輸出權(quán)值是唯一需要確定的參數(shù)。

已有研究表明，ELM的學(xué)習(xí)和泛化能力在很大程度上取決于隱層節(jié)點(diǎn)數(shù)量[1]，所以在設(shè)計(jì)ELM網(wǎng)絡(luò)時(shí)，如何確定最優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)一直都是研究的重點(diǎn)。許多學(xué)者就ELM網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)問題展開了研究，試圖尋求一種合適的方法來確定ELM網(wǎng)絡(luò)的隱層節(jié)點(diǎn)個(gè)數(shù)，其中剪枝算法是前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)的一種有效方法[4-5]，該類算法首先構(gòu)造一個(gè)足夠大的網(wǎng)絡(luò)，然后通過訓(xùn)練刪除或合并某些節(jié)點(diǎn)或權(quán)值，實(shí)現(xiàn)設(shè)計(jì)緊湊網(wǎng)絡(luò)結(jié)構(gòu)的目的。Y.Miche等[5]基于剪枝思想提出了最優(yōu)剪枝極端學(xué)習(xí)機(jī)（optimally pruned ELM，OP-ELM），該算法首先利用ELM算法建立一個(gè)規(guī)模較大的網(wǎng)絡(luò)，然后利用多響應(yīng)稀疏回歸算法對隱層節(jié)點(diǎn)排序，最后通過留一準(zhǔn)則對隱層節(jié)點(diǎn)進(jìn)行刪除。OP-ELM算法能有效精簡網(wǎng)絡(luò)規(guī)模，但計(jì)算過程較為復(fù)雜。

自適應(yīng)共振理論（adaptiveresonancetheory，ART）網(wǎng)絡(luò)是基于生物機(jī)制建立的人工神經(jīng)網(wǎng)絡(luò)，具有自組織聚類分析的功能，能對相同特征的事物進(jìn)行自組織分類[6]。當(dāng)有新的模式進(jìn)入網(wǎng)絡(luò)時(shí)，會與已有模式進(jìn)行對比，如果新模式與已有的一類模式相似度高時(shí)，則可以歸為既有的一類；如果新模式與已有模式不相似，則需要在網(wǎng)絡(luò)中建立一個(gè)新的模式類。當(dāng)對所有樣本比較結(jié)束后即完成模式分類?；诖?，有學(xué)者基于ART神經(jīng)網(wǎng)絡(luò)的聚類特性來設(shè)計(jì)徑向基函數(shù)（radial basis function，RBF）神經(jīng)網(wǎng)絡(luò)的隱層節(jié)點(diǎn)[7-8]。因?yàn)镋LM網(wǎng)絡(luò)隱層節(jié)點(diǎn)的確定也可以轉(zhuǎn)化為聚類問題，故本文提出了一種新的基于ART思想的ELM網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)方法。利用ART的分類思想，通過一次相似度比較來自動確定ELM網(wǎng)絡(luò)的隱層節(jié)點(diǎn)個(gè)數(shù)，仿真實(shí)驗(yàn)表明，基于本文思想所設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)，與其他網(wǎng)絡(luò)相比，不僅結(jié)構(gòu)簡單，而且泛化能力好、學(xué)習(xí)速度快。最后將ART-ELM算法用于GPS衛(wèi)星鐘差預(yù)報(bào)，結(jié)果表明，通過該算法得到的預(yù)報(bào)鐘差較IGS超快速預(yù)報(bào)（IGS ultra-predicted，IGU-P）鐘差在精度上有較大改善。

1　ELM算法

式（2）至（3）中，H為隱層輸出矩陣。

ELM算法的具體步驟如下[1]：①隨機(jī)選取輸入層權(quán)值wj和偏置bj，j=1，2，…，h ，并保持不變；②計(jì)算隱層輸出矩陣H；③計(jì)算輸出權(quán)值β=H?Y，其中H?為矩陣H的Moore-Penrose逆。

2　基于ART的ELM網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

對ELM網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)即為對隱層節(jié)點(diǎn)個(gè)數(shù)的確定，這個(gè)問題可以轉(zhuǎn)化為聚類問題，即尋求一種合適的聚類算法來確定隱層節(jié)點(diǎn)的規(guī)模，本文利用ART網(wǎng)絡(luò)的自組織分類功能來確定ELM網(wǎng)絡(luò)隱層節(jié)點(diǎn)的規(guī)模。

基于聚類算法的ELM網(wǎng)絡(luò)通過對向量進(jìn)行相似度比較來完成分類，相似度公式為[9]

即第j*個(gè)隱節(jié)點(diǎn)與第i個(gè)輸入向量的相似度最大。下面分兩種情況進(jìn)行討論：

式（7）中，V為警戒參數(shù)，可以控制網(wǎng)絡(luò)的分類力度，V值越大，分類精度越高。

綜上，基于ART的ELM網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)算法如下：①將網(wǎng)絡(luò)隱層節(jié)點(diǎn)個(gè)數(shù)初始化為0；②當(dāng)?shù)?個(gè)樣本進(jìn)入網(wǎng)絡(luò)后，為網(wǎng)絡(luò)分配1個(gè)隱層節(jié)點(diǎn)，并令；③當(dāng)?shù)趇個(gè)樣本進(jìn)入網(wǎng)絡(luò)后，計(jì)算第i個(gè)樣本的輸入向量與現(xiàn)有所有隱層節(jié)點(diǎn)中心向量的相似度，并找出與第i個(gè)輸入向量相似度最大的隱層節(jié)點(diǎn)j*；④若滿足隱層節(jié)點(diǎn)增加準(zhǔn)則，則為網(wǎng)絡(luò)增加1個(gè)隱層節(jié)點(diǎn)，并將第i個(gè)輸入向量賦予新的隱層節(jié)點(diǎn)作為其中心向量，如式（9）所示，轉(zhuǎn)向③；否則轉(zhuǎn)至⑤；⑤按式（7）對第 j*個(gè)隱層節(jié)點(diǎn)的中心向量進(jìn)行調(diào)整，轉(zhuǎn)向③。

3　仿真實(shí)驗(yàn)

為了檢驗(yàn)基于ART的自組織ELM網(wǎng)絡(luò)的非線性映射能力，對典型的非線性函數(shù)sinE進(jìn)行逼近，sinE函數(shù)為

隨機(jī)選取300個(gè)樣本對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，400個(gè)樣本對網(wǎng)絡(luò)進(jìn)行測試，警戒參數(shù)設(shè)定為0.8，激活函數(shù)選用Sigmoid函數(shù)，其表達(dá)式為函數(shù)逼近效果如圖1所示。由圖1可以看出，ART-ELM網(wǎng)絡(luò)經(jīng)過學(xué)習(xí)訓(xùn)練后能夠很好地逼近非線性函數(shù)sinE，期望輸出曲線與實(shí)際輸出曲線基本能達(dá)到重合，說明基于ART的自組織ELM網(wǎng)絡(luò)具有較強(qiáng)的非線性映射能力。

圖1　函數(shù)逼近效果

為了進(jìn)一步驗(yàn)證所提方法的有效性，將ART-ELM網(wǎng)絡(luò)的函數(shù)逼近效果與其他算法進(jìn)行對比，比較結(jié)果如表1所示。實(shí)驗(yàn)環(huán)境為Intel Core?I7 CPU，主頻1.73 GHz，8.00 GB內(nèi)存，Microsoft Windows 7操作系統(tǒng)（64位），MATLAB R2013a軟件平臺。仿真實(shí)驗(yàn)中采用的網(wǎng)絡(luò)性能評價(jià)指標(biāo)包括程序運(yùn)行100次的平均均方根誤差（RMSE）和訓(xùn)練時(shí)間。

由表1可知，與其他網(wǎng)絡(luò)結(jié)構(gòu)相比，本文提出的ART-ELM網(wǎng)絡(luò)隱層結(jié)構(gòu)更為精簡，隱層節(jié)點(diǎn)規(guī)模要小于其他網(wǎng)絡(luò)，此外，ART-ELM網(wǎng)絡(luò)不僅學(xué)習(xí)速度較快，并且測試誤差較小，泛化能力優(yōu)于其他網(wǎng)絡(luò)。

表1　函數(shù)逼近效果對比

4　ART-ELM網(wǎng)絡(luò)在GPS衛(wèi)星鐘差預(yù)報(bào)中的應(yīng)用

衛(wèi)星鐘差是導(dǎo)航衛(wèi)星精密定位的主要誤差源之一。以GPS為例，目前IGS發(fā)布的事后精密衛(wèi)星鐘差精度最高可達(dá)75ps，但實(shí)時(shí)性不足，而滿足實(shí)時(shí)性的廣播星歷鐘差和IGU-P鐘差精度卻不理想。因此，提高衛(wèi)星鐘差預(yù)報(bào)精度是非常必要的。我們在文獻(xiàn)[2]和文獻(xiàn)[10]中將ELM神經(jīng)網(wǎng)絡(luò)和廣義回歸神經(jīng)網(wǎng)絡(luò)用于GPS衛(wèi)星鐘差預(yù)報(bào)中，研究表明神經(jīng)網(wǎng)絡(luò)技術(shù)用于衛(wèi)星鐘差預(yù)報(bào)可以取得較好的預(yù)報(bào)效果。本文將ART-ELM網(wǎng)絡(luò)用于GPS衛(wèi)星鐘差預(yù)報(bào)，以改善IGU-P鐘差產(chǎn)品的質(zhì)量，在實(shí)驗(yàn)中警戒參數(shù)仍設(shè)定為0.8。

采用2011年10月30日IGS提供的15 min采樣間隔的超快速觀測（IGS ultra-rapidobserved，IGU-O）鐘差作為建模數(shù)據(jù)，預(yù)報(bào)隨后1d的鐘差，以預(yù)報(bào)時(shí)刻所對應(yīng)的IGU-O鐘差產(chǎn)品作為參考值，使用RMSE、最大誤差與最小誤差之差的絕對值（這里稱為誤差變化范圍（Range））作為統(tǒng)計(jì)量來評價(jià)預(yù)報(bào)結(jié)果的精度和算法的穩(wěn)定性，并將其與IGU-P鐘差產(chǎn)品進(jìn)行比較。在建模階段，按照表2所示方式構(gòu)造訓(xùn)練樣本，其中L為建模數(shù)據(jù)序列長度，m為輸入向量維數(shù)，視不同衛(wèi)星而定。在預(yù)報(bào)階段，令作為輸入向量（ΔX為觀測鐘差），獲得序列的一步預(yù)測值，然后令，得到新時(shí)間序列作為下一時(shí)刻的輸入向量，以此類推，即可實(shí)現(xiàn)鐘差的多步預(yù)報(bào)。需要說明的是，在對網(wǎng)絡(luò)進(jìn)行訓(xùn)練之前，需要對訓(xùn)練樣本進(jìn)行預(yù)處理，這里采用一階差分的方法，而在預(yù)報(bào)階段，須對網(wǎng)絡(luò)輸出進(jìn)行反變換，以獲得最終的鐘差預(yù)報(bào)值。

表2　訓(xùn)練樣本的構(gòu)造方式

圖2和表3給出了PRN09、PRN10、PRN14和PRN15 4顆衛(wèi)星的鐘差預(yù)報(bào)對比情況（限于篇幅，這里僅以4顆衛(wèi)星為例進(jìn)行說明，其他衛(wèi)星亦可，其中這幾顆星載鐘包括BlockⅡA Cs鐘、BlockⅡA Rb鐘、BlockⅡR Rb鐘以及BlockⅡR-MRb鐘4類）。為了驗(yàn)證神經(jīng)網(wǎng)絡(luò)相對于線性模型的優(yōu)越性，本文還給出了ART-ELM網(wǎng)絡(luò)同二次多項(xiàng)式（quadratic polynomial，QP）模型和灰色模型（GM（1，1））的對比結(jié)果，其中使用2011年10月30日1d的數(shù)據(jù)建立QP模型，使用該天最后2 h的數(shù)據(jù)建立灰色模型。

由圖2和表3可知：

①GPS星載Rb鐘的預(yù)報(bào)精度和預(yù)報(bào)穩(wěn)定性明顯好于星載Cs鐘，這是由于攜帶Cs鐘的BlockⅡA衛(wèi)星為GPS早期發(fā)射的，由于設(shè)備老化以及Cs鐘本身物理特性等因素的綜合影響使Cs鐘的可預(yù)測性相對較差。

②預(yù)報(bào)精度方面，ART-ELM網(wǎng)絡(luò)的預(yù)報(bào)結(jié)果明顯高于IGU-P產(chǎn)品，24h的鐘差預(yù)測RMSE最大改進(jìn)了74.78%。同時(shí)本文所建模型的預(yù)報(bào)精度高于2種常用模型，即使對于可預(yù)測性較差的星載Cs鐘，ART-ELM網(wǎng)絡(luò)也具有相對較好的預(yù)測效果。

③預(yù)報(bào)穩(wěn)定性方面，對于提前12h的預(yù)報(bào)，本文所提方法的預(yù)報(bào)結(jié)果與IGU-P產(chǎn)品基本相當(dāng)，但隨著預(yù)報(bào)時(shí)長的增大，IGU-P產(chǎn)品的預(yù)報(bào)誤差表現(xiàn)出發(fā)散趨勢，預(yù)報(bào)穩(wěn)定性有一定程度的降低，而2種常用模型的預(yù)報(bào)穩(wěn)定性則隨著衛(wèi)星的不同而變化，穩(wěn)定性相對較差。

本文利用IGU-O鐘差數(shù)據(jù)作為訓(xùn)練樣本，訓(xùn)練時(shí)間很短，其訓(xùn)練時(shí)間和預(yù)報(bào)時(shí)間之和一般在1 min以內(nèi)，保證了算法的實(shí)時(shí)性。

圖2　4顆衛(wèi)星1 d鐘差預(yù)報(bào)誤差對比圖

表3　4顆衛(wèi)星預(yù)報(bào)誤差統(tǒng)計(jì)　ns

5　結(jié)語

將基于生物機(jī)制建立的ART網(wǎng)絡(luò)用于ELM網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)中，利用ART的自組織聚類特性自適應(yīng)調(diào)整隱層節(jié)點(diǎn)個(gè)數(shù)，構(gòu)造樣本驅(qū)動的自適應(yīng)ELM網(wǎng)絡(luò)。通過對典型非線性函數(shù)sinE的逼近，表明了基于ART機(jī)制建立的ELM網(wǎng)絡(luò)與其他網(wǎng)絡(luò)相比，結(jié)構(gòu)更精簡、學(xué)習(xí)速度更快、非線性映射能力更強(qiáng)。最后，將ART-ELM網(wǎng)絡(luò)用于GPS衛(wèi)星鐘差預(yù)報(bào)實(shí)際問題中，實(shí)驗(yàn)表明所建鐘差模型能夠以較高的精度和相對穩(wěn)定的性能來預(yù)報(bào)衛(wèi)星鐘差數(shù)據(jù)，預(yù)測效果明顯好于傳統(tǒng)二次多項(xiàng)式模型和灰色模型，其預(yù)報(bào)得到的鐘差相比于IGU-P鐘差在精度上有較大改善，同時(shí)所建模型簡單且具有較好的實(shí)時(shí)性。因此，可以考慮作為一種新型的衛(wèi)星鐘差預(yù)報(bào)方法使用。

[1]HUANG Guang-bin,ZHU Qin-yu,SIEW C K.Extreme learning machine:theory and applications[J].Neurocomputing,2006, 70(1):489-501.

[2]雷雨,趙丹寧.極限學(xué)習(xí)機(jī)在衛(wèi)星鐘差預(yù)報(bào)中的應(yīng)用[J].大地測量與地球動力學(xué),2013,33(5):53-57.

[3]LEI Yu,ZHAO Dan-ning,CAI Hong-bin.Extreme learning machine for the predictions of length of day[J].Aritificial Satellites, 2015,50(1):19-33.

[4]RONGJian-hua,ONGY S,TANA H,etal.A fastpruned-extremelearningmachineforclassificationproblem[J].Neurocomputing, 2008,72(13):359-366.

[5]MICHE Y,SORJAMAA A,BAS P,et al.OP-ELM:optimally pruned extreme learning machine[J].IEEE Trans on Neural Networks,2010,21(1):158-162.

[6]CARPENTER G A,GROSSBERG S.The ART of adaptive pattern recognition by a self-organizing neural network[J].IEEE Computer,1988,21(3):77-88.

[7]LEE S J,HOU Chun-lin.An ART-based construction of RBF networks[J].IEEE Trans on Neural Networks,2002,13(6): 1308-1321.

[8]蒙西,喬俊飛,韓紅桂.基于ART的RBF網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)[J].控制與決策,2014,29(10):1876-1880.

[9]FU Li-min,YANG M,BRAYLAN R,et al.Real-time adaptive clustering of flowcytometric data[J].Pattern Recognition,1993, 26(2):365-373.

[10]雷雨,趙丹寧,高玉平.基于灰色系統(tǒng)和神經(jīng)網(wǎng)絡(luò)的鐘差預(yù)報(bào)[J].時(shí)間頻率學(xué)報(bào),2013,36(3):156-163.

Anetwork structure design method for ELM and its application to prediction of satellite clock bias

LEI Yu1，2，3，GUO Hao4
（1.National Time Service Center，ChineseAcademy of Sciences，Xi′an 710600，China；2.Key Laboratory of Time and Frequency Primary Standards，National Time Service Center，ChineseAcademy of Sciences，Xi′an 710600，China；3.University of ChineseAcademy of Sciences，Beijing 100049，China；4.Mechanism and Material Engineering College，Xi′an University，Xi′an 710061，China）

It is difficult to determine the hidden layer structure of an extreme learning machine（ELM）.In this paper，a new method for design of ELM hidden layer structure is proposed based on the self-organizing classification characteristics of adaptive resonance theory（ART）neural network.The proposed method employs the clustering property of ART network to design the ELM network structure.The number of hidden layer nodes can be determined adaptively through the similarity comparison of input vector.The simulation result shows thatthe ART-ELM network is characteristic of more concise network structure，faster learning speed and better generalization ability compared to other neural networks.Finally，the ART-ELM network is applied to prediction of GPS satellite clock bias.The experiment result indicates that the proposed algorithm outperforms the IGS ultra-predicted（IGU-P）solution in precision of clock bias prediction.

extreme learning machine（ELM）；network structure design；adaptive resonance theory（ART）network；clock bias prediction

P227

A

1674-0637（2015）04-0209-07

10.13875/j.issn.1674-0637.2015-04-0209-07

2015-05-18

國家自然科學(xué)基金資助項(xiàng)目（11503031）

雷雨，男，博士，助理研究員，主要從事地球自轉(zhuǎn)變化監(jiān)測與預(yù)報(bào)研究。