熊擇正，袁志超，賀軒,方聲偉，王青，齊向暉，陳徐宗

(北京大學(xué) 電子學(xué)院量子電子學(xué)研究所，北京 100871)

0 引言

鐘差預(yù)報(bào)技術(shù)在守時(shí)授時(shí)領(lǐng)域具有重要的意義：衛(wèi)星導(dǎo)航系統(tǒng)等精密授時(shí)應(yīng)用需要獲取原子鐘與地面基準(zhǔn)或協(xié)調(diào)世界時(shí)UTC等參考間的鐘差數(shù)據(jù)以提高精確度，研究鐘差預(yù)報(bào)能以相對(duì)較小的代價(jià)提高數(shù)據(jù)的精度和可靠性[1]；同時(shí)，鐘差預(yù)報(bào)技術(shù)應(yīng)用在原子鐘駕馭時(shí)可以明顯提高所馴服原子鐘的長(zhǎng)期穩(wěn)定度[2]；在建立時(shí)間基準(zhǔn)的過程中，也需要對(duì)所用多臺(tái)原子鐘之間的鐘差數(shù)據(jù)進(jìn)行預(yù)測(cè)[3]。目前衛(wèi)星鐘差的預(yù)報(bào)算法得到了比較深入的研究，并有各類針對(duì)不同數(shù)據(jù)特點(diǎn)的預(yù)報(bào)模型被提出。典型的衛(wèi)星鐘差預(yù)報(bào)模型包括多項(xiàng)式模型[4]、灰色模型GM(1,1)[5]、卡爾曼模型[6]、神經(jīng)網(wǎng)絡(luò)模型[7]等。

目前被廣泛研究的鐘差數(shù)據(jù)是原子鐘與時(shí)間基準(zhǔn)之間或者多臺(tái)原子鐘之間的計(jì)時(shí)差，因此鐘差預(yù)報(bào)理論不能直接應(yīng)用于單個(gè)原子鐘的性能提升。但是從原子鐘內(nèi)部也可以讀取出一些與鐘差數(shù)據(jù)具有相似的波動(dòng)特征的信號(hào)，例如表示原子鐘內(nèi)訊問信號(hào)頻率與參考譜線頻率差值的誤差信號(hào)等。使用和鐘差預(yù)報(bào)算法類似的方法可以對(duì)誤差信號(hào)進(jìn)行預(yù)測(cè)，預(yù)測(cè)結(jié)果可以應(yīng)用于調(diào)節(jié)原子鐘的鎖定方式并提升其性能。此外，銫爐溫度、微波功率、C場(chǎng)電流等參數(shù)的波動(dòng)會(huì)顯著影響原子鐘的穩(wěn)定性[8]，對(duì)這些參數(shù)進(jìn)行實(shí)時(shí)的監(jiān)測(cè)和預(yù)報(bào)也有助于采取更加合適的頻率反饋方式，有望提高原子鐘的頻率穩(wěn)定度。

本文針對(duì)原子鐘內(nèi)部誤差信號(hào)的預(yù)報(bào)展開研究，采用神經(jīng)網(wǎng)絡(luò)模型對(duì)誤差信號(hào)進(jìn)行預(yù)報(bào)，并對(duì)所使用的神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)性能進(jìn)行了評(píng)估和優(yōu)化。論文提出一種基于局域線性小波神經(jīng)網(wǎng)絡(luò)(local linear wavelet neural network，LLWNN)的原子鐘內(nèi)部信號(hào)預(yù)測(cè)算法，利用北京大學(xué)原子鐘小組光抽運(yùn)小銫鐘內(nèi)的誤差信號(hào)數(shù)據(jù)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測(cè)試，并構(gòu)建了基于BP(back propagation)神經(jīng)網(wǎng)絡(luò)的信號(hào)預(yù)測(cè)算法作為對(duì)比。論文對(duì)基于LLWNN和BP神經(jīng)網(wǎng)絡(luò)的兩種算法進(jìn)行了性能評(píng)估和優(yōu)化，在各自優(yōu)化到最佳結(jié)構(gòu)之后，基于LLWNN的預(yù)測(cè)算法表現(xiàn)出了更高的預(yù)測(cè)精度和更好的預(yù)測(cè)穩(wěn)定度，有望在未來應(yīng)用中提升原子鐘的頻率穩(wěn)定度。

1 LLWNN 神經(jīng)網(wǎng)絡(luò)預(yù)報(bào)算法

1.1 誤差信號(hào)的特點(diǎn)

銫原子鐘內(nèi)的誤差信號(hào)可以近似地表示為

S=-K(vLO-vREF)+δs=-K[vLO-(vhfs+δv)]+δs,

(1)

式(1)中：vLO是微波訊問信號(hào)的頻率值，而微波訊問信號(hào)由本地晶振經(jīng)過頻率綜合電路產(chǎn)生，其頻率和晶振頻率成正比；vREF=vhfs+δv是銫鐘內(nèi)晶振鎖定參考譜線的中心頻率，受到光功率和微波功率漂移、環(huán)境溫度變化等因素的影響，vREF相對(duì)于銫鐘超精細(xì)躍遷頻率的標(biāo)稱值vhfs具有偏離量δv，其波動(dòng)以長(zhǎng)期噪聲為主。原子鐘內(nèi)部通過一系列調(diào)制解調(diào)過程來測(cè)量vLO與vREF的頻率差并將其以誤差信號(hào)的形式在電路中輸出，這些過程的總增益K在頻率波動(dòng)很小時(shí)可以近似成常數(shù)；但是，原子數(shù)散彈噪聲、光功率和微波功率波動(dòng)、光子散彈噪聲等還會(huì)為上述測(cè)量帶來不確定度δs[9],這些噪聲會(huì)同時(shí)帶來短期和長(zhǎng)期上的測(cè)量誤差，并且在短期產(chǎn)生尤其顯著的影響?？傮w而言，銫原子鐘內(nèi)的誤差信號(hào)包含白相位噪聲、閃變相位噪聲、白頻率噪聲、閃變頻率噪聲和隨機(jī)行走頻率噪聲5類噪聲的疊加[10],而且短期波動(dòng)的幅度很大。在原子鐘的反饋機(jī)制調(diào)節(jié)下，誤差信號(hào)的長(zhǎng)期波動(dòng)已經(jīng)很小，本文主要對(duì)誤差信號(hào)進(jìn)行較短時(shí)間尺度下的預(yù)報(bào)，這與鐘差信號(hào)的中長(zhǎng)期預(yù)報(bào)相比具有很多新的困難。

從原子鐘相位的角度來看，Δt時(shí)間內(nèi)原子鐘的輸出相位變化可以表示為

(2)

在鐘差預(yù)報(bào)中一般是已知了歷史相位數(shù)據(jù)，通過歷史相位數(shù)據(jù)預(yù)測(cè)未來的鐘差偏移以提前做出修正，這種方式的前提是通過一個(gè)外部的時(shí)間基準(zhǔn)作為參考測(cè)量出原子鐘的歷史相位。本文討論的場(chǎng)景是在原子鐘的內(nèi)部系統(tǒng)分析參數(shù)，此時(shí)沒有與外部參考比對(duì)而得出的歷史相位數(shù)據(jù)，但是分析誤差信號(hào)也可以在一定程度上獲取原子鐘的頻率和相位偏移信息；在δs,δv都是小量的中長(zhǎng)期范圍內(nèi)，預(yù)測(cè)誤差信號(hào)并對(duì)本振頻率做出相應(yīng)的調(diào)整也有利于提高原子鐘的頻率穩(wěn)定度。

在影響銫束原子鐘內(nèi)部誤差信號(hào)的諸多參數(shù)中，微波功率、光功率變化等因素導(dǎo)致的信號(hào)波動(dòng)規(guī)律相對(duì)簡(jiǎn)單一些，對(duì)這類信號(hào)波動(dòng)進(jìn)行預(yù)報(bào)的難度相對(duì)較低；其他類型的信號(hào)波動(dòng)則很難預(yù)報(bào)，例如溫度、振動(dòng)等因素則可能通過多種機(jī)制以更復(fù)雜的方式來擾動(dòng)信號(hào)，原子數(shù)散彈噪聲、光子散彈噪聲等白頻率噪聲則具有相當(dāng)復(fù)雜的波動(dòng)模式。為了更好地預(yù)報(bào)前一類信號(hào)波動(dòng)，本文采用理論上可以逼近任意非線性時(shí)間序列的神經(jīng)網(wǎng)絡(luò)[11]來模擬這些波動(dòng)函數(shù)。

1.2 LLWNN神經(jīng)網(wǎng)絡(luò)模型

圖1 BP 神經(jīng)網(wǎng)絡(luò)和LLWNN 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖

在后期研究中我們希望將神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和預(yù)測(cè)過程在原子鐘的嵌入式系統(tǒng)中實(shí)現(xiàn)，同時(shí)該系統(tǒng)也需要控制原子鐘的工作，這導(dǎo)致神經(jīng)網(wǎng)絡(luò)可以使用的計(jì)算資源會(huì)比較受限。 因此，本文采用由WNN改進(jìn)而來的LLWNN神經(jīng)網(wǎng)絡(luò)[13]，這種神經(jīng)網(wǎng)絡(luò)只需要一層隱藏層即可實(shí)現(xiàn)比較高效的計(jì)算。如圖1(b)所示，LLWNN神經(jīng)網(wǎng)絡(luò)的隱藏層由感知器和一類新的神經(jīng)元(小波神經(jīng)元)組成，每個(gè)小波神經(jīng)元都和一個(gè)感知器對(duì)應(yīng)。小波神經(jīng)元對(duì)每個(gè)輸入元素都進(jìn)行小波變換，并將變換的結(jié)果相乘作為多元小波函數(shù)Ψj(x1,x2,…,xm)輸出：

(3)

式(3)中,

(4)

式(4)中,A={aj,i},D={dj,i}分別是小波函數(shù)的伸縮因子和平移因子。每個(gè)小波神經(jīng)元有一個(gè)感知器與其對(duì)應(yīng)，感知器的激活函數(shù)均為f(x)=x，它們的輸出vj作為對(duì)應(yīng)小波神經(jīng)元輸出值的權(quán)重。設(shè)神經(jīng)網(wǎng)絡(luò)中小波神經(jīng)元的數(shù)量為L(zhǎng)，則最終輸出的預(yù)測(cè)值為

(5)

1.3 網(wǎng)絡(luò)參數(shù)的訓(xùn)練

為了應(yīng)用神經(jīng)網(wǎng)絡(luò)對(duì)誤差信號(hào)演化的過程進(jìn)行模擬，需要對(duì)神經(jīng)網(wǎng)絡(luò)的參數(shù)進(jìn)行訓(xùn)練使建立起來的人工神經(jīng)網(wǎng)絡(luò)模型接近真實(shí)的演化機(jī)制。在LLWNN神經(jīng)網(wǎng)絡(luò)中，需要訓(xùn)練的參數(shù)包括小波函數(shù)的伸縮和平移因子A,D以及感知器的輸入權(quán)重與偏置W={wj,i},b={bj}。訓(xùn)練過程采用N組參考信號(hào)作為訓(xùn)練集{xn,yR,n}，使神經(jīng)網(wǎng)絡(luò)在輸入{xn}時(shí)輸出的預(yù)報(bào)信號(hào){yn}盡量接近{yR,n}。為此，將訓(xùn)練的評(píng)價(jià)函數(shù)設(shè)定為

(6)

上述訓(xùn)練過程實(shí)際是在求解無約束的最優(yōu)化問題，這種問題有兩類比較成熟的解法：一類是梯度下降法及衍生的各種改進(jìn)算法，另一類是包括遺傳算法、粒子群優(yōu)化算法、退火算法在內(nèi)的啟發(fā)式算法。梯度下降法的普適性較好，但是在處理高維問題時(shí)很容易受到局域極值問題的阻礙；各種啟發(fā)式算法可以獲得問題的全局最優(yōu)解，但是需要根據(jù)特定的問題類型來選擇合適的算法并設(shè)定恰當(dāng)?shù)膮?shù)。本文采用動(dòng)量梯度下降算法(momentum gradient decent，MGD)[14]對(duì)LLWNN神經(jīng)網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練，第t+1次訓(xùn)練后的網(wǎng)絡(luò)參數(shù)為

θt+1=θt+vt+1。

(7)

式(7)中：

vt+1=βvt-αθE。

(8)

式(7)和(8)中,參數(shù)β取為動(dòng)量梯度下降法應(yīng)用中最常用的值0.9[15]，α取為訓(xùn)練效果較好時(shí)的值0.001。動(dòng)量vt是上次迭代參數(shù)的改變量，這一項(xiàng)在梯度較小時(shí)加速迭代過程，梯度較大時(shí)則可以避免振蕩。此外，我們也采用了粒子群優(yōu)化算法[13](particle swarm optimization，PSO)來驗(yàn)證網(wǎng)絡(luò)的訓(xùn)練效果。

2 數(shù)據(jù)驗(yàn)證及分析

2.1 數(shù)據(jù)預(yù)分析

為了驗(yàn)證LLWNN神經(jīng)網(wǎng)絡(luò)模型的預(yù)報(bào)效果，本文利用北京大學(xué)原子鐘小組研制的光抽運(yùn)小銫鐘[8]進(jìn)行實(shí)驗(yàn)，由原子鐘內(nèi)的單片機(jī)每秒采集一次誤差信號(hào)，并通過LabVIEW通信程序傳遞給電腦端的Matlab程序。為便于分析，本文使用的誤差信號(hào)都按照增益系數(shù)換算成了相對(duì)頻率偏差，這一線性變換不影響信號(hào)預(yù)測(cè)過程。在訓(xùn)練神經(jīng)網(wǎng)絡(luò)前，本文使用擅長(zhǎng)預(yù)測(cè)數(shù)據(jù)漂移趨勢(shì)的卡爾曼濾波算法[3]分析了一段長(zhǎng)度為150 ks的誤差信號(hào)：先對(duì)這一長(zhǎng)段信號(hào)進(jìn)行百秒平均處理，再將得到的1 500個(gè)數(shù)據(jù)依次輸入卡爾曼濾波模型并與實(shí)際值比較。由于卡爾曼模型含有協(xié)方差矩陣等未知參數(shù)，也使用PSO算法對(duì)這些參數(shù)進(jìn)行了訓(xùn)練，使得預(yù)測(cè)誤差的均方差最小。圖2是參數(shù)訓(xùn)練至最佳后的效果，卡爾曼模型輸出的預(yù)測(cè)值除了開始一小段之外，主要在誤差信號(hào)的平均值附近小幅波動(dòng)；對(duì)未經(jīng)過平均處理的信號(hào)用卡爾曼模型處理也可以得到類似的結(jié)果。這驗(yàn)證了前文的分析：誤差信號(hào)的主要成份是短期噪聲，長(zhǎng)期波動(dòng)和漂移很弱，更適合通過神經(jīng)網(wǎng)絡(luò)模型來預(yù)測(cè)。

圖2 經(jīng)過卡爾曼濾波算法處理的誤差信號(hào) 圖3 MGD和PSO訓(xùn)練算法的迭代過程

2.2 LLWNN神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

根據(jù)歷史信號(hào)預(yù)測(cè)下一個(gè)信號(hào)的過程實(shí)際是對(duì)信號(hào)變化量即一次差的預(yù)報(bào)[7]，為了更清晰地描述預(yù)測(cè)結(jié)果，此后的訓(xùn)練和預(yù)測(cè)過程都是對(duì)誤差信號(hào)一次差進(jìn)行處理。在數(shù)據(jù)預(yù)處理中，首先得出上述150 ks誤差信號(hào)的一次差，此后從這一段數(shù)據(jù)中抽取連續(xù)的406個(gè)數(shù)據(jù)點(diǎn)，取最前方7個(gè)點(diǎn)為第一組數(shù)據(jù)，此后依次后移共得到400組數(shù)據(jù)，每組的前6個(gè)數(shù)據(jù)作為神經(jīng)網(wǎng)絡(luò)的輸入值，第7個(gè)數(shù)據(jù)則作為實(shí)際參考值與神經(jīng)網(wǎng)絡(luò)的輸出比較。這400組數(shù)據(jù)的前350組用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)，訓(xùn)練效果使用神經(jīng)網(wǎng)絡(luò)的輸出值與實(shí)際值相比的均方根誤差來衡量。本文在LLWNN神經(jīng)網(wǎng)絡(luò)中使用的小波基函數(shù)是

(9)

訓(xùn)練LLWNN神經(jīng)網(wǎng)絡(luò)時(shí)，先隨機(jī)對(duì)參數(shù)θ進(jìn)行初始化，此后再應(yīng)用MGD算法或者PSO算法迭代尋找最優(yōu)參數(shù)直到網(wǎng)絡(luò)收斂。圖3所示是神經(jīng)網(wǎng)絡(luò)訓(xùn)練中一次典型的迭代過程，其中MGD算法在100次迭代以內(nèi)就能穩(wěn)定收斂，且訓(xùn)練結(jié)束后的均方根誤差略小于PSO算法的結(jié)果。由于PSO是全局性算法，這表明小波函數(shù)的應(yīng)用確實(shí)幫助解決了局域極值的問題，因此梯度下降算法能找到全局最優(yōu)參數(shù)；梯度下降算法擅長(zhǎng)求解極值問題，所以MGD算法得出的訓(xùn)練結(jié)果略優(yōu)于PSO算法。

神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成之后，利用后50組數(shù)據(jù)測(cè)試網(wǎng)絡(luò)模型的預(yù)測(cè)能力：將每組前6個(gè)數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)，將得到的50個(gè)預(yù)測(cè)值和對(duì)應(yīng)的實(shí)際參考值作比較。圖4所示是一次典型的預(yù)測(cè)結(jié)果，大部分預(yù)測(cè)值和實(shí)際值比較符合。計(jì)算得到圖4中實(shí)際值的標(biāo)準(zhǔn)差為1.81×10-11，而預(yù)測(cè)誤差的均方根1.12×10-11相比起來有明顯減小。在理想條件下，如果能精準(zhǔn)預(yù)測(cè)下一周期的誤差信號(hào)，并通過伺服機(jī)制精準(zhǔn)調(diào)節(jié)原子鐘本振的頻率，可以使下一周期的誤差信號(hào)降到零；在不完美預(yù)測(cè)的條件下，精準(zhǔn)伺服的方式可以根據(jù)預(yù)測(cè)值提前將本振頻率調(diào)節(jié)對(duì)應(yīng)的值，則下一周期的誤差信號(hào)變成原本的真實(shí)值減去預(yù)測(cè)值，即預(yù)測(cè)誤差值。因此預(yù)測(cè)誤差的波動(dòng)限制了利用神經(jīng)網(wǎng)絡(luò)輸出的預(yù)測(cè)值提升原子鐘穩(wěn)定度的上限，例如圖4的數(shù)據(jù)表明利用這一輪預(yù)測(cè)結(jié)果最多可以將誤差信號(hào)的標(biāo)準(zhǔn)差降低到原來的0.62倍，近似于將原子鐘的短期頻率穩(wěn)定度提升到1.6倍。

圖4 LLWNN神經(jīng)網(wǎng)絡(luò)的預(yù)報(bào)結(jié)果 圖5 神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)性能隨隱藏層節(jié)點(diǎn)數(shù)的變化情況

2.3 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)優(yōu)化以及測(cè)試結(jié)果

作為比較的參考對(duì)象，我們也在實(shí)驗(yàn)中對(duì)BP神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)效果進(jìn)行了測(cè)試。由于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練復(fù)雜度會(huì)隨著隱藏層數(shù)的增加而迅速增大，我們選擇單層隱藏層的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行測(cè)試，從而控制使兩種神經(jīng)網(wǎng)絡(luò)在訓(xùn)練中使用的計(jì)算資源不會(huì)相差太多。實(shí)際測(cè)試了使用不同類型激活函數(shù)的效果后，我們使用Tan-Sigmoid函數(shù):

(10)

作為BP神經(jīng)網(wǎng)絡(luò)隱藏層神經(jīng)元的激活函數(shù)，使用線性函數(shù)作為輸出層神經(jīng)元的激活函數(shù)。BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法也采用MGD算法。

為了評(píng)估神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)效果，我們?cè)谏鲜?5萬個(gè)數(shù)據(jù)點(diǎn)中隨機(jī)抽取了100個(gè)訓(xùn)練-預(yù)測(cè)數(shù)據(jù)段，其中每個(gè)訓(xùn)練-預(yù)測(cè)數(shù)據(jù)段由前述的400組輸入-輸出數(shù)據(jù)組成，在每個(gè)數(shù)據(jù)段中都可以對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行一輪訓(xùn)練-測(cè)試的處理過程。每個(gè)數(shù)據(jù)段中都完成訓(xùn)練-測(cè)試操作之后，我們?cè)賹⑦@100輪處理中的預(yù)測(cè)誤差結(jié)合起來評(píng)估，以盡量減小偶有特殊的規(guī)律性數(shù)據(jù)噪聲對(duì)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)性能的影響。在每個(gè)數(shù)據(jù)段內(nèi)的測(cè)試中，神經(jīng)網(wǎng)絡(luò)會(huì)輸出50組預(yù)測(cè)值，這些預(yù)測(cè)值和實(shí)際值之間的均方根誤差體現(xiàn)了這一輪的預(yù)測(cè)效果。由于不同數(shù)據(jù)段內(nèi)被預(yù)測(cè)數(shù)據(jù)本身的噪聲大小互有差異，這些差異也會(huì)影響到均方根誤差的值；而后續(xù)分析中需要綜合考慮神經(jīng)網(wǎng)絡(luò)在不同數(shù)據(jù)段中的預(yù)測(cè)性能，因此我們?cè)诿總€(gè)數(shù)據(jù)段內(nèi)的一輪測(cè)試后先計(jì)算預(yù)測(cè)值和實(shí)際值之間的均方根誤差，再取其與當(dāng)前數(shù)據(jù)段內(nèi)實(shí)際值的標(biāo)準(zhǔn)差這二者之比，將結(jié)果作為當(dāng)前數(shù)據(jù)段內(nèi)測(cè)試結(jié)果的評(píng)價(jià)指標(biāo)，本文中我們將這一指標(biāo)簡(jiǎn)單地稱為“相對(duì)預(yù)測(cè)誤差”。在完成所有數(shù)據(jù)段中的訓(xùn)練和測(cè)試操作后，我們求出這100輪測(cè)試的相對(duì)預(yù)測(cè)誤差的平均值，將其作為評(píng)估神經(jīng)網(wǎng)絡(luò)性能的統(tǒng)一指標(biāo)，本文中我們將這一指標(biāo)簡(jiǎn)單地稱為“相對(duì)預(yù)測(cè)誤差平均值”。以相對(duì)預(yù)測(cè)誤差平均值為依據(jù)，我們對(duì)不同神經(jīng)網(wǎng)絡(luò)的性能做了比較，同時(shí)也對(duì)單個(gè)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行了優(yōu)化，將使得相對(duì)預(yù)測(cè)誤差平均值最小的神經(jīng)元數(shù)目作為最佳神經(jīng)元數(shù)目。如圖5所示，當(dāng)隱藏層的節(jié)點(diǎn)數(shù)增加時(shí)，BP神經(jīng)網(wǎng)絡(luò)和LLWNN神經(jīng)網(wǎng)絡(luò)的相對(duì)預(yù)測(cè)誤差平均值都有先減小后增大的趨勢(shì)，這是因?yàn)殡S著節(jié)點(diǎn)數(shù)增多，神經(jīng)網(wǎng)絡(luò)的可學(xué)習(xí)參數(shù)更多、結(jié)構(gòu)更加復(fù)雜，可以在更大范圍的函數(shù)空間內(nèi)搜索合適的預(yù)測(cè)模型；但在同時(shí)，搜索空間的增大也意味著搜索復(fù)雜度的提升，這對(duì)訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)的計(jì)算資源和計(jì)算精度都提出了挑戰(zhàn)。對(duì)于我們實(shí)現(xiàn)的BP神經(jīng)網(wǎng)絡(luò)，在隱藏層具有8個(gè)神經(jīng)元時(shí)取得最佳的預(yù)測(cè)性能；引入小波神經(jīng)元的LLWNN神經(jīng)網(wǎng)絡(luò)在隱藏層的小波神經(jīng)元數(shù)小于8時(shí)都能實(shí)現(xiàn)較好的預(yù)測(cè)效果，在小波神經(jīng)元數(shù)目過多時(shí)，計(jì)算復(fù)雜度的增大會(huì)導(dǎo)致預(yù)測(cè)誤差變大，其中小波神經(jīng)元數(shù)目為6時(shí)的預(yù)測(cè)誤差最小。

圖6描述了兩種神經(jīng)網(wǎng)絡(luò)各自設(shè)定到最佳的隱藏層節(jié)點(diǎn)數(shù)時(shí)，在每個(gè)數(shù)據(jù)段測(cè)試中的相對(duì)預(yù)測(cè)誤差。在少數(shù)數(shù)據(jù)段中BP神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)效果也可以接近甚至超過LLWNN神經(jīng)網(wǎng)絡(luò)，但是BP神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果不穩(wěn)定；在一些數(shù)據(jù)段內(nèi)，BP神經(jīng)網(wǎng)絡(luò)的相對(duì)預(yù)測(cè)誤差大于1，即預(yù)測(cè)誤差的波動(dòng)比原始數(shù)據(jù)更大，這些情況下若將神經(jīng)網(wǎng)絡(luò)的輸出反饋到原子鐘反而會(huì)惡化穩(wěn)定度。在100個(gè)數(shù)據(jù)段的測(cè)試中，BP神經(jīng)網(wǎng)絡(luò)相對(duì)預(yù)測(cè)誤差的平均值為0.887 3，最大值為1.029 1；LLWNN神經(jīng)網(wǎng)絡(luò)相對(duì)預(yù)測(cè)誤差的平均值為0.789 0，最大值為0.936 9。LLWNN神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)效果與BP神經(jīng)網(wǎng)絡(luò)相比有了較大進(jìn)步，但是這離應(yīng)用到原子鐘的要求還有一段距離。如果希望把預(yù)測(cè)結(jié)果應(yīng)用于原子鐘內(nèi)參與頻率調(diào)節(jié)的過程，可能需要使用輸出信號(hào)能夠反饋回輸入端的循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)進(jìn)一步分析；此外，也還需要對(duì)噪聲中晶振頻率波動(dòng)的成分與其他波動(dòng)成分做出更清晰的區(qū)分。

圖6 BP與LLWNN神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)效果對(duì)比圖

3 結(jié)語(yǔ)

本文采用基于LLWNN神經(jīng)網(wǎng)絡(luò)模型的算法對(duì)銫原子鐘的內(nèi)部信號(hào)進(jìn)行預(yù)報(bào)，并應(yīng)用光抽運(yùn)銫原子鐘的誤差信號(hào)進(jìn)行了測(cè)試和驗(yàn)證；神經(jīng)網(wǎng)絡(luò)的參數(shù)訓(xùn)練采用了MGD算法，訓(xùn)練結(jié)果表現(xiàn)出了較好的全局性。論文還評(píng)估和比較了BP神經(jīng)網(wǎng)絡(luò)和LLWNN神經(jīng)網(wǎng)絡(luò)的預(yù)報(bào)性能，在兩種神經(jīng)網(wǎng)絡(luò)都優(yōu)化至最佳結(jié)構(gòu)時(shí)，LLWNN神經(jīng)網(wǎng)絡(luò)表現(xiàn)出了更高的預(yù)報(bào)精度，且預(yù)報(bào)穩(wěn)定性更好。但是目前對(duì)誤差信號(hào)的預(yù)報(bào)精度還不夠高，也無法區(qū)分組成誤差信號(hào)噪聲的各類成份及來源；在未來進(jìn)一步的研究中，還可以考慮建立循環(huán)神經(jīng)網(wǎng)絡(luò)來模擬將預(yù)測(cè)結(jié)果加入原子鐘頻率控制環(huán)路的過程，建立起合適的反饋模型并尋找最佳的反饋參數(shù)。