何利健,張銳?,林曉冬

(1 中國(guó)科學(xué)院微小衛(wèi)星創(chuàng)新研究院, 上海 201203; 2 中國(guó)科學(xué)院大學(xué), 北京 100049)

太陽(yáng)能電池陣作為衛(wèi)星的能源供應(yīng)系統(tǒng),其性能好壞直接決定了在軌衛(wèi)星能否正常穩(wěn)定運(yùn)行。據(jù)文獻(xiàn)統(tǒng)計(jì)[1],近50年來(lái)公開(kāi)發(fā)布的國(guó)內(nèi)外航天器發(fā)射與在軌故障的發(fā)生原因中,有21%是由于電源分系統(tǒng)故障導(dǎo)致,因此對(duì)太陽(yáng)能電池陣進(jìn)行異常檢測(cè)具有重大意義。衛(wèi)星遙測(cè)數(shù)據(jù)是地面工作站對(duì)衛(wèi)星運(yùn)行狀態(tài)進(jìn)行判斷的唯一依據(jù)[2],因此根據(jù)歷史遙測(cè)數(shù)據(jù)的變化規(guī)律對(duì)衛(wèi)星未來(lái)工作狀態(tài)趨勢(shì)進(jìn)行預(yù)測(cè),并根據(jù)預(yù)測(cè)結(jié)果對(duì)衛(wèi)星性能狀態(tài)進(jìn)行評(píng)估,對(duì)確保衛(wèi)星健康穩(wěn)定運(yùn)行具有重大意義。目前,對(duì)遙測(cè)數(shù)據(jù)進(jìn)行異常檢測(cè),工程上一直采用傳統(tǒng)的人工數(shù)據(jù)判讀、閾值自動(dòng)判讀以及專家經(jīng)驗(yàn)手段進(jìn)行[3]。針對(duì)基于預(yù)測(cè)模型的異常檢測(cè)方法,由于傳統(tǒng)的閾值自動(dòng)判讀方法具有方法簡(jiǎn)單且易實(shí)施、擁有較好的效果等優(yōu)點(diǎn),被廣泛應(yīng)用于實(shí)際場(chǎng)景中,因而預(yù)測(cè)模型的精確度決定了遙測(cè)數(shù)據(jù)異常檢測(cè)的準(zhǔn)確性。

在時(shí)序數(shù)據(jù)預(yù)測(cè)領(lǐng)域,傳統(tǒng)的模型,如卡爾曼濾波[4-5]、自回歸移動(dòng)平均模型(ARMA)[6]、自回歸差分移動(dòng)平均模型(ARIMA)[7]等都具有廣泛的應(yīng)用。近年來(lái),隨著機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的不斷發(fā)展,該領(lǐng)域的相關(guān)方法被成功應(yīng)用到了時(shí)序預(yù)測(cè)領(lǐng)域,如:人工神經(jīng)網(wǎng)絡(luò)(ANN)[8-10]、支持向量機(jī)(SVM)[11],其中,長(zhǎng)短期記憶網(wǎng)絡(luò)(long short-term memory,LSTM)由于具有較好的時(shí)序特征提取能力,在時(shí)序數(shù)據(jù)預(yù)測(cè)領(lǐng)域得到了廣泛關(guān)注。文獻(xiàn)[12-14]使用LSTM對(duì)時(shí)間序列進(jìn)行預(yù)測(cè),但傳統(tǒng)預(yù)測(cè)模型僅通過(guò)LSTM對(duì)具有高頻動(dòng)態(tài)波動(dòng)時(shí)序數(shù)據(jù)進(jìn)行建模,存在預(yù)測(cè)精度不足問(wèn)題,難以對(duì)平穩(wěn)變化數(shù)據(jù)和高頻動(dòng)態(tài)波動(dòng)數(shù)據(jù)同時(shí)進(jìn)行良好建模。文獻(xiàn)[15-17]在LSTM的基礎(chǔ)上引入小波變換,以增強(qiáng)數(shù)據(jù)特征,提高LSTM模型的預(yù)測(cè)精度,但單通道LSTM模型對(duì)序列特征表達(dá)能力有限,難以對(duì)特征進(jìn)行全面表達(dá),而雙通道LSTM模型可以提高特征表達(dá)能力,最終提高預(yù)測(cè)精度。

衛(wèi)星太陽(yáng)能電池陣輸入電流數(shù)據(jù)是時(shí)序數(shù)據(jù),因此具有較強(qiáng)的時(shí)序特征,同時(shí)由于衛(wèi)星電池陣所處的環(huán)境惡劣,受外界影響較多,會(huì)造成電流的波動(dòng)起伏。鑒于小波變換的多尺度分析特性以及LSTM的時(shí)序特征提取能力,同時(shí)雙通道能夠更加有效地提取出時(shí)序特征信息。本文提出一種基于離散小波變換的雙通道LSTM預(yù)測(cè)模型,不直接預(yù)測(cè)信號(hào)本身,而是預(yù)測(cè)信號(hào)的小波系數(shù),再對(duì)小波系數(shù)進(jìn)行信號(hào)重構(gòu),最終獲得預(yù)測(cè)信號(hào)。在某衛(wèi)星上的真實(shí)遙測(cè)數(shù)據(jù)上進(jìn)行模型性能驗(yàn)證,結(jié)果表明,相較于傳統(tǒng)的LSTM預(yù)測(cè)模型,本文所提方法具有更好的預(yù)測(cè)性能。

1 基礎(chǔ)理論

1.1 LSTM原理結(jié)構(gòu)

LSTM是RNN的一種特殊類型,可以解決傳統(tǒng)RNN存在的梯度消失或梯度爆炸問(wèn)題。這意味著LSTM在處理較長(zhǎng)時(shí)序數(shù)據(jù)時(shí),尤其在捕獲長(zhǎng)期依賴關(guān)系和進(jìn)行非線性變換方面具有更強(qiáng)的優(yōu)勢(shì),因此其在時(shí)序數(shù)據(jù)預(yù)測(cè)領(lǐng)域具有廣泛的應(yīng)用。具體模型如圖1所示。

LSTM通過(guò)使用精心設(shè)計(jì)的結(jié)構(gòu)來(lái)解決RNN存在的梯度問(wèn)題。在LSTM單元中,ht可以認(rèn)為是一個(gè)短期狀態(tài),Ct可以認(rèn)為是一個(gè)長(zhǎng)期狀態(tài)。LSTM的獨(dú)特之處在于可以通過(guò)“門”結(jié)構(gòu)對(duì)信息進(jìn)行控制,決定哪些信息需要被存儲(chǔ),哪些信息可以被遺忘,哪些信息需要添加更新。LSTM工作原理表達(dá)式如下所示:

ft=σ(Wf·[ht-1,xt]+bf),

(1)

it=σ(Wi·[ht-1,xt]+bi),

(2)

(3)

(4)

ot=σ(Wo·[ht-1,xt]+bo),

(5)

ht=ot*tanh(Ct).

(6)

圖1 LSTM單元結(jié)構(gòu)示意圖Fig.1 Schematic diagram of LSTM unit structure

ft表示遺忘門輸出,決定了上一時(shí)刻長(zhǎng)期記憶單元狀態(tài)Ct-1信息的遺忘程度;it為輸入門輸出,決定了當(dāng)前輸入xt的情況下信息更新到Ct的情況;ot表示輸出門輸出,控制單元狀態(tài)Ct到LSTM的當(dāng)前輸出值ht。

1.2 離散小波變換

小波變換相較于傅里葉變換,不同之處在于基函數(shù)的不同,小波變換將傅里葉變換的基函數(shù)替換成了有限長(zhǎng)會(huì)衰減的小波基。小波變換的優(yōu)勢(shì)在于既可以提取時(shí)域特征,也可以提取頻域特征,具有較強(qiáng)的時(shí)頻特征表達(dá)能力,對(duì)于非平穩(wěn)信號(hào)具有較強(qiáng)的分析能力,不同的低頻小波系數(shù)表征了對(duì)應(yīng)尺度的數(shù)據(jù)偏差,因而小波分解可以提高一維數(shù)據(jù)特征。

離散小波變換(discrete wavelet transform,DWT)采用Mallat快速算法實(shí)現(xiàn),該算法是一個(gè)采用小波濾波器對(duì)離散信號(hào)進(jìn)行多次低通和高通濾波的過(guò)程,每次濾波獲得一個(gè)低頻分量和一個(gè)高頻分量。設(shè)第i尺度上的低頻分量為ai,高頻分量為di,正交小波濾波器分別為h(低通)和g(高通),則某一尺度上的小波分解和合成的Mallat算法可表示為:

(7)

(8)

(9)

2 電流數(shù)據(jù)分析及預(yù)測(cè)模型

2.1 太陽(yáng)能電池陣電流數(shù)據(jù)分析

衛(wèi)星太陽(yáng)能電池陣電流受外在因素以及內(nèi)在因素兩方面影響。內(nèi)在因素一般包括電池陣電池片的轉(zhuǎn)化效率、溫度變化特性以及因太空環(huán)境而造成的衰減和突變等因素。外在因素一般包括太陽(yáng)光強(qiáng)度、太陽(yáng)光入射角、衛(wèi)星姿態(tài)變化以及遮擋和反照等因素。這些因素都會(huì)對(duì)太陽(yáng)能電池陣電流數(shù)據(jù)變化產(chǎn)生影響,且具有一定的疊加效果,因此太陽(yáng)能電池陣電流數(shù)據(jù)可能存在較多的波動(dòng)。

對(duì)本文采用的太陽(yáng)能電池陣電流數(shù)據(jù)取部分長(zhǎng)度序列進(jìn)行3層小波分解,分解結(jié)果如圖2所示。

圖2 原始電流信號(hào)及小波分解結(jié)果Fig.2 Original current signal and wavelet decomposition results

從圖2(a)可以看出,原始電流信號(hào)具有很多高頻的微小動(dòng)態(tài),由于LSTM對(duì)擾動(dòng)比較敏感,若直接通過(guò)LSTM對(duì)其進(jìn)行特征提取并建模,則較難對(duì)信號(hào)趨勢(shì)以及高頻動(dòng)態(tài)同時(shí)進(jìn)行建模,因此會(huì)造成預(yù)測(cè)精度不足的問(wèn)題。對(duì)信號(hào)進(jìn)行3層小波分解后,得到不同的小波系數(shù),如圖2(b)所示。低頻小波系數(shù)CA3很好地反映了信號(hào)的總體趨勢(shì)且無(wú)擾動(dòng),因此易對(duì)其進(jìn)行建模,具有較高的可預(yù)測(cè)性。小波分解得到的不同層高頻小波系數(shù)CD1、CD2和CD3分別反映了不同尺度上的動(dòng)態(tài)信息,且高頻小波系數(shù)相互正交,對(duì)每層高頻系數(shù)使用LSTM單獨(dú)進(jìn)行建模,可以降低單個(gè)LSTM模型復(fù)雜度,降低擾動(dòng)對(duì)模型建模精度的影響,從而提高模型對(duì)信號(hào)的適應(yīng)度以及提高模型的預(yù)測(cè)精度。

2.2 預(yù)測(cè)模型

LSTM具有較好的時(shí)序特征提取能力,因此在時(shí)序數(shù)據(jù)預(yù)測(cè)領(lǐng)域上具有較強(qiáng)優(yōu)勢(shì)。而雙通道LSTM模型通過(guò)對(duì)不同隱藏層設(shè)置不同數(shù)量的神經(jīng)元,可以捕捉不同信息特征,從而加強(qiáng)對(duì)特征的提取能力。但對(duì)于變化頻率較高且較復(fù)雜的信號(hào)而言,LSTM存在特征表達(dá)能力不足問(wèn)題。小波分解可以根據(jù)信號(hào)的時(shí)頻特性,以多層小波系數(shù)對(duì)數(shù)據(jù)時(shí)頻特征進(jìn)行表征,加強(qiáng)數(shù)據(jù)特征,降低數(shù)據(jù)復(fù)雜度。本文結(jié)合LSTM和小波分解的優(yōu)點(diǎn),在LSTM的基礎(chǔ)上引入小波分解來(lái)提高數(shù)據(jù)特征,降低單個(gè)模型的建模復(fù)雜度,解決傳統(tǒng)單通道LSTM對(duì)變化頻率較高的復(fù)雜信號(hào)預(yù)測(cè)精度不足的問(wèn)題。

本文所提出的預(yù)測(cè)模型如圖3所示。模型主要包含以下3部分:1)對(duì)單通道遙測(cè)數(shù)據(jù)進(jìn)行歸一化操作后再進(jìn)行3階小波分解,從而獲取不同尺度的小波系數(shù);2)對(duì)小波分解得到的多層小波系數(shù)分別通過(guò)雙通道LSTM網(wǎng)絡(luò)進(jìn)行時(shí)序特征提取并進(jìn)行預(yù)測(cè);3)對(duì)預(yù)測(cè)出來(lái)的各層小波系數(shù)進(jìn)行逆小波變換得到重構(gòu)信號(hào),之后對(duì)重構(gòu)信號(hào)進(jìn)行反歸一化,從而獲得最終的預(yù)測(cè)值。

圖3 預(yù)測(cè)模型流程圖Fig.3 Flow chart of prediction model

3 仿真實(shí)驗(yàn)與結(jié)果分析

本實(shí)驗(yàn)是基于Windows操作系統(tǒng),深度學(xué)習(xí)框架選用TensorFlow計(jì)算框架,CPU為Intel I5-4200H, 2.80 GHz, tensorflow為1.13.1版本,keras為2.3.1版本,numpy為1.15.4版本,pandas為0.23.4版本,pywavelets為1.1.1版本。本實(shí)驗(yàn)采用CPU進(jìn)行模型訓(xùn)練和測(cè)試。

3.1 數(shù)據(jù)集介紹及模型參數(shù)設(shè)置

實(shí)驗(yàn)采用某衛(wèi)星型號(hào)的+y軸電池陣電流遙測(cè)數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù)集,數(shù)據(jù)點(diǎn)采樣頻率為0.125 Hz,共134 773個(gè)數(shù)據(jù)點(diǎn),采用滑窗法按固定窗口大小獲取實(shí)驗(yàn)所需數(shù)據(jù)集。取步長(zhǎng)lp為L(zhǎng)STM模型輸出數(shù)據(jù)的時(shí)間長(zhǎng)度,預(yù)測(cè)時(shí)間步長(zhǎng)越長(zhǎng),預(yù)測(cè)精度越差,為保證模型的預(yù)測(cè)精度,本文選取lp=1。將數(shù)據(jù)集按照比例0.7∶0.1∶0.2劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。網(wǎng)絡(luò)模型部分參數(shù)如表1所示。

3.2 評(píng)價(jià)指標(biāo)

為評(píng)價(jià)模型的性能,引入回歸任務(wù)中常用評(píng)價(jià)指標(biāo),分別為平均絕對(duì)誤差MAE,均方根誤差RMSE和相關(guān)系數(shù)R。

(10)

(11)

(12)

3.3 實(shí)驗(yàn)結(jié)果分析

表2為隱藏層具有不同大小units設(shè)置的LSTM預(yù)測(cè)模型的性能比較,隱藏層units設(shè)置分別為80-80和64-32,其中80-80表示第1層隱藏層和第2層隱藏層的units數(shù)量設(shè)置。如表2所示,對(duì)于單通道模型,不同units設(shè)置的LSTM預(yù)測(cè)模型在評(píng)價(jià)指標(biāo)上具有不同結(jié)果,反映了不同units設(shè)置的LSTM模型對(duì)信號(hào)特征具有不同的關(guān)注點(diǎn)和提取能力。表中實(shí)驗(yàn)結(jié)果數(shù)據(jù)顯示,結(jié)合具有不同units數(shù)量設(shè)置的雙通道模型在RMSE和R的性能指標(biāo)上較2個(gè)單通道模型都有明顯提升,而在MAE上表現(xiàn)與較好的模型一致。由于RMSE對(duì)異常值的敏感度更高,RMSE降低說(shuō)明雙通道模型預(yù)測(cè)值和實(shí)際值的偏離程度降低,因而預(yù)測(cè)精度更高,而R指標(biāo)提高說(shuō)明雙通道模型對(duì)數(shù)據(jù)的擬合度更高。該結(jié)果表明在雙通道模型中,能夠綜合具有不同units的預(yù)測(cè)模型的優(yōu)點(diǎn),提高模型的特征提取能力,從而提高模型的預(yù)測(cè)性能。

表1 模型參數(shù)Table 1 Model parameters

表2 不同units設(shè)置的LSTM預(yù)測(cè)模型性能比較Table 2 Performance comparison of LSTM prediction models with different units

表3為不同模型的網(wǎng)絡(luò)結(jié)構(gòu)配置和預(yù)測(cè)性能比較。從表3可以看出,本文提出的DWT-DoubleLSTM預(yù)測(cè)模型獲得了最好的預(yù)測(cè)結(jié)果,各性能評(píng)價(jià)指標(biāo)具有不同程度的提升。對(duì)于單通道模型,基于小波變換的DWT-LSTM相較于傳統(tǒng)LSTM,其MAE減少5.7%,RMSE減少15.4%,R提高1.8%;基于小波變換的DWT-DoubleLSTM模型相較于傳統(tǒng)LSTM模型,其MAE減少16.4%,RMSE減少29.9%,R提高3.2%。該結(jié)果表明,通過(guò)對(duì)信號(hào)進(jìn)行小波分解,得到多層小波系數(shù),并對(duì)每層系數(shù)單獨(dú)建模,將單個(gè)預(yù)測(cè)任務(wù)分解為多個(gè)預(yù)測(cè)任務(wù),可以有效降低模型復(fù)雜度,從而有效提高最終的預(yù)測(cè)精度。而基于小波變換的DWT-LSTM的預(yù)測(cè)效果沒(méi)有Double-LSTM好,但比傳統(tǒng)單通道LSTM預(yù)測(cè)效果好,說(shuō)明使用雙通道融合可以加強(qiáng)模型對(duì)特征的提取能力,提高模型的預(yù)測(cè)能力。

圖4為部分時(shí)間的各層小波系數(shù)預(yù)測(cè)結(jié)果圖。從圖4中結(jié)果可以看出,圖4(a)第3層低頻系數(shù)上的預(yù)測(cè)效果較好,低頻系數(shù)反映了信號(hào)的總體趨勢(shì),且無(wú)小動(dòng)態(tài),因而神經(jīng)網(wǎng)絡(luò)模型對(duì)其建模預(yù)測(cè)較為簡(jiǎn)單。其他3層高頻系數(shù)預(yù)測(cè)值和真實(shí)值不能完全一一對(duì)應(yīng),但總體趨勢(shì)一致以及誤差范圍能限定在一個(gè)較小的值。由于低頻系數(shù)預(yù)測(cè)準(zhǔn)確率較高,而高頻系數(shù)預(yù)測(cè)模型將預(yù)測(cè)誤差限定在了一個(gè)很小的范圍內(nèi),因此對(duì)預(yù)測(cè)小波系數(shù)做小波重構(gòu)時(shí),能夠恢復(fù)出良好的信號(hào)而不具有大誤差。

表3 不同預(yù)測(cè)模型的網(wǎng)絡(luò)結(jié)構(gòu)Table 3 Network structure of different prediction models

圖4 各層小波系數(shù)預(yù)測(cè)值Fig.4 Prediction results of different wavelet coefficients

圖5為局部時(shí)間各種預(yù)測(cè)模型的預(yù)測(cè)結(jié)果圖。從圖5的各種模型預(yù)測(cè)結(jié)果可以看出,基于小波變換的DWT-DoubleLSTM預(yù)測(cè)模型,無(wú)論是總體趨勢(shì)還是細(xì)節(jié)預(yù)測(cè)精度,都比其他模型高,反映了使用小波分解方法獲得多層小波系數(shù),并對(duì)多層小波系數(shù)分別建模預(yù)測(cè)的方法能夠降低信號(hào)復(fù)雜度和單個(gè)模型建模復(fù)雜度的正確性。

圖5 不同預(yù)測(cè)模型的預(yù)測(cè)結(jié)果圖Fig.5 The prediction results of different prediction models

4 結(jié)論

為解決衛(wèi)星太陽(yáng)能電池陣電流預(yù)測(cè)精度不足問(wèn)題,本文提出基于DWT和雙通道LSTM的數(shù)據(jù)預(yù)測(cè)模型,并通過(guò)使用某衛(wèi)星型號(hào)的真實(shí)遙測(cè)數(shù)據(jù)對(duì)模型進(jìn)行實(shí)驗(yàn)驗(yàn)證。結(jié)果表明,雙通道LSTM在數(shù)據(jù)預(yù)測(cè)效果上相較于單通道LSTM有一定的提升;通過(guò)離散小波變換對(duì)時(shí)間序列進(jìn)行小波分解之后,再對(duì)小波系數(shù)進(jìn)行預(yù)測(cè),最后使用預(yù)測(cè)小波系數(shù)重構(gòu)出預(yù)測(cè)值。該方法相較于傳統(tǒng)的直接使用LSTM預(yù)測(cè)信號(hào)取得了更好的預(yù)測(cè)效果。最終結(jié)果表明本文所提出的方法相較于傳統(tǒng)使用LSTM直接對(duì)信號(hào)進(jìn)行預(yù)測(cè)具有更高的預(yù)測(cè)性能,其MAE減少16.4%,RMSE減少29.9%,R提高3.2%。但本文未考慮特征之間的相關(guān)性以及時(shí)序數(shù)據(jù)的時(shí)間相關(guān)性對(duì)信號(hào)預(yù)測(cè)的影響,因此后續(xù)研究將對(duì)多信號(hào)輸入下的遙測(cè)數(shù)據(jù)預(yù)測(cè)工作展開(kāi)研究,同時(shí)對(duì)LSTM引入attention機(jī)制加強(qiáng)模型的特征提取能力,提高模型的預(yù)測(cè)精度。