劉 切, 上官子卓, 李嘉璽

重慶大學(xué), 重慶 400044

0 引 言

隨著我國航天事業(yè)的飛速發(fā)展,航天器的結(jié)構(gòu)日趨復(fù)雜、工作環(huán)境更加惡劣多變,航天器故障風(fēng)險(xiǎn)日益增加,對(duì)高精度的遙測數(shù)據(jù)分析技術(shù)需求迫切[1].

航天器遙測數(shù)據(jù)值來源于航天器上各傳感器數(shù)據(jù)[2],包含了表示航天器狀態(tài)的重要信息[3],分析航天器遙測值能夠?qū)崟r(shí)了解其在軌狀態(tài),發(fā)現(xiàn)異常狀態(tài),為航天器狀態(tài)干預(yù)提供依據(jù),從而確保其安全可靠運(yùn)行.因此,對(duì)航天器遙測數(shù)據(jù)異常檢測是航天器運(yùn)維關(guān)鍵技術(shù).

近年來,對(duì)航天器的遙測數(shù)據(jù)進(jìn)行異常檢測引起了國內(nèi)外學(xué)者的廣泛關(guān)注.彭喜元等[4]將遙測數(shù)據(jù)異常檢測技術(shù)分為4類,即基于人工監(jiān)測結(jié)合閾值的方法、基于專家系統(tǒng)的方法、基于專家經(jīng)驗(yàn)的模型構(gòu)建方法和基于數(shù)據(jù)驅(qū)動(dòng)的異常檢測方法.其中基于數(shù)據(jù)驅(qū)動(dòng)的異常檢測應(yīng)用最廣泛,MARTIN[5]在2007年提出一種高斯混合模型對(duì)航天器主發(fā)動(dòng)機(jī)進(jìn)行異常檢測,SCHWABACHER等[6]應(yīng)用最近鄰算法,開發(fā)了Orca系統(tǒng),并在兩個(gè)火箭發(fā)動(dòng)機(jī)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn),驗(yàn)證其在大數(shù)據(jù)量系統(tǒng)的適用性,文獻(xiàn)[7]針對(duì)航天器單變量時(shí)間序列,提出綜合預(yù)測算法并證明其有效性;崔廣立[8]將自回歸模型與反向傳播神經(jīng)網(wǎng)絡(luò)結(jié)合,并引入遺傳算法進(jìn)行優(yōu)化,證明了該方法的實(shí)用性和有效性.

計(jì)算能力與神經(jīng)網(wǎng)絡(luò)技術(shù)的進(jìn)步使得眾多深度學(xué)習(xí)模型也被應(yīng)用于時(shí)間序列異常檢測任務(wù)中[9].其中,長短期記憶網(wǎng)絡(luò)(long-short term memory, LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)的一種特殊結(jié)構(gòu),在對(duì)時(shí)間序列進(jìn)行預(yù)測時(shí)可以有效處理歷史信息,在保持長期依賴性記憶上有很大優(yōu)勢,因此被廣泛應(yīng)用于時(shí)間序列預(yù)測.文獻(xiàn)[10]通過變體LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)動(dòng)態(tài)調(diào)整模型參數(shù),使模型更適用于長時(shí)間序列異常檢測.HUNDMAN等[11]應(yīng)用LSTM算法提出一種單通道遙測數(shù)據(jù)實(shí)時(shí)異常檢測模型對(duì)當(dāng)前數(shù)據(jù)進(jìn)行實(shí)時(shí)異常檢測.

由于航天領(lǐng)域數(shù)據(jù)集樣本小,人工標(biāo)注數(shù)據(jù)任務(wù)量大[12],成本高且異常標(biāo)記數(shù)據(jù)缺乏,在進(jìn)行異常檢測時(shí)很難獲得精度較高的模型.鑒于以上問題,本文針對(duì)NASA公開的火星科學(xué)實(shí)驗(yàn)室漫游車好奇號(hào)探測數(shù)據(jù)(soil moisture active and passive, MSL)和土壤水分觀測數(shù)據(jù)集(soil moisture active and passive, SMAP)提出了一種基于遷移學(xué)習(xí)的時(shí)間序列異常檢測方法.由于航天器遙測時(shí)間序列數(shù)據(jù)具有強(qiáng)相關(guān)性的特點(diǎn),本文利用LSTM進(jìn)行時(shí)間序列預(yù)測.但是傳統(tǒng)LSTM缺少對(duì)未來數(shù)據(jù)的利用,導(dǎo)致其模型精度欠佳,因此本文通過雙向長短期記憶網(wǎng)絡(luò)對(duì)輸入時(shí)間序列進(jìn)行正向和反向計(jì)算,提高模型預(yù)測精度,同時(shí)注意力機(jī)制更擅長捕捉時(shí)間序列動(dòng)態(tài)變化,所以在LSTM模型中引入了注意力基礎(chǔ),從而能更好提取數(shù)據(jù)特征.最后針對(duì)時(shí)間序列數(shù)據(jù)量大,有標(biāo)簽數(shù)據(jù)少的問題,引入遷移學(xué)習(xí)策略對(duì)預(yù)訓(xùn)練模型進(jìn)行參數(shù)微調(diào),實(shí)現(xiàn)了LSTM模型的遷移.提出的模型與最新的異常檢測算法進(jìn)行比較,結(jié)果表明本文基于遷移學(xué)習(xí)的注意力機(jī)制LSTM模型提高了異常檢測效果,泛化能力較強(qiáng).

1 遙測數(shù)據(jù)異常檢測原理

本文基于遷移學(xué)習(xí)的異常檢測模型建立在數(shù)據(jù)預(yù)測基礎(chǔ)上,為了更清晰地理解模型的工作原理,本節(jié)首先對(duì)深度學(xué)習(xí)進(jìn)行異常檢測的原理做簡單介紹.

1.1 LSTM模型

長短期記憶網(wǎng)絡(luò)是循環(huán)神經(jīng)網(wǎng)絡(luò)模型(recurrent neural network, RNN)的一種變體,能夠解決標(biāo)準(zhǔn)RNN存在的反向梯度消失和梯度爆炸的問題并保留其優(yōu)勢[13],由HOCHREITER等[14]于1997年提出,用來解決神經(jīng)網(wǎng)絡(luò)長期依賴的問題.LSTM相比于標(biāo)準(zhǔn)RNN結(jié)構(gòu)更加復(fù)雜,其核心是增加了細(xì)胞狀態(tài)(cell state)來保存歷史信息,更好處理長時(shí)間序列.

標(biāo)準(zhǔn)RNN的前向計(jì)算方式如式(1)～(2)所示

ht=σh(Whxt+Ghht-1+bh)

(1)

yt=σy(Wyht+by)

(2)

式中,xt為時(shí)間序列輸入向量,ht為隱藏層狀態(tài),σh為隱藏層激活函數(shù),Wh為輸入向量權(quán)重矩陣,Gh表示循環(huán)單元權(quán)重矩陣,bh為隱藏層偏置向量,by為輸出層偏置向量,σy為輸出層激活函數(shù),yt為神經(jīng)網(wǎng)絡(luò)輸出狀態(tài).

定義時(shí)間序列模型的損失函數(shù)如式(3)～(4)所示

(3)

(4)

得到循環(huán)單元權(quán)重矩陣導(dǎo)數(shù)為

(5)

(6)

Sigmoid函數(shù)定義域?yàn)?-∞,+∞),值域?yàn)?0,1),當(dāng)輸入數(shù)據(jù)為負(fù)無窮大時(shí),其輸出為0,輸入為正無窮時(shí),輸出為1,Sigmoid函數(shù)可以用來表示概率.tanh定義域?yàn)?-∞,+∞),值域?yàn)?-1,1),tanh函數(shù)可以將任意大小的輸入產(chǎn)生的輸出值限定在固定范圍中.

圖1 LSTM基本結(jié)構(gòu)Fig.1 Basic structure of LSTM

LSTM包括3個(gè)門結(jié)構(gòu):遺忘門、輸入門和輸出門.遺忘門決定從細(xì)胞狀態(tài)中丟棄哪些信息,輸入門決定向細(xì)胞狀態(tài)中加入哪些新信息,輸出門用來產(chǎn)生輸出結(jié)果.

遺忘門機(jī)理可以描述為

ft=σ(wf[ht-1,xt]+bf)

(7)

輸入門中Sigmoid層、tanh層輸出、細(xì)胞狀態(tài)ct更新分別如式(8)～(10)所示

it=σ(Wi[ht-1,xt]+bi)

(8)

(9)

(10)

輸出門權(quán)重ot和隱藏層狀態(tài)為ht如式(11)～(12)所示

ot=σ(Wo[ht-1,xt]+bo)

(11)

ht=ottanh(ct)

(12)

式中,W和b為相應(yīng)門權(quán)重和偏置項(xiàng).

1.2 雙向LSTM和注意力機(jī)制LSTM原理

雙向LSTM(Bi-directional long short-term memory,BiLSTM)在傳統(tǒng)LSTM中加入了后向LSTM,共同連接輸出層,BiLSTM利用經(jīng)典LSTM網(wǎng)絡(luò)對(duì)輸入時(shí)間序列進(jìn)行正向和反向計(jì)算,得到兩層不同隱藏層特征,并通過線性融合計(jì)算出最終隱藏層的特征結(jié)果.兩個(gè)相反方向的LSTM克服了傳統(tǒng)模型對(duì)數(shù)據(jù)集未來信息利用不足的問題,能更好地捕捉雙向依賴,提高模型的預(yù)測精度,BiLSTM結(jié)構(gòu)如圖2所示.

圖2 BiLSTM基本結(jié)構(gòu)Fig.2 Basic structure of LSTM

注意力機(jī)制的基本原理與人類視覺處理機(jī)制類似,當(dāng)人獲取到信息時(shí)會(huì)優(yōu)先關(guān)注重要信息并投入更多注意力,從而更好地提取關(guān)鍵信息[15].類似地,注意力機(jī)制根據(jù)給定目標(biāo)的重要程度分配不同注意力權(quán)重,并通過加權(quán)求和的到上下文向量.注意力機(jī)制將輸入數(shù)據(jù)看作(key,value)鍵值對(duì)形式,首先計(jì)算給定任務(wù)查詢值(query)與關(guān)鍵項(xiàng)(key)的相似系數(shù)

f(Q,Ki)=QTKi

(13)

將相似系數(shù)歸一化得到權(quán)重系數(shù)

wi=softmax(f(Q,Ki))

(14)

權(quán)重系數(shù)與Value加權(quán)求和得到上下文向量

(15)

式中,Q、K和V分別為查詢值Query、鍵值中Key和Value.

注意力機(jī)制的詳細(xì)計(jì)算公式[16]如式(16)～(18)所示

et=utanh(wht+b)

(16)

(17)

(18)

式中,w為注意力權(quán)重系數(shù),ht為t時(shí)刻輸入特征的隱藏層狀態(tài),b為偏置,et為隱藏層狀態(tài)ht所對(duì)應(yīng)的注意力概率分布,st為最終輸出特征值.

1.3 異常檢測原理

本文中異常檢測過程為兩部分內(nèi)容,分別為首先對(duì)時(shí)間序列進(jìn)行預(yù)測,最后計(jì)算預(yù)測值與實(shí)際值的差并對(duì)其進(jìn)行平滑處理,設(shè)定異常點(diǎn)閾值并將平滑誤差與閾值的大小進(jìn)行比較,若某時(shí)刻平滑誤差大于閾值且出現(xiàn)在標(biāo)簽異常點(diǎn)的范圍內(nèi),則表示該異常點(diǎn)被正確檢測出來,將檢測出的點(diǎn)與真實(shí)異常值對(duì)比,以此計(jì)算出精確率、召回率和f1分?jǐn)?shù)驗(yàn)證模型性能,異常檢測原理如圖3所示.

圖中b表示時(shí)刻t異常檢測批大小(batch size),n表示異常檢測序列長度.

2 基于遷移學(xué)習(xí)的異常檢測技術(shù)

傳統(tǒng)LSTM由于其記憶功能而被廣泛應(yīng)用于時(shí)間序列預(yù)測任務(wù)中,但是在航天領(lǐng)域,航天器異常往往較為罕見,且對(duì)數(shù)據(jù)集進(jìn)行人工標(biāo)注專業(yè)性強(qiáng)、任務(wù)量大,因此航天器遙測數(shù)據(jù)常面臨標(biāo)簽樣本缺乏的問題,同時(shí)因?yàn)檫b測值維度高,數(shù)據(jù)量大,因此異常檢測模型的訓(xùn)練對(duì)設(shè)備的計(jì)算力提出了較高要求,極大地制約了航天器異常檢測技術(shù)的發(fā)展,針對(duì)上述問題,本文在傳統(tǒng)機(jī)器學(xué)習(xí)模型的基礎(chǔ)上引入遷移學(xué)習(xí)算法,提高模型有效性.

2.1 遷移學(xué)習(xí)

遷移學(xué)習(xí)的一些定理如下:

定理1.域D由x和P(x)兩部分組成,其中x表示特征空間,P(x)表示邊緣分布概率,其中x=x1,x2,…,xn.

定理2.任務(wù)T由Y和F(x)兩部分組成,Y表示標(biāo)簽空間Y=y1,y2,y3,…,ym,F(x)表示能夠?qū)颖緓進(jìn)行標(biāo)簽預(yù)測的預(yù)測函數(shù),F(x)越接近真實(shí)的P(y|x)映射效果越好.

定理3.定義源域Ds和任務(wù)Ts,目標(biāo)域Dt和任務(wù)Tt,遷移學(xué)習(xí)通過利用Ds和Ts提高Dt中預(yù)測函數(shù)F(x)的預(yù)測能力,且Ds≠Dt,Ts≠Tt,Xs≠Xt,Ps(X)≠Pt(X).

2.2 遷移學(xué)習(xí)全連接層

全連接網(wǎng)絡(luò)(fully connected layer)每一結(jié)點(diǎn)都與上一層所有節(jié)點(diǎn)相連,是最基本的神經(jīng)網(wǎng)絡(luò),基本結(jié)構(gòu)如圖4所示.

圖4 全連接網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Fully connected network structure

網(wǎng)絡(luò)輸出為

Y1=w1x1+wn+1x2+w2n+1x3+…+w3n+1xm+b1

(19)

Y2=w2x1+wn+2x2+w2n+2x3+…+w3n+2xm+b2

(20)

Yn=wnx1+w2nx2+w3nx3+…+w4nxm+bn

(21)

式中,w為神經(jīng)網(wǎng)絡(luò)各層權(quán)重,b為全連接網(wǎng)絡(luò)偏置項(xiàng).

全連接網(wǎng)絡(luò)輸入為m維數(shù)據(jù),輸出n維數(shù)據(jù),通過全連接層改變輸入特征向量的數(shù)據(jù)特征表現(xiàn),而數(shù)據(jù)內(nèi)層結(jié)構(gòu)不發(fā)生變化.在預(yù)測模型中全連接層對(duì)輸出數(shù)據(jù)進(jìn)行降維,在遷移學(xué)習(xí)模型中全連接層將源域和目標(biāo)域數(shù)據(jù)統(tǒng)一在同一維度提高遷移學(xué)習(xí)效果.

2.3 基于遷移學(xué)習(xí)的異常檢測模型搭建

采用預(yù)測值與實(shí)際值之間差的絕對(duì)值來進(jìn)行神經(jīng)網(wǎng)絡(luò)各連接層權(quán)重的更新,稱為平均絕對(duì)誤差損失(MAE),也稱為L1loss.其數(shù)學(xué)表達(dá)式如下:

(22)

異常檢測的原理是計(jì)算某一時(shí)刻的預(yù)測值與實(shí)際值差的絕對(duì)值,得到一組誤差序列為

(23)

通過比較誤差與閾值的大小判斷數(shù)據(jù)點(diǎn)是否為異常點(diǎn),若誤差大于閾值則該點(diǎn)通常會(huì)被判定為異常點(diǎn).但是誤差變化穩(wěn)定性較差,當(dāng)誤差值較大時(shí)無法確定產(chǎn)生誤差的原因(可能為異常點(diǎn)或是模型精度較低導(dǎo)致預(yù)測不準(zhǔn)確),所以在計(jì)算出誤差后需要對(duì)其進(jìn)行平滑處理,減小模型本身對(duì)誤差的影響.

本文使用指數(shù)加權(quán)移動(dòng)平均法(exponentially weighted moved averages,EWMA)處理誤差,得到平滑誤差.若平滑誤差異常高或異常低,則判斷該點(diǎn)是否為異常點(diǎn)能有效避免模型本身對(duì)異常檢測的干擾[17].計(jì)算出的平滑誤差如式(24)～(25)所示.

(24)

(25)

本文中異常檢測模型選擇LSTM、BiLSTM以及注意力機(jī)制LSTM,在源域訓(xùn)練好異常檢測模型后通過微調(diào)的方法對(duì)預(yù)訓(xùn)練模型的特征提取層采用較小學(xué)習(xí)率,輸出全連接層FC采用較大學(xué)習(xí)率進(jìn)行遷移學(xué)習(xí)異常檢測,在預(yù)訓(xùn)練模型的基礎(chǔ)上,根據(jù)目標(biāo)域數(shù)據(jù)集的特征,保留特征提取層模型參數(shù),對(duì)全連接層各層權(quán)重進(jìn)行更新,得到遷移學(xué)習(xí)模型.模型共分為4部分,結(jié)構(gòu)如圖5所示.圖中第1部分為源域數(shù)據(jù)預(yù)處理,第2部分為模型搭建,第3部分為模型訓(xùn)練,第4部分為遷移學(xué)習(xí).

圖5 異常檢測結(jié)構(gòu)流程Fig.5 Anomaly detection structure process

圖5中采用微調(diào)的遷移學(xué)習(xí)方法進(jìn)行遙測數(shù)據(jù)異常檢測,通過全連接層對(duì)源域和目標(biāo)域數(shù)據(jù)集進(jìn)行特征變換,將數(shù)據(jù)集統(tǒng)一為64維,提高其相似度,最后對(duì)輸出數(shù)據(jù)維度進(jìn)行壓縮,得到遙測數(shù)據(jù)預(yù)測值.

3 實(shí)驗(yàn)設(shè)置

本文的實(shí)驗(yàn)數(shù)據(jù)集采用NASA公開的數(shù)據(jù)集SMAP和MSL,通過與傳統(tǒng)的LSTM、BiLSTM以及注意力機(jī)制LSTM進(jìn)行對(duì)比,檢驗(yàn)引入遷移學(xué)習(xí)的異常檢測效果,并對(duì)3種遷移學(xué)習(xí)模型進(jìn)行比較,選擇最優(yōu)模型與其他最新異常檢測算法進(jìn)行性能對(duì)比,驗(yàn)證最優(yōu)模型有效性.

3.1 數(shù)據(jù)集介紹

本文使用NASA公開的數(shù)據(jù)集MSL和SMAP驗(yàn)證模型有效性,數(shù)據(jù)集部分信息如表1所示.

表1 數(shù)據(jù)集相關(guān)信息Tab.1 Dataset related information

為了消除不同數(shù)據(jù)之間量綱差異的影響,用min—max方法對(duì)數(shù)據(jù)集歸一化處理,將數(shù)據(jù)限定在0～1范圍內(nèi).

(26)

式中,x0為歸一化數(shù)據(jù),x為數(shù)據(jù)集中具體遙測值,min(x)、max(x)分別為數(shù)據(jù)集中最小值和最大值.

3.2 異常檢測評(píng)價(jià)指標(biāo)

本文采用異常檢測時(shí)最常用的評(píng)價(jià)指標(biāo)評(píng)估了不同模型性能,包含精確率、召回率和f1分?jǐn)?shù).

混沌矩陣用來表示預(yù)測值和實(shí)際值的對(duì)應(yīng)關(guān)系,如表2所示.

表2 混沌矩陣Tab.2 Chaos matrix

其中TP、FP、FN和TN表示真陽性、假陽性、假陰性和真陰性的數(shù)量,根據(jù)混沌矩陣的原理,對(duì)異常檢測指標(biāo)進(jìn)行計(jì)算,如式(27)～(29)所示.

(27)

(28)

(29)

3.3 模型結(jié)構(gòu)

(1)設(shè)備環(huán)境

本文中時(shí)間序列異常檢測模型基于pytorch基本結(jié)構(gòu)搭建,設(shè)備相關(guān)參數(shù)信息如表3所示.

表3 實(shí)驗(yàn)設(shè)備參數(shù)Tab.3 Experimental equipment parameters

3.4 基于遷移學(xué)習(xí)LSTM異常檢測結(jié)果

以數(shù)據(jù)集MSL為源域,SMAP為目標(biāo)域,在經(jīng)典LSTM模型上進(jìn)行異常檢測,交換源域與目標(biāo)域,在不同數(shù)據(jù)集上檢測模型通用性,預(yù)測模型網(wǎng)絡(luò)參數(shù)如表4所示,不同數(shù)據(jù)集前5 000個(gè)時(shí)間戳異常檢測結(jié)果如圖6.

表4 異常檢測網(wǎng)絡(luò)參數(shù)Tab.4 Anomaly detection network parameters

圖6 目標(biāo)域SMAP誤差損失Fig.6 Target domain SMAP error loss

圖6和圖7分別為目標(biāo)域SMAP和MSL誤差損失,選取閾值為0.8,當(dāng)誤差損失大于閾值且出現(xiàn)在異常點(diǎn)范圍內(nèi),模型異常檢測成功,將其與實(shí)際異常值對(duì)比,計(jì)算精確率、召回率和f1分?jǐn)?shù)評(píng)價(jià)模型性能.

圖7 目標(biāo)域MSL誤差損失Fig.7 Target domain MSL error loss

3種算法LSTM、BiLSTM以及注意力機(jī)制LSTM及其遷移學(xué)習(xí)模型在數(shù)據(jù)集MSL和SMAP上進(jìn)行異常檢測,得到相關(guān)性能指標(biāo)對(duì)比結(jié)果如表所5示.

在表5中,在數(shù)據(jù)集MSL中將遷移學(xué)習(xí)算法引入3種異常檢測模型,模型精確率都略微降低,召回率和f1分?jǐn)?shù)都有提升,其中LSTM召回率從78.44%提升到87.39%,提升8.95%,BiLSTM召回率從89.98%提升到95.29%,提升了5.31%.

表5 數(shù)據(jù)集MSL異常檢測評(píng)價(jià)Tab.5 MSL anomaly detection evaluation

從表6可以看出,與MSL數(shù)據(jù)集相比,遷移學(xué)習(xí)算法在SMAP數(shù)據(jù)集上效果較好,異常檢測指標(biāo)都有大幅度提升,在注意力機(jī)制 LSTM模型上,精確率,召回率和f1分?jǐn)?shù)分別提高14.58%、28.04%和15.99%,LSTM在檢測精確率上有較大優(yōu)勢,但召回率和f1分?jǐn)?shù)較低.

表6 數(shù)據(jù)集SMAP異常檢測評(píng)價(jià)Tab.6 SMAP anomaly detection evaluation

同時(shí)在兩個(gè)數(shù)據(jù)集上將各模型檢測效果進(jìn)行對(duì)比,可以發(fā)現(xiàn)在MSL上進(jìn)行異常檢測效果較好,各指標(biāo)數(shù)值都在75%以上,在數(shù)據(jù)集SMAP上,經(jīng)典異常檢測算法召回率和f1分?jǐn)?shù)均較低,多數(shù)在70%以下.

在數(shù)據(jù)集SMAP和MSL中,將本文中3種基于遷移學(xué)習(xí)的異常檢測模型性能對(duì)比,結(jié)果如圖8～9所示.

圖8 3種方法在MSL上的評(píng)價(jià)指標(biāo)Fig.8 Evaluation indicators of three methods on MSL

圖9 3種方法在SMAP上的評(píng)價(jià)指標(biāo)Fig.9 Evaluation indicators of three methods on SMAP

由圖8～9可以看到,在數(shù)據(jù)集MSL和SMAP中注意力LSTM異常檢測性能最好,各指標(biāo)都達(dá)到85%以上,因此基于遷移學(xué)習(xí)的注意力機(jī)制LSTM是本文中的最優(yōu)模型.

將本文中提出的基于遷移學(xué)習(xí)的注意力LSTM模型與一些用于異常檢測的先進(jìn)模型做詳細(xì)比較.對(duì)比模型包括3種基于重構(gòu)的模型和一種基于預(yù)測的模型.

LI等[18]在2018年提出基于生成對(duì)抗網(wǎng)絡(luò)的多元時(shí)間序列異常檢測方法GAN-AD,成功捕捉了網(wǎng)絡(luò)物理系統(tǒng)傳感器和執(zhí)行器的時(shí)間序列分布,并在2019年提出MAD-GAN[19]采用LSTM-RNN作為生成器和鑒別器充分利用了時(shí)間序列分布潛在的相關(guān)性.

MIRSKY等[20]提出一個(gè)基于集成的自編碼系統(tǒng)(kitsune)成功完成了在線網(wǎng)絡(luò)入侵檢測,其核心算法是KitNet,能夠有效檢測多種攻擊,擁有較強(qiáng)的實(shí)用性和較高的經(jīng)濟(jì)價(jià)值.

HUNDMAN等[11]提出了一種單變量時(shí)間序列異常檢測無監(jiān)督學(xué)習(xí)算法(LSTM-NDT),具有針對(duì)NASA數(shù)據(jù)集無監(jiān)督非參數(shù)的異常閾值方法.

本文提出的模型在基于注意力機(jī)制的LSTM異常檢測模型的基礎(chǔ)上引入遷移學(xué)習(xí),為了解決航天器時(shí)間序列遙測數(shù)據(jù)有標(biāo)簽的異常樣本缺乏的問題.

表7[1]展示了在2個(gè)數(shù)據(jù)集上5種模型的異常檢測效果,由表中數(shù)據(jù)可以看出基于遷移學(xué)習(xí)的注意力機(jī)制 LSTM異常檢測模型在數(shù)據(jù)集MSL上各項(xiàng)性能指標(biāo)都優(yōu)于其他算法,精確率、召回率和f1分?jǐn)?shù)分別高于MAD-GAN算法0.32%、4.48%和1.08%,在數(shù)據(jù)集SMAP上精確率和f1分?jǐn)?shù)分別低于LSTM-NDT算法1.72%和2.96%,但LSTM-NDT算法在數(shù)據(jù)集MSL上表現(xiàn)不佳,各項(xiàng)指標(biāo)都低于60%,模型通用性較低.鑒于上述分析,在進(jìn)行航天器遙測數(shù)據(jù)異常檢測時(shí),以注意力機(jī)制 LSTM為基本異常檢測模型,引入遷移學(xué)習(xí)策略能夠彌補(bǔ)數(shù)據(jù)集缺乏有標(biāo)簽樣本的不足,有效提升模型異常檢測性能.

表7 5種模型異常檢測效果對(duì)比Tab.7 Comparison of anomaly detection effects among five models

本文將經(jīng)典異常檢測算法LSTM、BiLSTM和注意力機(jī)制LSTM與基于遷移學(xué)習(xí)的優(yōu)化模型比較,發(fā)現(xiàn)在標(biāo)簽數(shù)據(jù)缺乏時(shí),遷移學(xué)習(xí)能有效提高異常檢測模型性能.同時(shí)將3種遷移學(xué)習(xí)優(yōu)化模型對(duì)比,結(jié)果表明注意力機(jī)制在數(shù)據(jù)集MSL和SMAP上效果最好,是本文的最優(yōu)模型.最后與4個(gè)常用的異常檢測算法比較,發(fā)現(xiàn)以注意力機(jī)制LSTM為基礎(chǔ)引入遷移學(xué)習(xí)算法在數(shù)據(jù)集MSL上異常檢測效果優(yōu)于其他4種算法,在數(shù)據(jù)集SMAP上召回率最高,精確率和f1分?jǐn)?shù)略低于LSTM-NDT模型,高于其他3種模型,但LSTM-NDT在數(shù)據(jù)集MSL上表現(xiàn)最差.因此從總體來看,本文所提算法在2個(gè)數(shù)據(jù)集之間通用性較強(qiáng),更加適合時(shí)間序列異常檢測任務(wù).

4 結(jié) 論

針對(duì)航天器遙測數(shù)據(jù)中有標(biāo)簽的異常樣本缺乏、數(shù)據(jù)量大、維度高和當(dāng)前設(shè)備算力弱導(dǎo)致的訓(xùn)練效率低等問題,提出了一種基于遷移學(xué)習(xí)的時(shí)間序列異常檢測策略.通過對(duì)不同模型遷移學(xué)習(xí)性能進(jìn)行比較,發(fā)現(xiàn)將注意力機(jī)制引入LSTM并進(jìn)行遷移學(xué)習(xí)在數(shù)據(jù)集SMAP和MSL都能產(chǎn)生較好的異常檢測效果.LSTM能較好學(xué)習(xí)到時(shí)間序列不同時(shí)刻的相關(guān)性,注意力機(jī)制能夠提取到數(shù)據(jù)動(dòng)態(tài)變化的特征,采用遷移學(xué)習(xí)的方法,在源域中對(duì)模型進(jìn)行預(yù)訓(xùn)練,賦予訓(xùn)練好的模型特征提取層較小的學(xué)習(xí)率,FC全連接層較大的學(xué)習(xí)率并在目標(biāo)域重新訓(xùn)練,提高了模型訓(xùn)練的效率,證明了提出模型的有效性.實(shí)驗(yàn)發(fā)現(xiàn)文中經(jīng)典異常檢測模型在數(shù)據(jù)集SMAP上召回率和f1分?jǐn)?shù)較低,可能的原因是遙測值在很長一段時(shí)間都保持為數(shù)值1,在時(shí)間戳為8 500時(shí)產(chǎn)生突變減小,隨后在±1之間震蕩,預(yù)測難度較大,導(dǎo)致模型表現(xiàn)不穩(wěn)定.

本文提出的方法仍有不足之處尚未解決,首先,文中對(duì)異常數(shù)據(jù)的檢測是一個(gè)二分類問題,局限于數(shù)據(jù)點(diǎn)是否為異常點(diǎn)而沒有對(duì)異常點(diǎn)類型做出判斷,后續(xù)研究將對(duì)異常點(diǎn)類型進(jìn)行劃分以更高效地修復(fù)航天器故障.其次文中通過經(jīng)驗(yàn)法對(duì)模型超參數(shù)進(jìn)行選擇,后續(xù)可以引入?yún)?shù)優(yōu)化智能算法選擇最優(yōu)參數(shù).最后針對(duì)本文模型在數(shù)據(jù)集SMAP上表現(xiàn)不穩(wěn)定的問題,后續(xù)研究可以著眼于采用插補(bǔ)去噪等方法對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理,提高模型異常檢測精度.