雷 未,王 建,吉同元,李鵬飛

(1.河海大學水利水電學院,江蘇 南京 210098; 2.華設(shè)設(shè)計集團股份有限公司,江蘇 南京 210014)

通過大壩安全監(jiān)測手段獲得的大量監(jiān)測數(shù)據(jù)可為大壩運行狀態(tài)提供評價依據(jù)。然而,由于儀器故障、系統(tǒng)停機、傳感器老化、人為干擾等因素,不可避免地會發(fā)生監(jiān)測數(shù)據(jù)丟失的情況,這給大壩安全的客觀診斷帶來了困難。測點的部分數(shù)據(jù)缺失不利于數(shù)據(jù)綜合利用而影響整體安全評價;同時也會影響監(jiān)測量可視化過程線的完整性。因此,需要針對大壩監(jiān)測缺失數(shù)據(jù)提出一個有效的插補模型,以提高大壩結(jié)構(gòu)監(jiān)測的數(shù)據(jù)可靠性。本質(zhì)上,傳感器缺失數(shù)據(jù)的重建,特別是針對大壩效應量缺失數(shù)據(jù)的重建可以被認為是一個回歸問題,可以通過因果模型建立外部荷載和大壩響應之間的關(guān)系來預測缺失部分的數(shù)據(jù)[1]。然而,在實際工程中大壩的行為可能取決于不可獲知的變量因素,對于成熟的監(jiān)測模型也可能存在環(huán)境資料缺乏的情況,無法為因果模型提供完整的特征數(shù)據(jù)。此外,也可以通過附近測點來判斷目標測點的缺失值。這種插補模型通過分析測點序列的相似性,將高相似度的測點引入輸入特征集來調(diào)控缺失部位的插補結(jié)果[2]。但當實際工程中的測點分布較稀疏,找不到目標測點的高相似度測點,或該高相似度測點也存在相同時間段的數(shù)據(jù)缺失問題時,這種插補方式將不再適用。本文從監(jiān)測量自身時間序列的角度,探究監(jiān)測量在時間軸上的變化規(guī)律,結(jié)合過去監(jiān)測值與未來監(jiān)測值的發(fā)展趨勢對中間缺失數(shù)據(jù)進行插補。

目前,常用的缺失數(shù)據(jù)插補方法有拉格朗日插值法、均值法、最大頻率法等[3],這些方法理論簡單,操作方便,可以為少量零散的缺失部分提供較為準確的插補值。當面對長時間段的數(shù)據(jù)缺失情況時,通過以上填補技術(shù)則往往難以獲得高精度的填補數(shù)據(jù)。近些年國內(nèi)外學者將許多新興的技術(shù)手段融入其中,并提出了很多優(yōu)化插補模型,如支持向量機[4]、XGBoost[5]、高斯過程回歸[6]等。以上研究均是以傳統(tǒng)機器學習算法為導向,為解決數(shù)據(jù)缺失問題提供了較好的技術(shù)支持,但淺層機器學習算法依賴于一些需要人工設(shè)定的超參數(shù),技術(shù)人員的操作經(jīng)驗決定了模型的訓練效果。隨著神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展,更加復雜層次的深度學習在相關(guān)領(lǐng)域中已取得重大突破[7-9]。深度學習存在兩個重要的分支——循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)[10]與卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)[11]。RNN在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上嵌入反饋、循環(huán)結(jié)構(gòu),具備記憶功能,但其結(jié)構(gòu)相對簡單,只能設(shè)置為神經(jīng)元之間權(quán)重共享的連接形式,因此RNN在梯度傳遞方面存在缺陷,無法解決長時依賴問題,從而無法得到預期的結(jié)果。長短期記憶神經(jīng)網(wǎng)絡(luò)(long short-term memory,LSTM)作為RNN的一種變體,彌補了RNN的梯度缺陷,被廣泛應用于時間序列的預測分析[12-13]。CNN通過利用局部相關(guān)性和權(quán)值共享的思想,極大地減少了網(wǎng)絡(luò)參數(shù),提高了訓練效率,更容易搭建超大規(guī)模的深層網(wǎng)絡(luò)。因此,CNN常被用于實現(xiàn)圖像識別[14]、圖像分類[15]以及目標檢測[16]等。

本文提出一種基于深度學習框架的雙向CNN-BiLSTM-Attention大壩監(jiān)測缺失數(shù)據(jù)插補模型。該模型融合CNN與雙向LSTM(BiLSTM)的算法優(yōu)勢,以提取大壩監(jiān)測量時間軸的全局特征,同時引入注意力機制(Attention)來捕捉長時間序列中的依賴關(guān)系,進一步優(yōu)化插補過程。此外,針對中間長序列缺失部位,按插補時間步遞減的權(quán)重融合時間序列正反向插補值,消除時間步累計誤差以提高插補精度。

1 雙向CNN-BiLSTM-Attention大壩監(jiān)測缺失數(shù)據(jù)插補模型

1.1 CNN

作為深度學習的代表算法之一,CNN是一種包含卷積計算的具有深度結(jié)構(gòu)前饋神經(jīng)網(wǎng)絡(luò)。與傳統(tǒng)模型相比,CNN可以實現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)中的參數(shù)共享,減少了模型訓練計算所需的內(nèi)存。一維卷積神經(jīng)網(wǎng)絡(luò)主要由輸入層、卷積層、池化層、全連接層和輸出層組成。輸入層接收完整的歷史觀測變形數(shù)據(jù)。一維卷積層將預設(shè)的卷積核應用于歷史觀測數(shù)據(jù)時間軸的特征提取,卷積核在輸入數(shù)據(jù)上滑動產(chǎn)生的一維濾波處理大壩監(jiān)測數(shù)據(jù)y通?？梢员硎緸?/p>

(1)

式中:xi-j+k為輸入時間序列;wj為卷積核的權(quán)重矩陣;b為偏差;k為卷積核個數(shù)。

得到濾波后的大壩變形特征數(shù)據(jù)后,需要通過池化層進行維數(shù)壓縮,以減少后續(xù)模型構(gòu)建的計算量,同時賦予這些特征平移不變性,保證特征的可識別性。然后將這些降維特征與全連接層的神經(jīng)元連接起來進行非線性回歸計算,最后通過輸出層輸出預測結(jié)果。

1.2 LSTM

圖1 RNN、LSTM 與BiLSTM結(jié)構(gòu)

在LSTM基礎(chǔ)上,進一步引入雙向LSTM(BiLSTM),BiLSTM由分別獲得前部和后部特征的前向LSTM和后向LSTM組成。與LSTM相比,BiLSTM當前循環(huán)單元的狀態(tài)受前后數(shù)據(jù)的影響,因此在處理時間序列數(shù)據(jù)時可以更好地掌握整個數(shù)據(jù)流的信息。BiLSTM的結(jié)構(gòu)如圖1(c)所示。圖中xi為輸入數(shù)據(jù),yi為輸出數(shù)據(jù),wi為權(quán)重。前向LSTM的隱藏層狀態(tài)Ai和后向LSTM的隱藏層狀態(tài)Bi以及BiLSTM的輸出數(shù)據(jù)按以下方程進行處理:

Ai=f1(w1xi+w2Ai-1)

(2)

Bi=f2(w3xi+w5Bi+1)

(3)

yi=f3(w4Ai+w6Bi)

(4)

1.3 注意力機制

注意力機制源于人腦的視覺信號處理模式,通過快速掃描信息以獲取人們想要關(guān)注的焦點與目標區(qū)域,無用的信息將被忽略。在深度學習中,注意力機制根據(jù)不同特征信息分配權(quán)重,對關(guān)鍵信息分配更大權(quán)重,不重要的內(nèi)容則分配較小權(quán)重,這種差異化的權(quán)重分配使得信息處理更加高效。

注意力機制的基本思想是從海量數(shù)據(jù)中提取對后續(xù)預測更有用的信息,而實現(xiàn)該目標的本質(zhì)是計算LSTM隱藏層的輸出序列,即訓練后的輸入特征向量,進而得到特征權(quán)重向量,從中找到更重要的影響因素,使信息處理更高效和準確。

1.4 模型構(gòu)建步驟

雙向CNN-BiLSTM-Attention大壩監(jiān)測缺失數(shù)據(jù)插補模型框架如圖2(a)所示。該模型構(gòu)建步驟如下:①構(gòu)建CNN-BiLSTM-Attention深度學習框架,采用Conv1D和池化層組成的卷積層提取監(jiān)測數(shù)據(jù)的內(nèi)部特征,其中Conv1D提取監(jiān)測數(shù)據(jù)時間軸的局部特征,池化層進一步壓縮局部特征并生成特征的關(guān)鍵信息;②搭建BiLSTM隱藏層,從卷積層提取的局部特征信息中迭代學習,生成動態(tài)變化的全局特征;③將全局特征輸入Attention層,利用注意力機制對全局特征通過加權(quán)方式進行重要性篩分,挖掘監(jiān)測數(shù)據(jù)的時間相關(guān)性,過濾冗余信息以突出對插補結(jié)果影響更為關(guān)鍵的重要特征;④將Attention層與一個全連接層銜接,通過全連接層的激活函數(shù)輸出最終的插補結(jié)果。此外,為了防止過擬合現(xiàn)象,在卷積層后添加Dropout層隨機丟棄部分神經(jīng)元,以提高模型的泛化能力與訓練速度。

圖2 雙向CNN-BiLSTM-Attention大壩監(jiān)測缺失數(shù)據(jù)插補模型

時間序列插補采用滑動窗口模式,即由窗口內(nèi)的數(shù)據(jù)插補下一時刻的監(jiān)測量,伴隨著窗口的滑動,插補值逐漸被更新到窗口內(nèi),但這種插補方式會造成插補誤差逐步累加。針對中間監(jiān)測數(shù)據(jù)缺失的情況,本文采用雙向插補模式來對缺失部分進行插補,即通過正向插補與反向插補方式,從時間序列兩端同時對缺失數(shù)據(jù)進行插補,再按插補時間步遞減的權(quán)重對兩組插補值加權(quán)平均,二者結(jié)果互補形成新的插補值以避免插補誤差在時間步中累積增加。如圖2(b)所示,假設(shè)缺失部分的數(shù)據(jù)總時間步為Δt,正向插補過程的第1個插補值的權(quán)重為1,第2個插補值的權(quán)重為1-1/Δt,依此類推,最后1個權(quán)重為0,則記正向插補結(jié)果y1的權(quán)重為w1=(1,1-1/Δt,…,0)。同理,反向插補結(jié)果y2的權(quán)重為w2=1-w1=(0,1/Δt,…,1),由此獲得插補模型最終的插補值為w1y1+w2y2。

2 工程實例

本文使用的模型測試數(shù)據(jù)來自某水電站工程的大壩變形監(jiān)測數(shù)據(jù)。該工程始建于1937年,1985年建立真空激光測壩變形系統(tǒng)并開始觀測。攔河壩為混凝土重力壩,共由60個壩段組成。選取11號壩段1985年1月11日至2010年3月22日的水平位移作為研究對象,人為刪除中間段部分數(shù)據(jù),采用雙向CNN-BiLSTM-Attention大壩監(jiān)測缺失數(shù)據(jù)插補模型進行數(shù)據(jù)填補以驗證該模型的性能。

2.1 數(shù)據(jù)預處理

以水平位移監(jiān)測數(shù)據(jù)為例,取11號壩段1985年1月11日至2010年3月22日共612組的歷史測值作為訓練集,分別刪除兩段長序列監(jiān)測數(shù)據(jù)作為測試集(圖3):①缺失部位Ⅰ對應1995年9月15日至1997年4月17日的30組監(jiān)測數(shù)據(jù);②缺失部位Ⅱ?qū)?000年4月11日至2001年11月15日的20組監(jiān)測數(shù)據(jù)。

圖3 11號壩段水平位移樣條插值

采用時間序列插補模式對缺失部位進行插補,所分析的研究數(shù)據(jù)需為等間隔時間測值以避免時間效應誤差,但實際監(jiān)測數(shù)據(jù)資料為不等間隔時間觀測,因此需要采用插值技術(shù)將其變?yōu)榈葧r間間隔時間序列。這里采用三階樣條插值法對監(jiān)測數(shù)據(jù)進行規(guī)整,如圖3所示,每天取1組插值數(shù)據(jù),則612組原始數(shù)據(jù)變?yōu)?200組插值數(shù)據(jù)。從圖中可以看出,樣條插值法對于少量零散的缺失數(shù)據(jù)插補效果較好,能基本覆蓋原始數(shù)據(jù)的變化曲線。然而,對于長時間的數(shù)據(jù)缺失,其插補效果尚不能滿足精度要求。

以滑動窗口模式對時間序列進行分析訓練,設(shè)定窗口尺寸為L,即以當前時刻的前L個連續(xù)監(jiān)測值推算當前監(jiān)測值。插補模型的輸入數(shù)據(jù)(特征)為{yt-L,…,yt-2,yt-1},模型的輸出數(shù)據(jù)(標簽)為yt。依照此方式,將數(shù)據(jù)集重構(gòu)成特征集與標簽集。為提高損失函數(shù)收斂速度、防止梯度爆炸,在訓練模型前需將數(shù)據(jù)按公式(5)進行標準化處理,使數(shù)據(jù)全部落在[0,1]區(qū)間內(nèi)。通過插補得到缺失部分的插補值后,再利用公式(6)對其進行反標準化處理,將數(shù)據(jù)恢復到實際監(jiān)測范圍內(nèi)。

(5)

(6)

2.2 模型訓練

基于Python軟件深度學習框架keras搭建CNN-BiLSTM-Attention缺失數(shù)據(jù)插補模型。根據(jù)Chen等[17]的建議,應使用至少3個年度周期進行建模方可得到較好的訓練結(jié)果。以缺失部位Ⅰ為例,本次訓練設(shè)置正向插補滑動窗口尺寸為1200,反向插補滑動窗口尺寸為1600。表1給出了反向插補模式下的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)(總參數(shù)201401個,可訓練參數(shù)201401個,不可訓練參數(shù)0個),訓練時采用Adam優(yōu)化算法更新各層網(wǎng)絡(luò)的參數(shù)。圖4為模型在正向與反向訓練時損失函數(shù)的變化情況,可以看出損失函數(shù)在訓練過程中變化穩(wěn)定,且總體呈下降趨勢,反映了模型較好的訓練性能。

表1 反向插補模式下的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)

圖4 模型訓練的損失函數(shù)曲線

基于CNN-BiLSTM-Attention大壩監(jiān)測缺失數(shù)據(jù)插補模型,缺失數(shù)據(jù)的正向插補與反向插補結(jié)果如圖5所示。從圖5可以看出,該模型兩個方向均可獲得較好的插補結(jié)果,但也反映了插補過程中時間步的累計誤差。時間序列插補方式是由滑動窗口內(nèi)的監(jiān)測值組合插補下一個時刻未知值,并將窗口滑動一步(去掉第1個實測值,在末尾添加獲得的插補值),形成新的窗口監(jiān)測值組合。依照這種方式不斷滑動窗口,直至所有的缺失數(shù)據(jù)均被插補。隨著插補過程的推進,這種方式會將插補誤差逐漸累加,使得插補值的走向逐漸偏離真實監(jiān)測值。

為了消除這種累積誤差,同時使兩個方向的插補結(jié)果更好地融合,按插補時間步遞減的權(quán)重對兩組插補值加權(quán)平均,從而使得誤差較小的插補值作為最終插補值的決定因素。如圖5所示,融合后的計算結(jié)果很好地將正反向插補優(yōu)勢階段組合在一起,其插補值與實測值的擬合程度優(yōu)于單向插補結(jié)果。

2.3 模型對比

選擇平均絕對誤差(MAE)、均方根誤差(RMSE)和決定系數(shù)(R)這3個評價指標,定量表示模型插補值f(xi)與實測值yi之間的誤差。

為進一步體現(xiàn)本文所搭建的神經(jīng)網(wǎng)絡(luò)模型的優(yōu)勢,選取Spline、RNN、LSTM依照雙向插補模式分別對缺失數(shù)據(jù)進行插補,其插補結(jié)果的誤差對比如表2所示。由于Spline模型對于長時間段缺失數(shù)據(jù)的插補效果不佳,其誤差指標和擬合程度均不如神經(jīng)網(wǎng)絡(luò)模型,故而未對Spline插值結(jié)果的誤差指標進行計算。圖6、圖7分別為4種模型缺失部位Ⅰ、缺失部位Ⅱ插補結(jié)果與實測值的差異?；?種神經(jīng)網(wǎng)絡(luò)模型,通過時間步遞減的權(quán)重融合后的結(jié)果相較于單向插補值的精度都得到一定的提升。LSTM的插補精度總體高于RNN,但單向插補結(jié)果易出現(xiàn)較大的偏差,其插補性能無法得到穩(wěn)定的保障。

表2 各模型插補誤差對比

圖6 各模型缺失部位Ⅰ插補結(jié)果與實測值的差異

本文所搭建的CNN-BiLSTM-Attention雙向插補模型在正向與反向插補過程中均展現(xiàn)了較佳的插補性能,其雙向融合插補值更為貼近實際監(jiān)測值。這是因為CNN從原始時間序列中學習并提取時間軸上的局部特征,BiLSTM再根據(jù)局部特征提取全局特征后,冗余或非關(guān)鍵的特征被引入會影響最后的插補精度。此時,采用注意力機制來提取序列的關(guān)鍵特征,捕捉長時間序列中的依賴關(guān)系,克服了傳統(tǒng)LSTM模型的不足。因此,CNN-BiLSTM-Attention網(wǎng)絡(luò)能更有效地優(yōu)化插補過程,從而提升插補精度。

2.4 插補效果

基于CNN-BiLSTM-Attention雙向插補模型,對11號壩段水平位移缺失數(shù)據(jù)進行插補,結(jié)果表明插補值與實測值基本吻合。此外,為了驗證該插補模型針對其他壩段監(jiān)測量的插補效果,選取14號壩段的揚壓力、滲流量以及垂直位移的監(jiān)測序列,分別對中間缺失部位進行插補,表3為各效應量最終的插補誤差,其中垂直位移插補值與實測值的吻合效果更好,揚壓力與滲流量的插補值相較實測值稍有偏差,但總體趨勢一致。

3 結(jié) 論

a.搭建了CNN-BiLSTM-Attention神經(jīng)網(wǎng)絡(luò)框架,CNN從原始時間序列中學習并提取時間軸上的局部特征,BiLSTM再根據(jù)局部特征提取全局特征,注意力機制捕捉長時間序列中的依賴關(guān)系,進一步優(yōu)化插補過程。在工程實例中,這種神經(jīng)網(wǎng)絡(luò)框架展現(xiàn)了比RNN以及LSTM神經(jīng)網(wǎng)絡(luò)模型更優(yōu)越的插補性能。

b.針對監(jiān)測量中間缺失部分,提出了雙向插補模式,并按插補時間步遞減的權(quán)重對兩向插補值加權(quán)平均,使誤差較小的插補值主導最終插補結(jié)果的走向。工程實例表明,雙向融合插補值與實測值的擬合程度優(yōu)于單向插補結(jié)果,其處理長序列監(jiān)測數(shù)據(jù)缺失問題時具有較高的插補精度。