王迎飛 黃應(yīng)平 肖 敏,4 熊 彪 周爽爽 靳 專

(1.三峽大學(xué) 計算機與信息學(xué)院,湖北 宜昌 443002;2.湖北省農(nóng)田環(huán)境監(jiān)測工程技術(shù)研究中心(三峽大學(xué)),湖北 宜昌 443002;3.三峽大學(xué) 水利與環(huán)境學(xué)院,湖北 宜昌 443002;4.三峽庫區(qū)生態(tài)環(huán)境教育部工程研究中心(三峽大學(xué)),湖北 宜昌 443002)

人們在開發(fā)利用水資源的過程中,不可避免地要面對由此產(chǎn)生的災(zāi)害.根據(jù)聯(lián)合國政府間氣候變化專門委員會(IPCC)和聯(lián)合國減少災(zāi)害風(fēng)險辦公室(UNISDR)報告稱,洪水是世界上大多數(shù)城市所遭受的最嚴重的災(zāi)害之一.因此有必要對內(nèi)陸河流及其主要城市進行汛期水位監(jiān)測,以便提前感知洪水的形成.伴隨著社會發(fā)展,人類活動加劇了徑流序列的非線性化程度并降低了平穩(wěn)性[1],多元的徑流序列給水位預(yù)報精度帶來了挑戰(zhàn),是目前急需解決的問題之一.

河流水位數(shù)據(jù)通常是非線性、非平穩(wěn)的時間序列[2],受到多方面因素的影響,預(yù)測難度較高.神經(jīng)網(wǎng)絡(luò)模型的出現(xiàn),尤其是循環(huán)神經(jīng)網(wǎng)絡(luò)[3-4](Recurrent Neural Network,RNN)模型極大促進了水文時序預(yù)報的發(fā)展.隨著網(wǎng)絡(luò)的發(fā)展,RNN 面臨著梯度消失的問題[5],即RNN 無法應(yīng)對長時間依賴的情況.為解決這一問題,Schmidhube等[6]提出了長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM),并成功應(yīng)用于洪水預(yù)測[7-9]中,取得了不錯的結(jié)果.但河流水位不僅受過去歷史水位的影響,還受上游水位的影響,即河流水位數(shù)據(jù)具有時空關(guān)聯(lián)性[10].目前,基于時間域卷積的神經(jīng)網(wǎng)絡(luò)(Temporal Convolutional Neural network,TCN)在處理時序任務(wù)上甚至可以超過循環(huán)神經(jīng)網(wǎng)絡(luò),但是卷積神經(jīng)網(wǎng)絡(luò)與RNN 同樣無法應(yīng)對長時間依賴問題[11].因此,如何從大量的時間、空間數(shù)據(jù)中提取出有利于預(yù)測的信息,是河流水位時空預(yù)測的重點與難點,注意力機制是一種從海量的信息中快速選擇高價值信息的方式,胡鶴軒等[12]建立了基于雙階注意力機制的徑流預(yù)報模型,并對流域徑流量進行預(yù)測,結(jié)果表明此改進方法能有效提高徑流預(yù)報精度.

針對LSTM 存在空間信息應(yīng)對能力不足的問題,在兼顧模型預(yù)測性能的情況下,本文提出一套具有自適應(yīng)性時空注意力機制的LSTM 水位預(yù)測模型(簡稱AT-LSTM),輸入數(shù)據(jù)先經(jīng)過注意力模塊自主地生成時間、空間注意力權(quán)重矩陣并賦予輸入序列注意力權(quán)重值,再將帶有權(quán)重信息的序列作為LSTM的輸入,由LSTM 輸出預(yù)測水位.將其用于預(yù)測長江流域水位,通過武漢上游的汛期水位預(yù)測武漢未來一段時間的水位,實驗對比分析原始LSTM、TCN、僅應(yīng)用時間注意力的LSTM(TA-LSTM)、僅應(yīng)用空間注意力的LSTM(SA-LSTM)和同時應(yīng)用時間注意力的LSTM(AT-LSTM).

1 研究區(qū)域與數(shù)據(jù)來源

1.1 研究區(qū)域概述

選取長江從宜昌至武漢的河段作為研究區(qū)域,如圖1所示.從歷史資料看,武漢經(jīng)歷了多次重大洪水災(zāi)害;從地理位置看,長江上游水位暴漲是引發(fā)下游洪水的重要因素.因此,十分有必要對武漢上游水位進行監(jiān)測,以便決策部門提前做好應(yīng)對措施,降低洪水的損害.

1.2 研究數(shù)據(jù)

1.2.1 數(shù)據(jù)來源

三峽大壩作為世界最大的水電樞紐,對其下游的水文特征影響較大,大壩上下游的水位連續(xù)性也較差.因此,本文基于三峽大壩下游流域展開研究,通過宜昌、枝城、沙市、監(jiān)利和螺山5個水文站過去一段時間的每小時水位,預(yù)測武漢未來一段時間的水位.實驗選取了2012 至2018 年汛期(5～9 月)每小時水位,如圖2所示.數(shù)據(jù)來源于湖北省水文水資源中心官網(wǎng)(http://113.57.190.228:8001/#!/web/Report/River Report).水位數(shù)據(jù)包含了時間維度和空間維度,即水位數(shù)據(jù)在時間和空間上都是連續(xù)的.

圖2 原始數(shù)據(jù)圖

1.2.2 水位序列分析

目前針對神經(jīng)網(wǎng)絡(luò)輸入變量的分析方法有:最小二乘法、主成分分析法和相關(guān)系數(shù)法等.但上述方法都存在一定的缺陷,如最小二乘法可以計算輸入變量對輸出變量的重要程度,但針對的主要是線性問題,有一定的局限性.主成分分析法和相關(guān)系數(shù)法雖然計算過程簡單,但同樣難以反應(yīng)非線性、復(fù)雜多元的水位序列不同特征之間的關(guān)系.

互信息(Mutal Information,MI)以信息熵為理論基礎(chǔ),既能反映輸入變量與輸出變量間的線性和非線性關(guān)系,它的大小又能表示一個變量包含另一個變量信息的強弱[13],計算過程為:

其中:X表示輸入變量;Y表示輸出變量;p[x(i),y(j)]表示他們的聯(lián)合密度概率;p[x(i)]和p[y(j)]為變量X和Y的邊界密度概率函數(shù);I(X;Y)是計算聯(lián)合分布p[x(i),y(j)]和p[x(i)]·p[y(j)]之間的相對熵.宜昌至螺山的5個輸入序列與武漢的互信息見表1.

表1 輸入變量與輸出變量的互信息值

由于輸入變量與輸出的互信息值均大于0.49,則認為可通過輸入的每個水文站預(yù)測漢口站的水位.

2 基于改進時空注意力機制的水位預(yù)測模型

2.1 長短期記憶網(wǎng)絡(luò)

長短期記憶網(wǎng)絡(luò)(LSTM)是由RNN 演化來的,目的是解決RNN 梯度消失的問題.LSTM 通過一個狀態(tài)存儲單元和門結(jié)構(gòu)對網(wǎng)絡(luò)中的信息流進行選擇性控制,圖3展示了LSTM 的cell單元結(jié)構(gòu).單元由3個門組成:輸入門、遺忘門和輸出門,一個cell單元的狀態(tài)更新過程如下:

圖3 LSTM 記憶單元結(jié)構(gòu)

其中:假定時刻t的輸入為Xt,則ct表示時刻t的cell狀態(tài);ft表示遺忘門決定了ct-1有多少需要被保留;it表示記憶門決定了Xt有多少信息被用于計算ct;ot表示輸出門決定了要輸出cell狀態(tài)的哪些部分;ht表示隱含層狀態(tài).

2.2 注意力機制

并不是所有的輸入特征都與洪水預(yù)報結(jié)果呈正相關(guān),不相關(guān)的輸入往往會帶來大量噪音,導(dǎo)致預(yù)測精度下降.然而,長江流域的水域性質(zhì)復(fù)雜,在缺乏專業(yè)知識的情況下難以確定最佳輸入.因此,使用注意力機制可以克服這種挑戰(zhàn).注意力機制有助于讓模型縮小對重要數(shù)據(jù)的關(guān)注范圍,可以讓模型從所有輸入中獲取關(guān)鍵信息.注意力有兩種類型:硬注意力和軟注意力[14].硬注意力即注意力權(quán)重值的選擇為0或1.軟注意力的注意力權(quán)重值分布在[0,1]之間,與硬注意力相比,注意力權(quán)重的分配將更加靈活.本研究就是基于軟注意力展開的,注意力模塊是根據(jù)Softmax()函數(shù)設(shè)計的,輸入序列經(jīng)過注意力模塊后,被映射為序列中每個位置元素占總體序列的比重,用重要程度表示元素的注意力權(quán)重值.運算過程如下:

其中:zi表示輸入序列中的第i位的值;n為序列包含的類別個數(shù),通過上述運算,Softmax()函數(shù)可將輸出映射在[0,1]區(qū)間內(nèi),并且輸出序列元素之和為1.

2.3 模型構(gòu)建

深度學(xué)習(xí)中的注意力機制主要是讓模型有選擇地注意特定部分的信息,本文在LSTM 數(shù)據(jù)的輸入前應(yīng)用注意力模塊,輸入序列經(jīng)過注意力模塊被自動賦予相應(yīng)的時間或空間注意力權(quán)重信息,從而實現(xiàn)模型的選擇性學(xué)習(xí).根據(jù)注意力模塊與LSTM 模型的組合情況,可分為僅在時間尺度上應(yīng)用注意力模塊(TA-LSTM)、僅在空間尺度上應(yīng)用注意力模塊(SA-LSTM)和同時在時間和空間尺度上應(yīng)用注意力模塊(AT-LSTM).重點討論第3 種情況,即同時應(yīng)用時間注意模塊和空間注意模塊的LSTM,所構(gòu)建的AT-LSTM 模型結(jié)構(gòu)如圖4所示.

圖4 應(yīng)用了時空注意力機制的LSTM 模型結(jié)構(gòu)

2.3.1 空間注意力模塊

假定輸入為m行n列的二維矩陣X∈Rm×n,其中m表示每個空間序列包含的水文站數(shù)量;n表示每個時間序列包含時間節(jié)點的個數(shù).將每個時間步輸入的二維序列拆分為一維的時間、空間序列,即輸入矩陣的每一行表示某一個水文站的逐小時水位,輸入矩陣的每一列表示某一時刻所有水文站的水位.設(shè)第t個時間步的空間序列為則t時刻空間序列的注意力權(quán)重計算過程如下所示:

2.3.2 時間注意力模塊

2.3.3 時間注意力與空間注意力融合模塊

將通過上述得到的空間注意力權(quán)重矩陣A和時間注意力權(quán)重矩陣B通過Hadamard積,即矩陣對應(yīng)位置元素相乘的方式,得到一個與輸入矩陣大小相同的矩陣,稱為時空注意力權(quán)重矩陣AT,運算過程如下:

3 實驗過程及分析

3.1 評價指標

為了評價模型的預(yù)測精度,本文選取了4個指標進行評估:平均絕對誤差(EMAE)、均方根誤差(ERMSE)、平均絕對百分誤差(EMAPE)和決定系數(shù)(R2).這些評價指標的運算過程如下:

其中:n是測試樣本的總數(shù)量;yi代表水位的實際值;pi表示預(yù)測水位是實際數(shù)據(jù)的平均值.EMAE、ERMSE和EMAPE用于描述樣本實際值與預(yù)測值之間的差異程度,這些評價指標的度量數(shù)越小,模型的平均預(yù)測精度越高.R2用于量化預(yù)測值與實際值的接近程度,R2越接近1模型性能越好.

3.2 實驗環(huán)境設(shè)置

所有實驗均在Windows系統(tǒng)上(CPU:Intel(R)Core(TM)i7-10700KF CPU@3.8GHz,GPU:NVIDIA GeForce RTX3070,8 G),基于Python和Keras框架實現(xiàn).對數(shù)據(jù)集進行劃分,將2012～2016年的數(shù)據(jù)作為訓(xùn)練集共計18 360條數(shù)據(jù),2017年的數(shù)據(jù)作為驗證集共計3 672 條數(shù)據(jù),2018 年的數(shù)據(jù)作為測試集3 672條數(shù)據(jù).

為驗證所提出模型的有效性,對比分析了原始LSTM、TCN、TA-LSTM、SA-LSTM 和AT-LSTM在相同數(shù)據(jù)集下的水位預(yù)測表現(xiàn).所有網(wǎng)絡(luò)模型都采用單層網(wǎng)絡(luò)結(jié)構(gòu),并在相同的超參數(shù)下進行訓(xùn)練,通過預(yù)實驗獲得實驗參數(shù),隱含層神經(jīng)元個數(shù)為128,每個批次大小為64,選擇Adam 算法作為優(yōu)化器,以均方誤差(EMSE)作為預(yù)測模型的損失函數(shù),設(shè)置學(xué)習(xí)率為0.01,當驗證誤差變化率小于0.005時訓(xùn)練終止.

3.3 模型的預(yù)測性能驗證

表2展示了LSTM、TCN、SA-LSTM、TA-LSTM和AT-LSTM 在長江水位數(shù)據(jù)集上的平均預(yù)測表現(xiàn).

表2 預(yù)測模型的平均性能

從評價指標可以看出,AT-LSTM 的預(yù)測性能是5種模型中最好的,并且SA-LSTM 和TA-LSTM 的預(yù)測表現(xiàn)均好于原始LSTM,這表明時間注意力模塊和空間注意力模塊都對LSTM 的預(yù)測性能有積極作用.此外,TA-LSTM 的預(yù)測性能與TCN 的預(yù)測性能較為接近,而SA-LSTM 的預(yù)測性能明顯大于TALSTM,這表明空間注意力模塊對模型預(yù)測性能的提升程度大于注意力模塊.應(yīng)用了注意力機制后,ATLSTM 比原始LSTM 的平均預(yù)測性能有所提高,EMAE、ERMSE、EMAPE分別降低了21.77%、31.15%、3.54%,R2提高了9.69%.

圖5顯示了預(yù)測模型在不同時間步長情況下每種評價指標的變化,驗證了在預(yù)測周期為[3,5,7,9,11,13,15]天時的評價指標變化情況,對應(yīng)的時間步為[72,120,168,216,264,312,360].為了進一步驗證所提出模型的預(yù)報性能,對比了5種預(yù)測模型在時間步為[72,168,264,360]時的水位預(yù)報結(jié)果,其預(yù)報表現(xiàn)如圖6所示.

圖5 預(yù)測模型在不同時間步長時評價指標變化

圖6 模型在2018年不同時間步的預(yù)測值與實際值對比

通過實驗可以發(fā)現(xiàn),隨著預(yù)測周期的增加,上述5種預(yù)測模型的預(yù)測誤差逐漸增加.整體上,ATLSTM 的預(yù)測值與真實值最為接近,說明所提出的模塊不僅提升了模型的學(xué)習(xí)泛化能力,還對長江汛期的水位預(yù)報精度有了顯著提升.

3.4 注意力權(quán)重的分布分析

在上一小節(jié)的實驗中,驗證了所提出模型對于長江汛期水位預(yù)測精度,得到了不錯的預(yù)測結(jié)果.為了進一步分析注意力模塊產(chǎn)生的注意力權(quán)重在模型中是如何變化的,從訓(xùn)練好的AT-LSTM 模型中分別提取出時間注意力權(quán)重和空間注意力權(quán)重序列.由于時間注意力是運用在每一個輸入的所有時間步上的,例如預(yù)測期為72 h,則72個時間步都會產(chǎn)生一個時間注意力權(quán)重值.為了簡化時間注意力的展示方式,僅展示每個預(yù)測周期中時間注意力最大的前10個時間步,結(jié)果見表3.

表3 每個預(yù)測周期中時間注意力權(quán)重值由大到小排名前10的權(quán)重所出現(xiàn)的時間步

通過統(tǒng)計可以初步得出結(jié)論,經(jīng)過時間注意力模塊后,模型的注意力主要集中在小于當前時間步長約50%的部分,也就是說在預(yù)測期中,越靠近預(yù)測時刻的時間步,對準確預(yù)報的貢獻越大.還對比了上一小節(jié)中4個預(yù)測期(3、7、11和15 d)的空間注意力的分布情況,結(jié)果如圖7所示.

圖7 空間權(quán)重值的分布情況

可以發(fā)現(xiàn),距離武漢站最近的水文站的空間權(quán)重值遠高于其他位置的權(quán)重值,導(dǎo)致這一現(xiàn)象的原因主要是螺山站空間位置上與武漢站較為接近,直線距離約135 km,兩地的水位高度也較為接近.再次說明空間注意力模塊對于提高模型預(yù)測性能貢獻更大.

4 結(jié)論

本文利用時空注意力模塊和長短期記憶網(wǎng)絡(luò)解決了水位預(yù)測任務(wù)中存在的空間信息利用不足及時間跨度過長導(dǎo)致的預(yù)測精度下降的問題.在LSTM模型輸入前應(yīng)用時空注意力模塊,有效提升了LSTM對時間序列任務(wù)的處理能力,并且使LSTM 能夠考慮到空間信息.所提出的AT-LSTM 模型,做到了同時捕獲數(shù)據(jù)的時間依賴性和空間依賴性兩個維度的信息,并自主地生成相應(yīng)的時間或空間注意力權(quán)重矩陣,為模型篩選輸入信息中重要的部分.以長江汛期的水位作為研究對象,預(yù)測武漢的水位,在真實數(shù)據(jù)集上進行了驗證,通過與多種預(yù)測模型進行對比,驗證了所提出的時空注意力模型對水位預(yù)測的準確度有顯著提升.