李大洋 姚軼 梁忠民 周艷 李彬權(quán)

摘要：目前水文領(lǐng)域關(guān)于深度學(xué)習(xí)的研究多集中于提高預(yù)測(cè)能力方面，與具有物理機(jī)制的水文模型相比，深度學(xué)習(xí)復(fù)雜的內(nèi)部結(jié)構(gòu)導(dǎo)致其不具備可解釋性，預(yù)測(cè)結(jié)果難以被信任，因此發(fā)展可信賴(lài)的深度學(xué)習(xí)對(duì)于推進(jìn)水科學(xué)發(fā)展具有重要意義。基于預(yù)報(bào)殘差分析框架，構(gòu)建具有物理機(jī)制的水文模型與深度學(xué)習(xí)融合的混合模型，以充分利用兩者優(yōu)勢(shì);引入變分貝葉斯理論，提出變分貝葉斯與深度學(xué)習(xí)耦合的概率預(yù)報(bào)模型VB-LSTM，以定量評(píng)估水文預(yù)報(bào)結(jié)果的不確定性、提高結(jié)果可靠度。以黃河源區(qū)1961—2015年的徑流過(guò)程為研究對(duì)象，對(duì)VB-LSTM模型進(jìn)行應(yīng)用示例研究。結(jié)果表明：與長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（LSTM）相比，VB-LSTM模型在驗(yàn)證期預(yù)報(bào)精度更高，結(jié)果更穩(wěn)定;與傳統(tǒng)基于“線性-正態(tài)”假設(shè)的水文概率預(yù)報(bào)方法相比，VB-LSTM模型具有更高的預(yù)報(bào)精度，且不確定性更小、預(yù)報(bào)結(jié)果更可靠。

關(guān)鍵詞：水文概率預(yù)報(bào);深度學(xué)習(xí);變分貝葉斯;長(zhǎng)短時(shí)記憶網(wǎng)絡(luò);混合模型

中圖分類(lèi)號(hào)：TV124;P338

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-6791（2023）01-0033-09

收稿日期：2022-10-14;

網(wǎng)絡(luò)出版日期：2023-02-01

網(wǎng)絡(luò)出版地址：https：∥kns.cnki.net/kcms/detail∥32.1309.P.20230131.1533.005.html

基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目（41730750;41877147）

作者簡(jiǎn)介：李大洋（1992—），男，江蘇徐州人，博士，主要從事水文水資源方面研究。

E-mail：dayangli_hhu@foxmail.com

通信作者：梁忠民，E-mail：zmliang@hhu.edu.cn

1990年以來(lái)，機(jī)器學(xué)習(xí)在水文領(lǐng)域不斷應(yīng)用發(fā)展。人工神經(jīng)網(wǎng)絡(luò)（ANN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）、支持向量機(jī)（SVM）、最近鄰算法（KNN）等一系列模型被廣泛應(yīng)用于降水預(yù)報(bào)修正、徑流預(yù)報(bào)、土壤水分預(yù)測(cè)、地下水位預(yù)測(cè)等水文領(lǐng)域的各個(gè)方面^［1-2］。近些年，深度學(xué)習(xí)作為一種特定類(lèi)型的機(jī)器學(xué)習(xí)日益受到水文學(xué)者的廣泛關(guān)注。與傳統(tǒng)的“淺層”機(jī)器學(xué)習(xí)相比，深度學(xué)習(xí)通過(guò)復(fù)雜結(jié)構(gòu)或多處理層進(jìn)行多層次、多維度的數(shù)據(jù)抽象處理，一些研究顯示深度學(xué)習(xí)模型如長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（LSTM）在水位、徑流、土壤水等方面展現(xiàn)出了更強(qiáng)的預(yù)測(cè)能力^［3-5］。然而，與具有物理機(jī)制的水文模型相比，深度學(xué)習(xí)無(wú)法真正理解水文過(guò)程及其物理規(guī)律，其結(jié)構(gòu)復(fù)雜難以被解釋?zhuān)瑢?dǎo)致預(yù)測(cè)結(jié)果難以被充分信任，如何構(gòu)建可信賴(lài)的深度學(xué)習(xí)是當(dāng)前研究的熱點(diǎn)與難點(diǎn)^［6］。

預(yù)報(bào)殘差分析模型^［7］作為一種在水文領(lǐng)域應(yīng)用廣泛的概率預(yù)報(bào)后處理模型，提供了將具有物理機(jī)制的模型與深度學(xué)習(xí)模型相結(jié)合從而充分發(fā)揮兩者優(yōu)勢(shì)的途徑，有望在提高深度學(xué)習(xí)預(yù)測(cè)結(jié)果可信賴(lài)程度方面發(fā)揮作用^［8］。貝葉斯理論是進(jìn)行水文概率預(yù)報(bào)的通用框架^［9-10］，將貝葉斯理論應(yīng)用于深度學(xué)習(xí)可以實(shí)現(xiàn)概率預(yù)報(bào)并對(duì)預(yù)測(cè)結(jié)果可靠度進(jìn)行評(píng)估，然而其中常用于估計(jì)參數(shù)后驗(yàn)分布的抽樣算法——馬爾可夫鏈蒙特卡羅法（MCMC）的收斂速度偏慢，消耗計(jì)算資源較多，難以進(jìn)行高維參數(shù)估計(jì)。Vrugt等^［11］指出采用MCMC算法估計(jì)地下水模型MODFLOW中的241個(gè)參數(shù)需花費(fèi)數(shù)月才能完全收斂。深度神經(jīng)網(wǎng)絡(luò)的參數(shù)數(shù)量一般遠(yuǎn)高于這個(gè)量級(jí)，難以采用MCMC算法在有效時(shí)間內(nèi)（如1～3 d預(yù)見(jiàn)期）估計(jì)眾多參數(shù)的不確定性并提供概率預(yù)報(bào)。Fang等^［12］通過(guò)蒙特卡羅暫退算法（Monte Carlo Dropout，MC Dropout）估計(jì)深度神經(jīng)網(wǎng)絡(luò)LSTM參數(shù)的不確定性，實(shí)現(xiàn)了土壤水的概率預(yù)報(bào)。MC Dropout是一種將正則化算法Dropout解釋為高斯過(guò)程的貝葉斯近似，有望在不增加計(jì)算成本的情況下實(shí)現(xiàn)深度學(xué)習(xí)的概率預(yù)報(bào)。但一些學(xué)者認(rèn)為MC Dropout算法并非基于貝葉斯理論，無(wú)法正確估計(jì)參數(shù)并提供合理的不確定性分析^［13］;此外，該算法專(zhuān)為神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)，無(wú)法用于水文領(lǐng)域其他高維參數(shù)估計(jì)問(wèn)題。變分貝葉斯（Variational Bayes，VB）^［14］是解決貝葉斯推斷問(wèn)題的新興方法，與MC Dropout相比，VB方法理論基礎(chǔ)與適用性更強(qiáng);與MCMC算法相比，VB的計(jì)算效率更高。VB方法的本質(zhì)在于能快速尋找參數(shù)化分布族的最佳近似分布，因此，對(duì)估計(jì)高維參數(shù)等問(wèn)題具有顯著優(yōu)勢(shì)。

本文引入一種基于變分貝葉斯理論的最新算法——隨機(jī)變分推斷（Stochastic Variational Inference，SVI）^［15］，提出一種耦合SVI與LSTM的概率預(yù)報(bào)方法（VB-LSTM），作為水文模型的預(yù)報(bào)殘差分析模型定量評(píng)估水文預(yù)報(bào)不確定性。為充分發(fā)揮物理模型與數(shù)據(jù)驅(qū)動(dòng)模型的優(yōu)勢(shì)，采用分布式水文模型模擬徑流過(guò)程，研究SVI算法的收斂性和時(shí)效性，分析VB-LSTM模型在減少水文預(yù)報(bào)不確定性和提高預(yù)報(bào)精度方面的優(yōu)勢(shì)。

1 方法原理

1.1 預(yù)報(bào)殘差分析模型

預(yù)報(bào)殘差分析模型是一種后處理方法，用于構(gòu)建預(yù)報(bào)殘差與預(yù)報(bào)因子矩陣X∈R^D×T之間的線性或者非線性回歸關(guān)系，其中，R為實(shí)數(shù)集，D為所選預(yù)報(bào)因子的個(gè)數(shù)，T為時(shí)間序列長(zhǎng)度。此回歸關(guān)系可寫(xiě)作

式中：y_ε=［y_ε1，…，y_εT］∈R^1×T為實(shí)測(cè)流量（記為向量y_o）與模擬流量（記為向量y_m）之差，被稱(chēng)為殘差;ε=［ε₁，…，ε_T］∈R^1×T為隨機(jī)誤差項(xiàng)，通常被認(rèn)為服從均值為0、方差為σ²的正態(tài)分布;參數(shù)向量θ=［θ₁，…，θ_N］∈R^1×N，其中，N為參數(shù)個(gè)數(shù)。水文預(yù)報(bào)不可避免地存在著誤差^{［10，16］}，在水文預(yù)報(bào)殘差分析模型中，建模者認(rèn)為水文預(yù)報(bào)的所有誤差（如數(shù)據(jù)觀測(cè)、模型初值、模型參數(shù)、模型結(jié)構(gòu)）均集中在y_ε中，通過(guò)分析和模擬殘差從而達(dá)到量化預(yù)報(bào)不確定性的目的。

貝葉斯學(xué)派認(rèn)為θ是隨機(jī)變量且可以通過(guò)概率分布描述。根據(jù)貝葉斯公式，θ的后驗(yàn)分布為

式中：條件分布p（θ|y_o）在貝葉斯中被稱(chēng)為后驗(yàn)分布;p（y_o|θ）稱(chēng)為似然函數(shù);邊際分布p（θ）稱(chēng)為先驗(yàn)分布;p（y_o）稱(chēng)為證據(jù)（Evidence）或歸一化常數(shù);符號(hào)∝表示“成正比例”。貝葉斯推斷的關(guān)鍵是估計(jì)參數(shù)后驗(yàn)分布，但這很難直接獲得，主要原因在于證據(jù)p（y_o）=∫p（y_o|θ）p（θ）dθ是一個(gè)積分，除個(gè)別理想情況外多數(shù)不可積。以MCMC為代表的貝葉斯抽樣方法通過(guò)建立參數(shù)θ的馬爾可夫鏈依次進(jìn)行抽取樣本。這意味著每次迭代過(guò)程中每個(gè)參數(shù)可獲得1個(gè)抽樣樣本，但如果不符合一定條件，該樣本將被舍棄。當(dāng)參數(shù)過(guò)多時(shí)，MCMC抽樣效率很低且難以收斂，需要更多的迭代次數(shù)^［11］。變分貝葉斯方法采用已知的一組分布逼近真實(shí)后驗(yàn)的思路極大地提高了高維參數(shù)估計(jì)的計(jì)算效率。需要注意的是，變分貝葉斯方法的參數(shù)估計(jì)結(jié)果存在一定的偏差，因此，使用時(shí)需要在精度與速度之間做出權(quán)衡^［17］。

1.2 變分貝葉斯方法

變分貝葉斯的主要思路是通過(guò)引入一組分布去逼近參數(shù)后驗(yàn)分布p（θ|y_o），這組分布被稱(chēng)為變分分布，記作q（θ|Λ），其中Λ=［λ₁，…，λ_N］∈R^S×N是與模型參數(shù)θ=［θ₁，…，θ_N］對(duì)應(yīng)的變分參數(shù)矩陣，S意味著每個(gè)變分分布由S個(gè)變分參數(shù)控制。例如，假設(shè)變分分布為正態(tài)分布，則S=2，因?yàn)檎龖B(tài)分布是由均值（μ）和方差（σ²）2個(gè)參數(shù)決定，該參數(shù)可以被稱(chēng)為變分參數(shù)，記作λ=［μ，σ²］。在變分貝葉斯計(jì)算中，Kullback-Leibler散度（D_KL），又稱(chēng)相對(duì)熵，被用來(lái)量化變分分布與真實(shí)后驗(yàn)之間的距離。D_KL可推導(dǎo)后表示為：

式中：E_q（·）為關(guān)于q（θ|Λ）的期望;p（y_o，θ）為y_o與θ的聯(lián)合分布;（Λ）為證據(jù)下界（Evidence Lower BOund，ELBO），相當(dāng)于變分貝葉斯方法的目標(biāo)函數(shù)。

調(diào)整式（3）各項(xiàng)位置后可推導(dǎo)出

從在變分貝葉斯中，D_KL被用來(lái)計(jì)算變分分布與真實(shí)后驗(yàn)之間的距離，最小化D_KL可以最終得到近似的后驗(yàn)。最小化D_KL的難點(diǎn)在于證據(jù)p（y_o）難以被積分，導(dǎo)致D_KL很難被計(jì)算。從式（3）可以看出，最小化D_KL等價(jià)于最大化ELBO，因此，變分貝葉斯可以通過(guò)最大化ELBO的方式來(lái)獲得后驗(yàn)分布的近似。最大化ELBO可以通過(guò)梯度優(yōu)化算法獲得，但ELBO中包含期望函數(shù)（見(jiàn)式（4））導(dǎo)致很難進(jìn)行求導(dǎo)。Ranganath等^［15］提出了一種目前最先進(jìn)的變分貝葉斯方法——隨機(jī)變分推斷，該算法采用REINFORCE技巧解決此問(wèn)題，詳細(xì)介紹請(qǐng)見(jiàn)參考文獻(xiàn)［15］。

1.3 變分貝葉斯與長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)耦合模型——VB-LSTM

神經(jīng)網(wǎng)絡(luò)通常采用基于反向傳播的梯度下降算法更新權(quán)重并最小化目標(biāo)函數(shù)，得出最優(yōu)的確定性預(yù)報(bào)結(jié)果，一般可稱(chēng)作確定性神經(jīng)網(wǎng)絡(luò)。然而，確定性神經(jīng)網(wǎng)絡(luò)中的眾多參數(shù)使得預(yù)報(bào)結(jié)果具有明顯的不確定性，預(yù)報(bào)結(jié)果難以被信任。貝葉斯理論提供了量化不確定性的基本框架，將貝葉斯理論用于神經(jīng)網(wǎng)絡(luò)參數(shù)不確定性量化并提供概率預(yù)報(bào)的方法可被稱(chēng)為貝葉斯神經(jīng)網(wǎng)絡(luò)^［18］。圖 1比較了確定性神經(jīng)網(wǎng)絡(luò)與貝葉斯神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)差異。本文采用變分貝葉斯訓(xùn)練先進(jìn)的深度學(xué)習(xí)網(wǎng)絡(luò)LSTM，構(gòu)建耦合模型——變分貝葉斯深度學(xué)習(xí)網(wǎng)絡(luò)VB-LSTM，作為水文預(yù)報(bào)中的預(yù)報(bào)殘差分析模型并提供概率預(yù)報(bào)結(jié)果。

VB-LSTM模型由深度神經(jīng)網(wǎng)絡(luò)和變分貝葉斯方法兩部分構(gòu)成，因此，在構(gòu)建VB-LSTM模型時(shí)需考慮兩者的特點(diǎn)。進(jìn)行變分貝葉斯估計(jì)時(shí)，需要在構(gòu)建LSTM模型的基礎(chǔ)上，合理地設(shè)置參數(shù)的變分分布、先驗(yàn)分布以及似然函數(shù)。下面具體介紹VB-LSTM模型的各個(gè)部分。

1.3.1 長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)

長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)是Hochreiter等^［19］在1997年提出的一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)。LSTM在RNN基礎(chǔ)上引入了“門(mén)”，在一定程度上解決了標(biāo)準(zhǔn)RNN存在的梯度消失或爆炸以及長(zhǎng)時(shí)記憶問(wèn)題。LSTM網(wǎng)絡(luò)的架構(gòu)包含若干LSTM層和1個(gè)全連接層。全連接層一般用線性函數(shù)表示，負(fù)責(zé)在最后輸出最終結(jié)果。每一個(gè)LSTM層由很多隱含單元（又叫神經(jīng)元）組成，每個(gè)隱含單元又包括2個(gè)狀態(tài)：隱含狀態(tài)（又叫輸出狀態(tài)）和細(xì)胞狀態(tài)。細(xì)胞狀態(tài)是由3個(gè)門(mén)控制，分別是輸入門(mén)、遺忘門(mén)、輸出門(mén)。門(mén)負(fù)責(zé)決定信息的進(jìn)入，其結(jié)構(gòu)是一個(gè)Sigmoid層和點(diǎn)乘操作的組合。Sigmoid層將輸入值轉(zhuǎn)化成0到1之間的數(shù)值，數(shù)值大小代表了輸入值通過(guò)的程度，其中0代表不通過(guò)，1代表都通過(guò)。還有一個(gè)候選細(xì)胞為細(xì)胞狀態(tài)添加額外信息。具體公式可見(jiàn)參考文獻(xiàn)［19］。

1.3.2 先驗(yàn)分布、變分分布與似然函數(shù)

先驗(yàn)分布代表了進(jìn)行推理前對(duì)該參數(shù)或數(shù)據(jù)的認(rèn)知。由于LSTM參數(shù)沒(méi)有明確的物理意義或可解釋性，因此，很難給出一個(gè)有意義的先驗(yàn)分布。在這種情況下，一般可以用無(wú)信息（Uninformative） 的均勻分布或者數(shù)學(xué)性質(zhì)較好的正態(tài)分布描述。這里假定LSTM參數(shù)的先驗(yàn)分布服從正態(tài)分布，誤差項(xiàng)的方差為了保證非負(fù)則服從均勻分布，表達(dá)式如下：

式中：N（0，1）為均值為0、方差為1的正態(tài)分布;U（0，1）為下界為0、上界為1的均勻分布。

在變分推斷中，變分分布用來(lái)近似真實(shí)后驗(yàn)分布。本文假定LSTM參數(shù)的變分分布為正態(tài)分布，主要因?yàn)檎龖B(tài)分布簡(jiǎn)單且具有良好的數(shù)學(xué)性質(zhì)。為了保證誤差項(xiàng)的方差估計(jì)為正，采用截?cái)嗾龖B(tài)分布N′（·）作為變分分布。變分推斷通過(guò)迭代不斷更新變分參數(shù)（α_i、γ²_i、μ和²）從而控制變分分布逼近真實(shí)后驗(yàn)分布，迭代時(shí)需要設(shè)置初始變分分布。這里初始變分分布的均值設(shè)定為對(duì)應(yīng)的先驗(yàn)分布均值，標(biāo)準(zhǔn)差為對(duì)應(yīng)先驗(yàn)分布的1/10，寫(xiě)作：

似然函數(shù)用條件分布的形式衡量模擬值與實(shí)測(cè)值之間的吻合程度，似然函數(shù)的選擇直接決定推斷結(jié)果的合理性。為了使數(shù)據(jù)減少異方差性以及更服從正態(tài)分布，將Box-Cox轉(zhuǎn)換應(yīng)用于觀測(cè)數(shù)據(jù)與模擬數(shù)據(jù)中。然后采用標(biāo)準(zhǔn)化減少變量的尺度差異，幫助SVI算法更快地收斂。在數(shù)據(jù)轉(zhuǎn)換空間（·）中，假設(shè)隨機(jī)誤差獨(dú)立同分布且服從均值為0、方差為常數(shù)σ²的正態(tài)分布。似然函數(shù)可以表示為

其中：

式中：y～^t_o和 y～^t_m分別為t時(shí)刻經(jīng)Box-Cox轉(zhuǎn)換后的觀測(cè)數(shù)據(jù)和水文模型模擬值;（y～^t_o

-..y～^t_m）表示（y～^t_o-y～^t_m）的標(biāo)準(zhǔn)化;x¨_t表示 LSTM輸入數(shù)據(jù)的標(biāo)準(zhǔn)化;λ₁和λ₂為Box-Cox轉(zhuǎn)換的2個(gè)參數(shù)，根據(jù)文獻(xiàn)建議固定λ₁=0.2和λ₂=0^［20］。

2 應(yīng)用實(shí)例

2.1 研究流域與數(shù)據(jù)處理

本文選取黃河源區(qū)即唐乃亥以上流域進(jìn)行應(yīng)用研究。黃河源區(qū)的高程、水文站點(diǎn)、氣象站點(diǎn)及水系分布如圖 2所示。流域面積約12.2萬(wàn)km²，約占黃河流域面積的15%。本文所需的氣象數(shù)據(jù)包括降水、平均氣溫、最高氣溫、最低氣溫、相對(duì)濕度、平均風(fēng)速和日照時(shí)數(shù)等日系列資料，除降水作為水文模型直接輸入外其余氣象數(shù)據(jù)主要用于計(jì)算潛在蒸散發(fā)（PET）?？紤]到資料的一致性和完整性，本文收集了圖中所示的流域內(nèi)7個(gè)氣象站和1個(gè)水文站的實(shí)測(cè)日系列資料，時(shí)間范圍為1961—2015年。此外，收集了空間分辨率為90 m的數(shù)字高程模型（DEM）數(shù)據(jù)以及比例尺為1∶100萬(wàn)的土壤分類(lèi)數(shù)據(jù)HWSD V1.1。采用反距離插值法將各類(lèi)型數(shù)據(jù)插值到對(duì)應(yīng)計(jì)算網(wǎng)格。

2.2 模型設(shè)置

本文采用分布式水文模型MIKE SHE模擬黃河源區(qū)1961—2015年的日徑流過(guò)程。將模擬時(shí)段分成3部分，即預(yù)熱期（1961—1965年）、率定期（1966—2000年）和驗(yàn)證期（2001—2015年）。由于研究流域面積較大（約122 000 km²），所以模型網(wǎng)格大小設(shè)置為5 km×5 km，總共約5 000個(gè)有效計(jì)算網(wǎng)格。采用數(shù)據(jù)中提取與人工率定相結(jié)合的方式率定MIKE SHE的參數(shù)，具體可見(jiàn)相關(guān)文獻(xiàn)［21］。MIKE SHE模擬流量作為VB-LSTM的輸入變量，將日模擬徑流集成的月徑流輸入VB-LSTM構(gòu)建月尺度的預(yù)報(bào)殘差分析模型。選擇月尺度主要有以下2點(diǎn)考慮：① 月系列數(shù)據(jù)比日數(shù)據(jù)資料長(zhǎng)度更短，可以減少計(jì)算時(shí)間，便于研究隨機(jī)變分推斷SVI的收斂性;② 深度學(xué)習(xí)通常在大樣本中表現(xiàn)優(yōu)異，采用月尺度的小樣本數(shù)據(jù)訓(xùn)練VB-LSTM，如果表現(xiàn)較好則可以在一定程度上說(shuō)明VB-LSTM的通用性。

根據(jù)相關(guān)文獻(xiàn)^［5］以及人工試錯(cuò)，VB-LSTM設(shè)置為1個(gè)包含20個(gè)隱含單元的LSTM層，后面接1個(gè)全連接層。在SVI中，采用梯度下降優(yōu)化算法Adam最大化證據(jù)下界ELBO，其相關(guān)超參數(shù)采用默認(rèn)設(shè)置如下：ρ=0.001，β₁=0.9，β₂=0.999以及=10^-8。VB-LSTM最大迭代次數(shù)設(shè)置為50 000次。VB-LSTM在Python環(huán)境中運(yùn)行并基于開(kāi)源機(jī)器學(xué)習(xí)庫(kù)Pytorch與概率模型工具庫(kù)Pyro構(gòu)建，計(jì)算采用服務(wù)器集群中英特爾CPU中的4顆核心。

2.3 結(jié)果分析

圖3給出了ELBO值（N_ELBO）的迭代變化軌跡（N′_ELBO為N_ELBO除以數(shù)據(jù)個(gè)數(shù)）。在SVI中，采用梯度下降優(yōu)化算法Adam最大化證據(jù)下界來(lái)估計(jì)參數(shù)后驗(yàn)，設(shè)定最大迭代次數(shù)閾值為50 000。SVI的收斂性可通過(guò)觀察N_ELBO的變化軌跡判斷。如圖3所示，N_ELBO的軌跡圖不夠平滑，有不少噪聲。為方便觀察收斂性，引入窗口為20的滑動(dòng)平均函數(shù)處理N_ELBO（黑色線條）。可以發(fā)現(xiàn)當(dāng)?shù)螖?shù)超過(guò)30 000時(shí)平滑后的N_ELBO穩(wěn)定不變，這時(shí)可認(rèn)為N_ELBO已經(jīng)收斂，并且收斂時(shí)的計(jì)算時(shí)間少于1 h，能夠滿(mǎn)足一定的預(yù)報(bào)時(shí)效性需求。此時(shí)，本文中的LSTM具有20個(gè)隱含單元的單層神經(jīng)網(wǎng)絡(luò)，參數(shù)數(shù)量為1 861個(gè)，這對(duì)于MCMC算法而言難以在該時(shí)間內(nèi)完成如此多參數(shù)的后驗(yàn)估計(jì)。

采用ELBO收斂時(shí)刻的參數(shù)后驗(yàn)分布作為最優(yōu)分布計(jì)算相應(yīng)預(yù)報(bào)流量，如圖4所示。為了與VB-LSTM比較，選擇傳統(tǒng)的基于“線性-正態(tài)”假設(shè)的預(yù)報(bào)殘差分析模型，該模型中的回歸模型即為貝葉斯線性回歸模型（LR），并采用改進(jìn)的MCMC算法（AM-MCMC）估計(jì)參數(shù)后驗(yàn)。引入“精度-可靠度”指標(biāo)綜合評(píng)價(jià)體系評(píng)估VB-LSTM概率預(yù)報(bào)結(jié)果。精度指標(biāo)選擇常見(jiàn)的納什效率系數(shù)（E_NS）、克林效率系數(shù)（E_KG）以及平均絕對(duì)誤差（E_MA），可靠度指標(biāo)選擇概率預(yù)報(bào)評(píng)價(jià)指標(biāo)區(qū)間覆蓋率（Coverage Ratio，R_C）、區(qū)間離散度（Dispersion of Interval，I_D）以及連續(xù)排位概率評(píng)分（Continuous Ranked Probability Score，S_CRP）。R_C是指給定可信水平下的預(yù)測(cè)區(qū)間覆蓋實(shí)測(cè)值的比例;I_D是指該預(yù)測(cè)區(qū)間的平均寬度。從圖4看出，與LR模型相比，VB-LSTM的90%預(yù)測(cè)區(qū)間更窄，說(shuō)明預(yù)報(bào)結(jié)果不確定性更低;VB-LSTM的S_CRP分別在率定期和驗(yàn)證期比LR模型低11%與10%;對(duì)于90%預(yù)測(cè)區(qū)間，VB-LSTM的I_D分別在率定期和驗(yàn)證期比LR模型低15%和16%，并且有著更接近90%的R_C。以上分析表明，VB-LSTM比LR模型的概率預(yù)報(bào)結(jié)果不確定性更小，預(yù)報(bào)結(jié)果更可靠。對(duì)于確定性預(yù)報(bào)結(jié)果（預(yù)報(bào)分布均值），VB-LSTM與LR模型均優(yōu)于MIKE SHE，且VB-LSTM預(yù)報(bào)結(jié)果的精度指標(biāo)E_NS和E_KG的值比LR模型平均高0.06，所以VB-LSTM模型預(yù)報(bào)精度更高。此外，將確定性神經(jīng)網(wǎng)絡(luò)LSTM作為MIKE SHE的后處理模型，預(yù)報(bào)結(jié)果與VB-LSTM作對(duì)比，如表 1中所示。LSTM設(shè)置為1個(gè)包含20個(gè)隱含單元的LSTM層，與VB-LSTM設(shè)置相同;采用Adam算法訓(xùn)練LSTM，目標(biāo)函數(shù)為E_MA，迭代次數(shù)為200;采用暫退法（Dropout）減少LSTM過(guò)擬合，暫退概率設(shè)置為0.5。從表1中E_NS、E_KG和E_MA 3個(gè)精度指標(biāo)可以看出，盡管VB-LSTM在率定期比LSTM預(yù)報(bào)結(jié)果稍差，但在驗(yàn)證期表現(xiàn)出了更好的預(yù)報(bào)結(jié)果，表明VB-LSTM預(yù)報(bào)結(jié)果更穩(wěn)定，變分貝葉斯深度學(xué)習(xí)模型在一定程度上能夠減少神經(jīng)網(wǎng)絡(luò)的過(guò)擬合現(xiàn)象。

盡管基于MCMC方法的參數(shù)后驗(yàn)估計(jì)更準(zhǔn)確，可以近似于參數(shù)的真實(shí)分布，但難以處理高維參數(shù)，因此，無(wú)法直接比較SVI與MCMC來(lái)判斷SVI是否能正確估計(jì)參數(shù)不確定性。觀察參數(shù)后驗(yàn)分布對(duì)應(yīng)的預(yù)測(cè)區(qū)間變化是一種簡(jiǎn)單的間接方法。理想情況下，隨著訓(xùn)練數(shù)據(jù)的不斷增多，參數(shù)后驗(yàn)也趨于集中，對(duì)應(yīng)的預(yù)測(cè)區(qū)間也會(huì)變窄。為此，本文將黃河源區(qū)1966—2015年共600個(gè)月連續(xù)數(shù)據(jù)分成3種長(zhǎng)度，分別采用前200、400、600個(gè)數(shù)據(jù)訓(xùn)練深度模型，觀察預(yù)測(cè)區(qū)間的變化以判斷SVI能否捕獲LSTM中眾多參數(shù)的不確定性。需要指出的是，提出的后處理模型不僅考慮了模型參數(shù)不確定性，也包含了隨機(jī)誤差的不確定性，因此，總的預(yù)測(cè)區(qū)間（不確定性區(qū)間）可以劃分為參數(shù)不確定性區(qū)間與隨機(jī)誤差不確定性區(qū)間。表 2給出了訓(xùn)練數(shù)據(jù)長(zhǎng)度分別為200、400、600時(shí)VB-LSTM的參數(shù)不確定性與總誤差不確定性的變化，可靠度指標(biāo)區(qū)間離散度與區(qū)間覆蓋率用于衡量不確定性變化。從表2中可以看出，隨著訓(xùn)練數(shù)據(jù)長(zhǎng)度的增加，90%預(yù)測(cè)區(qū)間中參數(shù)不確定性對(duì)應(yīng)的I_D與R_C不斷減少，并且在總不確定性中的比例也在下降。表明隨著訓(xùn)練數(shù)據(jù)的增加深度學(xué)習(xí)參數(shù)不確定性在減少，與設(shè)想吻合，這為SVI在一定程度上能夠捕獲參數(shù)不確定性提供了間接證據(jù)。

3 結(jié)論

為提高深度學(xué)習(xí)預(yù)測(cè)結(jié)果的可信賴(lài)程度，本文基于預(yù)報(bào)殘差分析框架構(gòu)建了將深度學(xué)習(xí)與具有物理基礎(chǔ)的水文模型相融合的混合模型;通過(guò)引入變分貝葉斯算法SVI，提出了基于變分貝葉斯與深度學(xué)習(xí)的水文概率預(yù)報(bào)新方法VB-LSTM，該方法可與任意的確定性水文模型相耦合，具有一定的靈活性與通用性。主要結(jié)論如下：

（1） 實(shí)例研究顯示，SVI能夠在較短時(shí)間內(nèi)（1 h）完成數(shù)以千計(jì)的參數(shù)后驗(yàn)估計(jì)，可為水文領(lǐng)域其他高維參數(shù)估計(jì)問(wèn)題提供新方法。

（2） VB-LSTM的徑流預(yù)報(bào)結(jié)果可信程度更高。與傳統(tǒng)基于“線性-正態(tài)”假設(shè)的水文概率預(yù)報(bào)模型相比，VB-LSTM的預(yù)報(bào)結(jié)果精度與可靠度更高，不確定性更小。根據(jù)“精度-可靠度”指標(biāo)綜合評(píng)價(jià)顯示，VB-LSTM的概率預(yù)報(bào)結(jié)果的90%預(yù)測(cè)區(qū)間覆蓋率更合理，區(qū)間寬度更窄，區(qū)間寬度與連續(xù)排位概率評(píng)分平均低10%以上;VB-LSTM的確定性預(yù)報(bào)結(jié)果精度更高，納什效率系數(shù)與克林效率系數(shù)均在0.8以上，平均提高0.06以上。此外，與LSTM相比，VB-LSTM在驗(yàn)證期也表現(xiàn)出更高的預(yù)報(bào)精度。

參考文獻(xiàn)：

［1］SHEN C P，LALOY E，ELSHORBAGY A，et al.HESS opinions：incubating deep-learning-powered hydrologic science advances as a community［J］.Hydrology and Earth System Sciences，2018，22（11）：5639-5656.

［2］鮑振鑫，張建云，王國(guó)慶，等.基于水文模型與機(jī)器學(xué)習(xí)集合模擬的水沙變異歸因定量識(shí)別：以黃河中游窟野河流域?yàn)槔跩］.水科學(xué)進(jìn)展，2021，32（4）：485-496.（BAO Z X，ZHANG J Y，WANG G Q，et al.Quantitative assessment of the attribution of runoff and sediment changes based on hydrologic model and machine learning：a case study of the Kuye River in the Middle Yellow River basin［J］.Advances in Water Science，2021，32（4）：485-496.（in Chinese））

［3］周研來(lái)，郭生練，張斐章，等.人工智能在水文預(yù)報(bào)中的應(yīng)用研究［J］.水資源研究，2019，8（1）：1-12.（ZHOU Y L，GUO S L，ZHANG F Z，et al.Hydrological forecasting using artificial intelligence techniques［J］.Journal of Water Resources Research，2019，8（1）：1-12.（in Chinese））

［4］郭燕，賴(lài)錫軍.基于長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的鄱陽(yáng)湖水位預(yù)測(cè)［J］.湖泊科學(xué)，2020，32（3）：865-876.（GUO Y，LAI X J.Water level prediction of Lake Poyang based on long short-term memory neural network［J］.Journal of Lake Sciences，2020，32（3）：865-876.（in Chinese））

［5］KRATZERT F，KLOTZ D，BRENNER C，et al.Rainfall-runoff modelling using Long Short-Term Memory （LSTM） networks［J］.Hydrology and Earth System Sciences，2018，22（11）：6005-6022.

［6］JIANG S J，ZHENG Y，WANG C，et al.Uncovering flooding mechanisms across the contiguous United States through interpretive deep learning on representative catchments［J］.Water Resources Research，2022，58（1）：e2021WR030185.

［7］梁忠民，蔣曉蕾，錢(qián)名開(kāi)，等.考慮誤差異分布的洪水概率預(yù)報(bào)方法研究［J］.水力發(fā)電學(xué)報(bào)，2017，36（4）：18-25.（LIANG Z M，JIANG X L，QIAN M K，et al.Probabilistic flood forecasting considering heterogeneity of error distributions［J］.Journal of Hydroelectric Engineering，2017，36（4）：18-25.（in Chinese））

［8］RAZAVI S.Deep learning，explained：fundamentals，explainability，and bridgeability to process-based modelling［J］.Environmental Modelling & Software，2021，144：105159.

［9］劉章君，郭生練，許新發(fā)，等.貝葉斯概率水文預(yù)報(bào)研究進(jìn)展與展望［J］.水利學(xué)報(bào)，2019，50（12）：1467-1478.（LIU Z J，GUO S L，XU X F，et al.Bayesian probabilistic hydrological forecasting：progress and prospects［J］.Journal of Hydraulic Engineering，2019，50（12）：1467-1478.（in Chinese））

［10］梁忠民，戴榮，李彬權(quán).基于貝葉斯理論的水文不確定性分析研究進(jìn)展［J］.水科學(xué)進(jìn)展，2010，21（2）：274-281.（LIANG Z M，DAI R，LI B Q.A review of hydrological uncertainty analysis based on Bayesian theory［J］.Advances in Water Science，2010，21（2）：274-281.（in Chinese））

［11］VRUGT J A，LALOY E.Reply to comment by Chu et al.on “High-dimensional posterior exploration of hydrologic models using multiple-try DREAM （ZS） and high-performance computing”［J］.Water Resources Research，2014，50（3）：2781-2786.

［12］FANG K，KIFER D，LAWSON K，et al.Evaluating the potential and challenges of an uncertainty quantification method for long short-term memory models for soil moisture predictions［J］.Water Resources Research，2020，56（12）：e2020WR028095.

［13］HRON J，MATTHEWS A G D G，GHAHRAMANI Z.Variational Gaussian dropout is not Bayesian［EB/OL］.2017：arXiv.：1711.02989.https：∥arxiv.org/abs/1711.02989.

［14］JORDAN M I，GHAHRAMANI Z，JAAKKOLA T S，et al.An introduction to variational methods for graphical models［J］.Machine Language，1999，37（2）：183-233.

［15］RANGANATH R，GERRISH S，BLEI D M.Black box variational inference［J］.Journal of Machine Learning Research，2014，33：814-822.

［16］茍嬌嬌，繆馳遠(yuǎn)，徐宗學(xué)，等.大尺度水文模型參數(shù)不確定性分析的挑戰(zhàn)與綜合研究框架［J］.水科學(xué)進(jìn)展，2022，33（2）：327-335.（GOU J J，MIAO C Y，XU Z X，et al.Parameter uncertainty analysis for large-scale hydrological model：challenges and comprehensive study framework［J］.Advances in Water Science，2022，33（2）：327-335.（in Chinese））

［17］BLEI D M，KUCUKELBIR A，MCAULIFFE J D.Variational inference：a review for statisticians［J］.Journal of the American Statistical Association，2017，112（518）：859-877.

［18］van de SCHOOT R，DEPAOLI S，KING R，et al.Bayesian statistics and modelling［J］.Nature Reviews Methods Primers，2021，1：1.

［19］HOCHREITER S，SCHMIDHUBER J.Long short-term memory［J］.Neural Computation，1997，9（8）：1735-1780.

［20］WU X，MARSHALL L，SHARMA A.The influence of data transformations in simulating total suspended solids using Bayesian inference［J］.Environmental Modelling & Software，2019，121：104493.

［21］LI D Y，LIANG Z M，LI B Q，et al.Multi-objective calibration of MIKE SHE with SMAP soil moisture datasets［J］.Hydrology Research，2019，50（2）：644-654.

Probabilistic hydrological forecasting based on variational Bayesian deep learning

The study is financially supported by the National Natural Science Foundation of China（No.41730750;No.41877147）.

LI Dayang¹，YAO Yi²，LIANG Zhongmin³，ZHOU Yan⁴，LI Binquan^3，5

（1. College of Civil Engineering，Yancheng Institute of Technology，Yancheng 224051，China;

2. State Key Laboratory of Hydrology and Water Resources and Hydraulic Engineering Science，Nanjing Hydraulic Research Institute，Nanjing 210029，China;3. College of Hydrology and Water Resources，Hohai University，Nanjing 210098，China;4. Jiangsu Provincial key Laboratory of Coastal Wetland Bioresources and Environmental Protection，Yancheng Teachers University，Yancheng 224007，China;5. Cooperative Innovation Center for Water Safety & Hydro Science，Nanjing 210024，China）

Abstract：The field of deep learning research in hydrology primarily aims to enhance prediction capabilities.However，the intricate structure of deep learning models often leads to predictions that are difficult to explain and trust，making the development of trustworthy deep learning models a challenging and increasingly important topic.In this paper，we present a novel hybrid model that combines the strengths of deep learning and physical-based hydrological models to improve predictions in hydrology.Utilizing a framework of a residual error model，our approach develops a VB-LSTM （variational Bayesian deep learning model） to quantify hydrological uncertainty and enhance predictive reliability.We applied our model to predict streamflow in the source area of the Yellow River from 1961 to 2015，and the results demonstrate its superiority over traditional methods.Compared to long-short term memory networks （LSTM），the VB-LSTM model achieved stable performance and higher predictive accuracy in the validation period.Additionally，it outperforms the traditional probabilistic hydrological post-processing method that relies on a “l(fā)inear-normal” assumption，by providing higher predictive accuracy and reliability，and reducing predictive uncertainty.

Key words：probabilistic hydrological forecasting;deep learning;variational Bayes;long short-term memory;hybrid model