孫 銘,魏守科,2,3,王瑩潔,趙金東,袁梅雪

1(煙臺(tái)大學(xué) 計(jì)算機(jī)與控制工程學(xué)院,煙臺(tái) 264005)

2(山東琢瑜清泉智能軟件科技有限公司,煙臺(tái) 264005)

3(北京迪普迅智能信息技術(shù)有限公司,北京 100089)

水是人類和其它生命體賴以生存的重要資源,由于過去工業(yè)廢水和生活污水未經(jīng)處理而排放到水體,導(dǎo)致河流湖泊水體的嚴(yán)重污染,從而嚴(yán)重破壞了水體的生態(tài)環(huán)境、生物多樣性及其生態(tài)功能和服務(wù)功能[1].據(jù)相關(guān)研究,全世界只有小部分河流沒有受到水污染影響[2,3],在一些發(fā)展中國(guó)家,水污染是導(dǎo)致疾病和死亡的主要原因之一[4],僅在中國(guó)范圍內(nèi),每年因水污染導(dǎo)致約1.9 億人次患病,其中6 萬人死于肝癌、胃癌等疾病[5],有數(shù)據(jù)統(tǒng)計(jì),自1980年以來太湖水域頻繁發(fā)生藻華,導(dǎo)致長(zhǎng)江三角洲地區(qū)約41 種魚類、65 種浮游動(dòng)物和16 種大型植物消失[6].因此,建立準(zhǔn)確有效的水質(zhì)預(yù)測(cè)模型,意義重大.

目前,對(duì)于水質(zhì)的模擬預(yù)測(cè)方法主要有灰色動(dòng)態(tài)模型群,混沌理論,小波神經(jīng)網(wǎng)絡(luò)和BP 人工神經(jīng)網(wǎng)絡(luò)等.如：李如忠等[7]利用灰色系統(tǒng)理論構(gòu)建了一個(gè)由6 個(gè)灰色模型組成的灰色動(dòng)態(tài)模型群,并且利用該模型對(duì)水體中的氨氮濃度進(jìn)行預(yù)測(cè),最終結(jié)果取這6 個(gè)GM 模型的平均值,消除了GM 模型本身的不穩(wěn)定性,取得了不錯(cuò)的預(yù)測(cè)效果；徐敏等[8]利用混沌理論和相空間重構(gòu)思想對(duì)于水體中溶氧量進(jìn)行了分析,結(jié)果表明水質(zhì)具有混沌性,看似水質(zhì)變化是無規(guī)律的,但其在短期內(nèi)具有一定的內(nèi)在規(guī)律可以探尋和預(yù)測(cè),利用混沌相空間模型對(duì)水質(zhì)進(jìn)行了短期預(yù)測(cè),也取得了一定的成果；陳建秋等[9]使用小波神經(jīng)網(wǎng)絡(luò)來對(duì)水質(zhì)進(jìn)行長(zhǎng)期預(yù)測(cè),預(yù)測(cè)精度較高,證明了其方法的可行性；RI 和侯德剛等[10]提出BP 神經(jīng)網(wǎng)絡(luò)對(duì)水質(zhì)進(jìn)行預(yù)測(cè),其中化學(xué)需氧量(COD)、pH 值等數(shù)值較接近真實(shí)值,其他指標(biāo)的預(yù)測(cè)值的誤差也與真實(shí)值相差不大,取得了非常好的預(yù)測(cè)效果.

水質(zhì)數(shù)據(jù)通常是按照時(shí)間先后順序排列的,較前述文獻(xiàn)模擬預(yù)測(cè)方法,循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)更加適合處理這種時(shí)間序列數(shù)據(jù).如：Jia 等[11]使用RNN 對(duì)湖泊溫度和水質(zhì)數(shù)據(jù)進(jìn)行建模,通過與ANN 模型對(duì)比證明RNN 對(duì)時(shí)間序列數(shù)據(jù)預(yù)測(cè)具有更高的精度和準(zhǔn)確性；Kumar 等[12]對(duì)河流月流量數(shù)據(jù)進(jìn)行預(yù)測(cè)研究,將RNN 與前饋神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)比試驗(yàn),結(jié)果表明RNN 能夠以更少的時(shí)間代價(jià)取得更好的預(yù)測(cè)效果.然而,RNN 網(wǎng)絡(luò)模型存在梯度彌散、梯度爆炸以及對(duì)序列數(shù)據(jù)中長(zhǎng)距離依賴信息能力差的問題[13],而LSTM 拓展了RNN 能夠更好地解決上述問題,有效地提高了預(yù)測(cè)準(zhǔn)確度.LSTM 也在許多領(lǐng)域都取得了不錯(cuò)的進(jìn)展,比如在自然語言處理方面,胡新辰[14]利用LSTM 解決語義關(guān)系分類問題取得了重要成果；在股票運(yùn)作方面,孫瑞奇[15]基于LSTM 并利用擬牛頓法原理改變網(wǎng)絡(luò)模型的學(xué)習(xí)速率,證明了LSTM 能夠很好地預(yù)測(cè)股市的變化；在空氣質(zhì)量預(yù)測(cè)方面,張冬雯等[16]利用LSTM 更精確地對(duì)Delhi 和Houston 兩地的空氣質(zhì)量AQI 指數(shù)做出了預(yù)測(cè)；在降雨徑流量預(yù)測(cè)方面,Hu 等[17]通過對(duì)比ANN 和LSTM兩種模型的預(yù)測(cè)結(jié)果,表明LSTM 模型具有更好的仿真性和更高的智能性.上述多個(gè)研究都表明LSTM 對(duì)時(shí)間序列數(shù)據(jù)的預(yù)測(cè)方面具有得天獨(dú)厚的優(yōu)勢(shì).然而,利用LSTM 對(duì)水質(zhì)時(shí)間序列進(jìn)行預(yù)測(cè)的文獻(xiàn)資料相對(duì)較少.如：劉晶晶等[18]采用K-Similarity 方法對(duì)地表水水質(zhì)數(shù)據(jù)進(jìn)行降噪,利用LSTM 神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)降噪后水質(zhì)數(shù)據(jù)變化,研究表明相較于BP 神經(jīng)網(wǎng)絡(luò)和RNN,LSTM 對(duì)水質(zhì)序列數(shù)據(jù)有更好的預(yù)測(cè)能力；Hu 等[19]和Liu 等[20]使用LSTM 分別研究了海產(chǎn)養(yǎng)殖區(qū)的海水水質(zhì)和揚(yáng)子江水源地的飲用水水質(zhì),他們實(shí)驗(yàn)結(jié)果都表明LSTM 能夠更準(zhǔn)確地反映水質(zhì)變化的發(fā)展趨勢(shì),證明了LSTM 預(yù)測(cè)水質(zhì)的可行性和有效性.但是,傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模擬預(yù)測(cè)方法對(duì)于序列波動(dòng)變化較大并存在長(zhǎng)期趨勢(shì)的時(shí)間序列,其預(yù)測(cè)結(jié)果并不理想[21,22].本文提出基于小波分解的LSTM 時(shí)間序列模擬預(yù)測(cè)方法(W-LSTM),運(yùn)用小波將水質(zhì)數(shù)據(jù)分解為高頻和低頻信號(hào),作為L(zhǎng)STM模型的輸入,來訓(xùn)練模型預(yù)測(cè)水質(zhì)數(shù)據(jù).同時(shí),將模型預(yù)測(cè)結(jié)果與傳統(tǒng)LSTM 神經(jīng)網(wǎng)絡(luò)的結(jié)果進(jìn)行對(duì)比,驗(yàn)證該方法的有效性.

1 W-LSTM 算法原理

1.1 小波變換原理

傅里葉變換是信號(hào)處理領(lǐng)域應(yīng)用極廣的一種分析手段,它可以將時(shí)域信號(hào)轉(zhuǎn)換成頻域信號(hào),但是傅里葉變換在時(shí)域中沒有辨別能力[23].小波變換正是針對(duì)傅里葉變換的不足之處發(fā)展而來,利用小波和一族帶通濾波器對(duì)原時(shí)域函數(shù)進(jìn)行分解,將信號(hào)分解為二維的時(shí)頻信息,極大地增強(qiáng)了局部信號(hào)的表現(xiàn)能力,提高了模型的抗噪性[24].

小波變換是一種數(shù)據(jù)分解、重構(gòu)方法,該方法首先分別利用低通濾波器和高通濾波器將原始數(shù)據(jù)分解成低頻小波系數(shù)cAn和高頻小波系數(shù)cD1,···,cDn.其中,低頻小波系數(shù)還可以再做進(jìn)一步的分解,此過程可以迭代數(shù)次,直至達(dá)到最大分解次數(shù).

小波變換可以分為連續(xù)小波變換(CWT)和離散小波變換(DWT).為了提高連續(xù)小波變換處理復(fù)雜問題的能力,CWT 對(duì)基小波ψ (t)進(jìn)行改造,如下式：

其中,a為伸縮因子(a>0),b為平移因子(b∈R),通過調(diào)整a和b的值來夠控制小波變換的尺度,從而達(dá)到高頻處時(shí)間細(xì)分,低頻處頻率細(xì)分,實(shí)現(xiàn)自適應(yīng)時(shí)頻信號(hào)分析的要求[25].

連續(xù)小波變換公式如下：

其中,Wf(a,b)表示連續(xù)小波系數(shù),f(t)表示原始數(shù)據(jù),表示ψab(t)的共軛函數(shù).

然而,連續(xù)小波變換會(huì)計(jì)算所有尺度上的小波系數(shù),這一耗時(shí)的過程也會(huì)產(chǎn)生許多冗余數(shù)據(jù).因此,在實(shí)際過程中通常使用離散小波變換.離散小波變換是對(duì)連續(xù)小波變換在尺度和位移上按照2 的冪次進(jìn)行離散化所得.將 ψab(t)函數(shù)中a和b的計(jì)算方法如式(3)所示：

其中,a0>0,b0∈R,?j,k=0,1,2,···,m∈Z,則函數(shù)ψjk(t)的計(jì)算方法如式(4)所示：

離散小波變換公式如下：

其中,W f(j,k)表示離散小波系數(shù),f(t)表示原始數(shù)據(jù),表示ψjk(t)的共軛函數(shù).

將原始數(shù)據(jù)進(jìn)行分解之后,再分別對(duì)低頻小波系數(shù)和高頻小波系數(shù)進(jìn)行重構(gòu).低頻小波系數(shù)和高頻小波系數(shù)重構(gòu)后得到低頻信號(hào)rAn和高頻信號(hào)rD1,···,rDn.其中,低頻信號(hào)表示逼近信息,高頻信號(hào)表示細(xì)節(jié)信息.

最后,將所有低頻信號(hào)和高頻信號(hào)相加實(shí)現(xiàn)數(shù)據(jù)還原.重構(gòu)與還原公式如下：

其中,f(t)表示還原之后的數(shù)據(jù),l(ψik(t))表示低通濾波器,h(ψik(t))表示高通濾波器.

1.2 LSTM 原理

RNN 擅長(zhǎng)處理以時(shí)間序列數(shù)據(jù)作為輸入的預(yù)測(cè)問題,其原因在于RNN 的網(wǎng)絡(luò)結(jié)構(gòu)可以處理時(shí)間序列數(shù)據(jù)之間的相關(guān)性.RNN 結(jié)構(gòu)如圖1所示.

圖1 RNN 原理結(jié)構(gòu)圖

圖1(a)為RNN 的基本結(jié)構(gòu)圖,包括輸入層x、隱藏層h、輸出層o,在隱藏層h上有一個(gè)循環(huán)操作,同時(shí)RNN 在所有時(shí)刻的線性關(guān)系參數(shù)U、W、V都是共享的,極大地減少了參數(shù)訓(xùn)練量.圖1(b)為RNN 展開結(jié)構(gòu)圖,可以看到RNN 通過權(quán)值W實(shí)現(xiàn)隱藏層之間的依賴關(guān)系.

然而,在實(shí)際使用時(shí)發(fā)現(xiàn)RNN 存在諸如梯度消失、梯度爆炸以及長(zhǎng)距離依賴信息能力差等問題,為了解決這些問題,引入了LSTM.LSTM 在主體結(jié)構(gòu)上與RNN 類似,其主要的改進(jìn)是在隱藏層h中增加了3 個(gè)門控(gates)結(jié)構(gòu),分別是遺忘門(forget gate)、輸入門(input gate)、輸出門(output gate),同時(shí)新增了一個(gè)名為細(xì)胞狀態(tài)(cell state)的隱藏狀態(tài).

圖2展示了LSTM 隱藏層的內(nèi)部結(jié)構(gòu),其中f(t)、i(t)、o(t)分別表示t時(shí)刻遺忘門、輸入門、輸出門的值,a(t)表示t時(shí)刻對(duì)h(t-1)和x(t)的初步特征提取.

圖2 LSTM 隱藏層結(jié)構(gòu)原理

其中,xt表示t時(shí)刻的輸入,ht-1表示t-1 時(shí)刻的隱層狀態(tài)值,Wf、Wi、Wo和Wa分別表示遺忘門、輸入門、輸出門和特征提取過程中ht-1的權(quán)重系數(shù),Uf、Ui、Uo和Ua分別表示遺忘門、輸入門、輸出門和特征提取過程中xt的權(quán)重系數(shù),bf、bi、bo和ba分別表示遺忘門、輸入門、輸出門和特征提取過程中的偏置值,tanh 表示正切雙曲函數(shù),σ表示激活函數(shù)Sigmoid.

遺忘門和輸入門計(jì)算的結(jié)果作用于c(t-1),構(gòu)成t時(shí)刻的細(xì)胞狀態(tài)c(t).

其中,⊙為Hadamard 積[26,27].最終,t時(shí)刻的隱藏層狀態(tài)h(t)由輸出門o(t)和當(dāng)前時(shí)刻的細(xì)胞狀態(tài)c(t)求出.

2 W-LSTM 模型

2.1 W-LSTM 網(wǎng)絡(luò)模型

LSTM 神經(jīng)網(wǎng)絡(luò)對(duì)預(yù)測(cè)時(shí)間序列數(shù)據(jù)具有較強(qiáng)的優(yōu)勢(shì),但對(duì)于復(fù)雜度和變化頻率較高的數(shù)據(jù),單一LSTM預(yù)測(cè)方法很難獲取數(shù)據(jù)的變化規(guī)律,使得模擬和預(yù)測(cè)結(jié)果欠佳.而小波分解能將原始數(shù)據(jù)中不同頻段的信息進(jìn)行分解,極大地降低數(shù)據(jù)復(fù)雜度,再分別對(duì)這些數(shù)據(jù)進(jìn)行預(yù)測(cè)從而提高預(yù)測(cè)精度.本文將上述兩種方法結(jié)合提出基于小波分解的LSTM 時(shí)間序列預(yù)測(cè)模型(W-LSTM).其訓(xùn)練、預(yù)測(cè)流程如圖3所示.步驟如下：

(1)對(duì)采集到的水質(zhì)指標(biāo)數(shù)據(jù)使用均值平滑法降噪,然后歸一化.

(2)4 項(xiàng)樣本數(shù)據(jù)統(tǒng)一劃分為前435 組作為訓(xùn)練數(shù)據(jù),后45 組作為測(cè)試數(shù)據(jù).

(3)使用訓(xùn)練數(shù)據(jù)作為樣本輸入用于訓(xùn)練W-LSTM神經(jīng)網(wǎng)絡(luò)模型,對(duì)模型進(jìn)行如下兩步操作：

① 選取“db5”作為基小波,并對(duì)數(shù)據(jù)進(jìn)行3 階小波分解,獲取低頻信號(hào)rA3和高頻信號(hào)rD1、rD2、rD3.

② 使用LSTM 分別對(duì)rA3、rD1、rD2、rD3進(jìn)行預(yù)測(cè).

不斷調(diào)整參數(shù),直到獲取目標(biāo)loss 或者達(dá)到最大訓(xùn)練次數(shù).最終生成W-LSTM 神經(jīng)網(wǎng)絡(luò)模型.

(4)使用測(cè)試數(shù)據(jù)作為W-LSTM 模型輸入樣本,輸出模型預(yù)測(cè)準(zhǔn)確度并與對(duì)比試驗(yàn)?zāi)Ｐ瓦M(jìn)行誤差比較.

圖3 基于W-LSTM 模型的水質(zhì)預(yù)測(cè)流程圖

2.2 數(shù)據(jù)樣本

本文以安徽阜南王家壩水庫(kù)的水質(zhì)數(shù)據(jù)作為研究對(duì)象,該水庫(kù)位于安徽省阜陽(yáng)市阜南縣王家壩國(guó)家濕地公園,濕地占地面積約為6761.71 公頃,作為當(dāng)?shù)厥忻裰饕墓┧畮?kù),其水質(zhì)健康顯得十分必要.根據(jù)國(guó)家地表水質(zhì)環(huán)境質(zhì)量標(biāo)準(zhǔn)[28],選取pH 值、溶解氧含量(DO)、高錳酸鹽指數(shù)(CODMn) 和氨氮含量(NH3N)指標(biāo)作為實(shí)驗(yàn)數(shù)據(jù).所有指標(biāo)數(shù)據(jù)的采集時(shí)間均為2018年03月01日到2019年06月23日,每24 小時(shí)采集一次,數(shù)據(jù)一共480 組,取前435 組作為訓(xùn)練數(shù)據(jù),后45 組數(shù)據(jù)作為測(cè)試數(shù)據(jù).

對(duì)數(shù)據(jù)樣本簡(jiǎn)單分析,查看是否有缺失值、異常值等情況,如表1所示.

表1 數(shù)據(jù)樣本統(tǒng)計(jì)分析 (DO 值、CODMn 值和NH3N 值的單位為：mg/L)

2.3 數(shù)據(jù)預(yù)處理

2.3.1 數(shù)據(jù)清洗

在數(shù)據(jù)采集和測(cè)量的過程中由于儀器設(shè)備故障、不當(dāng)?shù)娜藶椴僮饕约捌渌豢煽匾蛩氐母蓴_,采集到的數(shù)據(jù)不可避免的會(huì)導(dǎo)致一些數(shù)據(jù)丟失和數(shù)據(jù)錄入失真的情況,如果直接使用這些含有噪聲的數(shù)據(jù)開展實(shí)驗(yàn)研究,不僅耗費(fèi)人力物力資源,還會(huì)產(chǎn)生不準(zhǔn)確的實(shí)驗(yàn)結(jié)論,從而誤導(dǎo)日后的研究工作.因此,在實(shí)驗(yàn)開始之前,首先要對(duì)數(shù)據(jù)進(jìn)行清洗.觀察實(shí)驗(yàn)數(shù)據(jù)和表1后發(fā)現(xiàn)僅存在幾處數(shù)據(jù)缺失的情況,正常錄入的數(shù)據(jù)沒有發(fā)現(xiàn)明顯噪聲.采用均值平滑法將數(shù)據(jù)缺失部分的數(shù)據(jù)補(bǔ)充完整.均值平滑法是利用缺失數(shù)據(jù)左右相鄰兩處的數(shù)據(jù),取平均值來替代缺失數(shù)據(jù),如式(15)所示：

其中,xa為a時(shí)刻的缺失數(shù)據(jù),xa-1為a-1 時(shí)刻的正常數(shù)據(jù),xa+1為a+1 時(shí)刻的正常數(shù)據(jù).

2.3.2 數(shù)據(jù)歸一化

為了加快模型的收斂速度同時(shí)提升模型的預(yù)測(cè)精度,需要對(duì)數(shù)據(jù)進(jìn)行歸一化處理,將數(shù)據(jù)轉(zhuǎn)換成[0,1]之間的數(shù)值.本文使用max-min 歸一化方法,其計(jì)算方法如式(16)所示：

其中,xnorm表示歸一化之后的數(shù)據(jù),x表示未歸一化的數(shù)據(jù),xmax、xmin分別表示所有數(shù)據(jù)中的最大值和最小值.

2.4 離散小波變換流程

使用離散小波分解數(shù)據(jù)時(shí)應(yīng)注意兩點(diǎn).第一、需要確定基小波的種類.常用的基小波有Haar 小波、db 小波、sym 小波、bior 小波、coif 小波、Morlet 小波、mexicanHat 小波以及Meyer 小波.他們都是一個(gè)小波族,每個(gè)小波族中包含眾多具體的小波.最佳小波的選擇沒有明確的標(biāo)準(zhǔn),但實(shí)際上無論選哪種小波作為基小波差別也不很大.本文選擇Daubechies5 (db5)作為基小波(db5 是db 小波族中常用的小波之一,如圖4所示),原因是db5 更適用于分解比較平滑的數(shù)據(jù)集,而我們采集的水質(zhì)數(shù)據(jù)整體上比較平滑.第二,需要確定分解層數(shù),利用式(17)[29]可以計(jì)算出數(shù)據(jù)的最大分解層數(shù)為5 層,但是根據(jù)經(jīng)驗(yàn)選最大分解層數(shù)的一半即可,所以最終確定分解層數(shù)為3 層.

圖4 db 小波示意圖

其中,lw表示小波分解低通濾波器的長(zhǎng)度,nd表示數(shù)據(jù)長(zhǎng)度.

2.5 模型評(píng)估

本文選擇4 種評(píng)價(jià)指標(biāo)作為判斷模型預(yù)測(cè)效果優(yōu)劣的依據(jù),其分別是均方誤差(Mean Squared Error,MSE)、均方根誤差(Root Mean Squared Error,RMSE)、平均絕對(duì)誤差(Mean Absolute Error,MAE)和平均百分比誤差(Mean Absolute Percentage Error,MAPE),其計(jì)算方法如式(18)～式(21)所示.

其中,N表示總數(shù)據(jù)量,yt表示真實(shí)值,表示預(yù)測(cè)值.

3 實(shí)驗(yàn)結(jié)果分析

3.1 實(shí)驗(yàn)平臺(tái)與環(huán)境

實(shí)驗(yàn)所使用的計(jì)算機(jī)配置如下：處理器為英特爾Core i5-8250U,CPU 頻率為1.8 GHz,內(nèi)存為8 GB,操作系統(tǒng)為Windows 10 (64 位)；程序設(shè)計(jì)語言為Python 3.7,數(shù)值計(jì)算、分析庫(kù)為Numpy 1.17.1,Pandas 0.25.2,機(jī)器學(xué)習(xí)庫(kù)為Tensorflow 1.14.0,數(shù)據(jù)可視化庫(kù)為Matplotlib 3.1.1；集成開發(fā)環(huán)境為PyCharm Community Edition 2018.3.1.

3.2 結(jié)果分析

為了更好地驗(yàn)證所提出模型的精確性,選取傳統(tǒng)的LSTM 神經(jīng)網(wǎng)絡(luò)與該模型對(duì)比實(shí)驗(yàn).兩種模型均在相同的實(shí)驗(yàn)平臺(tái)和環(huán)境下進(jìn)行.均采用自適應(yīng)矩估計(jì)(adaptive moment estimation)進(jìn)行優(yōu)化,損失函數(shù)選擇MSE、RMSE、MAE、MAPE4 種方式進(jìn)行評(píng)價(jià).為盡量避免實(shí)驗(yàn)中產(chǎn)生偶然因素,每組實(shí)驗(yàn)各進(jìn)行10 次.3.2.1 小波分解

以pH 數(shù)據(jù)為例直觀展示3 階小波分解的結(jié)果,如圖5所示.

圖5 pH 數(shù)據(jù)的原始值及其3 階小波分解得到的低頻數(shù)據(jù)rA3 和高頻數(shù)據(jù)rD1、rD2、rD3

然而,將經(jīng)過小波重構(gòu)之后各個(gè)頻段的數(shù)據(jù)信號(hào)相加還原,這一過程與原數(shù)據(jù)確實(shí)存在一定的誤差.表2展示了本次實(shí)驗(yàn)中4 項(xiàng)指標(biāo)重構(gòu)后與原始數(shù)據(jù)的誤差值.可發(fā)現(xiàn)其最大誤差為6.70e-16,最小的誤差為8.33e-17,此誤差值對(duì)實(shí)驗(yàn)結(jié)果影響非常小,可以忽略不計(jì).

表2 還原數(shù)據(jù)與原始數(shù)據(jù)的誤差值

3.2.2 訓(xùn)練結(jié)果

本文中W-LSTM 模型和LSTM 模型的調(diào)節(jié)參數(shù)包括batch_size(批量大小),window_size(窗口大小),num_units(節(jié)點(diǎn)數(shù)量),Learning_rate(學(xué)習(xí)率),steps(訓(xùn)練步長(zhǎng)).在保證網(wǎng)絡(luò)快速收斂的同時(shí)又具有較高的預(yù)測(cè)精度,經(jīng)過多次實(shí)驗(yàn)測(cè)試與參數(shù)調(diào)整,模型達(dá)到最優(yōu)結(jié)果.表3展示了實(shí)驗(yàn)相關(guān)參數(shù)的最終配置結(jié)果.

表3 W-LSTM 和LSTM 的網(wǎng)絡(luò)參數(shù)以及收斂速度

實(shí)驗(yàn)中反映W-LSTM 和傳統(tǒng)LSTM 兩種模型訓(xùn)練擬合情況的各項(xiàng)評(píng)估指標(biāo)值記錄在表4中.結(jié)果顯示兩種模型對(duì)pH 的擬合情況基本一致,且相較于其他3 項(xiàng)實(shí)驗(yàn)參數(shù)擬合精度最高,MSE均低于0.0008,這與pH 數(shù)據(jù)的值域變化較小有關(guān)；而DO、CODMn 和NH3N 傳統(tǒng)LSTM 模型訓(xùn)練擬合結(jié)果卻都略優(yōu)于WLSTM,3 項(xiàng)參數(shù)在MSE 上分別減小了0.0066、0.0073和0.002,究其原因,不難發(fā)現(xiàn)W-LSTM 模型將原數(shù)據(jù)分解為低頻rA3和高頻rD1、rD2、rD34 項(xiàng)值,并對(duì)它們分別擬合,擬合過程的增多不可避免地會(huì)增大誤差,最終導(dǎo)致同樣量級(jí)的訓(xùn)練過程會(huì)呈現(xiàn)不同的擬合效果,同樣地,擬合過程增多會(huì)降低模型訓(xùn)練收斂的速度,其所耗時(shí)間必定高于傳統(tǒng)LSTM 模型.表3結(jié)果顯示W(wǎng)LSTM 經(jīng)過4 個(gè)模型訓(xùn)練過程,總收斂時(shí)間比傳統(tǒng)LSTM模型耗時(shí)多約100 s.

為了更加直觀的表現(xiàn)各項(xiàng)數(shù)據(jù)的擬合情況,將WLSTM 與傳統(tǒng)LSTM 的擬合情況進(jìn)行對(duì)比如圖6所示.從圖中可以觀察到兩種模型都充分學(xué)習(xí)了訓(xùn)練數(shù)據(jù)的特性,擬合情況良好,并且沒有過擬合的情況發(fā)生,能夠達(dá)到訓(xùn)練要求,證明實(shí)驗(yàn)的有效性.

表4 4 項(xiàng)指標(biāo)W-LSTM 和LSTM 模擬訓(xùn)練擬合精度評(píng)估結(jié)果

圖6 W-LSTM 和LSTM 模型4 項(xiàng)指標(biāo)訓(xùn)練結(jié)果對(duì)比圖

3.2.3 測(cè)試結(jié)果

本文的實(shí)驗(yàn)數(shù)據(jù)其最大頻率為240 Hz,對(duì)其做3 階DWT,則rA3表示頻段小于30 Hz 的分量數(shù)據(jù),rD3、rD2和rD1分別表示頻段30～60 Hz、60～120 Hz、120～240 Hz的分量數(shù)據(jù).理論上相較于原始數(shù)據(jù),分量數(shù)據(jù)的復(fù)雜度更低,所以對(duì)分量數(shù)據(jù)進(jìn)行預(yù)測(cè)的準(zhǔn)確度也更高,通過分量數(shù)據(jù)獲得的全頻率上的預(yù)測(cè)結(jié)果準(zhǔn)確度也更高.其中,高頻數(shù)據(jù)來自原始數(shù)據(jù)變化較快的部分,反映信號(hào)細(xì)節(jié)變化特征,低頻數(shù)據(jù)來自原始數(shù)據(jù)變化較慢的部分,低頻信號(hào)比較平滑,反映信號(hào)的變化趨勢(shì).

表5為W-LSTM 和傳統(tǒng)LSTM 模型在10 次預(yù)測(cè)中各項(xiàng)指標(biāo)的均值對(duì)比情況.

從表5中可以明顯看出,W-LSTM 模型在水質(zhì)時(shí)間序列指標(biāo)數(shù)據(jù)預(yù)測(cè)方面優(yōu)于傳統(tǒng)LSTM 模型.在MSE、RMSE、MAE和MAPE4 項(xiàng)評(píng)估指標(biāo)中,WLSTM 比傳統(tǒng)LSTM 的預(yù)測(cè)精度在pH 數(shù)據(jù)上分別提高了35.1%、18.9%、28.3%和28.3%；在DO 數(shù)據(jù)上分別提高了62.3%、35.0%、34.6% 和31.3%；在CODMn 數(shù)據(jù)上分別提高了27.9%、15.4%、17.6%和15.4%；在NH3N 數(shù)據(jù)上分別提高了53.8%、32.3%、35.8%和44.7%.究其原因小波變換能夠?qū)?shù)據(jù)的整體趨勢(shì)和細(xì)節(jié)信息的分層把握能力,加上LSTM 模擬預(yù)測(cè)時(shí)間序列數(shù)據(jù)上的優(yōu)勢(shì),保證了W-LSTM 不僅能夠更清晰的了解數(shù)據(jù)的整體走勢(shì),還能更精確的預(yù)測(cè)數(shù)據(jù)的細(xì)節(jié)變化.這為W-LSTM 在時(shí)間序列數(shù)據(jù)預(yù)測(cè)方面提供了更強(qiáng)的能力,而且其效果更優(yōu)于傳統(tǒng)LSTM.觀察表5中W-LSTM 模型的預(yù)測(cè)情況不難發(fā)現(xiàn),在多項(xiàng)指標(biāo)上pH 和NH3N 的結(jié)果精度較高,而DO 和CODMn 的結(jié)果精度相對(duì)較低.其主要原因是pH 和NH3N 數(shù)據(jù)的標(biāo)準(zhǔn)差較小(表1),數(shù)據(jù)離散程度較低,所以期望獲得的預(yù)測(cè)精度越高；而DO 和CODMn數(shù)據(jù)的標(biāo)準(zhǔn)差相對(duì)較大(表1),數(shù)據(jù)離散程度相對(duì)較高,致使期望獲得的預(yù)測(cè)精度稍有遜色.

表5 W-LSTM 模型和傳統(tǒng)LSTM 模型在3 次預(yù)測(cè)中各項(xiàng)評(píng)估指標(biāo)均值結(jié)果

圖7進(jìn)一步展示了W-LSTM 和傳統(tǒng)LSTM 模型對(duì)pH、DO、CODMn 和NH3N 4 項(xiàng)水質(zhì)指標(biāo)的預(yù)測(cè)對(duì)比結(jié)果,可以看出W-LSTM 相較于傳統(tǒng)LSTM 模型的預(yù)測(cè)情況,在總體趨勢(shì)上與原數(shù)據(jù)更為一致,同時(shí)對(duì)某些細(xì)節(jié)信息例如峰值處也有更加精確的預(yù)測(cè)表現(xiàn).

圖7 W-LSTM 和LSTM 模型4 項(xiàng)指標(biāo)預(yù)測(cè)結(jié)果對(duì)比圖

4 結(jié)論

本文提出了基于小波分解的LSTM 時(shí)間序列預(yù)測(cè)模型(W-LSTM),對(duì)水質(zhì)指標(biāo)數(shù)據(jù)進(jìn)行模擬預(yù)測(cè)實(shí)驗(yàn).結(jié)果發(fā)現(xiàn),使用db5 小波對(duì)水質(zhì)數(shù)據(jù)進(jìn)行分解與重構(gòu)過程的誤差非常小,表明離散小波變換具有完全重現(xiàn)原始數(shù)據(jù)的能力,保證實(shí)驗(yàn)的有效性.其次,傳統(tǒng)LSTM模型預(yù)測(cè)水質(zhì)數(shù)據(jù)的結(jié)果在整體趨勢(shì)上通常不能很好地表現(xiàn)出來,而W-LSTM 最大優(yōu)勢(shì)在于對(duì)整體趨勢(shì)的判斷以及對(duì)細(xì)節(jié)的把握,實(shí)現(xiàn)了對(duì)時(shí)間序列數(shù)據(jù)的精確預(yù)測(cè).最后,通過對(duì)低頻數(shù)據(jù)預(yù)測(cè)的觀察與分析還可以從宏觀上了解數(shù)據(jù)的未來走勢(shì),從而更好地指導(dǎo)工作展開.

以王家壩水庫(kù)水質(zhì)數(shù)據(jù)作為研究時(shí)間序列數(shù)據(jù)的切入點(diǎn),本文通過實(shí)驗(yàn)分析證明W-LSTM 能夠顯著提高水質(zhì)數(shù)據(jù)預(yù)測(cè)的精度.然而,試驗(yàn)僅運(yùn)用了一個(gè)水域的部分水質(zhì)數(shù)據(jù),研究結(jié)論是否具有通用性仍有待大量試驗(yàn)驗(yàn)證.因此,未來將W-LSTM 模型應(yīng)用于更多場(chǎng)景,以研究和驗(yàn)證此方法的通用型.