吳 婧,廖明潮

(武漢輕工大學(xué)數(shù)學(xué)與計(jì)算機(jī)學(xué)院,湖北 武漢 430000)

0 引言

隨著人類經(jīng)濟(jì)社會(huì)的發(fā)展,水污染問(wèn)題日益突出。城市化和工業(yè)化過(guò)程帶來(lái)了大量的廢水排放。這些廢水中含有大量的有機(jī)物、營(yíng)養(yǎng)物和有害物質(zhì)。廢水排入水體會(huì)導(dǎo)致地表水的惡化,對(duì)水生態(tài)系統(tǒng)以及人類的健康產(chǎn)生嚴(yán)重威脅。為了減輕水污染對(duì)生態(tài)環(huán)境的影響,各國(guó)政府和相關(guān)部門采取了一系列措施。措施之一就是建立污水處理廠,對(duì)污水進(jìn)行處理后再排放。因此,對(duì)污水處理廠出水水質(zhì)的監(jiān)測(cè)和預(yù)測(cè)變得尤為重要。

總氮是水質(zhì)指標(biāo)中的重要參數(shù)之一,對(duì)污染物的追蹤和評(píng)估具有重要作用。污水處理廠出水水質(zhì)中的總氮預(yù)測(cè)[1-2]是以出水的實(shí)測(cè)數(shù)據(jù)為基礎(chǔ),利用數(shù)學(xué)模型預(yù)測(cè)出水水質(zhì)中總氮的變化情況。近年來(lái),隨著人工智能技術(shù)的快速發(fā)展,深度學(xué)習(xí)在各領(lǐng)域的應(yīng)用越來(lái)越廣泛。許多經(jīng)典的算法被用于污水處理廠出水水質(zhì)的預(yù)測(cè)研究。其中,深度學(xué)習(xí)在時(shí)間序列預(yù)測(cè)中得到了廣泛的應(yīng)用。長(zhǎng)短期記憶[3](long short-term memory,LSTM)神經(jīng)網(wǎng)絡(luò)模型是循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)預(yù)測(cè)模型的一種改進(jìn)模型,具有強(qiáng)大的信息捕獲以及存儲(chǔ)能力,可以有效地捕捉長(zhǎng)序列之間的語(yǔ)義關(guān)聯(lián),同時(shí)能夠緩解梯度消失或梯度爆炸的問(wèn)題。門控循環(huán)單元(gate recurrent unit,GRU)模型是LSTM模型的變體。與LSTM相比,GRU因少1個(gè)門而參數(shù)更少,更加便于訓(xùn)練,并且可以防止出現(xiàn)過(guò)擬合的情況、節(jié)省訓(xùn)練時(shí)間。

然而,這些模型仍存在一些問(wèn)題,如對(duì)局部變化的捕捉不足等。相比之下,卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)預(yù)測(cè)模型可以更充分地提取數(shù)據(jù)中的有效信息,降低由參數(shù)帶來(lái)的預(yù)測(cè)誤差,從而提高預(yù)測(cè)精度。

本文提出了基于卷積注意-門控循環(huán)單元(convolutional attention-gate current unit,CA-GRU)網(wǎng)絡(luò)的混合模型,并以呼瑪縣某污水處理廠的實(shí)際監(jiān)測(cè)數(shù)據(jù)為樣本對(duì)模型進(jìn)行訓(xùn)練與驗(yàn)證,從而提升預(yù)測(cè)準(zhǔn)確度。驗(yàn)證結(jié)果證明了本文模型的有效性。該研究為污水處理廠出水水質(zhì)的監(jiān)測(cè)和預(yù)測(cè)提供了一種新的解決方案。

1 相關(guān)方法分析

1.1 GRU模型

GRU模型的結(jié)構(gòu)如圖1所示。

圖1 GRU模型結(jié)構(gòu)

GRU是1種常用于自然語(yǔ)言處理和序列數(shù)據(jù)處理的RNN模型。GRU能夠有效捕捉長(zhǎng)序列之間的語(yǔ)義關(guān)聯(lián),并且緩解梯度消失或爆炸現(xiàn)象。與LSTM相比,GRU的結(jié)構(gòu)和計(jì)算更為簡(jiǎn)單。GRU的核心結(jié)構(gòu)由更新門和重置門這2個(gè)部分組成。這2個(gè)門的作用是控制當(dāng)前時(shí)刻輸入和前一時(shí)刻輸出之間的權(quán)重,從而保留前一時(shí)刻的輸出特征。相比于LSTM,GRU參數(shù)更少、模型訓(xùn)練過(guò)程中迭代速度更快,因而更便于計(jì)算,可提高模型效率。

GRU的計(jì)算方式如下。

rt=σ(Wr[ht-1,xt])

(1)

式中:rt為重置門的輸出;xt為輸入序列的第t個(gè)元素;ht-1為GRU模型在第(t-1)個(gè)時(shí)間步的輸出;σ為Sigmoid函數(shù);Wr為待學(xué)習(xí)的權(quán)重矩陣。

zt=σ(Wz[ht-1,xt])

(2)

式中:zt為更新門的輸出;Wz為待學(xué)習(xí)的權(quán)重矩陣。

(3)

(4)

式中:ht為GRU模型在第t個(gè)時(shí)間步的輸出。

1.2 CNN模型

CNN是1種在圖像識(shí)別、自然語(yǔ)言處理等領(lǐng)域廣泛應(yīng)用的深度學(xué)習(xí)模型。CNN由多層神經(jīng)網(wǎng)絡(luò)組成,包括輸入層、卷積層、激活函數(shù)層、池化層和全連接層,用于進(jìn)行多層次的特征提取、篩選、網(wǎng)絡(luò)表達(dá)和分類。在CNN中,卷積層和池化層是關(guān)鍵組成部分。卷積層通過(guò)卷積運(yùn)算對(duì)輸入數(shù)據(jù)進(jìn)行局部特征提取,并利用卷積核與輸入數(shù)據(jù)進(jìn)行逐點(diǎn)相乘和求和,從而從輸入數(shù)據(jù)中提取出圖像的局部特征(如邊緣、紋理等)。池化層則用于對(duì)提取的特征進(jìn)行篩選和壓縮,以減少參數(shù)數(shù)量、降低計(jì)算復(fù)雜度,同時(shí)保留關(guān)鍵特征。激活函數(shù)層在CNN中起到增強(qiáng)網(wǎng)絡(luò)表達(dá)能力的作用。它通過(guò)引入非線性,使網(wǎng)絡(luò)能夠?qū)W習(xí)更復(fù)雜的特征表示,從而提高模型的表達(dá)能力和擬合能力。常用的激活函數(shù)有修正線性單元(rectified linear unit,ReLU)、Sigmoid和Tanh等。全連接層作為分類器,負(fù)責(zé)將經(jīng)過(guò)特征提取和網(wǎng)絡(luò)表達(dá)的特征映射到類別概率空間,從而進(jìn)行最終的分類決策。CNN模型的核心就是卷積運(yùn)算。卷積運(yùn)算是1種在不同函數(shù)之間加權(quán)平均的方法,用于提取輸入信號(hào)中的某些特征。

1.3 CA-GRU混合模型

CA-GRU混合模型以GRU模型為基礎(chǔ),將CNN添加注意力機(jī)制,從時(shí)間和空間維度上充分提取數(shù)據(jù)特征。由于采用數(shù)據(jù)集的參數(shù)較多,更需要注意各參數(shù)特征的相關(guān)性。因此,CA-GRU模型比其他傳統(tǒng)的模型獲取到的特征信息更加精確。這使得CA-GRU混合模型的預(yù)測(cè)結(jié)果更精確。

CA-GRU混合模型整體框架如圖2所示。

圖2 CA-GRU混合模型整體框架

卷積操作是1種重要的提取目標(biāo)特征的方法。注意力機(jī)制[4-5]可以對(duì)特征進(jìn)行校正,保留有價(jià)值的特征,并關(guān)注抓取的特征信息。滑動(dòng)窗口[6]是1種在時(shí)間序列分析中常用的技術(shù)。該技術(shù)以指定的步長(zhǎng)在時(shí)間序列上滑動(dòng)固定長(zhǎng)度的窗口,從而計(jì)算窗口內(nèi)數(shù)據(jù)的統(tǒng)計(jì)指標(biāo)。這種方法類似于在時(shí)間序列上移動(dòng)1個(gè)固定長(zhǎng)度的窗口,并在每個(gè)滑動(dòng)位置上進(jìn)行數(shù)據(jù)采樣。這樣可以對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行更加全面和精確的分析,從而獲得更具解釋性和預(yù)測(cè)性的結(jié)果,以達(dá)到提高數(shù)據(jù)準(zhǔn)確性的目的。批歸一化(batch normalization,BN)層可以加速網(wǎng)絡(luò)收斂速度,防止梯度爆炸、梯度消失和過(guò)擬合。ReLU在輸入為負(fù)值時(shí)會(huì)輸出0,導(dǎo)致梯度無(wú)法傳遞,從而使得神經(jīng)元無(wú)法更新權(quán)重。Leaky ReLU是在ReLU的基礎(chǔ)上引入了1個(gè)小的斜率,以解決ReLU在輸入負(fù)值時(shí)可能出現(xiàn)的“死亡神經(jīng)元”問(wèn)題。

2 CA-GRU模型構(gòu)建

本文對(duì)原始數(shù)據(jù)作預(yù)處理后,按時(shí)間滑動(dòng)窗口構(gòu)建連續(xù)特征圖,并以此作為CNN的輸入。通過(guò)調(diào)整數(shù)據(jù)維度,由CNN完成初步的特征提取。特征提取完成后通過(guò)降維,經(jīng)過(guò)注意力層和GRU層得到預(yù)測(cè)結(jié)果。初步特征的提取通過(guò)2層二維的CNN完成:第一層卷積層的卷積核設(shè)為(3,3)、步長(zhǎng)設(shè)為1、濾波器設(shè)為8;第二層卷積層進(jìn)行調(diào)整通道數(shù),通過(guò)壓縮操作將最后1個(gè)維度擠壓掉。在CNN完成初步的特征提取后,本文將提取到的特征傳入注意力機(jī)制與GRU組成的網(wǎng)絡(luò)中,以完成預(yù)測(cè)。

基于CA-GRU模型的算法步驟如下。

①對(duì)數(shù)據(jù)進(jìn)行預(yù)處理,包括填充缺失數(shù)據(jù)和數(shù)據(jù)標(biāo)準(zhǔn)化。對(duì)缺失數(shù)據(jù)可采取鄰近均值法實(shí)現(xiàn)填充。

②將數(shù)據(jù)集的75%劃分為訓(xùn)練集、10%劃分為驗(yàn)證集、15%劃分為測(cè)試集,從而使用更多的數(shù)據(jù)來(lái)進(jìn)行模型訓(xùn)練,以獲得模型的最優(yōu)參數(shù)。根據(jù)時(shí)間序列滑動(dòng)窗構(gòu)造訓(xùn)練集、驗(yàn)證集和測(cè)試集。

③構(gòu)建基于CA-GRU混合模型的污水處理廠出水總氮預(yù)測(cè)模型。

④用訓(xùn)練集訓(xùn)練CA-GRU后,通過(guò)驗(yàn)證集調(diào)整模型的超參數(shù),并根據(jù)訓(xùn)練損失變化曲線和驗(yàn)證損失變化的趨勢(shì)不斷地修改模型,從而得到更好的預(yù)測(cè)模型。

⑤在得到的最優(yōu)模型中輸入測(cè)試集,以得到預(yù)測(cè)結(jié)果,并繪制真實(shí)值與預(yù)測(cè)值曲線。

3 試驗(yàn)分析

3.1 數(shù)據(jù)集介紹

試驗(yàn)中的污水處理廠水質(zhì)數(shù)據(jù)來(lái)源于黑龍江省大興安嶺地區(qū)呼瑪縣某污水處理廠2021年的監(jiān)測(cè)數(shù)據(jù)?？偟猍7]指污水中4種含氮化合物(即有機(jī)氮、氨氮、亞硝酸鹽氮、硝酸鹽氮)的總量,是重要的水質(zhì)檢測(cè)指標(biāo)之一。數(shù)據(jù)集共有2 206組數(shù)據(jù)。監(jiān)測(cè)時(shí)間從2021年10月1日至2021年12月31日。試驗(yàn)每隔1 h記錄1次。其中:數(shù)據(jù)輸入特征為排水流量、化學(xué)需氧量進(jìn)口濃度、化學(xué)需氧量排口濃度、生化需氧量進(jìn)口濃度、生化需氧量排口濃度、總氮進(jìn)口濃度、氨氮進(jìn)口濃度、氨氮排口濃度、總磷進(jìn)口濃度、總磷排口濃度;輸出特征為總氮排口濃度。各特征數(shù)據(jù)具有一定的周期性。

3.2 模型評(píng)價(jià)標(biāo)準(zhǔn)

為了更準(zhǔn)確地評(píng)價(jià)模型預(yù)測(cè)能力,本文采用均方根誤差(root mean square error,RMSE)和平均絕對(duì)百分比誤差(mean absolute percentage error,MAPE)對(duì)預(yù)測(cè)結(jié)果進(jìn)行評(píng)估。RMSE用于衡量觀測(cè)值與真實(shí)值之間的偏差。模型的RMSE值越低,其預(yù)測(cè)結(jié)果越穩(wěn)定。MAPE表示模型的準(zhǔn)確性。模型的MAPE值越小,則精準(zhǔn)度越高。

(5)

(6)

式中:MMAPE為MAPE值。

3.3 模型參數(shù)

試驗(yàn)中:模型訓(xùn)練時(shí)學(xué)習(xí)率設(shè)為0.002;損失函數(shù)使用平均絕對(duì)誤差(mean absolute error,MAE),以計(jì)算標(biāo)簽值和預(yù)測(cè)值之間的絕對(duì)差異的平均值;優(yōu)化器選用Adam;批量大小設(shè)為16;迭代次數(shù)設(shè)為100;時(shí)間滑動(dòng)窗口為120。隨機(jī)失活是1種常用的正則化技術(shù),可以隨機(jī)地將神經(jīng)元的輸出設(shè)置為0,使得被屏蔽的神經(jīng)元不會(huì)對(duì)網(wǎng)絡(luò)的輸出產(chǎn)生影響。這種方法可以減少過(guò)擬合現(xiàn)象的發(fā)生,從而提高模型的泛化能力。在前向傳播時(shí),被屏蔽的神經(jīng)元不參與運(yùn)算;在反向傳播時(shí),被屏蔽的神經(jīng)元梯度也被設(shè)置為0,從而避免了梯度爆炸的問(wèn)題。為了防止過(guò)擬合,試驗(yàn)設(shè)置了提前停止。當(dāng)模型連續(xù)10次訓(xùn)練損失值不下降時(shí),模型停止訓(xùn)練。

為了驗(yàn)證本文提出的基于CA-GRU網(wǎng)絡(luò)的混合模型的實(shí)際效果,試驗(yàn)對(duì)CA-GRU混合模型與GRU模型[8]、CNN-GRU[9-10]模型以及Attention-GRU[11-12]模型進(jìn)行對(duì)比。試驗(yàn)中,所設(shè)置的迭代次數(shù)、優(yōu)化器、批量大小都一致。其中:GRU模型的神經(jīng)元數(shù)量設(shè)為8、隨機(jī)失活概率設(shè)為0.5;CNN-GRU模型的濾波器設(shè)為8、卷積核尺寸設(shè)為(3,3)、神經(jīng)元數(shù)量設(shè)為16、隨機(jī)失活概率設(shè)為0.2;Attention-GRU模型的神經(jīng)元數(shù)量設(shè)為8、隨機(jī)失活概率設(shè)為0.5;CA-GRU混合模型的濾波器設(shè)為8、卷積核尺寸設(shè)為(3,3)、神經(jīng)元數(shù)量設(shè)為32、隨機(jī)失活概率設(shè)為0.5。

3.4 結(jié)果分析

試驗(yàn)采用Windows10操作系統(tǒng),并使用Python語(yǔ)言進(jìn)行編碼。Python的版本為3.8.5。編程工具為PyCharm。其中,各模型均使用Keras實(shí)現(xiàn)。

根據(jù)各模型訓(xùn)練時(shí)的損失數(shù)據(jù),訓(xùn)練損失變化曲線如圖3所示。

圖3 訓(xùn)練損失變化曲線

由圖3可知,在同樣的學(xué)習(xí)率、優(yōu)化器條件下,GRU模型在訓(xùn)練到第48次時(shí)停止訓(xùn)練。根據(jù)對(duì)比結(jié)果可知,CA-GRU混合模型的訓(xùn)練損失相較其他模型更小。

根據(jù)確定的模型,將輸入數(shù)據(jù)換成測(cè)試集,以得到預(yù)測(cè)結(jié)果。

各模型測(cè)試集預(yù)測(cè)值與實(shí)際值對(duì)比如圖4所示。

圖4 各模型測(cè)試集預(yù)測(cè)值與實(shí)際值對(duì)比

由圖4可知,與GRU、CNN-GRU、Attention-GRU模型相比,本文采用的基于CA-GRU網(wǎng)絡(luò)的混合模型的水質(zhì)預(yù)測(cè)結(jié)果更接近目標(biāo)值,并且預(yù)測(cè)值與實(shí)際值的偏差較小。CA-GRU混合模型對(duì)污水處理廠出水總氮濃度的預(yù)測(cè)表現(xiàn)出較好的性能。此外,結(jié)合圖3中CA-GRU混合模型訓(xùn)練損失明顯低于其他模型的結(jié)果,試驗(yàn)證明了CA-GRU模型具備更優(yōu)秀的學(xué)習(xí)與預(yù)測(cè)能力。

同時(shí),本文使用RMSE和MAPE對(duì)模型預(yù)測(cè)結(jié)果進(jìn)行評(píng)估。

各模型預(yù)測(cè)性能如表1所示。

表1 各模型預(yù)測(cè)性能

由表1可知,CA-GRU混合模型的RMSE、MAPE比GRU模型低0.108、0.016,比CNN-GRU模型低0.027、0.005,比Attention-GRU模型低0.065、0.007。試驗(yàn)結(jié)果表明,CA-GRU混合模型在污水處理廠出水總氮濃度預(yù)測(cè)方面優(yōu)于傳統(tǒng)的GRU模型、CNN-GRU模型與Attention-GRU模型。

4 結(jié)論

本文提出了1種基于CA-GRU網(wǎng)絡(luò)的污水處理廠出水總氮濃度預(yù)測(cè)混合模型。該模型首先對(duì)原始數(shù)據(jù)進(jìn)行維度調(diào)整,然后結(jié)合CNN模型和注意力機(jī)制進(jìn)行特征信息提取,最后通過(guò)GRU網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)出水總氮濃度的預(yù)測(cè)。試驗(yàn)結(jié)果表明,CA-GRU混合模型能夠更加關(guān)注數(shù)據(jù)中的關(guān)鍵信息、消除冗余信息,對(duì)總氮濃度預(yù)測(cè)效果較好。與傳統(tǒng)GRU模型、CNN-GRU模型以及Attention-GRU模型相比,CA-GRU混合模型對(duì)于污水處理廠出水總氮濃度預(yù)測(cè)的準(zhǔn)確率更高,因而實(shí)用價(jià)值更高。