王薪凱 于忠清

摘要：為優(yōu)化泵站的工作方式，降低能耗，建立一種基于長短期記憶網(wǎng)絡（Long Short-Term Memory，LSTM）的神經(jīng)網(wǎng)絡模型來對泵站的能耗進預測，優(yōu)化學習率、時間步長、批處理、隱含層層數(shù)、訓練次數(shù)等參數(shù)。將LSTM網(wǎng)絡模型的預測結(jié)果與BP模型、RNN模型進行對比，研究結(jié)果表明，基于LSTM神經(jīng)網(wǎng)絡模型的預測具有較高的精度和泛化能力。

關(guān)鍵詞：LSTM網(wǎng)絡模型;能耗;預測;優(yōu)化

中圖分類號：TV675???????? 文獻標志碼：A

隨著中國工業(yè)化和城市化進程的不斷推進，對水資源的需求量日益增長，由于污水量的增加，使污水處理面臨著巨大的挑戰(zhàn)[1]。一方面，中國水資源利用率低，基礎設施不完善，相比于發(fā)達國家，污水處理工藝相對落后，另一方面，污水處理屬于高能耗行業(yè)，包括電能消耗、化學藥劑的使用及燃料的消耗，其中電耗占污水處理綜合能耗的比重較高，在降低污水處理能耗中有著舉足輕重的作用[2]。過多的電能消耗造成運營成本的增加和資源的浪費，不利于企業(yè)的發(fā)展和中國工業(yè)化進程的推進，也不利于中國所倡導的可持續(xù)發(fā)展[3]。由于能耗數(shù)據(jù)具有時間序列的特性，目前BP（Back Propagation）神經(jīng)網(wǎng)絡[4]、支持向量機（SVM）[5]、多元線性回歸模型[6]等傳統(tǒng)的人工智能算法在進行預測時沒有考慮到延遲和滯后效應，無法解決長期依賴問題，具有局限性。隨著深度學習的不斷發(fā)展，LSTM模型憑借其優(yōu)勢逐漸興起，該模型能更加充分提取數(shù)據(jù)中的重要信息，發(fā)現(xiàn)數(shù)據(jù)之間的關(guān)系和規(guī)律，能有效地處理非線性和非平穩(wěn)序列數(shù)據(jù)，具有良好的泛化能力，LSTM模型在建筑能耗預測[7]，空調(diào)系統(tǒng)能耗預測[8]，航空公司能耗預測[9]中應用廣泛。相比于其他模型，在處理具有時間序列屬性的數(shù)據(jù)方面，LSTM模型表現(xiàn)出較高的預測精度和性能，但LSTM模型在泵站能耗領(lǐng)域的應用并不多見。本文針對污水處理中泵站的能耗預測問題，提出一種基于LSTM神經(jīng)網(wǎng)絡模型的預測方法，對學習率、時間步長、批處理、隱含層層數(shù)、訓練次數(shù)這些參數(shù)進行優(yōu)化，通過與BP神經(jīng)網(wǎng)絡模型、RNN網(wǎng)絡模型的預測結(jié)果進行對比，利用均方誤差（MSE）、平均絕對誤差（MAE）和均方根誤差（RMSE）這三種評價指標進行評估。

1 研究方法

1.1 RNN算法

循環(huán)神經(jīng)網(wǎng)絡（Recurrent Neural Network，RNN）是一種特殊的神經(jīng)網(wǎng)絡。傳統(tǒng)的神經(jīng)網(wǎng)絡模型是從輸入層到隱含層再到輸出層，層與層之間是全連接，每層的節(jié)點之間是無連接的，而RNN之所以稱為循環(huán)神經(jīng)網(wǎng)絡是因為一個序列的輸出與前一時刻的輸出有關(guān)[10]，該網(wǎng)絡會把前面的信息進行記憶并應用到當前輸出的計算中，即隱含層的節(jié)點是相互連接的。

RNN模型結(jié)構(gòu)展開圖見圖1，其中x表示輸入樣本，y表示訓練后的輸出樣本，t-1，t，t+1分別表示時間序列，U、W、V是在每一刻都共享的網(wǎng)絡權(quán)重，U為某一時刻輸入樣本的權(quán)重、W為隱含層的權(quán)重、V表示輸出的樣本權(quán)重。st表示當前t時刻的隱藏狀態(tài)，由當前時刻的輸入樣本xt和t-1時刻的隱藏狀態(tài)共同決定，表述為

st=f（Uxt+Wst-1）（1）

yt=g（Vst）（2）

其中，f、g表示激活函數(shù)。

1.2 LSTM算法

傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡能夠處理一定的短期依賴問題，但無法處理長期依賴問題。長短期記憶網(wǎng)絡是一種改進的循環(huán)神經(jīng)網(wǎng)絡，使用LSTM算法可以解決RNN無法處理長距離的依賴問題，可以處理非線性、非平穩(wěn)的時間序列數(shù)據(jù)[11]。LSTM模型廣泛應用在眾多領(lǐng)域，如預測旅游流量[12]，預測股價[13]等。

原始RNN的隱藏層只有一個單元狀態(tài)，對短期的輸入非常敏感，在隱藏層增加一個單元狀態(tài)，構(gòu)建LSTM模型使其保存長期的狀態(tài)，在模型實現(xiàn)的過程中用三個控制開關(guān)來控制長期狀態(tài)，開關(guān)的控制功能由“門”來實現(xiàn)。

（1）遺忘門：決定從單元狀態(tài)中丟棄哪些消息

nt=σ（Wn·ht-1，xt+bn）（3）

（2）輸入門：決定需要在單元狀態(tài)中保存哪些新信息

lt=σ（Wl·ht-1，xt+bl）（4）

rt=tanh（Wr·ht-1，xt+br）（5）

ct=nt*ct-1+lt*rt（6）

（3）輸出門：決定單元狀態(tài)中的哪些信息作為輸出

mt=σ（Wm·ht-1，xt+bm）（7）

ht=mt*tanh （ct）（8）

其中，σ表示為sigmoid激活函數(shù)，該函數(shù)把值映射到0到1之間，以此來控制傳遞多少信息，0代表遺忘所有信息，1代表保留全部信息;tanh是雙曲正切激活函數(shù)，xt表示當前時刻的樣本輸入，其中，Wn、Wl、Wr、Wm為權(quán)值矩陣，bn、bl、br、bm表示為參數(shù)矩陣，nt表示遺忘門輸出，lt為輸入門輸入，mt為輸出門輸出，rt表示當前時刻保存的信息。

2 數(shù)據(jù)描述和性能評估

2.1 數(shù)據(jù)采集

本文數(shù)據(jù)采用的是中國某污水處理廠的泵站能耗數(shù)據(jù)，泵站共有5臺水泵，數(shù)據(jù)在2020年11月18日到2020年12月1日之間采集，其中在一天時間內(nèi)，每隔5 min獲取一次數(shù)據(jù)，數(shù)據(jù)包括每臺泵的能耗值、出水流量、以及當前的液位。用0或1來描述泵的開關(guān)狀態(tài)，0代表當前泵處于關(guān)閉狀態(tài)，1代表當前泵處于工作狀態(tài)，單個樣本輸入的變量包括：5臺泵的總能耗E（kW·h）、每臺泵的開關(guān)狀態(tài)（0或1）、出水流量F（m3）、當前的液位L（m），共3 000條數(shù)據(jù)樣本。

2.2 數(shù)據(jù)預處理

2.2.1 數(shù)據(jù)整理 泵能耗監(jiān)測平臺在數(shù)據(jù)采集、傳輸、存儲等過程中容易受到噪聲干擾，通信中斷和傳感器故障等原因，產(chǎn)生一些空值、不合理值、重復值，刪除這些異常值，泵站的總能耗、當前的液位精確到小數(shù)點后兩位。由于樣本的各個指標的量綱和量綱單位不同，對數(shù)據(jù)歸一化使各指標處于同一數(shù)量級，本文采用min-max標準化對個別指標歸一化處理，將數(shù)據(jù)映射到[0，1]范圍內(nèi)

x=x-TminTmax-Tmin（9）

其中，x是該屬性的原始值，x是歸一化后的值，Tmin和Tmax分別為在全部樣本中屬性的最小值和最大值，本文把輸入樣本的出水流量、當前液位、泵站總能耗這三個屬性歸一化處理。

2.2.2 劃分訓練集和測試集 數(shù)據(jù)樣本歸一化后共3 000條，將其中的80%作為訓練集用于訓練模型，20%作為測試集用于評估模型的性能，Xi=（x1，x2，…，x8）（i=1，2，3，…，3 000），X=[Xi，Xi+1，Xi+2，…，Xi+s-1]。其中，Xi表示第i個數(shù)據(jù)樣本，x1為泵站總能耗，x2到x6對應每臺泵的開關(guān)狀態(tài)，x7表示出水流量，x8為當前液位。泵站能耗數(shù)據(jù)具有時間序列的特性，若LSTM模型的時間步長（time steps）設為s，時間窗口每次用前s個數(shù)據(jù)樣本組成的矩陣作為輸入特征，第s+1個樣本Xi+s-1的總能耗E作為輸出，時間窗口每次移動的步數(shù)為s，假設訓練集和測試集樣本長度分別為n和m，實際上將n-s個樣本數(shù)據(jù)在訓練模型上訓練，將m-s個樣本用作測試數(shù)據(jù)。時間窗口移動方式如圖3所示，s個數(shù)據(jù)樣本組成的矩陣X作為輸入，用Y中數(shù)據(jù)樣本的泵站總能耗作為輸出。

2.3 模型性能評價

選取MSE、MAE、RMSE作為預測結(jié)果評價指標，范圍[0，+∞），數(shù)值越低說明預測值和真實值之間的誤差越小，模型的精確度越高，i為第i個樣本的能耗預測值，ei為真實值，n是樣本數(shù)量。

（1）均方誤差（Mean Square Error，MSE）

MSE=1n∑ni=1（i-ei）2（10）

（2）平均絕對誤差（Mean Absolute Error，MAE）

MAE=1n∑ni=1|i-ei|（11）

（3）均方根誤差（Root Mean Square Error，RMSE）

RMSE= 1n∑ni=1（i-ei）2（12）

3 建立LSTM能耗模型

3.1 模型構(gòu)建及實驗流程

本文對比了LSTM模型、BP神經(jīng)網(wǎng)絡模型、RNN模型，三者均在PyCharm開發(fā)環(huán)境下運行。LSTM模型用Keras框架搭建，模型結(jié)構(gòu)由輸入層、隱含層和輸出層組成，LSTM模型的參數(shù)包括學習率、批處理、時間步長、隱含層層數(shù)、訓練次數(shù)等。本文采用試錯法尋找適合的參數(shù)，在模型訓練和測試完成后，將數(shù)據(jù)進行逆歸一化處理，然后進行性能評估，實驗的具體流程如圖4所示。

采用Adam優(yōu)化算法（Adaptive Moment Estimation，自適應矩估計），損失函數(shù)采用平均絕對誤差（MAE）。Adam優(yōu)化算法是梯度下降優(yōu)化算法的擴展，能基于訓練數(shù)據(jù)迭代更新神經(jīng)網(wǎng)絡權(quán)重隨機梯度下降保持單一的學習率更新所有的權(quán)重，學習率在訓練過程中并不會改變。而Adam通過計算梯度的一階矩估計和二階矩估計為不同的參數(shù)設計獨立的自適應性學習率，相比于其他自適應學習率算法，Adam算法收斂速度較快，學習效果更好，可以解決學習率消失、收斂速度較慢所導致的損失函數(shù)波動較大等問題。

3.2 模型參數(shù)尋優(yōu)

LSTM網(wǎng)絡模型參數(shù)包括隱含層學習率、時間步長、批處理、隱含層層數(shù)、訓練次數(shù)，設置各參數(shù)的取值范圍，其中隱含層層數(shù)取值范圍為[1，3]，時間步長取值范圍為[2，4]，批處理取值范圍為[20，60]，訓練次數(shù)取值范圍為[25，300]。

3.2.1 學習率和訓練次數(shù) 學習率（lr）用來表示通過損失函數(shù)來調(diào)整網(wǎng)絡權(quán)重的程度，影響模型收斂到局部極小值的速度，學習率過小，函數(shù)收斂速度較慢，耗費的時間更長，會產(chǎn)生過擬合現(xiàn)象;學習率過大，可能錯過局部極小值，損失函數(shù)容易發(fā)生振蕩。在實驗過程中l(wèi)r的取值從0.01到0.000 01，以10倍的速度間隔逐漸降低，選取MAE作為誤差評估標準，觀察誤差曲線變化的狀態(tài)，在曲線趨于穩(wěn)定并收斂到一定值時，確定學習率的數(shù)量級，再采用微調(diào)方法確定最佳的學習率，圖5所示為不同的學習率對應誤差曲線變化。

由圖5可知，當lr取值0.01向0.001降低時，學習率過大，損失函數(shù)曲線發(fā)生振蕩，無法收斂到最優(yōu)值，當lr取值從0.000 1向0.000 01降低時，學習率過小，在訓練次數(shù)內(nèi)表現(xiàn)出欠擬合，無法完成收斂，但在lr取值為0.000 1時，誤差曲線逐漸平滑下降，且收斂到最優(yōu)值，在確定數(shù)量級的情況下，經(jīng)過微調(diào)方法確定最佳學習率為0.000 7。

訓練次數(shù)（epochs）是將訓練樣本中所有數(shù)據(jù)訓練的次數(shù)，過少的訓練次數(shù)會導致預測值和實際值之間的偏差較大，不同的訓練次數(shù)會使損失函數(shù)收斂到不同的值，選取合適的訓練次數(shù)使得誤差收斂到最優(yōu)。在訓練過程中選取MSE作為誤差評估標準，如圖6所示，epochs值在25到300之間時，誤差曲線快速下降，epochs的值在150開始逐漸趨于穩(wěn)定，200個epochs之后變化不明顯，為了防止訓練次數(shù)過大導致的過擬合現(xiàn)象，200個epochs就可以滿足訓練精度，因此LSTM網(wǎng)絡模型選取epochs的值為200。

3.2.2 時間步長 在LSTM網(wǎng)絡模型中，由于其具有長時間記憶的特性，下一時刻的樣本可能會用到之前的歷史樣本數(shù)據(jù)，時間步長（time steps）表示每個訓練樣本中包含的歷史狀態(tài)數(shù)目，通常根據(jù)數(shù)據(jù)的時間特性來確定，若時間步長為n，表示用前n條樣本預測第n+1個樣本的總能耗，本實驗設置時間步長的范圍從2到4，通過平均絕對誤差（MAE）來衡量在不同時間步長下訓練樣本誤差變化曲線。

如圖7所示，在訓練次數(shù)的不斷增加下，相比于其他時間步長，time steps為2時，誤差變化曲線快速下降，收斂速度較快，降低了模型的訓練難度，節(jié)省了時間成本，所以選擇時間步長為2來構(gòu)建LSTM神經(jīng)網(wǎng)絡模型。

3.2.3 批處理和隱含層層數(shù) Adam是基于梯度下降的，批處理用于定義在更新內(nèi)部模型參數(shù)之前要處理的樣本數(shù)，代表著每次進行訓練樣本的數(shù)量，將批處理視為循環(huán)迭代一個或多個樣本并進行預測，比較預測值和真實值，并計算誤差，從而動態(tài)更新內(nèi)部模型參數(shù)。批處理過小會導致誤差震蕩嚴重，在一定的訓練次數(shù)內(nèi)無法收斂，批處理增大會使訓練的收斂更加平滑穩(wěn)定，訓練一個迭代的時間會變短，但過大也會降低模型的泛化能力，達到相同精度的速度會變慢，所以選擇合適的批處理來提升模型的預測精度。

多隱層的網(wǎng)絡結(jié)構(gòu)對數(shù)據(jù)有更好的表示能力，通過逐層的特征提取將數(shù)據(jù)表示的更加抽象，從而降低誤差，提高預測精度，但是隱含層層數(shù)過大可能會帶來過擬合問題，同時也會增加模型的訓練時間，造成無法收斂。

本文LSTM網(wǎng)絡模型隱含層層數(shù)的范圍是1層到3層，批處理從20到60，每次間隔10個，在不同的隱含層層數(shù)和批處理大小結(jié)合時進行實驗，相應的評價指標如表1所示。

不同的隱含層層數(shù)和批處理會影響預測精度和訓練的時間，從表1可以看出，模型隱含層層數(shù)為3，批處理為30時，各個評價指標相對較優(yōu)，LSTM模型的性能顯著，模型的精度較高，因此最終選定的LSTM模型的隱含層層數(shù)為3，批處理為30。

3.3 構(gòu)建LSTM能耗預測模型

如表2所示，LSTM能耗預測模型中，學習率為0.000 7，時間步長為2，訓練次數(shù)為200，隱含層層數(shù)為3，第一個隱含層的神經(jīng)元數(shù)量為32，第二個隱含層神經(jīng)元數(shù)量為16，第三層隱含層神經(jīng)元數(shù)量為8，批處理大小為30，隱含層的激活函數(shù)為tanh函數(shù)，在優(yōu)化選擇方面，采用Adam優(yōu)化算法進行優(yōu)化。

4 與其他模型對比評估

為了驗證LSTM模型預測能耗的優(yōu)越性，對比LSTM模型、BPNN模型、RNN模型，利用訓練集訓練模型，并用來對測試集來進行預測，使用評價指標MAE、MSE、RMSE對模型評估和對比，數(shù)據(jù)均由逆歸一化數(shù)據(jù)計算得到。為了更加直觀的體現(xiàn)LSTM模型的優(yōu)越性，圖8、圖9、圖10顯示了BPNN、RNN、LSTM三種模型對泵能耗預測結(jié)果，可知，LSTM網(wǎng)絡模型的預測值和真實值的擬合程度較高，相比于其他模型，LSTM對泵的能耗預測更接近于真實值。

表3顯示的3種模型對比的評估指標，由于BPNN和RNN模型在預測時沒有考慮到延遲和滯后效應，無法解決長期依賴問題，預測值和真實值差距較大，LSTM網(wǎng)絡模型的誤差指標均小于其他模型，在數(shù)據(jù)的擬合度上表現(xiàn)出較好的性能，這也表明，LSTM模型在泵站能耗預測方面具有較大的優(yōu)勢。

5 結(jié)論

本文提出了基于LSTM神經(jīng)網(wǎng)絡模型對泵站能耗的預測方法，通過實驗對參數(shù)進行優(yōu)化，選取了合適的學習率、訓練次數(shù)、隱含層層數(shù)及時間步長等參數(shù)，構(gòu)建了一個多層的LSTM模型，用來預測泵站能耗，并與BP模型、RNN模型的預測結(jié)果進行對比。在性能評估方面，多層的LSTM網(wǎng)絡模型具有較好的性能，相比于BP模型和RNN模型，多層LSTM網(wǎng)絡模型最優(yōu)擬合結(jié)果預測出的泵站能耗，在MAE、MSE、RMSE評估指標上誤差較低，預測精度較BP模型和RNN模型有所提高，因此LSTM模型能更準確的對泵站能耗進行預測。LSTM能耗模型相比于傳統(tǒng)的能耗模型，能更好的處理長期依賴問題，保持信息的持久性，能夠發(fā)現(xiàn)數(shù)據(jù)之間的關(guān)系和規(guī)律，在預測時考慮到延遲和滯后效應，在處理序列數(shù)據(jù)和非線性問題中具有優(yōu)勢，對泵站的能耗預測精度更為準確，在泵站的節(jié)能領(lǐng)域具有廣闊的應用前景。但是當前方法還存在局限性，參數(shù)優(yōu)化過程中設置的范圍區(qū)間過小，參數(shù)組合優(yōu)化的種類過于單一，所以在以后的研究中可以從參數(shù)的取值范圍和選擇參數(shù)組合兩個方面深入研究。

參考文獻

[1]李旭.城市污水處理能耗能效研究進展[J].科技創(chuàng)新與應用，2020（5）：67-68.

[2]周亞梁，黃東月.城市污水處理廠能耗分析及節(jié)能降耗措施研究[J].環(huán)境與發(fā)展，2019，31（5）：30+34.

[3]龍麗萍.城鎮(zhèn)污水處理廠能耗分析及節(jié)能措施研究[J].工程技術(shù)研究，2019，4（14）：239-240.

[4]杜冠洲，韋古強，高正平.基于BP神經(jīng)網(wǎng)絡的公用建筑電力能耗預測研究[J].工程經(jīng)濟，2017，27（6）：76-80.

[5]侯博文，譚澤漢，陳煥新，等.基于支持向量機的建筑能耗預測研究[J].制冷技術(shù)，2019，39（2）：1-6.

[6]莫甘茗.基于多元線性回歸模型的建筑能耗預測與建筑節(jié)能分析[J].建材與裝飾，2016（43）：89-90.

[7]章挺飛，羅恒，劉杭.基于LSTM網(wǎng)絡的建筑能耗預測方法[J].蘇州科技大學學報（自然科學版），2020，37（4）：78-84.

[8]廖文強，王江宇，陳煥新，等.基于短期記憶神經(jīng)網(wǎng)絡的暖通空調(diào)系統(tǒng)能耗預測[J].制冷技術(shù)，2019，39（1）：45-50+54.

[9]劉家學，沈貴賓.基于LSTM的航空公司能耗序列預測[J].計算機應用與軟件，2019，36（10）：60-65.

[10]楊欽榕，陳萬培，高紳，等.寬窄帶融合下基于RNN-LSTM網(wǎng)絡的溫度預測[J].無線電工程，2021，51（4）：283-287.

[11]黃超斌，程希明.基于LSTM神經(jīng)網(wǎng)絡的股票價格預測研究[J].北京信息科技大學學報（自然科學版），2021，36（1）：79-83.

[12]LI Y F， CAO H. Prediction for tourism flow based on LSTM neural network[C]// 6th International Conference on Identification， Information and Knowledge in the Internet of Things （IIKI）， Qufu， 2017： 277-283.

[13]DING G Y， QIN L X. Study on the prediction of stock price based on the associated network model of LSTM[J]. International Journal of Machine Learning and Cybernetics， 2020， 11： 1307-1317.

Energy Consumption Prediction of Pumping Station Based

on LSTM Neural Network Model

WANG Xin-kai， YU Zhong-qing

（College of Computer Science & Technology， Qingdao University， Qingdao 266071， China）

Abstract：

A neural network model based on Long Short-Term Memory （LSTM） is established to predict the energy consumption of pumping stations， which optimizes the working methods and reduces energy consumption， and the learning rate， time step， batch size， the number of layers， training times are optimized. The prediction results of the LSTM network model are compared with the BP model and the RNN model， and the research results show that the prediction based on the LSTM neural network model has high accuracy and generalization ability.

Keywords：

LSTM network model; energy consumption; prediction; optimization

收稿日期：2021-09-01

基金項目：

山東省重點研發(fā)計劃（批準號：2019JZZY020101）資助。

通信作者：

于忠清，男，博士，教授，主要研究方向為工業(yè)大數(shù)據(jù)。E-mail： yuzq@qdu.edu.cn