陳英義，程倩倩，方曉敏，于輝輝，李道亮

?

主成分分析和長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)水產(chǎn)養(yǎng)殖水體溶解氧

陳英義1,2，程倩倩1,3，方曉敏1,3，于輝輝1,3，李道亮1,2

（1. 中國(guó)農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院，北京 100083；2. 農(nóng)業(yè)部農(nóng)業(yè)信息獲取技術(shù)重點(diǎn)實(shí)驗(yàn)室，北京 100083；3. 北京農(nóng)業(yè)物聯(lián)網(wǎng)工程技術(shù)研究中心，北京 100083）

為了提高水產(chǎn)養(yǎng)殖溶解氧預(yù)測(cè)的精度，提出了基于主成分分析（principal component analysis, PCA）和長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（long short-term memory，LSTM）的水產(chǎn)養(yǎng)殖溶解氧預(yù)測(cè)模型。首先通過主成分分析提取水產(chǎn)養(yǎng)殖溶解氧的關(guān)鍵影響因子，消除了原始變量之間的相關(guān)性，降低了模型輸入向量維度；然后，在Tensorflow深度學(xué)習(xí)框架的基礎(chǔ)上建立LSTM神經(jīng)網(wǎng)絡(luò)的水產(chǎn)養(yǎng)殖溶解氧預(yù)測(cè)模型；最后，利用該模型對(duì)浙江省淡水水產(chǎn)養(yǎng)殖研究所綜合實(shí)驗(yàn)基地某池塘溶解氧進(jìn)行驗(yàn)證。試驗(yàn)結(jié)果表明：該模型與BP神經(jīng)網(wǎng)絡(luò)等其他淺層模型相比，模型評(píng)價(jià)指標(biāo)平均絕對(duì)誤差、均方根誤差和平均絕對(duì)誤差分別為0.274、0.089和0.147，均優(yōu)于傳統(tǒng)的預(yù)測(cè)方法；該模型具有良好的預(yù)測(cè)性能和泛化能力，能夠滿足水產(chǎn)養(yǎng)殖溶解氧精確預(yù)測(cè)的實(shí)際需要，可以為水產(chǎn)養(yǎng)殖水質(zhì)精準(zhǔn)調(diào)控提供參考。

水產(chǎn)養(yǎng)殖；溶解氧預(yù)測(cè)；主成分分析；LSTM神經(jīng)網(wǎng)絡(luò)；循環(huán)神經(jīng)網(wǎng)絡(luò)

0 引 言

水產(chǎn)養(yǎng)殖溶解氧含量是反映水產(chǎn)品生長(zhǎng)狀況、水質(zhì)狀況的重要指標(biāo)[1]，易受溫度、風(fēng)速、風(fēng)向、雨量、水生生物新陳代謝以及人為活動(dòng)等多種因素的影響[2]，且具有非線性、大時(shí)滯和不穩(wěn)定等特點(diǎn)。因此對(duì)水產(chǎn)養(yǎng)殖溶解氧預(yù)測(cè)方法進(jìn)行研究，及時(shí)準(zhǔn)確掌握未來溶解氧的變化規(guī)律，對(duì)于預(yù)防水質(zhì)惡化與疾病爆發(fā)，減少養(yǎng)殖風(fēng)險(xiǎn)、優(yōu)化養(yǎng)殖管理具有重要意義。

目前，國(guó)內(nèi)外學(xué)者針對(duì)水質(zhì)溶解氧預(yù)測(cè)方法已經(jīng)進(jìn)行了大量的研究[3-5]，取得了一定的成果。如徐敏等[6]提出基于混沌理論、相空間重構(gòu)思想和嵌入理論的預(yù)測(cè)模型對(duì)于河流溶解氧預(yù)測(cè)；朱成云等[7]建立了基于混沌變異的分布估計(jì)算法優(yōu)化最小二乘支持向量機(jī)模型對(duì)工廠化水產(chǎn)養(yǎng)殖溶解氧預(yù)測(cè)分析；劉雙印等[8]采用了蟻群算法優(yōu)化最小二乘支持向量機(jī)對(duì)河蟹養(yǎng)殖溶解氧進(jìn)行預(yù)測(cè)；宦娟等[9]構(gòu)建了基于K-means聚類和極限學(xué)習(xí)機(jī)（extreme learning machine, ELM）神經(jīng)網(wǎng)絡(luò)的養(yǎng)殖水質(zhì)溶解氧預(yù)測(cè)模型。上述涉及的預(yù)測(cè)方法均屬于淺層結(jié)構(gòu)的機(jī)器學(xué)習(xí)方法，在處理大數(shù)據(jù)上缺少魯棒性，導(dǎo)致模型普遍缺乏長(zhǎng)效性和擴(kuò)展能力，不能完全反映數(shù)據(jù)的本質(zhì)特征。

近年來，基于深度學(xué)習(xí)的預(yù)測(cè)方法得到廣泛應(yīng)用[10-11]。此方法可以實(shí)現(xiàn)高維函數(shù)的逼近，挖掘出蘊(yùn)藏于數(shù)據(jù)中的隱含信息，具有強(qiáng)大的高度抽象化特征能力，與淺層結(jié)構(gòu)的機(jī)器學(xué)習(xí)方法相比具有更強(qiáng)的數(shù)據(jù)學(xué)習(xí)能力和泛化能力[12]。在眾多深度學(xué)習(xí)模型中，循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network, RNN）將時(shí)序的概念引入到網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)中使其在時(shí)序數(shù)據(jù)分析中表現(xiàn)出更強(qiáng)的適應(yīng)性[13-14]。LSTM神經(jīng)網(wǎng)絡(luò)，作為RNN的變種模型，可以有效地解決RNN訓(xùn)練時(shí)存在梯度消失和梯度爆炸等問題，大大提高了RNN網(wǎng)絡(luò)的準(zhǔn)確性[15]。陳卓等[16]提出了基于LSTM神經(jīng)網(wǎng)絡(luò)的電力負(fù)荷預(yù)測(cè)方法，預(yù)測(cè)效果很好；于家斌等[17]構(gòu)建了基于LSTM神經(jīng)網(wǎng)絡(luò)的藍(lán)藻水華預(yù)測(cè)模型，實(shí)現(xiàn)了對(duì)水華發(fā)生的精準(zhǔn)預(yù)測(cè)；王鑫等[18]利用LSTM神經(jīng)網(wǎng)絡(luò)對(duì)故障時(shí)間序列數(shù)據(jù)進(jìn)行預(yù)測(cè)，驗(yàn)證了模型的精確性。然而利用LSTM神經(jīng)網(wǎng)絡(luò)對(duì)水產(chǎn)養(yǎng)殖水質(zhì)參數(shù)預(yù)測(cè)的相關(guān)研究較少。

因此，本文在與BP神經(jīng)網(wǎng)絡(luò)、PSO-BP神經(jīng)網(wǎng)絡(luò)、ELM、LSSVM等傳統(tǒng)模型進(jìn)行對(duì)比的基礎(chǔ)上，提出并構(gòu)建了基于PCA-LSTM神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)方法，以期探索出較好的方法用于提高溶解氧預(yù)測(cè)精確度。并采用浙江省淡水水產(chǎn)養(yǎng)殖研究所綜合試驗(yàn)基地養(yǎng)殖池塘采集到的水質(zhì)參數(shù)展開試驗(yàn)。

1 數(shù)據(jù)獲取與預(yù)處理方法

1.1 試驗(yàn)區(qū)域

試驗(yàn)數(shù)據(jù)樣本采集自浙江省淡水水產(chǎn)養(yǎng)殖研究所綜合試驗(yàn)基地。該基地位于湖州市吳興區(qū)八里店現(xiàn)代農(nóng)業(yè)綜合開發(fā)區(qū)內(nèi)（120.197 3N, 30.805 9E），面積約33.3 hm2，是集“水產(chǎn)選育種、優(yōu)質(zhì)苗種繁育、健康養(yǎng)殖試驗(yàn)基地及內(nèi)陸水域增殖放流中心”等功能為一體的綜合性基地。選取的池塘長(zhǎng)為32 m，寬為32 m、水深約1.2 m，養(yǎng)殖品種為雜交鲌魚，并且池塘中央安裝了一個(gè)葉輪式增氧機(jī)進(jìn)行增氧。

1.2 數(shù)據(jù)源及數(shù)據(jù)預(yù)處理

采用自動(dòng)監(jiān)控傳感器和手持傳感器相結(jié)合的方式采集試驗(yàn)池塘溶解氧等水質(zhì)參數(shù)。池塘中央，選取同一平面的4個(gè)點(diǎn)位放置監(jiān)控傳感器，數(shù)據(jù)實(shí)時(shí)上傳至水產(chǎn)養(yǎng)殖智能監(jiān)控平臺(tái)；池塘四周，選取16個(gè)點(diǎn)位，使用手持傳感器現(xiàn)場(chǎng)記錄水質(zhì)參數(shù)；同時(shí)在池塘的東北角位置搭建便攜式氣象站，實(shí)時(shí)在線采集雨量、風(fēng)速、風(fēng)向、太陽(yáng)輻射、空氣溫度、空氣濕度、大氣壓強(qiáng)、土壤水分、土壤溫度生態(tài)環(huán)境數(shù)據(jù)，試驗(yàn)中所使用的采集設(shè)備及現(xiàn)場(chǎng)照片如圖1所示。采集周期為2017年7月8日至8月8日，每10 min采集1次。因篇幅有限，僅展示采集的2017年7月17日部分原始數(shù)據(jù)如表1所示。

圖1 池塘水質(zhì)監(jiān)測(cè)立體示意圖

表1 2017年7月17日采集的部分原始數(shù)據(jù)

由于設(shè)備故障、網(wǎng)絡(luò)不佳、惡劣環(huán)境以及人為因素等影響，傳感器采集所得的原始數(shù)據(jù)難免出現(xiàn)數(shù)據(jù)缺失、數(shù)據(jù)異常等情況。這樣的數(shù)據(jù)稱為“臟數(shù)據(jù)”，“臟數(shù)據(jù)”會(huì)導(dǎo)致數(shù)據(jù)處理成本和相應(yīng)時(shí)間的增加。此外，不同量綱的數(shù)據(jù)序列也會(huì)影響最終模型的預(yù)測(cè)性能。因此，在進(jìn)行模型研究前針對(duì)前后時(shí)間間隔不大的缺失數(shù)據(jù)現(xiàn)象[19-20]，采用式（1）線性插值的方法對(duì)其進(jìn)行修復(fù)處理；若丟失數(shù)據(jù)較多或時(shí)間間隔較大，則采用天氣類型相同或?qū)ο嘟噜弾滋熘型粫r(shí)刻的數(shù)據(jù)來填補(bǔ)；對(duì)出現(xiàn)的異常數(shù)據(jù)采用式（2）均值平滑法進(jìn)行水平處理和式（3）均值法進(jìn)行垂直處理；并采用式（4）對(duì)數(shù)據(jù)進(jìn)行歸一化處理。

2 預(yù)測(cè)模型構(gòu)建

2.1 主成分分析法

其中，選取主成分的個(gè)數(shù)取決于主成分的累計(jì)貢獻(xiàn)率，用于表示綜合變量解釋原始變量的能力。累計(jì)貢獻(xiàn)率越大說明數(shù)據(jù)信息損失越??；5）計(jì)算主成分載荷矩陣以及主成分得分。其中載荷矩陣表示原始數(shù)據(jù)的協(xié)方差矩陣的特征值。

最后，將原始樣本數(shù)據(jù)帶入主成分的表達(dá)式中即可計(jì)算出主成分得分。

2.2 長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)

LSTM神經(jīng)網(wǎng)絡(luò)可以從經(jīng)驗(yàn)中學(xué)習(xí)分類，更好地對(duì)長(zhǎng)短時(shí)依賴進(jìn)行表達(dá)。目前，LSTM神經(jīng)網(wǎng)絡(luò)已經(jīng)成為RNN甚至深度學(xué)習(xí)框架中熱點(diǎn)的研究模型，并且在手寫字符識(shí)別、語音識(shí)別和機(jī)器翻譯等領(lǐng)域獲得了很好的效果，引起了廣泛的關(guān)注[22]。循環(huán)神經(jīng)網(wǎng)絡(luò)是一類允許節(jié)點(diǎn)連接成有向環(huán)的人工神經(jīng)網(wǎng)絡(luò)。RNN網(wǎng)絡(luò)可以看作是一個(gè)所有層共享相同權(quán)值的深度前饋神經(jīng)網(wǎng)絡(luò)，包含輸入層、輸出層和隱藏層，分別用向量序列(1,…,x)，(1,…,o)，(1,...,)表示。隱含層和輸出層的計(jì)算公式為

式中w、w和 w分別指輸入層和隱含層、隱含層和隱含層以及輸出層和隱含層之間的權(quán)重矩陣。b和b均表示偏差。為網(wǎng)絡(luò)權(quán)值，所有層次共享同一參數(shù)，tanh為雙曲線正切激活函數(shù)。

理論上，RNNs能夠?qū)θ魏伍L(zhǎng)度的序列數(shù)據(jù)進(jìn)行處理，實(shí)際中，如果序列過長(zhǎng)會(huì)出現(xiàn)梯度消失和梯度爆炸的問題。除此之外RNN難以保持較長(zhǎng)時(shí)間的記憶。而LSTM網(wǎng)絡(luò)的出現(xiàn)有效地解決了這些問題。LSTM網(wǎng)絡(luò)不僅具有傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)的功能，而且LSTM網(wǎng)絡(luò)采用特殊的控制單元，解決了誤差信號(hào)消亡的問題[23]。經(jīng)過不斷的改進(jìn)，目前廣泛應(yīng)用的LSTM模型存儲(chǔ)單元的基本架構(gòu)如圖2所示。

注：xt、yt分別為輸入和輸出序列，it、ft、ct和ot為t時(shí)刻的輸入門、遺忘門和輸出門，∫為激活函數(shù)。

主要包括輸入門、輸出門、遺忘門和細(xì)胞狀態(tài)。遺忘門確定需要從從細(xì)胞狀態(tài)中忘記哪些信息；輸出門確定將要更新哪些信息到細(xì)胞狀態(tài)中；輸出門確定將要輸出哪些信息。這3個(gè)門是控制信息流的關(guān)鍵。整個(gè)存儲(chǔ)單元計(jì)算過程可以用如下公式表示

式中i、f、o分別為時(shí)刻輸入門、遺忘門和輸出門的計(jì)算方法；c為時(shí)刻記憶細(xì)胞的計(jì)算方法；h為時(shí)間點(diǎn)LSTM單元的所有輸出。和tan分別表示sigmoid和雙曲正切激活函數(shù)。和表示相應(yīng)的權(quán)重系數(shù)矩陣和偏置項(xiàng)。LSTM模型訓(xùn)練的具體流程為1）根據(jù)公式（6）－（10）計(jì)算LSTM存儲(chǔ)單元的輸出值；2）計(jì)算每個(gè)LSTM存儲(chǔ)單元的誤差項(xiàng)，包括時(shí)間和網(wǎng)絡(luò)層級(jí)2個(gè)反向傳播方向；3）結(jié)合相應(yīng)的誤差項(xiàng)，計(jì)算每個(gè)權(quán)重的梯度；4）采用梯度優(yōu)化算法，本文選用的適應(yīng)性動(dòng)量估算法，更新權(quán)值。

2.3 基于PCA_LSTM神經(jīng)網(wǎng)絡(luò)的溶解氧預(yù)測(cè)模型

基于上述算法，為了提高預(yù)測(cè)模型的精度，本文將2種算法相結(jié)合，構(gòu)建了基于PCA-LSTM的水產(chǎn)養(yǎng)殖溶解氧預(yù)測(cè)模型。其預(yù)測(cè)流程如圖3所示，主要包括水質(zhì)數(shù)據(jù)獲取及數(shù)據(jù)預(yù)處理、溶解氧關(guān)鍵影響因子篩選、基于LSTM神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)模型訓(xùn)練、模型測(cè)試和模型應(yīng)用，具體的水產(chǎn)養(yǎng)殖溶解氧的預(yù)測(cè)過程如圖3。

圖3 基于PCA-LSTM的水質(zhì)溶解氧預(yù)測(cè)流程圖

1）通過水質(zhì)在線檢測(cè)系統(tǒng)和小型氣象站獲取水產(chǎn)養(yǎng)殖水環(huán)境數(shù)據(jù)和當(dāng)?shù)氐臍庀髷?shù)據(jù)，并對(duì)采集到的數(shù)據(jù)進(jìn)行修復(fù)和歸一化預(yù)處理；

2）利用PCA篩選出水產(chǎn)養(yǎng)殖溶解氧的關(guān)鍵影響因子，降低模型輸入?yún)?shù)的維度，消除了變量之間的冗余性和相關(guān)性，并劃分相應(yīng)的樣本訓(xùn)練集和測(cè)試集；

3）初始化預(yù)測(cè)模型的參數(shù)，將訓(xùn)練樣本數(shù)據(jù)集輸入模型，不斷調(diào)整模型參數(shù)，直到獲取目標(biāo)準(zhǔn)確率，構(gòu)建基于PCA-LSTM的水產(chǎn)養(yǎng)殖溶解氧預(yù)測(cè)模型；

4）采用測(cè)試集測(cè)試水產(chǎn)養(yǎng)殖溶解氧預(yù)測(cè)模型性能，與其他傳統(tǒng)預(yù)測(cè)模型對(duì)比分析，實(shí)現(xiàn)對(duì)未來某一時(shí)刻的水產(chǎn)養(yǎng)殖溶解氧含量的精確預(yù)測(cè)。

2.4 模型評(píng)價(jià)指標(biāo)

使用預(yù)處理后的數(shù)據(jù)作為模型的輸入，對(duì)基于PCA-LSTM的預(yù)測(cè)模型進(jìn)行訓(xùn)練和測(cè)試。本文選用的預(yù)測(cè)模型性能評(píng)價(jià)指標(biāo)有平均絕對(duì)誤差（MAE），均方根誤差（RMSE）和平均絕對(duì)百分誤差（MAPE）。如下，公式（16）為MAE的計(jì)算公式，公式（17）為RMSE的計(jì)算公式，公式（18）為MAPE的計(jì)算公式。

3 結(jié)果與討論

3.1 試驗(yàn)準(zhǔn)備

試驗(yàn)之前，我們首先介紹試驗(yàn)中所選用的數(shù)據(jù)集，與本文提出的PCA-LSTM模型相對(duì)比的其他預(yù)測(cè)模型，試驗(yàn)運(yùn)行平臺(tái)和軟硬件環(huán)境，評(píng)價(jià)了對(duì)不同預(yù)測(cè)模型優(yōu)劣精度度量指標(biāo)。

3.1.1 數(shù)據(jù)集

本節(jié)以浙江省淡水水產(chǎn)養(yǎng)殖研究所試驗(yàn)基地某試驗(yàn)池塘中的溶解氧為研究對(duì)象。采用已經(jīng)預(yù)處理過的試驗(yàn)數(shù)據(jù)，主要包括水溫、pH值、溶解氧、風(fēng)速、風(fēng)向、太陽(yáng)輻射、空氣溫度、空氣濕度、大氣壓強(qiáng)、土壤濕度和土壤溫度等水產(chǎn)養(yǎng)殖生態(tài)環(huán)境數(shù)據(jù)。最終實(shí)現(xiàn)2 h后的溶解氧含量預(yù)測(cè)，在線采集到的5 007條樣本數(shù)據(jù)作為數(shù)據(jù)源，利用K折交叉驗(yàn)證法驗(yàn)證和測(cè)試模型性能[24]，其基本思想是將原始數(shù)據(jù)分為份，然后取-1份為訓(xùn)練集，余下的1份作驗(yàn)證集，首先用訓(xùn)練集對(duì)模型進(jìn)行訓(xùn)練，再利用驗(yàn)證集來測(cè)試訓(xùn)練得到的模型。上述過程重復(fù)次，最后利用次驗(yàn)證集上的模型精度的平均值作為評(píng)價(jià)模型的性能指標(biāo)。

3.1.2 對(duì)比模型

除了與單一的LSTM預(yù)測(cè)模型對(duì)比，本文還將PCA-LSTM模型與以下4種淺層模型進(jìn)行試驗(yàn)對(duì)比。

1）BP （back propagation, BP）神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)在復(fù)雜的非線性系統(tǒng)中具有較高的建模能力，并對(duì)數(shù)據(jù)具有良好的擬合能力，在預(yù)測(cè)方面應(yīng)用廣泛。研究表明，這種簡(jiǎn)單的網(wǎng)絡(luò)結(jié)構(gòu)可以逼近任意非線性的函數(shù)，是一種典型的函數(shù)映射之間的關(guān)系[25]。

2）粒子群優(yōu)化BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)存在容易陷入局部極值、穩(wěn)定性差、收斂速度慢等問題，因此目前很多研究著將智能算法加入BP網(wǎng)絡(luò)中，以達(dá)到優(yōu)化[26]。粒子群算法（particle swarm optimization, PSO）通過不斷地更新速度和位置實(shí)現(xiàn)優(yōu)化到全局最優(yōu)解，不依靠梯度信息，可調(diào)參數(shù)少，算法實(shí)現(xiàn)容易且運(yùn)行效率高，具有良好的全局搜索性能，利用個(gè)體間的協(xié)作和競(jìng)爭(zhēng)實(shí)現(xiàn)全局搜索，減少了陷入局部最優(yōu)解的風(fēng)險(xiǎn)，魯棒性強(qiáng)。因此利用PSO優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閾值，能夠改善網(wǎng)絡(luò)的性能，增強(qiáng)泛化能力，提高預(yù)測(cè)精度。

3）極限學(xué)習(xí)機(jī)

ELM（extreme learning machine, ELM）是一種簡(jiǎn)單易用、有效的的單隱層前饋神經(jīng)網(wǎng)絡(luò)[27]。與傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)訓(xùn)練速度慢，容易陷入極小值點(diǎn)，學(xué)習(xí)率的選擇敏感等缺點(diǎn)，ELM算法隨機(jī)產(chǎn)生輸入層與隱含層的連接權(quán)值及隱含層神經(jīng)元的閾值，且在訓(xùn)練過程中無需調(diào)整。只要設(shè)置隱含層神經(jīng)元的個(gè)數(shù)，便可以獲得唯一的最優(yōu)解，具有學(xué)習(xí)速度快、泛化能力好等優(yōu)點(diǎn)[28-29]。

4）最小二乘支持向量機(jī)

最小二乘支持向量機(jī)（least squares support vector machine, LSSVM）采取結(jié)構(gòu)風(fēng)險(xiǎn)最小原則，有效提高了求解速度和噪聲能力，在解決小樣本、非線性等問題中表現(xiàn)出色[30]。它擴(kuò)展了SVM（support vector machine, SVM）的形式，并保留了SVM結(jié)構(gòu)風(fēng)險(xiǎn)最小化和小樣本等優(yōu)點(diǎn)，對(duì)SVM模型進(jìn)行優(yōu)化，將SVM中的損失函數(shù)替換成最小二乘損失函數(shù)，不等式約束條件替換成等式約束條件，使求解過程由二次尋優(yōu)問題轉(zhuǎn)化為線性方程組的求解，簡(jiǎn)化了求解過程、提高運(yùn)算效率[31]。

3.1.3 平臺(tái)和環(huán)境

試驗(yàn)所使用計(jì)算機(jī)的配置如下：處理器為AMD A8-4500M，CPU頻率為2GHz；內(nèi)存為4.00GB；操作系統(tǒng)為Windows 7（64-bit）；程序設(shè)計(jì)語言為python 3.5（64-bit）和MATLAB 7.11.0（64-bit），集成開發(fā)環(huán)境為Anaconda 3和MATLAB R2010b。程序設(shè)計(jì)中，LSTM模型由基于Anaconda的tensorflow 1.2.0程序包實(shí)現(xiàn)，BP神經(jīng)網(wǎng)絡(luò)、PSO-BP神經(jīng)網(wǎng)絡(luò)、極限學(xué)習(xí)機(jī)和最小二乘支持向量回歸均結(jié)合MATLAB所提供的工具箱并完成相關(guān)程序的編寫。

3.2 試驗(yàn)結(jié)果分析

3.2.1 仿真分析

使用小型氣象站采集到的氣象因子較多，它們之間存在一定的相關(guān)性，直接作為模型的輸入會(huì)使網(wǎng)絡(luò)結(jié)構(gòu)過于龐大，所以使用主成分分析法對(duì)池塘養(yǎng)殖環(huán)境數(shù)據(jù)降維和分析，得到不相關(guān)的新變量，最終提取出養(yǎng)殖池塘溶解氧的關(guān)鍵影響因子。本文利用SPSS軟件實(shí)現(xiàn)對(duì)溶解氧關(guān)鍵影響因子的篩選，方差及主成分貢獻(xiàn)率如表2所示。選擇“特征值”大于1的成分作為提取主成分的原則，表2中可以直觀看出，前3個(gè)因子的特征值均大于1，因此選擇前3個(gè)因子代替原變量。采用具有Kaiser標(biāo)準(zhǔn)化的正交旋轉(zhuǎn)法得到各個(gè)環(huán)境因子對(duì)不同主因子的因子載荷，得到的成分矩陣如表3所示，對(duì)第1因子貢獻(xiàn)最大的有太陽(yáng)輻射和土壤溫度；第2因子貢獻(xiàn)較大的是風(fēng)速和溶解氧，風(fēng)向和土壤水分對(duì)第3因子貢獻(xiàn)較大。

表2 方差及主成分貢獻(xiàn)率

表3 成分矩陣

因此本文選用的關(guān)鍵影響因子有水溫、太陽(yáng)輻射、風(fēng)速、風(fēng)向、土壤溫度和土壤水分和溶解氧，也與養(yǎng)殖領(lǐng)域?qū)＜覒{借經(jīng)驗(yàn)選取水質(zhì)溶解氧的關(guān)鍵影響因子基本一致，降低了數(shù)據(jù)維度和復(fù)雜度，并以此構(gòu)建未來某一時(shí)刻溶解氧預(yù)測(cè)模型的輸入樣本，輸出參數(shù)為2 h后的溶解氧含量。由于所使用的計(jì)算機(jī)配置不足，為了提高訓(xùn)練速度，抽取其中的1 000條數(shù)據(jù)作為樣本數(shù)據(jù)集，并采用5折交叉驗(yàn)證方法對(duì)模型精度進(jìn)行評(píng)估。

首先，選取2.3節(jié)提出的方法建立水產(chǎn)養(yǎng)殖溶解氧預(yù)測(cè)模型。采用Adam算法進(jìn)行優(yōu)化，迭代次數(shù)為2 000次時(shí)，其中輸入層節(jié)點(diǎn)數(shù)為7和輸出層節(jié)點(diǎn)數(shù)為1，5次試驗(yàn)所對(duì)應(yīng)的隱含層節(jié)點(diǎn)數(shù)、學(xué)習(xí)率、批尺寸和時(shí)間步的值如表4所示。圖4為5折交叉驗(yàn)證后訓(xùn)練PCA-LSTM模型得到的5組誤差曲線和預(yù)測(cè)趨勢(shì)圖。

表4 PCA-LSTM算法的參數(shù)對(duì)比

圖4中右列的5個(gè)圖表示LSTM神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)值和實(shí)際值的變化趨勢(shì)，從圖中可以看出，樣本集合1、3和5得到的模型精度較高且擬合性能好，樣本集2和4誤差波動(dòng)較大，且比較分散。但是從第二列的5組圖中可以看出，不同樣本最后的預(yù)測(cè)結(jié)果總體趨勢(shì)與實(shí)際值較吻合。

圖4 PCA-LSTM模型的誤差曲線和預(yù)測(cè)趨勢(shì)

為了更加直觀比較PCA-LSTM神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的誤差值，表5為5次試驗(yàn)后得到的LSTM模型的平均相對(duì)誤差、平均絕對(duì)百分誤差和均方根誤差的值。從表中也可以看出，相對(duì)于其他的樣本集，樣本1最終取得的預(yù)測(cè)性能最好，MAE、MAPE和RMSE分別達(dá)到了0.252 9、0.081 4和0.118 6。此外，PCA-LSTM模型的整體預(yù)測(cè)精度較為理想，MAE、MAPE和RMSE（保留3位有效數(shù)字）分別達(dá)到了0.274、0.089和0.147，說明了基于PCA-LSTM神經(jīng)網(wǎng)絡(luò)的水產(chǎn)養(yǎng)殖溶解氧預(yù)測(cè)模型具有較為理想的泛化性能，可以很好地?cái)M合養(yǎng)殖生態(tài)環(huán)境因子與水質(zhì)溶解氧之間復(fù)雜的非線性關(guān)系。

表5 PCA-LSTM預(yù)測(cè)模型的精度分析

3.2.2 模型對(duì)比

為了進(jìn)一步驗(yàn)證PCA-LSTM神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)效果，我們采用不同的預(yù)測(cè)模型進(jìn)行對(duì)比，分別為單一的LSTM模型、PCA-BP模型、PCA-PSOBP模型、PCA-ELM模型和PCA-LSSVM模型，均以相同的樣本集進(jìn)行5折交叉驗(yàn)證。圖5表示PCA-LSSVM、PCA-PSO-BP、PCA-BP、PCA-ELM、單一的LSTM和PCA-LSTM的預(yù)測(cè)誤差曲線?？梢灾庇^地看出，PCA-LSSVM、LSTM以及PCA-LSTM的預(yù)測(cè)值和實(shí)際值的誤差較小，預(yù)測(cè)效果較為理想，并且PCA-LSTM模型的誤差曲線波動(dòng)較小。

由表6可知，PCA-LSTM模型比單一的LSTM模型預(yù)測(cè)精度高，PCA-LSTM模型的MAE、MAPE和RMSE（保留3位有效數(shù)字）分別為0.274、0.089和 0.147，與單一的LSTM模型相比，MAE、MAPE和RMSE分別提高了8%、1.4%和14.1%，可以看出利用PCA實(shí)現(xiàn)了原始數(shù)據(jù)的降維處理，消除了變量之間的冗余性和相關(guān)性，提升了LSTM模型的預(yù)測(cè)精度和穩(wěn)定性。除此之外，與其他4種淺層模型相比，PCA-LSTM模型明顯優(yōu)于PCA-BP、PCA-PSOBP和PCA-ELM，略高于PCA-LSSVM模型。結(jié)果表明提出的PCA-LSTM模型的預(yù)測(cè)精度高、泛化能力強(qiáng)，能夠準(zhǔn)確掌握水產(chǎn)養(yǎng)殖溶解氧含量未來2 h的變化，達(dá)到了比較理想的預(yù)測(cè)效果，可以為水質(zhì)預(yù)警和水質(zhì)調(diào)控提供決策依據(jù)。

圖5 各模型預(yù)測(cè)誤差曲線

表6 各模型預(yù)測(cè)結(jié)果精度分析

4 結(jié) 論

本文提出并構(gòu)建了基于PCA-LSTM神經(jīng)網(wǎng)絡(luò)的水產(chǎn)養(yǎng)殖溶解氧預(yù)測(cè)模型。主要結(jié)論如下：

1）采用PCA篩選出溶解氧的關(guān)鍵影響因子，實(shí)現(xiàn)了模型輸入的降維，消除了變量之間的冗余性和相關(guān)性，有利于提升LSTM預(yù)測(cè)精度和穩(wěn)定性；

2）本文提出的PCA-LSTM模型能夠準(zhǔn)確的預(yù)測(cè)未來2 h溶解氧含量，預(yù)測(cè)精度和穩(wěn)定性較高，能夠很好地?cái)M合水產(chǎn)養(yǎng)殖溶解氧與其他生態(tài)環(huán)境因子之間的非線性關(guān)系；

3）本文提出的PCA-LSTM模型與BP神經(jīng)網(wǎng)絡(luò)等其他模型相比，模型評(píng)價(jià)指標(biāo)平均絕對(duì)誤差、均方根誤差和平均絕對(duì)誤差分別為0.274、0.089和0.147，均優(yōu)于傳統(tǒng)的預(yù)測(cè)方法，解決了傳統(tǒng)預(yù)測(cè)方法預(yù)測(cè)精度低、魯棒性差等問題。

本文溶解氧預(yù)測(cè)模型具有良好的預(yù)測(cè)性能和泛化能力，可以為預(yù)防水體惡化、水產(chǎn)疾病爆發(fā)、水質(zhì)的智能調(diào)控與管理方面具有重要的指導(dǎo)意義。

[1] 劉雙印. 基于計(jì)算智能的水產(chǎn)養(yǎng)殖水質(zhì)預(yù)測(cè)預(yù)警方法研究[D]. 北京：中國(guó)農(nóng)業(yè)大學(xué)，2014.

Liu Shuangyin. Prediction And Early-Warning of Water Quality in Aquaculture Based on Computational Intelligence[D]. Beijing: China Agricultural University, 2014. (in Chinese with English abstract)

[2] 徐龍琴，劉雙印，張壘，等. 基于DBN-LSSVR的南美白對(duì)蝦養(yǎng)殖溶解氧預(yù)測(cè)[J]. 仲愷農(nóng)業(yè)工程學(xué)院學(xué)報(bào)，2017(4)：1－7.

Xu Longqin, Liu Shuangyin, Zhang Lei, et al. Prediction of dissolved oxygen in Litopenaeus vannamei culture based on deep belief network and least squares support vector regression[J]. Journal of Zhongkai University of Agriculture and Engineering, 2017(4): 1－7. (in Chinese with English abstract)

[3] Liang Jin, Luo Fei, Xu Yuge. Dissolved oxygen concentration prediction control through multiobjective evolutionary RBF neural network[C]// Decision and Control, 2009: 1878－1883.

[4] 陳彥，殷建軍，項(xiàng)祖豐，等. 基于時(shí)間序列模型的海洋溶解氧分析與預(yù)測(cè)[J]. 輕工機(jī)械，2012(3)：83－87.

Chen Yan, Yin Jianjun, Xiang Zufeng, et al. Marine dissolved oxygen analysis and prediction based on the time series model[J]. Light Industry Machinery, 2012(3): 83－87. (in Chinese with English abstract)

[5] 馬曉濤，溫繼文，陳英義. 基于ARIMA和RBF神經(jīng)網(wǎng)絡(luò)模型的溶解氧預(yù)測(cè)分析[J]. 江蘇農(nóng)業(yè)科學(xué)，2015(5)：413－415.

[6] 徐敏，曾光明，謝更新，等. 混沌理論在河流溶解氧預(yù)測(cè)中的應(yīng)用初探[J]. 環(huán)境科學(xué)學(xué)報(bào)，2003(6)：776－780.

Xu Min, Zeng Guangming, Xie Gengxin, et al. Prelimiary research on the application of chaos theroy to dissoved oxygen prediction[J]. Acta Scientiae Circumsitantiae. 2003(6): 776－780. (in Chinese with English abstract)

[7] 朱成云，劉星橋，李慧，等. 工廠化水產(chǎn)養(yǎng)殖溶解氧預(yù)測(cè)模型優(yōu)化[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2016(1)：273－278.

Zhu Chengyun, Liu Xingqiao, Li Hui, et al. Optimization of prediction model of dissolved oxygen in industrial aquaculture[J]. Transaction of the Chinese Society for Agricultural Machinery, 2016(1): 273－278. (in Chinese with English abstract)

[8] 劉雙印，徐龍琴，李道亮，等. 基于蟻群優(yōu)化最小二乘支持向量回歸機(jī)的河蟹養(yǎng)殖溶解氧預(yù)測(cè)模型[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2012，28(23)：167－175.

Liu Shuangyin, Xu Longqin, Li Daoliang, et al.Dissolved oxygen prediction model of eriocher sinensis culture based on least squares support vector regression optimized by ant conlony algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(23): 167－175. (in Chinese with English abstract)

[9] 宦娟，劉星橋. 基于K-means聚類和ELM神經(jīng)網(wǎng)絡(luò)的養(yǎng)殖水質(zhì)溶解氧預(yù)測(cè)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2016，32(17)：174－181.

Huan Juan, Liu Xingqiao. Dissolved oxygen prediction in water based on K-means clustering and ELM neural network for aquaculture[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(17): 174－181. (in Chinese with English abstract)

[10] Zhao Z, Chen W, Wu X, et al. Lstm network: A deep learning approach for short-term traffic forecast[J]. Iet Intelligent Transport Systems, 2017, 11(2): 68－75.

[11] Kuremoto T, Kimura S, Kobayashi K, et al. Time series forecasting using a deep belief network with restricted boltzmann machines[J]. Neurocomputing, 2014, 137(Supp.1): 47－56.

[12] Benuwa B B, Yong Z Z, Ghansah B, et al. A review of deep machine learning[J]. International Journal of Engineering Research in Africa, 2016, 24: 124－136.

[13] LeCun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436－444.

[14] Bengio Y. Learning deep architectures for AI[J]. Foundations and Trends in Machine Learning, 2009, 2(1): 1－56.

[15] Hochreiter S, Schmidhuber J. Long short-term memory[J]. Neural Computation, 1997, 9(8): 1735－1780.

[16] 陳卓，孫龍祥. 基于深度學(xué)習(xí)LSTM網(wǎng)絡(luò)的短期電力負(fù)荷預(yù)測(cè)方法[J]. 電子技術(shù)，2018(1)：39－41.

Chen Zhuo, Sun Longxiang. Short-term electrical load forecasting based on deep learnig LSTM networks[J]. Electronics Design & Application, 2018(1): 39－41. (in Chinese with English abstract)

[17] 于家斌，尚方方，王小藝，等. 基于GF-LSTM網(wǎng)絡(luò)的藍(lán)藻水華預(yù)測(cè)方法[J]. 計(jì)算機(jī)應(yīng)用，2018：1－6.

Yu Jiabin, Shang Fangfang, Wang Xiaoyi, et al. Cyanobacterial bloom forecast method based on GF-LSTM network[J]. Journal of Computer Applications, 2018: 1－6. (in Chinese with English abstract)

[18] 王鑫，吳際，劉超，等. 基于Lstm循環(huán)神經(jīng)網(wǎng)絡(luò)的故障時(shí)間序列預(yù)測(cè)[J]. 北京航空航天大學(xué)學(xué)報(bào)，2018，44(4)：772－784.

Wang Xin, Wu Ji, Liu Chao, et al. Exploring LSTM based recurrent neural network for failures time series prediction[J]. Journal of Beijing Unversity of Aeronautics and Astronautics, 2018, 44(4): 772－784. (in Chinese with English abstract)

[19] 吳松濤，侯風(fēng)華，戴鋒. 非線性數(shù)據(jù)標(biāo)準(zhǔn)化處理過程中的線性近似法[J]. 信息工程大學(xué)學(xué)報(bào)，2007，8(2)：250－253.

Wu Songtao, Hou Fenghua, Dai Feng.Linear approxmiating method in the transacting process of nonlinear standardization of data[J]. Journal of Information Engineering University, 2007, 8(2): 250－253. (in Chinese with English abstract)

[20] 徐龍琴，劉雙印. 基于APSO-WLSSVR的水質(zhì)預(yù)測(cè)模型[J]. 山東大學(xué)學(xué)報(bào)：工學(xué)版，2012，42(5)：80－86.

Xu Longqin, Liu Shuangyin. Water quality prediction model based on APSO-WLSSVR[J].Journal of Shandong University: Engineering Science, 2012, 42(5): 80－86. (in Chinese with English abstract)

[21] Wold S, Esbensen K, Geladi P. Principal component analysis[J]. Chemometrics And Intelligent Laboratory Systems, 1987, 2(1/2/3): 37－52.

[22] Jian Z, Cencen X, Ziang Z, et al. Electric load forecasting in smart grids using long-short-term-memory based recurrent neural network[C]// Information Sciences and Systems. IEEE, 2017.

[23] Fujita T, Bai W, Quan C. Long short-term memory networks for automatic generation of conversations[C]// Software Engineering, Artificial Intelligence, Networking And Parallel/Distributed Computing, 2017: 483－487.

[24] 湯寶平，劉文藝，蔣永華. 基于交叉驗(yàn)證法優(yōu)化參數(shù)的Morlet小波消噪方法[J]. 重慶大學(xué)學(xué)報(bào)，2010，33(1)：1－6.

Tang Baoping, Liu Wenyi, Jiang Yonghua. Parameter optimized Morlet wavelet de-noising method based on cross validation method[J]. Journal of Chongqing University, 2010, 33(1): 1－6. (in Chinese with English abstract)

[25] Hirose Y, Yamashita K, Hijiya S. Back-propagation algorithm

which varies the number of hidden units[J]. Neural Networks, 1991, 4(1): 61－66.

[26] 陳嘯，王紅英，孔丹丹，等. 基于粒子群參數(shù)優(yōu)化和BP神經(jīng)網(wǎng)絡(luò)的顆粒飼料質(zhì)量預(yù)測(cè)模型[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2016，32(14)：306－314.

Chen Xiao, Wang Hongying, Kong Dandan, et al. Quality prediction model of pellet feed basing on BP network using PSO parameters optimization method[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(14): 306－314. (in Chinese with English abstract)

[27] Huang G, Zhu Q, Siew C. Extreme learning machine: theory and applications[J]. Neurocomputing, 2006, 70(1/2/3): 489－501.

[28] Huang G B, Zhu Q Y, Siew C K. Extreme learning machine: a new learning scheme of feedforward neural networks[J]. Neural Network: IEEE, 2004: 985－990

[29] Huang G, Zhou H, Ding X, et al. Extreme learning machine for regression and multiclass classification[J]. IEEE Transactions on Systems Man and Cybernetics Part B-Cybernetics, 2012, 42(2): 513－529.

[30] Zhang Y, Liu Y. Traffic forecasting using least squares support vector machines[J]. Transportmetrica, 2009, 5(3): 193－213.

[31] Suykens J, Vandewalle J. Least squares support vector machine classifiers[J]. Neural Processing Letters, 1999, 9(3): 293－300.

Principal component analysis and long short-term memory neural network for predicting dissolved oxygen in water for aquaculture

Chen Yingyi1,2, Cheng Qianqian1,3, Fang Xiaomin1,3, Yu Huihui1,3, Li Daoliang1,2

(1.,,100083,; 2.,,100083,; 3.,100083,)

China has the largest aquaculture industry, accounting for almost 70% of the aquaculture production in the world. The dissolved oxygen in aquaculture directly affects the quality and safety of aquatic products. The dissolved oxygen is susceptible to many factors such as temperature, wind speed, wind direction, etc. So it is significant to understand timely and accurately the change of the dissolved oxygen content which can prevent water quality deterioration, disease outbreaks and optimize aquaculture management. The traditional methods in dissolved oxygen prediction have problems such as low prediction accuracy and poor robustness, with shortcomings like limited ability to express complex functions under limited amount of sample data as well as poor generalization ability for complicated problems. In order to improve the prediction accuracy of the dissolved oxygen in aquaculture, a hybrid model based on principal component analysis (PCA) and long short-term memory (LSTM) neural network was proposed to forecast the dissolved oxygen content in aquaculture. First, the key impact factors of dissolved oxygen in aquaculture were extracted by PCA, which can eliminate the correlations of original variable and reduce the input dimension. Therefore, the key impact factors selected were water temperature, solar radiation, wind speed, wind direction, soil temperature and soil moisture, respectively. Then, a LSTM network model was built based on Tensorflow deep learning framework to construct the nonlinear prediction model between the dissolved oxygen and these key impact factors. Finally, based on the presented prediction model of PCA-LSTM, the dissolved oxygen content was predicted for an experimental pond during July 8th, 2017 to August 8th, 2017 in the Research Institute of Freshwater Aquaculture, Zhejiang province. In the model accuracy analysis process, a 5-fold cross validation method was used to evaluate the approximation accuracy. The experimental results showed that the proposed prediction model of PCA-LSTM had better prediction performance than BP neural network (BPNN), particle swarm optimization BP neural network (PSO-BP), extreme learning machine (ELM) and least squares support vector machine (LSSVM). In the case of the same data set, the MAE, MAPE and RMSE of the PCA-LSTM were 0.274, 0.089 and 0.147, respectively; the MAE, MAPE and RMSE of LSTM were 0.354, 0.103 and 0.288, respectively; the MAE, MAPE and RMSE of PCA-LSSVM were 0.338, 0.100 and 0.297, respectively; the relative MAE, MAPE and RMSE of PCA-ELM were 0.419, 0.130 and 0.343, respectively; the relative MAE, MAPE and RMSE of PCA-PSO-BP were 0.377, 0.133 and 0.280, respectively; and the relative MAE, MAPE and RMSE of PCA-BP were 0.414, 0.141 and 0.335, respectively. It was clear that the presented prediction model was more accurate than BP algorithm, PSO-BP algorithm and ELM algorithm, slightly higher than LSSVM algorithm. The dissolved oxygen prediction model based on PCA-LSTM network exhibited best prediction accuracy and generalization performance when compared with other traditional forecasting models. Therefore, the presented model based on PCA-LSTM network can meet the actual demand of accurate forecasting of dissolved oxygen and provide a reference for water quality control in aquaculture. As well as it also can help farmers make decisions and reduce farming risks.

aquaculture; dissolved oxygen prediction; principal component analysis; long short-term memory; recurrent neural network

10.11975/j.issn.1002-6819.2018.17.024

TP391

A

1002-6819(2018)-17-0183-09

2018-05-23

2018-08-04

山東省重點(diǎn)研究發(fā)展計(jì)劃“設(shè)施蔬菜環(huán)境準(zhǔn)確監(jiān)測(cè)與控制技術(shù)研究與示范（NO. 2017CXGC0201）”，北京市科技計(jì)劃“淡水魚大規(guī)模健康養(yǎng)殖智能控制技術(shù)裝備研究與示范”（NO. Z171100001517016）

陳英義，副教授，博士生導(dǎo)師，主要研究方向?yàn)檗r(nóng)業(yè)模型和信息處理技術(shù)。Email：chenyingyi@cau.edu.cn

陳英義，程倩倩，方曉敏，于輝輝，李道亮. 主成分分析和長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)水產(chǎn)養(yǎng)殖水體溶解氧[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(17)：183－191. doi：10.11975/j.issn.1002-6819.2018.17.024 http://www.tcsae.org

Chen Yingyi, Cheng Qianqian, Fang Xiaomin, Yu Huihui, Li Daoliang. Principal component analysis and long short-term memory neural network for predicting dissolved oxygen in water for aquaculture[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(17): 183－191. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.17.024 http://www.tcsae.org