郭祥云 連京華 李慧敏 孫 凱

(1.北京信息科技大學 信息管理學院，北京 100192；2.山東省農業(yè)科學院 家禽研究所，濟南 250023)

氨氣是一種無色、有毒、有強烈刺激性氣味的氣體，研究表明蛋雞生長環(huán)境的氨氣濃度過高會對雞只的呼吸道黏膜和眼結膜產生刺激并誘發(fā)各種炎癥[1-3]。氨氣濃度受養(yǎng)殖場內溫度、濕度、通風條件等環(huán)境因素影響，依靠監(jiān)測設備可以獲取氨氣濃度數據并對其進行監(jiān)測和調控，但存在調控滯后性問題[4]。及時、準確地預測雞舍內氨氣濃度的變化情況，進而輔助管理人員管理和控制雞舍內環(huán)境，對于改善雞只生存環(huán)境和提高動物福利具有重要意義。

已有研究對畜禽養(yǎng)殖場氨氣濃度的預測提出了一些方法，主要分為2大類: 基于物理化學統計的氨氣排放機理模型和基于經驗的智能算法。機理模型從物理化學角度定量分析氨氣排放的變化規(guī)律；基于經驗的智能算法是黑箱模型，不關注系統內部結構，可以用來解決機理復雜且未知的非線性建模問題[5]。雞舍內氨氣濃度與其他環(huán)境因素間存在復雜的非線性關系[6]，因此，采用基于經驗的智能算法預測雞舍內氨氣濃度是可行的方法之一。

常用的基于經驗的智能算法有經驗模態(tài)分解和長短時記憶神經網絡模型(Empirical mode decomposition-long short term memory, EMD-LSTM)[7]、Logistic回歸模型[8]、自適應模糊神經網絡(Adaptive neuro fuzzy inference system, ANFIS)[2]、灰色隱馬爾可夫模型(Grey hidden markov model，GHMM)[9]、深度信念網絡(Deep belief networks，DBN)[10]、粒子群優(yōu)化極限學習機(Particle swarm optimization-extreme learning machine，PSO-ELM)[11]、反向傳播神經網絡(Back propagation neural network，BPNN)[12-14]等，且多用在豬舍氨氣濃度預測[2,9,15-16]、水體氨氮預測[10-11]、農田和牛舍氨氣濃度[12,17]等領域，有關雞舍氨氣濃度預測算法的研究相對較少。

近年來，循環(huán)神經網絡(Recurrent neural network, RNN)在自然語言處理、機器翻譯和時序預測中取得了很好的效果[5]。RNN可以使用內部存儲器單元來處理任意輸入序列，從而保證學習時間序列的能力，捕捉系統時間和空間的演變。但是，RNN存在梯度消失現象，無法捕捉序列中的長時間依賴性。長短時記憶(Long short-term memory, LSTM) 網絡完整地考慮時間序列中長短期依賴關系，極大程度上避免了梯度消失的發(fā)生[13]。基于雙階段注意力機制的編碼器-解碼器(Encoder-Decoder)模型以LSTM為基本單元，最初被用來解決機器翻譯問題，因其能夠自適應的提取輸入數據特征，同時記憶時間序列的長期依賴關系，在時間序列預測中展現了良好的性能[18-19]。本研究擬采用基于雙階段注意力機制和LSTM的Encoder-Decoder模型構建雞舍內氨氣濃度預測算法，以期為雞舍氨氣濃度高精度預測提供技術支持。

1 材料與方法

1.1 數據來源

本研究數據采集自山東省濟南市商河縣北部某蛋雞養(yǎng)殖場，雞舍長60 m，寬12 m(圖1)，采用自動飼喂和自由飲水方式，全天供水，通風方式為自然通風和強制通風相結合。數據采集時間為2020-04-01—04-07，每15 min采集1次，此時雞齡為160～166 d。采集的雞舍環(huán)境數據包括：二氧化碳(CO2)、氧氣(O2)和氨氣(NH3)體積分數，細顆粒物(PM2.5)質量濃度,溫度和相對濕度[6]?；谖锫摼W的雞舍環(huán)境參數采集系統拓撲結構見圖2，傳感器參數見表1。表2示出2020年4月2日8:00—11:00試驗雞舍環(huán)境數據。

圖1 試驗雞舍Fig.1 Layer house

1.2 研究方法

1.2.1數據預處理

1)缺失值處理：本研究中缺失值主要來源于傳感器通信故障，缺失值填充方法為缺失值所在時間點前后相鄰兩個時間點數據值的平均值[7]。

2)異常數據處理：本研究中異常數據識別標準為測量值與其平均值之差的絕對值大于其標準差的3倍，異常點處數據將被替換為異常點兩側數據的平均值。

3)歸一化處理：為消除環(huán)境參數量綱不同造成的收斂困難問題[20]，本研究采用最大最小法對環(huán)境參數進行歸一化處理，歸一化計算公式為[7]：

圖2 雞舍環(huán)境參數采集系統拓撲結構Fig.2 Topological structure of environmental parameters collection system in layer house

表1 本研究所用傳感器技術參數Table 1 Technical data of sensors in this research

表2 2020-04-02 T8:00—11:00試驗雞舍環(huán)境數據Table 2 Environmental data of layer house at 8:00—11:00 on April 2nd, 2020

(1)

式中：X′為歸一化后的值；X為原始值；Xmin和Xmax分別為原始值中最小值和最大值。

1.2.2雙階段注意力機制模型

雞舍內氨氣濃度受溫度、濕度等多種環(huán)境參數影響，環(huán)境變量在同一時刻具有相互依賴性，同時，不同時刻的環(huán)境變量數據對其他時刻的環(huán)境變量數據影響也不同，雙階段注意力機制模型在編碼器和解碼器階段均引入注意力機制，能夠獲取雞舍環(huán)境變量之間的依賴性和環(huán)境變量數據序列的時間依賴性。

1)雙階段注意力模型結構。

雙階段注意力機制預測模型的結構見圖3。模型輸入為雞舍中CO2和O2的體積分數、PM2.5質量濃度以及溫度、相對濕度序列數據，時間窗口大小為T。輸入注意力機制模塊用以捕捉環(huán)境變量之間的依賴性，該模塊能夠自適應地提取環(huán)境變量對氨氣濃度的影響程度，并賦予環(huán)境變量不同的權重；經過輸入注意力機制加權的環(huán)境數據傳遞給編碼器模塊進行編碼，然后進入時間注意力機制模塊，時間注意力模塊自適應提取不同時刻環(huán)境數據對氨氣濃度的影響程度，并對不同時刻的環(huán)境數據進行加權，經過時間注意力模塊加權后進入解碼器進行解碼。最后將信息傳輸給全連接層輸出氨氣濃度預測值。

圖3 雙階段注意力模型結構Fig.3 Two-stage attention mechanism structure

2)長短時記憶網絡(LSTM)。

本研究中編碼器和解碼器均采用LSTM算法(圖4)，LSTM算法由Hochreiter等提出[21]，其隱藏層神經元包括細胞狀態(tài)和3個門結構，實現控制信息在細胞狀態(tài)上的更新。

圖4 LSTM單元結構Fig.4 LSTM cell structure

LSTM單元主要計算公式如下：

(2)

Ut=σ(Wu[ht-1,xt]+bu)

(3)

Ft=σ(Wf[ht-1,xt]+bf)

(4)

Ot=σ(Wo[ht-1,xt]+bo)

(5)

(6)

ht=Ot⊙tanh(ct)

(7)

3)輸入注意力機制。

(8)

(9)

(10)

4)時間注意力機制。

(11)

(12)

時間注意力模塊的輸出ot計算公式為：

(13)

5)解碼器。

解碼器結合全連接層對T+1時刻的氨氣體積分數進行預測，Y=(y1,y2,…,yt,…,yT)表示T時間窗口內各個時刻的氨氣體積分數，yt表示t時刻的氨氣體積分數。具體過程為：

(14)

(15)

圖5 輸入注意力機制Fig.5 Input attention mechanism

圖6 時間注意力機制Fig.6 Temporal attention mechanism

(16)

式中：oT為時間注意力模塊T時刻的輸出；Vy，Wy，bw，b為待訓練參數。

1.2.3模型評價方法

為了比較不同預測模型的性能，采用平均絕對誤差(Mean absolute error, MAE)、均方根誤差(Root mean square error, RMSE)2個指標衡量各模型的預測結果[6]。MAE和RMSE的計算公式分別為：

(17)

(18)

2 結果與分析

本研究中CO2、NH3和O2的體積分數,溫度和相對濕度數據的缺失率分別為0.299%，0.747%，0.149%，0.897%，0.897%，PM2.5質量濃度數據無缺失。數據集的劃分采用holdout方法，訓練集占比為80%，測試集占比為20%。經多次試驗，選擇的優(yōu)化函數為Adam，學習率為0.001，隱藏狀態(tài)大小為64，時間窗口T∈{2,3,4,8}，分別對應實際時間為30, 45, 60和120 min。對比算法為支持向量回歸 (Support vector regression，SVR)、人工神經網絡(Artificial neural network，ANN) 和無注意力機制的LSTM算法。SVR模型參數為：核函數為徑向基函數(Radial Basis Function，RBF)；時間窗口T∈{2,3,4,8}的懲罰系數分別為1.0,0.5,0.5,1.0；ANN模型為1個輸入層，5個隱藏層和1個輸出層，5個隱藏層神經元個數分別為5,10,25,10,5，激活函數為tanh；無注意力機制的LSTM模型參數與本研究中模型參數相同。模型采用Python 3.6、sklearn 0.23.2、Pytorch 1.1.0框架進行開發(fā)。

圖7示出不同時間窗口T下測試集NH3體積分數預測結果對比。直觀地看，隨著T的增加，模型擬合效果逐漸向好。當T為8時，NH3體積分數波動較小時刻，模型預測能力強；NH3體積分數波動幅度較大時刻，模型預測能力較弱。

圖7 不同時間窗口T下測試集氨氣體積分數觀測值和預測值Fig.7 Observations and predictions of NH3 volume fraction on testing set under different window size

圖8示出不同時間窗口T下的測試集NH3體積分數預測殘差。T=2時，殘差區(qū)間為±2.0 μL/L；T∈{3,4}時，殘差區(qū)間為±3.0 μL/L，T=4時殘差波動幅度較T=3時??；T=8時，最大殘差超過了4.0 μL/L。對于不同時間窗口T，最大殘差均出現在氨氣濃度波動較大的時刻，表明在氨氣濃度波動較大時，模型預測能力較弱。同時，隨著時間窗口T的增加，在氨氣濃度變化較小的區(qū)間內，殘差較??；相反地，氨氣濃度波動劇烈的區(qū)間殘差較大。

圖8 不同時間窗口T下測試集NH3體積分數預測殘差Fig.8 Residual of NH3 volume fraction under different window size

表3示出不同模型RMSE和MAE指標對比。本研究模型的RMSE在T為2，3和4時分別為0.433 4，0.394 8和0.379 9 μL/L, 逐漸減?。籘=8時，相較之前有所增加，為0.405 1 μL/L，與文獻[19]研究呈現類似的變化趨勢，表明時間窗口T太大或太小會導致模型魯棒性和泛化性的變化，在進行氨氣濃度預測時需要選擇合適的時間窗口。MAE在4個時間窗口T下分別為0.267 4，0.262 9，0.228 9和0.272 4 μL/L，呈現同樣的變化趨勢。

從RMSE指標看，相較于SVR，在T為2,3,4和8時分別降低了43.61%，57.77%，48.50%和43.85%，相較于ANN分別降低了43.77%，57.51%，48.66%和45.21%。從MAE指標看，相較于SVR, 在T為2,3,4和8時分別降低了20.01%, 28.79%, 35.84%和12.91%, 相較于ANN分別降低了24.07%，32.88%，38.71%，25.36%?？梢钥闯?，SVR和ANN模型預測結果接近，本模型的預測結果在RMSE和MAE評價指標框架下優(yōu)于SVR和ANN。

無注意力機制的LSTM算法表現優(yōu)于SVR和ANN，略遜于雙階段注意力機制的LSTM模型，在T為2,3,4和8時，RMSE分別為0.474 6,0.504 5,0.450 4和0.535 2 μL/L，MAE分別為0.270 2,0.283 7,0.243 2和0.272 6 μL/L，相比于該模型，基于雙階段注意力機制的LSTM模型在RMSE指標上分別降低了8.68%,21.74%,15.65%和24.98%；在MAE指標上分別降低了1.04%,7.33%,5.88%和0.07%。

表3 各模型測試集氨氣體積分數預測誤差對比Table 3 Comparison of prediction error of NH3 volume fraction with different models on test dataset

3 結 論

本研究采用基于雙階段注意力機制和LSTM算法對雞舍氨氣濃度進行預測，并與傳統的SVR和ANN算法以及無注意力機制的LSTM算法進行比較研究。結果表明，基于雙階段注意力機制和LSTM的模型相較于SVR、ANN和無注意力機制的LSTM模型，在不同時間窗口下RMSE和MAE均較低?；陔p階段注意力機制和LSTM的模型能夠提高雞舍氨氣濃度時序數據變化趨勢的預測精度，能更準確地預測雞舍氨氣濃度變化和趨勢。

循環(huán)神經網絡訓練需要大量數據集，為了提高模型的魯棒性，今后研究可以采取增加數據集等方法改善模型表現；同時雞舍環(huán)境受如溫度、濕度、氣象因素、飲食等眾多因素影響，且環(huán)境變量間存在復雜的非線性關系,考慮更多環(huán)境因子或有助于提高模型預測精度及魯棒性。