楊亞飛+湯軍+宋樹華+李功權(quán)

摘要：目前，農(nóng)業(yè)生產(chǎn)已經(jīng)越來越趨于精細(xì)化和智能化，該文介紹了基于可橫向擴(kuò)展的列式數(shù)據(jù)庫HBase以及并行計算框架MapReduce等大數(shù)據(jù)技術(shù)的農(nóng)業(yè)物聯(lián)網(wǎng)的應(yīng)用系統(tǒng)。農(nóng)業(yè)物聯(lián)網(wǎng)涉及對農(nóng)業(yè)生產(chǎn)環(huán)境數(shù)據(jù)的實時采集、農(nóng)作物的實時監(jiān)控、農(nóng)作物的生長狀況判斷以及改善農(nóng)物的生長環(huán)境等方面。一個完整的物聯(lián)網(wǎng)系統(tǒng)應(yīng)該涉及農(nóng)作物生長的各個方面，系統(tǒng)基于采集的數(shù)據(jù)擬合環(huán)境變化曲線（ECC），然后，再結(jié)合作物的生長狀況學(xué)習(xí)出農(nóng)作物的最佳生長環(huán)境（CBGE）曲線，最后，再依據(jù)農(nóng)作物的生長周期構(gòu)造農(nóng)作物生長模型（CGM）。在此基礎(chǔ)上就可以實現(xiàn)農(nóng)作物的精細(xì)化耕作，實現(xiàn)遠(yuǎn)程控制環(huán)境變化進(jìn)而達(dá)到智能耕作的目的。

關(guān)鍵詞：物聯(lián)網(wǎng)；數(shù)據(jù)采集；并行計算；列式存儲；大數(shù)據(jù)技術(shù)

中圖分類號：TP393 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2017）34-0232-03

Abstract： At present， agricultural production has become more and more sophisticated and intelligent.This article introduce the Based on big data technology that including column database HBase and MapReduce computing framework etc to realize the agriculture IOT application system. Agricultural IOT involves real-time collection of agricultural production environment data， real-time monitoring of crops， growth status judgment of crops and improvement of the growth environment of agricultural products.A complete IOT system should involve all aspects of crop growth，the system is Based on the collected data to fit the environmental change curve.Combining the growth status of crops， we can learn the best growth environment of crops（CBGE），finally， the crop growth model（CGM） is constructed according to the growth cycle of the crop.On this basis， fine farming of crops can be realized， remote control of environmental changes can be realized， and then the purpose of intelligent tillage can be achieved.

Key words： Internet of Things； data collection； parallel computing； column Store； big data technology

物聯(lián)網(wǎng)可以理解成物與物相連的互聯(lián)網(wǎng)，它利用互聯(lián)網(wǎng)技術(shù)把物和人聯(lián)系在一起，使人與物、物與物相關(guān)聯(lián)在一起[1-2][4-5]。目前，物聯(lián)網(wǎng)已經(jīng)滲透到了各行各業(yè)，智能家具、智慧醫(yī)療等都映射出了物聯(lián)網(wǎng)的影子。農(nóng)業(yè)物聯(lián)網(wǎng)則是指把農(nóng)業(yè)生態(tài)系統(tǒng)中的動植物個體、環(huán)境因素、生產(chǎn)資料等聯(lián)結(jié)在一起，實現(xiàn)對農(nóng)業(yè)對象和過程智能化識別、定位、跟蹤、監(jiān)控和管理的一種網(wǎng)絡(luò)[1][5]。國外的農(nóng)業(yè)物聯(lián)網(wǎng)主要應(yīng)用于農(nóng)業(yè)資源、環(huán)境、生產(chǎn)過程、農(nóng)產(chǎn)品安全等領(lǐng)域的管理[3]。而我國農(nóng)業(yè)物聯(lián)網(wǎng)則主要應(yīng)用于大田種植、設(shè)施園藝、畜禽養(yǎng)殖、水產(chǎn)養(yǎng)殖、農(nóng)產(chǎn)品物流等領(lǐng)域[3][5]。目前，農(nóng)業(yè)物聯(lián)網(wǎng)也存在著不同系統(tǒng)的應(yīng)用，但是這些系統(tǒng)往往存在數(shù)據(jù)存儲擴(kuò)展困難等問題[2][5][6-7]，為了應(yīng)對數(shù)據(jù)不斷增長的物聯(lián)網(wǎng)應(yīng)用，有必要拓展數(shù)據(jù)的存儲結(jié)構(gòu)。另外，相對于傳統(tǒng)關(guān)系數(shù)據(jù)庫而言，列式數(shù)據(jù)庫更適合做分析。

系統(tǒng)基于可橫向擴(kuò)展的列式數(shù)據(jù)庫和大數(shù)據(jù)計算框架來進(jìn)行設(shè)計實現(xiàn)的。基于大數(shù)據(jù)技術(shù)實現(xiàn)物聯(lián)網(wǎng)的功能，不僅可以為我們提供幾乎沒有限制的數(shù)據(jù)存儲功能優(yōu)勢，還可以對海量的農(nóng)作物生長環(huán)境數(shù)據(jù)進(jìn)行快速的分析，無論是分析它的生長模型還是對農(nóng)作物做其他的研究都離不開大量的數(shù)據(jù)基礎(chǔ)，而大量數(shù)據(jù)的分析必然造成時間上的大量消耗，并行計算為我們提供了解決方案，它的計算效率勝過傳統(tǒng)方案的百倍千倍，所以利用大數(shù)據(jù)技術(shù)實現(xiàn)農(nóng)業(yè)物聯(lián)網(wǎng)有著重要的意義。

1 建立列式數(shù)據(jù)庫

Hadoop是目前使用最廣泛的大數(shù)據(jù)技術(shù)，它允許開發(fā)人員使用簡單的編程模型通過計算機(jī)集群進(jìn)行大數(shù)據(jù)的分布式處理的計算框架。它可以將服務(wù)器從單臺擴(kuò)展到上千臺，每臺服務(wù)器都可以提供本地的計算和存儲資源[8]。

相對于傳統(tǒng)關(guān)系型數(shù)據(jù)庫列式數(shù)據(jù)庫的讀取效率明顯要更高，它不再需要像關(guān)系數(shù)據(jù)庫一樣為讀取某個字段的值而掃描整個表結(jié)構(gòu)的數(shù)據(jù)，如果我們需要讀取某列的數(shù)據(jù)只需要讀取此列的數(shù)據(jù)就可以了。另外，在擴(kuò)展方面它也可以很簡單只要在Hadoop集群中添加計算機(jī)節(jié)點然后再添加相應(yīng)的服務(wù)就可以有效的擴(kuò)展它的存儲容量，這使得它獲得幾乎無限容量的存儲能力[8-10]。

系統(tǒng)采集的數(shù)據(jù)主要來自傳感器，我們會將傳感器上傳送的數(shù)據(jù)轉(zhuǎn)換成可識別的信息存儲到HBase數(shù)據(jù)庫中。endprint

1.1 數(shù)據(jù)庫詳細(xì)內(nèi)容

HBase是列式數(shù)據(jù)庫，所以與傳統(tǒng)關(guān)系型數(shù)據(jù)庫的設(shè)計模式不同，我們將按照列式數(shù)據(jù)庫的設(shè)計方法來進(jìn)行數(shù)據(jù)庫設(shè)計。目前，列式數(shù)據(jù)庫的設(shè)計還沒有固定的模式，系統(tǒng)將根據(jù)實際需求對數(shù)據(jù)庫的列族、列、行健進(jìn)行一定的設(shè)計。

（1） 列族，實際種植環(huán)境信息（如溫濕度）并不能以一個傳感器的數(shù)據(jù)來決定，根據(jù)采集區(qū)域范圍大小需要多個傳感器的數(shù)據(jù)共同來決定，所以列族名將由地區(qū)、地塊和農(nóng)作物本身共同來決定的。編碼如下：

地區(qū)采用實際的地名作為編碼的一部分，實際上都會采用區(qū)域編號來代替，例如，對于大棚實驗田就會分為A區(qū)、B區(qū)等。考慮到傳感器覆蓋區(qū)域的數(shù)量，我們將一定數(shù)量的傳感器所覆蓋的區(qū)域當(dāng)做一個地塊，對于大棚來說，一個大棚就可以當(dāng)成一個地塊。最后是農(nóng)作物的品種標(biāo)記，用來標(biāo)識采集地塊類的農(nóng)作物，一般將同一種農(nóng)作物放在同一個地塊中，這樣采集的數(shù)據(jù)參考意義更大。

（2） 列，列將由傳感器的標(biāo)識來決定?？紤]到同一個地塊將采集多種數(shù)據(jù)，而每一種數(shù)據(jù)將在地塊的不同位置采集多次。我們將同一個地塊中的所有同類型傳感器的數(shù)據(jù)都放在同一個列族當(dāng)中，這有利于后期的數(shù)據(jù)挖掘和統(tǒng)計分析。例如，一個大棚（將一個大棚當(dāng)做一個地塊）中包含上下各6個溫度傳感器，則一個地塊中同一時間可以獲得12個溫度類型的數(shù)據(jù)，這些數(shù)據(jù)都會被放到一個列族中存儲起來。

（3） 行健，環(huán)境數(shù)據(jù)的采集是連續(xù)的，如果不間斷的采集，即使一天的數(shù)據(jù)量也是可觀的。當(dāng)然，這是沒有必要的，所以系統(tǒng)將定時的對環(huán)境數(shù)據(jù)進(jìn)行篩選存儲。系統(tǒng)實時的接受傳感器傳輸?shù)沫h(huán)境數(shù)據(jù)信息并將這些數(shù)據(jù)緩存到系統(tǒng)的內(nèi)存中，當(dāng)數(shù)據(jù)達(dá)到一定的數(shù)據(jù)量時（如64M）系統(tǒng)將激活數(shù)據(jù)分析方法對內(nèi)存中的數(shù)據(jù)進(jìn)行篩選，系統(tǒng)將篩選出發(fā)生變化的時刻數(shù)據(jù)，當(dāng)然，采集的數(shù)據(jù)可能隨時都在發(fā)生微小變化，系統(tǒng)將設(shè)計數(shù)據(jù)變化的差值（如變化程度不大于1攝氏度就不算發(fā)生變化）來控制數(shù)據(jù)的采集數(shù)量。

另外行健影響這HBase數(shù)據(jù)庫的執(zhí)行效率，一般都將行健的命名盡量的取短一點的值，本次將以精確到秒的時間來作為行健。

1.2 數(shù)據(jù)采集入庫

傳感器采集的數(shù)據(jù)是主要影響農(nóng)作物生長的環(huán)境信息數(shù)據(jù)，諸如土壤溫濕度、空氣溫濕度、光照強(qiáng)度等農(nóng)作物生長環(huán)境參數(shù)。傳統(tǒng)的種植方式，無法對這些生長環(huán)境參數(shù)進(jìn)行實時監(jiān)測與定量、定性分析。物聯(lián)網(wǎng)改變了農(nóng)業(yè)生產(chǎn)的模式，我們將各類環(huán)境數(shù)據(jù)采集并存儲到HBase中（如圖1），這些數(shù)據(jù)將是構(gòu)建農(nóng)作物生長模型或分析農(nóng)作物的重要數(shù)據(jù)支撐。

2 農(nóng)業(yè)物聯(lián)網(wǎng)系統(tǒng)功能介紹

農(nóng)業(yè)的發(fā)展越來越偏向機(jī)械化和智能化，為了構(gòu)建智能化的農(nóng)業(yè)生產(chǎn)模式，農(nóng)業(yè)物聯(lián)網(wǎng)系統(tǒng)還需要提供必要的智能化生產(chǎn)功能應(yīng)用。根據(jù)現(xiàn)有的需求和前人的研究系統(tǒng)暫時確定了五項功能模塊[11-13]。這五項功能將農(nóng)作物生長環(huán)境、生長狀況、生長模型等直觀的提供給使用者，使用者可以根據(jù)這些信息去培養(yǎng)、管理自己的農(nóng)產(chǎn)品。

農(nóng)業(yè)物聯(lián)網(wǎng)應(yīng)用系統(tǒng)主要由數(shù)據(jù)采集、數(shù)據(jù)可視化、實時監(jiān)控和統(tǒng)計分析等模塊組成。數(shù)據(jù)采集功能主要是將傳感器信號轉(zhuǎn)換成可識別的文字或數(shù)字信息；數(shù)據(jù)可視化功能主要是將數(shù)據(jù)以生動的形式展示出來供使用者查看瀏覽；實時監(jiān)控則是實時的傳遞地塊農(nóng)作物的視頻信息，可以實時的查看農(nóng)作物的生長狀況。

2.1 環(huán)境信息實時監(jiān)測

將實時采集的環(huán)境信息較為美觀的展示出來，可以為使用者帶來較好的感官體驗。最重要的也是實時的監(jiān)測農(nóng)作物生長環(huán)境的變化，在必要的時候可以根據(jù)這些數(shù)據(jù)信息的反饋做人工的干預(yù)，比如缺水就可以通過系統(tǒng)控制設(shè)備噴水實現(xiàn)為農(nóng)作物添加水分（如圖2所示）。

2.2 地塊標(biāo)注和實時監(jiān)控

將不同的地塊在地圖上以矢量圖來標(biāo)注出來，這樣可以直觀地了解我們地塊的區(qū)域范圍。在地塊周圍安裝監(jiān)控攝像頭，攝像頭實時捕獲地塊內(nèi)的畫面。使用者可以遠(yuǎn)程訪問來觀看地塊的實時畫面。既可以幫助生產(chǎn)管理者遠(yuǎn)程了解作物的生長狀況，也可以幫助農(nóng)業(yè)專家通過遠(yuǎn)程監(jiān)控畫面了解作物的健康狀況，解決種植中的病害難題（如圖3所示）。

2.3 環(huán)境變化趨勢分析

將不同的環(huán)境信息數(shù)據(jù)根據(jù)時間的變化擬合出它的變化趨勢曲線（ECC），這樣可以方便我能觀察它的變化趨勢以及合理的預(yù)測將來短時間內(nèi)的變化。根據(jù)作物的生長情況擬合出最適合農(nóng)作物的生長環(huán)境（CBGE）曲線（如下圖4所示）。擬合環(huán)境變化趨勢圖之前需要對數(shù)據(jù)做一些必要的處理，因為HBase自身并沒有自帶的挖掘函數(shù)，此時MapReduce計算框架就起到了作用，我們利用MapReduce計算框架去處理分析HBase中的數(shù)據(jù)，再可視化到實際的圖表中，此處我們用到了數(shù)據(jù)驅(qū)動的echarts作為大數(shù)據(jù)量的可視化圖表。

2.4 構(gòu)造生長模型

根據(jù)農(nóng)作物的生長環(huán)境和自身的生長狀況構(gòu)造農(nóng)作物生長模型（CGM）[14-17]，此模型可以根據(jù)農(nóng)作物的生長環(huán)境大致判斷農(nóng)作物的生長周期，可以為農(nóng)作物的播種、施肥、收獲做系統(tǒng)性的建議（如下圖5所示）。

2.5 聯(lián)網(wǎng)設(shè)備控制

系統(tǒng)具有每天多個時間段的獨立目標(biāo)溫度、目標(biāo)濕度、目標(biāo)風(fēng)速、目標(biāo)風(fēng)向設(shè)定，可以人為控制各個設(shè)備的開啟與關(guān)閉，對于大棚內(nèi)的精細(xì)化種植作業(yè)來說可以做到為環(huán)境參數(shù)作實時的改變和控制，對于野外來說則可以控制施肥灑水等設(shè)備（如下圖6所示）。

3 總結(jié)

本文闡述了基于大數(shù)據(jù)技術(shù)設(shè)計實現(xiàn)了農(nóng)業(yè)物聯(lián)網(wǎng)應(yīng)用系統(tǒng)，系統(tǒng)基于可橫向擴(kuò)展的列式數(shù)據(jù)庫以及能夠在海量數(shù)據(jù)中進(jìn)行并行計算的計算框架實現(xiàn)了采集農(nóng)業(yè)生產(chǎn)環(huán)境數(shù)據(jù)和構(gòu)造農(nóng)作物生長模型以及其他功能。

系統(tǒng)根據(jù)采集的數(shù)據(jù)對農(nóng)作物的最佳生長環(huán)境進(jìn)行擬合，并在此基礎(chǔ)上構(gòu)建農(nóng)作物生長模型?？梢愿鶕?jù)農(nóng)作物的生長環(huán)境大致判斷農(nóng)作物的生長周期，可以為農(nóng)作物的播種、施肥、收獲做系統(tǒng)性的建議。系統(tǒng)結(jié)合大數(shù)據(jù)技術(shù)實現(xiàn)了對農(nóng)業(yè)生產(chǎn)模式做了極大的改變，當(dāng)然，目前廣泛推廣還是比較困難，但是，農(nóng)業(yè)生產(chǎn)的智能化必然會是發(fā)展的大趨勢。endprint

參考文獻(xiàn)：

[1] 趙璐，楊印生.農(nóng)業(yè)物聯(lián)網(wǎng)技術(shù)與農(nóng)業(yè)機(jī)械化發(fā)展[J].農(nóng)機(jī)化研究，2011，08：226-229.

[2] 蘇美文.物聯(lián)網(wǎng)產(chǎn)業(yè)發(fā)展的理論分析與對策研究[D].吉林大學(xué)，2015.

[3] 王家農(nóng).農(nóng)業(yè)物聯(lián)網(wǎng)技術(shù)應(yīng)用現(xiàn)狀和發(fā)展趨勢研究[J].農(nóng)業(yè)網(wǎng)絡(luò)信息，2015，09：18-22.

[4] 熊本海，楊振剛，楊亮，潘曉花.中國畜牧業(yè)物聯(lián)網(wǎng)技術(shù)應(yīng)用研究進(jìn)展[J].農(nóng)業(yè)工程學(xué)報，2015，S1：237-246.

[5] 葛文杰，趙春江.農(nóng)業(yè)物聯(lián)網(wǎng)研究與應(yīng)用現(xiàn)狀及發(fā)展對策研究[J].農(nóng)業(yè)機(jī)械學(xué)報，2014，07：222-230+277.

[6] 寧煥生，徐群玉.全球物聯(lián)網(wǎng)發(fā)展及中國物聯(lián)網(wǎng)建設(shè)若干思考[J].電子學(xué)報，2010，38（11）：2590-2599. [2017-09-01].

[7] 許世衛(wèi). 我國農(nóng)業(yè)物聯(lián)網(wǎng)發(fā)展現(xiàn)狀及對策[J]. 中國科學(xué)院院刊，2013，28（06）：686-692.

[8] Apache.Hadoop官網(wǎng)[EB/OL].http：//hadoop.apache.org/

[9] 景晗，鄭建生，陳鯉文，許朝威. 基于MapReduce和HBase的海量網(wǎng)絡(luò)數(shù)據(jù)處理[J]. 科學(xué)技術(shù)與工程，2015，15（34）：182-191.

[10] 馮曉普. HBase存儲的研究與應(yīng)用[D].北京郵電大學(xué)，2014.

[11] 陳一飛.農(nóng)業(yè)復(fù)雜大系統(tǒng)的智能控制與農(nóng)業(yè)物聯(lián)網(wǎng)關(guān)系探討[J].農(nóng)業(yè)網(wǎng)絡(luò)信息，2012，（02）：8-12.

[12] 文燕.基于Hadoop農(nóng)業(yè)大數(shù)據(jù)管理平臺的設(shè)計[J]. 計算機(jī)系統(tǒng)應(yīng)用，2017，26（05）：74-79.

[13] 李瑾，郭美榮，高亮亮.農(nóng)業(yè)物聯(lián)網(wǎng)技術(shù)應(yīng)用及創(chuàng)新發(fā)展策略[J]. 農(nóng)業(yè)工程學(xué)報，2015，31（S2）：200-209.

[14] 陳新月，趙建濤，張靜.國外作物生長模型研究[J].吉林農(nóng)業(yè)，2015，（17）：115-116.

[15] 趙青松，陳林，孫波，朱艷，姜海燕. 基于Hadoop的云環(huán)境下作物生長模型算法的實現(xiàn)與測試[J]. 農(nóng)業(yè)工程學(xué)報，2013，29（08）：179-186.

[16] 張紅衛(wèi)，陳懷亮，周官輝，葛紅梅.農(nóng)作物生長動態(tài)監(jiān)測技術(shù)綜述[A]. 中國氣象學(xué)會.第27屆中國氣象學(xué)會年會現(xiàn)代農(nóng)業(yè)氣象防災(zāi)減災(zāi)與糧食安全分會場論文集[C].中國氣象學(xué)會：，2010：9.

[17] 王偉，黃義德，黃文江，李存軍，王嫻. 作物生長模型的適用性評價及冬小麥產(chǎn)量預(yù)測[J]. 農(nóng)業(yè)工程學(xué)報，2010，26（03）：233-237.endprint