胡怡文

（四川工商學(xué)院，四川 成都 611743）

當(dāng)前信息化的技術(shù)和裝備正逐漸成為社會(huì)發(fā)展和變革的重要推動(dòng)力，而互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等現(xiàn)代信息技術(shù)和裝備讓農(nóng)業(yè)種植工作呈現(xiàn)了欣欣向榮的科技化發(fā)展態(tài)勢(shì)。在農(nóng)業(yè)生產(chǎn)過程中準(zhǔn)確獲取有效信息、存儲(chǔ)數(shù)據(jù)、對(duì)數(shù)據(jù)進(jìn)行分析和挖掘、應(yīng)用數(shù)據(jù)信息對(duì)農(nóng)作物生長(zhǎng)需求、自然災(zāi)害、農(nóng)業(yè)產(chǎn)量做出準(zhǔn)確預(yù)測(cè)。

1 農(nóng)業(yè)大數(shù)據(jù)概述

大數(shù)據(jù)技術(shù)是驅(qū)動(dòng)現(xiàn)代化農(nóng)業(yè)發(fā)展的核心動(dòng)力。農(nóng)業(yè)大數(shù)據(jù)滿足大數(shù)據(jù)的五個(gè)特性，數(shù)據(jù)量大（Volume）、處理速度快（Velocity）、數(shù)據(jù)類型多（Variety）、價(jià)值大（Value）、精確性高（Veracity）是融合了農(nóng)業(yè)地域性、季節(jié)性、多樣性、周期性等自身特征后產(chǎn)生的來源廣泛、類型多樣、結(jié)構(gòu)復(fù)雜、具有潛在價(jià)值，并難以應(yīng)用通常方法處理和分析的數(shù)據(jù)集合。

我國(guó)作為傳統(tǒng)的農(nóng)業(yè)大國(guó)，僅靠國(guó)內(nèi)資源卻已經(jīng)難以保障“中國(guó)人的飯碗”。2018年，我國(guó)農(nóng)產(chǎn)品進(jìn)出口額2168.1億美元，同比增7.7%。其中，出口797.1億美元，增5.5%；進(jìn)口1371.0億美元，增8.9%；貿(mào)易逆差573.8億美元，增14.0%。而隨著城鄉(xiāng)一體化的加快推進(jìn)，國(guó)人對(duì)糧食等農(nóng)產(chǎn)品的需求還將進(jìn)一步增加。綜合起來分析，目前在管理和處理農(nóng)業(yè)大數(shù)據(jù)方面存在以下問題：①互聯(lián)網(wǎng)農(nóng)業(yè)基礎(chǔ)設(shè)施不足、缺乏信息平臺(tái)。②農(nóng)業(yè)產(chǎn)品的產(chǎn)量不穩(wěn)定，經(jīng)營(yíng)者靠天吃飯。③海量數(shù)據(jù)存儲(chǔ)，如何統(tǒng)一管理和統(tǒng)一調(diào)度。④農(nóng)業(yè)大數(shù)據(jù)的價(jià)值挖掘和利用方面不夠全面。

2 系統(tǒng)架構(gòu)設(shè)計(jì)方案

云存儲(chǔ)是指通過集群應(yīng)用、網(wǎng)格技術(shù)及分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量不同類型的存儲(chǔ)設(shè)備通過應(yīng)用軟件集群起來協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問功能的一個(gè)系統(tǒng)。

整個(gè)系統(tǒng)架構(gòu)分由：數(shù)據(jù)采集層、數(shù)據(jù)存儲(chǔ)層、數(shù)據(jù)管理層、數(shù)據(jù)服務(wù)層、用戶訪問層等五個(gè)部分組成。搭建Zookeeper+Hadoop+Hbase完全分布式平臺(tái)，利用Hadoop分布式數(shù)據(jù)處理框架，完成對(duì)數(shù)據(jù)的存儲(chǔ)、管理、服務(wù)；利用zookeeper存儲(chǔ)配置信息，將文件發(fā)給集群中所有主機(jī)，發(fā)送目標(biāo)用戶為集群專用用戶admin，實(shí)現(xiàn)資源的共享。

2.1 數(shù)據(jù)采集層

大數(shù)據(jù)智能感知層主要包括數(shù)據(jù)傳感體系、網(wǎng)絡(luò)通信體系、傳感適配體系、智能識(shí)別體系及軟硬件資源接入系統(tǒng)。

2.2 基礎(chǔ)支撐層

基礎(chǔ)支撐層提供大數(shù)據(jù)服務(wù)平臺(tái)所需的虛擬服務(wù)器，結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)庫及物聯(lián)網(wǎng)絡(luò)資源等基礎(chǔ)支撐環(huán)境。

相比傳統(tǒng)農(nóng)業(yè)氣象觀測(cè)方法，通過傳感器、移動(dòng)互聯(lián)網(wǎng)等方式獲得的各種類型的結(jié)構(gòu)化、半結(jié)構(gòu)化（或稱之為弱結(jié)構(gòu)化）及非結(jié)構(gòu)化的海量農(nóng)作物生長(zhǎng)情況相關(guān)的數(shù)據(jù)，例如：光照、空氣濕度、溫度、土壤品質(zhì)、生長(zhǎng)狀況等，實(shí)現(xiàn)智能化識(shí)別、定位、跟蹤、接入、傳輸、信號(hào)轉(zhuǎn)換、監(jiān)控、初步處理和管理，一方面提高了農(nóng)情信息收集效率，同時(shí)使利用的數(shù)據(jù)更加精確，另一方面，可以為分析蔬菜氣象條件利弊、開展災(zāi)害指標(biāo)研究等提供可靠的數(shù)據(jù)支撐。

2.3 數(shù)據(jù)存儲(chǔ)層

目前，通過小型電子感受器，追蹤單粒種子的種植、栽培、土壤、灌溉等情況，如果儲(chǔ)存以上追蹤的信息，每株植物需要0.85K的數(shù)據(jù)存儲(chǔ)，每年每公頃需要26M的數(shù)據(jù)空間，因此如何讓農(nóng)業(yè)大數(shù)據(jù)全面、充分的發(fā)揮出其潛在價(jià)值，一個(gè)必要前提就是數(shù)據(jù)需要被妥善保管在可靠、可信、可管理的平臺(tái)中，數(shù)據(jù)的完整性和可信度需要得到保障，而且可以隨時(shí)隨地且方便的存取。

2.4 Zookeeper

通過完全分布模式的整合平臺(tái)中Zookeeper的完全分布模式的安裝，在一個(gè)zookeeper集群中，選出一個(gè)leader節(jié)點(diǎn)，實(shí)現(xiàn)廣播即數(shù)據(jù)同步。

2.5 Hadoop集群

Hadoop是一個(gè)可以更容易開發(fā)和運(yùn)行處理大規(guī)模數(shù)據(jù)的軟件平臺(tái)。能夠?qū)⒋罅康碾x線數(shù)據(jù)進(jìn)行切片計(jì)算分布式處理的軟件框架。具有可靠、高效、可伸縮的特點(diǎn)。充分利用集群的威力高速運(yùn)算和存儲(chǔ)。對(duì)于實(shí)時(shí)數(shù)據(jù)采用流式計(jì)算。

2.6 HBase

HBase是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)，適合于存儲(chǔ)大表數(shù)據(jù)，表的規(guī)?？梢赃_(dá)到數(shù)十億行以及數(shù)百萬列，并且對(duì)大表數(shù)據(jù)的讀、寫訪問可以達(dá)到實(shí)時(shí)級(jí)別。以表的形式存儲(chǔ)數(shù)據(jù)，創(chuàng)建的表可以被拆分為多塊，每個(gè)塊稱為一個(gè)HRegion。每個(gè)HRegion會(huì)保存一段表中的連續(xù)數(shù)據(jù)，由Master分配給對(duì)應(yīng)的RegionServer進(jìn)行管理。

2.7HDFS

HDFS是一個(gè)分布式文件系統(tǒng)，在hadoop體系中數(shù)據(jù)存儲(chǔ)管理的基礎(chǔ)。有著高容錯(cuò)性的特點(diǎn)能檢測(cè)和應(yīng)對(duì)硬件故障，數(shù)據(jù)以塊的形式，同時(shí)分布存儲(chǔ)在不同的物理機(jī)器上，基于流數(shù)據(jù)模式訪問和處理超大文件的需求，適合那些有著超大數(shù)據(jù)集的應(yīng)用程序。

2.8 數(shù)據(jù)分析和挖掘

數(shù)據(jù)挖掘主要過程是根據(jù)分析挖掘目標(biāo)，從數(shù)據(jù)庫中把數(shù)據(jù)提取出來，然后采用機(jī)器學(xué)習(xí)、統(tǒng)計(jì)、神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)庫等方法，經(jīng)過ETL（Extract-Transform-Load）組織成適合分析挖掘算法使用寬表，實(shí)現(xiàn)內(nèi)容的分發(fā)、數(shù)據(jù)壓縮、數(shù)據(jù)去冗，對(duì)數(shù)據(jù)進(jìn)行加密、備份和容災(zāi)，對(duì)關(guān)系數(shù)據(jù)庫進(jìn)行挖掘，農(nóng)業(yè)大數(shù)據(jù)的清洗和抽取，進(jìn)行分門別類地存儲(chǔ)和管理，滿足對(duì)數(shù)據(jù)完整性、準(zhǔn)確性、規(guī)范性的要求。在農(nóng)業(yè)生產(chǎn)中，結(jié)合農(nóng)業(yè)的季節(jié)性、多樣性、周期性、生長(zhǎng)環(huán)境，對(duì)采取數(shù)據(jù)進(jìn)行分析，確定最優(yōu)種植品種，選定最佳的施肥方案，預(yù)測(cè)氣候風(fēng)險(xiǎn)，如干旱或洪澇影響農(nóng)作物的具體時(shí)間，預(yù)測(cè)病蟲害預(yù)測(cè)最好收獲的時(shí)間。以此提高農(nóng)業(yè)生產(chǎn)率和生產(chǎn)品質(zhì)。

2.9 數(shù)據(jù)服務(wù)層

實(shí)現(xiàn)網(wǎng)絡(luò)的接入、身份認(rèn)證、訪問控制、API接口、應(yīng)用軟件、Web服務(wù)等。系統(tǒng)中配置完全分布模式的整合平臺(tái)相關(guān)的網(wǎng)絡(luò)屬性，完成農(nóng)業(yè)生產(chǎn)中實(shí)時(shí)數(shù)據(jù)的更新和共享。監(jiān)控系統(tǒng)檢測(cè)到有潛在的病蟲害危險(xiǎn)時(shí)會(huì)發(fā)出警報(bào)，同時(shí)調(diào)用病蟲害知識(shí)庫，推送出合理有效的防治措施。同時(shí)利用互聯(lián)網(wǎng)上傳圖片至專家資源庫，若出現(xiàn)新型病例，可以利用內(nèi)部網(wǎng)絡(luò)將相關(guān)圖片和文檔上傳至數(shù)據(jù)庫。

2.10 用戶訪問層

農(nóng)業(yè)工作者通過標(biāo)準(zhǔn)的公共應(yīng)用接口登錄云存儲(chǔ)系統(tǒng)實(shí)現(xiàn)資源共享和數(shù)據(jù)的更新，加強(qiáng)行業(yè)的信息交流以促進(jìn)整體的發(fā)展。

3結(jié)語

綜上所述，農(nóng)業(yè)大數(shù)據(jù)帶來了農(nóng)業(yè)科學(xué)研究革新的新起點(diǎn)。應(yīng)用互聯(lián)網(wǎng)技術(shù)可從科學(xué)的角度準(zhǔn)確的檢測(cè)出數(shù)據(jù)、存儲(chǔ)數(shù)據(jù)、分析和挖掘數(shù)據(jù)，開發(fā)了數(shù)據(jù)的潛能，極大地提高農(nóng)業(yè)生產(chǎn)率和生產(chǎn)品質(zhì)。