王一鶴,楊 飛,王卷樂(lè),劉麗峰,馬 婭
(1. 山東理工大學(xué),淄博255049;2. 中國(guó)科學(xué)院地理科學(xué)與資源研究所,資源與環(huán)境信息系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室,北京100101;3. 環(huán)境保護(hù)部環(huán)境規(guī)劃院,北京100012)
隨著信息技術(shù)的發(fā)展,全球進(jìn)入了大數(shù)據(jù)時(shí)代。國(guó)外對(duì)大數(shù)據(jù)的研究起步較早,美國(guó)著名的未來(lái)學(xué)家阿爾文 · 托夫勒早在1980年就在《第三次浪潮》中提出了大數(shù)據(jù)的概念[1];全球著名的信息研究分析公司Gartner的分析員道格 · 萊尼于2001年提出了“3V”的大數(shù)據(jù)特點(diǎn),即數(shù)量大(volume)、速度快(velocity)與類(lèi)型多(variety)[2];2008年《Nature》推出“big data”專(zhuān)刊,從互聯(lián)網(wǎng)、生物醫(yī)學(xué)等方面出發(fā)開(kāi)展了大數(shù)據(jù)的研究;2011年《Science》出版了專(zhuān)刊“Dealing With Data”;2012年,美國(guó)公布“大數(shù)據(jù)研發(fā)計(jì)劃”,旨在增強(qiáng)從海量數(shù)據(jù)中獲取信息的能力。我國(guó)的大數(shù)據(jù)研究起步相對(duì)較晚,但國(guó)內(nèi)對(duì)于大數(shù)據(jù)研究十分關(guān)注。2013年中國(guó)計(jì)算機(jī)學(xué)會(huì)出版了《中國(guó)大數(shù)據(jù)技術(shù)與產(chǎn)業(yè)發(fā)展白皮書(shū)》,2014年出版了《中國(guó)大數(shù)據(jù)技術(shù)與產(chǎn)業(yè)發(fā)展報(bào)告》,闡述了大數(shù)據(jù)時(shí)代背景下相關(guān)產(chǎn)業(yè)的發(fā)展[3]。目前,國(guó)內(nèi)大數(shù)據(jù)的發(fā)展已經(jīng)滲透到了經(jīng)濟(jì)、教育、醫(yī)療、農(nóng)業(yè)、社會(huì)安全等眾多領(lǐng)域中[4-8],且在數(shù)據(jù)挖掘應(yīng)用、大數(shù)據(jù)可視化分析、大數(shù)據(jù)平臺(tái)構(gòu)建等方面的研究也取得了一定進(jìn)展[9-11]??傮w來(lái)說(shuō),我國(guó)的大數(shù)據(jù)技術(shù)研究與應(yīng)用已逐步展開(kāi),各行業(yè)依托大數(shù)據(jù)技術(shù)也進(jìn)入了新的發(fā)展階段,但相對(duì)于發(fā)達(dá)國(guó)家來(lái)說(shuō),我國(guó)的大數(shù)據(jù)研究還處于一個(gè)不成熟的階段[12]。
現(xiàn)代農(nóng)業(yè)在作物生產(chǎn)、畜牧養(yǎng)殖、病災(zāi)蟲(chóng)害防治、市場(chǎng)管理等多方面都需要更加科學(xué)的指導(dǎo),因此應(yīng)用大數(shù)據(jù)推動(dòng)農(nóng)業(yè)發(fā)展對(duì)于建設(shè)現(xiàn)代化農(nóng)業(yè)具有重要意義。
目前世界各國(guó)都十分重視農(nóng)業(yè)大數(shù)據(jù)的發(fā)展,英國(guó)于2013年頒布了《英國(guó)農(nóng)業(yè)技術(shù)戰(zhàn)略》,強(qiáng)調(diào)了大數(shù)據(jù)對(duì)推動(dòng)農(nóng)業(yè)發(fā)展的巨大潛力;8國(guó)領(lǐng)導(dǎo)人于2013年在國(guó)際論壇上就農(nóng)業(yè)大數(shù)據(jù)的開(kāi)放問(wèn)題進(jìn)行了討論;2015年美國(guó)聯(lián)邦農(nóng)業(yè)部長(zhǎng)宣布啟動(dòng)實(shí)時(shí)土壤數(shù)據(jù)項(xiàng)目,旨在讓農(nóng)民能夠獲取到最新的農(nóng)場(chǎng)數(shù)據(jù)[13]。眾多學(xué)者也提出了自己的研究,J Russo[14]認(rèn)為大數(shù)據(jù)將對(duì)精準(zhǔn)農(nóng)業(yè)的發(fā)展產(chǎn)生重要影響;P Srinivasulu等[15]認(rèn)為大數(shù)據(jù)的應(yīng)用會(huì)為解決農(nóng)業(yè)問(wèn)題提供更好的服務(wù);MR Bendre等[16]提出了利用大數(shù)據(jù)預(yù)測(cè)天氣,提高作物產(chǎn)量等;Jharna Majumdar等[17]針對(duì)農(nóng)業(yè)數(shù)據(jù)的分析,提出了利用多元線(xiàn)性回歸等數(shù)據(jù)挖掘技術(shù)進(jìn)行農(nóng)業(yè)數(shù)據(jù)的利用;ME Sykuta[18]研究了大數(shù)據(jù)的數(shù)據(jù)所有權(quán)、數(shù)據(jù)隱私等問(wèn)題。在生產(chǎn)上,法國(guó)政府通過(guò)分析農(nóng)業(yè)數(shù)據(jù)為農(nóng)民提供生產(chǎn)指導(dǎo)信息;德國(guó)利用大數(shù)據(jù)與云技術(shù)實(shí)現(xiàn)了高水平的數(shù)字農(nóng)業(yè)[19-21];美國(guó)孟山都公司通過(guò)產(chǎn)量與氣候數(shù)據(jù)為農(nóng)民提供種植指導(dǎo);美國(guó)天寶利用3S與數(shù)據(jù)處理技術(shù)為農(nóng)場(chǎng)提供了一套作業(yè)解決方案[22];Climate Corporation公司通過(guò)氣象大數(shù)據(jù)來(lái)預(yù)測(cè)災(zāi)害,以此來(lái)為農(nóng)民推薦合適的保險(xiǎn)[23]。目前國(guó)外的農(nóng)業(yè)大數(shù)據(jù)已形成了規(guī)范、精準(zhǔn)、智能的應(yīng)用格局。
我國(guó)十分重視農(nóng)業(yè)大數(shù)據(jù)的發(fā)展,國(guó)內(nèi)各地也先后推出了相關(guān)的政策引領(lǐng)。農(nóng)業(yè)農(nóng)村部公布了《農(nóng)業(yè)部關(guān)于推進(jìn)農(nóng)業(yè)農(nóng)村大數(shù)據(jù)發(fā)展的實(shí)施意見(jiàn)》;江蘇省在《江蘇省“十三五”現(xiàn)代農(nóng)業(yè)發(fā)展規(guī)劃》中提出了推進(jìn)農(nóng)業(yè)大數(shù)據(jù)建設(shè)的規(guī)劃;浙江省在《浙江省現(xiàn)代農(nóng)業(yè)發(fā)展“十三五”規(guī)劃》大力發(fā)展智慧農(nóng)業(yè)與大數(shù)據(jù)農(nóng)業(yè);山東省農(nóng)業(yè)廳發(fā)布了《山東省推進(jìn)農(nóng)業(yè)大數(shù)據(jù)運(yùn)用實(shí)施方案》,明確提出了建設(shè)農(nóng)業(yè)大數(shù)據(jù)體系的各項(xiàng)要求。在學(xué)術(shù)方面,農(nóng)業(yè)大數(shù)據(jù)研究也取得了一定進(jìn)展,牛祿青[24]、林惠蝦[25]闡述了農(nóng)業(yè)大數(shù)據(jù)對(duì)于推動(dòng)現(xiàn)代農(nóng)業(yè)變革的意義;王強(qiáng)[26]、光峰等[27]分析了大數(shù)據(jù)在農(nóng)業(yè)領(lǐng)域的應(yīng)用;秦小立[28]、陸文靜[29]等對(duì)區(qū)域農(nóng)業(yè)大數(shù)據(jù)的建設(shè)進(jìn)行了探索;牟少敏[30]、宋長(zhǎng)青等[31]對(duì)培養(yǎng)農(nóng)業(yè)大數(shù)據(jù)人才模式進(jìn)行了研究。在農(nóng)業(yè)大數(shù)據(jù)產(chǎn)業(yè)建設(shè)上,2013年,山東成立了全國(guó)第一個(gè)農(nóng)業(yè)大數(shù)據(jù)產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟[32];2016年,全球農(nóng)業(yè)大數(shù)據(jù)與信息服務(wù)聯(lián)盟在北京成立[33];2017年,黑龍江省農(nóng)業(yè)大數(shù)據(jù)管理中心成立,負(fù)責(zé)全省農(nóng)業(yè)大數(shù)據(jù)建設(shè)的規(guī)劃工作[34]。由此可見(jiàn),我國(guó)的農(nóng)業(yè)大數(shù)據(jù)發(fā)展十分迅速。
2.1.1 農(nóng)業(yè)育種
利用大數(shù)據(jù)能夠使農(nóng)業(yè)育種更高效。農(nóng)業(yè)育種過(guò)程中選擇的品質(zhì)與產(chǎn)量等性狀基于眾多因素,利用農(nóng)業(yè)大數(shù)據(jù)依據(jù)最新的國(guó)際高通量數(shù)據(jù),能夠輔助相關(guān)研究人員通過(guò)提取基因組上的遺傳來(lái)標(biāo)記篩選出需要的基因片段。此外通過(guò)計(jì)算機(jī)來(lái)展開(kāi)生物調(diào)查,在云端創(chuàng)造分析海量的基因信息流并同時(shí)進(jìn)行假設(shè)驗(yàn)證與試驗(yàn)規(guī)劃,使育種家能夠通過(guò)相對(duì)較少的作物進(jìn)行實(shí)際大田環(huán)境驗(yàn)證來(lái)確定品種的適宜區(qū)域和抗性表現(xiàn),有助于更高效、更低成本、更快地決策[35]。
2.1.2 智慧農(nóng)業(yè)生產(chǎn)管理
農(nóng)業(yè)大數(shù)據(jù)可以輔助精準(zhǔn)農(nóng)業(yè)操作[36]和智慧農(nóng)業(yè)[37]管理。生產(chǎn)上,通過(guò)分析土壤溫度、降水等數(shù)據(jù)[38]幫助農(nóng)戶(hù)了解作物生長(zhǎng)環(huán)境狀況,同時(shí)利用3S、機(jī)器學(xué)習(xí)等技術(shù)可以輔助相關(guān)人員規(guī)劃最優(yōu)生產(chǎn)區(qū)域以提高作物生產(chǎn)力并降低成本[39];在養(yǎng)殖上,通過(guò)機(jī)器學(xué)習(xí)等技術(shù)分析牲畜歷史信息、生理特征數(shù)據(jù)等來(lái)確定飼料產(chǎn)量關(guān)系、識(shí)別疾病以及確保牲畜安全和質(zhì)量等;在農(nóng)機(jī)作業(yè)方面,通過(guò)將天氣、土壤、溫度等數(shù)據(jù)上傳到云端,使農(nóng)業(yè)機(jī)械共享這些數(shù)據(jù),可以指揮農(nóng)機(jī)進(jìn)行精細(xì)作業(yè)。此外,通過(guò)大數(shù)據(jù)分析可以減少肥料、殺蟲(chóng)劑的使用來(lái)改善農(nóng)場(chǎng)環(huán)境效益[40]。
2.1.3 農(nóng)業(yè)氣象與病蟲(chóng)害預(yù)警
利用氣象大數(shù)據(jù)能夠進(jìn)行更長(zhǎng)時(shí)間范圍、更準(zhǔn)確的農(nóng)業(yè)氣象預(yù)測(cè),如利用海量天氣數(shù)據(jù)預(yù)測(cè)破壞性的極端天氣并推送給農(nóng)民,讓農(nóng)民自己選擇合適的保險(xiǎn)進(jìn)行投保,以此來(lái)降低農(nóng)民的損失;在農(nóng)業(yè)病蟲(chóng)害方面,將歷史數(shù)據(jù)與采集的病蟲(chóng)害數(shù)據(jù)存儲(chǔ)至大數(shù)據(jù)中心,結(jié)合環(huán)境、作物生長(zhǎng)等因素,通過(guò)機(jī)器學(xué)習(xí)等技術(shù)對(duì)病蟲(chóng)害的發(fā)生進(jìn)行預(yù)測(cè),以此提前做出防治的措施;此外通過(guò)大數(shù)據(jù)可以進(jìn)行農(nóng)場(chǎng)基準(zhǔn)測(cè)試、建模來(lái)預(yù)測(cè)作物歉收風(fēng)險(xiǎn),或根據(jù)田間位置,土壤類(lèi)型等數(shù)據(jù)評(píng)估特定農(nóng)場(chǎng)最可能的風(fēng)險(xiǎn)[41-42]。
2.1.4 優(yōu)化農(nóng)業(yè)市場(chǎng)
通過(guò)共享農(nóng)業(yè)生產(chǎn)、流通等環(huán)節(jié)的數(shù)據(jù)可以提高市場(chǎng)透明度,使生產(chǎn)者做出更合理的決策[43],利用農(nóng)產(chǎn)品銷(xiāo)售數(shù)據(jù)與市場(chǎng)行情可預(yù)測(cè)農(nóng)產(chǎn)品價(jià)格走勢(shì)、市場(chǎng)飽和量,避免產(chǎn)品滯銷(xiāo);利用市場(chǎng)數(shù)據(jù)可以預(yù)測(cè)市場(chǎng)動(dòng)向、價(jià)格,并結(jié)合對(duì)不同消費(fèi)群體的分析輔助相關(guān)人員分析品種上市后的表現(xiàn)[44],還能夠幫助相關(guān)人員了解不同消費(fèi)群體對(duì)作物品質(zhì)、價(jià)格等方面的需求,做到供需平衡;此外還可以通過(guò)作物產(chǎn)量,投入成本變化,市場(chǎng)需求,種植成本,運(yùn)輸成本和營(yíng)銷(xiāo)成本數(shù)據(jù)的分析,預(yù)測(cè)在發(fā)達(dá)國(guó)家和發(fā)展中國(guó)家政府對(duì)農(nóng)業(yè)產(chǎn)品的支持價(jià)格[45]。
2.1.5 農(nóng)產(chǎn)品質(zhì)量安全與追溯
對(duì)生產(chǎn)過(guò)程的數(shù)據(jù)進(jìn)行實(shí)時(shí)監(jiān)測(cè)與分析能有效控制產(chǎn)品的質(zhì)量,為產(chǎn)品的標(biāo)準(zhǔn)化和規(guī)?;峁┲С郑皇褂脗鞲械燃夹g(shù)來(lái)監(jiān)測(cè)收集產(chǎn)業(yè)鏈數(shù)據(jù),跟蹤農(nóng)產(chǎn)品流通過(guò)程有利于防止疾病、減少污染;構(gòu)建農(nóng)產(chǎn)品質(zhì)量安全監(jiān)測(cè)信息管理平臺(tái),基于大數(shù)據(jù)技術(shù)能夠?qū)r(nóng)產(chǎn)品質(zhì)量安全事件按行業(yè)類(lèi)別、信息來(lái)源、涉及范圍、危害程度等內(nèi)容進(jìn)行初步識(shí)別,實(shí)現(xiàn)對(duì)重大農(nóng)產(chǎn)品質(zhì)量安全事件早預(yù)警、早發(fā)現(xiàn);通過(guò)建立食品可追溯系統(tǒng),對(duì)田間、養(yǎng)殖、屠宰、處理、運(yùn)輸?shù)热a(chǎn)業(yè)環(huán)節(jié)數(shù)據(jù)監(jiān)控,可以在源頭消除問(wèn)題產(chǎn)品[46]。
目前國(guó)內(nèi)外學(xué)者對(duì)建設(shè)農(nóng)業(yè)大數(shù)據(jù)平臺(tái)進(jìn)行了很多探索[47-51]。Farmeron是美國(guó)一家農(nóng)業(yè)數(shù)據(jù)分析公司,其在2011年推出了基于Web端的農(nóng)場(chǎng)管理平臺(tái),為農(nóng)民提供跟蹤牲畜飼養(yǎng)情況的功能,為農(nóng)民提供針對(duì)性的生產(chǎn)分析報(bào)告,指導(dǎo)農(nóng)民進(jìn)行相關(guān)生產(chǎn)規(guī)劃;VitalFields是愛(ài)沙尼亞共和國(guó)的一家以農(nóng)預(yù)測(cè)氣象、病蟲(chóng)害、成本投入等預(yù)測(cè)管理為主的公司,為農(nóng)民提供農(nóng)作物種植階段投入的成本、病蟲(chóng)害風(fēng)險(xiǎn)防治及天氣預(yù)測(cè),農(nóng)民能夠更加高效地管理自己的農(nóng)場(chǎng);FarmLogs是美國(guó)一家為農(nóng)民提供移動(dòng)端app與桌面WEB界面的公司,農(nóng)民可通過(guò)這些媒介來(lái)對(duì)農(nóng)作物生產(chǎn)進(jìn)行管理。湖南省農(nóng)業(yè)農(nóng)村信息化綜合服務(wù)平臺(tái)主要由應(yīng)用服務(wù)、基礎(chǔ)服務(wù)、業(yè)務(wù)數(shù)據(jù)庫(kù)、云計(jì)算硬件資源等子平臺(tái)構(gòu)成,集成了眾多民生與產(chǎn)業(yè)信息服務(wù),通過(guò)建設(shè)農(nóng)村綜合信息服務(wù)站為農(nóng)業(yè)生產(chǎn)和農(nóng)戶(hù)生活提供了全面的信息技術(shù)服務(wù)。農(nóng)業(yè)大數(shù)據(jù)運(yùn)營(yíng)平臺(tái)是一個(gè)側(cè)重于現(xiàn)代農(nóng)業(yè)資訊共享以及整合農(nóng)業(yè)生產(chǎn)數(shù)據(jù)的平臺(tái),平臺(tái)涉及農(nóng)業(yè)領(lǐng)域內(nèi)的綜合新聞信息,包括產(chǎn)品價(jià)格變動(dòng)、熱門(mén)種植養(yǎng)殖產(chǎn)物、農(nóng)業(yè)惡劣天氣預(yù)報(bào)等一系列關(guān)乎農(nóng)業(yè)生產(chǎn)經(jīng)營(yíng)的訊息,作物生產(chǎn)技術(shù)方案、種植操作規(guī)程、深加工介紹等科技訊息,種植養(yǎng)殖業(yè)、經(jīng)營(yíng)管理等農(nóng)業(yè)技能培訓(xùn)信息。
2.3.1 農(nóng)業(yè)大數(shù)據(jù)采集
農(nóng)業(yè)大數(shù)據(jù)來(lái)源復(fù)雜,很多學(xué)者對(duì)農(nóng)業(yè)大數(shù)據(jù)采集進(jìn)行了研究[52-56]。綜合來(lái)看,農(nóng)業(yè)大數(shù)據(jù)的采集主要包括農(nóng)業(yè)遙感、生產(chǎn)環(huán)境采集、網(wǎng)絡(luò)數(shù)據(jù)爬取等方式。農(nóng)業(yè)遙感是指利用各種傳感器與計(jì)算機(jī)等學(xué)科的理論與方法來(lái)揭示農(nóng)業(yè)環(huán)境、屬性及其時(shí)空特征[57],通過(guò)遙感技術(shù)所獲取的海量數(shù)據(jù)的背后價(jià)值也是現(xiàn)在遙感大數(shù)據(jù)挖掘研究的熱點(diǎn)。農(nóng)業(yè)生產(chǎn)環(huán)境數(shù)據(jù)依靠傳感網(wǎng)技術(shù)獲得,相關(guān)研究[58-59]提出了利用終端采集定位、傳感器采集數(shù)據(jù)的方式來(lái)實(shí)現(xiàn)對(duì)產(chǎn)業(yè)環(huán)境、流通數(shù)據(jù)的獲取,隨著技術(shù)的進(jìn)步這種采集方式的應(yīng)用更加廣泛。網(wǎng)絡(luò)爬蟲(chóng)是從互聯(lián)網(wǎng)上進(jìn)行數(shù)據(jù)信息的爬取,考慮到我國(guó)擁有著龐大的農(nóng)業(yè)網(wǎng)絡(luò)數(shù)據(jù)資源和大量的農(nóng)業(yè)信息網(wǎng)站,采用爬蟲(chóng)的方式獲取農(nóng)業(yè)數(shù)據(jù)十分有利于將大量分散的農(nóng)業(yè)數(shù)據(jù)收集整合到一起。
2.3.2 農(nóng)業(yè)大數(shù)據(jù)存儲(chǔ)與處理
農(nóng)業(yè)大數(shù)據(jù)海量、非結(jié)構(gòu)化的特性決定了傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)難以滿(mǎn)足對(duì)大數(shù)據(jù)的存儲(chǔ)和高并發(fā)訪(fǎng)問(wèn)需求。NoSQL[60]是目前較為流行的一種非關(guān)系型數(shù)據(jù)庫(kù),其數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)具有非關(guān)系型、分布式的特點(diǎn),是目前比較主流的大數(shù)據(jù)管理技術(shù)。大數(shù)據(jù)的處理任務(wù)用傳統(tǒng)的單機(jī)處理比較困難,而云計(jì)算[61]為大數(shù)據(jù)的處理提供了計(jì)算資源整合技術(shù)。利用云計(jì)算技術(shù)可以實(shí)現(xiàn)資源動(dòng)態(tài)分配,均衡分配處理負(fù)載,極大地提升資源的共享性和重用性,有效地降低運(yùn)營(yíng)成本;當(dāng)前最流行的大數(shù)據(jù)處理框架為Hadoop[62],其核心包括HDFS與MapReduce。因其吞吐量高、效率高、高容錯(cuò)性而被廣泛應(yīng)用,并迅速成長(zhǎng)為主流的大數(shù)據(jù)處理框架。
2.3.3 農(nóng)業(yè)大數(shù)據(jù)分析技術(shù)
機(jī)器學(xué)習(xí)[63]是人工智能[64]的一個(gè)核心研究領(lǐng)域。機(jī)器學(xué)習(xí)是一門(mén)研究計(jì)算機(jī)模擬實(shí)現(xiàn)人類(lèi)的學(xué)習(xí)行為,使之不斷改善自身的性能技術(shù),主要包括監(jiān)督學(xué)習(xí)[65]和非監(jiān)督學(xué)習(xí)[66]。隨著技術(shù)水平的發(fā)展,機(jī)器學(xué)習(xí)逐漸應(yīng)用到農(nóng)業(yè)領(lǐng)域中,比如通過(guò)分析農(nóng)業(yè)市場(chǎng)數(shù)據(jù)變動(dòng),做出市場(chǎng)預(yù)測(cè)等[67]。在大數(shù)據(jù)分析中,機(jī)器通過(guò)從環(huán)境中獲取數(shù)據(jù)信息,然后通過(guò)自我學(xué)習(xí)反復(fù)更新知識(shí)庫(kù),以此來(lái)對(duì)執(zhí)行元部分進(jìn)行指導(dǎo)學(xué)習(xí),不斷完善自我學(xué)習(xí)的內(nèi)容和模式,在這個(gè)過(guò)程中,其知識(shí)庫(kù)的內(nèi)容持續(xù)增長(zhǎng),其智能化程度也隨之越來(lái)越高[68]。
深度學(xué)習(xí)[69]是機(jī)器學(xué)習(xí)的一個(gè)特例。傳統(tǒng)的機(jī)器學(xué)習(xí)預(yù)測(cè)的準(zhǔn)確性依賴(lài)于數(shù)據(jù)處理工作的好壞,為了減少這種約束,深度學(xué)習(xí)的概念就出現(xiàn)了[70]。深度學(xué)習(xí)也被稱(chēng)為無(wú)監(jiān)督特征學(xué)習(xí),即數(shù)據(jù)的特征可以通過(guò)學(xué)習(xí)過(guò)程得到,無(wú)需提前人為提取,深度學(xué)習(xí)將原始數(shù)據(jù)中每層表示逐層地轉(zhuǎn)換為更高層更抽象的表示,以此來(lái)發(fā)現(xiàn)高維數(shù)據(jù)中錯(cuò)綜復(fù)雜的結(jié)構(gòu)[71]。目前深度學(xué)習(xí)在語(yǔ)音識(shí)別、圖像識(shí)別、自然語(yǔ)言處理與信息檢索[72]等領(lǐng)域得到廣泛的應(yīng)用。
計(jì)算智能[73]是人工智能研究的一個(gè)重要分支,一般用于解決大規(guī)模的優(yōu)化問(wèn)題。計(jì)算智能方法具備不需要依賴(lài)知識(shí),不需要事先進(jìn)行精確建模就可以直接對(duì)數(shù)據(jù)進(jìn)行分析和處理的特點(diǎn),這使得其十分適于大數(shù)據(jù)分析。此外,由于大數(shù)據(jù)海量規(guī)模的特性以及問(wèn)題求解的復(fù)雜性,需要耗費(fèi)較大的計(jì)算開(kāi)銷(xiāo),而計(jì)算智能能夠以模擬人類(lèi)以及其他生物體的思維方式來(lái)解釋問(wèn)題,可較快地解決某些較難的問(wèn)題如組合優(yōu)化等,這為解決復(fù)雜的大數(shù)據(jù)處理問(wèn)題提供了有效的解決途徑[74]。
目前我國(guó)大數(shù)據(jù)發(fā)展存在如下問(wèn)題:(1)數(shù)據(jù)共享程度低,數(shù)據(jù)片面、多而不精;(2)對(duì)大數(shù)據(jù)人才培養(yǎng)力度不夠,阻礙大數(shù)據(jù)發(fā)展工作;(3)缺乏大數(shù)據(jù)核心技術(shù),一旦國(guó)外切斷技術(shù)支持,會(huì)極大影響國(guó)內(nèi)大數(shù)據(jù)產(chǎn)業(yè);(4)國(guó)內(nèi)部分大數(shù)據(jù)公司過(guò)于急功近利,沒(méi)有提供真正實(shí)用的大數(shù)據(jù)服務(wù);(5)缺乏對(duì)大數(shù)據(jù)保護(hù)的相關(guān)法律法規(guī),這會(huì)為大數(shù)據(jù)的交互流通帶來(lái)隱患。因此,我國(guó)農(nóng)業(yè)大數(shù)據(jù)發(fā)展的新任務(wù)與方向如下。
數(shù)據(jù)來(lái)源是農(nóng)業(yè)大數(shù)據(jù)的重要構(gòu)成之一,針對(duì)目前數(shù)據(jù)來(lái)源單薄的現(xiàn)狀[75],首要工作是充分利用現(xiàn)代信息技術(shù)如物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)設(shè)備、云端系統(tǒng)等豐富數(shù)據(jù)采集渠道,成立專(zhuān)門(mén)的數(shù)據(jù)定制化服務(wù)采集團(tuán)隊(duì),建立成熟的采集體系,讓數(shù)據(jù)采集變得更高效。其次是盡快建立統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn),便于信息的流通交互,強(qiáng)化政府、科研機(jī)構(gòu)、企業(yè)的數(shù)據(jù)共享意識(shí),從技術(shù)、機(jī)制、相關(guān)法律保護(hù)等方面開(kāi)展農(nóng)業(yè)大數(shù)據(jù)的共享工作。
大數(shù)據(jù)人才的缺乏是目前推進(jìn)大數(shù)據(jù)應(yīng)用的主要阻礙之一,大數(shù)據(jù)人才的培養(yǎng)可以通過(guò)2種途徑:第一加強(qiáng)對(duì)相關(guān)行業(yè)人員技術(shù)水平的培訓(xùn);第二是在高校設(shè)立相關(guān)研究方向的專(zhuān)業(yè),以此不斷為農(nóng)業(yè)領(lǐng)域培養(yǎng)大數(shù)據(jù)人才。利用結(jié)合深度分析的大數(shù)據(jù)分析技術(shù)能夠充分挖掘利用海量農(nóng)業(yè)數(shù)據(jù)的價(jià)值,為農(nóng)業(yè)信息化的發(fā)展提供重要的數(shù)據(jù)支撐,在實(shí)施上應(yīng)該進(jìn)一步加強(qiáng)農(nóng)業(yè)農(nóng)村的網(wǎng)絡(luò)硬軟件建設(shè),消除互聯(lián)網(wǎng)“最后一公里”現(xiàn)象的存在[76]。
針對(duì)主流大數(shù)據(jù)平臺(tái)Hadoop、Spark等,研究出更加高效科學(xué)的算法,是大數(shù)據(jù)分析工作的重要研究任務(wù);深度學(xué)習(xí)技術(shù)的持續(xù)升級(jí)也帶來(lái)了參數(shù)規(guī)模持續(xù)增長(zhǎng)的問(wèn)題,因此目前一個(gè)重要的研究方向是怎樣對(duì)深度學(xué)習(xí)的模型參數(shù)進(jìn)行優(yōu)化來(lái)提升深度學(xué)習(xí)算法的效率;為了更好地處理海量數(shù)據(jù),對(duì)深度學(xué)習(xí)的模型進(jìn)行改造來(lái)降低訓(xùn)練模型的成本花費(fèi)也是重點(diǎn)任務(wù)[77]。此外要增強(qiáng)大數(shù)據(jù)底層技術(shù)自主研發(fā)能力,發(fā)展自己的大數(shù)據(jù)處理框架,減少對(duì)國(guó)外技術(shù)的依賴(lài),這樣大數(shù)據(jù)技術(shù)會(huì)有更大的發(fā)展空間。
目前多數(shù)農(nóng)業(yè)大數(shù)據(jù)平臺(tái)多以數(shù)據(jù)統(tǒng)計(jì)展示為主,數(shù)據(jù)的利用率不高[78-79],普通農(nóng)戶(hù)缺乏或者不具備相關(guān)數(shù)據(jù)分析經(jīng)驗(yàn),難以從這種服務(wù)形式的使用中獲取想要的結(jié)果,因此未來(lái)的農(nóng)業(yè)大數(shù)據(jù)平臺(tái)應(yīng)該更多地將機(jī)器學(xué)習(xí)、數(shù)據(jù)深度分析技術(shù)應(yīng)用到平臺(tái)數(shù)據(jù)分析模塊,使得用戶(hù)能夠通過(guò)選擇數(shù)據(jù)后進(jìn)行自動(dòng)分析得到相應(yīng)的文字指導(dǎo),如種植品種建議等。此外平臺(tái)應(yīng)加入農(nóng)業(yè)生態(tài)、文化、旅游等多方面的內(nèi)容,以滿(mǎn)足其他用戶(hù)的需求。
大數(shù)據(jù)的安全工作可以從2個(gè)方面開(kāi)展,一方面是從互聯(lián)網(wǎng)、數(shù)據(jù)信息、數(shù)據(jù)備份等角度出發(fā),構(gòu)建大數(shù)據(jù)安全架構(gòu)為大數(shù)據(jù)的價(jià)值安全提供保障;另一方面是從日常的管理上出發(fā),用法規(guī)制度來(lái)對(duì)數(shù)據(jù)流通媒介的使用進(jìn)行嚴(yán)格管理,形成規(guī)范統(tǒng)一的大數(shù)據(jù)生產(chǎn)流程??紤]到數(shù)據(jù)資源的特征,首先要結(jié)合相關(guān)法律規(guī)定對(duì)數(shù)據(jù)涉及的范圍、權(quán)益等內(nèi)容進(jìn)行明確規(guī)定,此外應(yīng)當(dāng)在產(chǎn)權(quán)確權(quán)時(shí)優(yōu)先考慮將獲取數(shù)據(jù)的權(quán)屬分配給企業(yè),這樣能夠更好地在企業(yè)的數(shù)據(jù)收益與投入之間做到平衡[80]。