趙海鳳, 李仁強(qiáng),趙芬,劉麗香,趙苗苗,徐明
?
生態(tài)環(huán)境大數(shù)據(jù)發(fā)展現(xiàn)狀與趨勢(shì)
趙海鳳, 李仁強(qiáng),趙芬,劉麗香,趙苗苗,徐明*
中國(guó)科學(xué)院地理科學(xué)與資源研究所 生態(tài)系統(tǒng)網(wǎng)絡(luò)觀(guān)測(cè)與模擬重點(diǎn)實(shí)驗(yàn)室, 北京 100101
隨著大數(shù)據(jù)時(shí)代的到來(lái)生態(tài)環(huán)境大數(shù)據(jù)給生態(tài)環(huán)境領(lǐng)域研究帶來(lái)了新的機(jī)遇與發(fā)展。本文回顧了生態(tài)環(huán)境大數(shù)據(jù)在收集、監(jiān)測(cè)、分析與應(yīng)用方面的發(fā)展現(xiàn)狀。雖然生態(tài)環(huán)境大數(shù)據(jù)研究相對(duì)于其他領(lǐng)域起步較晚,但是目前正處于蓄勢(shì)待發(fā)的狀態(tài)。生態(tài)環(huán)境大數(shù)據(jù)研究未來(lái)的發(fā)展趨勢(shì)為: 一、建立數(shù)據(jù)共享機(jī)制;二、需要跨區(qū)域的不同監(jiān)測(cè)站點(diǎn)甚至不同觀(guān)測(cè)網(wǎng)絡(luò)進(jìn)行聯(lián)合觀(guān)測(cè)與研究, 建立從樣地到區(qū)域甚至到全球多尺度的、系統(tǒng)的觀(guān)測(cè)與研究, 并且應(yīng)該推進(jìn)觀(guān)測(cè)的標(biāo)準(zhǔn)化和規(guī)范化, 進(jìn)一步統(tǒng)一不同生態(tài)環(huán)境觀(guān)測(cè)網(wǎng)絡(luò)的觀(guān)測(cè)標(biāo)準(zhǔn), 建立國(guó)際統(tǒng)一的觀(guān)測(cè)標(biāo)準(zhǔn)和規(guī)范;三、需要開(kāi)發(fā)針生態(tài)環(huán)境對(duì)大數(shù)據(jù)的統(tǒng)計(jì)分析軟件, 尤其應(yīng)該重視地理信息技術(shù)與統(tǒng)計(jì)分析技術(shù)的結(jié)合,特別是過(guò)程模型與大數(shù)據(jù)的結(jié)合。最后, 雖然生態(tài)環(huán)境大數(shù)據(jù)的應(yīng)用研究相對(duì)薄弱但未來(lái)的發(fā)展空間是巨大的, 未來(lái)生態(tài)環(huán)境大數(shù)據(jù)的應(yīng)用主要應(yīng)該體現(xiàn)在生態(tài)環(huán)境資源管理、生態(tài)環(huán)境動(dòng)態(tài)監(jiān)測(cè)、生態(tài)環(huán)境評(píng)價(jià)等方面。
生態(tài)環(huán)境大數(shù)據(jù); 發(fā)展現(xiàn)狀; 趨勢(shì)
20世紀(jì)后半葉以來(lái), 伴隨著社會(huì)經(jīng)濟(jì)的高速發(fā)展全球生態(tài)環(huán)境問(wèn)題日趨嚴(yán)重。目前全球生態(tài)環(huán)境問(wèn)題突出表現(xiàn)在環(huán)境污染、土地退化、森林銳減、生物多樣性喪失、水資源枯竭以及氣候變化等方面。而這些問(wèn)題往往是時(shí)間跨度長(zhǎng)、涉及部門(mén)廣、過(guò)程復(fù)雜、驅(qū)動(dòng)因素眾多, 因此解決起來(lái)難度很大。現(xiàn)代社會(huì)面臨的生態(tài)環(huán)境問(wèn)題首先源于生態(tài)系統(tǒng)的內(nèi)在復(fù)雜性, 它不僅與地球科學(xué) (如地理學(xué)、水文學(xué)、海洋學(xué)、氣象科學(xué)等)有密切的聯(lián)系, 還涉及數(shù)學(xué)、經(jīng)濟(jì)學(xué)、信息科學(xué)等學(xué)科。生態(tài)環(huán)境問(wèn)題正跨越局域尺度擴(kuò)展至全球尺度, 這些都促使生態(tài)學(xué)家們?cè)诟蟮臅r(shí)空尺度、更多的領(lǐng)域收集數(shù)據(jù), 進(jìn)而完成更為復(fù)雜的分析[2,3,5]。隨著大數(shù)據(jù)時(shí)代的到來(lái), 生態(tài)環(huán)境大數(shù)據(jù)將帶給生態(tài)環(huán)境研究領(lǐng)域帶來(lái)新的機(jī)遇與發(fā)展。
維基百科 ( http: //en.wikipedia.org/wiki/Big data) 對(duì)大數(shù)據(jù)的定義為: 大數(shù)據(jù)是指利用常用軟件工具捕獲、管理和處理數(shù)據(jù)所耗時(shí)間超過(guò)可容忍時(shí)間的數(shù)據(jù)集。國(guó)際前沿學(xué)術(shù)期刊《Nature》于2008年出版有關(guān)大數(shù)據(jù)的專(zhuān)刊并將大數(shù)據(jù)定義為: 大數(shù)據(jù)是指數(shù)據(jù)集的規(guī)模是無(wú)法在可容忍的時(shí)間內(nèi)用目前的技術(shù)、方法和理論去獲取、管理、處理的數(shù)據(jù)[5]。作為第一家信息技術(shù)研究和分析的Gartner Group公司在2012年提出大數(shù)據(jù)的定義為: 大數(shù)據(jù)是高容量、高生成速率、種類(lèi)繁多的信息價(jià)值, 同時(shí)需要新的處理形式去確保判斷的作出、洞察力的發(fā)現(xiàn)和處理的優(yōu)化[9]。目前關(guān)于大數(shù)據(jù), 人們更多從商業(yè)、社會(huì)經(jīng)濟(jì)、信息技術(shù)和數(shù)據(jù)特征等角度來(lái)描述, 綜合當(dāng)前國(guó)內(nèi)外各類(lèi)關(guān)于大數(shù)據(jù)的定義, 可以這樣理解, 大數(shù)據(jù)是指通過(guò)傳統(tǒng)技術(shù)手段難以有效收集、處理和應(yīng)用的大而復(fù)雜的數(shù)據(jù)集。根據(jù)以上大數(shù)據(jù)的概念可見(jiàn), 大數(shù)據(jù)之“大”是相對(duì)的, 是以傳統(tǒng)數(shù)據(jù)為參考的, 因此各個(gè)領(lǐng)域在界定大數(shù)據(jù)時(shí)沒(méi)有絕對(duì)的標(biāo)準(zhǔn)。此外, 大數(shù)據(jù)之“大”不僅體現(xiàn)在數(shù)據(jù)量的大, 也包括數(shù)據(jù)的高度復(fù)雜性, 這包括數(shù)據(jù)來(lái)源與構(gòu)成的多樣性、數(shù)據(jù)流動(dòng)的快速性(如實(shí)時(shí)更新)和數(shù)據(jù)質(zhì)量的不確定性。
隨著大數(shù)據(jù)時(shí)代的到來(lái), 生態(tài)環(huán)境大數(shù)據(jù)的概念在學(xué)術(shù)領(lǐng)域和政府部門(mén)開(kāi)始流行, 但和大數(shù)據(jù)一樣, 目前還沒(méi)有統(tǒng)一的定義和界定標(biāo)準(zhǔn)。生態(tài)環(huán)境大數(shù)據(jù)是大數(shù)據(jù)的一部分, 是指生態(tài)環(huán)境領(lǐng)域所涉及的各類(lèi)大數(shù)據(jù), 其具備大數(shù)據(jù)的一般特征。因此按照大數(shù)據(jù)的定義, 生態(tài)環(huán)境大數(shù)據(jù)是指通過(guò)傳統(tǒng)技術(shù)手段難以有效收集、處理和應(yīng)用的大而復(fù)雜的生態(tài)環(huán)境數(shù)據(jù)集。
生態(tài)環(huán)境大數(shù)據(jù)作為大數(shù)據(jù)的一個(gè)類(lèi)別同樣具有五大特征: 數(shù)量大(Volume)、種類(lèi)多(Variety)、價(jià)值大(Value)、快時(shí)效(Velocity)、準(zhǔn)確性(Veracity)。具體體現(xiàn)為以下幾點(diǎn):
首先從數(shù)據(jù)規(guī)模和類(lèi)型來(lái)看, 生態(tài)環(huán)境大數(shù)據(jù)體量大、類(lèi)型多、結(jié)構(gòu)復(fù)雜。從內(nèi)容上包括水、土、氣層等方面的生態(tài)數(shù)據(jù); 從地域上來(lái)講, 包括全球各個(gè)尺度, 如大氣、海洋、土壤、植被、森林、濕地等各類(lèi)生態(tài)系統(tǒng)的生態(tài)數(shù)據(jù); 從數(shù)據(jù)構(gòu)成上關(guān)聯(lián)物理過(guò)程和化學(xué)過(guò)程, 空間變異性強(qiáng), 多樣復(fù)雜, 這都導(dǎo)致生態(tài)環(huán)境大數(shù)據(jù)來(lái)源的多樣性。也由于生態(tài)環(huán)境大數(shù)據(jù)來(lái)源復(fù)雜多樣直接導(dǎo)致其體量大的另一顯著特點(diǎn); 其次從數(shù)據(jù)價(jià)值來(lái)看, 生態(tài)環(huán)境大數(shù)據(jù)無(wú)疑具有巨大的潛在應(yīng)用價(jià)值, 如何從海量數(shù)據(jù)中挖掘出最有用的信息是生態(tài)環(huán)境大數(shù)據(jù)面臨的最大挑戰(zhàn);再次從數(shù)據(jù)動(dòng)態(tài)變化方面來(lái)看, 由于生態(tài)系統(tǒng)結(jié)構(gòu)與功能的動(dòng)態(tài)變化生態(tài)環(huán)境數(shù)據(jù)多表現(xiàn)為流式數(shù)據(jù)特征, 實(shí)時(shí)連續(xù)觀(guān)測(cè)尤為重要。例如, 我國(guó)已經(jīng)開(kāi)發(fā)了一些污染物擴(kuò)散預(yù)測(cè)模型, 可由于缺乏大量實(shí)時(shí)數(shù)據(jù)的支持而不能進(jìn)行精確地預(yù)測(cè);最后從數(shù)據(jù)真實(shí)性來(lái)看, 由于受野外監(jiān)測(cè)條件的限制, 生態(tài)環(huán)境大數(shù)據(jù)往往存在一定誤差甚至存在錯(cuò)誤數(shù)據(jù)。如何從海量數(shù)據(jù)中去偽存真獲取真實(shí)數(shù)據(jù)是生態(tài)環(huán)境大數(shù)據(jù)面臨的又一挑戰(zhàn)。
除了上述基本特征,生態(tài)環(huán)境大數(shù)據(jù)較其他領(lǐng)域大數(shù)據(jù)更加具有數(shù)據(jù)源多樣又復(fù)雜、所在部門(mén)分散、監(jiān)測(cè)體系不統(tǒng)一、跨歷史事件長(zhǎng)的獨(dú)特特點(diǎn)。
早在20世紀(jì)中葉, “大數(shù)據(jù)”的思想已在生態(tài)環(huán)境領(lǐng)域得到體現(xiàn), 宏觀(guān)生態(tài)學(xué)研究早已認(rèn)識(shí)到了大數(shù)據(jù)的重要性。大數(shù)據(jù)在生態(tài)系統(tǒng)研究方面的應(yīng)用, 最早可以追溯到國(guó)際地球物理年(1957—1958)和國(guó)際生物學(xué)計(jì)劃(IBP)(1964—1974), 當(dāng)時(shí)被稱(chēng)為大科學(xué)研究, 其目的是通過(guò)收集大量的數(shù)據(jù)研究大尺度生態(tài)環(huán)境問(wèn)題, 后來(lái)這種研究演變成了現(xiàn)在的國(guó)際長(zhǎng)期生態(tài)研究計(jì)劃(ILTER)。直至目前隨著科技的發(fā)展, 生態(tài)環(huán)境大數(shù)據(jù)在收集、監(jiān)測(cè)、分析與應(yīng)用方面都相繼取得了初步發(fā)展。
目前國(guó)際上已經(jīng)建立了多套覆蓋全球的生態(tài)環(huán)境監(jiān)測(cè)網(wǎng)絡(luò), 總體來(lái)說(shuō)可分為全球衛(wèi)星遙感監(jiān)測(cè)網(wǎng)絡(luò)和地面監(jiān)測(cè)網(wǎng)絡(luò)這兩大類(lèi)。全球尺度的主要觀(guān)測(cè)網(wǎng)絡(luò)包括全球環(huán)境監(jiān)測(cè)系統(tǒng)( GEMS)、全球陸地觀(guān)測(cè)系統(tǒng)( CTOS) 、國(guó)際長(zhǎng)期生態(tài)研究網(wǎng)絡(luò)( ILTER) 、全球通量觀(guān)測(cè)網(wǎng)絡(luò)( FLUXNET) 以及國(guó)際生物多樣性觀(guān)測(cè)網(wǎng)絡(luò)(GEO· BON) 等。有代表性的國(guó)家尺度生態(tài)環(huán)境觀(guān)測(cè)研究網(wǎng)絡(luò)包括美國(guó)的US—LTER生態(tài)環(huán)境觀(guān)測(cè)研究網(wǎng)絡(luò)、英國(guó)的ECN生態(tài)環(huán)境觀(guān)測(cè)研究網(wǎng)絡(luò)、中國(guó)的CERN生態(tài)環(huán)境觀(guān)測(cè)研究網(wǎng)絡(luò)和日本長(zhǎng)期生態(tài)研究網(wǎng)絡(luò)(JALTER)。
隨著全球生態(tài)環(huán)境問(wèn)題日益突出, 衛(wèi)星遙感技術(shù)在生態(tài)環(huán)境監(jiān)測(cè)與管理中的應(yīng)用也越來(lái)越廣泛,美國(guó)、日本及歐洲的一些國(guó)家近年來(lái)都在大力發(fā)展生態(tài)環(huán)境遙感監(jiān)測(cè)技術(shù)。目前在軌運(yùn)行的和計(jì)劃發(fā)展的國(guó)內(nèi)外衛(wèi)星傳感器提供數(shù)據(jù)的空間分辨率已從公里級(jí)發(fā)展到亞米級(jí), 重復(fù)觀(guān)測(cè)頻率從月周期發(fā)展到幾小時(shí), 光譜波段跨越了可見(jiàn)光、紅外到微波, 光譜分辨率從多波段發(fā)展到超光譜, 遙感數(shù)據(jù)獲取技術(shù)正走向?qū)崟r(shí)化和精確化, 衛(wèi)星遙感應(yīng)用也正在向定量化和業(yè)務(wù)化快速發(fā)展[34]。在陸地生態(tài)環(huán)境遙感監(jiān)測(cè)方面, 通常采用空間分辨率較高的陸地衛(wèi)星和傳感器, 如美國(guó)的Landsat/TM系列、法國(guó)SPOT/HRV系列、印度IRS-1系列以及高光譜衛(wèi)星如美國(guó)的EO-1/ALI及Hyperion等。在海洋衛(wèi)星遙感方面也開(kāi)展了全球范圍的業(yè)務(wù)化運(yùn)行, 代表性的衛(wèi)星平臺(tái)和傳感器有美國(guó)的Seastar/SeaWiFS、EOS/MODIS-TERRA&AQUA及歐空局的ENVISAT/ MERIS、日本的ADEOS/GLI、印度的IRS/OCM等。另外, 覆蓋全球的大氣監(jiān)測(cè)衛(wèi)星傳感器主要有美國(guó)的NOAA/AVHRR、EOS/MODIS-TERRA&AQUA& AURA和歐空局的ENVISAT/SCIAMACHY、ERS-2/ GOME、METOP-1/GOME-2及日本的ADEOS-Ⅱ/ TOMS&TOVS等[37]。
全球地面監(jiān)測(cè)網(wǎng)絡(luò)中, 其中比較典型的是地面氣象站監(jiān)測(cè)網(wǎng)絡(luò)和全球環(huán)境監(jiān)測(cè)網(wǎng)絡(luò)等。全球地面氣象站監(jiān)測(cè)網(wǎng)絡(luò)集成了不同國(guó)家不同地區(qū)的實(shí)時(shí)天氣觀(guān)測(cè)數(shù)據(jù), 共包含100多種數(shù)據(jù)來(lái)源和35000個(gè)氣象站點(diǎn)。該監(jiān)測(cè)網(wǎng)絡(luò)涉及的氣象站點(diǎn)數(shù)據(jù)可追溯到1901年, 站點(diǎn)數(shù)量在二十世紀(jì)四十年代和七十年代出現(xiàn)了兩次大幅度的增加, 目前已經(jīng)擁有了14000個(gè)每日更新的固定站點(diǎn)。全球地面氣象站監(jiān)測(cè)網(wǎng)絡(luò)獲取的氣象參數(shù)主要包括風(fēng)速風(fēng)向、溫度、云量、氣壓、可見(jiàn)度、降水以及積雪深度等其它要素(https: //www.ncdc.noaa.gov)。全球環(huán)境監(jiān)測(cè)系統(tǒng)是聯(lián)合國(guó)環(huán)境規(guī)劃署下屬的全球和地區(qū)環(huán)境監(jiān)測(cè)的協(xié)調(diào)中心, 它系統(tǒng)地收集和分析了各種環(huán)境狀況變化因素的數(shù)據(jù)和環(huán)境在時(shí)間和空間上的變化情況, 并在此基礎(chǔ)上對(duì)環(huán)境狀況進(jìn)行定期評(píng)價(jià), 從而提高對(duì)環(huán)境的管理、監(jiān)測(cè)與評(píng)價(jià)水平。該監(jiān)測(cè)網(wǎng)絡(luò)主要涉及陸地生態(tài)系統(tǒng)監(jiān)測(cè)和環(huán)境污染監(jiān)測(cè), 如大氣組成和氣候系統(tǒng)、淡水和海岸污染、空氣污染、森林砍伐、臭氧層耗減、溫室氣體增加、酸雨、全球冰蓋范圍變化以及生物多樣性問(wèn)題等。
我國(guó)生態(tài)環(huán)境大數(shù)據(jù)的研究起步較晚, 環(huán)境保護(hù)部最近剛剛發(fā)布了《生態(tài)環(huán)境大數(shù)據(jù)建設(shè)總體方案》, 但是該方案僅涉及到環(huán)保系統(tǒng)大數(shù)據(jù)的建設(shè)規(guī)劃, 而分布在其它部門(mén)的大量生態(tài)環(huán)境數(shù)據(jù)并沒(méi)有在該方案中得以體現(xiàn)。在生態(tài)系統(tǒng)監(jiān)測(cè)方面, 我國(guó)已于1988年開(kāi)始組建中國(guó)陸地生態(tài)系統(tǒng)監(jiān)測(cè)網(wǎng)絡(luò), 覆蓋農(nóng)田、森林、草原、荒漠、湖泊、海灣、沼澤、喀斯特及城市9類(lèi)生態(tài)系統(tǒng), 觀(guān)測(cè)指標(biāo)達(dá)280多個(gè)。其中包括中科院所屬45個(gè)站;國(guó)家林業(yè)局所屬森林站105個(gè)、濕地站35個(gè)、荒漠站26個(gè);農(nóng)業(yè)部所屬68個(gè)野外農(nóng)業(yè)試驗(yàn)站和185個(gè)國(guó)家級(jí)草原固定監(jiān)測(cè)站;此外水利部、教育部以及地方政府也擁有上百個(gè)生態(tài)監(jiān)測(cè)站。同時(shí), 我國(guó)已初步建成包括岸基海洋觀(guān)測(cè)系統(tǒng)、離岸海洋觀(guān)測(cè)系統(tǒng)、大洋和極地觀(guān)測(cè)的海洋生態(tài)系統(tǒng)觀(guān)測(cè)網(wǎng)絡(luò), 其中包括海洋站180多個(gè)、浮/潛標(biāo)50多個(gè)、調(diào)查斷面約120個(gè)、極地科考站4個(gè)。此外, 我國(guó)也初步建立了生態(tài)系統(tǒng)通量觀(guān)測(cè)網(wǎng), 包括200余個(gè)通量站。
在環(huán)境污染監(jiān)測(cè)方面, 我國(guó)已經(jīng)初步建立了一套網(wǎng)絡(luò)監(jiān)測(cè)系統(tǒng), 涵蓋大氣、水和土壤等領(lǐng)域。其中, 大氣監(jiān)測(cè)網(wǎng)包括1436個(gè)空氣質(zhì)量監(jiān)測(cè)站點(diǎn)、82個(gè)沙塵暴監(jiān)測(cè)站點(diǎn)、1011個(gè)酸雨監(jiān)測(cè)站點(diǎn)、956個(gè)地表水水質(zhì)監(jiān)測(cè)斷面、20401個(gè)地下水監(jiān)測(cè)站點(diǎn)、301個(gè)近海水質(zhì)監(jiān)測(cè)站點(diǎn)、35000多個(gè)土壤污染監(jiān)測(cè)站點(diǎn)。此外, 在氣象觀(guān)測(cè)方面, 近年來(lái)國(guó)家氣象局已管理高達(dá)2000多個(gè)常規(guī)氣象站, 3萬(wàn)多個(gè)自動(dòng)氣象站和39個(gè)沙塵暴監(jiān)測(cè)站點(diǎn)。在水利方面, 已擁有259個(gè)水文站及1435個(gè)水位站, 其中水利衛(wèi)星通信站達(dá)610個(gè); 國(guó)家水土流失監(jiān)測(cè)網(wǎng)絡(luò)目前由7大流域監(jiān)測(cè)中心站、31個(gè)省級(jí)監(jiān)測(cè)總站和175個(gè)重點(diǎn)地區(qū)監(jiān)測(cè)站構(gòu)成。在冰凍監(jiān)測(cè)方面, 已有冰川監(jiān)測(cè)站4個(gè), 凍土監(jiān)測(cè)站160余個(gè)。另外, 我國(guó)目前已初步建成了綜合資源環(huán)境遙感監(jiān)測(cè)平臺(tái), 包括陸地衛(wèi)星9顆、氣象衛(wèi)星3顆、海洋衛(wèi)星3顆。
至今為止, 一套天地立體監(jiān)測(cè)系統(tǒng)已初步建立, 但由于我國(guó)幅員遼闊, 生態(tài)環(huán)境復(fù)雜, 這些監(jiān)測(cè)系統(tǒng)還無(wú)法完全滿(mǎn)足生態(tài)環(huán)境建設(shè)的需要, 很多監(jiān)測(cè)網(wǎng)絡(luò)有待進(jìn)一步補(bǔ)充完善。首先這些網(wǎng)絡(luò)系統(tǒng)分散于多個(gè)部門(mén), 存在著數(shù)據(jù)收集標(biāo)準(zhǔn)不一、質(zhì)量參差不齊和數(shù)據(jù)共享極其困難等問(wèn)題。另外,上述各類(lèi)網(wǎng)絡(luò)現(xiàn)階段主要側(cè)重于數(shù)據(jù)收集, 在數(shù)據(jù)分析、挖掘、存儲(chǔ)和利用等方面還非常薄弱甚至某些領(lǐng)域還是空白。例如在大數(shù)據(jù)的硬件支撐方面(超算和云計(jì)算), 我國(guó)目前雖然擁有世界上最快的天河2號(hào)計(jì)算機(jī), 但由于應(yīng)用軟件開(kāi)發(fā)滯后, 數(shù)據(jù)分析與挖掘能力不足, 導(dǎo)致機(jī)器利用率很低, 從而無(wú)法充分發(fā)揮大數(shù)據(jù)在生態(tài)環(huán)境領(lǐng)域的優(yōu)勢(shì)。
雖然大數(shù)據(jù)本身蘊(yùn)含了大量信息但更多有用的信息并不在于原數(shù)據(jù)本身, 而在于對(duì)數(shù)據(jù)進(jìn)行深度分析, 剖析數(shù)據(jù)間的統(tǒng)計(jì)關(guān)系挖掘其中的潛在價(jià)值。統(tǒng)計(jì)分析是數(shù)據(jù)處理最常用的技術(shù), 通常包括數(shù)據(jù)描述性分析、相關(guān)分析、回歸分析、聚類(lèi)分析以及主成分分析等。除具備數(shù)據(jù)的一般特性外生態(tài)環(huán)境數(shù)據(jù)通常還具有地理空間特征, 因此空間分析技術(shù)是生態(tài)環(huán)境大數(shù)據(jù)的常用分析技術(shù)。傳統(tǒng)的統(tǒng)計(jì)分析技術(shù)與大數(shù)據(jù)相結(jié)合對(duì)推動(dòng)生態(tài)環(huán)境領(lǐng)域的發(fā)展起到了舉足輕重的作用, 各類(lèi)統(tǒng)計(jì)分析軟件、地理信息軟件等的開(kāi)發(fā)利用對(duì)于解決復(fù)雜多變的生態(tài)環(huán)境問(wèn)題提供了有力的技術(shù)支撐。
美國(guó)環(huán)保局聯(lián)合美國(guó)航空航天局利用衛(wèi)星技術(shù)收集空氣質(zhì)量數(shù)據(jù), 以便更好地確定污染源及污染物排放與變化規(guī)律。同時(shí)利用商業(yè)傳感器開(kāi)發(fā)個(gè)人空氣質(zhì)量監(jiān)測(cè)系統(tǒng)和能夠安裝在各種交通工具上的空氣污染監(jiān)測(cè)傳感器系統(tǒng)。美國(guó)環(huán)保局聯(lián)合企業(yè)研發(fā)力量, 通過(guò)產(chǎn)學(xué)研聯(lián)合創(chuàng)新推動(dòng)了大數(shù)據(jù)的發(fā)展。在生態(tài)環(huán)境大數(shù)據(jù)的建設(shè)方面, IBM、惠普、谷歌、微軟等美國(guó)IT企業(yè)為政府和公眾提供了全球最先進(jìn)的數(shù)據(jù)庫(kù)、服務(wù)器、搜索服務(wù)和存儲(chǔ)設(shè)備等, 幫助政府和研究機(jī)構(gòu)對(duì)環(huán)境現(xiàn)狀及未來(lái)趨勢(shì)做出準(zhǔn)確判斷。但是國(guó)際上跨部門(mén)跨行業(yè)的大數(shù)據(jù)平臺(tái)目前還比較少見(jiàn), 尤其是在生態(tài)環(huán)境領(lǐng)域。
近年來(lái), 隨著計(jì)算機(jī)和通信技術(shù)的飛速發(fā)展, 大數(shù)據(jù)在生物多樣性保護(hù)領(lǐng)域也得到了廣泛應(yīng)用, 很多國(guó)家和地區(qū)已經(jīng)或正在建設(shè)生物多樣性信息管理系統(tǒng)。例如, 惠普公司聯(lián)合非盈利環(huán)保組織“保護(hù)國(guó)際”(Conservation International)于2012年共同啟動(dòng)惠普地球觀(guān)察(HP Earth Insights)項(xiàng)目。通過(guò)開(kāi)發(fā)Vertica分析平臺(tái), 該項(xiàng)目對(duì)全球高達(dá)3兆兆字節(jié)的生物多樣性和氣候數(shù)據(jù)進(jìn)行了系統(tǒng)分析。同時(shí), 為了提高生物多樣性信息的可視化程度, 研發(fā)了野生動(dòng)物圖片索引分析系統(tǒng)(Wildlife Picture Index Analytics System), 用戶(hù)可以通過(guò)網(wǎng)絡(luò)隨時(shí)隨地對(duì)該系統(tǒng)進(jìn)行訪(fǎng)問(wèn)。
通用的統(tǒng)計(jì)分析技術(shù)給大數(shù)據(jù)平臺(tái)的信息挖掘提供了有力的手段, 但是這些用于數(shù)據(jù)加工的通用分析軟件(如R、SAS、SPASS等)對(duì)于解決復(fù)雜多變的生態(tài)環(huán)境問(wèn)題還遠(yuǎn)遠(yuǎn)不夠, 正是諸多技術(shù)瓶頸使生態(tài)環(huán)境大數(shù)據(jù)的集成和分析方面相對(duì)薄弱。
目前大數(shù)據(jù)在生態(tài)環(huán)境領(lǐng)域已得到初步應(yīng)用, 主要體現(xiàn)在全球氣候變化預(yù)測(cè)與區(qū)域大氣污染治理等方面。
大數(shù)據(jù)技術(shù)有助于整合海量龐雜的觀(guān)測(cè)數(shù)據(jù)及模式數(shù)據(jù)提高的數(shù)據(jù)存儲(chǔ)速度和管理效率。隨著新的氣象觀(guān)測(cè)設(shè)備的普及與應(yīng)用, 氣象觀(guān)測(cè)己經(jīng)由過(guò)去相對(duì)少量的常規(guī)觀(guān)測(cè)發(fā)展到如今海量的非常規(guī)觀(guān)測(cè), 觀(guān)測(cè)精度也日益提高。目前氣象監(jiān)測(cè)站點(diǎn)已經(jīng)遍布全球, 觀(guān)測(cè)范圍從地面到幾千米的高空, 觀(guān)測(cè)手段從最原始的人工觀(guān)測(cè)到高科技的雷達(dá)衛(wèi)星[13]。與此同時(shí)為了真實(shí)地模擬全球大氣走向大量的模式數(shù)據(jù)也隨之產(chǎn)生,模式系統(tǒng)一般每天計(jì)算2—4次, 通常在整點(diǎn)開(kāi)始利用整點(diǎn)前采集到的實(shí)況數(shù)據(jù)進(jìn)行計(jì)算, 每次計(jì)算要生成大概幾百個(gè)物理量, 包括從開(kāi)始計(jì)算的時(shí)刻至未來(lái)240 h或更長(zhǎng)時(shí)效的一系列二進(jìn)制網(wǎng)格數(shù)據(jù), 預(yù)報(bào)時(shí)效通常間隔3 h?目前氣象網(wǎng)格經(jīng)緯度間距一般在0.25度數(shù)量級(jí), 一個(gè)網(wǎng)格文件大小通常在1—2兆, 包含幾十萬(wàn)個(gè)浮點(diǎn)數(shù)值[15]?譚清海等(2013)針對(duì)氣候模式在超大規(guī)模數(shù)值模擬中產(chǎn)生的Tb至Pb量級(jí)的四維體數(shù)據(jù)的可視化和分析診斷方法, 提出了基于Server-Client方式的遠(yuǎn)程數(shù)據(jù)抽取和并行可視化解決方案[32]?2015年6月, 美國(guó)宇航局結(jié)合了最新超級(jí)計(jì)算技術(shù)、地球系統(tǒng)模型、工作流管理以及遙感數(shù)據(jù)的協(xié)作及分析平臺(tái), 發(fā)布了從1950年到2100年全球氣候變化預(yù)測(cè)數(shù)據(jù), 該數(shù)據(jù)庫(kù)可以在15 km的空間分辨率上測(cè)算未來(lái)全球各地氣溫與降水情況的變化。國(guó)內(nèi)方面黃剛等(2010)分析了大氣科學(xué)數(shù)據(jù)的特點(diǎn), 同時(shí)結(jié)合e-Science的大氣科學(xué)數(shù)據(jù)再分析平臺(tái)構(gòu)建了一套新的大氣科學(xué)數(shù)據(jù)的分析和可視化系統(tǒng), 并提出數(shù)據(jù)處理算法與數(shù)據(jù)分析系統(tǒng)結(jié)合的可行方案[26]。賈韶輝(2013)基于大數(shù)據(jù)角度研發(fā)了集成大數(shù)據(jù)的信息與專(zhuān)業(yè)服務(wù)平臺(tái), 開(kāi)展了針對(duì)中國(guó)石油氣象與地質(zhì)災(zāi)害的預(yù)報(bào)預(yù)警工作[28]?2015年5月,中國(guó)氣象局與阿里云合作, 旨在挖掘全球尺度歷史觀(guān)測(cè)及預(yù)報(bào)數(shù)據(jù)等氣象大數(shù)據(jù)的深層價(jià)值。2015年9月,中國(guó)科學(xué)院大氣物理研究所等發(fā)布了“地球數(shù)值模擬裝置”原型系統(tǒng), 該系統(tǒng)是基于中科院地球系統(tǒng)模式1.0版本的高性能計(jì)算機(jī)系統(tǒng), 填補(bǔ)了中國(guó)地球系統(tǒng)模式大數(shù)據(jù)實(shí)踐平臺(tái)的空白。另外, 氣候變化觀(guān)測(cè)數(shù)據(jù)包含的信息十分豐富可以發(fā)揮出跨行業(yè)的服務(wù)價(jià)值, 有可能挖掘出新的信息從而拓展新的業(yè)務(wù)領(lǐng)域和服務(wù)范圍。例如美國(guó)硅谷一家公司利用多年來(lái)的降雨、氣溫、土壤狀況等氣象數(shù)據(jù)與歷年農(nóng)作物產(chǎn)量進(jìn)行關(guān)聯(lián)分析, 預(yù)測(cè)各地農(nóng)場(chǎng)來(lái)年產(chǎn)量和適宜種植品種, 這些結(jié)果以個(gè)性化保險(xiǎn)服務(wù)的形式向農(nóng)戶(hù)出售, 從而減少了氣象災(zāi)害給當(dāng)?shù)剞r(nóng)戶(hù)帶來(lái)的風(fēng)險(xiǎn)及損失。氣象大數(shù)據(jù)應(yīng)用還可在林業(yè)、海洋、氣象災(zāi)害等方面拓展新的業(yè)務(wù)領(lǐng)域[25]。
大數(shù)據(jù)技術(shù)為區(qū)域大氣污染聯(lián)防聯(lián)控工作的開(kāi)展帶來(lái)了巨大的潛力。傳統(tǒng)的區(qū)域大氣質(zhì)量模式對(duì)監(jiān)測(cè)、氣象、地理等數(shù)據(jù)分析可以起到一定的作用, 但傳統(tǒng)的數(shù)據(jù)分析方法處理大氣污染的時(shí)空數(shù)據(jù)卻面臨較多的困難和局限。與之相比, 大數(shù)據(jù)技術(shù)在處理視頻、語(yǔ)音、文檔、圖片等非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)挖掘、專(zhuān)題分析和模擬預(yù)測(cè)方面更加具有優(yōu)勢(shì)[37]。大數(shù)據(jù)技術(shù)通過(guò)對(duì)海量數(shù)據(jù)的有效整合、抽取、數(shù)據(jù)分析以及數(shù)據(jù)解釋和挖掘?yàn)閰^(qū)域大氣污染聯(lián)防聯(lián)控監(jiān)管工作的開(kāi)展帶來(lái)了新的機(jī)遇。武裝和覃愛(ài)明(2015)提出了利用空氣污染觀(guān)測(cè)資料和先進(jìn)的大數(shù)據(jù)Hadoop平臺(tái)對(duì)空氣監(jiān)測(cè)數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘和分析[35]。該方法依據(jù)逐年逐日的天氣現(xiàn)象數(shù)據(jù), 針對(duì)地區(qū)空氣污染狀況以及時(shí)間分布特征的影響進(jìn)行研究, 并以可視化方法對(duì)空氣污染物的時(shí)空分布特征進(jìn)行預(yù)測(cè)?曹騮和吳修文(2015)開(kāi)發(fā)了基于大數(shù)據(jù)平臺(tái)的PM2.5監(jiān)測(cè)預(yù)警系統(tǒng), 該系統(tǒng)由前端的PM2.5云監(jiān)測(cè)儀和后端的大數(shù)據(jù)處理平臺(tái)組成突破了傳統(tǒng)的監(jiān)測(cè)方法, 運(yùn)用創(chuàng)新的設(shè)計(jì)理念, 使環(huán)保與大數(shù)據(jù)技術(shù)有機(jī)結(jié)合, 架構(gòu)海量數(shù)據(jù)處理平臺(tái)[22]。
雖然生態(tài)環(huán)境大數(shù)據(jù)的相關(guān)研究已經(jīng)有了很大進(jìn)展但仍存在以下幾點(diǎn)不足:
1) 缺乏數(shù)據(jù)共享。我國(guó)的生態(tài)環(huán)境建設(shè)經(jīng)過(guò)多年努力在快速發(fā)展的同時(shí)產(chǎn)生了大量的數(shù)據(jù), 可由于數(shù)據(jù)標(biāo)準(zhǔn)格式和技術(shù)路線(xiàn)不統(tǒng)一導(dǎo)致嚴(yán)重的數(shù)據(jù)割據(jù), 形成了“數(shù)據(jù)孤島”。數(shù)據(jù)共享一直是制約大數(shù)據(jù)發(fā)展的突出問(wèn)題, 沒(méi)有數(shù)據(jù)共享, 就無(wú)法形成“大數(shù)據(jù)”, 因此數(shù)據(jù)共享是開(kāi)展生態(tài)環(huán)境大數(shù)據(jù)建設(shè)的前提和基礎(chǔ)。2)技術(shù)問(wèn)題。從基礎(chǔ)架構(gòu)講, 傳統(tǒng)信息技術(shù)架構(gòu)存在擴(kuò)展性弱、容錯(cuò)性差、資源利用率低等問(wèn)題。云計(jì)算是解決這些問(wèn)題的關(guān)鍵, 但目前在生態(tài)環(huán)境領(lǐng)域中云計(jì)算技術(shù)普遍僅在IaaS層實(shí)現(xiàn)硬件資源調(diào)配, 在市場(chǎng)上少見(jiàn)PaaS和SaaS層的成熟產(chǎn)品和解決方案。在數(shù)據(jù)采集方面, 生態(tài)環(huán)境大數(shù)據(jù)除傳統(tǒng)的業(yè)務(wù)數(shù)據(jù)外還來(lái)源于物聯(lián)網(wǎng)傳感器、網(wǎng)絡(luò)定位、視頻影像, 以及互聯(lián)網(wǎng)上的文本、圖片等信息。如何將這些多源異構(gòu)數(shù)據(jù)轉(zhuǎn)換成合適的格式和類(lèi)型, 并將這些數(shù)據(jù)應(yīng)用于環(huán)境決策和監(jiān)管還在探討之中。在數(shù)據(jù)存儲(chǔ)方面, SQL 數(shù)據(jù)庫(kù)已不適合用于大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和處理, 大數(shù)據(jù)所需要配套的分布式數(shù)據(jù)庫(kù)與混合型數(shù)據(jù)庫(kù)相關(guān)技術(shù)還有待進(jìn)一步完善, 也需要對(duì)相關(guān)技術(shù)人員進(jìn)行專(zhuān)業(yè)培訓(xùn)。建模分析是大數(shù)據(jù)的核心技術(shù), 如何使用新一代的機(jī)器學(xué)習(xí)和人工智能等模型實(shí)現(xiàn)技術(shù)應(yīng)用創(chuàng)新, 為不同客戶(hù)提供個(gè)性化服務(wù), 是我國(guó)生態(tài)環(huán)境建設(shè)面臨的重要挑戰(zhàn), 同時(shí)也正是生態(tài)環(huán)境大數(shù)據(jù)的發(fā)展機(jī)遇。3)應(yīng)用不足。迄今為止, 我國(guó)生態(tài)環(huán)境大數(shù)據(jù)的創(chuàng)新應(yīng)用還很有限, 大數(shù)據(jù)的威力遠(yuǎn)遠(yuǎn)未能發(fā)揮出來(lái), 政府綜合運(yùn)用生態(tài)環(huán)境大數(shù)據(jù)的能力較低, 沒(méi)有形成成熟的生態(tài)環(huán)境大數(shù)據(jù)產(chǎn)業(yè)鏈和有影響力的數(shù)據(jù)企業(yè)。生態(tài)環(huán)境大數(shù)據(jù)在氣象、水利、國(guó)土、農(nóng)業(yè)、林業(yè)、交通、社會(huì)經(jīng)濟(jì)等各部門(mén)的應(yīng)用才剛剛起步, 跨領(lǐng)域的應(yīng)用寥寥無(wú)幾。如何促進(jìn)大數(shù)據(jù)在生態(tài)環(huán)境領(lǐng)域中的應(yīng)用創(chuàng)新, 使大數(shù)據(jù)真正成為提高生態(tài)環(huán)境監(jiān)管能力現(xiàn)代化的有力手段, 是目前世界各國(guó)正在探索的課題。
生態(tài)環(huán)境問(wèn)題的解決需要長(zhǎng)期的數(shù)據(jù)積累, 對(duì)這些長(zhǎng)期積累數(shù)據(jù)進(jìn)行收集和整理是大數(shù)據(jù)科學(xué)中非常關(guān)鍵的一部分。與生態(tài)環(huán)境相關(guān)的數(shù)據(jù)眾多, 大致包括地面監(jiān)測(cè)數(shù)據(jù)、遙感影像數(shù)據(jù)、社會(huì)經(jīng)濟(jì)數(shù)據(jù)、專(zhuān)項(xiàng)調(diào)查數(shù)據(jù)以及科學(xué)研究數(shù)據(jù)等。由于生態(tài)環(huán)境的多樣性和復(fù)雜性, 這些數(shù)據(jù)的來(lái)源、監(jiān)測(cè)對(duì)象及收集管理均不統(tǒng)一, 而是分布在環(huán)保、國(guó)土、水利、農(nóng)業(yè)、林業(yè)、衛(wèi)生、氣象、海洋等多個(gè)領(lǐng)域。例如, 各類(lèi)生態(tài)環(huán)境及污染監(jiān)測(cè)數(shù)據(jù), 包括污染物排放數(shù)據(jù)、空氣環(huán)境質(zhì)量數(shù)據(jù)、水環(huán)境質(zhì)量數(shù)據(jù)及土壤環(huán)境質(zhì)量數(shù)據(jù)等; 各類(lèi)農(nóng)業(yè)資源、農(nóng)業(yè)生產(chǎn)及農(nóng)業(yè)市場(chǎng)等數(shù)據(jù); 森林資源清查數(shù)據(jù)、林業(yè)生態(tài)工程數(shù)據(jù)、自然保護(hù)區(qū)及生物多樣性數(shù)據(jù)等林業(yè)數(shù)據(jù); 土地資源、土地利用、礦產(chǎn)資源開(kāi)發(fā)等數(shù)據(jù); 水文水資源、水土流失、水利設(shè)施等數(shù)據(jù); 各類(lèi)地面氣象站、氣象衛(wèi)星、氣象雷達(dá)以及探空等氣象數(shù)據(jù); 海洋生態(tài)環(huán)境、漁業(yè)資源、近海資源開(kāi)發(fā)、濱海濕地保護(hù)等海洋數(shù)據(jù)以及各種環(huán)境災(zāi)害數(shù)據(jù)以及與環(huán)境相關(guān)的人體健康等數(shù)據(jù)等等。
但目前人們對(duì)這些數(shù)據(jù)的開(kāi)發(fā)利用不足遠(yuǎn)沒(méi)有發(fā)揮數(shù)據(jù)本身以及隱藏?cái)?shù)據(jù)背后的價(jià)值。造成這種現(xiàn)象的最主要原因是數(shù)據(jù)的來(lái)源、格式及標(biāo)準(zhǔn)等不統(tǒng)一, 缺乏有效的集成共享。沒(méi)有數(shù)據(jù)共享, 不能實(shí)現(xiàn)數(shù)據(jù)“在一起”, 就不能形成大數(shù)據(jù)[24]。因此, 對(duì)歷史數(shù)據(jù)進(jìn)行收集整理并實(shí)現(xiàn)有效共享是開(kāi)展生態(tài)環(huán)境大數(shù)據(jù)建設(shè)的前提和基礎(chǔ)。通過(guò)不同國(guó)家間的協(xié)議交換來(lái)實(shí)現(xiàn)生態(tài)環(huán)境大數(shù)據(jù)在國(guó)際間共享與服務(wù), 推動(dòng)實(shí)現(xiàn)國(guó)際生態(tài)環(huán)境大數(shù)據(jù)平臺(tái)的對(duì)接, 為解決全球性生態(tài)環(huán)境問(wèn)題提供科學(xué)依據(jù)和有力支撐成為必然趨勢(shì)。
生態(tài)環(huán)境監(jiān)測(cè)是一項(xiàng)宏觀(guān)與微觀(guān)相結(jié)合的復(fù)雜的系統(tǒng)工程, 其涉及的空間和時(shí)間范圍都非常廣。生態(tài)環(huán)境監(jiān)測(cè)的對(duì)象包括農(nóng)田、森林、草地、荒漠、濕地、湖泊、海洋、氣象、物候、動(dòng)植物等。針對(duì)生態(tài)環(huán)境數(shù)據(jù)特定優(yōu)化的數(shù)據(jù)采集、存儲(chǔ)、分析、發(fā)布等多個(gè)模塊, 實(shí)現(xiàn)對(duì)氣象、環(huán)境、地質(zhì)、農(nóng)業(yè)、林業(yè)、海洋等多類(lèi)型生態(tài)環(huán)境數(shù)據(jù)的實(shí)時(shí)監(jiān)測(cè)和關(guān)鍵環(huán)境變量的預(yù)報(bào)預(yù)測(cè)以及使觀(guān)測(cè)數(shù)據(jù)標(biāo)準(zhǔn)化、規(guī)范化和共享是未來(lái)的發(fā)展趨勢(shì)。
在當(dāng)今生態(tài)系統(tǒng)研究的時(shí)空尺度不斷拓展的狀況下, 需要跨區(qū)域的不同監(jiān)測(cè)站點(diǎn)甚至不同觀(guān)測(cè)網(wǎng)絡(luò)進(jìn)行聯(lián)合觀(guān)測(cè)與研究, 建立從樣地到區(qū)域甚至到全球多尺度的、系統(tǒng)的觀(guān)測(cè)與研究。其次, 應(yīng)該推進(jìn)觀(guān)測(cè)的標(biāo)準(zhǔn)化和規(guī)范化, 進(jìn)一步統(tǒng)一不同生態(tài)環(huán)境觀(guān)測(cè)網(wǎng)絡(luò)的觀(guān)測(cè)標(biāo)準(zhǔn), 建立國(guó)際統(tǒng)一的觀(guān)測(cè)標(biāo)準(zhǔn)和規(guī)范。
數(shù)據(jù)處理與分析主要體現(xiàn)在統(tǒng)計(jì)分析、人工智能分析和數(shù)據(jù)的深度挖掘等方面。首先, 基于生態(tài)環(huán)境大數(shù)據(jù)的統(tǒng)計(jì)分析主要是從生態(tài)環(huán)境集成數(shù)據(jù)庫(kù)中抽取需要的數(shù)據(jù)資源建立數(shù)據(jù)倉(cāng)庫(kù), 并通過(guò)特定的數(shù)據(jù)挖掘技術(shù)對(duì)數(shù)據(jù)進(jìn)行深度分析和挖掘以獲取新的認(rèn)知, 但是傳統(tǒng)的統(tǒng)計(jì)分析軟件無(wú)法對(duì)大數(shù)據(jù)庫(kù)進(jìn)行有效的處理需要開(kāi)發(fā)針對(duì)大數(shù)據(jù)的統(tǒng)計(jì)分析軟件, 尤其是生態(tài)環(huán)境大數(shù)據(jù)更應(yīng)該重視地理信息技術(shù)與統(tǒng)計(jì)分析技術(shù)的結(jié)合, 是未來(lái)生態(tài)環(huán)境大數(shù)據(jù)在數(shù)據(jù)的統(tǒng)計(jì)分析方面的發(fā)展趨勢(shì)。
其次, 在生態(tài)環(huán)境大數(shù)據(jù)平臺(tái)的基礎(chǔ)上利用計(jì)算機(jī)學(xué)習(xí)生態(tài)環(huán)境領(lǐng)域的相關(guān)理論及專(zhuān)家知識(shí), 建立各類(lèi)計(jì)算模型或認(rèn)識(shí)模型, 結(jié)合具體應(yīng)用建立面向任務(wù)的學(xué)習(xí)系統(tǒng), 實(shí)現(xiàn)生態(tài)環(huán)境大數(shù)據(jù)平臺(tái)的智能化應(yīng)用, 以有效提高生態(tài)環(huán)境監(jiān)管水平。
同時(shí), 統(tǒng)計(jì)分析技術(shù)給大數(shù)據(jù)平臺(tái)的信息挖掘提供了有力的手段, 但是這些用于數(shù)據(jù)加工的通用分析軟件(如R、SAS、SPASS等)對(duì)于解決復(fù)雜多變的生態(tài)環(huán)境問(wèn)題還遠(yuǎn)遠(yuǎn)不夠。相比其它社會(huì)領(lǐng)域, 生態(tài)環(huán)境領(lǐng)域的用戶(hù)需要更加專(zhuān)業(yè)的服務(wù), 因此需要結(jié)合生態(tài)環(huán)境領(lǐng)域的相關(guān)理論來(lái)提高數(shù)據(jù)挖掘能力。目前生態(tài)環(huán)境面臨諸多問(wèn)題, 僅靠大量數(shù)據(jù)還不足以揭示這些問(wèn)題的驅(qū)動(dòng)機(jī)制和潛在影響, 因此過(guò)程模型與大數(shù)據(jù)的結(jié)合顯得尤為重要。數(shù)據(jù)與模型融合不僅可以利用豐富的數(shù)據(jù)資源作為模型的輸入, 同時(shí)又可以通過(guò)模型模擬產(chǎn)生新的、更有價(jià)值的數(shù)據(jù)來(lái)豐富大數(shù)據(jù)平臺(tái)。例如, 利用各類(lèi)數(shù)據(jù)與模型同化技術(shù)對(duì)氣象站點(diǎn)及氣象衛(wèi)星數(shù)據(jù)進(jìn)行同化模擬獲取新的氣象數(shù)據(jù)產(chǎn)品; 通過(guò)生態(tài)過(guò)程模型與大量監(jiān)測(cè)數(shù)據(jù)的融合, 提高對(duì)生態(tài)系統(tǒng)各類(lèi)功能的模擬精度, 從而揭示生態(tài)系統(tǒng)過(guò)程的內(nèi)在作用機(jī)制及其變化規(guī)律。
生態(tài)環(huán)境大數(shù)據(jù)的應(yīng)用是生態(tài)環(huán)境大數(shù)據(jù)研究的最終目的。生態(tài)環(huán)境大數(shù)據(jù)應(yīng)該利用不同的應(yīng)用方式將有價(jià)值的信息提供給用戶(hù), 實(shí)現(xiàn)生態(tài)環(huán)境信息的傳播、交流和增值, 全面展現(xiàn)生態(tài)環(huán)境資源和狀況變化, 綜合揭示各種因素的關(guān)系和內(nèi)在變化規(guī)律, 為生態(tài)環(huán)境建設(shè)以及社會(huì)公眾提供全面、及時(shí)、準(zhǔn)確的信息。
生態(tài)環(huán)境大數(shù)據(jù)的應(yīng)用主要體現(xiàn)在生態(tài)環(huán)境資源管理、生態(tài)環(huán)境動(dòng)態(tài)監(jiān)測(cè)、生態(tài)環(huán)境評(píng)價(jià)等方面。生態(tài)環(huán)境資源除了土地資源、水資源、大氣資源、生物資源等自然資源之外, 還包括開(kāi)發(fā)和改造生態(tài)環(huán)境過(guò)程中產(chǎn)生的各類(lèi)資料等。由于生態(tài)環(huán)境資源涉及的內(nèi)容多而雜, 傳統(tǒng)的數(shù)據(jù)管理方法無(wú)法對(duì)生態(tài)環(huán)境資源進(jìn)行有效的管理。隨著云計(jì)算、物聯(lián)網(wǎng)、分布式數(shù)據(jù)庫(kù)等先進(jìn)技術(shù)的發(fā)展, 利用生態(tài)環(huán)境大數(shù)據(jù)對(duì)各類(lèi)資源數(shù)據(jù)進(jìn)行集成整合, 從而實(shí)現(xiàn)生態(tài)環(huán)境資源的優(yōu)化配置及合理開(kāi)發(fā), 解決目前存在的資源開(kāi)發(fā)過(guò)度、配置不合理等問(wèn)題; 運(yùn)用大數(shù)據(jù)在數(shù)據(jù)分析方面的優(yōu)勢(shì), 結(jié)合模型模擬、人工智能等先進(jìn)技術(shù), 評(píng)價(jià)各類(lèi)生態(tài)系統(tǒng)的現(xiàn)狀和可能存在的不利于其穩(wěn)定的各種問(wèn)題, 例如進(jìn)行環(huán)境質(zhì)量評(píng)價(jià)、生態(tài)安全評(píng)價(jià)、生態(tài)風(fēng)險(xiǎn)評(píng)價(jià)、生態(tài)退化評(píng)價(jià)、生態(tài)環(huán)境的脆弱性評(píng)價(jià)、生物多樣性評(píng)價(jià)、工程影響評(píng)價(jià)和生態(tài)健康評(píng)價(jià)等, 從而為生態(tài)環(huán)境的決策管理提供科學(xué)依據(jù), 成為是大數(shù)據(jù)應(yīng)用的未來(lái)發(fā)展趨勢(shì)。
本文結(jié)合生態(tài)環(huán)境大數(shù)據(jù)目前的研究現(xiàn)狀, 提出了生態(tài)環(huán)境大數(shù)據(jù)未來(lái)的發(fā)展趨勢(shì), 而生態(tài)環(huán)境大數(shù)據(jù)的發(fā)展還需要以下幾點(diǎn)保障: 完善大數(shù)據(jù)發(fā)展法律法規(guī), 制定統(tǒng)一的規(guī)范標(biāo)準(zhǔn)體系等體制保障; 加強(qiáng)大數(shù)據(jù)新技術(shù)的研發(fā), 成立相關(guān)科研機(jī)構(gòu)等技術(shù)保障; 培養(yǎng)一批復(fù)合型人才等人才保障; 加大生態(tài)環(huán)境監(jiān)測(cè)設(shè)備、計(jì)算機(jī)等數(shù)據(jù)處理基礎(chǔ)設(shè)施投入, 設(shè)立生態(tài)環(huán)境大數(shù)據(jù)建設(shè)專(zhuān)項(xiàng)基金, 設(shè)立生態(tài)環(huán)境大數(shù)據(jù)人才培養(yǎng)專(zhuān)項(xiàng)基金等資金保障。目前, 生態(tài)環(huán)境大數(shù)據(jù)的發(fā)展尚在起步階段, 需要人們不斷開(kāi)拓的空間很大, 如何高效地處理大數(shù)據(jù)、合理地利用大數(shù)據(jù)促進(jìn)生態(tài)環(huán)境領(lǐng)域的研究仍需要不斷地探索與發(fā)現(xiàn)。
[1] ARONOVA E. Big Science and Big Data in Biology: From the International Geophysical Year through the International Biological Program to the Long Term Ecological Research (LTER) Network, 1957–Present[J]. Historical Studies in the Natural Sciences, 2010, 40(2): 183–224.
[2] BIGANG F, DEAN J, GHEMAWAT S, et al. Bigtable: A distributed storage system for structured data[J]. ACM Transactions on Computer Systems (TOCS), 2008, 26(2): 4.
[3] CASSANDRALAKSHMAN A, MALIK P. Cassandra: a decentra-lized structured storage system[J]. ACM SIGOPS Operating Systems Review, 2010, 44(2): 35–40.
[4] DYNAMODCANDIAE G, HASTORUN D, JAMPANI M, et al. Dynamo: amazon's highly available key-value store[C]// ACM SIGOPS Operating Systems Review. ACM, 2007, 41(6): 205–220.
[5] GRAHAM-ROWE D, GOLDSTON D, DOCTROW C, et al. Big data: science in the petabyte era[J]. Nature, 2008, 455(7209): 8–9.
[6] HALLGREN W, BEAUMONT L, BOWNESS A, et al. The Biodi-versity and Climate Change Virtual Laboratory: Where ecology meets big data[J]. Environmental Modelling & Software, 2015, 76: 182–186.
[7] HAMPTON S E, STRASSER C A, TEWKSBURY J J, et al. Big Data and the future of ecology[J]. Frontiers in Ecology & the Environment, 2013, 11(3): 156–162.
[8] HUANG C, KIM S, SONG K, et al. Assessment of Paraguay’s forest cover change using Landsat observations[J]. Global and Planetary Change, 2009, 67: 1–12.
[9] YU J I and QIU W M. Big data proccessing in cloud computing environments[C]//Proc of the 12th International Symposium on Pervasive Systems, Algori-thms and Networks. 2012: 17–23.
[10] KAMPE T U, JOHNSON B R, KUESTER M, et al. NEON: the first continental-scale ecological observatory with airborne remote sensing of vegetation canopy biochemistry and structure[J]. Journal of Applied Remote Sensing, 2010, 4: 510–524.
[11] LEVIN S A . The problem of pattern and scale in ecology [J]. Ecology, 1992, 73(6): 1943-1967.
[12] MELBOURNE B A, CORNELL H V, DAVIES K F, et al. Invasion in a heterogeneous world: resistance, coexistence or hostile takeover? [J]. Ecology Letters, 2007, 10, 77–94.
[13] MICHAELL S, PANGNING T, VIPIN K, et al. Discovery of climate indices using clustering[A]. KDD-2003 Proceedings of the ninth ACM SIGKDD international conference on Knowledge discovery and datamining[C], 2003: 446–455.
[14] NEOWEBBER J. A programmatic introduction to neo4j[C]//Proceedings of the 3rd annual conference on Systems, programming, and applications: software for humanity. ACM, 2012: 217–218.
[15] OOUCHI K, YOSHIMURA J, YOSHIMURA H, et al. Tropical cyclone climatology in a global-warming climate as simulated in a 20 km-mesh global atmospheric model: Frequency and wind intensity analyses[J]. J. Meteor. Soc. Jpn. , 2006, 84 : 259–276.
[16] ShIN D H and MIN J C. Ecological views of big data: Perspectives and issues[J]. Telematics & Informatics, 2014, 32(2): 311–320
[17] VOLDEMORTSUMBALY R, KREPS J, GAO L, et al. Serving large-scale batch computed data with project voldemort[C]//Proceedings of the 10th USENIX conference on File and Storage Technologies. USENIX Association, 2012: 18–18.
[18] WALER, S J, VIKTOR M S, KENNETH C. Big Data: A Revolution That Will Transform How We Live, Work, and Think[J]. OrganizacijaZnanja, 2013, 18(1-4): 47–49.
[19] WIKLE C K, HOLAN S H, HOOTEN M B. Guest Editor’s Intro-duction to the Special Issue on “Modern Dimension Reduction Methods for Big Data Problems in Ecology” [J]. Journal of Agricultural Biological & Environmental Statistics, 2013, 18(3): 271–273.
[20] ZhANGK M and WEN Z G. Review and challenges of policies of environmental protection and sustainable-development in China[J]. Journal of Environmental Management, 2008, 88(4): 1249–1261.
[21] ZULUETA R C, OCHELE W C, LOESCHER H W, et al. Aircraft- derived regional scale CO2 fluxes from vegetated drained thaw-lake basins and interstitial tundra on the Arctic coastal plain of Alaska[J]. Global Change Biology, 2011, 17:2781–2802.
[22] 曹騮, 吳修文. 基于大數(shù)據(jù)平臺(tái)的PM2. 5監(jiān)測(cè)預(yù)警系統(tǒng)研究[J]. 互聯(lián)網(wǎng)天地, 2015, 4: 74–79.
[23] 陳寶學(xué), 俞經(jīng)善, 關(guān)宏偉. 數(shù)據(jù)挖掘技術(shù)應(yīng)用于天氣預(yù)報(bào)的可行性研究[J]. 應(yīng)用科技, 2004, 31(3): 48–50.
[24] 程春明, 李蔚, 宋旭. 生態(tài)環(huán)境大數(shù)據(jù)建設(shè)的思考[J]. 中國(guó)環(huán)境管理, 2015, (06): 9–13.
[25] 程春明, 李蔚, 宋旭. 生態(tài)環(huán)境大數(shù)據(jù)建設(shè)的思考[J]. 中國(guó)環(huán)境管理, 2015, 6: 9–13.
[26] 方巍, 鄭玉, 徐江. 大數(shù)據(jù): 概念、技術(shù)及應(yīng)用研究綜述[J]. 南京信息工程大學(xué)學(xué)報(bào)(自然科學(xué)版), 2014, (05): 405–419.
[27] 黃剛, 屈俠, 王鵬飛. 氣象數(shù)據(jù)分析和診斷可視化平臺(tái)的設(shè)計(jì)和構(gòu)想及其在互聯(lián)網(wǎng)絡(luò)上的實(shí)現(xiàn)[J]. 大氣科學(xué)學(xué)報(bào), 2010, 33(2): 153–159.
[28] 黃哲學(xué), 曹付元, 李俊杰, 等. 面向大數(shù)據(jù)的海云數(shù)據(jù)系統(tǒng)關(guān)鍵技術(shù)研究[J]. 網(wǎng)絡(luò)新媒體技術(shù), 2012, (06): 20–26.
[29] 賈韶輝. 企業(yè)級(jí)氣象與地質(zhì)災(zāi)害預(yù)警技術(shù)研究應(yīng)用[D]. 北京:中國(guó)地質(zhì)大學(xué),2013, 32–36.
[30] 李克讓, 全球氣候變化及其影響研究進(jìn)展和未來(lái)展望[J]. 地理學(xué)報(bào), 1996, (51) : 1–14.
[31] 彭昱忠, 王謙, 元昌安, 等. 數(shù)據(jù)挖掘技術(shù)在氣象預(yù)報(bào)研究中的應(yīng)用[J]. 干旱氣象, 2015, 33 (1): 19–27
[32] 秦大河, 丁一匯, 王邵武, 等. 中國(guó)西部生態(tài)環(huán)境變化與對(duì)策建議[J]. 地球科學(xué)進(jìn)展, 2002, (03): 314–319.
[33] 譚清海, 鄧春林, 劉俊. 全球氣候變化模擬結(jié)果數(shù)據(jù)的遠(yuǎn)程抽取及其可視化[J]. 地震, 2013, 33: 153–161.
[34] 王橋, 楊一鵬, 黃家柱. 環(huán)境遙感[M]. 北京: 科學(xué)出版社, 2005.
[35] 吳國(guó)雄, 林海, 鄒曉蕾, 等. 全球氣候變化研究與科學(xué)數(shù)據(jù)[J]. 地球科學(xué)進(jìn)展, 2014, 29 (1): 15–22.
[36] 武裝, 覃愛(ài)明. 基于大數(shù)據(jù)的空氣質(zhì)量數(shù)據(jù)可視化[J]. CHINESE& FOREIGNENTRE- PRENEURS. 2015, 485: 249–251.
[37] 楊一鵬, 韓福麗, 王橋, 等. 衛(wèi)星遙感技術(shù)在環(huán)境保護(hù)中的應(yīng)用: 進(jìn)展, 問(wèn)題及對(duì)策[J]. 地理與地理信息科學(xué), 2011, 27(6): 5–89.
[38] 楊毅, 大數(shù)據(jù)時(shí)代下探索區(qū)域大氣污染聯(lián)防聯(lián)控的新模式[J]. 科技傳播, 2014(11): 107–108
[39] 楊宗喜, 唐金榮, 周平, 等. 大數(shù)據(jù)時(shí)代下美國(guó)地質(zhì)調(diào)查局的科學(xué)新觀(guān)[J]. 地質(zhì)通報(bào), 2013(09): 1337–1343.
[40] 張志強(qiáng), 徐忠民, 程國(guó)棟, 等. 中國(guó)西部12省(區(qū)市)的生態(tài)足跡[J]. 地理學(xué)報(bào), 2001(05): 598–609.
[41] 趙國(guó)棟, 易歡歡, 糜萬(wàn)軍, 等. 大數(shù)據(jù)時(shí)代的歷史機(jī)遇—產(chǎn)業(yè)變革與數(shù)據(jù)科學(xué)[M]. 北京:清華大學(xué)出版社, 2013: 10–39.
[42] 趙士洞. 美國(guó)國(guó)家生態(tài)觀(guān)測(cè)站網(wǎng)絡(luò)(NEON)——概念?設(shè)計(jì)和進(jìn)展[J]. 地球科學(xué)進(jìn)展, 2005, 20: 578–583.
[43] 朱強(qiáng), 俞孔堅(jiān), 李迪華. 景觀(guān)規(guī)劃中的生態(tài)廊道寬度[J]. 生態(tài)學(xué)報(bào), 2005, (09): 2406–2412.
Current status and development trend of eco-environmental big data
ZHAO Haifeng, LI Renqiang, ZHAO Fen, LIU Lixiang, ZHAO Miaomiao, XU Ming*
Institute of Geographic Sciences and Natural Resources Research, Chinese Academy of Sciences, Beijing 100101
With the coming of the big data age , the eco-environmental big data brought new opportunities and development in ecological research. This paper reviewed the current status of eco-environmental big data including data collection, onsite monitoring, data analysis and applications. Although the research on eco-environmental big data started later than in other fields it has a great potential in the future. The development trend of eco-environmental data in the future includes: 1). Establishment of data sharing mechanisms; 2). standardizing and normalizing observation methods and techniques to promote collaborative research at regional and global scales; 3).Developing new software for the analysis of big data by combining geographic information technologies with statistical analysis tools, especially the combination of process models with various data sources. Finally, although the application of eco-environmental data is relatively limited, the development in the future is tremendous. The application of eco-environmental data would be mainly reflected in the eco-environmental resources management and the evaluation of ecological and environmental assets.
eco-environmental big data, current status, trend
S157.2
A
1008-8873(2018)01-211-08
2016-05-00;
2017-12-22
973計(jì)劃項(xiàng)目“土地利用方式轉(zhuǎn)變控制試驗(yàn)研究” (項(xiàng)目編號(hào)2012CB417103);國(guó)家社會(huì)科學(xué)基金年度一般項(xiàng)目“青海省藏區(qū)神山文化對(duì)生物多樣性保護(hù)和生態(tài)服務(wù)價(jià)值提升的貢獻(xiàn)研究”(項(xiàng)目編號(hào)17BM045);國(guó)家民委項(xiàng)目“藏族神山文化研究”(項(xiàng)目編號(hào)2017-GMC-029)。
趙海鳳(1987—), 女, 遼寧沈陽(yáng)人, 博士后, 主要從事生態(tài)系統(tǒng)服務(wù)管理與評(píng)估、民族地區(qū)生態(tài)保護(hù)、生態(tài)經(jīng)濟(jì)研究; Email: maryzhaonew@163.com
徐明, 男, 河南平頂山人, 研究員, 博士生導(dǎo)師, 中國(guó)科學(xué)院“百人計(jì)劃”入選者, 主要從事全球變化生態(tài)學(xué)、生態(tài)系統(tǒng)服務(wù)功能等研究; Email: mingxu@igsnrr.ac.cn
10.14108/j.cnki.1008-8873.2018.01.028
趙海鳳, 李仁強(qiáng),趙芬,等. 生態(tài)環(huán)境大數(shù)據(jù)發(fā)展現(xiàn)狀與趨勢(shì)[J]. 生態(tài)科學(xué), 2018, 37(1): 211-218.
ZHAO Haifeng, LI Renqiang, ZHAO Fen, et al. Current status and development trend of eco-environmental big data [J]. Ecological Science, 2018, 37(1): 211-218.