梁玉榮

（濟(jì)南市水文局，山東 濟(jì)南 250014）

“大數(shù)據(jù)”是一個(gè)體量特別大，數(shù)據(jù)類別也同樣大的數(shù)據(jù)集。并且這樣的數(shù)據(jù)集無法用傳統(tǒng)數(shù)據(jù)庫工具對其內(nèi)容進(jìn)行抓取、管理和處理。它的特點(diǎn)是：數(shù)據(jù)體量（volumes）大；數(shù)據(jù)類別（variety）大，數(shù)據(jù)來自多種數(shù)據(jù)源，數(shù)據(jù)種類和格式日漸豐富；數(shù)據(jù)處理速度（Velocity）快，在數(shù)據(jù)量非常龐大的情況下，也能夠做到數(shù)據(jù)的實(shí)時(shí)處理；數(shù)據(jù)真實(shí)性（Veracity）高，企業(yè)需要有效的信息之力以確保其真實(shí)性及安全性[1]。這種數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)技術(shù)可以分為：數(shù)據(jù)采集，數(shù)據(jù)存取，數(shù)據(jù)處理，統(tǒng)計(jì)分析，數(shù)據(jù)挖掘，模型預(yù)測以及最終的結(jié)果呈現(xiàn)。

1 傳統(tǒng)水文GIS技術(shù)的運(yùn)用

GIS技術(shù)是指通過采集一定的信息，建構(gòu)顯示地理信息系統(tǒng)的計(jì)算機(jī)數(shù)據(jù)庫。國家會通過GIS技術(shù)增強(qiáng)國民的安全感。而在大數(shù)據(jù)化時(shí)代，GIS技術(shù)的運(yùn)用并沒有削弱，反而隨著信息化進(jìn)程的加快，人們對于GIS技術(shù)的依賴性也隨之加強(qiáng)。

水文GIS技術(shù)即將GIS技術(shù)運(yùn)用到水文測繪當(dāng)中，整合相關(guān)信息，并做出預(yù)測。主要的表現(xiàn)為：對于海量水文數(shù)據(jù)的管理，對于空間數(shù)據(jù)挖掘以及地理可視化。

水文數(shù)據(jù)原有的大規(guī)模、傳輸塊、形態(tài)多樣化的特點(diǎn)會隨著GIS技術(shù)的數(shù)據(jù)管理存貯而帶來改變，之前信息數(shù)據(jù)中的非結(jié)構(gòu)化數(shù)據(jù)會大量的呈現(xiàn)在人們的視線當(dāng)中。隨著信息傳輸速度的加快，使用傳統(tǒng)的數(shù)據(jù)庫技術(shù)將無法適應(yīng)社會的發(fā)展。NoSQL技術(shù)是水文GIS技術(shù)為了面臨大數(shù)據(jù)的帶來的挑戰(zhàn)而開發(fā)的新型技術(shù)，它可以與關(guān)系數(shù)據(jù)庫之間形成互補(bǔ)，并結(jié)合實(shí)際需求進(jìn)行運(yùn)用，共同發(fā)展。

空間數(shù)據(jù)挖掘的意義就在于挖掘深度的信息價(jià)值。數(shù)據(jù)信息挖掘其實(shí)就是運(yùn)用數(shù)學(xué)分析方法，對數(shù)據(jù)的結(jié)構(gòu)模式以及發(fā)展方向進(jìn)行探究，在原有的數(shù)據(jù)基礎(chǔ)上建構(gòu)一個(gè)空間，然后通過空間模型，挖掘空間之中以及空間之外的信息。信息挖掘不只限于特定模式下的具體性核算，而更多的研究重點(diǎn)從之前復(fù)雜整合轉(zhuǎn)換為抽取規(guī)則的方向，發(fā)現(xiàn)其中的普遍性規(guī)律，進(jìn)行相關(guān)預(yù)測，為人們的生活帶來更大的便利。

地理可視化同樣也是水文GIS技術(shù)中的重要功能。數(shù)據(jù)信息進(jìn)行可視化分析是非常先進(jìn)的方式。全球頂級的GIS技術(shù)軟件公司進(jìn)行了“城市瞭望臺”的項(xiàng)目研究。這個(gè)項(xiàng)目是通過當(dāng)今世界現(xiàn)存的數(shù)據(jù)，建立具體化的信息模型，然后同步到世界城市信息的對比，比如交通、人口老齡化、就業(yè)趨勢、醫(yī)療狀況等等。綜合之后，人們可以很好地了解自身的生存環(huán)境，對于出現(xiàn)的問題，積極采取措施予以解決。在大數(shù)據(jù)發(fā)展快速的時(shí)代下，水文GIS技術(shù)已經(jīng)轉(zhuǎn)變成為了一種可見的地理空間模型[2]。

2 傳統(tǒng)水文GIS面臨的挑戰(zhàn)

2.1 海量數(shù)據(jù)的采集與處理方面的挑戰(zhàn)

頻繁的信息，爆炸的數(shù)據(jù)，對于GIS數(shù)據(jù)的采集、管理以及空間數(shù)據(jù)分析帶來了嚴(yán)峻的挑戰(zhàn)。在數(shù)據(jù)采集方面，傳統(tǒng)的方法是通過遙感、攝影測繪的相關(guān)測量手段進(jìn)行采集，這種依賴于GPS等傳感器的方法獲取的數(shù)據(jù)信息有很高的精確度以及確定性，但是這種數(shù)據(jù)并不是滾動制的，而是一種靜態(tài)化的數(shù)據(jù)形式。隨著大數(shù)據(jù)時(shí)代的來臨，GIS技術(shù)的數(shù)據(jù)結(jié)構(gòu)比傳統(tǒng)的數(shù)據(jù)信息都要復(fù)雜許多，因此對于數(shù)據(jù)采集方式提出了新的要求和新的標(biāo)準(zhǔn)。傳統(tǒng)的數(shù)據(jù)采集方式已經(jīng)不適應(yīng)信息的多變需要、數(shù)據(jù)采集及時(shí)準(zhǔn)確性要求，無法實(shí)現(xiàn)信息的完美對接和對數(shù)據(jù)的真實(shí)程度以及價(jià)值進(jìn)行仔細(xì)的甄別。這種標(biāo)準(zhǔn)是任何的個(gè)體無法單獨(dú)解決的，需要人類的集體智慧才能夠予以解決。

2.2 水文數(shù)據(jù)實(shí)時(shí)和動態(tài)處理方面的挑戰(zhàn)

對于大數(shù)據(jù)的管理，其實(shí)不在于規(guī)模的大小，而是要及時(shí)準(zhǔn)確，注重信息的動態(tài)性和靈活多變的特點(diǎn)。傳統(tǒng)的GIS技術(shù)是無法對大數(shù)據(jù)進(jìn)行精確的描述。特別是對于這種含有大量非結(jié)構(gòu)的數(shù)據(jù)，舊有的技術(shù)根本不具有處理這種信息的能力。隨著時(shí)間的變化，大數(shù)據(jù)庫中的信息也會越來越多，這種根據(jù)時(shí)間動態(tài)增加的數(shù)據(jù)，人們把它稱之為流數(shù)據(jù)，具有無限性。水文觀測數(shù)據(jù)就是典型流數(shù)據(jù)，因?yàn)樾畔⒌氖占c時(shí)間變化息息相關(guān)。目前的GIS技術(shù)對于空間數(shù)據(jù)的管理依舊是停留在靜態(tài)的數(shù)據(jù)采集模式上，需要做出相應(yīng)的改變與創(chuàng)新。

2.3 傳統(tǒng)數(shù)據(jù)有效性檢驗(yàn)方面的挑戰(zhàn)

空間數(shù)據(jù)分析是大數(shù)據(jù)運(yùn)用中不可或缺的環(huán)節(jié)。但是當(dāng)前的大數(shù)據(jù)庫，很多并不是人們想要了解的信息。垃圾多、污染多、環(huán)節(jié)多是挖掘大數(shù)據(jù)價(jià)值不容忽視的問題，這些都會使數(shù)據(jù)喪失其準(zhǔn)確性。因此，對傳統(tǒng)的空間分析理論以及方法帶來了嚴(yán)峻的挑戰(zhàn)。如果無法保證數(shù)據(jù)信息的真實(shí)可靠，那么只能說明這種信息是無用的。傳統(tǒng)的數(shù)據(jù)分析采用從樣本本身進(jìn)行推測，無法解決這種問題。因此，如何將傳統(tǒng)數(shù)據(jù)分析方法與當(dāng)代信息分析技術(shù)進(jìn)行有機(jī)結(jié)合是當(dāng)前水文GIS技術(shù)亟待解決的問題。

3 發(fā)展對策

大數(shù)據(jù)對于人們影響的加深，在水文GIS技術(shù)運(yùn)用上，需要采取相應(yīng)的對策。下面從4個(gè)方面進(jìn)行深入分析：

3.1 完善運(yùn)用標(biāo)準(zhǔn)

水文GIS技術(shù)的運(yùn)用應(yīng)當(dāng)從自身的實(shí)際情況出發(fā)，制定相應(yīng)的使用標(biāo)準(zhǔn)。一般而言，GIS的開發(fā)和運(yùn)用大部分都是分開的。針對不同的具體需求，進(jìn)行獨(dú)立的技術(shù)開發(fā)。因此，從整體來看，我國并沒有一套完整的技術(shù)規(guī)范系統(tǒng)以及應(yīng)用標(biāo)準(zhǔn)。各種開放平臺以及數(shù)據(jù)格式的復(fù)雜給我國信息的共享帶來了巨大的阻力。雖然部分地方政府已經(jīng)共享部分水文信息，但是仍然需要國家對這些信息進(jìn)行統(tǒng)一處理。這樣無論是對于地方的水資源監(jiān)控，還是國家的水利工程建設(shè)都會起到巨大的促進(jìn)作用。因此需要盡快完善GIS技術(shù)的應(yīng)用標(biāo)準(zhǔn)。

3.2 數(shù)據(jù)庫構(gòu)建

其實(shí)在大數(shù)據(jù)來臨之前，我國已經(jīng)建立了相應(yīng)的信息庫。但是面對復(fù)雜的社會環(huán)境，傳統(tǒng)的信息庫已經(jīng)無法適應(yīng)人們的需求。因此，作為GIS系統(tǒng)關(guān)鍵的水資源地理空間數(shù)據(jù)庫需要重新構(gòu)建。隨著人們對于GIS數(shù)據(jù)庫要求越來越高，對于一些重要的水文信息數(shù)據(jù)庫，比如旱情檢測、水位線下降以及水質(zhì)污染等方面，需要在極其規(guī)范的基礎(chǔ)上進(jìn)行高標(biāo)準(zhǔn)的建設(shè)。另外，數(shù)據(jù)庫當(dāng)中存有的信息應(yīng)該及時(shí)更新，并且為決策者提供準(zhǔn)確可靠的信息。

3.3 基礎(chǔ)設(shè)施建設(shè)

加強(qiáng)水文空間數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)，將基礎(chǔ)數(shù)據(jù)、管理數(shù)據(jù)、以及分析數(shù)據(jù)等等，實(shí)現(xiàn)資源信息之間的共享。我國的地理環(huán)境極其復(fù)雜，各種水文數(shù)據(jù)的覆蓋面是相當(dāng)巨大的，所以水文中的各種專業(yè)數(shù)據(jù)需要有關(guān)人員及時(shí)進(jìn)行分類，然后輸入數(shù)據(jù)庫中記錄。這些規(guī)模大的數(shù)據(jù)不僅為人們的管理帶來諸多不便，并且由于管理主體的獨(dú)立、結(jié)構(gòu)不統(tǒng)一以及工作不協(xié)調(diào)等原因，嚴(yán)重的阻礙了數(shù)據(jù)的共享。

因此，利用大數(shù)據(jù)的優(yōu)勢，對傳統(tǒng)的水文GIS系統(tǒng)實(shí)現(xiàn)轉(zhuǎn)型升級，實(shí)現(xiàn)非結(jié)構(gòu)化空間數(shù)據(jù)庫的有效管理，建構(gòu)三維一體的水文空間數(shù)據(jù)結(jié)構(gòu)[3]非常必要。

3.4 建立分布式數(shù)據(jù)驅(qū)動體系

水文數(shù)據(jù)分析關(guān)鍵在于解決好數(shù)據(jù)采集和模式分析過程中的計(jì)算問題。在現(xiàn)有信息技術(shù)以及組織體系的支持下，水文大數(shù)據(jù)分析應(yīng)該根據(jù)實(shí)際應(yīng)用的需求，進(jìn)行相關(guān)處理。分布式的并行計(jì)算方式是解決這些問題的關(guān)鍵途徑。大數(shù)據(jù)的規(guī)?；攸c(diǎn)削弱了精確復(fù)雜模型在數(shù)據(jù)分析中的作用，使人們逐漸擺脫了對于模型設(shè)想的依賴。其實(shí)小數(shù)據(jù)的復(fù)雜算法并沒有大數(shù)據(jù)的精簡算法有效，人們需要及時(shí)有效的信息，即使復(fù)雜算法下的信息分析比簡單算法方式更加精確，但是時(shí)效性才是人們最關(guān)鍵的需求。云計(jì)算方式是當(dāng)前數(shù)據(jù)核算的發(fā)展方向，基于云計(jì)算的體系框架，利用大數(shù)據(jù)信息量大的特點(diǎn)，實(shí)現(xiàn)通過數(shù)據(jù)驅(qū)動的創(chuàng)新開發(fā)。并且深度挖掘潛在信息價(jià)值，提高人們的應(yīng)變能力，這是大數(shù)據(jù)時(shí)代下衡量水文GIS技術(shù)是否“過硬”的關(guān)鍵。

4 結(jié)語

信息技術(shù)在不斷的改變?nèi)藗兊纳罘绞揭约八季S方式。在大數(shù)據(jù)時(shí)代，雖然我國的水文GIS系統(tǒng)較為成熟，但是面對日新月異的社會環(huán)境，在大數(shù)據(jù)面前依然存在許多的不足。數(shù)據(jù)的采集、分析、管理中的空間信息抽取、存貯以及動態(tài)更新，發(fā)展明顯乏力。如何實(shí)現(xiàn)高效化的動態(tài)流數(shù)據(jù)管理，如何解決數(shù)據(jù)庫中的“垃圾”信息，如何凈化人們的數(shù)據(jù)儲存庫等一些問題都亟待人們研究解決。只有實(shí)現(xiàn)大數(shù)據(jù)時(shí)代下GIS技術(shù)的創(chuàng)新，我國的水文系統(tǒng)才會更加完善，國際地位也會顯著提高。