馬白絮

摘 要： 現(xiàn)如今，我國社會經(jīng)濟水平和科學技術水平顯著提升，環(huán)保技術發(fā)展也呈現(xiàn)一片繁榮。國內(nèi)的水質(zhì)監(jiān)測工作中，一方面是需要大量實時而準確的水質(zhì)監(jiān)測數(shù)據(jù)為基礎支撐，同時另一方面也對這些海量的水質(zhì)監(jiān)測數(shù)據(jù)的統(tǒng)計和分析技術提出了高要求。這些海量的水質(zhì)數(shù)據(jù)既是長期的環(huán)保監(jiān)測工作積累的成果，更是推動水質(zhì)監(jiān)測工作開展、提高環(huán)保行業(yè)主管部門管理水平和科研成果的重要數(shù)據(jù)資源。本文簡單闡述目前國內(nèi)水質(zhì)監(jiān)測技術中大數(shù)據(jù)的一些特點，分析大數(shù)據(jù)在水質(zhì)在線監(jiān)測中的一些應用，為相關環(huán)保從業(yè)者提供參考借鑒。

關鍵詞： 大數(shù)據(jù);水質(zhì)在線監(jiān)測;應用

【中圖分類號】X832 ? ? 【文獻標識碼】A ? ? 【DOI】10.12215/j.issn.1674-3733.2020.33.030

引言：隨著水工業(yè)行業(yè)的發(fā)展以及水環(huán)境監(jiān)測要求的提高，大數(shù)據(jù)、自動化、精準度、實時監(jiān)控，成為了水質(zhì)監(jiān)測的新問題。在分析大數(shù)據(jù)、云計算、在線分析三者關系的基礎上，給出具有通用性的大數(shù)據(jù)水質(zhì)監(jiān)測總體架構，并從水質(zhì)大數(shù)據(jù)的集成管理技術、數(shù)據(jù)分析技術、數(shù)據(jù)處理技術、數(shù)據(jù)展現(xiàn)技術4個方面深入探討符合水質(zhì)在線分析發(fā)展需求的大數(shù)據(jù)關鍵技術的選擇。本文就計算機技術如何提升、建設水質(zhì)監(jiān)測數(shù)據(jù)平臺等方面進行了研究。

1 對于大數(shù)據(jù)和水質(zhì)在線監(jiān)測之間聯(lián)系性的探究

所謂水質(zhì)在線監(jiān)測系統(tǒng)一般是以相關的分析設備為主，結合傳感器技術大數(shù)據(jù)技術和云計算技術來全方面的監(jiān)督和測試目標水域水質(zhì)情況，確保水質(zhì)監(jiān)測數(shù)據(jù)的準確性，從而促使水質(zhì)監(jiān)測工作朝著更好的趨勢邁進。對于云計算技術來講，自身有著較為獨特的特征以及優(yōu)勢，除了包含復雜的分布式儲存結構之外，還可以高效率完成數(shù)據(jù)計算工作，可以為水質(zhì)監(jiān)測環(huán)節(jié)的開展提供良好的儲存服務。而大數(shù)據(jù)技術，除了具備較強的價值，還能夠滿足各項業(yè)務以及各個環(huán)節(jié)提出的高要求，從中看出，大數(shù)據(jù)技術云計算以及水質(zhì)在線監(jiān)測之間有著密切的聯(lián)系性，三者缺一不可。

2 大數(shù)據(jù)應用的價值體現(xiàn)

水質(zhì)在線監(jiān)測系統(tǒng)實時產(chǎn)生的數(shù)據(jù)是一種無形的資產(chǎn)，而國內(nèi)的水質(zhì)監(jiān)測數(shù)據(jù)普遍存在管理能力弱、跨部門跨行業(yè)數(shù)據(jù)共享性不順暢、有價值的數(shù)據(jù)開放度低等現(xiàn)象。如能重復利用數(shù)據(jù)、挖掘數(shù)據(jù)變化的規(guī)律、通過數(shù)據(jù)分析改進系統(tǒng)功能，數(shù)據(jù)的價值才真正得以實現(xiàn)。一種數(shù)據(jù)有多種用途，對數(shù)據(jù)資源的價值利用能實現(xiàn)技術創(chuàng)新。改進水質(zhì)在線監(jiān)測的整體方案、研究更多前沿技術，才能真正獲得大數(shù)據(jù)時代水質(zhì)在線監(jiān)測系統(tǒng)的突破性進展。

3 大數(shù)據(jù)技術在水質(zhì)在線監(jiān)測中的應用

3.1 系統(tǒng)總體架構設計

傳統(tǒng)的管理信息系統(tǒng)主要由感知層、網(wǎng)絡層以及應用層等三層架構設計，基于大數(shù)據(jù)的污水監(jiān)管系統(tǒng)，新增了數(shù)據(jù)處理層。利用該層實現(xiàn)對水質(zhì)在線檢測所采集到的大量數(shù)據(jù)進行管理，實現(xiàn)對數(shù)據(jù)的分析、統(tǒng)計和存儲。

3.2 水質(zhì)監(jiān)測數(shù)據(jù)在平臺中的實現(xiàn)與分析

3.3 數(shù)據(jù)的存儲

因為水質(zhì)在線監(jiān)測環(huán)節(jié)中包含的數(shù)據(jù)類型非常多，并且伴隨著時間的不斷發(fā)展，數(shù)據(jù)量逐漸拓展和增多，隨之呈現(xiàn)出了快速增長的趨勢。所以要想高效率的儲存以及監(jiān)管各項復雜性數(shù)據(jù)。眼見sadoopsdfs大數(shù)據(jù)儲存文件系統(tǒng)進行工作是很有必要的，此項系統(tǒng)的優(yōu)勢極高本系統(tǒng)的數(shù)據(jù)庫主要利用Hadoop平臺搭建而成，為了滿足實時處理和高數(shù)據(jù)容量的要求，因此，采用了HBase體系架構實現(xiàn)對龐大數(shù)據(jù)的存儲。其主要組成體現(xiàn)在以下幾個方面：（1）實時數(shù)據(jù)采集引擎：首先本化工廠所有污水檢測點所采集的水質(zhì)相關數(shù)據(jù)會存儲在所屬污水處理廠的關系數(shù)據(jù)庫當中，在進行系統(tǒng)部署之后，利用Sqoop可以將如上的歷史數(shù)據(jù)導入到HDFS當中。這樣，就可以利用Fum額的實時數(shù)據(jù)采集引擎實現(xiàn)對實時污水數(shù)據(jù)的存儲。（2）基于HadoopHDFS的大數(shù)據(jù)存儲文件系統(tǒng)：由于實時水質(zhì)數(shù)據(jù)的數(shù)量較為龐大，且隨著時間的推移，數(shù)據(jù)量呈現(xiàn)指數(shù)式的增長。因為，為了更好的實現(xiàn)對龐大數(shù)據(jù)的管理和存儲，系統(tǒng)采用了基于HadoopHDFS的大數(shù)據(jù)存儲文件系統(tǒng)。（3）基于HBase的數(shù)據(jù)存儲引擎：在數(shù)據(jù)存儲過程中，利用HBase技術，可以有效的增加數(shù)據(jù)存儲的空間，并可以為相關管理人員提供便捷的數(shù)據(jù)讀寫和查詢功能。

結語：從以上論述來看，大數(shù)據(jù)分析技術產(chǎn)生的優(yōu)勢是極高的，將其應用于水質(zhì)在線監(jiān)測環(huán)節(jié)中，除了可以提升水質(zhì)監(jiān)測數(shù)據(jù)的精準程度和完善性之外，還能夠借助該項技術的優(yōu)勢加快水質(zhì)在線監(jiān)測工作開展的效率，在促使水質(zhì)監(jiān)測領域穩(wěn)定運行的背景下改善環(huán)境，降低水污染，以此達到構建生態(tài)社會的目的。

參考文獻

[1] 王琪.水質(zhì)監(jiān)測中常見技術問題及對策分析[J].化工設計通訊，2017，43（3）：198-199.

[2] 孫麗華，李佳佳.淺析水質(zhì)監(jiān)測數(shù)據(jù)的應用及發(fā)展[J].凈水技術，2018（S1）：31～33.

[3] 張錫輝，鄭振華，歐陽二明，等.水源水質(zhì)在線監(jiān)測預警系統(tǒng)的建設[J].中國給水排水，2005，21（11）：14-17.