陳媛，徐潔， 毛佳茗

(1. 江蘇省生態(tài)環(huán)境監(jiān)控中心，江蘇 南京 210036 ；2. 江蘇省環(huán)境信息工程研究中心，江蘇 蘇州 215021)

危廢處置企業(yè)的工況在線監(jiān)控

陳媛1，徐潔1， 毛佳茗2

(1. 江蘇省生態(tài)環(huán)境監(jiān)控中心，江蘇 南京 210036 ；2. 江蘇省環(huán)境信息工程研究中心，江蘇 蘇州 215021)

闡述了HBase數(shù)據(jù)庫用于危廢處置企業(yè)工況在線監(jiān)控系統(tǒng)的特點和實現(xiàn)過程，并對系統(tǒng)作了測試分析，結(jié)果表明，該系統(tǒng)有很高的吞吐率，并且具有很好的擴展性。

危險廢物；在線監(jiān)控；HBase

危險廢物因其對環(huán)境、人群會造成極大危害，因此對其的無害化處理是一項重要的環(huán)保工作。對危廢處理企業(yè)的工況在線監(jiān)控，實現(xiàn)了環(huán)保由“點末端監(jiān)控”向“全過程”監(jiān)控的轉(zhuǎn)變，是提高環(huán)境監(jiān)管準確性和可信度的一項重要技術(shù)手段。

危廢處置工況監(jiān)控信息的特點是時序性強、采集密度高(≤1 s)、高并發(fā)性、高延展性。工況在線監(jiān)控系統(tǒng)須在省級或更高層面建立一套獨立于企業(yè)現(xiàn)場端承建廠商的統(tǒng)一監(jiān)控平臺，須滿足大量企業(yè)、大量點位數(shù)據(jù)的同時接入[1]，傳統(tǒng)利用實時數(shù)據(jù)庫技術(shù)建設(shè)成本極高，且實施難度大，而如果利用關(guān)系型數(shù)據(jù)庫存儲實時數(shù)據(jù)，則會導(dǎo)致性能效率低下、系統(tǒng)運轉(zhuǎn)不暢。為了真實反映工況現(xiàn)場的情況，提供工況監(jiān)控數(shù)據(jù)的高效穩(wěn)定傳輸、檢索、分析等服務(wù)，采用開源的Hadoop架構(gòu)及HBase數(shù)據(jù)庫[2]，在廉價的機器上對海量數(shù)據(jù)進行分布式存儲和管理[3]，可以獲得極高的性價比。

1 系統(tǒng)設(shè)計

1.1 總體框架設(shè)計

系統(tǒng)采用多層B/S應(yīng)用結(jié)構(gòu)體系，見圖1。

圖1 系統(tǒng)架構(gòu)

(1) 采集層：采集層位于在線監(jiān)控前端，由相關(guān)硬件和軟件兩部分組成，主要負責(zé)在線監(jiān)控數(shù)據(jù)的采集、存儲和轉(zhuǎn)發(fā)、補發(fā)、重發(fā)。危廢處置設(shè)施采集單元主要負責(zé)采集各類控制系統(tǒng)中的相關(guān)參數(shù)，并通過隔離器、采集交換機存儲到現(xiàn)場工況數(shù)據(jù)存儲服務(wù)器中；

(2) 網(wǎng)絡(luò)層：網(wǎng)絡(luò)層位于工況前端(危廢處置設(shè)施)與監(jiān)控中心之間，由網(wǎng)絡(luò)通信模塊(包括VPN環(huán)保專網(wǎng)、3G無線網(wǎng)絡(luò)、數(shù)據(jù)采集傳輸軟件)組成。主要負責(zé)工況前端所有過程數(shù)據(jù)、監(jiān)測數(shù)據(jù)發(fā)送和監(jiān)控中心的數(shù)據(jù)接收；

(3) 數(shù)據(jù)層：數(shù)據(jù)層位于監(jiān)控中心，由工況監(jiān)控原始數(shù)據(jù)庫和統(tǒng)計分析數(shù)據(jù)庫組成，主要負責(zé)工況數(shù)據(jù)的統(tǒng)一存儲?？紤]到未來幾年監(jiān)控企業(yè)逐步增加，監(jiān)測數(shù)據(jù)的持續(xù)增長，存儲實時采集數(shù)據(jù)的數(shù)據(jù)庫需要有以下幾個技術(shù)支撐：能夠存儲大量的數(shù)據(jù)；需要很高的寫吞吐量；在大規(guī)模數(shù)據(jù)集中有很好性能的隨機訪問；能夠動態(tài)擴展系統(tǒng)容量。鑒于這些技術(shù)要求，原始數(shù)據(jù)庫采用HBase，通過分布式的采集服務(wù)匯總各危廢處置設(shè)施的工況數(shù)據(jù)，隨著數(shù)據(jù)量的增加，HBase可以自動水平切分擴展，它與Hadoop[4]的無縫集成保障了其數(shù)據(jù)可靠性和海量數(shù)據(jù)分析的高性能[5]。根據(jù)采集數(shù)據(jù)的結(jié)構(gòu)特征，通過時間鍵值RowKey構(gòu)建索引，保證系統(tǒng)的高并發(fā)和高可擴展性。統(tǒng)計分析數(shù)據(jù)庫采用關(guān)系型數(shù)據(jù)庫MS SQL Server，由分析統(tǒng)計平臺對原始數(shù)據(jù)進行加工、分析及統(tǒng)計產(chǎn)生，提供給應(yīng)用模塊展示使用。綜合NoSQL數(shù)據(jù)庫與關(guān)系型數(shù)據(jù)庫的優(yōu)劣勢，根據(jù)環(huán)境監(jiān)測數(shù)據(jù)特點，構(gòu)建適合于工況監(jiān)控的數(shù)據(jù)存儲模型；

(4) 表示層：表示層位于監(jiān)控中心，采用曲線、組態(tài)等形式對工況數(shù)據(jù)進行各種展示，支持自動報警；

(5) 業(yè)務(wù)層：業(yè)務(wù)層位于監(jiān)控中心，為最終用戶提供一系列的統(tǒng)計分析功能，由應(yīng)用功能模塊和與其他應(yīng)用的接口模塊兩部分組成，負責(zé)完成對工況數(shù)據(jù)的綜合應(yīng)用。

1.2 系統(tǒng)數(shù)據(jù)庫設(shè)計

1.2.1 系統(tǒng)存儲結(jié)構(gòu)設(shè)計

系統(tǒng)存儲結(jié)構(gòu)設(shè)計見圖2。

系統(tǒng)將按照分布式多級數(shù)據(jù)庫的方式設(shè)計數(shù)據(jù)的存儲結(jié)構(gòu)[6]，分為3個層次：前端工況數(shù)據(jù)庫、中心工況原始數(shù)據(jù)庫、中心統(tǒng)計分析數(shù)據(jù)庫。

(1) 前端工況數(shù)據(jù)庫：作用是在危廢處置單位前端將全廠的工況數(shù)據(jù)作匯總和轉(zhuǎn)發(fā)；

(2) 中心工況原始數(shù)據(jù)庫：主要存儲、匯總前端傳來的工況原始數(shù)據(jù)，采用HBase分布式數(shù)據(jù)庫；

(3) 中心統(tǒng)計分析數(shù)據(jù)庫：主要是存儲統(tǒng)計分析數(shù)據(jù)，包括各參數(shù)的總量統(tǒng)計、分析結(jié)果的統(tǒng)計等，同時也擔(dān)當(dāng)工況應(yīng)用模塊其他功能業(yè)務(wù)數(shù)據(jù)的存儲，采用MS SQL Server關(guān)系型數(shù)據(jù)庫。

圖2 系統(tǒng)存儲結(jié)構(gòu)設(shè)計

2 關(guān)鍵技術(shù)實現(xiàn)

2.1 數(shù)據(jù)傳輸實現(xiàn)

在網(wǎng)絡(luò)層中，通過MetaQ消息中間件[7]，以異步通信方式，實現(xiàn)工況監(jiān)測數(shù)據(jù)斷續(xù)傳輸，確保數(shù)據(jù)傳輸?shù)耐暾头€(wěn)定。MetaQ整體結(jié)構(gòu)見圖3。

(1) MetaQ使用了文件內(nèi)存映射特性，免去每次都通過I/O去物理硬盤讀取文件， 所以效率上有很大的提升；

(2) 支持HA復(fù)制，包括異步復(fù)制和同步復(fù)制，保證消息的可靠性[8-9]；

(3) 提供事務(wù)支持，包括本地事務(wù)和XA分布式事務(wù)；

(4) 利用MetaQ的這些技術(shù)特性，系統(tǒng)將每個接入企業(yè)的監(jiān)測數(shù)據(jù)作為一個消息主題，同時增加對應(yīng)的消費服務(wù)，保證了監(jiān)測數(shù)據(jù)的采集效率，數(shù)據(jù)入庫的時序性、可靠性，通過動態(tài)增加集群節(jié)點和對應(yīng)的消費服務(wù)提高事務(wù)吞吐能力。

圖3 Meta Q整體結(jié)構(gòu)

2.2 分布式數(shù)據(jù)庫實現(xiàn)

按照工況在線監(jiān)控業(yè)務(wù)的實際需求，HBase表結(jié)構(gòu)設(shè)計包含3張主表[10]，分別為基本信息表、五分鐘信息表及錯誤信息表。(1) 基本信息表：包含工況數(shù)據(jù)接收數(shù)據(jù)，以“公司代碼+時間+產(chǎn)線+點位” 作為RowKey；(2) 五分鐘信息表：包含工況數(shù)據(jù)接收的5 min數(shù)據(jù)平均值，為了便于系統(tǒng)的查詢，以“公司代碼+時間+產(chǎn)線+點位”作為RowKey；(3) 錯誤數(shù)據(jù)表：工況接收的異常和錯誤數(shù)據(jù)都放在表中，為了便于系統(tǒng)查詢，以“公司代碼+日期+產(chǎn)線+點位” 作為RowKey。

3 系統(tǒng)功能實現(xiàn)

3.1 實時監(jiān)控

以工況原始數(shù)據(jù)庫中的數(shù)據(jù)為主要數(shù)據(jù)源，以組態(tài)畫面為主要展示方式，對前端采集到的各類工藝參數(shù)、狀態(tài)數(shù)據(jù)進行顯示和報警，實現(xiàn)對危險固廢集中焚燒處置設(shè)施運行狀況、監(jiān)控設(shè)備運轉(zhuǎn)情況、網(wǎng)絡(luò)連通情況的實時和視頻監(jiān)控。

(1) 組態(tài)配置：提供組態(tài)的設(shè)置配置工具，滿足各企業(yè)在工藝流程、位置布局等方面的差異化需求。提供數(shù)字量設(shè)置、開關(guān)量設(shè)置、流程線設(shè)置等功能；

(2) 監(jiān)測信息實時監(jiān)控：建立完備的監(jiān)控數(shù)據(jù)顯示界面，對各自動監(jiān)測站點采集到的實時監(jiān)控數(shù)據(jù)和設(shè)備運行狀態(tài)實時在線顯示，可以趨勢曲線等形式實時顯示連續(xù)自動采集的數(shù)據(jù)，可查詢指定的任意時間段的數(shù)據(jù)，包括當(dāng)日的實時數(shù)據(jù)、日數(shù)據(jù)、月數(shù)據(jù)和往日歷史數(shù)據(jù)。當(dāng)監(jiān)測值超過報警閾值時，系統(tǒng)按指定的報警顏色進行顯示；

(3) 系統(tǒng)運行狀況監(jiān)控：對系統(tǒng)的數(shù)據(jù)傳輸情況、網(wǎng)絡(luò)通信狀態(tài)等進行跟蹤監(jiān)控；

(4) 實時報警：基于采集到的實時數(shù)據(jù)，根據(jù)設(shè)定的報警規(guī)則，對監(jiān)測數(shù)據(jù)和設(shè)備運行狀態(tài)提供報警監(jiān)控功能。分為報警設(shè)置、自動報警、報警信息查詢?nèi)糠止δ埽?/p>

(5) 視頻監(jiān)控：包括實時視頻查看和視頻錄像查看兩個功能。

3.2 查詢分析

以工況原始數(shù)據(jù)庫中的數(shù)據(jù)為主要數(shù)據(jù)源，以圖表、報表為主要展示方式，對工況數(shù)據(jù)進行匯總、統(tǒng)計、分析，并對工況數(shù)據(jù)中的關(guān)聯(lián)關(guān)系進行分析。包含以下功能模塊：

(1) 數(shù)據(jù)查詢：以數(shù)據(jù)表格、曲線的方式顯示各類監(jiān)測統(tǒng)計數(shù)據(jù)，查詢各參數(shù)的小時均值、日均值、月均值、年均值等數(shù)據(jù)，支持多參數(shù)同時查詢顯示；

(2) 數(shù)據(jù)統(tǒng)計：對指定時間段內(nèi)處置設(shè)施的各類數(shù)據(jù)進行多種形式的匯總統(tǒng)計，如年度/月度設(shè)施停運次數(shù)及停運時間統(tǒng)計、焚燒溫度分布情況統(tǒng)計、污染物排放量統(tǒng)計、電力消耗統(tǒng)計等，支持同比、環(huán)比等分析，以反映其變化趨勢和規(guī)律；

(3) 參數(shù)關(guān)聯(lián)分析：根據(jù)設(shè)定的規(guī)則，對企業(yè)工況數(shù)據(jù)之間的關(guān)聯(lián)性關(guān)系進行分析，調(diào)取實時/歷史工況數(shù)據(jù)，分析這些關(guān)聯(lián)參數(shù)變化是否一致，當(dāng)比例參數(shù)超出正常范圍時，系統(tǒng)將記錄下起始時間，列出可能的原因；

(4) 多企業(yè)對比分析：根據(jù)選定的范圍(類型、區(qū)域、規(guī)模等條件)，對范圍內(nèi)的多個企業(yè)的同類參數(shù)進行比較，計算其平均水平及每個企業(yè)與平均值的差異程度，便于管理人員發(fā)現(xiàn)異常情況；

(5) 報表生成：利用Report Services報表組件，基于中心工況應(yīng)用數(shù)據(jù)庫，自動生成各類報表和報告，在系統(tǒng)中實現(xiàn)報表查詢，也可根據(jù)設(shè)定的規(guī)則將生成的報表和報告向指定人員自動發(fā)送。

3.3 綜合分析

以工況統(tǒng)計分析數(shù)據(jù)庫的數(shù)據(jù)為主要數(shù)據(jù)源，結(jié)合其他相關(guān)業(yè)務(wù)數(shù)據(jù)(如污染源自動監(jiān)控數(shù)據(jù)、危廢轉(zhuǎn)移和處置統(tǒng)計數(shù)據(jù)、建設(shè)項目審批數(shù)據(jù)等)，對危廢處置設(shè)施的整體狀況作綜合分析，對不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)關(guān)聯(lián)分析。

(1) 危廢處置企業(yè)綜合查詢：以“一廠一檔”的形式，對危廢處置企業(yè)的各類信息進行綜合查詢，包括企業(yè)基本信息、經(jīng)營許可證信息、危廢處置分類數(shù)量信息、項目審批信息、污染物排放監(jiān)控信息、日常監(jiān)管信息等；

(2) 工況監(jiān)控數(shù)據(jù)和污染源自動監(jiān)控數(shù)據(jù)對比分析：將同一危廢處置企業(yè)同時段的工況監(jiān)控數(shù)據(jù)和污染源自動監(jiān)控數(shù)據(jù)進行對比，判斷其是否一致，自動找出超過允許偏差范圍的企業(yè)數(shù)據(jù)，提醒管理人員及時處理；

(3) 工況監(jiān)控數(shù)據(jù)和危廢處置臺賬信息對比分析：根據(jù)危廢處置臺賬中的危廢類別及處置數(shù)量信息，與工況監(jiān)控數(shù)據(jù)進行比較，判斷不同類別的危險廢物是否按規(guī)定的工藝進行處置、爐溫是否達到規(guī)定的焚燒溫度，焚燒時間是否足夠等，系統(tǒng)將自動劃定存在違規(guī)嫌疑的企業(yè)，由管理人員進行確認；

(4) GIS展示：利用地理信息系統(tǒng)，提供圖形化展示功能，對在線監(jiān)控數(shù)據(jù)進行動態(tài)顯示，包括危廢處置單位信息、實時監(jiān)控數(shù)據(jù)、報警信息，生成監(jiān)測數(shù)據(jù)統(tǒng)計專題圖。

4 系統(tǒng)運行測試

4.1 數(shù)據(jù)傳輸性能測試

對系統(tǒng)數(shù)據(jù)傳輸性能進行單線程和多線程測試，結(jié)果見表1、表2?？梢姸嗑€程模式下數(shù)據(jù)傳輸性能有較大幅度提高，提高幅度在60%以上。

表1 單線程測試

表2 多進程測試(3個消費進程)

4.2 數(shù)據(jù)庫性能測試

為測試實時工況數(shù)據(jù)的數(shù)據(jù)導(dǎo)入及數(shù)據(jù)查詢性能，對數(shù)據(jù)總記錄數(shù)10億條，單行記錄>1Kb的情況進行了導(dǎo)入測試及數(shù)據(jù)查詢的性能測試，性能測試的結(jié)果見表3。該實驗結(jié)果表明，現(xiàn)提出的基于HBase的數(shù)據(jù)存儲模型具有高效的存儲效率和查詢效率，滿足實際需求對數(shù)據(jù)存儲和訪問的性能要求。

表3 性能測試結(jié)果

5 結(jié)語

采用HBase數(shù)據(jù)庫用于工況在線監(jiān)控系統(tǒng)具有低成本、高性能的優(yōu)勢，測試結(jié)果表明，該系統(tǒng)有很高的吞吐率，并且具有很好的擴展性。在未來的工作中，將不斷豐富該系統(tǒng)的功能，優(yōu)化集群節(jié)點的數(shù)目，對收集到的監(jiān)控數(shù)據(jù)作進一步的挖掘分析，為環(huán)境管理服務(wù)。

[1] 淘寶GitHub. MetaQ原理與應(yīng)用[EB/OL].(2013-1-13)[2016-6-11].http：//taobao.github.io/metaq/document/design/design.htm.

[2] 郭艷霞，顏軍.海量數(shù)據(jù)存儲模式的研究[J].計算機與數(shù)字工程，2008，36(11)：162-165.

[3] 陳慶奎，周麗珍.基于HBase的大規(guī)模無線傳感網(wǎng)絡(luò)數(shù)據(jù)存儲系統(tǒng)[J].計算機應(yīng)用，2012，21(7)：1920-1923，1977.

[4] 劉鵬.實戰(zhàn)Hadoop[M].北京：電子工業(yè)出版社，2011.

[5] TOM W.Hadoop權(quán)威指南[M].2版.周敏奇，王曉玲，金澈清，等，譯.北京：清華大學(xué)出版社，2011.

[6] Oracle Corporation. Oracle real application cluseters[EB/OL].[2013-12-11].

[7] DIMIDUK N， KHURANA A. HBase實戰(zhàn)[M].1版. Manning Publications， 2012.

[8] GEORGE C，JEAN D，TIM K.分布式系統(tǒng)概念與設(shè)計[M].金蓓弘，譯.北京：機械工業(yè)出版社，2004.

[9] 莊曉丹.消息的可靠性、順序和重復(fù)[EB/OL].(2013-4-13)[2016-6-11].https：//github.com/killme2008/Metamorphosis/wiki.[10] CSDN博客.MetaQ初探 [EB/OL].(2014-8-17)[2016-6-11].http：//m.blog.csdn.net/blog/wtycoon1988/38868407.

欄目編輯 周立平

The Online Condition Monitoring of Hazardous Waste Disposal Enterprise

CHEN Yuan1， XU Jie1，MAO Jia-ming2

(1.JiangsuEcologicalEnvironmentalMonitoringCenter，Nanjing，Jiangsu210036，China； 2.JiangsuResearchCenterofEnvironmentalInformationEngineering，Suzhou，Jiangsu215021，China)

This paper described the characteristics of HBase database for online condition monitoring system and implementation process of waste disposal enterprises， and a systematic test was performed， which showed that the system had a high throughput and good expansibility.

Hazardous waste； Online monitoring； HBase

2016-05-25；

2016-07-04

陳媛(1975—)，女，高級工程師，碩士，從事環(huán)境統(tǒng)計、環(huán)境信息管理、環(huán)境質(zhì)量綜合分析工作。

X830.3

B

1674-6732(2016)05-0064-04