張冰松 汪璠 王雅新 楊代

摘要：本文針對湖北氣象業(yè)務(wù)內(nèi)網(wǎng)建設(shè)方面存在的諸多問題，提出了內(nèi)網(wǎng)的設(shè)計需求、設(shè)計目標和技術(shù)路線，闡明了內(nèi)網(wǎng)的總體結(jié)構(gòu)與功能、總體數(shù)據(jù)流程、系統(tǒng)結(jié)構(gòu)、大數(shù)據(jù)框架應(yīng)用以及其他優(yōu)化的具體措施等。

關(guān)鍵詞：HBASE;氣象;業(yè)務(wù)內(nèi)網(wǎng)

中圖分類號：TP311.52? ? 文獻標識碼：A? ? 文章編號：1007-9416（2020）10-0000-00

0 引言

隨著省級氣象局信息化建設(shè)程度的不斷提高，信息業(yè)務(wù)的綜合服務(wù)水平明顯提升，但業(yè)務(wù)應(yīng)用平臺建設(shè)的集約程度仍然不夠，服務(wù)規(guī)范不統(tǒng)一，沒有集中標準化的顯示和監(jiān)控平臺，導致服務(wù)效率不高，甚至出現(xiàn)數(shù)據(jù)與產(chǎn)品存在不一致和矛盾的情況。此外各業(yè)務(wù)系統(tǒng)規(guī)模小、功能簡陋，系統(tǒng)設(shè)計與建設(shè)缺乏統(tǒng)一的規(guī)劃和設(shè)計，整體安全防護能力弱，未能實現(xiàn)集約化、規(guī)?；\維，人員從事低水平重復、手工交互度高的IT系統(tǒng)運維等問題也制約著湖北省氣象局信息化建設(shè)的快速發(fā)展。所以需要一種便捷高效的方法達成眾多業(yè)務(wù)系統(tǒng)的統(tǒng)一管理和氣象科學數(shù)據(jù)的共享管理以及監(jiān)控管理，以更好的發(fā)揮相關(guān)業(yè)務(wù)系統(tǒng)的巨大價值。同時能為規(guī)范對單位內(nèi)提供氣象信息服務(wù)統(tǒng)一窗口，充分發(fā)揮信息資源的整合優(yōu)勢提供良好條件，使對內(nèi)提供氣象信息的方式集約化、標準化、規(guī)范化。因此，建設(shè)湖北氣象業(yè)務(wù)內(nèi)網(wǎng)非常必要。

1 問題分析

隨著業(yè)務(wù)的不斷發(fā)展和數(shù)據(jù)的不斷擴充，原共享系統(tǒng)在自動氣象站數(shù)據(jù)顯示方面已經(jīng)無法滿足用戶的需求，在數(shù)據(jù)存儲管理、數(shù)據(jù)共享的范圍和顯示速度等都存在著弊端。此外伴隨著CIMISS系統(tǒng)的推廣和應(yīng)用，這些業(yè)務(wù)系統(tǒng)在數(shù)據(jù)集約化、一體化管理、數(shù)據(jù)準確性以及系統(tǒng)維護和升級等方面，還存在很多問題[1，2]，主要體現(xiàn)在：

（1）業(yè)務(wù)系統(tǒng)分散、不易維護升級。目前各省在線業(yè)務(wù)系統(tǒng)繁多，系統(tǒng)之間互相穿插，互相鏈接的情況頻繁，雖然有公共首頁可以作為統(tǒng)一入口，但是條理性差，系統(tǒng)和系統(tǒng)之間無法實現(xiàn)資源共享，服務(wù)共享，各自使用各自的標準，造成維護不便、管理困難、資源浪費。（2）沒有統(tǒng)一的數(shù)據(jù)環(huán)境，造成數(shù)據(jù)不一致。重要數(shù)據(jù)可能存在多份拷貝或存在多個數(shù)據(jù)源中，因數(shù)據(jù)傳輸或系統(tǒng)錯誤或人工等原因往往造成原本應(yīng)該相同的數(shù)據(jù)在不同系統(tǒng)中不相同的情況。（3）資料展示系統(tǒng)多，各自為政，不易管理。省中心尚未建立統(tǒng)一的氣象基礎(chǔ)資料展示系統(tǒng)，各級業(yè)務(wù)部門及業(yè)務(wù)系統(tǒng)軟件直接從各自服務(wù)器獲取相應(yīng)的資料。各業(yè)務(wù)系統(tǒng)存在功能重復建設(shè)資源重復占用的現(xiàn)象。（4）利用云平臺不夠充分，各自使用小服務(wù)器，管理混亂。目前各業(yè)務(wù)系統(tǒng)之間并未充分利用云平臺，數(shù)據(jù)接口并不規(guī)范，系統(tǒng)集成與業(yè)務(wù)銜接不當，容易導致信息不對稱、無法管理。因此，本項目將利用現(xiàn)有云平臺，基于CIMISS標準化數(shù)據(jù)環(huán)境進行建設(shè)，依靠一體化網(wǎng)絡(luò)平臺，統(tǒng)一標準，達成各業(yè)務(wù)系統(tǒng)集約化連接、實現(xiàn)資源的優(yōu)化配置與共享。

2 設(shè)計原則與功能需求

2.1 設(shè)計原則

湖北氣象業(yè)務(wù)內(nèi)網(wǎng)以支撐氣象業(yè)務(wù)發(fā)展和科技創(chuàng)新為目標，采用先進實用的信息技術(shù)，參考國內(nèi)先進的數(shù)據(jù)管理設(shè)計經(jīng)驗[3-10]，實現(xiàn)相關(guān)業(yè)務(wù)平臺的整合，系統(tǒng)設(shè)計和開發(fā)原則包括：（1）集約化。搭建省級氣象業(yè)務(wù)運行的數(shù)據(jù)環(huán)境以及虛擬化環(huán)境，集合各業(yè)務(wù)單位的業(yè)務(wù)系統(tǒng)，實現(xiàn)業(yè)務(wù)系統(tǒng)基礎(chǔ)平臺資源的高效利用和專業(yè)化維護。（2）統(tǒng)一數(shù)據(jù)環(huán)境。以CIMISS作為主要數(shù)據(jù)源進行數(shù)據(jù)復用，遵從CIMISS數(shù)據(jù)標準進行數(shù)據(jù)存儲結(jié)構(gòu)拓展，建立統(tǒng)一分類編碼、統(tǒng)一數(shù)據(jù)建模、統(tǒng)一存儲的數(shù)據(jù)體系。（3）用戶管理。要面向省、市、縣三級用戶，實現(xiàn)省級統(tǒng)一權(quán)限管理，市縣級授權(quán)后訪問。

2.2 系統(tǒng)功能設(shè)計

湖北氣象業(yè)務(wù)內(nèi)網(wǎng)主要由信息顯示、運行監(jiān)控、業(yè)務(wù)管理、共享服務(wù)]等模塊組成。其中運行監(jiān)控模塊實現(xiàn)對臺站級、市縣州級單位數(shù)據(jù)傳輸、設(shè)備狀態(tài)等的綜合與分類監(jiān)控。主要包括：（1）數(shù)據(jù)傳輸監(jiān)控。實現(xiàn)對自動站（包括國家站、區(qū)域站）觀測數(shù)據(jù)、高空測風數(shù)據(jù)、GNSS/MET數(shù)據(jù)、自動土壤水分觀測數(shù)據(jù)、雷達基數(shù)據(jù)等，以圖形化與表格化相結(jié)合的方式向用戶展示各種氣象資料的發(fā)送情況，在監(jiān)視界面予以告警顯示。（2）設(shè)備運行狀態(tài)監(jiān)控。根據(jù)通信系統(tǒng)所接收到的設(shè)備運行狀態(tài)文件、報警文件等，基于文件中的各類數(shù)據(jù)的判斷規(guī)則，綜合判斷設(shè)備運行是否正常，并根據(jù)本級用戶所在區(qū)域獲取該區(qū)域所有設(shè)備的運行狀態(tài)信息。（3）監(jiān)控集成。將其他監(jiān)控系統(tǒng)的地址鏈接配置到本系統(tǒng)，值班人員或業(yè)務(wù)人員可在系統(tǒng)導航模塊快速導航到對應(yīng)系統(tǒng)。業(yè)務(wù)管理模塊對傳輸質(zhì)量進行統(tǒng)計，在獲取運行監(jiān)控數(shù)據(jù)結(jié)果的基礎(chǔ)上以月、年為時間跨度并支持任意時段內(nèi)進行聚合統(tǒng)計，存儲統(tǒng)計結(jié)果，形成統(tǒng)計圖形、報表，為相關(guān)業(yè)務(wù)人員的決策提供數(shù)據(jù)支持。氣象信息顯示系統(tǒng)基于CIMISS實現(xiàn)各種氣象資料和原數(shù)據(jù)資料（自動氣象站、探空資料、GNSS/MET、閃電定位、自動土壤水分、氣象輻射、酸雨觀測、大氣成分觀測等）各個時間段對應(yīng)查詢，并基于WEBGIS、表格、曲線圖等方式進行數(shù)據(jù)的展示分析，同時可以實現(xiàn)對歷史資料（歷史最大值、歷史最小值和歷史平均值等）的查詢展示功能。系統(tǒng)以自動站數(shù)據(jù)顯示為重點，結(jié)合大數(shù)據(jù)SPARK計算框架和WEBGIS，實現(xiàn)快速數(shù)據(jù)顯示。具體功能結(jié)構(gòu)劃分如圖1所示。

3 基于SPARK框架的數(shù)據(jù)顯示

湖北省自動氣象站數(shù)據(jù)顯示模塊作為重點，實現(xiàn)長江流域、湖北省的國家站、區(qū)域站、專業(yè)氣象站（交通站、旅游站）等地面資料小時數(shù)據(jù)、分鐘資料全要素的快速查詢顯示，結(jié)合CIMISS系統(tǒng)，采用WebGIS技術(shù)，以站點圖、色斑圖、直方圖、表格等多種方式對查詢結(jié)果進行顯示和統(tǒng)計分析，從而滿足省、市、縣三級預報人員業(yè)務(wù)使用需求。技術(shù)方案方面主要采用硬件支撐平臺、數(shù)據(jù)庫、WEBGIS技術(shù)方面進行優(yōu)化，在硬件方面采用大內(nèi)存、多服務(wù)器集群等配置;在數(shù)據(jù)庫方面對數(shù)據(jù)存儲讀取進行優(yōu)化，主要包含融合數(shù)據(jù)環(huán)境建設(shè)，根據(jù)數(shù)據(jù)特性，采用不同的數(shù)據(jù)庫;在WEBGIS技術(shù)方面，采用緩存及分級顯示策略。

3.1 基于內(nèi)存的Spark生態(tài)系統(tǒng)

系統(tǒng)使用的服務(wù)器采用256G內(nèi)存，采用大數(shù)據(jù)分析技術(shù)，采用伯克利數(shù)據(jù)分析棧（Spark生態(tài)系統(tǒng)），搭建Spark集群，解決自動站查詢統(tǒng)計慢的問題。Spark是基于內(nèi)存的迭代計算框架[11]，其核心是彈性分布式數(shù)據(jù)集，通過在內(nèi)存中對數(shù)據(jù)集進行多次快速迭代，支持復雜的數(shù)據(jù)挖掘算法和圖形計算算法。

系統(tǒng)使用Spark Streaming和Kafka進行站點文件入庫，kafka 是一款分布式消息發(fā)布和訂閱的系統(tǒng)，具有高性能和高吞吐率，消息的發(fā)布（publish）稱作 producer，消息的訂閱（subscribe）稱作consumer。SparkStreaming 是一個對實時數(shù)據(jù)流進行高通量、容錯處理的流式處理系統(tǒng)，對Kafka消息進行操作處理，并將結(jié)果保存到HBASE數(shù)據(jù)庫。其代碼實現(xiàn)如下：

3.2 非關(guān)系型數(shù)據(jù)庫技術(shù)

系統(tǒng)采用非關(guān)系型數(shù)據(jù)庫HBase實現(xiàn)，替換原有的關(guān)系型數(shù)據(jù)庫Oracle或sqlserver，使用NoSQL數(shù)據(jù)庫，NoSQL數(shù)據(jù)庫讀寫性能高，其簡單的數(shù)據(jù)機構(gòu)和數(shù)據(jù)無關(guān)系性使其優(yōu)勢在大數(shù)據(jù)量下更能體現(xiàn)，NoSQL的Cache是記錄級的，是一種細粒度的Cache。同時NoSQL具有靈活的數(shù)據(jù)模型，數(shù)據(jù)字段和格式能夠隨時靈活地添加和修改，為大數(shù)據(jù)在Web上的應(yīng)用提供便利。數(shù)據(jù)庫查詢采用Phoenix，Phoenix是HBase的SQL驅(qū)動，Phoenix使得HBase支持通過JDBC的方式進行訪問，將SQL查詢轉(zhuǎn)換為一個或多個HBase scan，并編排執(zhí)行以生成標準的JDBC結(jié)果集。其代碼實現(xiàn)如下：

INCLUDEPICTURE "../../../Users/x1/AppData/Roaming/Tencent/QQTempSys/%25W@GJ$ACOF（TYDYECOKVDYB.png" ＼* MERGEFORMAT

選取開源框架Spark進行性能測試，在測試機上搭建測試環(huán)境。從CIMISS數(shù)據(jù)庫導出長江流域范圍區(qū)域站3個月數(shù)據(jù)到內(nèi)存數(shù)據(jù)庫中，對數(shù)據(jù)讀取檢索時間進行測試，為系統(tǒng)技術(shù)路線提供理論依據(jù)。分別查詢CIMISS的ORACLE數(shù)據(jù)庫和Spark內(nèi)存數(shù)據(jù)庫進行測試，其中CIMISS數(shù)據(jù)庫是建站以來的所有數(shù)據(jù)，Spark內(nèi)存數(shù)據(jù)庫是三個月的長江流域范圍區(qū)域站數(shù)據(jù)，排除數(shù)據(jù)庫數(shù)據(jù)量的差異的影響，內(nèi)存數(shù)據(jù)庫在檢索時間上是可以滿足要求的，具體結(jié)果表1所示。

4 其他改進技術(shù)

4.1 基于文件夾監(jiān)控的信息獲取

基于文件夾監(jiān)控的方式相對解析日志的方式有簡單、穩(wěn)定、及時、可調(diào)式性好等優(yōu)點。現(xiàn)有的基于java實現(xiàn)的文件監(jiān)聽主要有兩種方式：（1）線程輪詢掃描。其優(yōu)點是純java實現(xiàn)，完美跨平臺，缺點是監(jiān)聽文件較多時，需要掃描的量太大;響應(yīng)不是非常及時，依賴于掃描間隔時間。（2）文件鉤子。其優(yōu)點是事件驅(qū)動方式無目錄掃描，缺點是跟平臺相關(guān)。系統(tǒng)涉及數(shù)據(jù)量較大，如果采用線程輪詢掃描模式掃描量大，響應(yīng)不及時，難滿足實時性高的要求，故采用文件鉤子的方式實現(xiàn)對文件夾的監(jiān)控。我們采用基于Jnotify開發(fā)包，實現(xiàn)了包括windows、linux、maxos各大平臺的處理，開發(fā)時只需要使用其提供的對應(yīng)平臺的組件即可輕松實現(xiàn)文件夾監(jiān)控。

4.2 緩存及分級顯示策略

針對經(jīng)常被提及的在WEBGIS上同時顯示所有區(qū)域站比較緩慢的問題，本系統(tǒng)采用了緩存及分級顯示策略。首先針對cimiss查詢可能出現(xiàn)緩慢的情況，增加了一個緩存，定時獲取5分鐘數(shù)據(jù)。每次請求從緩存中獲取區(qū)域站的數(shù)據(jù)，這樣可以將時間降至毫秒級。其次，在瀏覽器繪制站點圖像的時候首次僅繪制3000/n站（繪制1000站的時間大約在1秒內(nèi)），當n=3時用戶基本上可以在1秒內(nèi)看到區(qū)域站繪制完畢。用戶放大地圖層級時增加繪制剩余3000/n站。n 越大顯示速度越快，而需要拖放的級數(shù)越多，我們認為對于內(nèi)網(wǎng)系統(tǒng)，當n=3時用戶體驗效果最佳。

4.3 CIMISS實況數(shù)據(jù)采集實現(xiàn)

在信息顯示等需要查詢氣象數(shù)據(jù)資料的模塊中，主要通過CIMISS通用接口的方式獲取資料。按照松耦合和模塊化設(shè)計，系統(tǒng)對CIMISS的接口調(diào)用進行了封裝，具體實現(xiàn)方式如：通過JAVA客戶端模式進行調(diào)用，通過接口DataQueryClient.callAPI_to_serial- izedStr 獲取返回類型為JSON格式的數(shù)據(jù)，然后將JSON格式轉(zhuǎn)換為系統(tǒng)自定義的序列化格式，調(diào)用代碼如下所示：

INCLUDEPICTURE "../../../Users/x1/AppData/Roaming/Tencent/QQTempSys/%25W@GJ$ACOF（TYDYECOKVDYB.png" ＼* MERGEFORMAT

5 結(jié)語

湖北氣象業(yè)務(wù)內(nèi)網(wǎng)在CIMISS的基礎(chǔ)上結(jié)合SPARK技術(shù)，滿足長江流域氣象中心的實時氣象信息業(yè)務(wù)的需求。系統(tǒng)在湖北省各級氣象部門投入業(yè)務(wù)試運行，實現(xiàn)了運行監(jiān)控、業(yè)務(wù)管理、信息顯示、共享服務(wù)、綜合管理、網(wǎng)站管理等功能，湖北省自動氣象站數(shù)據(jù)顯示模塊與原有業(yè)務(wù)系統(tǒng)相比增加了常用氣象要素，顯示速度有明顯提升，運行效果良好。

參考文獻

[1] 王宏記，楊代才.基于CIMISS的長江流域氣象水文信息共享系統(tǒng)設(shè)計與實現(xiàn)研究[J].安徽農(nóng)業(yè)科學，2014（32）：11565-11570.

[2] 楊代才，王海軍，龔賢創(chuàng).長江流域氣象中心實時資料共享平臺設(shè)計與開發(fā)[A].2011年中國氣象學會氣象通信與信息技術(shù)委員會暨國家氣象信息中心科技年會[C].2011年.

[3] 謝博文，黃小妹，覃信賢.氣象信息共享平臺的構(gòu)建及其實現(xiàn)研究[J].科教導刊（中旬刊），2012（7）：251-252.

[4] 王宏記，王海軍，曾又枝，等.省級氣象信息綜合數(shù)據(jù)庫系統(tǒng)的設(shè)計與實現(xiàn)[J].暴雨災(zāi)害，2008（3）：283-286.

[5] 王旻燕，鄧莉，趙芳，等.CIMISS中氣象衛(wèi)星數(shù)據(jù)存儲和服務(wù)模型[J].安徽農(nóng)業(yè)科學，2012（8）：4785-4789.

[6] 王國復，李集明，鄧莉，等.中國氣象科學數(shù)據(jù)共享服務(wù)網(wǎng)總體設(shè)計與建設(shè)[J].應(yīng)用氣象學報，2004（S1）：10-16.

[7] 李集明，沈文海，王國復.氣象信息共享平臺及其關(guān)鍵技術(shù)研究[J].應(yīng)用氣象學報，2006（5）：621-628.

[8] 李集明，熊安元.氣象科學數(shù)據(jù)共享系統(tǒng)研究綜述[J].應(yīng)用氣象學報，2004（S1）：1-9.

[9] 覃天信，黃?，?，李漫霜.廣西氣象臺業(yè)務(wù)數(shù)據(jù)庫系統(tǒng)簡介[J].廣西氣象，2001（4）：43-44

[10] 易烈剛，楊溢，范元品.基于Internet的氣象實時資料查詢系統(tǒng)[J].貴州氣象，2003（3）：39-41.

[11] 王宏偉，方群，陳偉.基于內(nèi)存數(shù)據(jù)庫的OPC監(jiān)測系統(tǒng)的設(shè)計與實現(xiàn)[J].計算機技術(shù)與發(fā)展，2013（7）：242-244+248.

收稿日期：2020-08-31

*基金項目：湖北省氣象局科技發(fā)展基金重點項目（2018Z09、2020Z07）

作者簡介：張冰松（1989—），女，吉林四平人，碩士，工程師，研究方向：氣象信息技術(shù)。

Design and Development of Hubei Meteorological Information Service Network Based on Big Data Framework

ZHANG Bin-song， WANG Fan， WANG Ya-xin， YANG Dai-cai

（Meteorological Information and Technology Support Center of Hubei Province，Wuhan Hubei? 430074）

Abstract： Analysis of the present Hubei Meteorological information service network of continuous development and improvement， points out the problems existing in Hubei Meteorological information service network construction， pointed out design requirements， design objective and technical route， illustrates the system overall structure and function， the whole data flow， system structure， big data application framework and other optimization measures.

Key words：HBASE; meteorological; service system