何 林，吉 慶，燕東渭，李亞麗，王 壘

(1.秦嶺和黃土高原生態(tài)環(huán)境氣象重點實驗室，西安 710016；2.陜西省氣象信息中心，西安 710014；3.渭南市氣象局，陜西渭南 714000)

在大數(shù)據(jù)技術(shù)及產(chǎn)業(yè)高速發(fā)展的背景下，以政府牽頭、惠及民生為目標的行業(yè)數(shù)據(jù)交換共享與融合應(yīng)用成為一個重要發(fā)展方向?！扒卦乒こ獭奔搓兾魇〈髷?shù)據(jù)產(chǎn)業(yè)的“N+1”云工程，“N”是22朵行業(yè)云，“1”是大數(shù)據(jù)交換共享平臺，是“秦云工程”建設(shè)的核心。大數(shù)據(jù)交換共享平臺承載了行業(yè)云的數(shù)據(jù)交換、共享、開放、服務(wù)四大功能體系，在保證政府數(shù)據(jù)流通性和安全性的前提下，實現(xiàn)行業(yè)數(shù)據(jù)匯聚交換、互聯(lián)互通和開放共享[1-2]。氣象云作為“秦云工程”22朵“行業(yè)云”之一，通過大數(shù)據(jù)交換共享平臺與環(huán)保、水利、交通、旅游其他行業(yè)云的數(shù)據(jù)進行融合分析，充分挖掘和發(fā)揮氣象數(shù)據(jù)的應(yīng)用效益。對此，研究數(shù)據(jù)對接技術(shù)實現(xiàn)氣象數(shù)據(jù)高效地接入“秦云工程”是首要解決的問題。

1 設(shè)計原則

(1)保證氣象數(shù)據(jù)使用的安全性。由于氣象觀測數(shù)據(jù)中涉及地理坐標等敏感信息，需嚴格遵循中國氣象局第4號令《氣象資料共享管理辦法》，避免核心數(shù)據(jù)、加密數(shù)據(jù)、歷史數(shù)據(jù)開放后，對國家安全造成危害[3]。

(2)保證氣象數(shù)據(jù)更新的及時性。按照數(shù)據(jù)的觀測頻次，設(shè)計合理的同步策略，保證最新的觀測數(shù)據(jù)在最小的時間損耗下接入氣象云，為行業(yè)數(shù)據(jù)融合與應(yīng)用提供高時效的數(shù)據(jù)服務(wù)。

(3)保證氣象數(shù)據(jù)接入的可靠性。在“秦云工程”氣象數(shù)據(jù)采集和交換的過程中，不對氣象部門內(nèi)現(xiàn)有各類常規(guī)業(yè)務(wù)的順利開展、信息系統(tǒng)的穩(wěn)定運行造成影響。

2 技術(shù)架構(gòu)

“秦云工程”氣象云的數(shù)據(jù)來源為全國綜合氣象信息共享平臺(China integrated meteorological information sharing system，下簡稱“CIMISS”)。作為氣象部門建立規(guī)范的國省兩級氣象數(shù)據(jù)環(huán)境，CIMISS將各類氣象數(shù)據(jù)納入集約化管理，為氣象業(yè)務(wù)和科研提供了權(quán)威、豐富的數(shù)據(jù)源，為氣象大數(shù)據(jù)的應(yīng)用與研究奠定了基礎(chǔ)[4]。由于存在網(wǎng)絡(luò)隔離，需要在“秦云工程”和氣象業(yè)務(wù)局域網(wǎng)之間搭建專線網(wǎng)絡(luò)來保障數(shù)據(jù)交換通暢。實際的數(shù)據(jù)交換由部署在局域網(wǎng)內(nèi)的一臺前置機完成，包括氣象數(shù)據(jù)的采集及推送代理。其中，數(shù)據(jù)采集代理通過調(diào)用CIMISS氣象數(shù)據(jù)統(tǒng)一服務(wù)接口(meteorological unified service interface community，下簡稱“MUSIC”)，將“秦云工程-氣象云”所需的數(shù)據(jù)同步至前置機；數(shù)據(jù)推送代理則采用主動共享方式，將氣象數(shù)據(jù)接入“秦云工程”的大數(shù)據(jù)交換共享平臺。最后，通過大數(shù)據(jù)交換共享平臺實現(xiàn)22朵“行業(yè)云”之間的數(shù)據(jù)交互。數(shù)據(jù)對接的技術(shù)架構(gòu)如圖1所示。

圖1 (秦云工程-氣象云)總體技術(shù)架構(gòu)圖

3 實現(xiàn)方案

3.1 接口定制

MUSIC面向氣象行業(yè)內(nèi)部提供了開放、全量、標準的數(shù)據(jù)接入服務(wù)。而“秦云工程”面向社會大眾，為保證數(shù)據(jù)使用安全，需要基于對MUSIC標準接口的定制，實現(xiàn)對氣象數(shù)據(jù)的適當裁剪后才可共享。根據(jù)《基本氣象資料和產(chǎn)品開放清單》向全社會開放共享的地面、高空、氣象衛(wèi)星、天氣雷達、數(shù)值預(yù)報等5 類 17 種基本氣象資料和產(chǎn)品清單[5]，結(jié)合“秦云工程”資料需求，劃定可共享的數(shù)據(jù)范圍(表1)。

表1 “秦云工程-氣象云”第一批核心資料共享范圍

接口定制通過MUSIC后臺管理平臺進行操作，其核心是更新接口元數(shù)據(jù)[6]，實現(xiàn)對“秦云工程”API賬戶的資料訪問權(quán)限控制。設(shè)定該用戶可訪問的數(shù)據(jù)僅為表1所示的三類資料，其他資料禁止訪問。同時，對三類資料時間、空間屬性也須做裁剪，通過修改元數(shù)據(jù)要素配置值，劃定明細的站號范圍以及時間范圍。以中國地面(國家站)逐小時觀測資料的接口定制為例(表2)，列出了主要的元數(shù)據(jù)配置項。

3.2 數(shù)據(jù)同步

通過調(diào)用定制的MUSIC接口，研發(fā)數(shù)據(jù)采集代理程序，并部署在前置機。前置機的最主要作用是屏蔽“秦云工程”數(shù)據(jù)對接對CIMISS業(yè)務(wù)庫的影響， 同時避免了開通CIMISS公網(wǎng)端口訪

表2 MUSIC接口定制的元數(shù)據(jù)配置示例

問造成的安全隱患。此外，為保證氣象數(shù)據(jù)及時更新，還需在前置機上根據(jù)不同資料的時效特點，配置不同的定時任務(wù)執(zhí)行策略。以中國地面(國家站)逐小時觀測資料為例，由于CIMISS中，當前時次整點數(shù)據(jù)的入庫呈現(xiàn)類指數(shù)方式的增長，實時同步的數(shù)據(jù)代理進程可設(shè)置策略為每時次的01、02、03、05、07、10、30、59分各定時執(zhí)行一次。圖2給出了通過調(diào)用MUSIC實現(xiàn)地面逐小時數(shù)據(jù)同步流程。

3.3 數(shù)據(jù)存儲

數(shù)據(jù)同步到前置機進行存儲。按照數(shù)據(jù)的組織結(jié)構(gòu)特點，一般可分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)兩大類，其中非結(jié)構(gòu)化數(shù)據(jù)含有自描述信息的半結(jié)構(gòu)化數(shù)據(jù)[7]。典型的結(jié)構(gòu)化數(shù)據(jù)都以記錄的方式存儲在關(guān)系型數(shù)據(jù)庫中，如Oracle、MySql等。其他大部分數(shù)據(jù)都是以文檔、圖片等非結(jié)構(gòu)化的形式存儲，這些數(shù)據(jù)可直接保存于文件系統(tǒng)中[8]。此外，為了提高訪問效率和用戶體驗，對交互頻次較高的數(shù)據(jù)，將其存儲索引以記錄的形式在Redis內(nèi)存數(shù)據(jù)庫中保留一份[9]。前置機上的數(shù)據(jù)包括主動和被動兩種共享方式。以前置機為中心，被動共享是指大數(shù)據(jù)共享交換平臺可通過專線網(wǎng)絡(luò)直接訪問存儲在前置機上的數(shù)據(jù)；主動共享是指通過前置機部署的數(shù)據(jù)推送代理，將數(shù)據(jù)推送至大數(shù)據(jù)交換共享平臺以及其他對氣象數(shù)據(jù)有需求“行業(yè)云”。兩種方式皆可實現(xiàn)數(shù)據(jù)訪問，本方案選取了主動共享方式。

3.4 數(shù)據(jù)服務(wù)

“秦云工程”大數(shù)據(jù)交換共享平臺集結(jié)了已授權(quán)的行業(yè)云數(shù)據(jù)，提供了內(nèi)容全面、功能豐富的數(shù)據(jù)服務(wù)，滿足各類用戶多元化的數(shù)據(jù)服務(wù)需求。氣象數(shù)據(jù)接入后，可通過大數(shù)據(jù)交換共享平臺的開放接口獲取相關(guān)數(shù)據(jù)服務(wù)，將氣象數(shù)據(jù)進行可視化的展示。圖3給出了一個大屏展示氣象數(shù)據(jù)的截圖。該應(yīng)用為某政府部門通過“秦云工程”大數(shù)據(jù)交換共享平臺調(diào)用氣象數(shù)據(jù)進行服務(wù)的圖例原型。

同時，通過大數(shù)據(jù)交換共享平臺的代理服務(wù)，可將其他通過授權(quán)的行業(yè)數(shù)據(jù)，如環(huán)保、水文數(shù)據(jù)等推送至氣象內(nèi)網(wǎng)的前置機上，便于氣象部門開展行業(yè)數(shù)據(jù)融合分析及相關(guān)應(yīng)用研究。

4 結(jié)論與展望

通過采用本文設(shè)計的數(shù)據(jù)對接方案，目前，氣象數(shù)據(jù)已成功接入“秦云工程”并形成示范。這不僅擴大了氣象數(shù)據(jù)資源的共享開放力度，有助于打破政府部門間的“數(shù)據(jù)壁壘”，拆除“應(yīng)用煙囪”[10]。同時，與其他行業(yè)的數(shù)據(jù)交換、融合、分析，進一步推動了智慧氣象的發(fā)展。未來，借助“秦云工程”，如何用好數(shù)據(jù)將是重點研究方向，只有將氣象業(yè)務(wù)與大數(shù)據(jù)應(yīng)用技術(shù)相結(jié)合，才能最大化發(fā)揮氣象數(shù)據(jù)的效益。