◆黃錦燦 蔡賢達 田良鈺

?

基于網(wǎng)絡技術(shù)的氣象數(shù)據(jù)共享方案探討

◆黃錦燦 蔡賢達 田良鈺

(佛山市高明區(qū)氣象局 廣東 528500)

隨著科技的不斷發(fā)展，為了對于氣象信息的解讀也更加科學與高效，加強氣象數(shù)據(jù)系統(tǒng)建設與信息分享勢在必行，本系統(tǒng)建設以氣象業(yè)務系統(tǒng)、預警發(fā)布手段以及電子政務網(wǎng)和政務大數(shù)據(jù)為基礎，充分利用移動、聯(lián)通、電信等運營商的網(wǎng)絡資源和社會資源，實現(xiàn)氣象信息的高速共享，為其進一步發(fā)展打下堅實的基礎。

網(wǎng)絡技術(shù)；氣象數(shù)據(jù)；共享

0 引言

目前高明區(qū)氣象局每天要處理大量的觀測數(shù)據(jù)、預報數(shù)據(jù)、預警數(shù)據(jù)，但是尚沒有自己的數(shù)據(jù)中心，所有數(shù)據(jù)需要從其他局系統(tǒng)中抓取，經(jīng)常導致數(shù)據(jù)不完整、不穩(wěn)定、不正確、不及時等問題。嚴重影響氣象業(yè)務的正常開展，更加難以適應“互聯(lián)網(wǎng)+”和大數(shù)據(jù)戰(zhàn)略的實施。難以給公眾和各行各業(yè)提供實時、準確的、充足的氣象數(shù)據(jù)和服務。同時經(jīng)過多年的建設，高明區(qū)氣象局在硬件上已經(jīng)滿足了日后的發(fā)展的需要，隨時可以滿足氣象數(shù)據(jù)綜合管理系統(tǒng)的建設。如果不充分利用這些硬件設施，會造成資源的浪費，因此需要對于氣象數(shù)據(jù)做好共享工作，提升共享效率。

1 高明區(qū)氣象局數(shù)據(jù)中心建設背景

1.1建設現(xiàn)狀

高明“智慧氣象”數(shù)據(jù)中心是基于高明氣象局以及其他部門的數(shù)據(jù)共享的基礎上，利用氣象大數(shù)據(jù)，搭建氣象數(shù)據(jù)中心以實現(xiàn)數(shù)據(jù)資源的采編、審核、清洗、分析、挖掘的等一系列的功能，為智慧氣象的業(yè)務系統(tǒng)和信息服務提供深入、全面的數(shù)據(jù)基礎，并提供相應數(shù)據(jù)接口。數(shù)據(jù)中心的主要功能有數(shù)據(jù)交換與共享、數(shù)據(jù)存儲、數(shù)據(jù)處理三大部分。實現(xiàn)對采集到的各種信息進行分類和存儲等功能，能夠按照數(shù)據(jù)來源、數(shù)據(jù)類別、數(shù)據(jù)時間等多種維度進行管理，且具備統(tǒng)計分析、監(jiān)控、報表制作等功能。在數(shù)據(jù)的存儲上要求能夠存儲和管理結(jié)構(gòu)化數(shù)據(jù)，也能夠存儲和管理非結(jié)構(gòu)化數(shù)據(jù)。能夠應對大數(shù)據(jù)量、多數(shù)據(jù)類型的情況。

1.2建設目標

智慧氣象是智慧城鎮(zhèn)建設的重要組成部分。要實現(xiàn)智慧氣象更好的服務公眾，服務行業(yè)經(jīng)濟，實現(xiàn)“互聯(lián)網(wǎng)+”的應用和跨界大數(shù)據(jù)分析功能，首先要建立一個氣象數(shù)據(jù)綜合管理中心，提供數(shù)據(jù)管理和氣象數(shù)據(jù)支持，通過整合統(tǒng)一的大數(shù)據(jù)接口平臺為其他部門、社區(qū)信息員和人民群眾提供精細化、網(wǎng)格化的信息服務，為智慧城鎮(zhèn)建設提供氣象信息支持。

根據(jù)以上背景和分析，我們提出以下項目建設總體目標：

（1）依托通用數(shù)據(jù)平臺，建設“智慧氣象”數(shù)據(jù)中心管理平臺基于廣東省氣象局和佛山市氣象局的數(shù)據(jù)支持和其他部門的數(shù)據(jù)共享，“智慧氣象”數(shù)據(jù)中心項目將搭建大數(shù)據(jù)平臺以實現(xiàn)數(shù)據(jù)資源的采編、審核、清洗、分析、挖掘的等一系列的功能，為智慧氣象的業(yè)務系統(tǒng)和信息服務提供深入、全面的數(shù)據(jù)基礎，并提供相應數(shù)據(jù)共享接口。

（2）建設基于GIS的氣象業(yè)務數(shù)據(jù)可視化支撐平臺為協(xié)助氣象部門對氣象數(shù)據(jù)分析預報并使服務信息更精細化，項目將建設氣象數(shù)據(jù)結(jié)合GIS地理信息分析，展現(xiàn)各類的氣象要素，從而綜合提升氣象部門的業(yè)務能力。

1.3建設意義

本系統(tǒng)充分利用公共無線和固定通信網(wǎng)絡，通過多種發(fā)布手段相互結(jié)合、互為彌補的方式為人民群眾提供一個及時傳遞氣象產(chǎn)品信息和公共事件預警信息的載體，是解決信息服務“最后一公里”問題的有效途徑，大大提高了公共事件預警信息發(fā)布的時效性。通過智慧氣象系統(tǒng)建設，使原來分散在不同部門、不同行業(yè)的應急信息，通過系統(tǒng)中專用的突發(fā)公共事件預警信息發(fā)布系統(tǒng)，權(quán)威、暢通、有效的突發(fā)公共事件預警信息發(fā)布渠道統(tǒng)一進行發(fā)布。同時，利用各種發(fā)布手段的覆蓋范圍和控制功能，可以將氣象產(chǎn)品信息和公共事件預警信息的發(fā)布范圍進行精確控制。氣象數(shù)據(jù)的跨行業(yè)價值挖掘?qū)a(chǎn)生巨大的社會和經(jīng)濟價值，據(jù)了解，英國的氣象服務已經(jīng)全部商業(yè)化，年產(chǎn)值達到2600億美元，美國1600億美元，日本100億美元，而中國只有6億美元，專業(yè)的氣象數(shù)據(jù)服務在中國市場前景巨大。本系統(tǒng)的建設將挖掘氣象跨行業(yè)的數(shù)據(jù)價值，最終提供商業(yè)化服務。

2 網(wǎng)絡技術(shù)在氣象數(shù)據(jù)共享中的應用

2.1技術(shù)規(guī)范

數(shù)據(jù)中心配備包括支撐以上功能的硬件基礎設施、大型外部設備、數(shù)據(jù)庫管理商用軟件、數(shù)據(jù)處理專業(yè)商用軟件、數(shù)據(jù)管理應用軟件、數(shù)據(jù)服務應用軟件、數(shù)據(jù)交換系統(tǒng)，以及相應的專業(yè)人員。數(shù)據(jù)中心硬件配置一般包括：服務器（業(yè)務應用服務器、數(shù)據(jù)庫服務器、交換服務器）、存儲系統(tǒng)（SAN 光纖交換機、磁盤陣列、NAS文件存貯）、交換機（核心交換機、服務器群子網(wǎng)交換機、部門接入子網(wǎng)交換機）、大型外設、全冗余的硬件設備及鏈路。數(shù)據(jù)中心軟件配置包括：網(wǎng)管軟件、應用服務器軟件、數(shù)據(jù)庫管理系統(tǒng)、GIS軟件、數(shù)據(jù)備份軟件、目錄服務及元數(shù)據(jù)發(fā)布軟件、LDAP服務器、安全管理軟件、消息中間件、云虛擬機管理軟件等。整個高明“智慧氣象”數(shù)據(jù)中心網(wǎng)絡可以建立在云計算平臺之上，所有的應用系統(tǒng)服務器均由虛擬化服務器提供，這樣的好處在于可以按需配置服務器資源，保障服務器資源的充分利用和靈活調(diào)度。

2.2數(shù)據(jù)采集

氣象業(yè)務數(shù)據(jù)采集子系統(tǒng)包括：氣象自動站數(shù)據(jù)采集模塊、氣象格點數(shù)據(jù)數(shù)據(jù)采集模塊、臺風路徑數(shù)據(jù)采集模塊、氣象預報數(shù)據(jù)采集模塊、氣象預警數(shù)據(jù)采集模塊。

（1）氣象自動站數(shù)據(jù)采集模塊連接氣象自動站數(shù)據(jù)源接口，按相應規(guī)則定時采集指定時次，站點，要素的自動站基礎數(shù)據(jù)。

（2）氣象格點數(shù)據(jù)數(shù)據(jù)采集模塊連接氣象格點數(shù)據(jù)源接口，采集指定時次、要素、區(qū)域范圍的格點數(shù)據(jù)。

（3）臺風路徑數(shù)據(jù)采集模塊連接臺風數(shù)據(jù)源接口，按數(shù)據(jù)規(guī)則采集臺風數(shù)據(jù)，采集內(nèi)容包括臺風名稱、實時風力風速、途經(jīng)地點、風力半徑等。

（4）氣象預報數(shù)據(jù)采集模塊連接氣象預報數(shù)據(jù)源接口，采集多時次、多區(qū)域的天氣預報、氣象指數(shù)、景點天氣預警等預報數(shù)據(jù)。

（5）氣象預警數(shù)據(jù)采集模塊連接氣象預警數(shù)據(jù)源接口，采集指定區(qū)域的實時預警數(shù)據(jù)。

2.3數(shù)據(jù)存儲

高明“智慧氣象”數(shù)據(jù)中心由兩臺高性能計算機作為數(shù)據(jù)庫載體，配以大容量的磁盤陣列和磁帶機，系統(tǒng)通過光纖存儲交換機相連，采用雙鏈路備份的方式，保證數(shù)據(jù)庫的可用性與可靠性。系統(tǒng)涉及到整合其他業(yè)務系統(tǒng)的數(shù)據(jù)，其他寫數(shù)據(jù)有結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)庫可能有Oracle或者SQLServer等結(jié)構(gòu)化數(shù)據(jù)庫，也有NoSQL類型的數(shù)據(jù)庫，或者分布式數(shù)據(jù)庫，同時考慮到與政務大數(shù)據(jù)平臺相結(jié)合，因此，本方案設計系統(tǒng)把采集過來的數(shù)據(jù)存儲在由Hadoop搭建的分布式存儲系統(tǒng)上，通過HBase進行結(jié)構(gòu)化數(shù)據(jù)存儲，通過逐步建立分布式數(shù)據(jù)分析模型，不斷地豐富系統(tǒng)提供的氣象產(chǎn)品服務。

2.4數(shù)據(jù)共享

MapReduce是由Google提供的建立在HDFS之上的一個并行計算框架；我們需要通過MapReduce框架設計對共享數(shù)據(jù)的檢索與分析，為各種業(yè)務系統(tǒng)提供數(shù)據(jù)。HBase是一個類似于Google BigTable的分布式NoSQL列數(shù)據(jù)庫；Hive是由Facebook貢獻的一個數(shù)據(jù)倉庫工具提供類SQL查詢方法，使得上層數(shù)據(jù)應用程序可以通過關(guān)系型數(shù)據(jù)庫訪問的方式查詢分布式文件系統(tǒng)中的數(shù)據(jù)；Zookeeper是由Facebook提供的一個分布式鎖設施，在整個平臺中起到協(xié)調(diào)各種操作的作用。Pig是一個大數(shù)據(jù)分析平臺，為用戶提供多種接口，在系統(tǒng)中主要通過其方便的腳本編程接口為上層數(shù)據(jù)應用程序提供服務。

3 總結(jié)

在對于氣象數(shù)據(jù)進行分析和共享時，各種錯誤數(shù)據(jù)需要認真的比對和分析，從而對其進行評估，因此作為工程師應當具有一定的建模能力，使得共享效率提升，能夠?qū)⑾鄳ぞ咴诰_運行中應用，同時這樣有利于實現(xiàn)氣象數(shù)據(jù)設備的科學規(guī)劃與合理布局。共享技術(shù)對于氣象設備的發(fā)展來說具有極為重要的意義，因此需要對其技術(shù)進行進一步的優(yōu)化。

[1]王闊音.航空氣象信息服務系統(tǒng)的設計與實現(xiàn)[D].中國礦業(yè)大學，2015.

[2]馮慧菁.基于GIS的氣象信息集成與可視化系統(tǒng)[D].南京信息工程大學，2013.

[3]王增武.基于GIS技術(shù)的氣象數(shù)據(jù)處理系統(tǒng)設計與實現(xiàn)[D].電子科技大學，2008.

廣東省氣象局“氣象信息大數(shù)據(jù)創(chuàng)新團隊”（團隊編號：201507）。