宋瑛瑛 李雁鵬 陳正廷 凌柏 馮宇星 曹宇釗

（中國(guó)氣象局公共氣象服務(wù)中心，北京 100081）

基于消息的氣象服務(wù)數(shù)據(jù)加工流水線設(shè)計(jì)與應(yīng)用

宋瑛瑛 李雁鵬 陳正廷 凌柏 馮宇星 曹宇釗

（中國(guó)氣象局公共氣象服務(wù)中心，北京 100081）

梳理了公共氣象服務(wù)業(yè)務(wù)的數(shù)據(jù)流程，提出了一種基于消息的氣象服務(wù)數(shù)據(jù)加工流水線技術(shù)，用于提高氣象數(shù)據(jù)服務(wù)的時(shí)效性與數(shù)據(jù)資源更新的一致性。著重介紹了消息中間件、流水線架構(gòu)設(shè)計(jì)、交互文件標(biāo)準(zhǔn)等技術(shù)問(wèn)題。結(jié)合分鐘級(jí)降水預(yù)報(bào)數(shù)據(jù)實(shí)例，初步展示了消息驅(qū)動(dòng)數(shù)據(jù)流應(yīng)用在氣象服務(wù)數(shù)據(jù)支撐系統(tǒng)中的優(yōu)勢(shì)。

氣象數(shù)據(jù)，消息中間件，交互文件標(biāo)準(zhǔn)，系統(tǒng)設(shè)計(jì)

0 引言

氣象服務(wù)是人類生產(chǎn)生活的基礎(chǔ)條件，它不僅與公眾生活密切相關(guān)，同時(shí)也直接影響政府決策、國(guó)民生產(chǎn)以及社會(huì)發(fā)展。隨著信息網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，各行各業(yè)對(duì)氣象服務(wù)的要求越來(lái)越趨于精細(xì)化，隨之而來(lái)，分門(mén)別類的氣象服務(wù)產(chǎn)品層出不窮。為滿足各類應(yīng)用需求，數(shù)據(jù)信息交互單元也逐漸變得龐雜。當(dāng)前，在中國(guó)氣象局信息化建設(shè)的大背景下，公共氣象服務(wù)信息化建設(shè)的需求越來(lái)越緊迫，集中表現(xiàn)在從分散向集約化發(fā)展，提供統(tǒng)一的氣象數(shù)據(jù)服務(wù)。因此，本文梳理了國(guó)家級(jí)公共氣象服務(wù)業(yè)務(wù)的數(shù)據(jù)流，分析了現(xiàn)存問(wèn)題，提出了基于消息的氣象服務(wù)數(shù)據(jù)加工流水線技術(shù)，旨在提高氣象數(shù)據(jù)流的時(shí)效性和魯棒性，從而更好地支撐氣象服務(wù)業(yè)務(wù)的快速發(fā)展。

1 消息中間件

隨著氣象業(yè)務(wù)的跨越式發(fā)展，當(dāng)前中國(guó)氣象局公共氣象服務(wù)中心應(yīng)用的氣象服務(wù)數(shù)據(jù)系統(tǒng)存在數(shù)據(jù)處理流程交叉、運(yùn)行效率低、業(yè)務(wù)耦合性強(qiáng)等問(wèn)題。本文提出利用消息驅(qū)動(dòng)業(yè)務(wù)流程，解決上述問(wèn)題。具體而言，利用消息中間件高效可靠的傳遞機(jī)制進(jìn)行平臺(tái)無(wú)關(guān)的數(shù)據(jù)交換，基于數(shù)據(jù)通信進(jìn)行分布式系統(tǒng)的集成。發(fā)送者將消息發(fā)送到消息服務(wù)器，消息服務(wù)器將消息存放在若干隊(duì)列中，在滿足觸發(fā)條件后再將消息轉(zhuǎn)發(fā)給接收者。消息傳輸模型分為點(diǎn)對(duì)點(diǎn)模型（PTP）和發(fā)布/訂閱模型（pub/sub），發(fā)布/訂閱模型具有異步、松耦合、多對(duì)多通信等特點(diǎn)。發(fā)布者廣播發(fā)送消息給中間代理，訂閱者只需去代理中接收自己感興趣的消息，發(fā)布者并不知道究竟是哪個(gè)訂閱者接收到了自己發(fā)布的消息。

目前，市面上常見(jiàn)的發(fā)布/訂閱模型消息中間件有：Kafka、ActiveMQ、OpenJMS和RabbitMQ等。國(guó)內(nèi)各氣象部門(mén)在應(yīng)用消息中間件傳遞數(shù)據(jù)方面做了很多研究，例如：應(yīng)用ActiveMQ技術(shù)縮短了預(yù)警信號(hào)發(fā)布時(shí)耗[1]，基于RabbitMQ消息中間件和元數(shù)據(jù)技術(shù)實(shí)現(xiàn)了多種氣象觀測(cè)資料的采集、傳輸、入庫(kù)和備份的統(tǒng)一處理[2]。通過(guò)業(yè)務(wù)調(diào)研，本文以Kafka消息中間件為核心，在集約資源的基礎(chǔ)上，兼顧性能，設(shè)計(jì)了基于消息的氣象服務(wù)數(shù)據(jù)加工流水線，用以提高數(shù)據(jù)流動(dòng)效率，實(shí)現(xiàn)數(shù)據(jù)內(nèi)容統(tǒng)一。

2 氣象數(shù)據(jù)流

氣象數(shù)據(jù)流具有多來(lái)源、高并發(fā)及更新快等特點(diǎn)。針對(duì)這些特性，以往的氣象數(shù)據(jù)處理過(guò)程，多采用多進(jìn)程并發(fā)技術(shù)[3]，基于web服務(wù)[4]，實(shí)現(xiàn)氣象數(shù)據(jù)實(shí)時(shí)共享；近年來(lái)，多采用消息驅(qū)動(dòng)機(jī)制處理氣象數(shù)據(jù)[1-2,5]，以期提升傳輸效率。

2.1 數(shù)據(jù)流分析

公共氣象服務(wù)中心的氣象數(shù)據(jù)服務(wù)主要包括專業(yè)氣象和公眾氣象兩大部分。其中，專業(yè)氣象為預(yù)警信息發(fā)布、自然災(zāi)害決策等提供數(shù)據(jù)服務(wù)；而公眾氣象為常規(guī)天氣預(yù)報(bào)制作提供數(shù)據(jù)支撐，主要服務(wù)對(duì)象有中國(guó)氣象頻道、中國(guó)天氣網(wǎng)、中國(guó)天氣通APP等媒體和天氣服務(wù)軟件。在現(xiàn)有氣象數(shù)據(jù)服務(wù)系統(tǒng)中，存在以下不足之處：1）兩大業(yè)務(wù)存在數(shù)據(jù)源重疊交叉，數(shù)據(jù)重復(fù)采集、多次加工，數(shù)據(jù)樣本多重復(fù)制，在極端條件下，會(huì)出現(xiàn)氣象服務(wù)產(chǎn)品數(shù)據(jù)內(nèi)容不一致的情況。2）關(guān)聯(lián)任務(wù)執(zhí)行時(shí)存在任務(wù)堆積、耗時(shí)長(zhǎng)等問(wèn)題。在部分業(yè)務(wù)執(zhí)行時(shí)間不確定的條件下，為了保障業(yè)務(wù)數(shù)據(jù)的完整性，需延長(zhǎng)定制計(jì)劃任務(wù)時(shí)間范圍，這就增加了后續(xù)處理環(huán)節(jié)的等待時(shí)間，造成延遲。3）對(duì)超出定制時(shí)間范圍的數(shù)據(jù)無(wú)法實(shí)現(xiàn)自動(dòng)處理，只能通過(guò)手動(dòng)執(zhí)行應(yīng)急處理，無(wú)法做到全自動(dòng)無(wú)人值守。4）數(shù)據(jù)讀寫(xiě)操作頻繁，增加服務(wù)器的并發(fā)負(fù)載，造成資源浪費(fèi)。可見(jiàn)，定時(shí)計(jì)劃任務(wù)是拖延數(shù)據(jù)流動(dòng)的重要一環(huán)，而消息即來(lái)即走、分布式并發(fā)等特性正可以解決這些問(wèn)題。

2.2 消息驅(qū)動(dòng)數(shù)據(jù)流水線

基于消息驅(qū)動(dòng)的數(shù)據(jù)流，將流動(dòng)過(guò)程分解成主題，通過(guò)發(fā)布/訂閱模式，即時(shí)發(fā)布主題至消息總線，計(jì)算集群監(jiān)聽(tīng)消息，即時(shí)處理主題，縮短了數(shù)據(jù)流動(dòng)時(shí)間。這種分布式、高并發(fā)、無(wú)延遲的集約型數(shù)據(jù)流為下游氣象產(chǎn)品制作業(yè)務(wù)提供即時(shí)的數(shù)據(jù)支撐。如圖1所示。

1）業(yè)務(wù)數(shù)據(jù)流解耦。根據(jù)業(yè)務(wù)邏輯關(guān)系，將數(shù)據(jù)流分解為多個(gè)獨(dú)立執(zhí)行單元，即消息。同時(shí)為每個(gè)消息建立主題（topic），例如數(shù)據(jù)讀取主題、數(shù)據(jù)處理主題、數(shù)據(jù)發(fā)布主題等。消息主題不具有業(yè)務(wù)意義，僅作為消息總線上的標(biāo)識(shí)使用。

2）數(shù)據(jù)即時(shí)加工處理。生產(chǎn)者（producer）發(fā)布主題至消息總線，消費(fèi)者（consumer）隨時(shí)監(jiān)聽(tīng)消息總線上已訂閱的主題，一旦發(fā)現(xiàn)觸發(fā)消息，立即執(zhí)行。本文中的消費(fèi)者由多臺(tái)物理機(jī)或虛擬機(jī)組成基于SSH協(xié)議的計(jì)算集群實(shí)現(xiàn)，集群中的每個(gè)節(jié)點(diǎn)是無(wú)狀態(tài)的，可并行消費(fèi)多個(gè)主題。

3）數(shù)據(jù)流分發(fā)。處理完成的數(shù)據(jù)按需分發(fā)至下游業(yè)務(wù)系統(tǒng)。

圖1 數(shù)據(jù)流水線Fig. 1 Data flow

2.3 兩種數(shù)據(jù)流程特性比較

消息驅(qū)動(dòng)數(shù)據(jù)流摒棄了定時(shí)計(jì)劃任務(wù)模式，采用了發(fā)布/訂閱消息模式，不斷地從消息總線上監(jiān)聽(tīng)消息，一旦接收到消息即刻觸發(fā)執(zhí)行主題任務(wù)。由計(jì)算集群采用分布式計(jì)算完成任務(wù)的并發(fā)操作，改變了傳統(tǒng)數(shù)據(jù)流集中控制、順序執(zhí)行任務(wù)的處理過(guò)程，極大地提高了數(shù)據(jù)處理效率。目前，氣象消息總線的主要應(yīng)用是業(yè)務(wù)集成和數(shù)據(jù)共享。從業(yè)務(wù)集成方面看，可以有效解耦氣象數(shù)據(jù)流處理過(guò)程，提高信息交互能力和功能復(fù)用水平。從數(shù)據(jù)共享方面看，消息總線為數(shù)據(jù)的及時(shí)更新和一致性提供了可靠保障。兩種數(shù)據(jù)流程特性比較如表1所示。

表1 兩種數(shù)據(jù)流特性對(duì)比Table1 Comparisons between two kinds of data flow

3 系統(tǒng)設(shè)計(jì)與應(yīng)用

3.1 系統(tǒng)架構(gòu)

為了能更好地集成現(xiàn)有業(yè)務(wù)數(shù)據(jù)流處理過(guò)程，基于消息的氣象服務(wù)數(shù)據(jù)加工流水線設(shè)計(jì)采用三層架構(gòu)實(shí)現(xiàn)，分為數(shù)據(jù)層、消息中間層和業(yè)務(wù)層（圖2）。

圖2 系統(tǒng)架構(gòu)Fig. 2 System architecture

數(shù)據(jù)層是氣象服務(wù)數(shù)據(jù)加工流水線的基礎(chǔ)。數(shù)據(jù)文件存儲(chǔ)在大型分布式物理設(shè)備中，計(jì)算集群是數(shù)據(jù)流各環(huán)節(jié)的真正執(zhí)行者，將存儲(chǔ)和計(jì)算隔離開(kāi)，實(shí)現(xiàn)了數(shù)據(jù)與計(jì)算的解耦。

消息中間層在本架構(gòu)中具有承上啟下的作用，在Kafka消息總線的基礎(chǔ)上實(shí)現(xiàn)業(yè)務(wù)運(yùn)行框架。將一條業(yè)務(wù)數(shù)據(jù)流處理過(guò)程分解為啟動(dòng)和執(zhí)行兩部分，啟動(dòng)模塊是處理過(guò)程的起點(diǎn)，是消息總線上的第一條消息，執(zhí)行模塊監(jiān)聽(tīng)到該消息后分步驟并行處理業(yè)務(wù)程序代碼，將結(jié)果消息發(fā)送至總線。本文將啟動(dòng)和執(zhí)行模塊封裝為消息觸發(fā)器和業(yè)務(wù)執(zhí)行器。

根據(jù)應(yīng)用需求，本文設(shè)計(jì)了兩種消息觸發(fā)器：1）采集數(shù)據(jù)：根據(jù)業(yè)務(wù)配置開(kāi)始時(shí)間和間隔，輪詢向上游數(shù)據(jù)提出采集要求，采集完成后即刻發(fā)出指令，啟動(dòng)本次業(yè)務(wù)數(shù)據(jù)流處理過(guò)程；2）監(jiān)控?cái)?shù)據(jù)：根據(jù)業(yè)務(wù)配置目錄和文件（可多個(gè)），監(jiān)控?cái)?shù)據(jù)狀態(tài)，完整到達(dá)后即刻向消息總線發(fā)出消息，觸發(fā)執(zhí)行下一環(huán)節(jié)消息主題。

業(yè)務(wù)執(zhí)行器由消息收發(fā)、消息過(guò)濾和業(yè)務(wù)程序執(zhí)行代碼組成：1）消息收發(fā)：計(jì)算集群各節(jié)點(diǎn)監(jiān)聽(tīng)訂閱的主題消息，處理完成后，向消息總線發(fā)送本環(huán)節(jié)消息結(jié)果；2）消息過(guò)濾：過(guò)濾重復(fù)消息，防止反復(fù)觸發(fā)造成消息異常堆積；3）業(yè)務(wù)程序執(zhí)行代碼：分解數(shù)據(jù)流處理過(guò)程，封裝業(yè)務(wù)單元程序執(zhí)行代碼，由計(jì)算集群并行處理。

服務(wù)層是氣象服務(wù)數(shù)據(jù)加工流水線的窗口。配置服務(wù)為運(yùn)行框架提供集群、業(yè)務(wù)和消息等參數(shù)配置；日志服務(wù)記錄業(yè)務(wù)運(yùn)行狀態(tài)；監(jiān)控服務(wù)為運(yùn)維提供了可視化用戶界面。

3.2 關(guān)鍵技術(shù)

為解決數(shù)據(jù)處理時(shí)效性問(wèn)題，本文設(shè)計(jì)了一種基于Kafka消息總線的業(yè)務(wù)運(yùn)行框架，實(shí)現(xiàn)了氣象服務(wù)數(shù)據(jù)即時(shí)處理；為解決業(yè)務(wù)層與運(yùn)行框架間的數(shù)據(jù)交互問(wèn)題，制定了規(guī)范性xml消息配置，提供了統(tǒng)一的參數(shù)標(biāo)準(zhǔn)。

3.2.1 基于Kafka的消息驅(qū)動(dòng)

Kafka包括生產(chǎn)者、消費(fèi)者和代理者三個(gè)部分。生產(chǎn)者生產(chǎn)的消息被放在主題中，一個(gè)主題可以設(shè)置多個(gè)分區(qū)，推送消息給代理者，等待消費(fèi)者接收；消費(fèi)者在想要訂閱消息時(shí)，向代理者發(fā)出請(qǐng)求，告知其主題和分區(qū)值，主動(dòng)拉取消息（圖3）。數(shù)據(jù)流經(jīng)過(guò)解耦，運(yùn)行在消息總線上，經(jīng)多個(gè)計(jì)算集群即時(shí)執(zhí)行處理，迅速將加工數(shù)據(jù)分發(fā)出去。

圖3 消息發(fā)布/訂閱簡(jiǎn)圖Fig. 3 Message publish/subscribe

以Java代碼為例，介紹消息的生產(chǎn)者和消費(fèi)者。

1） 創(chuàng)建生產(chǎn)者

// 創(chuàng)建生產(chǎn)者屬性參數(shù)

Properties dps = new Properties();

//指定代理服務(wù)器

dps.put("metadata.broker.list",kafkahosts.toString()); //用該屬性參數(shù)創(chuàng)建生產(chǎn)者

Producer〈String, String〉 producer = new Producer〈String, String〉(new ProducerConf i g(MsgController.dps));

//生產(chǎn)者廣播發(fā)送topic/link消息至消息總線

producer.send(new KeyedMessage〈String, String〉(topic, new Date().getTime() + "" ,next-link-id));

2）創(chuàng)建消費(fèi)者

// 創(chuàng)建消費(fèi)者屬性參數(shù)

Properties cps = new Properties();

//指定消費(fèi)組

cps.put("group.id", group);

//消費(fèi)者zookeeper 配置

cps.put("zookeeper.connect", zookeeperhosts. toString());

//用消費(fèi)者屬性參數(shù)創(chuàng)建消費(fèi)者

ConsumerConnector consumer = kafka.consumer. Consumer.createJavaConsumerConnector(new ConsumerConf i g(cps));

3.2.2 消息配置格式

xml文件提供統(tǒng)一的方法來(lái)描述結(jié)構(gòu)化數(shù)據(jù)，通常作為異構(gòu)系統(tǒng)間數(shù)據(jù)交換的格式[6]。參數(shù)配置采用xml文件描述，一個(gè)業(yè)務(wù)對(duì)應(yīng)配置一個(gè)xml文件，設(shè)計(jì)xml文件命名規(guī)則為業(yè)務(wù)種類（2位數(shù)字）+業(yè)務(wù)序列（5位數(shù)字）.xml，例如：1010001.xml。

消息配置內(nèi)容由三部分組成：

1）service：業(yè)務(wù)基本信息。name：業(yè)務(wù)名稱；type分兩類：采集（collection）和監(jiān)控（notify），與消息觸發(fā)器類型對(duì)應(yīng)。

2）type描述：分為采集和監(jiān)控標(biāo)簽，為消息觸發(fā)器提供所需參數(shù)信息。①采集標(biāo)簽：description：描述采集業(yè)務(wù)詳情；start-time：開(kāi)始時(shí)間；period：時(shí)間間隔。②監(jiān)控標(biāo)簽：description：描述監(jiān)控業(yè)務(wù)詳情；path：要監(jiān)控的文件目錄；f i les：監(jiān)控的數(shù)據(jù)源文件。

3）link：主題參數(shù)。id：標(biāo)識(shí)主題單元號(hào)，由業(yè)務(wù)種類（2位數(shù)字）+業(yè)務(wù)序列（5位數(shù)字）+環(huán)節(jié)號(hào)（3位數(shù)字）共10位數(shù)字組成；description：描述該環(huán)節(jié)主要操作內(nèi)容；order：描述主題執(zhí)行命令代碼；next-link：指定下一topic/link對(duì)。

3.3 業(yè)務(wù)應(yīng)用

實(shí)時(shí)天氣預(yù)報(bào)是網(wǎng)站和移動(dòng)終端用戶的重點(diǎn)選擇氣象服務(wù)，具有廣泛的用戶群體和極大的需求。本節(jié)以雷達(dá)分鐘級(jí)降水系統(tǒng)（PM-MQPF）數(shù)據(jù)為例，闡述業(yè)務(wù)數(shù)據(jù)流實(shí)際應(yīng)用。分鐘級(jí)降水?dāng)?shù)據(jù)來(lái)源于214部雷達(dá)站逐6分鐘實(shí)時(shí)觀測(cè)產(chǎn)生的基數(shù)據(jù)，經(jīng)過(guò)計(jì)算處理，形成臨近降水預(yù)報(bào)服務(wù)產(chǎn)品。在現(xiàn)有讀取基數(shù)據(jù)、前處理、主處理、拼圖4個(gè)處理程序基礎(chǔ)上，通過(guò)Kafka消息驅(qū)動(dòng)機(jī)制進(jìn)一步將這四部分分解剝離，形成獨(dú)立單元流水線作業(yè)模式，通過(guò)單元返回值觸發(fā)后續(xù)單元主題。將在整個(gè)數(shù)據(jù)計(jì)算加工過(guò)程中耗時(shí)較長(zhǎng)的前處理部分，運(yùn)用計(jì)算集群并行處理，以提高計(jì)算效率。

1）分解PM-MQPF數(shù)據(jù)處理過(guò)程。封裝為基數(shù)據(jù)、前處理、主處理和拼圖四個(gè)部分，為每部分增加返回值。

2）配置PM-MQPF數(shù)據(jù)消息參數(shù)。為監(jiān)控指定目錄和文件，為業(yè)務(wù)環(huán)節(jié)分配主題，T1（前處理），T2（主處理），T3（拼圖）。

3）消息總線監(jiān)聽(tīng)文件，有文件到達(dá)即發(fā)送消息。

4）計(jì)算集群監(jiān)聽(tīng)消息，即時(shí)處理主題。T1分布式并行對(duì)每個(gè)數(shù)據(jù)文件進(jìn)行前處理；T2統(tǒng)計(jì)每6分鐘前處理完成的情況，處理量完成80%以后發(fā)送消息啟動(dòng)主處理，主處理完成之后再發(fā)送消息；觸發(fā)T3加工生成拼圖，完成后通知下游環(huán)節(jié)進(jìn)行產(chǎn)品分發(fā)。

PM-MQPF分鐘級(jí)降水?dāng)?shù)據(jù)流水線采用消息機(jī)制和計(jì)算集群，分解封裝處理單元，降低了各處單元的耦合度，提高了系統(tǒng)運(yùn)行效率。因此，氣象信息總線的應(yīng)用不僅降低了系統(tǒng)開(kāi)發(fā)和運(yùn)行成本，也提高了業(yè)務(wù)應(yīng)用的實(shí)時(shí)性，同時(shí)為后續(xù)拓展應(yīng)用服務(wù)提供了空間。

4 結(jié)束語(yǔ)

基于消息的氣象服務(wù)數(shù)據(jù)加工流水線降低了業(yè)務(wù)耦合度，優(yōu)化了氣象數(shù)據(jù)流程，為進(jìn)一步實(shí)現(xiàn)氣象數(shù)據(jù)實(shí)時(shí)同步、提高數(shù)據(jù)流時(shí)效性奠定了必要基礎(chǔ)。當(dāng)前，系統(tǒng)在功能、性能和穩(wěn)定性方面都有優(yōu)異的表現(xiàn)，不但能夠滿足下游各氣象業(yè)務(wù)的實(shí)際需求，同時(shí)為業(yè)務(wù)拓展提供了空間。在后續(xù)的研究計(jì)劃中，計(jì)算集群的高并發(fā)、負(fù)載均衡等問(wèn)題將被進(jìn)一步探索。

[1]錢(qián)崢, 胡亞旦, 黃旋旋. 基于“消息中間件”技術(shù)的氣象信息總線. 氣象科技, 2016, 44(2): 217-222.

[2]韓笑, 王力, 王吉濱, 等. 一種地市級(jí)氣象數(shù)據(jù)庫(kù)的設(shè)計(jì)與應(yīng)用. 氣象科技, 2015, 43(6): 1053-1059.

[3]胡英楣, 沈文海, 宋之光. 多進(jìn)程并發(fā)在國(guó)內(nèi)氣象通信系統(tǒng)的應(yīng)用. 應(yīng)用氣象學(xué)報(bào), 2007, 18(6): 877-884.

[4]王甫棣, 林潤(rùn)生, 胡英楣. 基于Web服務(wù)的氣象數(shù)據(jù)服務(wù). 計(jì)算機(jī)工程, 2009, 35(8): 280-282.

[5]王力, 韓笑, 劉培寧, 等. 基于MQ的氣象數(shù)據(jù)采集與監(jiān)控系統(tǒng)設(shè)計(jì). 氣象科技, 2015, 43(3): 451-457.

[6]曹衛(wèi). XML技術(shù)在氣象信息發(fā)布系統(tǒng)中的應(yīng)用. 福建電腦, 2009, 25(4): 110-111.

Design and Application of Message-Driven Data Processing Flow in Meteorological Service

Song Yingying, Li Yanpeng, Chen Zhengting, Ling Bai, Feng Yuxing, Cao Yuzhao
(Public Meteorological Service Center of China Meteorological Administration, Beijing 100081)

Based on the analysis of public meteorological service data fl ow, this paper proposes a message-driven data processing technology in the meteorological service to improve the timeliness of meteorological data services and the uniformity of data resources. The key technologies, such as message middleware, system architecture, interactive fi le standard, are introduced here. An example of PM-MQPF data is described in detail to express the advantages of data fl ow, which was driven by messages in meteorological data services system.

meteorological data, message-oriented middleware, interactive fi le standard, system design

10.3969/j.issn.2095-1973.2016.06.008

2016年9月21日；

2016年11月25日

宋瑛瑛（1983—），Email：syy0822@126.com

資助信息：中國(guó)氣象局公共氣象服務(wù)中心業(yè)務(wù)基金項(xiàng)目（K2016006）