張少鋒
摘要:“9210”工程建成后,河南省氣象信息中心通過DVBS衛(wèi)星數(shù)據(jù)接收系統(tǒng)接收各種氣象原始資料,由MICAPS處理程序處理為各類氣象資料供氣象臺(tái)預(yù)報(bào)員調(diào)閱使用。伴隨著現(xiàn)代生活水平的提高以及氣象事業(yè)的迅速發(fā)展,公眾對(duì)氣象預(yù)報(bào)產(chǎn)品的時(shí)效和精細(xì)化都提出了更高的要求。因此氣象臺(tái)預(yù)報(bào)員對(duì)預(yù)報(bào)所需要的資料也提出了更高的要求。河南省信息中心將通過DVBS衛(wèi)星數(shù)據(jù)系統(tǒng)接收到的原始資料進(jìn)行處理已經(jīng)不能滿足預(yù)報(bào)員的需求。河南省氣象信息中心通過CMACAST衛(wèi)星數(shù)據(jù)廣播系統(tǒng)接收各種氣象資料,每天接收到的資料有三十八類,多達(dá)100多G。海量的氣象資料需要高性能的處理系統(tǒng)將其處理為氣象產(chǎn)品,供預(yù)報(bào)員調(diào)閱。CMACAST數(shù)據(jù)處理系統(tǒng)將接收到的氣象資料推入隊(duì)列中依次進(jìn)行處理為MICAPS資料,供氣象臺(tái)預(yù)報(bào)員調(diào)閱。CMACAST數(shù)據(jù)處理系統(tǒng)由5個(gè)功能模塊組成,分別為服務(wù)器環(huán)境配置模塊,數(shù)據(jù)處理模塊,數(shù)據(jù)監(jiān)控模塊,數(shù)據(jù)備份模塊,數(shù)據(jù)還原模塊。這些模塊為維護(hù)人員監(jiān)控各類資料的處理情況和維護(hù)CMACAST數(shù)據(jù)處理系統(tǒng)提供了重要的技術(shù)支持,降低了維護(hù)的難度和復(fù)雜度。采用XML作為數(shù)據(jù)接口文件,使CMACAST數(shù)據(jù)處理系統(tǒng)具有較強(qiáng)的可擴(kuò)展性。目前CMACAST數(shù)據(jù)處理系統(tǒng)已經(jīng)成為為氣象臺(tái)提供資料服務(wù)的重要平臺(tái)。
關(guān)鍵詞:CMACAST;衛(wèi)星數(shù)據(jù)廣播系統(tǒng);數(shù)據(jù)處理系統(tǒng);XML
中圖分類號(hào):TP311 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1009-3044(2014)16-3701-03
Abstract: After the completion of the “9210”project,Henan Provincial Meteorological Information Center receives all kinds of meteorological data by DVBS satellite data broadcasting system and processes into MICAPS data for forecaster accessing in Henan meteorological bureau.Witj modern living standards improving and the rapid development of the meteorological cause,the public has put forward higher requirements on ageing and fine meteorological forecast products.Therefore meteorological forecasters put forward higher requirements on needing forecast information..Henan Provincial Meteorological Information Center processing data reveiving through the DVBS satellite data broadcasting system has been unable to meet the needs of the forecasters.Henan Provincial Meteorological Information Center receives various kinds of meteorological data through the CMACAST satellite data broadcasting system, receiving daily data of thirty-eight categories, more than 100 G. Massive meteorological data needs high performance system processing into weather products accesed for forecasters.CMACAST data processing system is composed of 5 modules and respectively is the server configuration module, data processing module, data monitoring module, data backup module and data reduction module.These models provide an important technical support for monitor and maintain the CMACAST data processing system and reduce the maintenance difficulty and complexity.XML is data interface of CMACAST data processing system,and makes the system having highly scalability. CMACAST data processing system is an improtant supproting technology of data service for Henan meteorological bureau.
Key words: CMACAST; satellite data broadcasting system; data processing system; XML
自“9210”工程建成后,河南省氣象信息中心通過DVBS衛(wèi)星數(shù)據(jù)接收系統(tǒng)接收各種氣象原始資料,由MICAPS處理程序處理為各類氣象資料供氣象臺(tái)預(yù)報(bào)員調(diào)閱使用。
伴隨著現(xiàn)代生活水平的提高以及氣象事業(yè)的迅速發(fā)展,公眾對(duì)氣象預(yù)報(bào)產(chǎn)品的時(shí)效和精細(xì)化都提出了更高的要求。因此氣象臺(tái)預(yù)報(bào)員對(duì)預(yù)報(bào)所需要的資料也提出了更高的要求。河南省信息中心將通過DVBS衛(wèi)星數(shù)據(jù)系統(tǒng)接收到的原始資料進(jìn)行處理已經(jīng)不能滿足預(yù)報(bào)員的需求。
目前,河南省氣象信息中心通過CMACAST衛(wèi)星數(shù)據(jù)廣播系統(tǒng)接收各類實(shí)時(shí)氣象資料包括警報(bào)和預(yù)警信息,常規(guī)觀測資料,國內(nèi)自定義格式觀測資料,數(shù)值預(yù)報(bào)產(chǎn)品,天氣雷達(dá)資料,衛(wèi)星資料和預(yù)報(bào)服務(wù)產(chǎn)品。每天接收到的資料有三十八類,多達(dá)一百多G。氣象信息中心接收到實(shí)時(shí)資料需要經(jīng)過CMACAST數(shù)據(jù)處理系統(tǒng)處理,轉(zhuǎn)換為MICAPS格式的預(yù)報(bào)產(chǎn)品,才能為氣象臺(tái)的預(yù)報(bào)員所使用。高頻度地處理大量的原始資料,以及原始資料的種類也會(huì)隨時(shí)增加,對(duì)處理系統(tǒng)提出了高效、容錯(cuò)程度高以及可擴(kuò)展性強(qiáng)的要求。
1 系統(tǒng)流程
Cmacast系統(tǒng)接收機(jī)10.69.72.46通過衛(wèi)星廣播接收軟件從衛(wèi)星接收機(jī)192.168.0.1 上按照通道分類接收各種實(shí)時(shí)氣象資料,并將接收到的資料存放到新一代通信系統(tǒng)的磁盤陣列上。
位于新一代通信系統(tǒng)的磁盤陣列上的/bezz/workdir/etc/目錄下的分發(fā)定義文件DIR_CONFIG.2定義了如何將新一代通信系統(tǒng)磁盤陣列上的文件分發(fā)到存儲(chǔ)原始資料的服務(wù)器172.18.152.9上。下面以MSG常規(guī)資料為例,介紹DIR_CONFIG.2如何定義從新一代通信系統(tǒng)的磁盤陣列上的文件分發(fā)到存儲(chǔ)原始資料的服務(wù)器172.18.152.9上。
[directory] DVBL0
/bezz/workdir/incoming/cmacast/L0 #存放到新一代通信系統(tǒng)的磁盤陣列L0目錄下的的文件
[dir options]
do not backup files #分發(fā)完L0目錄下的文件,立即刪除
[files]
MSG__* #查找以MSG__開頭的文件
[recipient]
ftp://data:wlzx@MICA:21/data/bezz/dmsg #以ftp方式分發(fā)到存儲(chǔ)原始資料的服務(wù)器/data/bezz/dmsg目錄下,其中存儲(chǔ)原始資料服務(wù)器主機(jī)名稱為MICA
主機(jī)參數(shù)定義文件HOST_CONFIG定義了存儲(chǔ)原始資料的服務(wù)器172.18.152.9的主機(jī)
名稱為MICA。
新一代國內(nèi)通信系統(tǒng)的mms_parallel和mms_ha服務(wù)根據(jù)配置文件DIR_CONFIG.2和HOST_CONFIG,實(shí)現(xiàn)了原始資料從新一代通信系統(tǒng)的磁盤陣列上到存儲(chǔ)原始資料服務(wù)器的分發(fā)。
CMACAST數(shù)據(jù)處理系統(tǒng)讀取存儲(chǔ)原始資料服務(wù)器172.18.152.9下/home/micaps/data目錄下的原始資料,進(jìn)行處理,處理完的資料為MICAPS格式,存儲(chǔ)到MICAPS服務(wù)器172.18.152.3上,供氣象臺(tái)預(yù)報(bào)員調(diào)閱。
2 系統(tǒng)主要功能
CMACAST數(shù)據(jù)處理系統(tǒng)由五個(gè)功能模塊組成,分別為:服務(wù)器環(huán)境配置模塊,數(shù)據(jù)處理模塊,數(shù)據(jù)監(jiān)控模塊,數(shù)據(jù)備份模塊,數(shù)據(jù)還原模塊。
2.1 服務(wù)器環(huán)境配置模塊
服務(wù)器環(huán)境配置模塊為用戶提供了以FTP方式或者虛盤方式獲得原始數(shù)據(jù),處理后的各類資料在服務(wù)器中的存放路徑,處理的時(shí)間段和處理所需要的程序等。維護(hù)人員可以根據(jù)需要增加處理資料的種類或者刪除處理資料的種類。這使得CMACAST數(shù)據(jù)處理系統(tǒng)具有很好的擴(kuò)展性。
2.2 數(shù)據(jù)處理模塊
數(shù)據(jù)處理模塊根據(jù)處理服務(wù)器的時(shí)間,將處理時(shí)間段位于該時(shí)間點(diǎn)內(nèi)的數(shù)據(jù)推入數(shù)據(jù)隊(duì)列中,根據(jù)每類產(chǎn)品的配置信息,調(diào)用處理程序進(jìn)行處理。
2.3 數(shù)據(jù)備份模塊
數(shù)據(jù)備份模塊能夠備份原始數(shù)據(jù)和產(chǎn)品數(shù)據(jù);維護(hù)人員可以自行選擇需要備份原始數(shù)據(jù)還是產(chǎn)品,備份數(shù)據(jù)的時(shí)間和存放備份數(shù)據(jù)的物理位置,進(jìn)行備份。
2.4 數(shù)據(jù)還原模塊
數(shù)據(jù)還原模塊可以從存儲(chǔ)原始資料的服務(wù)器上獲取數(shù)據(jù)進(jìn)行數(shù)據(jù)恢復(fù),或者從產(chǎn)品的備份數(shù)據(jù)中進(jìn)行恢復(fù);維護(hù)人員可以選擇是從存儲(chǔ)原始資料的服務(wù)器還是從產(chǎn)品備份數(shù)據(jù)進(jìn)行恢復(fù),然后設(shè)置起始恢復(fù)點(diǎn)和恢復(fù)時(shí)長,以便程序恢復(fù)指定時(shí)間的數(shù)據(jù),默認(rèn)為24小時(shí)。該功能使維護(hù)人員不用補(bǔ)調(diào)歷史原始資料,迅速處理歷史資料,生成歷史產(chǎn)品。該功能降低了維護(hù)的復(fù)雜度,使手工處理變得簡單可行。
2.5 數(shù)據(jù)監(jiān)控模塊
數(shù)據(jù)監(jiān)控模塊主要用來監(jiān)視產(chǎn)品的生成情況,數(shù)據(jù)服務(wù)器接收原始數(shù)據(jù)的情況,以及監(jiān)視數(shù)據(jù)接口進(jìn)程的執(zhí)行情況,這使維護(hù)人員能夠迅速定位沒有處理出來的產(chǎn)品是由于原始數(shù)據(jù)缺失還是處理程序處理失敗。該功能使得維護(hù)人員能夠快速定位處理產(chǎn)品失敗的原因,便于維護(hù)人員迅速解決問題。
3 關(guān)鍵技術(shù)的應(yīng)用
CMACAST數(shù)據(jù)處理系統(tǒng)處理的資料有三十多類,處理的頻率也很密集,這對(duì)處理系統(tǒng)提出了很高的要求,也綜合應(yīng)用了一些關(guān)鍵技術(shù)。
3.1 XML的應(yīng)用
與以前的DVBS數(shù)據(jù)處理系統(tǒng)相比,CMACAST數(shù)據(jù)處理系統(tǒng)具有很強(qiáng)的擴(kuò)展性。這主要是由于采用了XML技術(shù)。XML作為CMACAST數(shù)據(jù)處理系統(tǒng)的數(shù)據(jù)接口文件,用于描述和保存各種原始資料的配置信息。CMACAST數(shù)據(jù)處理系統(tǒng)將所有需要處理的數(shù)據(jù)推入隊(duì)列,讀取各類資料的XML,調(diào)用進(jìn)行處理。
以新長Z自動(dòng)站文件為例,
#指定了處理間隔
#指定了新長Z自動(dòng)站文件文件名
#指定了新長Z自動(dòng)站文件處理后存儲(chǔ)路徑
#指定了處理新長Z自動(dòng)站文件的程序位于datatran目錄下以及程序名稱
讀取配置文件的C# 代碼如下:
XmlDocument Xdoc = new XmlDocument( ) ;
Xdoc. Load ( Applicat ion. StartupPath + “path. Xml”) ;
XmlNodeReader reader = new XmlNodeReader( Xdoc) ;
XmlNode No1 = Xdoc. DocumentElement. SelectSingleNode(“數(shù)據(jù)保存目錄”) ;
Datapath = No1. InnerText;
XmlNode No2 = Xdoc. DocumentElement. SelectSingleNode(“網(wǎng)絡(luò)數(shù)據(jù)目錄”) ;
Netpath = No2. InnerText ;
隨著氣象業(yè)務(wù)的發(fā)展,CMACAST廣播系統(tǒng)接收的資料也不斷增加,已經(jīng)增加的有風(fēng)廓線雷達(dá)資料以及六要素區(qū)域站資料。XML的應(yīng)用使得CMACAST數(shù)據(jù)處理系統(tǒng)具有很好的擴(kuò)展性。
3.2 批處理程序的應(yīng)用
對(duì)處理程序而言,某一類氣象資料的接收具有重復(fù)性,因此處理該類資料也是一項(xiàng)重復(fù)性的任務(wù)。批處理程序是將一些可執(zhí)行程序集合在一個(gè)文件中,供處理程序調(diào)取。批處理程序的優(yōu)勢(shì)就在于處理日常任務(wù)和重復(fù)性的任務(wù)。CMACAST數(shù)據(jù)處理系統(tǒng)通過調(diào)用批處理程序處理資料。
以新長Z自動(dòng)站文件為例,
cf %1 1 #cf為可執(zhí)行程序,位于工作目錄下;進(jìn)入存放新長Z自動(dòng)站原始文件的目錄
LongAwsMessageParser.exe longAwsMessageProcinfo.xml %1 %2 %3 -20
#在整點(diǎn)后20分用LongAwsMessageParser.exe 處理新長Z文件,其中%2表示處理后產(chǎn)品的存放路徑,%3表示產(chǎn)品備份路徑 。其中l(wèi)ongAwsMessageProcinfo.xml定義了產(chǎn)品的文件名,文件格式等 。
例如,以新長Z處理后生成的UV要素為例 :
4 結(jié)束語
由于XML具有規(guī)范而簡單的格式,并有較強(qiáng)的可讀性, 現(xiàn)已成為通用的數(shù)據(jù)接口文件,并為后加的風(fēng)廓線雷達(dá),六要素等資料的接入提供了很大方便,具有較強(qiáng)的擴(kuò)展性。這也是CMACAST數(shù)據(jù)處理系統(tǒng)的最大優(yōu)勢(shì)。同時(shí),CMACAST數(shù)據(jù)系統(tǒng)的數(shù)據(jù)監(jiān)控模塊和數(shù)據(jù)還原模塊為維護(hù)人員快速定位數(shù)據(jù)處理失敗的原因和處理數(shù)據(jù)提供了重要的基礎(chǔ)支撐。
CMACAST數(shù)據(jù)處理系統(tǒng)從2013年1月試運(yùn)行,到2013年5月正式運(yùn)行,在2013年汛期發(fā)揮了重要作用,成為為氣象臺(tái)提供資料服務(wù)的不可缺少的重要平臺(tái)。
參考文獻(xiàn):
[1] 王敏.河南省新一代國內(nèi)氣象信息系統(tǒng)的本地化應(yīng)用分析[J].氣象與環(huán)境科學(xué),2013,36(3):69-74.
[2] 李湘.氣象通信系統(tǒng)發(fā)展與展望[J].氣象,2010,36(7):56-61.
[3] 王春芳,李湘,陳永濤,等.中國氣象局衛(wèi)星廣播系統(tǒng)(CMACast)設(shè)計(jì)[J].氣象,2012,23(1):113-120.
[4] 劉然,蔣克儉,胡英楣,等.中國氣象局衛(wèi)星廣播系統(tǒng)(CMACAST)主站播發(fā)平臺(tái)的設(shè)計(jì)[J].應(yīng)用氣象學(xué)報(bào),2012,23(1):113-120.
[5] 謝國雄,梁心雄,葉維端,等.CMACast與DVNS系統(tǒng)的對(duì)比分析[J].電腦知識(shí)與技術(shù),2013,16:3692-3695
[6] 李滿霜,任曉煒.PCVASAT單收站系統(tǒng)的應(yīng)用[J].廣西氣象,2000,21(3):47-50.
[7] 胡英沒,沈文海,宋之光.多進(jìn)程并發(fā)在國內(nèi)通信系統(tǒng)中的應(yīng)用[J].應(yīng)用氣象學(xué)報(bào),2007,18(6):877-884.
[8] 肖文明,楊根錄.氣象信息傳輸業(yè)務(wù)流程優(yōu)化的初步分析[J].應(yīng)用氣象學(xué)報(bào),2009,20(4):497-503.
[9] 李集明,沈文海,王國復(fù).氣象新息共享平臺(tái)及其關(guān)鍵技術(shù)研究[J].應(yīng)用氣象學(xué)報(bào),2006,17(5):621-628.
[10] 于連慶,胡爭光.MICAPS中天氣圖交互制作子系統(tǒng)[J].應(yīng)用氣象學(xué)報(bào),2011,22(3):375-384.
[11] 潘新民,王全周,崔炳儉,等.CINRAD-SA/SB型新一代天氣雷達(dá)快速定位方法[J].氣象與環(huán)境科學(xué),2013,36(1):71-75.
[12] 王芬,李腹廣,李赟.新一代多普勒天氣雷達(dá)CINRAD/CD產(chǎn)品數(shù)據(jù)缺乏原因分析[J].氣象與環(huán)境科學(xué),2010,33(4):84-88.
[13] 魏延濤,王祖漢,徐遠(yuǎn)遠(yuǎn),等.河南省氣象技術(shù)裝備監(jiān)控管理系統(tǒng)[J].氣象與環(huán)境科學(xué),2011,34(1):79-83.