余朋 陳甫
摘要:該文通過(guò)對(duì)民航氣象資料管理的業(yè)務(wù)現(xiàn)狀進(jìn)行分析,提出了建立民航氣象資料存儲(chǔ)與管理系統(tǒng)的構(gòu)想。并對(duì)系統(tǒng)的數(shù)據(jù)處理流程、邏輯結(jié)構(gòu)、物理結(jié)構(gòu)、硬件組成和軟件功能模塊進(jìn)行了詳細(xì)設(shè)計(jì)與研究。
關(guān)鍵詞:氣象;存儲(chǔ);數(shù)據(jù)流;結(jié)構(gòu);系統(tǒng)
中圖分類(lèi)號(hào):TP311文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):1009-3044(2012)23-5556-05
The Design of Aviation Weather Data Storage and Management System
YU Peng,CHEN Fu
(Southwest Regional Air Traffic Management Bureau.CAAC, Chendu 610202 ,China)
Abstract:Through analyzing the situation of metrological material management system for civil aviation, the idea of establishing a storage and management system for metrological material of civil aviation is put forward in this article. In addition,the flow of data processing, logi? cal structure, physical structure, hardware composition and software module is designed and studied.
Key words: meteorology; storage; data stream; structure; system
天氣是影響航班正點(diǎn)率的重要因素,風(fēng)、云、有效能見(jiàn)度等氣象要素是機(jī)場(chǎng)最低運(yùn)行標(biāo)準(zhǔn)的重要內(nèi)容,而人類(lèi)航空史上因天氣原因造成的飛行事故以及備降等事件不勝枚舉。伴隨著我國(guó)航空事業(yè)的飛速發(fā)展,航空氣象用戶(hù)對(duì)氣象服務(wù)的范圍和水平提出了越來(lái)越高的要求,航空氣象數(shù)據(jù)的種類(lèi)和信息量也因此與日俱增,資料使用方式和手段越來(lái)越先進(jìn),基于歷史氣象資料對(duì)氣象變化規(guī)律進(jìn)行總結(jié)、分析和研究,對(duì)于提高氣象數(shù)據(jù)應(yīng)用水平,更好地提供航空氣象服務(wù)具有舉足輕重的作用,氣象資料已成為航空氣象業(yè)務(wù)與服務(wù)一刻也離不開(kāi)的重要部分。
1業(yè)務(wù)現(xiàn)狀與需求分析
成都?xì)庀笾行淖鳛槲髂系貐^(qū)主要的氣象服務(wù)單位,下屬預(yù)報(bào)、觀測(cè)、氣象設(shè)備、氣象數(shù)據(jù)庫(kù)、業(yè)務(wù)辦等多個(gè)部門(mén),在尚未建成氣象資料存儲(chǔ)系統(tǒng)的狀況下,成都?xì)庀笾行闹饕蓺庀髷?shù)據(jù)庫(kù)、預(yù)報(bào)等部門(mén)采用手工數(shù)據(jù)收集、光盤(pán)的方式進(jìn)行氣象資料的存儲(chǔ),無(wú)固定的資料存儲(chǔ)場(chǎng)地、數(shù)據(jù)存儲(chǔ)方式較多,對(duì)數(shù)據(jù)進(jìn)行加工和利用的效率很低。
1.1航空氣象資料數(shù)據(jù)來(lái)源分析
目前西南空管局氣象中心需要納入“航空氣象資料存儲(chǔ)系統(tǒng)”的數(shù)據(jù)主要有以下兩類(lèi):(1)長(zhǎng)期工作中累計(jì)的各種紙質(zhì)檔案資料;(2)工作中產(chǎn)生并需要保存的電子檔案資料;
1.2航空氣象資料的管理存儲(chǔ)方式
系統(tǒng)依據(jù)以下規(guī)則實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)管理:
(1)西南空管局氣象中心現(xiàn)保存的各類(lèi)紙質(zhì)資料及電子化資料全部納入航空氣象資料數(shù)據(jù)庫(kù)管理;
(2)機(jī)場(chǎng)地面氣象自動(dòng)觀測(cè)數(shù)據(jù)、常規(guī)天氣報(bào)等資料循環(huán)滾動(dòng)保存,數(shù)據(jù)在線保存時(shí)間不少于30年(≧30年),在線保存的同時(shí)自動(dòng)備份至離線存儲(chǔ)設(shè)備;
(3)多媒體、衛(wèi)星云圖、雷達(dá)回波等圖形、圖像等數(shù)據(jù)占用空間較大且使用頻度相對(duì)較小的資料,數(shù)據(jù)存儲(chǔ)年限不超過(guò)兩年,即:該類(lèi)數(shù)據(jù)2年內(nèi)在線存儲(chǔ),同時(shí)做離線備份,2年以上數(shù)據(jù)只進(jìn)行離線存儲(chǔ);
(4)文檔、學(xué)術(shù)資料等占用空間相對(duì)較小且使用頻率較高的資料,5年內(nèi)的采用在線存儲(chǔ),同時(shí)做離線備份,5年以上的采用離線存儲(chǔ)。
(5)系統(tǒng)支持用戶(hù)對(duì)存儲(chǔ)策略進(jìn)行動(dòng)態(tài)調(diào)整和設(shè)置;
1.3數(shù)據(jù)處理流程分析
航空氣象資料存儲(chǔ)系統(tǒng)是一個(gè)面向歷史、非事務(wù)的數(shù)據(jù)管理系統(tǒng)。系統(tǒng)數(shù)據(jù)主要來(lái)源于已經(jīng)歸檔的氣象歷史資料以及當(dāng)前氣象業(yè)務(wù)系統(tǒng)產(chǎn)生的氣象數(shù)據(jù)。氣象資料存儲(chǔ)系統(tǒng)按照以下步驟進(jìn)行數(shù)據(jù)處理:
(1)數(shù)據(jù)抽取:根據(jù)數(shù)據(jù)一致性的原則,將非結(jié)構(gòu)化的數(shù)據(jù)抽取為結(jié)構(gòu)化的數(shù)據(jù),實(shí)現(xiàn)從紙質(zhì)資料、電子表格以及各氣象業(yè)務(wù)子系統(tǒng)中采集相關(guān)數(shù)據(jù)資源;
(2)數(shù)據(jù)清洗:過(guò)濾那些不符合要求的數(shù)據(jù)。不符合要求的數(shù)據(jù)主要是指不完整數(shù)據(jù)、錯(cuò)誤數(shù)據(jù)以及重復(fù)數(shù)據(jù)。
(3)數(shù)據(jù)轉(zhuǎn)換:根據(jù)數(shù)據(jù)一致性的原則,將相同類(lèi)型不同表述的數(shù)據(jù)轉(zhuǎn)換為一致性數(shù)據(jù);同時(shí)根據(jù)數(shù)據(jù)的粒度要求對(duì)相同類(lèi)型數(shù)據(jù)進(jìn)行聚合;
(4)數(shù)據(jù)存儲(chǔ):將轉(zhuǎn)換后的數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)庫(kù);
(5)數(shù)據(jù)應(yīng)用:面向各類(lèi)氣象數(shù)據(jù)用戶(hù)和系統(tǒng)管理管理維護(hù)人員,提供B/S應(yīng)用訪問(wèn)方式,將存儲(chǔ)在數(shù)據(jù)庫(kù)中的數(shù)據(jù),多樣化的展示給用戶(hù),滿(mǎn)足用戶(hù)數(shù)據(jù)訪問(wèn)要求;
(6)數(shù)據(jù)管理:按照用戶(hù)對(duì)數(shù)據(jù)的管理要求,實(shí)現(xiàn)數(shù)據(jù)的自動(dòng)或手動(dòng)轉(zhuǎn)儲(chǔ),確保在線數(shù)據(jù)存儲(chǔ)規(guī)模不超過(guò)系統(tǒng)存儲(chǔ)設(shè)備的存儲(chǔ)容量。
系統(tǒng)的數(shù)據(jù)處理流程如圖1示。
2系統(tǒng)總體設(shè)計(jì)
2.1系統(tǒng)總體架構(gòu)
2.1.1系統(tǒng)邏輯結(jié)構(gòu)
系統(tǒng)采用B/S/S和C/S相結(jié)合的架構(gòu)。其中數(shù)據(jù)采集子系統(tǒng)、數(shù)據(jù)歸檔處理子系統(tǒng)以及數(shù)據(jù)備份與恢復(fù)子系統(tǒng)主要實(shí)現(xiàn)數(shù)據(jù)的收集和數(shù)據(jù)維護(hù)管理工作,工作過(guò)程無(wú)需工作人員干預(yù),是獨(dú)立于用戶(hù)的后臺(tái)數(shù)據(jù)服務(wù)程序,同時(shí)上述三個(gè)系統(tǒng)均需要頻繁的訪問(wèn)服務(wù)器,從效率以及系統(tǒng)穩(wěn)定性角度考慮,上述三個(gè)子系統(tǒng)采用C/S架構(gòu)實(shí)現(xiàn)。氣象資料查詢(xún)與統(tǒng)計(jì)子系統(tǒng)直接為用戶(hù)提供數(shù)據(jù)訪問(wèn)和應(yīng)用服務(wù)支持,是用戶(hù)使用和管理數(shù)據(jù)的接口支撐;系統(tǒng)監(jiān)控和數(shù)據(jù)維護(hù)子系統(tǒng)面向系統(tǒng)的管理維護(hù)人員:報(bào)告系統(tǒng)整體應(yīng)用狀態(tài),是實(shí)現(xiàn)系統(tǒng)用戶(hù)定義及其權(quán)限管理以及維護(hù)系統(tǒng)的正常運(yùn)行的人機(jī)交互接口。為方便用戶(hù)操作,提高系統(tǒng)的可維護(hù)性,上述兩子系統(tǒng)采用B/S/S多層架構(gòu)實(shí)現(xiàn)。
系統(tǒng)結(jié)構(gòu)層次如圖2示意。
圖2系統(tǒng)結(jié)構(gòu)層次
2.1.2系統(tǒng)物理結(jié)構(gòu)
系統(tǒng)主干網(wǎng)絡(luò)依托西南空管局成都?xì)庀笾行臍庀髽I(yè)務(wù)網(wǎng)建成,針對(duì)統(tǒng)一存儲(chǔ)服務(wù)器、磁帶庫(kù)以及存儲(chǔ)管理服務(wù)器等系統(tǒng)主要數(shù)據(jù)存儲(chǔ)和管理設(shè)備建設(shè)SAN網(wǎng)絡(luò),實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)區(qū)域網(wǎng)絡(luò)。系統(tǒng)物理結(jié)構(gòu)如圖示意:
圖3系統(tǒng)物理結(jié)構(gòu)
系統(tǒng)用戶(hù)遍布?xì)庀笾行母鱾€(gè)科室。系統(tǒng)為預(yù)報(bào)員以及觀測(cè)員等專(zhuān)業(yè)氣象工作者提供數(shù)據(jù)查詢(xún)、反衍和下載服務(wù);滿(mǎn)足數(shù)據(jù)庫(kù)管理員對(duì)系統(tǒng)進(jìn)行數(shù)據(jù)備份、恢復(fù)等數(shù)據(jù)管理的應(yīng)用需求,同時(shí)為系統(tǒng)維護(hù)人員提供系統(tǒng)運(yùn)行狀態(tài)監(jiān)控,保障系統(tǒng)正常運(yùn)行。
2.2數(shù)據(jù)庫(kù)的選擇
由于Oracle數(shù)據(jù)庫(kù)系統(tǒng)具有穩(wěn)定可靠、開(kāi)發(fā)工具豐富等優(yōu)點(diǎn),我們選取oracle 10G作為航空氣象資料存儲(chǔ)系統(tǒng)的數(shù)據(jù)庫(kù)管理軟件。
2.3硬件組成
航空氣象資料存儲(chǔ)系統(tǒng)計(jì)劃采用統(tǒng)一存儲(chǔ)結(jié)構(gòu),該結(jié)構(gòu)具有性能卓越、擴(kuò)展靈活、成本控制有效、存儲(chǔ)架構(gòu)復(fù)雜性相對(duì)較低、管理簡(jiǎn)單等特點(diǎn)。使用統(tǒng)一存儲(chǔ)架構(gòu),可方便實(shí)現(xiàn)多系統(tǒng)資源共享、有效利用存儲(chǔ)資源、降低總擁有成本、增強(qiáng)數(shù)據(jù)保護(hù)及災(zāi)難抵抗能力,該架構(gòu)可使航空氣象存儲(chǔ)系統(tǒng)能很好地滿(mǎn)足IT及氣象業(yè)務(wù)的發(fā)展要求。從拓?fù)浣Y(jié)構(gòu)可看出,系統(tǒng)設(shè)計(jì)將存儲(chǔ)與應(yīng)用分離,系統(tǒng)分為存儲(chǔ)層、服務(wù)器層、TCP/IP層,建立這樣分層次結(jié)構(gòu)的好處是每層均可橫向擴(kuò)展,存儲(chǔ)空間不足可實(shí)行存儲(chǔ)設(shè)備擴(kuò)容,主機(jī)應(yīng)用系統(tǒng)不足可向SAN中增加主機(jī)系統(tǒng)來(lái)滿(mǎn)足業(yè)務(wù)的需要。
從圖中我們可以看出,將航空氣象資料存儲(chǔ)系統(tǒng)的數(shù)據(jù)庫(kù)服務(wù)器(即:存儲(chǔ)管理服務(wù)器)、民航氣象數(shù)據(jù)庫(kù)、以及統(tǒng)一存儲(chǔ)服務(wù)器、磁帶機(jī)等主要數(shù)據(jù)管理和存儲(chǔ)設(shè)備接入西南空管局氣象中心區(qū)域存儲(chǔ)網(wǎng)絡(luò)(SAN),確保數(shù)據(jù)庫(kù)服務(wù)器對(duì)存儲(chǔ)設(shè)備的高速訪問(wèn);將衛(wèi)星、雷達(dá)等基于文件類(lèi)型產(chǎn)品的氣象業(yè)務(wù)系統(tǒng)以及檢索服務(wù)器等設(shè)備接入網(wǎng)絡(luò)區(qū)域存儲(chǔ)(NAS)以擴(kuò)展相關(guān)系統(tǒng)對(duì)存儲(chǔ)的應(yīng)用要求。氣象中心主要的氣象數(shù)據(jù)服務(wù)器和存儲(chǔ)設(shè)備放置于統(tǒng)一存儲(chǔ)區(qū)域網(wǎng)絡(luò)中,防止由于頻繁進(jìn)行大數(shù)據(jù)量通信,影響氣象中心網(wǎng)絡(luò)正常運(yùn)行的同時(shí),利用系統(tǒng)存儲(chǔ)設(shè)備,還將解決目前民航氣象數(shù)據(jù)庫(kù)系統(tǒng)存儲(chǔ)空間嚴(yán)重不足的問(wèn)題,方便快速地實(shí)現(xiàn)數(shù)據(jù)備份、恢復(fù)、容災(zāi)等功能,提高民航氣象數(shù)據(jù)庫(kù)的健壯性。通過(guò)統(tǒng)一存儲(chǔ)系統(tǒng)的建設(shè)和應(yīng)用,形成了一個(gè)以數(shù)據(jù)為中心的典型應(yīng)用環(huán)境,各業(yè)務(wù)系統(tǒng)及用戶(hù)均通過(guò)局域網(wǎng)來(lái)使用和訪問(wèn)存儲(chǔ)系統(tǒng),也為數(shù)值預(yù)報(bào)系統(tǒng)、科研培訓(xùn)系統(tǒng)等新增業(yè)務(wù)提供連接能力。
圖4存儲(chǔ)結(jié)構(gòu)
2.4軟件系統(tǒng)設(shè)計(jì)
2.4.1系統(tǒng)組成
系統(tǒng)功能設(shè)計(jì)著眼于用戶(hù)需求進(jìn)行功能子系統(tǒng)劃分,根據(jù)用戶(hù)前期需求系統(tǒng)軟件由:數(shù)據(jù)庫(kù)子系統(tǒng)、數(shù)據(jù)采集子系統(tǒng)、歷史資料歸檔處理子系統(tǒng)、數(shù)據(jù)備份與恢復(fù)子系統(tǒng)、數(shù)據(jù)查詢(xún)與統(tǒng)計(jì)子系統(tǒng)、數(shù)據(jù)分析子系統(tǒng)以及系統(tǒng)管理和維護(hù)子系統(tǒng)六部分組成。在系統(tǒng)具體實(shí)現(xiàn)過(guò)程中,系統(tǒng)功能實(shí)現(xiàn)將根據(jù)用戶(hù)需求變化情況進(jìn)行調(diào)整和增加。系統(tǒng)軟件組成如圖5示意。
2.4.2開(kāi)發(fā)平臺(tái)和測(cè)試工具
在開(kāi)發(fā)過(guò)程中,我們擬選用studio 2008 asp.net和c#作為開(kāi)發(fā)平臺(tái)和語(yǔ)言;數(shù)據(jù)管理工具選用Oracle 10GForAix Unix;擬采用Subversion作為代碼版本的控制平臺(tái);Nunit作為單元測(cè)試工具;
3結(jié)束語(yǔ)
該文較概括的分析了民航氣象資料管理與存儲(chǔ)系統(tǒng)的現(xiàn)狀、需求分析,軟硬件架構(gòu)等,提出了較為完善的系統(tǒng)設(shè)計(jì)方案。通過(guò)航空氣象資料存儲(chǔ)系統(tǒng)的建設(shè),可實(shí)現(xiàn)氣象資料的管理、整合、集成、分析和共享,對(duì)總結(jié)氣象衍變規(guī)律、發(fā)展航空氣象科研、提高氣象預(yù)報(bào)準(zhǔn)確率、保障航空飛行安全,具有重要的現(xiàn)實(shí)意義。
參考文獻(xiàn):
[1]沈文海,趙芳,高華云,等.國(guó)家級(jí)氣象資料存儲(chǔ)檢索系統(tǒng)的建立[J].應(yīng)用氣象學(xué)報(bào),2004(6):727-736.
[2]趙文軍,李靖,袁昌洪,等.基于NetCDF數(shù)據(jù)模型的氣象資料存儲(chǔ)設(shè)計(jì)[J].安徽農(nóng)業(yè)科學(xué),2009(3):1370-1371.
[3]林曉莉.對(duì)圖書(shū)館資料存儲(chǔ)方式自動(dòng)轉(zhuǎn)換的探討[J].科技情報(bào)開(kāi)發(fā)與經(jīng)濟(jì),2011(20):80-83.
[4]趙昊鈺,馬強(qiáng),常飚,等.國(guó)家級(jí)氣象資料存儲(chǔ)檢索系統(tǒng)監(jiān)視分系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)[J].應(yīng)用氣象學(xué)報(bào),2007(2):251-256.
[5]徐茜.基于IP SAN技術(shù)的數(shù)字圖書(shū)館網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)構(gòu)建[J].圖書(shū)館理論與實(shí)踐,2012(4):99-101.