任燕 謝永德 任萍
摘 要:在實(shí)際的氣象服務(wù)實(shí)踐中用戶的需求是千變?nèi)f化的,經(jīng)常會(huì)需要非常規(guī)的統(tǒng)計(jì)資料,氣象部門沒辦法面面俱到地事先建立起包含各種統(tǒng)計(jì)數(shù)據(jù)的數(shù)據(jù)庫供使用者查詢,為了能滿足用戶的各種需要,需要構(gòu)建出一個(gè)數(shù)據(jù)加工平臺(tái)。該平臺(tái)實(shí)現(xiàn)的手段:一是針對不同要素的物理意義及特點(diǎn)盡可能多地增加統(tǒng)計(jì)數(shù)據(jù)的品種,豐富數(shù)據(jù)庫內(nèi)容;二是設(shè)計(jì)出復(fù)雜的豐富的邏輯查詢方法從數(shù)據(jù)庫中提取數(shù)據(jù);三是設(shè)計(jì)出針對數(shù)據(jù)庫中基本數(shù)據(jù)的自由選擇時(shí)間段的向?qū)降慕y(tǒng)計(jì)查詢的方法;四是設(shè)計(jì)出一個(gè)可交互的數(shù)據(jù)工作表以及二次加工算法工具,對通過各種方式查詢顯示在工作表中的數(shù)據(jù)進(jìn)行二次加工,由使用者根據(jù)需要自行設(shè)計(jì)統(tǒng)計(jì)方法,得出較復(fù)雜的統(tǒng)計(jì)序列。
關(guān)鍵詞:氣象觀測 信息服務(wù) 數(shù)據(jù)處理 加工平臺(tái)
中圖分類號(hào):P413 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1674-098X(2015)08(a)-0092-02
在實(shí)際的氣象服務(wù)實(shí)踐中服務(wù)對象的需求是千變?nèi)f化的,經(jīng)常會(huì)需要非常規(guī)的統(tǒng)計(jì)資料,氣象部門沒辦法面面俱到地事先建立起包含各種統(tǒng)計(jì)數(shù)據(jù)的數(shù)據(jù)庫供服務(wù)人員查詢,通過采取以下四種措施構(gòu)建了一個(gè)數(shù)據(jù)加工平臺(tái):一是針對不同要素的物理意義及特點(diǎn)盡可能多地增加統(tǒng)計(jì)數(shù)據(jù)的品種,豐富數(shù)據(jù)庫內(nèi)容;二是設(shè)計(jì)出復(fù)雜的邏輯查詢方法從數(shù)據(jù)庫中提取數(shù)據(jù);三是設(shè)計(jì)出針對數(shù)據(jù)庫中基本數(shù)據(jù)的自由選擇時(shí)間段的向?qū)降慕y(tǒng)計(jì)查詢的方法;四是設(shè)計(jì)出一個(gè)可交互的數(shù)據(jù)工作表以及二次加工算法工具,由服務(wù)人員根據(jù)需要自行設(shè)計(jì)統(tǒng)計(jì)方法,得出較復(fù)雜的統(tǒng)計(jì)序列。
1 數(shù)據(jù)加工平臺(tái)框架
數(shù)據(jù)加工平臺(tái)由數(shù)據(jù)源、數(shù)據(jù)集、數(shù)據(jù)庫服務(wù)器和軟件系統(tǒng)四部分組成。數(shù)據(jù)源由信息化數(shù)據(jù)文件組成;數(shù)據(jù)集是由信息化數(shù)據(jù)文件經(jīng)過統(tǒng)計(jì)加工形成的數(shù)據(jù)文件;數(shù)據(jù)庫內(nèi)的數(shù)據(jù)來源于數(shù)據(jù)集;軟件系統(tǒng)由若干程序模塊組成,是整個(gè)系統(tǒng)的核心。
2 數(shù)據(jù)集的設(shè)計(jì)與制作
數(shù)據(jù)集的設(shè)計(jì)與制作是構(gòu)建數(shù)據(jù)加工平臺(tái)的一個(gè)重要環(huán)節(jié),其質(zhì)量的高低將直接影響數(shù)據(jù)加工平臺(tái)的性能。在數(shù)據(jù)加工與統(tǒng)計(jì)產(chǎn)品研究的基礎(chǔ)上,根據(jù)數(shù)據(jù)庫內(nèi)容及結(jié)構(gòu)的需要設(shè)計(jì)制作,利用經(jīng)過質(zhì)量控制的信息化數(shù)據(jù)文件進(jìn)行統(tǒng)計(jì)加工形成16個(gè)文本文件。
2.1 源數(shù)據(jù)的質(zhì)量控制
數(shù)據(jù)集制作用到的是地面氣象觀測數(shù)據(jù)文件(A、A0、A1、A6、A7文件),在進(jìn)行數(shù)據(jù)集加工之前,必須對所使用的資料進(jìn)行質(zhì)量控制。對原始觀測資料的質(zhì)量控制方法有:要素允許值范圍檢查、氣候?qū)W界限值檢查、極值檢查、內(nèi)部一致性檢查、時(shí)間一致性檢查、空間一致性檢查等。數(shù)據(jù)集加工用到的數(shù)據(jù)應(yīng)是具有質(zhì)量控制標(biāo)識(shí)的數(shù)據(jù),其中標(biāo)識(shí)為正確和可疑的數(shù)據(jù)參加統(tǒng)計(jì),對標(biāo)識(shí)為錯(cuò)誤的數(shù)據(jù)進(jìn)行訂正,無法訂正時(shí),按缺測處理。
2.2 數(shù)據(jù)集的結(jié)構(gòu)組成及內(nèi)容設(shè)計(jì)
日數(shù)據(jù)集內(nèi)含定時(shí)觀測數(shù)據(jù)及日統(tǒng)計(jì)數(shù)據(jù),利用這些數(shù)據(jù)可以進(jìn)行千變?nèi)f化的統(tǒng)計(jì)加工;旬?dāng)?shù)據(jù)集內(nèi)含定時(shí)及日統(tǒng)計(jì)值的旬統(tǒng)計(jì)值;月數(shù)據(jù)集包含定時(shí)及日平均、日極值等的月統(tǒng)計(jì)值以及有關(guān)要素的回?cái)?shù)、次數(shù)、日數(shù)、頻率、極值、日期等的月統(tǒng)計(jì)值;年數(shù)據(jù)集包括常規(guī)氣象要素的年統(tǒng)計(jì)值以及有關(guān)要素的回?cái)?shù)、次數(shù)、日數(shù)、頻率、極值、日期等的年統(tǒng)計(jì)值。
3 數(shù)據(jù)庫構(gòu)建
3.1 數(shù)據(jù)庫設(shè)計(jì)的方法原則
數(shù)據(jù)加工平臺(tái)的數(shù)據(jù)庫設(shè)計(jì)主要是靜態(tài)的數(shù)據(jù)庫模型設(shè)計(jì),一旦設(shè)計(jì)完成,在實(shí)際的應(yīng)用當(dāng)中數(shù)據(jù)庫的結(jié)構(gòu)基本是固定的,而變化的只是氣象資料的續(xù)加。數(shù)據(jù)庫的設(shè)計(jì)和應(yīng)用程序的設(shè)計(jì)緊密相連,以保證實(shí)現(xiàn)應(yīng)用程序的全部功能。
3.2 數(shù)據(jù)庫的安全訪問策略
數(shù)據(jù)加工平臺(tái)數(shù)據(jù)庫的安全策略由四層安全驗(yàn)證體系組成。
(1)客戶端軟件級別。數(shù)據(jù)加工平臺(tái)采用公共用戶和公共密鑰的方式進(jìn)行訪問,公共用戶和公共密鑰由系統(tǒng)管理員提供給用戶,真實(shí)的登錄密碼隱含在密鑰當(dāng)中,由客戶端應(yīng)用程序軟件系統(tǒng)負(fù)責(zé)解釋,這樣就保證了數(shù)據(jù)庫服務(wù)器的安全。
(2)數(shù)據(jù)庫服務(wù)器級別。由數(shù)據(jù)庫服務(wù)器SQLServer2000進(jìn)行身份的認(rèn)證,確保非法用戶無法登錄。
(3)數(shù)據(jù)庫級別。訪問數(shù)據(jù)庫的用戶必須是在指定的數(shù)據(jù)庫上已經(jīng)注冊的合法用戶,否則無法訪問。
(4)數(shù)據(jù)對象級別。數(shù)據(jù)庫的合法用戶并不能訪問所有數(shù)據(jù),而只能訪問獲得訪問許可的以單站劃分的數(shù)據(jù)對象。
4 軟件系統(tǒng)應(yīng)用環(huán)境構(gòu)建及應(yīng)用
數(shù)據(jù)加工平臺(tái)的所有功能都是通過軟件系統(tǒng)來實(shí)現(xiàn)的,軟件系統(tǒng)提供了一個(gè)集成的系統(tǒng)應(yīng)用環(huán)境,其承載著數(shù)據(jù)查詢和數(shù)據(jù)加工的責(zé)任,同時(shí)又是一個(gè)開放的系統(tǒng),允許使用者利用自身的想象力進(jìn)行統(tǒng)計(jì)方法的設(shè)計(jì)與開發(fā),從而滿足用戶的不同需求。
4.1 軟件系統(tǒng)的結(jié)構(gòu)模型
軟件系統(tǒng)是一個(gè)多功能模塊的組合體。其組成見圖1。
4.2 軟件模塊功能設(shè)計(jì)及應(yīng)用
4.2.1 參數(shù)設(shè)置
參數(shù)設(shè)置模塊用于設(shè)置客戶端軟件運(yùn)行時(shí)所需要的參數(shù)數(shù)據(jù)。
4.2.2 連接數(shù)據(jù)庫服務(wù)器
該模塊負(fù)責(zé)打開遠(yuǎn)程的數(shù)據(jù)庫,并建立連接。
4.2.3 數(shù)據(jù)庫維護(hù)模塊
主要包括:
(1)管理員入口,該模塊是專門提供給數(shù)據(jù)加工平臺(tái)的管理員使用的。
(2)預(yù)處理A0文件,為了保證數(shù)據(jù)統(tǒng)計(jì)的一致性和正確性,在進(jìn)行數(shù)據(jù)集加工之前需要對A0文件進(jìn)行必要的處理,統(tǒng)一A0文件的格式。
(3)建數(shù)據(jù)集,利用原始數(shù)據(jù)文件統(tǒng)計(jì)加工形成建數(shù)據(jù)庫的數(shù)據(jù)文件。
(4)數(shù)據(jù)集入庫,將16個(gè)數(shù)據(jù)集內(nèi)的數(shù)據(jù)寫入數(shù)據(jù)庫服務(wù)器。
4.2.4 數(shù)據(jù)庫應(yīng)用模塊
(1)工作簿操作。
一個(gè)客戶端軟件實(shí)例可以新建或打開多個(gè)工作簿,每一個(gè)工作簿包含多個(gè)工作表,在形式和功能上很像Microsoft office Excel工作簿。工作表是查詢結(jié)果的載體,也是對查詢結(jié)果進(jìn)行進(jìn)一步加工的平臺(tái)。工作表由若干行若干列交叉形成單元格,查詢出的數(shù)據(jù)最終顯示在單元格內(nèi),每一個(gè)單元格內(nèi)的數(shù)據(jù)都是可以交互的,單元格可以被選中、多重選中,單元格里的內(nèi)容可以刪除、修改、移動(dòng)等。
客戶端軟件的工作簿很好的兼容了Excel工作簿,這樣查詢結(jié)果就很容易被傳播和共享。
(2)常規(guī)查詢。
常規(guī)查詢的功能:
①分別指定被查詢資料的起止日期,被查詢出的資料是不同年份的同一時(shí)間段。
②一次可以查詢多個(gè)要素,在列表中任意選擇。多要素查詢時(shí)每個(gè)要素在工作表內(nèi)占一列,按時(shí)間順序從上到下顯示;單要素查詢時(shí)可以按列顯示,也可以按行顯示,即查詢出的同一年的數(shù)據(jù)顯示在一行內(nèi),從左到右日期由先到后,這種方式為在工作表上對資料進(jìn)行二次加工,比如累年統(tǒng)計(jì),提供了極大的方便。
③對每一個(gè)被查詢的要素都可以同時(shí)指定查詢條件,查詢條件用邏輯表達(dá)式表示。在查詢同一時(shí)間不同要素時(shí),每個(gè)要素都可以指定查詢條件,要素之間的查詢條件可以是與的關(guān)系也可以是或的關(guān)系,通過這些查詢條件的設(shè)定可以做出非常復(fù)雜的查詢結(jié)果。
(3)統(tǒng)計(jì)查詢。
統(tǒng)計(jì)查詢和一般查詢不同的是它更具靈活性,它輸出的數(shù)據(jù)不是數(shù)據(jù)庫中事先統(tǒng)計(jì)好的數(shù)據(jù),而是根據(jù)用戶需求對數(shù)據(jù)庫中日數(shù)據(jù)表中的日數(shù)據(jù)進(jìn)行進(jìn)一步統(tǒng)計(jì)加工的結(jié)果,該模塊提供了豐富的統(tǒng)計(jì)項(xiàng)目列表,針對不同的氣象要素的物理意義設(shè)計(jì)出豐富多彩的統(tǒng)計(jì)項(xiàng)目,并且各統(tǒng)計(jì)項(xiàng)目中加進(jìn)了大量的可由用戶定制的參數(shù),使統(tǒng)計(jì)計(jì)算出的結(jié)果千變?nèi)f化。
①任意時(shí)間段要素統(tǒng)計(jì)。
任意時(shí)間段要素統(tǒng)計(jì)是對日數(shù)據(jù)表中某一時(shí)間段的四次定時(shí)數(shù)據(jù)或日統(tǒng)計(jì)數(shù)據(jù)的進(jìn)一步加工,統(tǒng)計(jì)時(shí)間跨度是任意的,可以跨年跨月,也可以將時(shí)間段設(shè)成逐月的方式,從而直接統(tǒng)計(jì)出一年當(dāng)中逐月的統(tǒng)計(jì)值,是對常規(guī)查詢的重要補(bǔ)充。
②初終日期統(tǒng)計(jì)。
該統(tǒng)計(jì)模塊允許用戶任意設(shè)定要素的界限值,從而可以統(tǒng)計(jì)出滿足用戶需求的各種統(tǒng)計(jì)數(shù)據(jù)。初終日期統(tǒng)計(jì)包括天氣現(xiàn)象出現(xiàn)的初終日期和氣象要素值達(dá)到某一標(biāo)準(zhǔn)的初終日期。
③初終日(初日固定日期)間要素統(tǒng)計(jì)。
初終日(初日固定日期)間要素統(tǒng)計(jì)就是先統(tǒng)計(jì)出歷年某種現(xiàn)象出現(xiàn)或某要素達(dá)到標(biāo)準(zhǔn)的初終日期(方法見5.2.4.3.2),然后再統(tǒng)計(jì)該初終日期間(或初日到某一固定日期間)某氣象要素的統(tǒng)計(jì)值,例如:日平均氣溫穩(wěn)定通過10 ℃期間的積溫、降水量合計(jì)、日照時(shí)數(shù)等等。
(4)工作表函數(shù)計(jì)算。
工作表的函數(shù)計(jì)算功能是本系統(tǒng)最為突出的特點(diǎn),它是利用嵌入在表內(nèi)的統(tǒng)計(jì)函數(shù)和運(yùn)算符號(hào)對表內(nèi)的數(shù)據(jù)進(jìn)行二次統(tǒng)計(jì)加工,可以滿足復(fù)雜統(tǒng)計(jì)的需求。它使得客戶端軟件加工出的數(shù)據(jù)千變?nèi)f化。
統(tǒng)計(jì)工具能識(shí)別數(shù)據(jù)系列(日期的統(tǒng)計(jì)只對日期格式的單元格有效),當(dāng)焦點(diǎn)單元格在數(shù)據(jù)行尾或數(shù)據(jù)列尾時(shí)可以自動(dòng)選擇需要統(tǒng)計(jì)的數(shù)據(jù)行或數(shù)據(jù)列并將統(tǒng)計(jì)值顯示在焦點(diǎn)單元格內(nèi)。
5 結(jié)論
通過對地面氣象資料產(chǎn)品的即時(shí)加工技術(shù)研究,得到以下結(jié)論:
(1)突破以往的數(shù)據(jù)查詢系統(tǒng)局限,即構(gòu)造一個(gè)地面氣象數(shù)據(jù)加工平臺(tái),而不是一個(gè)簡單的查詢系統(tǒng),滿足用戶千變?nèi)f化的特殊需求。
(2)除了常規(guī)的統(tǒng)計(jì)值,針對不同的要素設(shè)計(jì)出不同的統(tǒng)計(jì)產(chǎn)品,比如:氣溫最強(qiáng)連續(xù)升高數(shù)值、氣溫最強(qiáng)連續(xù)降低數(shù)值、最多連續(xù)降水量、取暖度日數(shù)、土壤解凍(凍結(jié))初終日期等等。
(3)在地面氣象資料數(shù)據(jù)共享方面提出了具體的做法。通過構(gòu)建數(shù)據(jù)庫,搭建數(shù)據(jù)庫服務(wù)器,開發(fā)基于網(wǎng)絡(luò)的軟件系統(tǒng)實(shí)現(xiàn)了數(shù)據(jù)的共享。
參考文獻(xiàn)
[1] 李集明,沈文海,王國復(fù).氣象信息共享平臺(tái)及其關(guān)鍵技術(shù)研究[J].應(yīng)用氣象學(xué)報(bào),2006,17(5):621-628.
[2]李集明.基于Internet面向社會(huì)公益性共享的氣象科學(xué)數(shù)據(jù)存儲(chǔ)檢索策略研究[J].氣象科技,2007,35(4):589-592.
[3]劉昊鈺,馬強(qiáng),常飆,等.國家級氣象資料存儲(chǔ)檢索系統(tǒng)監(jiān)視分系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)[J].應(yīng)用氣象學(xué)報(bào),2007,18(2):251-256.