何 林，薛春芳，鄧鳳東，賈晨剛，王建鵬

(1.陜西省氣象信息中心，西安 710014；2.陜西省氣象局，西安 710014；3.陜西省氣象臺(tái)，西安 710014)

陜西省精細(xì)化氣象格點(diǎn)預(yù)報(bào)數(shù)據(jù)環(huán)境的設(shè)計(jì)與實(shí)現(xiàn)

何 林1，薛春芳2，鄧鳳東1，賈晨剛1，王建鵬3

(1.陜西省氣象信息中心，西安 710014；2.陜西省氣象局，西安 710014；3.陜西省氣象臺(tái)，西安 710014)

為了有效支撐陜西省精細(xì)化氣象格點(diǎn)預(yù)報(bào)業(yè)務(wù)運(yùn)行，從底層架構(gòu)和數(shù)據(jù)流分析入手，提出了基于CIMISS標(biāo)準(zhǔn)框架的精細(xì)化格點(diǎn)預(yù)報(bào)數(shù)據(jù)環(huán)境的設(shè)計(jì)方案。包括硬件平臺(tái)、數(shù)據(jù)清單、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)共享、數(shù)據(jù)管理等關(guān)鍵環(huán)節(jié)，并遵循“冷熱分離、讀寫分離、集中化管理、多樣化共享”的原則，給出了優(yōu)化實(shí)現(xiàn)方法。

精細(xì)化格點(diǎn)預(yù)報(bào)；CIMISS；數(shù)據(jù)環(huán)境；共享管理

隨著社會(huì)經(jīng)濟(jì)的發(fā)展及信息化水平的不斷提高，傳統(tǒng)的城鎮(zhèn)、鄉(xiāng)鎮(zhèn)站點(diǎn)預(yù)報(bào)已經(jīng)不能完全適應(yīng)防災(zāi)減災(zāi)工作的需求，以時(shí)空分辨率更高、要素定量化和多樣化、預(yù)報(bào)精準(zhǔn)、服務(wù)貼心、無縫隙、智能化為特征的精細(xì)化格點(diǎn)(智能網(wǎng)格)預(yù)報(bào)技術(shù)將是未來天氣業(yè)務(wù)發(fā)展的主要方向。為了推進(jìn)和支撐精細(xì)化格點(diǎn)預(yù)報(bào)技術(shù)研究及業(yè)務(wù)運(yùn)行，需要搭建規(guī)范、合理的基礎(chǔ)數(shù)據(jù)環(huán)境。該數(shù)據(jù)環(huán)境除了滿足預(yù)報(bào)業(yè)務(wù)的需求外，還需要符合全國綜合氣象信息共享平臺(tái)(China integrated meteorological information sharing system,簡稱“CIMISS”)標(biāo)準(zhǔn)框架[1]，為天氣業(yè)務(wù)數(shù)據(jù)資源納入省級(jí)集約化數(shù)據(jù)環(huán)境奠定基礎(chǔ)。

1 數(shù)據(jù)環(huán)境介紹

陜西省精細(xì)化氣象格點(diǎn)預(yù)報(bào)數(shù)據(jù)環(huán)境旨在建立以基礎(chǔ)數(shù)據(jù)接收、加工處理、存儲(chǔ)管理、共享服務(wù)功能于一體的標(biāo)準(zhǔn)數(shù)據(jù)流程及支撐平臺(tái)。該流程和平臺(tái)具備結(jié)構(gòu)化和非結(jié)構(gòu)化資料相結(jié)合、存取高效、管理便捷、交互性強(qiáng)、可快速擴(kuò)展的特點(diǎn)；在保證數(shù)據(jù)質(zhì)量和穩(wěn)定性的前提下，不斷提升訪問效率。主要包括構(gòu)建原始數(shù)據(jù)庫、降尺度格點(diǎn)數(shù)據(jù)庫、格點(diǎn)背景場數(shù)據(jù)庫、省市格點(diǎn)預(yù)報(bào)編輯庫、預(yù)報(bào)產(chǎn)品庫、解析產(chǎn)品庫等六大模塊。同時(shí)，在CIMISS的標(biāo)準(zhǔn)框架內(nèi)實(shí)現(xiàn)數(shù)據(jù)接入和管理，并梳理整個(gè)精細(xì)化格點(diǎn)預(yù)報(bào)業(yè)務(wù)的數(shù)據(jù)清單及優(yōu)化數(shù)據(jù)流程(圖1)。

圖1 陜西精細(xì)化格點(diǎn)預(yù)報(bào)數(shù)據(jù)流程

2 基礎(chǔ)平臺(tái)架構(gòu)

精細(xì)化格點(diǎn)預(yù)報(bào)數(shù)據(jù)環(huán)境基礎(chǔ)平臺(tái)部署在陜西省氣象局自建的統(tǒng)一虛擬化資源池之上。此外，為滿足精細(xì)化格點(diǎn)預(yù)報(bào)系統(tǒng)所存在的大量文件交互、高并發(fā)讀寫的個(gè)性化功能需求，在虛擬資源池中設(shè)立了邏輯專區(qū)，引入VMware公司發(fā)布的分布式存儲(chǔ)技術(shù)。虛擬化網(wǎng)絡(luò)存儲(chǔ)空間(virtual store area network，簡稱VSAN)，是VMware全新的軟件定義的存儲(chǔ)層，可擴(kuò)展vSphere虛擬化管理程序以將計(jì)算和直連存儲(chǔ)池化。通過建立服務(wù)器直連硬盤和固態(tài)硬盤集群，創(chuàng)建專門針對虛擬機(jī)設(shè)計(jì)和優(yōu)化的分布式共享數(shù)據(jù)存儲(chǔ)[2]。

通過資源池底層的改造，構(gòu)建了分布式的數(shù)據(jù)存儲(chǔ)環(huán)境，將精細(xì)化格點(diǎn)預(yù)報(bào)對數(shù)據(jù)的加工處理及存儲(chǔ)全部遷移到基于VSAN的分布式平臺(tái)上，從而有效解決了數(shù)據(jù)環(huán)境的性能瓶頸。同時(shí)，遵循“冷熱分離”原則，存儲(chǔ)架構(gòu)采用了混合模式[3]，分為以實(shí)時(shí)處理、高頻訪問為特征的熱數(shù)據(jù)區(qū)和以備份、回算、檢驗(yàn)為目的的冷數(shù)據(jù)區(qū)。其中，冷數(shù)據(jù)區(qū)建立在SATA(serial advanced technology attachment)硬盤構(gòu)成NAS集中式存儲(chǔ)之上，熱數(shù)據(jù)建立在以SATA+SAS(serial attached SCSI)硬盤構(gòu)成的VSAN分布式存儲(chǔ)之上。圖2為基礎(chǔ)平臺(tái)架構(gòu)圖。

圖2 陜西精細(xì)化格點(diǎn)預(yù)報(bào)基礎(chǔ)平臺(tái)架構(gòu)圖

3 數(shù)據(jù)接入與數(shù)據(jù)清單

原始數(shù)據(jù)無論從種類還是數(shù)量，都占據(jù)了整個(gè)數(shù)據(jù)環(huán)境的主體部分，成為支撐精細(xì)化預(yù)報(bào)的基礎(chǔ)環(huán)節(jié)。資料范圍涵蓋了精細(xì)化格點(diǎn)預(yù)報(bào)所需的地面觀測站點(diǎn)實(shí)況資料，國內(nèi)外的數(shù)值預(yù)報(bào)模式或集合預(yù)報(bào)產(chǎn)品資料，格點(diǎn)實(shí)況和預(yù)報(bào)產(chǎn)品，雷達(dá)、衛(wèi)星、閃電定位等資料。原始數(shù)據(jù)來源主要分為CIMISS、CMACAST衛(wèi)星廣播系統(tǒng)、國家氣象信息中心實(shí)時(shí)數(shù)據(jù)共享平臺(tái)、國家氣象中心數(shù)據(jù)共享服務(wù)器、區(qū)域中心推送區(qū)域模式產(chǎn)品、國家數(shù)值預(yù)報(bào)云等。接入方式包括CIMISS接口、FTP下載、衛(wèi)星廣播等途徑。通過對不同數(shù)據(jù)來源的分析對比，選取最優(yōu)的數(shù)據(jù)接入方式，如表1。

中間數(shù)據(jù)主要包括處理后不同格式的站點(diǎn)實(shí)況、對各類模式產(chǎn)品進(jìn)行解碼和降尺度處理后生成的數(shù)據(jù)。加工產(chǎn)品主要包括多模式動(dòng)態(tài)交叉取優(yōu)得到的格點(diǎn)背景場客觀產(chǎn)品，為地市共享的MICAPS格式的格點(diǎn)、站點(diǎn)預(yù)報(bào)產(chǎn)品，省市預(yù)報(bào)員基于客觀產(chǎn)品進(jìn)行主觀訂正生成的預(yù)報(bào)產(chǎn)品，最終確認(rèn)預(yù)報(bào)產(chǎn)品，預(yù)報(bào)解析產(chǎn)品(基于規(guī)則庫一鍵生成并發(fā)布的專題預(yù)報(bào)服務(wù)產(chǎn)品及材料)，預(yù)報(bào)檢驗(yàn)數(shù)據(jù)等。

表1 原始數(shù)據(jù)清單及接入方式

4 數(shù)據(jù)組織結(jié)構(gòu)

遵循對數(shù)據(jù)“集中化管理”的原則，將所有原始數(shù)據(jù)、中間數(shù)據(jù)、加工產(chǎn)品都存放在統(tǒng)一規(guī)劃的服務(wù)器上，只是數(shù)據(jù)組織結(jié)構(gòu)和存儲(chǔ)形式不同。

將精細(xì)化格點(diǎn)預(yù)報(bào)數(shù)據(jù)環(huán)境中的所有數(shù)據(jù)按組織結(jié)構(gòu)分為兩大類：結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。典型的結(jié)構(gòu)化數(shù)據(jù)如地面觀測資料、站點(diǎn)信息、預(yù)報(bào)檢驗(yàn)數(shù)據(jù)以及一些配置信息都以記錄的方式存儲(chǔ)在數(shù)據(jù)庫中，本數(shù)據(jù)環(huán)境選用了Oracle數(shù)據(jù)庫存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)。除此之外的絕大部分資料都是以文件、圖片等非結(jié)構(gòu)化的形式存儲(chǔ)，這些數(shù)據(jù)可直接保存于文件系統(tǒng)中[4]。此外，為了提高訪問效率和用戶體驗(yàn)，對交互頻次較高的數(shù)據(jù)，將其存儲(chǔ)索引以記錄的形式在Redis內(nèi)存數(shù)據(jù)庫中保留一份。

對于原始的結(jié)構(gòu)化觀測數(shù)據(jù)，為方便預(yù)報(bào)檢驗(yàn)算法的使用，需要將其轉(zhuǎn)換為MICAPS格式的文本文件。這種由結(jié)構(gòu)化向非結(jié)構(gòu)化的數(shù)據(jù)組織形式的轉(zhuǎn)換，通過使用數(shù)據(jù)統(tǒng)一服務(wù)接口對原始觀測數(shù)據(jù)進(jìn)行二次加工得以實(shí)現(xiàn)。氣象數(shù)據(jù)統(tǒng)一服務(wù)接口(meteorological unified service interface community，簡稱“MUSIC”)，基于國家級(jí)-省級(jí)統(tǒng)一的CIMISS數(shù)據(jù)環(huán)境，面向氣象業(yè)務(wù)和科研，提供了統(tǒng)一、標(biāo)準(zhǔn)、豐富、具有多種調(diào)用形式的數(shù)據(jù)訪問服務(wù)和應(yīng)用編程接口，為各級(jí)應(yīng)用系統(tǒng)提供直接支撐的數(shù)據(jù)接入服務(wù)[5](圖3)。

圖3 調(diào)用MUSIC實(shí)現(xiàn)數(shù)據(jù)組織形式轉(zhuǎn)換范例流程

5 數(shù)據(jù)管理

5.1 數(shù)據(jù)存儲(chǔ)策略

由于存儲(chǔ)空間并不是無限提供的，因此為了保持?jǐn)?shù)據(jù)環(huán)境存儲(chǔ)空間的動(dòng)態(tài)平衡，需設(shè)置合理的數(shù)據(jù)存儲(chǔ)策略，包括備份和清除兩種情況。數(shù)據(jù)備份是指將生產(chǎn)環(huán)境中的熱數(shù)據(jù)保存若干日后向備份區(qū)遷移，成為冷數(shù)據(jù)。數(shù)據(jù)清除是指將生產(chǎn)環(huán)境的熱數(shù)據(jù)保存若干日，超過使用時(shí)效后直接刪除，以釋放存儲(chǔ)空間。適配不同存儲(chǔ)策略的基本原則根據(jù)資料的重要性以及單日的數(shù)據(jù)量評(píng)級(jí)確定，除個(gè)別試驗(yàn)性資料需特殊配置外，基本策略如表2所示。

備份策略可編寫腳本程序或借助第三方備份軟件實(shí)現(xiàn)。數(shù)據(jù)清除策略，記錄級(jí)的數(shù)據(jù)使用SQL語言中的刪除語句實(shí)現(xiàn)，文件系統(tǒng)中的數(shù)據(jù)則根據(jù)操作系統(tǒng)的不同，可使用如下參考命令并配置定時(shí)任務(wù)實(shí)現(xiàn)。參考命令中的Path表示數(shù)據(jù)存儲(chǔ)目錄，NDay表示數(shù)據(jù)保存的日數(shù)。

Windows平臺(tái)：forfiles /p "Path" /s /m *.* /d -NDay /c "cmd /c del @path"

Linux平臺(tái)：find . -type f -mtime +NDay -exec rm -f {} ;

5.2 訪問控制策略

為了保證數(shù)據(jù)安全，對文件服務(wù)器上存儲(chǔ)的數(shù)據(jù)進(jìn)行了分級(jí)的用戶權(quán)限管理，以實(shí)現(xiàn)對數(shù)據(jù)的訪問控制。遵循“讀寫分離”原則，將訪問權(quán)限分為三級(jí)。首先，使用超級(jí)管理員賬戶創(chuàng)建了多個(gè)的操作系統(tǒng)賬戶，并將其設(shè)置為管理員屬組，分配給研究人員使用。研究人員使用各自用戶生成的數(shù)據(jù)文件具備可讀寫操作權(quán)限，同時(shí)，生成的數(shù)據(jù)對管理員屬組的各個(gè)成員皆可見。對有交互的成員可讀可寫，對無交互成員只讀。其次，使用超級(jí)管理員創(chuàng)建一個(gè)用戶，設(shè)置為普通用戶屬組，用于對最終發(fā)布產(chǎn)品的共享。該用戶具備只讀權(quán)限，可以查看和下載數(shù)據(jù)。最后，超級(jí)管理員對文件服務(wù)器上的所有數(shù)據(jù)具有完全控制權(quán)限，可以做讀寫、刪除、修改、執(zhí)行等操作，以便于實(shí)施備份和清除等數(shù)據(jù)存儲(chǔ)策略。

表2 陜西省精細(xì)化格點(diǎn)預(yù)報(bào)數(shù)據(jù)環(huán)境的數(shù)據(jù)存儲(chǔ)策略

5.3 共享服務(wù)策略

對于保存在文件服務(wù)器上最終發(fā)布的預(yù)報(bào)產(chǎn)品、解析產(chǎn)品以及其他需要提供給用戶使用的數(shù)據(jù)，遵循“多樣化共享”原則，提供FTP、磁盤映射、標(biāo)準(zhǔn)API接口三種訪問方式[6]。為緩解服務(wù)端壓力，目前不提供主動(dòng)的訂閱式推送服務(wù)。共享用戶權(quán)限參考訪問控制策略中設(shè)置的三級(jí)用戶，賦予分級(jí)的數(shù)據(jù)共享級(jí)別。

[1] 熊安元,趙芳,王穎,等.全國綜合氣象信息共享系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].應(yīng)用氣象學(xué)報(bào),2015,26(4)：500-512.

[2] 于耳.一種基于 VSAN的分布式存儲(chǔ)系統(tǒng)構(gòu)建和應(yīng)用[J].中國教育信息化,2014(16)：72-75.

[3] 朱海亞.數(shù)據(jù)存儲(chǔ)中分級(jí)存儲(chǔ)管理研究[J].數(shù)字化用戶,2013(4)：55-59.

[4] 何婉文,孫周軍,肖文名.基于CIMISS的廣東省現(xiàn)代農(nóng)業(yè)氣象業(yè)務(wù)數(shù)據(jù)環(huán)境建設(shè)[J].成都信息工程學(xué)院學(xué)報(bào),2012(4)：210-217.

[5] 張正陽,朱倩雨.基于CIMISS環(huán)境的氣象數(shù)據(jù)統(tǒng)一訪問接口簡介[J].沙漠與綠洲氣象,2015,9(1)：134-136.

[6] 何林,吉慶.氣象-環(huán)保數(shù)據(jù)交換共享方案的設(shè)計(jì)與實(shí)現(xiàn)[J].陜西氣象,2016(4)：36-39.

1006-4354(2017)04-0017-05

2017-03-15

何林(1987—)，男，漢族，陜西武功人，工程師，碩士，從事氣象信息軟件研發(fā)、集約化氣象數(shù)據(jù)環(huán)境建設(shè)。

陜西省氣象局青年科研基金項(xiàng)目(2016Y-11)；中國氣象局氣象預(yù)報(bào)業(yè)務(wù)關(guān)鍵技術(shù)發(fā)展專項(xiàng)YBGJXM(2017)03-13； 陜西省氣象局研究型業(yè)務(wù)重點(diǎn)科研項(xiàng)目(2015Z-6)

P409

B

何林,薛春芳,鄧鳳東,等.陜西省精細(xì)化氣象格點(diǎn)預(yù)報(bào)數(shù)據(jù)環(huán)境的設(shè)計(jì)與實(shí)現(xiàn)[J].陜西氣象，2017(4)：17-21.