■ 唐衛(wèi) 渠寒花 霍慶

(作者單位：唐衛(wèi)、渠寒花，中國(guó)氣象局公共氣象服務(wù)中心；霍慶，國(guó)家氣象信息中心)

氣象信息化是實(shí)現(xiàn)氣象現(xiàn)代化的重要途徑。氣象大數(shù)據(jù)云平臺(tái)是氣象信息化工作的“主角”，中國(guó)氣象局組織編制了《氣象大數(shù)據(jù)云平臺(tái)試點(diǎn)建設(shè)工作方案》，要求推進(jìn)云平臺(tái)與天氣、氣候、探測(cè)、服務(wù)等核心業(yè)務(wù)應(yīng)用系統(tǒng)的對(duì)接，滿足國(guó)家、省級(jí)核心業(yè)務(wù)應(yīng)用系統(tǒng)數(shù)據(jù)需求，在國(guó)家級(jí)和部分省級(jí)建成云平臺(tái)，提供在線數(shù)據(jù)訪問(wèn)與數(shù)據(jù)挖掘應(yīng)用功能，在公眾服務(wù)、行業(yè)影響服務(wù)開(kāi)展氣象服務(wù)核心業(yè)務(wù)試點(diǎn)應(yīng)用。交管天氣風(fēng)險(xiǎn)管控平臺(tái)作為2018年中國(guó)氣象局山洪新建項(xiàng)目，成為公眾服務(wù)方向融入大數(shù)據(jù)云平臺(tái)試點(diǎn)工程的首批項(xiàng)目。以云平臺(tái)為支撐，依托其基礎(chǔ)環(huán)境池、存儲(chǔ)資源、超算能力、國(guó)省共享通道、監(jiān)控保障等優(yōu)勢(shì)能力，推動(dòng)交管平臺(tái)融入云平臺(tái)，更是現(xiàn)階段實(shí)現(xiàn)氣象資源互聯(lián)互通、共享共用，構(gòu)建資源高效利用、數(shù)據(jù)充分共享、流程高度集約、標(biāo)準(zhǔn)體系完備的氣象業(yè)務(wù)現(xiàn)代化新格局的必行之舉。

1 交管天氣風(fēng)險(xiǎn)管控平臺(tái)基本情況

交管天氣風(fēng)險(xiǎn)管控平臺(tái)（Traffic management weather risk control platform，TWRCP，圖1），聯(lián)合交通管制部門(mén)、國(guó)省氣象服務(wù)部門(mén)，建設(shè)了“一級(jí)部署、兩級(jí)應(yīng)用”、多部門(mén)協(xié)同的綜合業(yè)務(wù)服務(wù)平臺(tái)，綜合運(yùn)用大數(shù)據(jù)分布式處理、流式計(jì)算框架、GIS空間分析、數(shù)據(jù)庫(kù)、多維可視化等關(guān)鍵技術(shù)，重點(diǎn)建設(shè)了交管氣象服務(wù)大數(shù)據(jù)集、交管氣象風(fēng)險(xiǎn)一張圖、業(yè)務(wù)應(yīng)用3個(gè)分系統(tǒng)，研發(fā)全國(guó)主要高速干道15萬(wàn)樁點(diǎn)、1 km和10 min—小時(shí)級(jí)別的精細(xì)化時(shí)空分辨率交通氣象服務(wù)產(chǎn)品，通過(guò)實(shí)時(shí)氣象數(shù)據(jù)、高速管控?cái)?shù)據(jù)、地理數(shù)據(jù)、交通數(shù)據(jù)的共建、共享、共用和挖掘分析，開(kāi)展交管與氣象大數(shù)據(jù)的融合應(yīng)用，旨在為交通管理部門(mén)實(shí)時(shí)決策提供輔助工具，提高國(guó)省氣象災(zāi)害應(yīng)急工作效率，提升防災(zāi)減災(zāi)服務(wù)水平。

圖1 交管風(fēng)險(xiǎn)管控平臺(tái)主界面

2 交管平臺(tái)融入云平臺(tái)的主要需求

2.1 大數(shù)據(jù)資源需求

交管平臺(tái)數(shù)據(jù)涉及基礎(chǔ)氣象資料，行業(yè)社會(huì)的交通管制數(shù)據(jù)，基礎(chǔ)地理數(shù)據(jù)等4大類(lèi)30余項(xiàng)，涉及公安部門(mén)、交通部門(mén)、氣象部門(mén)及社會(huì)企業(yè)等10余個(gè)單位，數(shù)據(jù)來(lái)源廣泛、格式標(biāo)準(zhǔn)各異、接入方式復(fù)雜，交管平臺(tái)依靠自身力量，協(xié)調(diào)部委和數(shù)據(jù)提供方精力不足，依據(jù)數(shù)據(jù)門(mén)類(lèi)專(zhuān)門(mén)研發(fā)相應(yīng)數(shù)據(jù)接口和算法工作量大、效率不高。

2.2 高效存儲(chǔ)訪問(wèn)需求

經(jīng)測(cè)算，交管平臺(tái)涉及輸入輸出數(shù)據(jù)60余種、處理業(yè)務(wù)功能140余項(xiàng)，日采集及處理數(shù)據(jù)量約3 TB，日生成服務(wù)產(chǎn)品近100 GB，日緩存數(shù)據(jù)超過(guò)300 G，日分布式存儲(chǔ)記錄1.2億余條，高速路段與樁號(hào)信息分別與8大類(lèi)氣象要素的空間疊加分析及中間計(jì)算結(jié)果以小文件存放，高時(shí)空分辨率數(shù)據(jù)時(shí)空分析、高頻回滾計(jì)算對(duì)分類(lèi)存儲(chǔ)、快速存儲(chǔ)檢索、分析再計(jì)算能力均提出更高需求。

2.3 高性能計(jì)算及服務(wù)能力需求

交管平臺(tái)涉及全國(guó)主要高速公路15萬(wàn)樁點(diǎn)、900多條主要路段，實(shí)現(xiàn)分鐘級(jí)交通實(shí)時(shí)流量疊加分析，同時(shí)，精細(xì)化至全國(guó)1 km路段、樁號(hào)的實(shí)況、短臨和預(yù)報(bào)，逐10 min至小時(shí)級(jí)的產(chǎn)品滾動(dòng)計(jì)算加工及多要素氣象交通數(shù)據(jù)產(chǎn)品實(shí)時(shí)反演分析，需要滿足數(shù)據(jù)訪問(wèn)、在線計(jì)算及回存需求，實(shí)時(shí)數(shù)據(jù)訪問(wèn)秒級(jí)響應(yīng)，歷史長(zhǎng)序列數(shù)據(jù)統(tǒng)計(jì)分析秒級(jí)響應(yīng)能力的支撐能力。

2.4 支撐部門(mén)內(nèi)外、國(guó)省業(yè)務(wù)的混合網(wǎng)絡(luò)架構(gòu)需求

交管平臺(tái)服務(wù)交管、國(guó)省氣象業(yè)務(wù)部門(mén)，存在大量數(shù)據(jù)和產(chǎn)品實(shí)時(shí)匯交與共享，數(shù)據(jù)分析、產(chǎn)品加工、前端交互涉及多個(gè)網(wǎng)段，目前雖功能研發(fā)完成，但建設(shè)單位不具備向外部門(mén)、國(guó)省業(yè)務(wù)部門(mén)提供應(yīng)用服務(wù)能力，需從業(yè)務(wù)布局出發(fā)，聯(lián)合大數(shù)據(jù)云平臺(tái)統(tǒng)一設(shè)計(jì)、集約部署。

2.5 統(tǒng)一監(jiān)控運(yùn)維需求

交管平臺(tái)未來(lái)面向交管部門(mén)、國(guó)省氣象業(yè)務(wù)服務(wù)部門(mén)7×24 h全天候服務(wù)，需對(duì)數(shù)據(jù)到達(dá)、產(chǎn)品加工、服務(wù)分發(fā)等關(guān)鍵環(huán)節(jié)提供“全流程、全要素、全過(guò)程”監(jiān)控，在信息監(jiān)視、指標(biāo)性能、秒級(jí)事件處理能力方面提出更高要求，以提高數(shù)據(jù)質(zhì)量、服務(wù)時(shí)效、故障處理時(shí)效，增強(qiáng)平臺(tái)運(yùn)行的穩(wěn)定性。

氣象大數(shù)據(jù)云平臺(tái)，以提供“數(shù)算一體”的平臺(tái)化服務(wù)為目標(biāo)，采用統(tǒng)籌構(gòu)建基礎(chǔ)設(shè)施資源，統(tǒng)一構(gòu)建數(shù)據(jù)環(huán)境的方式，旨在打造氣象信息資源互聯(lián)互通、開(kāi)放共享的 “云+端”業(yè)務(wù)模式的全面發(fā)展，逐步構(gòu)建集約化、標(biāo)準(zhǔn)化、開(kāi)放發(fā)展的氣象新業(yè)態(tài)，經(jīng)過(guò)一年多來(lái)的建設(shè)與完善，在氣象數(shù)據(jù)資源、數(shù)據(jù)交換、產(chǎn)品加工、挖掘分析、存儲(chǔ)與服務(wù)、業(yè)務(wù)監(jiān)控等，初步具備支撐交管平臺(tái)的能力。

圖2 交管天氣風(fēng)險(xiǎn)管控平臺(tái)應(yīng)用融入方案

3 交管平臺(tái)融入大數(shù)據(jù)云平臺(tái)的實(shí)踐

根據(jù)交管平臺(tái)業(yè)務(wù)架構(gòu)和功能特點(diǎn)，向氣象大數(shù)據(jù)云平臺(tái)的融入分別從“云”“端”兩方面聯(lián)合設(shè)計(jì)融入方案（圖2）。其中：1）“云”的融入包含IaaS層、SaaS層。其中，IaaS層由大數(shù)據(jù)云平臺(tái)提供TWRCP所需的虛擬資源池、分布式物理池、數(shù)據(jù)存儲(chǔ)的基礎(chǔ)設(shè)施資源，在此不作贅述；SaaS層，云平臺(tái)針對(duì)TWRCP數(shù)據(jù)及產(chǎn)品特征，提供分類(lèi)數(shù)據(jù)存儲(chǔ)、算法集成改造融入、擴(kuò)充現(xiàn)有數(shù)據(jù)服務(wù)接口，將原TWRCP中的算法庫(kù)管理、工作流引擎、任務(wù)調(diào)度和并行處理框架調(diào)整為大數(shù)據(jù)云平臺(tái)的加工流水線支持，生成的業(yè)務(wù)產(chǎn)品存入云平臺(tái)統(tǒng)一的數(shù)據(jù)及存儲(chǔ)環(huán)境。2）“端”的融入包括Web端展示融入、后端管理端的融入改造。后端管理端的改造在消息機(jī)制、用戶權(quán)限管理方面保留前端界面，實(shí)現(xiàn)交互信息加工結(jié)果的獲取與展示，并增加交管平臺(tái)監(jiān)控功能改造后融入天鏡的需求，實(shí)現(xiàn)TWRCP全業(yè)務(wù)、全流程的監(jiān)控。

3.1 數(shù)據(jù)流程改造

數(shù)據(jù)存儲(chǔ)的應(yīng)用融入，經(jīng)過(guò)交管平臺(tái)數(shù)據(jù)流程再梳理，如圖3所示。將數(shù)據(jù)采集、存儲(chǔ)及服務(wù)接口統(tǒng)一納入云平臺(tái)。

圖3 數(shù)據(jù)應(yīng)用與服務(wù)融入流程設(shè)計(jì)

數(shù)據(jù)采集環(huán)境，現(xiàn)有數(shù)據(jù)交互算法向云平臺(tái)遷移。對(duì)于原本對(duì)接CIMISS數(shù)據(jù)服務(wù)接口，不作變化。對(duì)于云平臺(tái)尚不包含的實(shí)時(shí)流量等數(shù)據(jù)，遵循大數(shù)據(jù)云平臺(tái)的數(shù)據(jù)輸入輸出和監(jiān)控規(guī)范，納入統(tǒng)一交換及質(zhì)控系統(tǒng)進(jìn)行解析處理，采集算法封裝后注冊(cè)到流水線環(huán)境，采集信息管理納入天鏡統(tǒng)一監(jiān)控。

數(shù)據(jù)存儲(chǔ)管理，完全轉(zhuǎn)移至云平臺(tái)。新增空間數(shù)據(jù)庫(kù)，以postgreSQL支撐點(diǎn)、線、面SHP數(shù)據(jù)與氣象基礎(chǔ)數(shù)據(jù)的空間融合入分析與信息提取；擴(kuò)充歷史分析庫(kù)，大體量、長(zhǎng)時(shí)次、循環(huán)滾動(dòng)計(jì)算的歷史檢驗(yàn)數(shù)據(jù)，采用云平臺(tái)ADS/Gbase分析型數(shù)據(jù)庫(kù)提升計(jì)算效率；分配共享文件存儲(chǔ)，用于中間結(jié)果緩存，對(duì)頻繁更新的共享指標(biāo)、路況流量以分布式NAS存儲(chǔ)。

數(shù)據(jù)服務(wù)接口改造，數(shù)據(jù)接口融入包含兩部分，基于現(xiàn)有標(biāo)準(zhǔn)、擴(kuò)展MUSIC底層通用接口，在時(shí)間窗、區(qū)域段、地理信息區(qū)間等方面容納更多動(dòng)態(tài)適配參數(shù)，定制開(kāi)發(fā)空間分析服務(wù)接口功能，滿足不同參數(shù)化方案下的動(dòng)態(tài)空間信息調(diào)用和分析；利用眾創(chuàng)接口，對(duì)MUSIC接口無(wú)法滿足的功能定制開(kāi)發(fā)，如根據(jù)TWRCP前端展示需求，形成多個(gè)數(shù)據(jù)服務(wù)接口。

3.2 產(chǎn)品加工算法改造融入

按照服務(wù)功能對(duì)數(shù)據(jù)采集算法、交通事件融合算法、實(shí)況短臨預(yù)報(bào)產(chǎn)品道路融合算法、風(fēng)險(xiǎn)產(chǎn)品的道路融合算法、風(fēng)險(xiǎn)等級(jí)計(jì)算及等級(jí)訂正6類(lèi)89個(gè)業(yè)務(wù)算法進(jìn)行整合封裝，形成獨(dú)立運(yùn)行的可執(zhí)行腳本或程序，注冊(cè)至大數(shù)據(jù)云平臺(tái)的流水線環(huán)境，實(shí)現(xiàn)交管平臺(tái)算法的統(tǒng)一注冊(cè)、審核、發(fā)布等管理。

算法的管理在后端管理層實(shí)現(xiàn)，包括算法的部署、管理、運(yùn)行等，算法的支持環(huán)境為基礎(chǔ)設(shè)施的算法運(yùn)行池，生成的業(yè)務(wù)產(chǎn)品存入數(shù)據(jù)環(huán)境。通過(guò)任務(wù)調(diào)度方式納入大數(shù)據(jù)云平臺(tái)產(chǎn)品加工流水線，以參數(shù)形式觸發(fā)定時(shí)任務(wù)執(zhí)行，其輸入輸出參數(shù)改造為云平臺(tái)存儲(chǔ)環(huán)境提供的開(kāi)放數(shù)據(jù)接口，并通過(guò)監(jiān)控日志統(tǒng)一監(jiān)測(cè)、調(diào)度、管理。

TWRCP算法按照流水線環(huán)境的統(tǒng)一標(biāo)準(zhǔn)規(guī)范改造封裝后注冊(cè)在流水線環(huán)境。其中，對(duì)氣象業(yè)務(wù)中頻繁使用的氣象基礎(chǔ)數(shù)據(jù)要素提取算法、GIS地理數(shù)據(jù)引擎調(diào)用接口、歷史氣象要素統(tǒng)計(jì)算法等，注冊(cè)時(shí)采用了public方式暴露接口，可提供及其他平臺(tái)或系統(tǒng)的復(fù)用，如支撐防災(zāi)減災(zāi)監(jiān)控管理平臺(tái)應(yīng)用、輔助決策支持系統(tǒng)等，其他平臺(tái)將依托流水線的眾創(chuàng)發(fā)現(xiàn)接口多次調(diào)用，同時(shí)也提供支持源碼共享服務(wù)。

3.3 前端應(yīng)用服務(wù)融入

TWRCP屬于典型的應(yīng)用服務(wù)型業(yè)務(wù)系統(tǒng)，因服務(wù)用戶的特殊性，TWRCP Web端服務(wù)既要滿足用戶交互、共享、服務(wù)需求，同時(shí)也要按照大數(shù)據(jù)云平臺(tái)融入要求，開(kāi)展交互操作、服務(wù)發(fā)布的準(zhǔn)確、實(shí)時(shí)應(yīng)用，分兩個(gè)階段開(kāi)展工作。

1）由大數(shù)據(jù)云平臺(tái)提供前端Web網(wǎng)絡(luò)環(huán)境，完成網(wǎng)絡(luò)架構(gòu)下整體功能的遷移。因TWRCP服務(wù)用戶的特殊性，采用分兩步實(shí)施：先期開(kāi)通氣象寬帶網(wǎng)，實(shí)現(xiàn)國(guó)家級(jí)、省級(jí)氣象業(yè)務(wù)人員應(yīng)有，實(shí)現(xiàn)國(guó)省交通風(fēng)險(xiǎn)指標(biāo)的匯聚、基礎(chǔ)支撐產(chǎn)品與風(fēng)險(xiǎn)產(chǎn)品的共享與下發(fā)。

2）對(duì)遷移后的TWRCP前端，逐步開(kāi)展云平臺(tái)的融入改造。TWRCP前端Web服務(wù)的人工交互操作，保證交互操作分析、計(jì)算返回結(jié)果的準(zhǔn)確性和實(shí)時(shí)性，是TWRCP前端融入的關(guān)鍵所在。對(duì)TWRCP web應(yīng)用服務(wù)接口改造，梳理WEB應(yīng)用涉及的服務(wù)接口，在大數(shù)據(jù)云平臺(tái)新增人工觸發(fā)接口，同時(shí)設(shè)計(jì)共享存儲(chǔ)目錄及文件，做好服務(wù)接口與共享文件的觸發(fā)匹配，確保交互數(shù)據(jù)及產(chǎn)品能夠準(zhǔn)確返回。

4 業(yè)務(wù)融入中的經(jīng)驗(yàn)與思考

4.1 協(xié)同融入需重視，組織管理是保障

合作雙方達(dá)成共識(shí)，是推進(jìn)融合的工作基礎(chǔ)。早在交管平臺(tái)系統(tǒng)設(shè)計(jì)階段，實(shí)施責(zé)任機(jī)構(gòu)組織省級(jí)試點(diǎn)單位、聯(lián)合國(guó)家氣象信息中心氣象大數(shù)據(jù)云平臺(tái)團(tuán)隊(duì)成立專(zhuān)項(xiàng)聯(lián)合工作組。結(jié)合氣象大數(shù)據(jù)云平臺(tái)技術(shù)能力，就融入流程、技術(shù)條件、功能流程做早期需求分析，聯(lián)合設(shè)計(jì)國(guó)省業(yè)務(wù)架構(gòu)、共享流程、產(chǎn)品分發(fā)，并就相關(guān)的軟硬件資源申請(qǐng)、基礎(chǔ)數(shù)據(jù)列表做前期溝通，形成工作共識(shí)，同期做好會(huì)議紀(jì)要，為后期融入工作提供了組織保障。

4.2 頂層設(shè)計(jì)要統(tǒng)籌，融入進(jìn)程要同步

對(duì)新建業(yè)務(wù)系統(tǒng)來(lái)說(shuō)，協(xié)同頂層設(shè)計(jì)能有效避免后期技術(shù)架構(gòu)、業(yè)務(wù)流程的反復(fù)工作量。團(tuán)隊(duì)主要采用分工合作方式，設(shè)計(jì)階段由氣象大數(shù)據(jù)云平臺(tái)負(fù)責(zé)國(guó)省業(yè)務(wù)架構(gòu)布局設(shè)計(jì)，研發(fā)團(tuán)隊(duì)同期提交輸入輸出數(shù)據(jù)列表、給出存儲(chǔ)資源、計(jì)算資源、網(wǎng)絡(luò)資源詳細(xì)測(cè)算列表，雙方就消息中間件、數(shù)據(jù)庫(kù)等應(yīng)用軟件進(jìn)行了定制部署，較好地支撐了平臺(tái)融入工作。

4.3 重視數(shù)據(jù)產(chǎn)品接口規(guī)范的設(shè)計(jì)與規(guī)劃

未來(lái)各項(xiàng)業(yè)務(wù)服務(wù)系統(tǒng)融入氣象大數(shù)據(jù)云平臺(tái)是大勢(shì)所趨，各類(lèi)數(shù)據(jù)、產(chǎn)品、接口要嚴(yán)格遵循云平臺(tái)技術(shù)標(biāo)準(zhǔn)和規(guī)范要求。其中，應(yīng)用的大數(shù)據(jù)云平臺(tái)CIMISS數(shù)據(jù)，一般都有相應(yīng)標(biāo)準(zhǔn)規(guī)范，難點(diǎn)在于自身業(yè)務(wù)邏輯輸入及產(chǎn)出的數(shù)據(jù)、產(chǎn)品。團(tuán)隊(duì)參照交通行業(yè)標(biāo)準(zhǔn)及規(guī)范、聯(lián)合公安部交通管理科學(xué)研究所，先后形成了《交管天氣風(fēng)險(xiǎn)預(yù)警指標(biāo)技術(shù)規(guī)范》《高速公路交通安全管控風(fēng)險(xiǎn)預(yù)警等級(jí)》《交管天氣風(fēng)險(xiǎn)管控平臺(tái)風(fēng)險(xiǎn)產(chǎn)品共享格式規(guī)范》等，參照《氣象信息化標(biāo)準(zhǔn)》、大數(shù)據(jù)云平臺(tái)現(xiàn)有規(guī)范，聯(lián)合國(guó)家氣象信息中心，形成功能算法、數(shù)據(jù)服務(wù)接口、監(jiān)控格式規(guī)范多類(lèi)，為平臺(tái)向大數(shù)據(jù)云平臺(tái)的快速融合與業(yè)務(wù)應(yīng)用奠定了良好基礎(chǔ)。

深入閱讀

沈文海, 2016. 再析氣象大數(shù)據(jù)及其應(yīng)用. 中國(guó)信息化, (1): 85-96.

王志, 韓琰紅, 李藹恂, 2017. 我國(guó)公路交通氣象研究與業(yè)務(wù)進(jìn)展.氣象科技進(jìn)展, 7(1): 85-89.

翟永, 劉津, 2015. 建設(shè)地理信息大數(shù)據(jù)的思考. 氣象科技進(jìn)展,5(1): 70-71.

張暉妍, 楊青軍, 李林, 等, 2019. 青海省氣象大數(shù)據(jù)云平臺(tái)設(shè)計(jì). 青?？萍? 3: 67-71.