王　壘

(陜西省氣象信息中心，西安　710014)

?

面向服務(wù)的氣象大數(shù)據(jù)

王壘

(陜西省氣象信息中心，西安710014)

摘要：依據(jù)國家大數(shù)據(jù)發(fā)展戰(zhàn)略和大數(shù)據(jù)特性，對氣象大數(shù)據(jù)特征、面臨問題和技術(shù)創(chuàng)新進行闡述，深入分析氣象大數(shù)據(jù)服務(wù)方式和跨領(lǐng)域服務(wù)的發(fā)展方向。提出以標(biāo)準(zhǔn)先行為前提，集約整合為手段，通過數(shù)據(jù)層、邏輯層和界面層的整合來搭建面向服務(wù)的氣象大數(shù)據(jù)環(huán)境，借助大數(shù)據(jù)發(fā)展機遇加快推動氣象大數(shù)據(jù)發(fā)展步伐。

關(guān)鍵詞：氣象大數(shù)據(jù)；數(shù)據(jù)服務(wù)；數(shù)據(jù)整合

近年來，信息化浪潮席卷全球，尤其以互聯(lián)網(wǎng)為核心標(biāo)準(zhǔn)的信息技術(shù)和產(chǎn)品正在深刻影響社會發(fā)展。數(shù)據(jù)與物質(zhì)、能源一樣都是最寶貴的生產(chǎn)要素，是戰(zhàn)略性資源。國務(wù)院關(guān)于印發(fā)促進大數(shù)據(jù)發(fā)展行動綱要的通知國發(fā)〔2015〕50號)明確提出:“2018年底前建成國家政府?dāng)?shù)據(jù)統(tǒng)一開放平臺，率先在信用、交通、醫(yī)療、衛(wèi)生、就業(yè)、社保、地理、文化、教育、科技、資源、農(nóng)業(yè)、環(huán)境、安監(jiān)、金融、質(zhì)量、統(tǒng)計、氣象、海洋、企業(yè)登記監(jiān)管等重要領(lǐng)域?qū)崿F(xiàn)公共數(shù)據(jù)資源合理適度向社會開放，帶動社會公眾開展大數(shù)據(jù)增值性、公益性開發(fā)和創(chuàng)新應(yīng)用，充分釋放數(shù)據(jù)紅利，激發(fā)大眾創(chuàng)業(yè)、萬眾創(chuàng)新活力。”大數(shù)據(jù)技術(shù)是對海量數(shù)據(jù)的高效存儲和處理。目前氣象數(shù)據(jù)增量達1 PB/年左右，數(shù)據(jù)類型復(fù)雜，呈現(xiàn)出大數(shù)據(jù)的特性。氣象信息化的發(fā)展為氣象領(lǐng)域大數(shù)據(jù)奠定的基礎(chǔ)。

1氣象大數(shù)據(jù)

1.1大數(shù)據(jù)

何謂大數(shù)據(jù)，目前業(yè)界還沒有公認(rèn)的說法。就其定義而言，大數(shù)據(jù)是一個較為抽象的概念。廣義上講，大數(shù)據(jù)包括大數(shù)據(jù)技術(shù)、大數(shù)據(jù)工程、大數(shù)據(jù)科學(xué)和大數(shù)據(jù)應(yīng)用等相關(guān)領(lǐng)域。對大數(shù)據(jù)進行廣義分類是為了適應(yīng)信息經(jīng)濟時代發(fā)展需要而產(chǎn)生的科學(xué)技術(shù)發(fā)展的趨勢[1]。

大數(shù)據(jù)是以TB為基本計量單位，以年增長量至少翻番的互聯(lián)網(wǎng)動態(tài)三維數(shù)據(jù)，三維數(shù)據(jù)包括個人、社會和物質(zhì)世界數(shù)據(jù)。

大數(shù)據(jù)階段是經(jīng)歷數(shù)據(jù)、信息、知識迭代過程演化而來，同時大數(shù)據(jù)在處理能力和手段上較原始分析處理方法有質(zhì)的飛躍。由于大數(shù)據(jù)所屬領(lǐng)域不同，其查詢及處理需求的分類不同。例如，互聯(lián)網(wǎng)行業(yè)按照其業(yè)務(wù)需求，可以將大數(shù)據(jù)處理技術(shù)分為在線、近線以及離線。其中，在線模式數(shù)據(jù)的處理時間一般限定在ms甚至是μs范圍內(nèi)，而離線模式數(shù)據(jù)的處理時間可延長至以d為單位，近線模式的數(shù)據(jù)處理時間則界于二者之間；而按照處理需求劃分，大數(shù)據(jù)的處理需求有可面向于海量數(shù)據(jù)的分布式處理、非結(jié)構(gòu)化數(shù)據(jù)處理以及實時數(shù)據(jù)處理。

目前大數(shù)據(jù)發(fā)展呈現(xiàn)數(shù)據(jù)從多聚類、少融合，向聚類與融合并重發(fā)展，發(fā)展趨勢可歸納為：大數(shù)據(jù)即服務(wù)，為某一環(huán)節(jié)或某一問題提供解決方案；不求所有，但求所用—參與跨行業(yè)的數(shù)據(jù)交易；精準(zhǔn)甄別，特征畫像—改進業(yè)務(wù)決策模式，提升競爭力；打通信息閉環(huán)，建立與客戶的產(chǎn)業(yè)互動；構(gòu)建大數(shù)據(jù)專業(yè)化機構(gòu)，細分行業(yè)市場，形成良性生態(tài)；做好大數(shù)據(jù)使行業(yè)市場更加細分和碎片化的應(yīng)對；參與智慧城市建設(shè)，提升行業(yè)大數(shù)據(jù)與政府大數(shù)據(jù)的社會供給融合。

1.2氣象大數(shù)據(jù)

氣象部門的信息化建設(shè)在我國起步較早，發(fā)展也很迅速，經(jīng)多年努力取得不少成績。目前氣象部門每年新增數(shù)據(jù)量達到1 PB，傳統(tǒng)的數(shù)據(jù)存儲和處理方法越來越吃力，氣象大數(shù)據(jù)局面日益形成。如何運用大數(shù)據(jù)分析方法對氣象數(shù)據(jù)進行處理是一個急需解決的問題。

氣象大數(shù)據(jù)主要分為氣象領(lǐng)域大數(shù)據(jù)和氣象互聯(lián)網(wǎng)大數(shù)據(jù)。氣象領(lǐng)域大數(shù)據(jù)包括氣象觀測數(shù)據(jù)(部門內(nèi)外)、業(yè)務(wù)派生數(shù)據(jù)和中間產(chǎn)品數(shù)據(jù)、職能部門管理數(shù)據(jù)(財務(wù)、人事、項目……)和各類業(yè)務(wù)系統(tǒng)的狀態(tài)數(shù)據(jù)和日志數(shù)據(jù)等。氣象大數(shù)據(jù)采集不僅包括傳統(tǒng)的氣象數(shù)據(jù)，還包括其他可能用到的數(shù)據(jù)[2]。氣象互聯(lián)網(wǎng)大數(shù)據(jù)包括移動終端搭載的氣象要素傳感設(shè)備的探測數(shù)據(jù)、用戶隨手拍攝上傳的天氣狀態(tài)照片、搜索引擎對氣象相關(guān)敏感詞的統(tǒng)計分析數(shù)據(jù)和其他所有可供氣象部門應(yīng)用的互聯(lián)網(wǎng)數(shù)據(jù)。兩者具體差別如表1所示。

表1　氣象大數(shù)據(jù)對比

(2)面臨問題

氣象大數(shù)據(jù)發(fā)展面臨問題：一是部門內(nèi)數(shù)據(jù)分散、信息孤島嚴(yán)重；二是與氣象有關(guān)的數(shù)據(jù)收集缺乏全面性和系統(tǒng)性；三是大數(shù)據(jù)應(yīng)用能力嚴(yán)重缺乏，沒有大數(shù)據(jù)處理、分析、挖掘、可視化等方面的技術(shù)儲備和人才儲備；四是數(shù)據(jù)開放共享、安全保障、資產(chǎn)保護等方面頂層設(shè)計的缺失。

氣象大數(shù)據(jù)建設(shè)面臨問題：一是數(shù)據(jù)整合難，數(shù)據(jù)質(zhì)量較差，數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一；二是平臺整合難，平臺條件不一、標(biāo)準(zhǔn)不同；三是技術(shù)綜合難，技術(shù)特點不一，技術(shù)標(biāo)準(zhǔn)不同；四是需求適應(yīng)難，需求變化多樣，需求標(biāo)準(zhǔn)不一。

(3)特點及技術(shù)創(chuàng)新

大數(shù)據(jù)應(yīng)該具備5V特征，即數(shù)據(jù)規(guī)模大(Volume)、數(shù)據(jù)種類多(Variety)、處理速度快(Velocity)、數(shù)據(jù)價值密度低(Value)、數(shù)據(jù)真實性(Veracity)。氣象數(shù)據(jù)基本具備大數(shù)據(jù)特征，同時氣象數(shù)據(jù)可以作為一個重要的維度，參與各類大數(shù)據(jù)產(chǎn)品的發(fā)放和服務(wù)。氣象數(shù)據(jù)時空內(nèi)容豐富，依靠深度的數(shù)據(jù)挖掘和機器學(xué)習(xí)，將氣象數(shù)據(jù)的價值滲透到其他行業(yè)的數(shù)據(jù)分析中，可以實現(xiàn)具有氣象特色的大數(shù)據(jù)價值最大化。

整堂課教師沒有講解，全程以提問、追問、鼓勵貫穿教學(xué)過程，通過學(xué)生的實際操作及交流討論，完成教學(xué)目標(biāo)，在教學(xué)中促進學(xué)生完成自我教育的五個環(huán)節(jié)。即便是同樣的教學(xué)內(nèi)容，教師可以從各自的需求出發(fā)，從不同的角度、不同的層次以各種方式給學(xué)生設(shè)置問題。教無定法，貴在得法。教師設(shè)置問題時要注意設(shè)置的問題能否有效促進學(xué)生的自我教育，即激發(fā)學(xué)生的自我認(rèn)識，驅(qū)動學(xué)生獨立思考，激發(fā)學(xué)生的創(chuàng)新思維。

大數(shù)據(jù)也在挑戰(zhàn)著技術(shù)創(chuàng)新，尤其是大量與業(yè)務(wù)邏輯和技術(shù)無關(guān)的數(shù)據(jù)處理技術(shù)，主要表現(xiàn)在以下4個方面：信息展現(xiàn)技術(shù)，GIS地圖、軌跡圖、熱力圖、輻射圖和標(biāo)簽云圖等；分析算法，社會網(wǎng)絡(luò)、自然語言處理、時序分析和邏輯回歸等；處理架構(gòu)，Hadoop分布式計算平臺、SQL-on-Hadoop、Spark和STREAM實時計算等；數(shù)據(jù)獲取，網(wǎng)頁埋點、網(wǎng)絡(luò)爬蟲、分布式數(shù)據(jù)存儲和傳感器技術(shù)等。這些技術(shù)也是氣象大數(shù)據(jù)發(fā)展過程中需要解決和掌握的。

2氣象大數(shù)據(jù)服務(wù)方式和方向

2.1服務(wù)方式

(1)部門內(nèi)部數(shù)據(jù)服務(wù)部門內(nèi)部數(shù)據(jù)服務(wù)主要以基礎(chǔ)數(shù)據(jù)和數(shù)據(jù)產(chǎn)品的方式提供，這些數(shù)據(jù)主要來源氣象業(yè)務(wù)和氣象領(lǐng)域內(nèi)相關(guān)平臺。氣象業(yè)務(wù)包括觀測業(yè)務(wù)，涵蓋地面、高空、輻射、雷達、衛(wèi)星和環(huán)境等實況觀測數(shù)據(jù)；天氣業(yè)務(wù)，涵蓋主觀預(yù)報、數(shù)值預(yù)報等預(yù)報相關(guān)產(chǎn)品；氣候業(yè)務(wù)，涵蓋氣候預(yù)測、氣候變化、氣候模式等氣候相關(guān)產(chǎn)品；衛(wèi)星業(yè)務(wù)，涵蓋靜止衛(wèi)星、極軌衛(wèi)星以及空間天氣相關(guān)產(chǎn)品；服務(wù)業(yè)務(wù)，涵蓋高空、海洋、輻射等14大類基礎(chǔ)數(shù)據(jù)及數(shù)據(jù)產(chǎn)品服務(wù)。氣象業(yè)務(wù)數(shù)據(jù)也包括數(shù)據(jù)歸檔及數(shù)據(jù)備份恢復(fù)系統(tǒng)、產(chǎn)品實時模式與手工模式展示、規(guī)范化和標(biāo)準(zhǔn)化產(chǎn)品生成處理流程、評估與報警機制、信息全流程監(jiān)控和服務(wù)產(chǎn)品發(fā)布平臺等生產(chǎn)的數(shù)據(jù)產(chǎn)品和日志數(shù)據(jù)。

(2)行業(yè)數(shù)據(jù)服務(wù)行業(yè)數(shù)據(jù)服務(wù)主要是面向數(shù)據(jù)服務(wù)接口的軟件開發(fā)及應(yīng)用，氣象部門非公開接口是其他行業(yè)基于氣象因素提供公共服務(wù)的重要資源，針對非公開接口，仍處于通過氣象部門的業(yè)務(wù)推廣，雙方設(shè)立項目的形式開展。由于氣象部分的業(yè)務(wù)推廣和合作的技術(shù)瓶頸，很多數(shù)據(jù)合作僅局限于數(shù)據(jù)推送層面。由于對行業(yè)之間數(shù)據(jù)服務(wù)的限制，因此對氣象數(shù)據(jù)價值的深層挖掘和增值服務(wù)開發(fā)還很欠缺。

2.2服務(wù)方向

在國家重大方針政策的引導(dǎo)下，加大氣象數(shù)據(jù)資源與行業(yè)數(shù)據(jù)資源、生態(tài)數(shù)據(jù)資源和社會經(jīng)濟數(shù)據(jù)資源的關(guān)聯(lián)分析和融合利用，完善對經(jīng)濟的動態(tài)監(jiān)測、開放共享、吸引眾智、敏捷響應(yīng)社會需求，用氣象大數(shù)據(jù)手段洞察民生氣象需求，優(yōu)化配置氣象服務(wù)資源，提升公共服務(wù)水平，提高民生氣象服務(wù)的在線化、便捷化、均等化水平，為人民生活提供無微不至的個性化氣象服務(wù)，為社會生產(chǎn)提供專業(yè)化的氣象服務(wù)。

(1)防災(zāi)減災(zāi)領(lǐng)域通過挖掘氣象大數(shù)據(jù)發(fā)現(xiàn)災(zāi)害產(chǎn)生的各種氣象因素，及時完善各類氣象災(zāi)害臨界指標(biāo)、借助氣象大數(shù)據(jù)分析提高氣象災(zāi)害預(yù)警預(yù)報的精準(zhǔn)度和時效性，做到完善災(zāi)害防御體系、提高災(zāi)害預(yù)防能力和提升應(yīng)急救災(zāi)能力。

(2)旅游領(lǐng)域定制天氣氣候景觀和專項旅游產(chǎn)品，在經(jīng)過數(shù)據(jù)深度挖掘、分析、繼續(xù)加工，形成全國范圍、圍繞某一氣象要素的動態(tài)產(chǎn)品地圖，結(jié)合旅游數(shù)據(jù)進行深度分析，提供吃、穿、住、行的綜合服務(wù)，根據(jù)游客熱力分布、團隊位置定位、景區(qū)關(guān)注度等旅游數(shù)據(jù)進行分析，對游客聚集多的景區(qū)或路線進行優(yōu)先發(fā)布預(yù)警。

(3)交通領(lǐng)域通過加強對交通高影響天氣的監(jiān)測和預(yù)警，為高速公路、鐵路、航運、航空等部門制作針對性的專業(yè)氣象交通服務(wù)產(chǎn)品，進一步結(jié)合交通視頻等數(shù)據(jù)，為公眾推薦最佳路線選擇，提升公共交通氣象服務(wù)能力。

(4)農(nóng)業(yè)領(lǐng)域開展基于氣象大數(shù)據(jù)的農(nóng)業(yè)天氣預(yù)報，精準(zhǔn)地服務(wù)于各地農(nóng)業(yè)生產(chǎn)，通過氣象大數(shù)據(jù)實現(xiàn)產(chǎn)量預(yù)報、氣候品質(zhì)評價和營銷決策等。

3面向服務(wù)的氣象大數(shù)據(jù)環(huán)境

面向服務(wù)的氣象大數(shù)據(jù)環(huán)境首要解決基礎(chǔ)標(biāo)準(zhǔn)問題，即氣象大數(shù)據(jù)基礎(chǔ)性數(shù)據(jù)資源標(biāo)準(zhǔn)規(guī)范、基礎(chǔ)設(shè)施資源池標(biāo)準(zhǔn)規(guī)范、氣象模型和算法通用標(biāo)準(zhǔn)規(guī)范和氣象數(shù)據(jù)服務(wù)的通用標(biāo)準(zhǔn)規(guī)范。同時采用集約整合的思想來構(gòu)建開源、開發(fā)、構(gòu)件和接口的氣象大數(shù)據(jù)環(huán)境。

3.1設(shè)計思路

氣象大數(shù)據(jù)環(huán)境搭建以氣象數(shù)據(jù)整合展開，包括：數(shù)據(jù)層整合、邏輯層整合和界面層整合。數(shù)據(jù)層的整合分為：數(shù)據(jù)庫的整合、文件數(shù)據(jù)的整合、實時數(shù)據(jù)的整合、硬件和系統(tǒng)信息的整合。邏輯層的整合分為：接口式整合(被整合系統(tǒng)提供服務(wù)接口)、入侵式整合(被整合系統(tǒng)沒提供接口)。界面層的整合分為：對于B/S和C/S展示系統(tǒng)整合。氣象大數(shù)據(jù)環(huán)境實現(xiàn)路徑如圖1所示。

圖1　氣象大數(shù)據(jù)環(huán)境實現(xiàn)路徑

3.2實施方案

數(shù)據(jù)層的整合是對數(shù)據(jù)源的整合，數(shù)據(jù)底層整合，靈活性高，但整合難度較大。針對數(shù)據(jù)源的整合其前提是被集成整合的數(shù)據(jù)源必須開放訪問且公開數(shù)據(jù)結(jié)構(gòu)，即對于關(guān)系型數(shù)據(jù)庫必須公開表結(jié)構(gòu)，表間關(guān)系，編碼的含義等；對于非結(jié)構(gòu)化數(shù)據(jù)必須公開數(shù)據(jù)存儲類型和讀取方法；對于文本數(shù)據(jù)必須公開文本存儲結(jié)構(gòu)，字段意義，數(shù)據(jù)格式等；對于實時數(shù)據(jù)必須公開數(shù)據(jù)流量大小，數(shù)據(jù)解密方式，數(shù)據(jù)傳輸頻率等信息。整合方式是運用多數(shù)據(jù)源適配技術(shù)，在運行監(jiān)控系統(tǒng)中建立原始數(shù)據(jù)整合邏輯，該邏輯可適配各種數(shù)據(jù)源類型，對不同的數(shù)據(jù)格式進行適配處理。數(shù)據(jù)層整合邏輯圖2所示。

圖2　數(shù)據(jù)整合邏輯圖

邏輯層的整合是數(shù)據(jù)業(yè)務(wù)加工的整合，主要是業(yè)務(wù)邏輯的整合，關(guān)鍵點是協(xié)議轉(zhuǎn)換和服務(wù)裝配。整合前提是整合的業(yè)務(wù)系統(tǒng)提供用于監(jiān)控的接口或服務(wù)，或可通過二次開發(fā)具備提供接口或服務(wù)的能力。業(yè)務(wù)邏輯整合有3方面：①業(yè)務(wù)邏輯層的整合建立在企業(yè)服務(wù)總線(ESB)和服務(wù)裝配的基礎(chǔ)上；②通過協(xié)議轉(zhuǎn)換同各業(yè)務(wù)系統(tǒng)交互；③ESB提供的服務(wù)，按照業(yè)務(wù)需求裝配編排，可適應(yīng)未來業(yè)務(wù)系統(tǒng)的變更、整合和擴展。通過邏輯層整合達到化繁為簡作用。

界面層的整合是數(shù)據(jù)展示的整合。關(guān)鍵點包含界面構(gòu)件、界面構(gòu)件庫、界面可視化裝配環(huán)境的建立。整合前提是整合業(yè)務(wù)系統(tǒng)無相應(yīng)的服務(wù)接口可以使用，且無法為其他業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)支持。這樣可以安全、穩(wěn)定的集成現(xiàn)有系統(tǒng)，保留原有監(jiān)控軟件資產(chǎn)。界面層整合包括4種方式：①建立界面構(gòu)件，界面構(gòu)件可嵌入C/S客戶端、網(wǎng)頁、圖表、數(shù)據(jù)列表等；②建立界面構(gòu)件庫，構(gòu)件庫按照基礎(chǔ)構(gòu)件、容器構(gòu)件、業(yè)務(wù)構(gòu)件進行搭建管理；③監(jiān)控點的增加就是界面構(gòu)件的添加，可為未來的監(jiān)控業(yè)務(wù)擴展帶來便利；④界面可視化裝配環(huán)境提供通過拖拽方式進行監(jiān)控界面的按需定制組裝，做到一屏展示多個監(jiān)控點。界面層整合示意如圖3所示。

圖3　界面層整合示意圖

4結(jié)語

實施氣象大數(shù)據(jù)，是適應(yīng)大數(shù)據(jù)發(fā)展趨勢，也是落實國家大數(shù)據(jù)戰(zhàn)略，對促進氣象與經(jīng)濟社會融合、強化氣象行政事中事后監(jiān)管、促進氣象預(yù)報準(zhǔn)確率的提高都具有十分重要意義。氣象大數(shù)據(jù)是實現(xiàn)氣象信息化的核心關(guān)鍵，因此在氣象部門應(yīng)該推進氣象大數(shù)據(jù)戰(zhàn)略，加強氣象大數(shù)據(jù)應(yīng)用能力、安全保障體系、人才隊伍建設(shè)，構(gòu)建健康可持續(xù)發(fā)展的氣象大數(shù)據(jù)生態(tài)系統(tǒng)，推動氣象與經(jīng)濟社會的融合，提升氣象在國民經(jīng)濟中地位和作用。由于氣象部門以大數(shù)據(jù)技術(shù)為核心的信息化才剛起步，對于氣象大數(shù)據(jù)的理解、應(yīng)用和探索還在進行中，因此在氣象大數(shù)據(jù)發(fā)展脈絡(luò)把握，如何將大數(shù)據(jù)技術(shù)與氣象業(yè)務(wù)相結(jié)合，如何開拓新的數(shù)據(jù)服務(wù)模式和數(shù)據(jù)服務(wù)創(chuàng)新機制等方面還有許多承待解決的問題。

參考文獻：

[1]深圳國泰安教育技術(shù)股份有限公司大數(shù)據(jù)事業(yè)部群,中科院深圳先進技術(shù)研究院—國泰安金融大數(shù)據(jù)研究中心.大數(shù)據(jù)導(dǎo)論—關(guān)鍵技術(shù)與行業(yè)應(yīng)用最佳實踐[M].北京：清華大學(xué)出版社，2015：2-3.

[2]李社宏.大數(shù)據(jù)時代氣象數(shù)據(jù)分析應(yīng)用的新趨勢[J]. 陜西氣象，2014(2)：41-44.

文章編號：1006-4354(2016)04-0036-04

收稿日期：2015-02-26

作者簡介：王壘(1980—)，男，陜西藍田人，漢族，碩士，工程師，從事信息化和大數(shù)據(jù)方面工作。

基金項目：陜西省氣象局科技創(chuàng)新基金計劃項目(2015M-55)

中圖分類號：P413

文獻標(biāo)識碼：B

王壘.面向服務(wù)的氣象大數(shù)據(jù)[J].陜西氣象，2016(4)：36-39.