高曉靜，艾文文，王博妮，張嵐，許福根

（江蘇省氣象局，江蘇南京 210019）

隨著大數(shù)據(jù)技術在氣象檢測數(shù)字化中的應用，氣象部門積累了大量歷史氣象數(shù)據(jù)。如何儲存和處理產生的海量數(shù)據(jù)，并及時將檢測結果進行可視化分析，成為了氣象領域相關學者研究的熱點課題之一[1-3]。各類先進、精密的設備不間斷地產生海量數(shù)據(jù)，這些數(shù)據(jù)的背后蘊含著一定的邏輯關系，可為氣象災害風險評估提供必要的數(shù)據(jù)支撐[4]。

傳統(tǒng)數(shù)據(jù)挖掘分析方法在面對以兆為數(shù)量級高速增長的數(shù)據(jù)時，存在處理速度慢、計算效率低等缺點；而云計算技術則在海量數(shù)據(jù)計算方面展示出了強大的優(yōu)勢[5-9]。利用云計算技術來儲存與處理海量氣象數(shù)據(jù)，已成為當前的研究熱點方向之一。借助動態(tài)監(jiān)測技術，并將分析結果利用計算機圖形技術以圖像的形式展示出來，可提高人們對氣象信息的整體認知，進而降低氣象災害帶來的損失[10-13]。

該文針對氣象數(shù)據(jù)采集途徑和數(shù)據(jù)特點，使用云儲存技術進行氣象數(shù)據(jù)的儲存與處理，并提高數(shù)據(jù)處理效率。采用基于視頻壓縮編碼的方法將氣象數(shù)據(jù)進行分解，并利用雙線性插值法對其進行修正，最終通過壓縮矩陣Apriori 改進算法完成數(shù)據(jù)壓縮。

1 云儲存技術結構

根據(jù)研究對象的不同，氣象數(shù)據(jù)可分為地面氣象數(shù)據(jù)、高空氣象數(shù)據(jù)、海洋氣象數(shù)據(jù)和衛(wèi)星探測資料等，這些氣象數(shù)據(jù)通常包含了一系列氣象要素：氣溫、氣壓、濕度、風速、紫外線指數(shù)及降水量等。這表明氣象數(shù)據(jù)為多源多維數(shù)據(jù)。由于數(shù)據(jù)采集方式的不同，地面站與高空站采集到的氣象數(shù)據(jù)為關于時間的連續(xù)性數(shù)據(jù)，這些數(shù)據(jù)也關聯(lián)了采集地的地理信息。

針對氣象數(shù)據(jù)的上述特點，面向氣象動態(tài)數(shù)據(jù)可視化重構算法的云儲存技術被設計為五層結構：基礎設施層、平臺層、應用層、大數(shù)據(jù)層及用戶層，具體架構設計如圖1 所示。

圖1 該文云儲存架構設計

其中，基礎設施層為主要用于氣象數(shù)據(jù)動態(tài)可視化的物理設備，主要有主機、儲存器、數(shù)據(jù)中心及網(wǎng)絡設備等。在云計算環(huán)境下，原有的基礎設施需要進行云化處理，這些設備的計算資源與儲存資源可實時動態(tài)調動，以實現(xiàn)資源的整合并提高資源利用率。平臺層主要依托基礎設施層進行云計算平臺的搭建，涉及數(shù)據(jù)的儲存、計算等操作。該文使用Hadoop 分布式文件系統(tǒng)進行文件冗余儲存，同時采用MapReduce 實現(xiàn)氣象數(shù)據(jù)的并行計算。應用層在平臺層的基礎上進行應用開發(fā)，實現(xiàn)氣象站點、云平臺的管理與監(jiān)控等應用；大數(shù)據(jù)層則為應用層提供必要的數(shù)據(jù)支撐；用戶層為氣象業(yè)務部門、氣象科研部門以及其他需要氣象信息的行業(yè)提供訪問渠道，從而實現(xiàn)氣象數(shù)據(jù)的共享。

2 氣象數(shù)據(jù)可視化重建算法

2.1 氣象數(shù)據(jù)的預處理

考慮到氣象數(shù)據(jù)的傳輸途徑為無線網(wǎng)絡，在網(wǎng)絡環(huán)境下傳輸海量數(shù)據(jù)進行可視化應用，對數(shù)據(jù)處理算法的效率和速度要求較高[14-16]。該文根據(jù)相鄰空間標量場與矢量場數(shù)據(jù)的特點，采用視頻壓縮編碼的方式對數(shù)據(jù)重新進行編碼，以提高數(shù)據(jù)傳輸?shù)乃俣取?/p>

由于不同氣象監(jiān)測設備的數(shù)據(jù)格式不統(tǒng)一，無法建立相關聯(lián)的可視化成像算法，因此需要將數(shù)據(jù)格式進行統(tǒng)一化處理。該文用于可視化重建算法的數(shù)據(jù)，在結構上分為數(shù)據(jù)頭和數(shù)據(jù)主體兩個部分。數(shù)據(jù)頭為統(tǒng)一的儲存日期、時間、預報時效、經(jīng)度格距、緯度格距以及數(shù)據(jù)的類型信息；數(shù)據(jù)主體則為具體內容。

以溫度數(shù)據(jù)為例，該文利用多維數(shù)據(jù)分解算法按照不同的時間，將四維數(shù)據(jù)分解成一系列同一空間的三維數(shù)據(jù)體；再將三維數(shù)據(jù)體按照不同高度分解成一系列結構一致的二維網(wǎng)格數(shù)據(jù)。這些網(wǎng)格數(shù)據(jù)代表著某時刻、某高度、某空間位置的溫度信息，四維數(shù)據(jù)分解為二維數(shù)據(jù)體示意圖如圖2 所示。

圖2 四維數(shù)據(jù)分解為二維數(shù)據(jù)體示意圖

考慮到大多數(shù)氣象設備采集到的數(shù)據(jù)存在精度低、可視化效果差的問題，需要進行插值處理來提高數(shù)據(jù)量。通常采用左上、左下、右上、右下這4個數(shù)據(jù)來獲得采樣點的數(shù)值。當這4 個網(wǎng)格點的數(shù)值相差較小時，則直接選取距離該采樣點最近的網(wǎng)格點數(shù)值作為采樣值，從而降低計算量。其取值示意圖如圖3 所示。而當4 個網(wǎng)格點的數(shù)值差異較大時，采用雙線性插值法來獲得采樣點數(shù)值，如圖4 所示。假定P為采樣點，其坐標被定義為P(x,y)，其數(shù)值為F(x,y)。而基于雙線性插值法的表達式如下所示：

圖3 不插值采樣點取值示意圖

圖4 基于雙線性插值采樣點取值示意圖

經(jīng)過雙線性插值處理后的溫度數(shù)據(jù)具有以下特點：

1）具有時間、高度、經(jīng)度、維度四維特征；

2）在不同高度層面上，經(jīng)度、維度組成的二維網(wǎng)格數(shù)據(jù)是規(guī)則的二維網(wǎng)絡數(shù)據(jù)；

3）數(shù)據(jù)量顯著增加，新增了大量的無效圖像化數(shù)據(jù)。

針對上述特點，由于采用了視頻圖像格式進行數(shù)據(jù)傳輸會產生無意義的2 GB 和Alpha通道，且這部分數(shù)據(jù)具有各向同值的特點，所以壓縮操作對后續(xù)數(shù)據(jù)可視化處理并不會產生較大影響。

2.2 改進Apriori算法

為了提高對氣象數(shù)據(jù)的潛在聯(lián)系與規(guī)律數(shù)據(jù)挖掘的能力，需要對數(shù)據(jù)進行關聯(lián)。由于氣象數(shù)據(jù)的體量較大，使用少數(shù)計算機進行大規(guī)模數(shù)據(jù)處理需要消耗大量的時間；而云計算技術采用并行算法，則可顯著提高數(shù)據(jù)關聯(lián)的效率。關聯(lián)規(guī)則是數(shù)據(jù)挖掘的一個重要領域，其目的是發(fā)現(xiàn)各類數(shù)據(jù)之間的關聯(lián)性，實現(xiàn)數(shù)據(jù)的整體把控。對于任意一個事務數(shù)據(jù)庫，關聯(lián)規(guī)則被用來產生支持度和置信度，所生成的數(shù)值均不小于預定的最小值。

傳統(tǒng)基于矩陣的改進Apriori 算法需要巨大的計算量，并在連接時生成過多的候選結果，增加較多的無用元素。針對此問題，該文將矩陣中重復的事務整合成一列，通過設定一個權值數(shù)組w來儲存重復事務的條數(shù)，同時另外設定數(shù)組m，儲存矩陣中元素為1 的列數(shù)。通過數(shù)組m來獲取事務的長度，進而縮短壓縮矩陣的時間。為了降低無用元素的個數(shù)，需要對矩陣的行與列進行壓縮。

定理1：假定集合的項均按照字典順序進行排列。當從k項集合生成k+1 項集合時，若這兩個集合前k-1 項不一致，則稱這兩個集合為不可連接的。

推論1：根據(jù)頻繁項集I支持度的計數(shù)遞增順序將每個項目集合中的元素進行排序，若存在兩個頻繁項集Ix和Iy是不可連接的，則Ix、Iy后續(xù)的項目集合均為不可連接。

由于無法連接的項集對數(shù)據(jù)挖掘的意義較小，根據(jù)以上定理和推論，可將矩陣中不能與相鄰項集連接的子集行向量刪除。同時修改數(shù)組m，將剩下的行向量按原順序組成新的矩陣，進而縮小矩陣的規(guī)模。

在四維數(shù)據(jù)體被雙線性插值處理為規(guī)則二維網(wǎng)格數(shù)據(jù)后，采用色彩空間變換方法將規(guī)則二維數(shù)據(jù)處理為RGB 圖像；然后使用VP9 視頻編碼器和色度子采樣模型將RGB 圖像轉化為視頻數(shù)據(jù)，實現(xiàn)數(shù)據(jù)的可視化。在這一過程中，VP9 編碼以最大冗余來進行編碼壓縮，從而保證數(shù)據(jù)質量。

3 測試與驗證

該文測試使用的數(shù)據(jù)來自中國科學院國家空間科學中心網(wǎng)站，主要包含溫度數(shù)據(jù)和風速數(shù)據(jù)兩類，如表1 所示。測試硬件采用了Intel Core i7-6700HQ處理器、16 GB 內存、1 TB 固態(tài)硬盤以及Nvidia GeForce GTX 960M 顯卡；軟件則選用了Win7 64 位操作系統(tǒng)、HTML、CSS、JavaScript 等編輯語言。

表1 原始數(shù)據(jù)氣象數(shù)據(jù)明細

從表1 可以看出，溫度場和風場在緯度方向上并不是等間隔的，這對后期可視化處理效果具有較大影響。原始數(shù)據(jù)在經(jīng)過雙線性插值處理后，變?yōu)橐?guī)則數(shù)據(jù)如表2 所示。在表2 中，溫度場數(shù)據(jù)和風場數(shù)據(jù)在緯度方向已轉變?yōu)?°的間隔數(shù)據(jù)，且整體數(shù)據(jù)量有所增加。

表2 插值后氣象數(shù)據(jù)明細

為了驗證該文所提出的視頻壓縮編碼方法（M3）在數(shù)據(jù)傳輸方面的優(yōu)勢，使用局域網(wǎng)環(huán)境進行對比實驗。對照組采用基于DAT（M1）和分包ZIP（M2）兩種數(shù)據(jù)傳輸方法進行同等可視化質量數(shù)據(jù)傳輸試驗。在試驗中，同等可視化質量被定義為單幀圖像分辨率為1 080 P，其具有相同的數(shù)據(jù)可視化實際空間分辨率和比例尺數(shù)值。為了降低網(wǎng)絡傳輸?shù)挠绊?，均采用HTTP 協(xié)議進行數(shù)據(jù)的網(wǎng)絡傳輸，并采用連續(xù)25 幀的數(shù)據(jù)傳輸量以降低緩存效率與傳輸丟包的影響。對比實驗結果如圖5 所示。

圖5 不同方法所需數(shù)據(jù)量對比

從圖5 可以看出，在進行同質量可視化單幀圖像處理時，三種數(shù)據(jù)傳輸方法所需的數(shù)據(jù)量具有明顯差異。針對溫度場和風場，二進制化的DAT 格式所需的數(shù)據(jù)量比分包ZIP 壓縮需要的數(shù)據(jù)量多52.1%。這是因為分包ZIP 壓縮能夠去除冗余的數(shù)據(jù)，大幅減小需要傳輸?shù)臄?shù)據(jù)。而該文所提出的基于視頻壓縮編碼算法在進行同質量可視化單幀圖像處理時，所需的數(shù)據(jù)量在三種數(shù)據(jù)傳輸方法中最小，比分包ZIP 壓縮算法低31.8%。這是因為基于視頻壓縮編碼方法傳輸?shù)臄?shù)據(jù)是每一層網(wǎng)格數(shù)據(jù)的差異值，而不是原始數(shù)據(jù)。在保證數(shù)據(jù)信息不丟失的情況下，降低了傳輸數(shù)據(jù)量。

4 結束語

該文利用云計算平臺進行氣象數(shù)據(jù)可視化處理，有效提高了海量數(shù)據(jù)的儲存效率和計算能力。所述方法利用視頻壓縮編碼算法實現(xiàn)了網(wǎng)格化的數(shù)據(jù)降維，通過引入雙線性插值法完成了分解后的必要性修正，最后基于改進Apriori 算法實現(xiàn)了數(shù)據(jù)的大幅壓縮。實驗驗證結果表明，該文所提出的基于云儲存的氣象數(shù)據(jù)動態(tài)可視化重建算法，在提高數(shù)據(jù)傳輸速率方面具有良好的工程應用價值。