潘麗

中國民用航空局空中交通管理局氣象中心 北京 100020

引言

隨著科學技術的進步與發(fā)展，我國現(xiàn)代化氣象事業(yè)水平也突飛猛進。在民航航空領域，航空氣象業(yè)務運行所產生的數(shù)據(jù)也隨之激增。高質量，大存儲，種類繁多的氣象資料在《民用航空氣象資料管理辦法》對保存到期限進行了明確的劃分和梳理，資料保存的期限根據(jù)資料的重要程度和類型分為永久、長期（30年）、短期（5年）、暫時[1]4個類型。由于業(yè)務需要24小時不間斷地穩(wěn)定有序的運行，相關氣象數(shù)據(jù)資料也隨之定時、定點的制作和生產出來。所以我們若想利用這些保存期限各不相同，但具備生產時間固定、生產位置固定的航空氣象數(shù)據(jù)、資料來為氣象服務做好安全的支撐作用，就必須對他們進行安全，穩(wěn)定、可靠的存儲。若要解決這個問題，我們就需要一個穩(wěn)定支持海量數(shù)據(jù)存儲的資料存儲管理系統(tǒng)。

1 民航氣象數(shù)據(jù)存儲設計與實現(xiàn)

1.1 數(shù)據(jù)的來源

民航氣象數(shù)據(jù)的來源是多種多樣的，一方面，國內的各類民航氣象數(shù)據(jù)由全國各地區(qū)中心通過民航通信網(wǎng)傳輸至本中心，本中心根據(jù)不同資料的類型對這些資料的質量進行質控入庫把關，將符合要求的資料入至民航氣象數(shù)據(jù)庫。

另一方面，國際氣象資料通過統(tǒng)一的標準格式經由世界區(qū)域系統(tǒng)從英國、美國的世界區(qū)域預報中心通過AFTN線路接收或互聯(lián)網(wǎng)下載至本中心，并由本中心進行質控、入庫、交換等工作。

除此之外，還與同城用戶單位進行多樣數(shù)據(jù)交換。數(shù)據(jù)種類繁多，資料量龐大。如何實現(xiàn)海量數(shù)據(jù)的高效存儲，以及科學、正確進行離線存儲數(shù)據(jù)規(guī)劃[2]，保證大數(shù)據(jù)量的條件下的響應速度，對數(shù)據(jù)進行安全、高效和穩(wěn)定的存儲系統(tǒng)尤為重要。

1.2 技術選型

針對民航氣象領域對數(shù)據(jù)存儲的要求，即將多種來源，多種類型的數(shù)據(jù)分類，長期存儲的特點。可以有以下幾種類型的存儲設備進行選擇。

1.2.1 NAS存儲。該類型設備是一類依托高速網(wǎng)絡作為基礎，以數(shù)據(jù)為中心的具備資料存儲功能的裝置。該設備大多數(shù)表現(xiàn)為一種專用的數(shù)據(jù)存儲服務器。相比傳統(tǒng)的服務器存儲數(shù)據(jù)而言，其對寬帶使用效率較高，調用數(shù)據(jù)較快，成本也遠低于的前者。但是該設備使用時數(shù)據(jù)均為熱存儲狀態(tài)，且對帶寬占用很大，擴容等操作受設備空間限制，拓展性不佳。并且容易受到強磁影響。對于目前大量數(shù)據(jù)持久化存儲的冷存儲要求較為不符。

1.2.2 磁帶庫。磁帶庫一般而言是指磁帶自動裝載裝置和磁帶機（磁帶驅動器）有機結合的一類設備。它采用LTO標準的磁帶作為存儲元件，在需要時由自動裝置或人力將磁帶插入驅動中進行讀取。該類型設備具備存儲空間大，磁帶價格低廉，可實現(xiàn)數(shù)據(jù)與讀寫設備分離、保存時間長等優(yōu)勢。但此類設備占地面積極大，且設備遷移不便，讀取歷史數(shù)據(jù)延時較久。不利于當前對數(shù)據(jù)分析時的快速讀取等要求。

1.2.3 光盤庫。自從BlueRay（藍光）標準的光盤普及以來，具備自動換盤裝置和光盤驅動器的光盤庫就成為新一代冷存儲設備的代表。該設備相對網(wǎng)絡附著存儲而言具備更好的拓展性能，可以通過更換光盤的方法快速擴容海量存儲，同時該設備可以做到秒級對光盤進行更換。和磁帶庫進行對比，該設備體積小巧，數(shù)據(jù)讀取速度出色。同時光盤相對數(shù)據(jù)磁帶而言，具備存儲時間久，讀取速度快，性能穩(wěn)定的特點。針對目前民航氣象業(yè)務數(shù)據(jù)持續(xù)增長的趨勢而言，光盤庫更符合民航氣象數(shù)據(jù)存儲特點，且光盤特有的一次寫入不可修改也能保證數(shù)據(jù)的安全、可靠。

綜上所述，在多種多樣的存儲方式中，將3種存儲技術進行對比（見圖1），并且根據(jù)實際民航氣象的業(yè)務中的資料類型，存儲特點來選擇，光盤庫更符合民航氣象數(shù)據(jù)存儲特點，且光盤存儲具有一次寫入后不可修改的特性也能保證存儲備份數(shù)據(jù)的安全、可靠。

圖1 存儲設備對比

1.3 民航信息存儲系統(tǒng)關鍵技術分析

1.3.1 軟件部署。本存儲系統(tǒng)中，每臺管理端服務器分別部署兩套tomcat，端口設計為8080、8081，這兩套tomcat中，端口8080負責提供管理端的可視化管理功能，例如監(jiān)控服務、查詢系統(tǒng)、下載、修改數(shù)據(jù)字典等頁面功能。端口8081負責定時任務的執(zhí)行，包括數(shù)據(jù)清理、文件打包、入庫失敗重試、數(shù)據(jù)歸檔和數(shù)據(jù)轉儲等任務。

節(jié)點端共計使用了4臺服務器，每臺服務器上部署4套tomcat，將統(tǒng)一接口的入庫和查詢工作動態(tài)的分布到每臺服務器上，以減輕系統(tǒng)的壓力。

本部分采用oOcean Archiver軟件進行管理，該軟件可對目前已連接的盤庫設備進行監(jiān)控和操作。通過該軟件就可以對光盤庫、離線庫和片匣進行操作，查看這些設備的刻錄緩沖區(qū)、讀取緩存區(qū)等相關信息。

1.3.2 主要功能說明。

1.3.2.1 資料打包功能。由于光盤的刻錄數(shù)據(jù)的速度遠慢于磁盤的傳輸速度，所以需要建立一個臨時存儲區(qū)[3]，一個用于將需要備份的數(shù)據(jù)暫時緩存的地方。臨時存儲區(qū)介于光盤和磁盤之間，能夠解決刻錄速度與傳輸速度不匹配的問題。

通過收集分發(fā)系統(tǒng)，將給質控模塊拆解入庫的民航氣象數(shù)據(jù)，分一路同時發(fā)送至本系統(tǒng)服務器目錄/data/filed_origin/原始資料名/下。原始數(shù)據(jù)的目錄結構說明：/原始資料名稱/日期/時次/文件。

大數(shù)據(jù)環(huán)境下，由于文件刻錄容量需要根據(jù)備份光盤單盤容量決定，所以會在刻錄之前會根據(jù)對不同數(shù)據(jù)類型、數(shù)據(jù)量大小及數(shù)據(jù)頻次進行分類打包。

根據(jù)不同類型的數(shù)據(jù)進行打包配置，執(zhí)行定時打包任務，每小時執(zhí)行一次，將原始數(shù)據(jù)進行打包，并生成對應的索引數(shù)據(jù)，備份存入數(shù)據(jù)庫中。打包規(guī)則：將數(shù)據(jù)資料根據(jù)數(shù)據(jù)的不同特點，按天、按時次等在氣象信息系統(tǒng)中進行打包周期配置。

1.3.2.2 ISO文件生成。每次生成新的zip打包文件時，程序會對當前目錄中的zip進行計算，是否達到單張盤的容量，是的話會等待生成iso文件。根據(jù)光盤的單盤容量來配置ISO文件的生成，本系統(tǒng)選用索尼單盤128GB的藍光光盤，刻錄時一般刻錄最大存儲的80%，大約在115GB~117GB左右，就可以生成對應的iso文件。①每天有定時任務執(zhí)行，原始資料生成iso任務FILED_ORIGIN_ISO。②生成ISO功能：將符合大小的打包緩存目錄下的文件寫入到ISO的過程。當ISO定時任務執(zhí)行時，將之前打包目錄下存在的所有文件進行寫入到iso中，每類資料都需要單獨一個目錄。③程序將打包資料生成iso文件后，該資料便無法修改，與此同時iso信息也會寫入光盤庫系統(tǒng)數(shù)據(jù)庫的iso索引信息庫中。

1.3.2.3 文件刻錄、追蹤和校驗。生成ISO后，后臺定時任務根據(jù)iso索引信息，將iso文件放到光盤庫指定的寫目錄下。向光盤庫預約申請一張空光盤（光盤庫按照位置先后順序使用空光盤），然后生成對應的刻錄請求，發(fā)給光盤庫從而生成一個刻錄任務。根據(jù)后臺刻錄光驅是否有空閑，若有空閑便將刻錄任務分配至空閑光驅，將之前預約申請的空盤自動放置光驅中，定時開啟刻錄任務。

光盤庫會返回刻錄任務的結果，若刻錄未結束，則生成一條對應的追蹤任務，由系統(tǒng)后臺定期執(zhí)行追蹤任務，追蹤所有未完成的刻錄任務。

當刻錄任務完成后，會進行刻錄映像校驗。對比刻錄前后的數(shù)據(jù)大小是否一致，若是一致會在前段反饋結果，刻錄成功。若校驗不一致，會顯示刻錄失敗?？啼洺晒髮h除本地的iso文件+索引，更新索引數(shù)據(jù)中的文件位置信息。

1.3.2.4 光盤調度軟件（oOcean Archiver）。①本系統(tǒng)的光盤調度軟件為oOcean Archiver。②光盤刻錄有4個驅動器用于多刻錄任務，如圖2。③通過軟件可以查看刻錄光盤狀態(tài)及空盤狀態(tài)等。

圖2 驅動器展示

1.3.3 硬件設備規(guī)劃。根據(jù)存儲系統(tǒng)部署架構、軟件的運行要求進行分析，可總結出本系統(tǒng)所需硬件及服務器的配置規(guī)劃如表1所示，其中，服務器要求CPU核心數(shù)不小于八核，即最低要求IntelXeonE5 2620 v4（8 Cores，2.1Ghz），并應依據(jù)數(shù)據(jù)量需求進行酌情增加。

表1 硬件設備配置表

2 結束語

綜上所述，通過本系統(tǒng)能夠實現(xiàn)對海量數(shù)據(jù)進行歸納、整理，并通過光盤文件管理系統(tǒng)對文件分類、整理、存儲。滿足民航氣象數(shù)據(jù)的存儲特點，對不同存儲周期的資料存儲需求，并且能夠保證數(shù)據(jù)信息安全，可對今后使用歷史資料推演天氣過程、發(fā)展航空氣象科研、提供更加精確的天氣預報等具有重要的實現(xiàn)意義。