韋廣昊,相文璽
(1.中國海洋大學 青島市 266100; 2.國家海洋信息中心 天津市 300171)
國際浮標資料業(yè)務化處理系統(tǒng)軟件項目建設(shè)研究
韋廣昊1,2,相文璽2
(1.中國海洋大學 青島市 266100; 2.國家海洋信息中心 天津市 300171)
通過介紹國際浮標資料的應用前景,指出建設(shè)國際浮標資料處理系統(tǒng)的意義,闡述建設(shè)國際浮標資料處理系統(tǒng)的建設(shè)原則和實施過程,旨在為同類軟件項目設(shè)計提供參考。
軟件項目 國際浮標 建設(shè)
近年來,隨著國際業(yè)務化海洋學合作的不斷深入,所獲得的觀測資料在一定程度上為全球大洋研究、海洋防災減災等方面發(fā)揮了重要的支撐保障作用,國際海洋資料已成為重要的資料來源。盡管如此,我國目前某些海域的海洋環(huán)境數(shù)據(jù)基本上還是空白,尤其是缺乏長期、定點、連續(xù)的觀測數(shù)據(jù)。美國國家海洋資料浮標中心(NDBC)和國際資料浮標聯(lián)合工作組(DBCP)負責收集和實時發(fā)布全球錨系浮標資料,觀測資料覆蓋大西洋、太平洋和印度洋等重要海域。建設(shè)國際浮標資料業(yè)務化處理系統(tǒng)以獲取并處理此部分資料對于增加國際海洋環(huán)境資料儲量、分析掌握全球大洋溫、鹽、流、浪、氣象等環(huán)境場分布,提高海洋防災減災和海洋環(huán)境保障能力,尤其是海洋領(lǐng)域應對氣候變化等方面,均具有重要的現(xiàn)實意義。
國際浮標資料業(yè)務化處理系統(tǒng)建設(shè)是一項涉及領(lǐng)域廣、技術(shù)要求高的業(yè)務化能力建設(shè)項目,在項目建設(shè)過程中,要以科學發(fā)展觀為指導,以服務海洋經(jīng)濟、海洋管理、海洋權(quán)益和防災減災為重點,統(tǒng)籌規(guī)劃,明確項目建設(shè)的目標、任務和質(zhì)量保障措施,同時結(jié)合國家海洋局已建和在建業(yè)務化系統(tǒng)和平臺,按照業(yè)務集成的整體要求,形成結(jié)構(gòu)合理、標準統(tǒng)一、服務規(guī)范、安全可靠、快速高效的國際浮標資料業(yè)務化運行處理體系,提高國際浮標數(shù)據(jù)的處理和管理水平。
系統(tǒng)開發(fā)必須做好前期可行性研究,加強NDBC 與 DBCP 網(wǎng)站發(fā)布數(shù)據(jù)現(xiàn)狀以及存在問題分析、系統(tǒng)業(yè)務化運行需求分析等,開展系統(tǒng)建設(shè)規(guī)劃與設(shè)計,既要體現(xiàn)和遵循海洋環(huán)境業(yè)務化觀測信息技術(shù)的科學性,又要突出和強化系統(tǒng)建設(shè)的實用性。
系統(tǒng)建設(shè)盡量采用國家已有的標準和規(guī)范。同時,為了實現(xiàn)與國內(nèi)海洋環(huán)境保障體系、海洋環(huán)境綜合數(shù)據(jù)庫、海洋環(huán)境信息產(chǎn)品制作系統(tǒng)以及目前國家海洋局規(guī)劃建設(shè)的海洋環(huán)境與地理信息服務平臺等內(nèi)部與外部的信息交互與共享,制定必要的信息、編碼、接口等標準體系。
充分利用先進的計算機技術(shù)和數(shù)據(jù)處理技術(shù),切實提高國際浮標資料接收/收集/下載、處理、管理和應用服務能力,同時從業(yè)務化運行的目標出發(fā),集成建設(shè)能夠長期穩(wěn)定運行,信息及時方便更新、系統(tǒng)功能不斷完善的國際浮標資料業(yè)務化處理與服務平臺。
系統(tǒng)建設(shè)應從國際浮標資料基礎(chǔ)信息和基本數(shù)據(jù)的組織和處理技術(shù)研究著手,構(gòu)架起堅實的信息基礎(chǔ);以應用目標牽動分析建模工作,以點帶面,逐步深入,分步實施,最終集成。
圖1 國際浮標資料業(yè)務化處理系統(tǒng)物理結(jié)構(gòu)圖
國際浮標資料業(yè)務化處理系統(tǒng)在物理體系層是由服務器—客戶端等組成的局域網(wǎng)絡(luò)環(huán)境,包括數(shù)據(jù)下載與解析服務器、數(shù)據(jù)處理客戶端、數(shù)據(jù)加載服務器、數(shù)據(jù)庫、外設(shè)、網(wǎng)絡(luò)及相關(guān)的軟、硬件系統(tǒng),為國際浮標資料的業(yè)務化接收、處理和輸出等環(huán)節(jié)的正常運轉(zhuǎn)提供必要的保障。國際浮標資料業(yè)務化處理系統(tǒng)物理結(jié)構(gòu)見圖 1 。
國際浮標資料業(yè)務化處理系統(tǒng)由邏輯上集成、但又均能靈活配置獨立運行、且均具有可復用性的 7 個功能模塊組成,包括資料下載與解析模塊、資料標準化處理模塊、基礎(chǔ)數(shù)據(jù)庫、基于基礎(chǔ)數(shù)據(jù)庫的質(zhì)量控制模塊、基于基礎(chǔ)數(shù)據(jù)庫和 GIS 平臺的數(shù)據(jù)可視化與監(jiān)視模塊、專題數(shù)據(jù)庫系統(tǒng),按照數(shù)據(jù)接收處理的流程設(shè)計各功能模塊之間的邏輯關(guān)系,邏輯結(jié)構(gòu)關(guān)系如圖 2所示。
圖2 國際浮標資料業(yè)務化處理系統(tǒng)邏輯結(jié)構(gòu)圖
國際浮標資料業(yè)務化處理系統(tǒng)主要包括資料下載與解析、資料標準化處理、數(shù)據(jù)庫存儲和管理、數(shù)據(jù)質(zhì)量控制、數(shù)據(jù)可視化與監(jiān)視、專題數(shù)據(jù)制作與數(shù)據(jù)庫存儲和管理等六大功能。
2.3.1 資料下載與解析功能
根據(jù)數(shù)據(jù)發(fā)布更新頻率、資料特點和網(wǎng)頁結(jié)構(gòu)等,通過設(shè)置數(shù)據(jù)接收服務器、系統(tǒng)啟動參數(shù)、系統(tǒng)運行周期、下載與解析策略配置等參數(shù),實現(xiàn)對現(xiàn)有各個網(wǎng)頁發(fā)布的國際浮標資料的自動下載、解析與存儲,輸出原始數(shù)據(jù)集和臨時網(wǎng)頁代碼文件,對數(shù)據(jù)下載狀況進行顯示、監(jiān)控和日志記錄。同時跟蹤網(wǎng)站結(jié)構(gòu)變化、站點增減與更新、數(shù)據(jù)無更新周期等信息,單獨日志記錄和警報更新及異常情況。
2.3.2 資料標準化處理功能
根據(jù)國際浮標資料編碼屬性,實現(xiàn)資料的識別、解碼、格式檢查、代碼轉(zhuǎn)換等預處理,同時制定國際浮標資料標準記錄格式,對資料進行標準化轉(zhuǎn)換和數(shù)據(jù)庫與數(shù)據(jù)文件的雙路同步輸出,顯示、監(jiān)控和日志記錄數(shù)據(jù)標準化處理狀況,單獨日志記錄和警報異常情況。
2.3.3 數(shù)據(jù)庫存儲和管理功能
建立國際浮標資料基礎(chǔ)數(shù)據(jù)庫和數(shù)據(jù)庫管理系統(tǒng),實現(xiàn)標準化數(shù)據(jù)的存儲、排重、基于元數(shù)據(jù)導航的查詢檢索、不同時空范圍與時空分辨率的要素統(tǒng)計分析、查詢檢索與統(tǒng)計分析結(jié)果的圖形/表格可視化展示及輸出文件功能。
2.3.4 數(shù)據(jù)質(zhì)量控制功能
基于基礎(chǔ)數(shù)據(jù)庫和靈活配置的質(zhì)量控制參數(shù),實現(xiàn)對國際浮標資料的非法碼檢驗、范圍檢驗、全等性檢驗、合理性檢驗、極值檢驗、相關(guān)性檢驗、尖峰檢驗、著陸點檢驗、梯度檢驗、恒定檢驗、氣候?qū)W檢驗、溫鹽關(guān)系檢驗等計算機自動質(zhì)量控制和人工審核,同時對質(zhì)控日志進行顯示、查詢與輸出。
2.3.5 數(shù)據(jù)可視化與監(jiān)視功能
基于基礎(chǔ)數(shù)據(jù)庫和GIS 平臺,利用站位分布圖、時間序列圖、空間分布圖以及數(shù)據(jù)表格等形式,實時監(jiān)視和可視化顯示下載的實時數(shù)據(jù);利用設(shè)定的范圍、極值等參數(shù),實現(xiàn)異常數(shù)據(jù)的警示可視化顯示和與常態(tài)數(shù)據(jù)的對比分析,為異常海洋狀況、海洋災害等情況的分析,提供數(shù)據(jù)預警、警報信息。
2.3.6 專題數(shù)據(jù)制作與數(shù)據(jù)庫存儲和管理
研究專題數(shù)據(jù)制作方法,利用系統(tǒng)實現(xiàn)逐年逐日、逐年逐月、累年逐日、累年逐月統(tǒng)計分析等各類要素專題數(shù)據(jù)的制作功能,同時建立專題數(shù)據(jù)庫和數(shù)據(jù)庫管理系統(tǒng),實現(xiàn)專題數(shù)據(jù)的加載存儲、查詢檢索和統(tǒng)計分析等功能。
根據(jù)系統(tǒng)的總體功能定位,以數(shù)據(jù)的下載、處理、存儲和監(jiān)視過程為主線,采用多線池技術(shù)、正值表達式技術(shù)和模塊配置調(diào)度機制,結(jié)合開源或已授權(quán)的第三方軟件,構(gòu)建靈活、穩(wěn)定的架構(gòu)模式。
第一階段,完成國際浮標資料的下載與解析、標準化處理、基礎(chǔ)數(shù)據(jù)庫及數(shù)據(jù)入庫模塊的開發(fā),實現(xiàn)網(wǎng)站國際浮標資料的下載、解析、預處理檢驗、代碼轉(zhuǎn)換、標準格式轉(zhuǎn)換、基礎(chǔ)數(shù)據(jù)庫實體建設(shè)以及基于基礎(chǔ)數(shù)據(jù)庫的數(shù)據(jù)排重、查詢檢索、統(tǒng)計分析和輸出功能。
第二階段,完成基于基礎(chǔ)數(shù)據(jù)庫的質(zhì)量控制、基于基礎(chǔ)數(shù)據(jù)庫和 GIS 平臺的數(shù)據(jù)可視化與監(jiān)視、專題數(shù)據(jù)庫系統(tǒng)模塊的開發(fā);實現(xiàn)基于基礎(chǔ)數(shù)據(jù)庫的實時資料自動質(zhì)量控制和延時資料可視化人工審核,基于基礎(chǔ)數(shù)據(jù)庫和 GIS 平臺的實時可視化監(jiān)視和異常數(shù)據(jù)警示,基礎(chǔ)數(shù)據(jù)庫到專題數(shù)據(jù)庫數(shù)據(jù)的自動提取、計算和加載更新等功能。
第三階段,實現(xiàn)各功能模塊的集成;整個系統(tǒng)的聯(lián)調(diào)、測試、對各方面細節(jié)進行優(yōu)化和完善;得到最終可用系統(tǒng)。
隨著我國國際海洋學合作的不斷加深,國際海洋資料的獲取、處理與服務必將成為今后海洋資料處理中的一項重要工作。以國際浮標資料處理系統(tǒng)為例,闡述了該軟件項目建設(shè)的原則、結(jié)構(gòu)組成和階段目標,為其他同類軟件項目建設(shè)研究提供了參考。
2011年10月24日