秦鼎 張帆
摘 要:本文分析了瀾湄六國水資源數(shù)據(jù)共享現(xiàn)狀及存在問題,設計了一套基于混合云的水資源數(shù)據(jù)共享體系,為瀾湄六國水資源數(shù)據(jù)共享提供了一套實用、完整、安全的信息化解決方案,并在瀾湄水資源合作信息共享平臺中成功實施,取得了較好的應用成效。
關鍵詞:瀾湄六國;水資源;數(shù)據(jù)共享;數(shù)據(jù)資源目錄;混合云
中圖法分類號:TV213.4;TP311.1? ? ?文獻標志碼:A? ? ? DOI:10.19679/j.cnki.cjjsjj.2021.0621
瀾湄水資源數(shù)據(jù)共享為瀾湄六國水資源和相關資源開發(fā)利用、管理和保護,以及洪旱災害防治決策提供數(shù)據(jù)支撐。數(shù)據(jù)共享不充分、不及時將對瀾湄水資源合作造成障礙和干擾,影響目前瀾湄水資源合作的良好發(fā)展勢頭。通過信息化手段推動瀾湄水資源數(shù)據(jù)共享,有利于瀾湄六國共同應對區(qū)域水資源挑戰(zhàn),推動區(qū)域經(jīng)濟社會可持續(xù)發(fā)展,提升流域綜合治理和水資源管理能力。
1? ?瀾湄六國水資源數(shù)據(jù)共享現(xiàn)狀
1.1? ?中國與湄公河國家之間的數(shù)據(jù)共享現(xiàn)狀
2002年,中國水利部與湄公河委員會(以下簡稱“湄委會”)簽訂了《中國水利部向湄委會秘書處提供瀾滄江—湄公河汛期水文資料的協(xié)議》,建立了汛期水文報汛機制,自2003年汛期以來向湄委會秘書處提供允景洪、曼安兩個出境水文站汛期實時水雨情數(shù)據(jù)。我國云南省航運管理部門與湄公河國家地方政府也建立了水文信息報汛制度,定期向湄公河國家共享水文流量變化信息,為湄公河國家航運管理部門和相關從業(yè)民眾提供了數(shù)據(jù)服務。此外,在梯級水電站檢修、水污染突發(fā)事件等緊急事件發(fā)生時,水位流量發(fā)生較大變化情況下,水利部通過瀾湄水資源聯(lián)合工作組向湄公河國家通報水位流量變化信息。2020年8月24日,國家總理李克強在瀾湄合作第三次領導人會議發(fā)言提出,中方將從今年開始,與湄公河國家分享瀾滄江全年水文信息,共建瀾湄水資源合作信息共享平臺,更好應對氣候變化和洪旱災害[1]。
1.2? ?湄公河國家之間的數(shù)據(jù)共享現(xiàn)狀
在湄委會和湄公河下游倡議等多邊合作組織或機制支持下,湄公河國家以項目資助的方式開展了信息平臺建設、數(shù)據(jù)共享標準制定等信息共享嘗試工作,推動了湄公河國家之間數(shù)據(jù)信息共享工作,取得了一定成效。2000年7月,湄委會開始建設湄委會信息平臺系統(tǒng),簽訂了數(shù)據(jù)共享合作協(xié)議,建設了部分水文監(jiān)測站點。依托多年來開展的數(shù)據(jù)采集項目以及與各成員國之間簽訂的合作備忘錄,湄委會信息共享平臺系統(tǒng)積累了16 000多個數(shù)據(jù)集,數(shù)據(jù)類型涵蓋行政區(qū)劃、農(nóng)業(yè)、環(huán)境生態(tài)、洪水管理、自然資源、經(jīng)濟社會以及水資源等十個大類。2017年在湄公河下游倡議第10次部長級會議上,美國提出湄公河水數(shù)據(jù)倡議概念,并在此倡議基礎上,啟動了湄公河水數(shù)據(jù)平臺(Mekong Water Data Platform,MWDP)的籌劃和建設工作。該平臺包括湄公河水文共享(Mekong Hydroshare)以及湄公河伙伴數(shù)據(jù)工具和服務兩大模塊,于2019年4月發(fā)布并投入試運行。由于尚處試運行階段,目前僅能檢索到越南共享的89個數(shù)據(jù)集。湄公河下游倡議MWDP平臺主要目的是打造湄公河區(qū)域水數(shù)據(jù)集,建設重點是針對科研工作者等注冊用戶提供數(shù)據(jù)檢索、存儲和管理平臺,增進不同用戶和機構間的數(shù)據(jù)共享。MWDP平臺開放和包容建設理念能夠充分調(diào)動機構和個人的參與度,不受政府間協(xié)議和湄公河下游倡議合作機制進展的影響。但該平臺數(shù)據(jù)集數(shù)據(jù)標準不一、數(shù)據(jù)關聯(lián)較弱,數(shù)據(jù)量較少,訪問速度比較慢,難以形成系統(tǒng)性數(shù)據(jù)體系,尚未提供模型模擬或者其他分析應用工具,不利于后期深入挖掘、分析和應用,且現(xiàn)有信息平臺架構難以支撐其在業(yè)務應用中發(fā)揮影響力。
2? ?存在的問題
缺乏全流域?qū)用鏀?shù)據(jù)共享和權威信息發(fā)布平臺,造成涉水信息透明度不高,影響流域各國合作互信,影響瀾湄合作健康可持續(xù)發(fā)展。
目前瀾湄流域開展了一些數(shù)據(jù)共享工作,但仍然存在共享數(shù)據(jù)體系不明確、數(shù)據(jù)標準不統(tǒng)一等問題[2]。
中國向湄公河國家和湄委會提供水資源信息發(fā)布機制和通道,但缺乏雙向水資源數(shù)據(jù)流通與共享的機制和平臺。湄委會四個成員國之間也尚未形成全流域?qū)用嬗行У?、充分的信息溝通與共享,難以滿足瀾湄流域信息共享需求和瀾湄合作機制發(fā)展的需要。
瀾湄各國水資源管理人員、學者、公眾無法全面、系統(tǒng)地了解和利用合作成果,不利于促進各方消除分歧、達成共識、共同進步。亟需強化信息聚合度,提供長期、穩(wěn)定、及時、權威、透明的信息發(fā)布渠道,提升各方深化合作的能力和水平。
3? ?共享體系設計
3.1? ?共享體系架構
(1)數(shù)據(jù)共享平臺
數(shù)據(jù)共享平臺由數(shù)據(jù)資源目錄、數(shù)據(jù)圖表展示、消息發(fā)布3個部分組成,其中數(shù)據(jù)資源目錄系統(tǒng)為提供以原始數(shù)據(jù)文件為形式的數(shù)據(jù)資源發(fā)布和共享的平臺,實現(xiàn)數(shù)據(jù)資源的共建共享,主要功能包括數(shù)據(jù)集上傳、掛接、發(fā)布、檢索、下載和資源目錄配置等[3];數(shù)據(jù)圖表展示則以曲線圖、折線圖等圖表形式展現(xiàn)水利數(shù)據(jù)的變化特點,如水雨情數(shù)據(jù),便于數(shù)據(jù)使用者更直觀的遴選數(shù)據(jù)資源;消息發(fā)布則文字消息的形式發(fā)布水利水電工程重大調(diào)度信息、檢修信息以及水污染突發(fā)事件。
在功能設計上,考慮到水資源數(shù)據(jù)的敏感性,數(shù)據(jù)資源目錄系統(tǒng)除檢索可匿名使用外,其他功能均需注冊并登錄后方可使用,其中數(shù)據(jù)集的發(fā)布和下載使用申請審批機制,只有經(jīng)系統(tǒng)管理員審批通過后方可發(fā)布和下載。
資源目錄分類是用戶檢索數(shù)據(jù)的主要手段之一[4],數(shù)據(jù)資源目錄系統(tǒng)除包含產(chǎn)品形式、發(fā)布機構、位置區(qū)域、文件格式、日期范圍、數(shù)據(jù)標簽、關鍵詞等常見分類外,還根據(jù)水利數(shù)據(jù)的特點,新增監(jiān)測內(nèi)容和主題兩大分類,其中監(jiān)測內(nèi)容的子分類有地表水監(jiān)測、地下水監(jiān)測、水質(zhì)監(jiān)測、用水監(jiān)測;主題分類則在國際標準化組織發(fā)布的ISO19115主題類別的基礎上,根據(jù)數(shù)據(jù)資源情況選擇與瀾湄水資源合作相關的類別,篩選后的類別包括氣候/氣象學/大氣、經(jīng)濟、環(huán)境、影像/底圖、內(nèi)陸水域、規(guī)劃/地籍、社會、公用事業(yè)/通訊。
(2)應用支撐平臺
應用支撐平臺作為共享體系的基礎設施,為上層數(shù)據(jù)共享平臺提供應用支撐服務,包括用戶注冊和審核、登錄認證、用戶管理、權限管理、日志管理[5]。
(3)數(shù)據(jù)交換平臺
數(shù)據(jù)交換平臺對數(shù)據(jù)匯集平臺收集的數(shù)據(jù)按照數(shù)據(jù)標準進行流程化處理,并作為數(shù)據(jù)資源目錄系統(tǒng)的數(shù)據(jù)來源之一。數(shù)據(jù)交換平臺主要實現(xiàn)圖形界面設計ETL轉(zhuǎn)換配置[6],實現(xiàn)數(shù)據(jù)抽取、質(zhì)量檢測、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)過濾,以及數(shù)據(jù)交換異常處理、監(jiān)控管理等[7]。以水雨情數(shù)據(jù)為例,數(shù)據(jù)匯集發(fā)布流程如圖2所示。
由于水資源數(shù)據(jù)種類較多,數(shù)據(jù)交換平臺需要支持多種格式數(shù)據(jù)的處理,包括庫表數(shù)據(jù)、圖像、XML、JSON、XLS、CSV等。
(4)數(shù)據(jù)匯集平臺
數(shù)據(jù)匯集平臺通過適配器從目標數(shù)據(jù)源或業(yè)務系統(tǒng)中抽取數(shù)據(jù),提供給數(shù)據(jù)交換平臺使用。數(shù)據(jù)匯集平臺主要包括下載任務配置、數(shù)據(jù)交換過程監(jiān)控配置、交換異常報警配置、平臺數(shù)據(jù)庫寫入配置等[8]。根據(jù)不同的數(shù)據(jù)來源,數(shù)據(jù)匯集的對象可能是數(shù)據(jù)庫、FTP、數(shù)據(jù)服務接口、數(shù)據(jù)文件等。
(5)運行環(huán)境
運行環(huán)境基于私有云和公共云搭建,其中私有云提供數(shù)據(jù)共享平臺、應用支撐平臺、數(shù)據(jù)交換平臺、數(shù)據(jù)匯集平臺運行所需的各類計算資源,包括Web服務器、應用服務器、數(shù)據(jù)庫服務器、文件服務器等,公共云提供內(nèi)容分發(fā)網(wǎng)絡(CDN)和對象存儲(OSS)服務,用于給數(shù)據(jù)共享平臺提供網(wǎng)頁加速和數(shù)據(jù)集存儲服務。另外,通過公共云的云監(jiān)控技術,對數(shù)據(jù)共享平臺的運行狀態(tài)進行24小時監(jiān)控,發(fā)生故障時及時告警。
(6)制度規(guī)范
包含“三制度兩規(guī)范”,其中“三制度”指共享體系管理辦法、運行環(huán)境定期巡檢制度、運維報告制度,“兩規(guī)范”指水資源數(shù)據(jù)格式規(guī)范、水資源數(shù)據(jù)處理規(guī)范。
(7)安全保障
根據(jù)《網(wǎng)絡安全等級保護測評要求》,對運行環(huán)境進行安全物理環(huán)境、安全通信網(wǎng)絡、安全區(qū)域邊界、安全計算環(huán)境、安全管理中心、安全管理制度、安全管理機構、安全管理人員、安全建設管理、安全運維管理等方面的測評并進行問題整改,使安全體系符合等保要求。
3.2? ? 共享體系特點
(1)用戶體驗好
由于數(shù)據(jù)共享服務面向覆蓋瀾湄六國,網(wǎng)絡環(huán)境復雜,容易出現(xiàn)系統(tǒng)訪問卡頓的現(xiàn)象,影響用戶體驗。通過在共享體系中集成公共云的內(nèi)容分發(fā)網(wǎng)絡(CDN)和對象存儲(OSS)服務,可以很好的解決此問題。具體從兩個方面入手,一方面數(shù)據(jù)共享平臺采用前后端分離架構開發(fā),針對各國用戶訪問前端靜態(tài)資源的場景,可使用CDN實現(xiàn)加速訪問;另一方面對于數(shù)據(jù)集上傳、下載等對網(wǎng)絡帶寬要求比較高的場景,可使用OSS實現(xiàn)數(shù)據(jù)集的高速上傳、下載,數(shù)據(jù)集通過高速通道直接上傳至OSS服務器,不需要經(jīng)過數(shù)據(jù)共享平臺。
(2)統(tǒng)一數(shù)據(jù)標準
由于數(shù)據(jù)共享面對的是瀾湄六國,必須基于統(tǒng)一的數(shù)據(jù)標準才能使數(shù)據(jù)共享更加暢通。在共享體系中,通過數(shù)據(jù)交換平臺,可以對匯集的數(shù)據(jù)按照指定的標準進行清洗、轉(zhuǎn)換、檢測等操作,確保共享的數(shù)據(jù)符合標準,從而為數(shù)據(jù)的進一步利用創(chuàng)造有利條件。
(3)面向多層級用戶
數(shù)據(jù)共享平臺不僅面向瀾湄六國水行政主管部門,還面向科研機構、學者和社會公眾,通過在數(shù)據(jù)資源目錄系統(tǒng)中履行必要的注冊申請和數(shù)據(jù)資源下載申請手續(xù),科研機構、學者等用戶也可以下載各類數(shù)據(jù)成果,這有利于各方全面、系統(tǒng)地了解和利用瀾湄水資源合作成果,促進各方消除分歧、達成共識、共同進步。
4? ?共享體系應用
瀾湄水資源共享體系已在瀾湄水資源合作信息共享平臺中應用,具體應用情況如下。
(1)通過數(shù)據(jù)交換平臺,定期從云南省水利廳抽取云南允景洪、曼安兩座測站的水雨情數(shù)據(jù),并在數(shù)據(jù)共享平臺中使用圖表做數(shù)據(jù)展示,如圖3所示。
(2)通過數(shù)據(jù)交換平臺,定期匯總允景洪、曼安兩站的水雨情數(shù)據(jù),形成兩站的周期性數(shù)據(jù)集,自動發(fā)布到數(shù)據(jù)共享平臺中的數(shù)據(jù)資源目錄中,供用戶下載。
(3)通過數(shù)據(jù)共享平臺中的消息發(fā)布,以文字的形式發(fā)布瀾滄江水電站調(diào)度信息。
參考文獻:
[1]黃漢文,李昌文,徐馳.瀾滄江-湄公河水資源合作的現(xiàn)實、挑戰(zhàn)與方向[J]. 人民長江.2021,52(07):88-94
[2]王志強,王海霞. 瀾湄水利標準體系構建探討[J]. 水利規(guī)劃與設計.2021,(04):1-6
[3]儲昭武,李雪凝. 公共數(shù)據(jù)資源目錄體系研究及應用[J]. 信息技術與標準化. 2019,(05):10-14
[4]司存友,高祥濤,李政道,等.基于元數(shù)據(jù)的江蘇省水利數(shù)據(jù)資源目錄服務系統(tǒng)[J]. 江蘇水利. 2018,(01):41-45
[5]楊小琴,朱光軍,陶鋒,等. 湖北水利數(shù)據(jù)資源整合共享實踐及關鍵技術研究[J]. 水利信息化. 2018,(05):11-17
[6]朱松挺,胡應龍. 江西水利數(shù)據(jù)資源整合共享實踐[J]. 江西水利科技. 2019,45(01):72-75
[7]??〕瑒⒐谌A. 河南水利數(shù)據(jù)交換共享服務平臺研究[J]. 江西水利科技.治淮. 2019,(01):55-57
[8]陸佳民,馮鈞,唐志賢. 水利大數(shù)據(jù)目錄服務與資源共享關鍵技術研究[J]. 水利信息化.2017,(04):17-20
收稿日期:2021-09-30
作者簡介:秦鼎,男,主要從事水利信息化工作。E-mail:qindingsky@qq.com
Research and Application of Lancang-Mekong Water Resources Data Sharing System
Qin Ding? Zhang Fan
(Network and Information Center of Changjiang Water Resources Commission,Wuhan 430010,China)
Abstract:This paper analyzes the current situation and existing problems of water resources data sharing in the six Lancang-Mekong countries,and designs a set of water resources data sharing system based on hybrid cloud,which provides a set of practical,complete and safe water resources data sharing in the six Lancang-Mekong countries The informatization solution was successfully implemented in the Lancang-Mekong water resources cooperation information sharing platform,and achieved good application results.
Keywords:the six Lancang-Mekong countries;water resources;data sharing;data resource catalog;hybrid cloud