羅成,付桂
(上海航鴻工程管理有限公司,上海 200137)
長江口航道作為長江黃金水道和上海國際航運(yùn)中心建設(shè)的重要組成部分,對流域經(jīng)濟(jì)發(fā)展和國防安全建設(shè)具有重大影響。長江口河勢演變規(guī)律復(fù)雜,航道的管理和維護(hù)面臨著巨大的挑戰(zhàn)。近半個世紀(jì),工程師和專家學(xué)者通過對長江口航道的研究,積累了大量的寶貴數(shù)據(jù)。但由于這些歷史數(shù)據(jù)時間跨度長、數(shù)據(jù)種類多樣、數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一,且分散于不同單位等原因,導(dǎo)致使用數(shù)據(jù)前需耗費大量的收集和處理時間,嚴(yán)重限制了長江口航道數(shù)據(jù)資源的利用面和利用率[1]。
隨著WebGIS 新技術(shù)的快速發(fā)展,人們可以在Internet 環(huán)境下對地理空間數(shù)據(jù)進(jìn)行整合,從而實現(xiàn)空間數(shù)據(jù)的共享和互操作,提高對大量數(shù)據(jù)信息資源的利用率,同時在已有數(shù)據(jù)的基礎(chǔ)上對未來可能出現(xiàn)的情況進(jìn)行預(yù)測和模擬。目前WebGIS 雖然已廣泛用于城市規(guī)劃[2]、地質(zhì)災(zāi)害自動化監(jiān)測[3]、海洋預(yù)警[4]以及長江航道測繪成果數(shù)據(jù)管理[5]等多個領(lǐng)域,但尚未在長江口航道測繪數(shù)據(jù)管理中得到有效的應(yīng)用。因此,針對復(fù)雜多樣的長江口航道測繪信息,為了滿足長江口航道管理局航道日常管理和應(yīng)急事件對水文、地形和航道等相關(guān)資料的處理和查詢要求,并對未來可能事件作出預(yù)測,基于WebGIS 的長江口航道測繪信息平臺(以下簡稱“平臺”)的建設(shè)顯得尤為重要。
平臺的建設(shè)目標(biāo)首先要完成數(shù)據(jù)庫的建設(shè),以收集和整理1998年以來長江口區(qū)域的水文、地形、航道和涉水工程相關(guān)數(shù)據(jù)為主,建成水文、地形、航道和涉水工程4 個數(shù)據(jù)庫。其次是應(yīng)用系統(tǒng)的開發(fā),分別建立水文整編與統(tǒng)計系統(tǒng)、河床沖淤演變分析系統(tǒng)和航道回淤分析系統(tǒng)3個應(yīng)用系統(tǒng)。最后借助局域網(wǎng)和Internet網(wǎng)絡(luò),實現(xiàn)多用戶在線信息的瀏覽、查詢、統(tǒng)計、分析和專題圖表輸出,“平臺”在現(xiàn)有長江口區(qū)域數(shù)據(jù)的基礎(chǔ)上結(jié)合機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方法對未來長江口區(qū)域可能出現(xiàn)的情況進(jìn)行預(yù)測和模擬分析,包括但不限于長江口航道中心線變化、航道回淤預(yù)測等。
平臺目的在于為長江口航道管理局各項職能的行使提供數(shù)據(jù)支撐和信息支持,根據(jù)長江口航道管理局信息化現(xiàn)狀和業(yè)務(wù)管理的需要,“平臺”包含數(shù)據(jù)庫、應(yīng)用系統(tǒng)和管理系統(tǒng)三個模塊,如圖1所示。
圖1 長江口航道測繪信息管理系統(tǒng)模塊
“平臺”以數(shù)據(jù)為基礎(chǔ),通過數(shù)據(jù)庫的建設(shè),實現(xiàn)對水文、地形、航道以及涉水工程數(shù)據(jù)的標(biāo)準(zhǔn)化和一體化管理,大大提升數(shù)據(jù)管理水平,提高數(shù)據(jù)資源的利用效率,為航道管理提供更多的涉水工程信息?!捌脚_”數(shù)據(jù)庫的技術(shù)選型以關(guān)系型數(shù)據(jù)庫(Postgresql)和非關(guān)系型數(shù)據(jù)庫(Redis、Elasticsearch)配合使用為主。常規(guī)的水文、地形、航道數(shù)據(jù)存儲在關(guān)系型數(shù)據(jù)庫Postgresql 中,配合Postgresql 數(shù)據(jù)庫中PostGIS 進(jìn)行地理數(shù)據(jù)空間分析(水文變化態(tài)勢、航道變化態(tài)勢、航道回淤分析等)。為了保證“平臺”的并發(fā)量和伸縮性使用非關(guān)系型數(shù)據(jù)庫Redis 進(jìn)行查詢緩存和“平臺”消息訂閱與消息發(fā)布,“平臺”運(yùn)行需要保證數(shù)據(jù)安全性和系統(tǒng)運(yùn)行安全性,使用Elasticsearch 進(jìn)行“平臺”系統(tǒng)日志管理。關(guān)系型數(shù)據(jù)庫和非關(guān)系型數(shù)據(jù)庫的配合使用可以極大程度提高“平臺”的健碩性和魯棒性,同時也能極大程度地提高系統(tǒng)的安全性和用戶體驗度。
“平臺”以應(yīng)用為目標(biāo),通過應(yīng)用系統(tǒng)的開發(fā),實現(xiàn)常規(guī)數(shù)據(jù)處理分析業(yè)務(wù)的軟件自動化操作,簡化數(shù)據(jù)分析處理過程,提高航道科研管理的工作效率。“平臺”應(yīng)用系統(tǒng)有三個子系統(tǒng)組成:水文整編與統(tǒng)計系統(tǒng)、河床沖淤演變分析系統(tǒng)和航道回淤分析系統(tǒng)組成?!捌脚_”采用SOA(Service-Oriented Architecture,面向服務(wù)的架構(gòu))進(jìn)行系統(tǒng)的開發(fā)、部署和管理?!捌脚_”中所有的功能都被定義成了獨立的服務(wù),所有的服務(wù)通過服務(wù)總線(ESB,Enterprise Service Bus)或流程管理器來連接。
“平臺”通過管理系統(tǒng)的開發(fā),實現(xiàn)“平臺”的穩(wěn)定與可持續(xù)運(yùn)行,保證信息數(shù)據(jù)的安全與同步更新。“平臺”管理系統(tǒng)包括數(shù)據(jù)管理和平臺管理,數(shù)據(jù)管理系統(tǒng)主要是面向不同權(quán)限的用戶進(jìn)行數(shù)據(jù)的操作。平臺管理系統(tǒng)是系統(tǒng)高級用戶對不同級別的用戶進(jìn)行權(quán)限的分配和調(diào)整,以確保系統(tǒng)中不同級別用戶的差異性。
“平臺”的部署需要以下服務(wù)器:數(shù)據(jù)庫服務(wù)器、應(yīng)用服務(wù)器和Web 服務(wù)器(見圖2)?!捌脚_”采用K8S(kubernetes)進(jìn)行部署容器的搭建和“平臺”的部署。
圖2 “平臺”部署
(1)數(shù)據(jù)庫服務(wù)器,建立適用于長江口區(qū)域時空大數(shù)據(jù)分析的統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn),解決了長江口歷史數(shù)據(jù)的基準(zhǔn)不一致、分類編碼不統(tǒng)一、數(shù)據(jù)格式不兼容等問題,為“平臺”的運(yùn)行提供基礎(chǔ)數(shù)據(jù)服務(wù)。
(2)應(yīng)用服務(wù)器,使用Postgresql 的PostGIS 插件實現(xiàn)GIS 空間索引技術(shù)引入測深點DEM 建模,實現(xiàn)超大范圍、超大規(guī)模(10 萬以上點數(shù))測深點數(shù)據(jù)的云上快速建模和計算,為“平臺”的運(yùn)行提供GIS 應(yīng)用服務(wù)。
(3)Web 服務(wù)器,采用Vue 框架,使用Echart 可視化圖表實現(xiàn)快速生成報表及可視化圖表,滿足數(shù)據(jù)分析和可視化展示需求,對特定業(yè)務(wù)數(shù)據(jù)進(jìn)行全方位分析,實現(xiàn)“平臺”的對外信息發(fā)布。
根據(jù)長江口航道管理局常規(guī)業(yè)務(wù)的需要,“平臺”主要功能包括水文整編與統(tǒng)計、河床沖淤演變分析和航道回淤分析三個。
水文整編與統(tǒng)計功能以大量的歷史水文數(shù)據(jù)為基礎(chǔ),通過對垂線流速、流向、含沙量、含鹽度,斷面流量、輸砂率和潮位等水文數(shù)據(jù)的整編與統(tǒng)計,實現(xiàn)各要素平均值、最值等水文要素特征值的自動計算,以過程線、對比圖和統(tǒng)計報表等圖形與報表為主要的結(jié)果輸出方式。水文整編與統(tǒng)計相關(guān)方法和算法參照《水文資料整編規(guī)范》。
河床沖淤演變分析系統(tǒng)的功能是通過離散的河道地形水深測點進(jìn)行地形分析建模,實現(xiàn)地形水深提取、斷面分析、等深線分析、容積(體積)計算和沖淤分析等功能。通過 GIS 可視化,實現(xiàn)河道地形、河床沖淤結(jié)果的可視化、河床歷史演變過程以及等深線變化過程的動畫演示。在現(xiàn)有數(shù)據(jù)的基礎(chǔ)上引入機(jī)器學(xué)習(xí)隨機(jī)森林(RandomForest)回歸預(yù)測的方法,對未來河床沖淤的情況進(jìn)行模型訓(xùn)練進(jìn)而回歸預(yù)測,為今后河床沖淤情況進(jìn)行合理模擬。
航道回淤分析功能是通過航道回淤統(tǒng)計分析建模,實現(xiàn)航道各單元的疏浚工程量(上、下方)、回淤量和平均水深等回淤特征值的自動計算及回淤分布的可視化。輸出結(jié)果包括:航道疏浚量分布圖、航道回淤量分布圖和航道單元平均水深圖等。在獲得回淤數(shù)據(jù)的基礎(chǔ)上,“平臺”對數(shù)據(jù)進(jìn)行消息發(fā)布。
“平臺”的建成與應(yīng)用具有如下優(yōu)勢:
(1)數(shù)據(jù)存儲格式更加規(guī)范,統(tǒng)一和全面。可以同時查看和分析不同歷史時期的同一類型的數(shù)據(jù),或者同一歷史時期的不同類型的數(shù)據(jù),為長江口航道管理局航道日常管理和應(yīng)急事件對相關(guān)資料的處理和查詢提供方便。
(2)更加強(qiáng)大的數(shù)據(jù)計算與分析能力,“平臺”的DEM 建模功能,不但實現(xiàn)了數(shù)據(jù)的可視化展示,還可以對數(shù)據(jù)進(jìn)行二次分析,實現(xiàn)對長江口航道測繪數(shù)據(jù)的充分利用。
(3)“平臺”用戶界面友好,操作簡便,使得其具有更廣泛的受眾群體。
(4)“平臺”整體系統(tǒng)安全性強(qiáng)、魯棒性高、并發(fā)量大,能夠極大提高用戶的系統(tǒng)體驗。
(5)“平臺”引入機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的技術(shù),有效提高“平臺”預(yù)測和分析的能力。
(1)利用“平臺”強(qiáng)大的數(shù)據(jù)分析與可視化功能,為長江口航道管理提供了及時有效的數(shù)據(jù)支撐。
(2)“平臺”實現(xiàn)了歷史水文數(shù)據(jù)整編與分析、河床沖淤演變分析以及航道回淤分析等功能。實現(xiàn)了對長江口航道測繪數(shù)據(jù)的有效管理。