王述強 ，王 丹

（1. 江西省水文局，江西 南昌 333000；2. 浙江貴仁信息科技股份有限公司，浙江 杭州 310000）

0 引言

大數(shù)據(jù)、云計算是目前較為前沿的信息技術(shù)，被廣泛用于智慧城市、物聯(lián)網(wǎng)、金融分析、軍事、公檢法等各個領(lǐng)域[1]。微服務(wù)技術(shù)是近幾年興起的先進(jìn)信息技術(shù)，我國目前雖然在一些小范圍內(nèi)應(yīng)用該技術(shù)，但在許多領(lǐng)域尤其是水利信息化中仍處于試驗探索階段。

因此如何將大數(shù)據(jù)、云平臺和微服務(wù)結(jié)合，解決水利信息化發(fā)展中長期以來存在的水文數(shù)據(jù)重復(fù)采集、水文業(yè)務(wù)重復(fù)建設(shè)、水利數(shù)據(jù)資源無法共享等問題，以提高水文服務(wù)效率是信息研究和水利領(lǐng)域的重要課題。

為此對大數(shù)據(jù)、云平臺和微服務(wù)等前沿技術(shù)結(jié)合進(jìn)行分析，搭建江西省水文綜合平臺，解決缺乏統(tǒng)一數(shù)據(jù)資源、應(yīng)用支撐、標(biāo)準(zhǔn)規(guī)范、服務(wù)平臺的背景問題，實現(xiàn)水利信息資源統(tǒng)一管理及標(biāo)準(zhǔn)的目標(biāo)。

1 建設(shè)思路及總體設(shè)計

水文綜合平臺以“統(tǒng)籌規(guī)劃、統(tǒng)一標(biāo)準(zhǔn)、資源匯集、共享服務(wù)、持續(xù)發(fā)展”和水利信息化方案中“五個統(tǒng)一”為指導(dǎo)思想，以科學(xué)性、實用性、穩(wěn)定性、安全性和兼容性為設(shè)計原則，圍繞“一個中心，多個應(yīng)用系統(tǒng)”的核心思想，采用云計算、大數(shù)據(jù)分析與水文業(yè)務(wù)工作的結(jié)合，加強全山西省水文數(shù)據(jù)的匯集共享，基于微服務(wù)架構(gòu)逐步優(yōu)化已開發(fā)業(yè)務(wù)應(yīng)用中同類、共性的功能模塊，通過資源、應(yīng)用整合及綜合展示，實現(xiàn)數(shù)據(jù)的統(tǒng)一匯集及應(yīng)用，整合省水文局相關(guān)應(yīng)用系統(tǒng)，達(dá)到對系統(tǒng)的單點登錄、統(tǒng)一管理、有效結(jié)合的目的。構(gòu)建省水文數(shù)據(jù)中心統(tǒng)一部署，省、市、基地、重點站四級水文機構(gòu)應(yīng)用的云平臺服務(wù)體系，提供全天候、全覆蓋、全方位的技術(shù)支撐和數(shù)據(jù)服務(wù)，從而實現(xiàn)智慧水利的目標(biāo)。

智慧水利具有透徹感知、全面互聯(lián)、深度挖掘、智能應(yīng)用及泛在服務(wù)等特征，各個層次互相關(guān)聯(lián)，彼此耦合，從業(yè)務(wù)、應(yīng)用、數(shù)據(jù)、水利云、網(wǎng)絡(luò)、安全等方面及之間的關(guān)系形成一個完整體系[2]。

水文綜合服務(wù)平臺總體架構(gòu)如圖 1 所示，從下至上劃分為信息采集層、基礎(chǔ)環(huán)境層、數(shù)據(jù)層、平臺層、應(yīng)用層。應(yīng)用層和平臺層遵循安全保障體系，如強密碼管理，防暴力破解等，數(shù)據(jù)層、基礎(chǔ)環(huán)境層和數(shù)據(jù)采集層遵循運行維護體系，如備份策略，容災(zāi)等，整個平臺架構(gòu)符合標(biāo)準(zhǔn)的規(guī)范體系。

圖1 總體框架圖

應(yīng)用層自上而下采用面向服務(wù)架構(gòu)（SOA），各系統(tǒng)通過服務(wù)的方式共享資源。平臺層提供 PaaS（平臺即服務(wù)）功能，各層次間根據(jù)業(yè)務(wù)應(yīng)用的需要，通過制定不同的接口協(xié)議，在服務(wù)、構(gòu)件、信息等層次，實現(xiàn)基于網(wǎng)絡(luò)的資源共享與協(xié)同操作、業(yè)務(wù)資源共享的目標(biāo)。數(shù)據(jù)層作為基礎(chǔ)數(shù)據(jù)支撐對各類數(shù)據(jù)進(jìn)行匯集，在數(shù)據(jù)層逐步推進(jìn)數(shù)據(jù)資源的整合。最終形成應(yīng)用層各平行系統(tǒng)間信息互通，用戶體系統(tǒng)一，服務(wù)共享。

2 建設(shè)內(nèi)容

2.1 應(yīng)用支撐平臺建設(shè)

2.1.1 大數(shù)據(jù)平臺

進(jìn)入大數(shù)據(jù)時代，政府的公共事務(wù)流程和社會管理方式等均變得更為精簡、精準(zhǔn)、智慧[3]，治理結(jié)構(gòu)趨于扁平化[4]，因此政府須改革各自為政的數(shù)據(jù)管理模式，理清數(shù)據(jù)權(quán)屬關(guān)系，打破地域、職能和部門的桎梏，實現(xiàn)部門之間的合作分工[5]。

江西省大數(shù)據(jù)平臺底層以 Hadoop 大數(shù)據(jù)生態(tài)組件為主，構(gòu)成企業(yè)級大數(shù)據(jù)存儲、查詢、分析的統(tǒng)一平臺，能夠幫助機構(gòu)快速構(gòu)建海量數(shù)據(jù)信息處理系統(tǒng)，通過對海量數(shù)據(jù)信息實時與非實時的分析挖掘，打破地域、職能和部門的數(shù)據(jù)壁壘。

2.1.2 云平臺

云平臺實際的物理資源抽象成虛擬化資源，包括計算、存儲和網(wǎng)絡(luò)虛擬化，形成一個虛擬化資源池。隨著數(shù)據(jù)中心業(yè)務(wù)的發(fā)展，傳統(tǒng)數(shù)據(jù)中心面臨著很多新的挑戰(zhàn)。江西省水文云平臺功能包括：對各個物理數(shù)據(jù)中心資源進(jìn)行整合；采用 ManageOne作為數(shù)據(jù)中心管理軟件，對多個數(shù)據(jù)中心提供統(tǒng)一管理；彈性云平臺可以為用戶提供基礎(chǔ)設(shè)施層服務(wù)；用戶可根據(jù)自身需求定制云服務(wù)器配置、操作系統(tǒng)，配置所需的運行環(huán)境，采用客戶端或者命令終端的方式訪問虛擬機[6]。通過云平臺和數(shù)據(jù)中心管理軟件協(xié)同運作，達(dá)到多數(shù)據(jù)中心融合、企業(yè)整體 IT 效率提升的目的。

2.1.3 容器云平臺

容器云平臺底層采用開源 K8s 和 docker 技術(shù)，提供彈性高效的容器底座，開放共享的服務(wù)目錄和豐富的云中間件生態(tài)?？稍诖笠?guī)模高可靠的云服務(wù)和大量高性能互聯(lián)網(wǎng)應(yīng)用的驅(qū)動下產(chǎn)生新一代軟件開發(fā)、集成、管理、運維的 PaaS 平臺。

2.1.4 微服務(wù)架構(gòu)

采用微服務(wù)開源框架 ServiceComb 搭建微服務(wù)架構(gòu)，微服務(wù)平臺提供的微服務(wù)是一個細(xì)粒度的SOA，服務(wù)的劃分基于領(lǐng)域驅(qū)動設(shè)計，每個微服務(wù)只專注自己的職責(zé)。每個服務(wù)可以進(jìn)行獨立的開發(fā)、測試和交付，擁有獨立的運維、管控接口的能力，業(yè)務(wù)系統(tǒng)可以通過對接平臺進(jìn)行統(tǒng)一的管理。微服務(wù)應(yīng)用實現(xiàn)了快速構(gòu)建，實時監(jiān)控，高可用保障。

2.2 水文綜合數(shù)據(jù)庫和數(shù)據(jù)共享平臺建立

2.2.1 水文綜合數(shù)據(jù)庫

江西省水文數(shù)據(jù)資源庫設(shè)計方面，應(yīng)利用已建系統(tǒng)數(shù)據(jù)庫，根據(jù)微服務(wù)架構(gòu)規(guī)劃，將已建的異構(gòu)的數(shù)據(jù)庫按照國家和水文行業(yè)標(biāo)準(zhǔn)實施數(shù)據(jù)庫整合。整合后的數(shù)據(jù)庫一方面要保證已有業(yè)務(wù)應(yīng)用系統(tǒng)的正常運行，另一方面也要在微服務(wù)架構(gòu)下充分為新的業(yè)務(wù)應(yīng)用提供支撐，為建設(shè)各層次的水文微服務(wù)應(yīng)用及數(shù)據(jù)共享奠定基礎(chǔ)。

水文統(tǒng)一數(shù)據(jù)資源庫需要設(shè)計包括基礎(chǔ)、監(jiān)測、歷史、業(yè)務(wù)、事務(wù)、多媒體等八大數(shù)據(jù)庫在內(nèi)的統(tǒng)一的水文數(shù)據(jù)資源庫。

依據(jù)《江西省水文統(tǒng)一數(shù)據(jù)資源庫數(shù)據(jù)庫設(shè)計》，建設(shè)江西省水文統(tǒng)一數(shù)據(jù)資源庫，對省局現(xiàn)有基礎(chǔ)數(shù)據(jù)庫中的水文數(shù)據(jù)進(jìn)行數(shù)據(jù)抽取、轉(zhuǎn)換，匯入公共基礎(chǔ)數(shù)據(jù)池中，而公共基礎(chǔ)數(shù)據(jù)池則作為綜合數(shù)據(jù)的重要來源實現(xiàn)一數(shù)一源的目標(biāo)。

2.2.2 數(shù)據(jù)共享平臺

江西省在實現(xiàn)數(shù)據(jù)庫統(tǒng)一標(biāo)準(zhǔn)的前提下，通過統(tǒng)一資源庫和大數(shù)據(jù)平臺技術(shù)有機結(jié)合建立了數(shù)據(jù)共享平臺。數(shù)據(jù)共享平臺，作為數(shù)據(jù)中臺，數(shù)據(jù)的集合中轉(zhuǎn)，統(tǒng)一為各子系統(tǒng)提供可靠、標(biāo)準(zhǔn)的業(yè)務(wù)數(shù)據(jù)來源。數(shù)據(jù)共享平臺采用面向?qū)ο蟮膭討B(tài)建模和數(shù)據(jù)服務(wù)，提供 Web 可視化界面和 Restful Service API 服務(wù)。使用方提出數(shù)據(jù)使用申請，由數(shù)據(jù)資源管理者進(jìn)行審批，通過則發(fā)放數(shù)據(jù)使用許可服務(wù)，最終實現(xiàn)數(shù)據(jù)治理的系統(tǒng)性、整體性和協(xié)同性[7]。

以共享同一數(shù)據(jù)接口的方式，實現(xiàn)數(shù)據(jù)的實時更新，充分體現(xiàn)“一數(shù)一源”，避免重復(fù)開發(fā)，統(tǒng)一數(shù)據(jù)、計算標(biāo)準(zhǔn)。

2.3 水文微服務(wù)平臺建設(shè)

采用微服務(wù)框架，基于 RESTful 規(guī)范的 Web API 進(jìn)行數(shù)據(jù)交互。各應(yīng)用封裝成使用 HTTP/HTTPS 協(xié)議的 Web 服務(wù)，按照約定的資源地址（URL），調(diào)用各業(yè)務(wù)功能，數(shù)據(jù)傳輸?shù)膮?shù)和返回值采用 JSON 格式，數(shù)據(jù)結(jié)構(gòu)須滿足約定要求。同時，在應(yīng)用支持平臺中，提供 API 網(wǎng)關(guān)，負(fù)責(zé)服務(wù)的發(fā)現(xiàn)、注冊、管理及負(fù)載均衡等功能，各系統(tǒng)須提交 Web API 的調(diào)用規(guī)范到 API 網(wǎng)關(guān)進(jìn)行統(tǒng)一管理。

API 網(wǎng)關(guān)是服務(wù)調(diào)度的核心，起到定位服務(wù)資源和統(tǒng)一發(fā)放的功能，所有的服務(wù)訪問，都通過API 網(wǎng)關(guān)進(jìn)行請求，API 網(wǎng)關(guān)收到請求后，按照事先約定的地址和方式，將請求重新定向到各服務(wù)節(jié)點，保證所有服務(wù)統(tǒng)一資源管理的同時也便于各服務(wù)的維護。

2.4 水文綜合平臺建設(shè)

在大數(shù)據(jù)、云計算、微服務(wù)技術(shù)的基礎(chǔ)上，以一張圖的設(shè)計理念搭建水文綜合平臺，按照一攬子覆蓋水文全業(yè)務(wù)的思想，從監(jiān)測、服務(wù)、管理多角度全面提升水文管理和服務(wù)水平。采用文字、表格、統(tǒng)計圖、專題圖、視頻監(jiān)控等多種展示方式，將防汛抗旱、水資源管理、水環(huán)境水生態(tài)保護、檔案管理等信息集中在一張圖上進(jìn)行綜合展示和分析，實現(xiàn)多水文業(yè)務(wù)的統(tǒng)一調(diào)度管理，綜合展示江西水文各項專題和各類實時監(jiān)測等的信息。

大數(shù)據(jù)平臺對江西海量數(shù)據(jù)的存儲管理能力，提高了數(shù)據(jù)查詢、采集、管理的效率，特別是對歷史數(shù)據(jù)的全量或增量的更新效率提高了 5～10 倍，但對實時數(shù)據(jù)的計算能力仍有提升的空間；云計算為各業(yè)務(wù)系統(tǒng)提供統(tǒng)一文檔的基礎(chǔ)運行環(huán)境；微服務(wù)提供靈活標(biāo)準(zhǔn)的服務(wù)部署能力。各項技術(shù)之間相輔相成，形成了標(biāo)準(zhǔn)的統(tǒng)一數(shù)據(jù)庫、數(shù)據(jù)中臺支撐綜合水文服務(wù)平臺，從各個角度對水文信息化體系進(jìn)行了完善。

3 結(jié)語

2020 年底江西省水文綜合平臺已在 11 個地級市落地，服務(wù)于數(shù)百個業(yè)務(wù)系統(tǒng)，基本解決了長期以來存在的水文應(yīng)用繁多、資源不共享、標(biāo)準(zhǔn)不統(tǒng)一、信息孤島等問題。目前各業(yè)務(wù)系統(tǒng)水位站基本數(shù)據(jù)保持一致，水位、流量、水質(zhì)和土壤墑情實時數(shù)據(jù)各系統(tǒng)共享，業(yè)務(wù)系統(tǒng)生成的成果數(shù)據(jù)互相共享。進(jìn)一步證明：標(biāo)準(zhǔn)的數(shù)據(jù)運行基礎(chǔ)環(huán)境的搭建是形成統(tǒng)一資源和服務(wù)，減少重復(fù)建設(shè)和信息碎片化的關(guān)鍵，大數(shù)據(jù)、云平臺對基礎(chǔ)環(huán)境的搭建至關(guān)重要，微服務(wù)的調(diào)用可保障各水文系統(tǒng)數(shù)據(jù)結(jié)果的準(zhǔn)確性、一致性。

信息化的建設(shè)不是一蹴而就的，比如：在對實時數(shù)據(jù)的演算中，大數(shù)據(jù)技術(shù)仍未達(dá)到理想的狀態(tài)，雨水情數(shù)據(jù)因其實時性較高，字段復(fù)雜，部分計算效率的突破要與大數(shù)據(jù)技術(shù)中非關(guān)系型數(shù)據(jù)結(jié)構(gòu)更好地結(jié)合，才能在微服務(wù)調(diào)用計算時達(dá)到毫秒級輸出，這需繼續(xù)投入針對性的研究和設(shè)計。

綜上所述，大數(shù)據(jù)、云平臺和微服務(wù)有機結(jié)合若能在水利信息化中長期發(fā)展，確實能為水利諸多方面提供幫助。目前江西省水文綜合平臺的開發(fā)，將為水文業(yè)務(wù)提供系統(tǒng)的解決方案和實踐案例，具有一定的研究價值和行業(yè)推廣意義。

由于水利信息數(shù)據(jù)種類、字段內(nèi)容豐富，算法過程尤其預(yù)報類算法復(fù)雜，仍需要持續(xù)性地投入與研究。云平臺解決的是運行環(huán)境的問題，若能將實時業(yè)務(wù)數(shù)據(jù)更好地與大數(shù)據(jù)等信息采集技術(shù)融合，充分使用微服務(wù)提高效率和可控性，將使水利信息化發(fā)展更加扎實。