趙君

(山東省國土測繪院，山東 濟(jì)南 250013)

0 引言

現(xiàn)階段，省級第一次全國地理國情普查已基本完成，其成果在各行各業(yè)得到廣泛應(yīng)用[1-2]。按照國務(wù)院對地理省情監(jiān)測工作總體部署和測繪地理信息事業(yè)轉(zhuǎn)型發(fā)展需要，從2016年起地理國情信息獲取進(jìn)入常態(tài)化監(jiān)測階段，在地理國情普查的基礎(chǔ)上，進(jìn)行地理省情監(jiān)測業(yè)務(wù)化運(yùn)行建設(shè)，形成常態(tài)化地理省情監(jiān)測機(jī)制，提供地理省情信息業(yè)務(wù)化、常態(tài)化服務(wù)[3-4]。

伴隨山東省地理國情監(jiān)測工作的深化，山東省已積累了大量地理省情監(jiān)測數(shù)據(jù)，這些數(shù)據(jù)具備多時態(tài)、多版本、多年份的特點(diǎn)[5]。管理、利用好這些龐大、復(fù)雜、多樣化的省情監(jiān)測數(shù)據(jù)，成為亟待解決的重點(diǎn)問題。為解決好地理省情監(jiān)測數(shù)據(jù)的管理問題，并綜合考慮山東省省級地理信息時空大數(shù)據(jù)中心的相關(guān)要求，該文研發(fā)了地理省情監(jiān)測變化統(tǒng)計(jì)分析系統(tǒng)。系統(tǒng)建設(shè)圍繞基礎(chǔ)性地理省情監(jiān)測數(shù)據(jù)，對多年份地理省情監(jiān)測成果進(jìn)行變化統(tǒng)計(jì)分析，掌握山東省地表自然和人文地理要素年度變化情況，揭示要素變化規(guī)律和趨勢，以更好地為政府和社會提供地理省情信息服務(wù)。

1 總體設(shè)計(jì)

1.1 技術(shù)路線

以山東省地理國情(省情)普查成果和基礎(chǔ)性監(jiān)測成果為基礎(chǔ)，以縣級行政單元作為變化統(tǒng)計(jì)工作區(qū)域，綜合運(yùn)用空間分析、時間序列分析、數(shù)值統(tǒng)計(jì)等統(tǒng)計(jì)分析模型和方法，對地理省情監(jiān)測要素的物理結(jié)構(gòu)、空間關(guān)系及差異特性等內(nèi)容進(jìn)行變化統(tǒng)計(jì)分析。統(tǒng)計(jì)類型包括要素級變化統(tǒng)計(jì)和地類級變化統(tǒng)計(jì)，主要分析屬性變化、伸縮移位、新生、滅失、糾錯、打斷與未變化情況；統(tǒng)計(jì)內(nèi)容包括植被覆蓋、居民地設(shè)施、鐵路與道路、水域、荒漠與裸露地表等地理要素的面積、長度和個數(shù)等指標(biāo)[6-8]。

1.2 總體架構(gòu)設(shè)計(jì)

地理省情監(jiān)測變化統(tǒng)計(jì)分析系統(tǒng)數(shù)據(jù)庫管理系統(tǒng)采用商業(yè)化成熟的關(guān)系型數(shù)據(jù)庫，通過功能組件和服務(wù)接口等組件服務(wù)，實(shí)現(xiàn)數(shù)據(jù)存儲與訪問。整個數(shù)據(jù)庫管理系統(tǒng)由支撐層、數(shù)據(jù)層、接口層和應(yīng)用層構(gòu)成。系統(tǒng)總體技術(shù)架構(gòu)如圖1所示。

圖1 系統(tǒng)技術(shù)架構(gòu)圖

(1)支撐層：用于保障地理省情監(jiān)測變化統(tǒng)計(jì)分析系統(tǒng)的正常運(yùn)行，由基礎(chǔ)軟件環(huán)境、硬件環(huán)境及網(wǎng)絡(luò)環(huán)境組成。

(2)數(shù)據(jù)層：是系統(tǒng)的數(shù)據(jù)資源，并提供數(shù)據(jù)的存儲和管理能力。數(shù)據(jù)內(nèi)容包括普查與監(jiān)測時期的多年份地表覆蓋、地理省情要素、路網(wǎng)和水網(wǎng)數(shù)據(jù)、遙感影像數(shù)據(jù)、地形地貌數(shù)據(jù)、遙感影像解譯樣本、專題數(shù)據(jù)、統(tǒng)計(jì)分析成果數(shù)據(jù)以及系統(tǒng)管理數(shù)據(jù)。

(3)接口層：提供功能組件和服務(wù)接口，具有靈活性強(qiáng)、便于使用的特點(diǎn)。

(4)應(yīng)用層：實(shí)現(xiàn)多年份數(shù)據(jù)時空化建庫，多時相數(shù)據(jù)入庫質(zhì)檢、預(yù)處理、數(shù)據(jù)入庫、查詢、提取，及地理省情監(jiān)測數(shù)據(jù)變化信息統(tǒng)計(jì)等。

1.3 數(shù)據(jù)庫設(shè)計(jì)

山東省地理省情監(jiān)測變化統(tǒng)計(jì)分析系統(tǒng)建庫內(nèi)容主要涉及普查成果數(shù)據(jù)、基礎(chǔ)性監(jiān)測成果、統(tǒng)計(jì)分析成果(圖2)。普查成果是山東省第一次地理國情普查工程中形成的成果，成果包含國情要素?cái)?shù)據(jù)、地表覆蓋數(shù)據(jù)、解譯樣本數(shù)據(jù)、遙感影像數(shù)據(jù)以及地形地貌數(shù)據(jù)5大類主要數(shù)據(jù)[9-10]?；A(chǔ)性監(jiān)測成果是以普查成果為基礎(chǔ)，每年開展常態(tài)化地理省情監(jiān)測形成的，由各數(shù)據(jù)生產(chǎn)單位匯交的直接數(shù)據(jù)成果，成果內(nèi)容包含地理省情要素?cái)?shù)據(jù)、地表覆蓋數(shù)據(jù)、元數(shù)據(jù)、遙感影像與解譯樣本數(shù)據(jù)、專題數(shù)據(jù)、行業(yè)專題數(shù)據(jù)、基本統(tǒng)計(jì)分析成果數(shù)據(jù)等七大類數(shù)據(jù)[11-13]。統(tǒng)計(jì)分析成果是普查時期、監(jiān)測時期建庫完成后進(jìn)行的下一階段常規(guī)成果，主要包含基本統(tǒng)計(jì)成果、變化統(tǒng)計(jì)成果[14]。各個統(tǒng)計(jì)成果數(shù)據(jù)庫中包含統(tǒng)計(jì)成果數(shù)據(jù)集、統(tǒng)計(jì)成果圖件、報(bào)告、報(bào)表等。

圖2 系統(tǒng)數(shù)據(jù)庫內(nèi)容

從存儲角度，地理國情數(shù)據(jù)分為矢量數(shù)據(jù)、柵格數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)、表格數(shù)據(jù)和文件數(shù)據(jù)等5種，根據(jù)數(shù)據(jù)庫的邏輯設(shè)計(jì)，對5種類型的數(shù)據(jù)進(jìn)行物理分開存儲?？紤]每種數(shù)據(jù)的數(shù)據(jù)量，將地理省情監(jiān)測時空數(shù)據(jù)庫劃分為7類表空間，分別為：不分區(qū)的地理國情矢量數(shù)據(jù)、分區(qū)的地理國情矢量數(shù)據(jù)、統(tǒng)計(jì)分析數(shù)據(jù)表空間、遙感影像數(shù)據(jù)表空間、地形地貌數(shù)據(jù)表空間以及數(shù)據(jù)庫空間索引和屬性索引數(shù)據(jù)表空間等。

2 關(guān)鍵技術(shù)分析

2.1 分布式集群架構(gòu)

系統(tǒng)以數(shù)據(jù)版本匹配技術(shù)為基礎(chǔ)，圍繞任務(wù)調(diào)度這一核心，通過分布式集群架構(gòu)，采用共享文件系統(tǒng)作為支撐，完成以數(shù)據(jù)為驅(qū)動的變化統(tǒng)計(jì)分析任務(wù)。通過版本匹配、并行調(diào)度框架、負(fù)載均衡任務(wù)調(diào)度、國情統(tǒng)計(jì)分析任務(wù)并行方式的優(yōu)化、共享文件系統(tǒng)的分布式存儲等策略，實(shí)現(xiàn)高效的地理省情變化統(tǒng)計(jì)分析。

2.2 版本匹配變化統(tǒng)計(jì)

通過版本匹配技術(shù)進(jìn)行空間分析，可以將幾個版本數(shù)據(jù)直接對比，也可以將FEATID作為標(biāo)識信息加以對比，對整個山東省所有要素在各個版本中的發(fā)展變化信息進(jìn)行監(jiān)測。從時空變化角度反映地理省情要素空間分布、空間結(jié)構(gòu)、空間關(guān)系的變化數(shù)量、變化特征、變化趨勢，分析其變化原因和影響因素。

2.3 高性能高可用的并行調(diào)度框架

并行調(diào)度框架是一個中間件，用于對地理大數(shù)據(jù)進(jìn)行并行處理，目標(biāo)是為大數(shù)據(jù)量的計(jì)算密集型的業(yè)務(wù)應(yīng)用提供一個基礎(chǔ)開發(fā)平臺[15]。它可為上層應(yīng)用系統(tǒng)提供模型管理、任務(wù)調(diào)度與進(jìn)度監(jiān)控等功能接口，提供并行調(diào)度環(huán)境部署與管理工具。框架對底層分布式通信、資源分配的復(fù)雜性進(jìn)行了封裝，簡化業(yè)務(wù)系統(tǒng)的構(gòu)建過程。

2.4 負(fù)載均衡任務(wù)調(diào)度策略

結(jié)合地理省情監(jiān)測數(shù)據(jù)的特點(diǎn)，基于負(fù)載均衡策略，合理分解計(jì)算任務(wù)，同時考慮節(jié)點(diǎn)資源情況選取最合適的計(jì)算節(jié)點(diǎn)，然后在集群中的所有計(jì)算節(jié)點(diǎn)上動態(tài)分配計(jì)算任務(wù)。同時，計(jì)算節(jié)點(diǎn)可以根據(jù)需要，動態(tài)的增加或減少，以便合理有效地利用機(jī)器資源。并行調(diào)度系統(tǒng)可以實(shí)時監(jiān)控節(jié)點(diǎn)資源狀態(tài)，以便為任務(wù)調(diào)度提供決策數(shù)據(jù)依據(jù)。

2.5 基于共享文件系統(tǒng)的分布式存儲

為解決數(shù)據(jù)集中式存儲所帶來的IO瓶頸問題，以共享文件系統(tǒng)為支撐，實(shí)現(xiàn)分布式存儲、管理空間數(shù)據(jù)。通過在各個計(jì)算節(jié)點(diǎn)上，分布式存儲待處理的數(shù)據(jù)，一方面可以解決單個節(jié)點(diǎn)存儲空間不足，以及網(wǎng)絡(luò)傳輸?shù)膲毫栴}；另一方面，在執(zhí)行統(tǒng)計(jì)任務(wù)時，將任務(wù)分配到最近的計(jì)算節(jié)點(diǎn)上，減少傳輸耗時，降低整體網(wǎng)絡(luò)壓力，同時提高運(yùn)算性能[16]。

3 系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

3.1 系統(tǒng)的開發(fā)環(huán)境與工具

地理省情監(jiān)測變化統(tǒng)計(jì)分析系統(tǒng)采用的數(shù)據(jù)庫為Oracle 11g，在數(shù)據(jù)庫服務(wù)器上選裝ArcSDE 10.3。Web服務(wù)器和應(yīng)用服務(wù)器上需要安裝的服務(wù)軟件包括ArcGIS Server10.3、JDK(Java Development Kit)，并且部署Oracle 11g數(shù)據(jù)庫客戶端軟件?？蛻舳松闲枰惭b部署ArcMap、ArcEngine、Microsoft Office、Microsoft.NET Framework等(表1)。

表1 主要軟件環(huán)境構(gòu)成情況

3.2 系統(tǒng)功能設(shè)計(jì)與實(shí)現(xiàn)

該系統(tǒng)借助空間統(tǒng)計(jì)、任務(wù)并行等技術(shù)手段，對比分析監(jiān)測范圍內(nèi)的歷史數(shù)據(jù)與現(xiàn)勢數(shù)據(jù)，發(fā)現(xiàn)各個版本數(shù)據(jù)之間的區(qū)別，對監(jiān)測范圍內(nèi)數(shù)據(jù)要素級、地類級變化情況加以監(jiān)測。系統(tǒng)涉及統(tǒng)計(jì)計(jì)算模塊、成果生成模塊、任務(wù)管理模塊及配置維護(hù)模塊。

3.2.1 統(tǒng)計(jì)計(jì)算模塊

統(tǒng)計(jì)分析模塊從地理省情監(jiān)測時空數(shù)據(jù)庫中抽取行政區(qū)域范圍作為監(jiān)測區(qū)域，指定數(shù)據(jù)庫中的各類地理省情監(jiān)測成果數(shù)據(jù)圖層作為監(jiān)測對象，通過對劃定區(qū)域內(nèi)的監(jiān)測對象的歷史數(shù)據(jù)與現(xiàn)勢數(shù)據(jù)監(jiān)測對比，并采用圖形、表格等多種方式展現(xiàn)變化情況，為地理省情長期持續(xù)的監(jiān)測提供服務(wù)。支持按行政區(qū)劃和自定義范圍對比歷史數(shù)據(jù)與現(xiàn)勢數(shù)據(jù)；支持統(tǒng)計(jì)要素級和地類級數(shù)據(jù)變化情況；支持變化統(tǒng)計(jì)任務(wù)多機(jī)、多進(jìn)程執(zhí)行。

要素級變化統(tǒng)計(jì)，構(gòu)建不同版本數(shù)據(jù)之間各類要素的變化分析指標(biāo)，統(tǒng)計(jì)要素在各種空間變化下的數(shù)量變化、長度變化、面積變化等，以對比圖斑的形式展現(xiàn)監(jiān)測對象的變化結(jié)果。地類級變化統(tǒng)計(jì)，基于監(jiān)測數(shù)據(jù)或基本統(tǒng)計(jì)成果，統(tǒng)計(jì)各地類的數(shù)量變化和空間分布變化。變化統(tǒng)計(jì)模塊主要包括統(tǒng)計(jì)方案、數(shù)據(jù)方案和統(tǒng)計(jì)指標(biāo)3個功能。統(tǒng)計(jì)方案是統(tǒng)計(jì)指標(biāo)的組合，分為地理省情要素、地表覆蓋分類變化、地表覆蓋轉(zhuǎn)移變化。數(shù)據(jù)方案是根據(jù)實(shí)際需要統(tǒng)計(jì)分析的內(nèi)容創(chuàng)建數(shù)據(jù)方案，實(shí)現(xiàn)數(shù)據(jù)與計(jì)算模板的匹配。統(tǒng)計(jì)指標(biāo)是統(tǒng)計(jì)計(jì)算的核心功能，按照具體的數(shù)據(jù)類型，地類分類情況，年份信息構(gòu)建變化統(tǒng)計(jì)指標(biāo)。

3.2.2 成果生成模塊

成果生成模塊提供圖表制作、報(bào)表制作、圖件制作、報(bào)告制作4個功能。

圖表制作：地理省情變化統(tǒng)計(jì)分析系統(tǒng)的圖表制作功能可以根據(jù)不同的統(tǒng)計(jì)范圍對統(tǒng)計(jì)結(jié)果中各種變化類型的數(shù)量、長度和面積進(jìn)行自動匯總，系統(tǒng)根據(jù)匯總的數(shù)據(jù)自動生成折線圖、直方圖、餅狀圖和柱狀圖。

報(bào)表制作功能：地理省情變化統(tǒng)計(jì)分析系統(tǒng)提供完善、靈活的報(bào)表制作能力，支持省情特色報(bào)表模板的制作，滿足多樣化展示的應(yīng)用需求。執(zhí)行完成變化統(tǒng)計(jì)后，可以輸出統(tǒng)計(jì)報(bào)表，采用.XLS文件格式。

同時，該模塊也支持對報(bào)表模板的修改、設(shè)計(jì)，提供設(shè)計(jì)器進(jìn)行編輯，支持完善、靈活的報(bào)表制作能力。除此之外，還支持支持一鍵生成、輸出報(bào)表內(nèi)容(圖3)。

圖3 報(bào)表生成

3.2.3 任務(wù)管理模塊

任務(wù)管理模塊主要是對統(tǒng)計(jì)計(jì)算的任務(wù)進(jìn)行管理，包括未執(zhí)行任務(wù)、執(zhí)行中任務(wù)、已完成任務(wù)和所有任務(wù)。選擇某一個具體的任務(wù)，點(diǎn)擊該任務(wù)，可以查看相應(yīng)任務(wù)的日志詳情。

支持按照任務(wù)的分類分別進(jìn)行查看任務(wù)的名稱、任務(wù)類型、任務(wù)描述、統(tǒng)計(jì)范圍、創(chuàng)建人、創(chuàng)建時間、開始時間、狀態(tài)、任務(wù)進(jìn)度、結(jié)束時間和任務(wù)結(jié)果信息。同時，支持對任務(wù)進(jìn)行全選、啟動、刪除、刷新操作。其中是否展示創(chuàng)建人信息，與登錄的用戶權(quán)限有關(guān)，若是用戶權(quán)限為管理員權(quán)限，則展示創(chuàng)建人信息，若是用戶權(quán)限為普通用戶權(quán)限，則不展示創(chuàng)建人信息

3.2.4 配置維護(hù)模塊

配置管理模塊主要完善系統(tǒng)運(yùn)行維護(hù)方面的功能，包括安全管理、建庫配置、時空配置、組織管理等功能，保障系統(tǒng)穩(wěn)定運(yùn)行。安全管理提供系統(tǒng)用戶管理功能，并對系統(tǒng)操作功能權(quán)限和數(shù)據(jù)訪問權(quán)限進(jìn)行嚴(yán)格控制，保障數(shù)據(jù)庫運(yùn)行安全。

建庫配置提供數(shù)據(jù)建庫基礎(chǔ)配置，連接共享存儲，掛接數(shù)據(jù)庫資源，包括數(shù)據(jù)資源管理、存儲設(shè)置和設(shè)置圖層范圍。時空配置功能建立時空數(shù)據(jù)模型，實(shí)現(xiàn)對多年份監(jiān)測數(shù)據(jù)的時空管理，支持對省情監(jiān)測數(shù)據(jù)版本進(jìn)行注冊與維護(hù)，支持按年份對地理國情信息分類碼管理。組織管理提供數(shù)據(jù)目錄、數(shù)據(jù)區(qū)域配置等管理能力，支持自定義組建數(shù)據(jù)編目樹的結(jié)構(gòu)，支持任務(wù)區(qū)劃配置，流域區(qū)劃配置，支持按照年份進(jìn)行行政區(qū)劃配置。運(yùn)行監(jiān)控提供對系統(tǒng)運(yùn)行情況進(jìn)行實(shí)時的監(jiān)控，以及業(yè)務(wù)數(shù)據(jù)的備份與恢復(fù)能力，支持顯示用戶在線狀態(tài)，支持系統(tǒng)運(yùn)行業(yè)務(wù)數(shù)據(jù)備份與恢復(fù)。

3.3 系統(tǒng)部署

地理省情監(jiān)測需要統(tǒng)計(jì)和分析多元化、多維度、多時相數(shù)據(jù)的變化，需要對統(tǒng)計(jì)分析結(jié)果進(jìn)行快速查詢和調(diào)用，傳統(tǒng)的支撐環(huán)境難以滿足需要。因此，該項(xiàng)目的支撐環(huán)境需要云環(huán)境，進(jìn)行網(wǎng)絡(luò)存儲、計(jì)算及資源服務(wù)。

云平臺采用私有云模式，通過云平臺管理軟件，將計(jì)算、存儲、網(wǎng)絡(luò)等資源虛擬化，并進(jìn)一步池化管理。用戶通過云主機(jī)構(gòu)建統(tǒng)計(jì)分析計(jì)算服務(wù)器集群、Web服務(wù)器集群、應(yīng)用服務(wù)器集群、文件服務(wù)器等，使其具有高性能、高可靠性、高可擴(kuò)展能力等特點(diǎn)。系統(tǒng)通過云平臺API為應(yīng)用服務(wù)、GIS服務(wù)軟件系統(tǒng)提供自主化集群管理服務(wù)。云平臺通過對底層虛擬環(huán)境的統(tǒng)一調(diào)度管理，為上層的應(yīng)用和GIS服務(wù)軟件系統(tǒng)提供包括計(jì)算、存儲和網(wǎng)絡(luò)資源的自動化動態(tài)分配，并提供對從底層物理資源、虛擬資源池、虛擬主機(jī)、GIS服務(wù)軟件、應(yīng)用服務(wù)軟件的垂直監(jiān)控。通過整合監(jiān)控?cái)?shù)據(jù)和并發(fā)訪問量，自動調(diào)整應(yīng)用服務(wù)軟件、GIS服務(wù)軟件的集群規(guī)模，以保證集群的高效處理能力。

3.4 實(shí)例分析

因面狀要素兼具點(diǎn)要素與線要素的特性，且對面要素的變化統(tǒng)計(jì)最復(fù)雜，因此，文章以2015—2017年平度市耕地的變化統(tǒng)計(jì)分析進(jìn)行測試。借助本系統(tǒng)從省情監(jiān)測數(shù)據(jù)中提取水田、旱地地類作為耕地地類，進(jìn)行變化統(tǒng)計(jì)，形成2015—2017年平度市耕地變化統(tǒng)計(jì)結(jié)果：(1)耕地主要流向分析。從地類來看，耕地與園地間流轉(zhuǎn)導(dǎo)致耕地面積減少最多，其次，是耕地與草地間流轉(zhuǎn)。(2)空間分布情況分析。耕地轉(zhuǎn)為園地的情況在平度各地均有分布，總體來看，北部大于南部，東部大于西部。且主要集中在北部大澤山、東北部尹府水庫、黃同水庫附近。耕地轉(zhuǎn)為園地的區(qū)域與2017年平度園地分布基本一致，且在園地集中區(qū)域耕地轉(zhuǎn)為園地的數(shù)量較多(圖4、圖5)。

圖4 平度市耕地轉(zhuǎn)入-轉(zhuǎn)出變化量構(gòu)成情況

圖5 平度市耕地轉(zhuǎn)出為園地?zé)狳c(diǎn)區(qū)域

通過本系統(tǒng)計(jì)算得到的變化統(tǒng)計(jì)成果與人工判斷的結(jié)果一致，驗(yàn)證了變化統(tǒng)計(jì)的準(zhǔn)確性。對獲得的省情監(jiān)測變化統(tǒng)計(jì)數(shù)據(jù)，進(jìn)一步進(jìn)行數(shù)據(jù)挖掘，可為決策部門提供良好的輔助支撐。

4 結(jié)語

該文以云環(huán)境為支撐，采用分布式集群架構(gòu)、版本匹配技術(shù)、高性能并行調(diào)度框架、負(fù)載均衡任務(wù)調(diào)度策略等關(guān)鍵技術(shù)，設(shè)計(jì)了地理省情監(jiān)測變化統(tǒng)計(jì)分析系統(tǒng)，利用空間統(tǒng)計(jì)、任務(wù)并行等技術(shù)模型，實(shí)現(xiàn)對監(jiān)測區(qū)域內(nèi)多時態(tài)、多版本、地理省情數(shù)據(jù)要素級、地類級變化情況的統(tǒng)計(jì)分析，解決了省情監(jiān)測數(shù)據(jù)分散、管理困難的問題，極大地提升了地理省情時空數(shù)據(jù)的管理能力。