林蔚凱
(龍巖市勘察測繪大隊,福建 龍巖 364000)
隨著龍巖市中心城區(qū)的高速發(fā)展,城市面貌日新月異,城市邊界向四周延伸,城市建設工程不斷增加,測繪企事業(yè)單位業(yè)務不斷拓展,測繪成果種類多樣,日積月累,逐漸形成了數(shù)量巨大的測繪成果數(shù)據(jù),然而這些數(shù)據(jù)資料被雜亂地存放在電腦硬盤或是服務器,有的難以檢索,導致數(shù)據(jù)資料容易遺失且難以使用[1],目前龍巖市已有的地形圖基礎數(shù)據(jù)無法滿足自然資源局的規(guī)劃、審批、管理等用圖需要。自然資源局作為基礎測繪數(shù)據(jù)管理單位,其核心工作就是對已經獲取的成果數(shù)據(jù)進行高效管理并使其價值最大化。因此,為響應龍巖市數(shù)字城市地理空間框架項目建設的需求,同時為完成龍巖市基礎地理信息整合更新系統(tǒng)改造及運維工作,龍巖市自然資源局(以下簡稱市局)需獨立開發(fā)龍巖市測繪成果管理與更新系統(tǒng),對市局現(xiàn)有的以及今后新生產的各類比例尺地形圖數(shù)據(jù)和各種基礎地理信息數(shù)據(jù)等海量測繪成果數(shù)據(jù)進行高效的管理[2],提升龍巖市基礎測繪工作的管理水平。
近年來,經濟社會發(fā)展和自然資源管理對測繪成果的依賴性不斷增強。隨著GIS技術的飛速發(fā)展,測繪地理信息技術手段進入高速發(fā)展階段,基礎測繪更加精細化動態(tài)化,測繪相關數(shù)據(jù)類別、數(shù)量急劇增加。不同比例尺且投影多樣、覆蓋面廣且時間跨度長、類型繁雜、數(shù)據(jù)量龐大的成果數(shù)據(jù)[3],使測繪單位數(shù)據(jù)管理負擔過重、數(shù)據(jù)利用效率低下,如何安全、高效地對數(shù)據(jù)進行一體化管理成為測繪單位面臨的首要問題。傳統(tǒng)的“質檢、替換、接邊”更新測繪成果數(shù)據(jù)的方式已暴露出了很多弊端,安全性低,不能自動更新,無法滿足日益增長的測繪成果數(shù)據(jù)實時更新需求。隨著國家推進數(shù)字化、信息化的力度加大,設計數(shù)據(jù)成果管理系統(tǒng),使數(shù)據(jù)互聯(lián)互通、按需共享,實現(xiàn)上下聯(lián)動、左右協(xié)同、數(shù)據(jù)共享、智能高效的測繪成果全生命周期管理成為當務之急。
市局針對基礎測繪建立地理信息要素生產系統(tǒng)及數(shù)據(jù)庫管理系統(tǒng),結合最新的GIS技術和數(shù)據(jù)庫管理方式,以數(shù)據(jù)庫為根源[4],以GIS異構數(shù)據(jù)集成為關鍵方法,以中間件提取及數(shù)據(jù)倉庫技術為主要技術支撐,通過多種數(shù)據(jù)和程序調用接口,為用戶提供一個動態(tài)圖檔管理的新思路,實現(xiàn)多源異構數(shù)據(jù)統(tǒng)一和層次化管理,并建立增量更新模式[5]。為提高基礎地理信息數(shù)據(jù)的更新效率,同時滿足規(guī)范要求,采用基于地理信息要素生產系統(tǒng)及數(shù)據(jù)庫管理系統(tǒng)聯(lián)動增量更新技術,即圖形增量和庫體增量聯(lián)動更新,改變傳統(tǒng)的數(shù)據(jù)更新方式,解決數(shù)據(jù)接邊問題和數(shù)據(jù)冗余問題。
測繪數(shù)據(jù)成果按時間跨度分為歷史數(shù)據(jù)、現(xiàn)狀數(shù)據(jù),常見的測繪成果數(shù)據(jù)格式包括dwg、mdb、tif、img、DEM、osgb,以 及docx(doc)、xlsx(xls)、pdf等文檔格式,測繪成果類型主要為控制點數(shù)據(jù)、地形圖數(shù)據(jù)、數(shù)據(jù)庫數(shù)據(jù)、影像數(shù)據(jù)、DEM數(shù)據(jù)、DOM數(shù)據(jù)、三維模型數(shù)據(jù)、項目成果文檔等。
由于測繪數(shù)據(jù)繁雜的數(shù)據(jù)結構,并具有獨特的地理空間信息,市局選擇國產地理信息平臺SmartGIS地理信息平臺作為基礎軟件開發(fā)平臺,為系統(tǒng)擴展提供基礎平臺層面的技術保證。該平臺適用于所有當下普遍使用的操作系統(tǒng)(Linux、UNIX、Windows),可以提供高效的海量空間數(shù)據(jù)庫引擎,供給全面基于組件庫的組件對象模型,支持TB級海量數(shù)據(jù)處理,支持采用關系數(shù)據(jù)庫系統(tǒng)管理空間數(shù)據(jù),支持識別多種不同格式源數(shù)據(jù),支持基于組件的開發(fā)語言。系統(tǒng)開發(fā)是圍繞數(shù)據(jù)庫進行,進而將數(shù)據(jù)的多源異構性問題交由數(shù)據(jù)庫系統(tǒng)解決,系統(tǒng)僅針對整理后的成果數(shù)據(jù)進行更新管理。
系統(tǒng)體系結構設計如圖1所示。
圖1 系統(tǒng)體系結構
依據(jù)本系統(tǒng)目標要求,選取PostgreSQL數(shù)據(jù)庫管理軟件存儲海量多源異構數(shù)據(jù)。PostgreSQL是一個主流開源數(shù)據(jù)庫系統(tǒng),它應用增添SQL語言,增加了復雜數(shù)據(jù)工作負載功能,結合了許多安全存儲,其完整性、并發(fā)性、可靠性、安全性均滿足系統(tǒng)要求。
系統(tǒng)主要包含用戶層、應用層、支撐層、數(shù)據(jù)層、基礎設施層5個層級。用戶層:不同設備的接入用戶,包括系統(tǒng)管理員、審核人員、操作人員、系統(tǒng)維護人員。應用層:用戶與平臺的交互界面,實現(xiàn)數(shù)據(jù)入庫、數(shù)據(jù)瀏覽、數(shù)據(jù)管理、數(shù)據(jù)查詢、匯交查詢統(tǒng)計等多種功能,最終實現(xiàn)測繪成果管理與更新信息化。支撐層:系統(tǒng)的樞紐,負責整個系統(tǒng)的后臺服務、管理應用、數(shù)據(jù)處理等功能,以保證各子系統(tǒng)之間數(shù)據(jù)有效關聯(lián)和管理,并對應用層業(yè)務進行支撐。數(shù)據(jù)層:系統(tǒng)通過數(shù)據(jù)庫建設,針對不同數(shù)據(jù)來源,實現(xiàn)各類數(shù)據(jù)集中管理與統(tǒng)一應用,數(shù)據(jù)庫包括歷史成果庫、現(xiàn)勢成果庫、業(yè)務庫、備份庫等。基礎設施層:系統(tǒng)運行的基礎,包括網絡設備、存儲設備、服務器、安全設備等硬件設施,滿足測繪成果數(shù)據(jù)管理、存儲、更新和應用的需要,保證整個系統(tǒng)的基礎運行環(huán)境穩(wěn)定高效。
系統(tǒng)采用對象-關系型數(shù)據(jù)庫PostgreSQL進行信息存儲,它是功能強大、特性豐富和復雜的自由軟件數(shù)據(jù)庫系統(tǒng),同時其空間數(shù)據(jù)管理擴展PostGIS對于空間數(shù)據(jù)具有較強的管理功能。其中應用程序接口采用ArcSDE實現(xiàn),從而將空間數(shù)據(jù)檢索和分析相關功能集成到自己的應用系統(tǒng)中。
針對增量更新業(yè)務需求,設計空間數(shù)據(jù)庫表如表1所示。
表1 空間數(shù)據(jù)庫表
2.6.1 數(shù)據(jù)下載與分發(fā)
選擇范圍線、分發(fā)路徑、導出方式、分發(fā)方式與分發(fā)版本,進行數(shù)據(jù)庫中現(xiàn)勢數(shù)據(jù)的下載與分發(fā),基于下載的待更新數(shù)據(jù)進行后續(xù)數(shù)據(jù)生產與更新。
2.6.2 數(shù)據(jù)更新
根據(jù)現(xiàn)實情況,基于下載的待更新包進行地理要素增、刪、改操作,完成數(shù)據(jù)更新,形成待更新數(shù)據(jù),并在更新作業(yè)過程中記錄更新要素ID、變更類型、更新時間等更新信息,形成待更新數(shù)據(jù)包。
2.6.3 變更檢查
利用待更新數(shù)據(jù)包進行數(shù)據(jù)庫更新操作前,需要進行變更檢查,判斷待更新數(shù)據(jù)包中的數(shù)據(jù)和更新記錄是否正確。檢查內容包括數(shù)據(jù)沖突檢查、接邊錯誤檢查、數(shù)據(jù)格式檢查、數(shù)據(jù)拓撲檢查、更新數(shù)據(jù)邏輯檢查等。
2.6.4 數(shù)據(jù)接邊
變更檢查通過后,利用系統(tǒng)功能一鍵完成數(shù)據(jù)在范圍線邊界的接邊工作。若有部分數(shù)據(jù)無法自動接邊,需要將未接邊要素導出,手動接邊后,再度進行接邊檢查和自動接邊。
2.6.5 更新入庫
接邊檢查通過后,一鍵進行增量更新入庫,此時增量更新將添加一個新的版本。至此數(shù)據(jù)增量更新完成。具體更新流程如圖2所示。
圖2 增量更新流程
在更新內容時,基于項目要求和數(shù)據(jù)更新規(guī)范在系統(tǒng)的基礎數(shù)據(jù)庫中找到更新區(qū)域,分發(fā)修改范圍進行要素提取。對于點和面要素等獨立要素,直接進行提取;對于線要素,在范圍線附近最近節(jié)點處進行打斷提取。更新完成后使用局部替換法。數(shù)據(jù)生產方面應符合地方發(fā)布的數(shù)據(jù)庫生產規(guī)范。
更新中會產生更新記錄和生產更新地理信息要素數(shù)據(jù)庫。更新記錄包含幾何空間屬性的編輯、更新操作(如刪除、改動、修改地理實體)等操作,其中所有地物要素會給它賦予唯一ID。唯一ID是數(shù)據(jù)庫中每個要素的唯一身份編碼,是實現(xiàn)增量更新的關鍵。要素的屬性、位置、形狀等發(fā)生變化,地物的唯一ID也將按照規(guī)則重新生成,而原先的唯一ID跟隨原先的要素進入歷史數(shù)據(jù)庫。
在系統(tǒng)端的增量更新入庫前,需要進行檢查,具體檢查內容包括3個方面。一是更新范圍檢測,即對項目的更新范圍進行沖突檢測。例如,若臨近的兩個項目的分發(fā)范圍出現(xiàn)部分重疊,因生產活動需要一定的時間,就有可能出現(xiàn)后分發(fā)更新數(shù)據(jù)的項目先完成增量更新,導致數(shù)據(jù)庫中重疊部分的要素的唯一ID發(fā)生變化,那么,先分發(fā)更新數(shù)據(jù)的項目就需要重新分發(fā)更新數(shù)據(jù),不然就會出現(xiàn)要素的唯一ID對應不上的問題。二是沖突檢測,包含了對要素、幾何、新增地物正確性、完整性與結構一致性、圖形精度、屬性精度、接邊精度、數(shù)據(jù)更新、要素關系一致性等的檢測。三是唯一ID檢查,當通過數(shù)據(jù)庫質檢后,需進行唯一ID檢查,確保增量更新有效。檢查流程如圖3所示。
圖3 唯一ID檢查流程
接邊:當所有數(shù)據(jù)達到入庫要求后先進行接邊數(shù)據(jù)提取即接邊預處理;新增地物替換數(shù)據(jù)庫中,原數(shù)據(jù)進入歷史版本庫;刪除地物替換數(shù)據(jù)庫中,原數(shù)據(jù)進入歷史版本庫;修改地物進行ID一一對比,界限值之內直接接邊,超過界限值或ID不一致時,人工干預排查。
入庫:當接邊數(shù)據(jù)處理完成后,進行數(shù)據(jù)庫更新。更新方式為在原始狀態(tài)數(shù)據(jù)基礎上,僅對變化區(qū)域實體信息進行更新。根據(jù)更新記錄,對已經改變原有位置和屬性地物的,先用現(xiàn)狀數(shù)據(jù)取代歷史數(shù)據(jù),再建立現(xiàn)狀數(shù)據(jù)與歷史數(shù)據(jù)的聯(lián)系,并清除臨時空間數(shù)據(jù)庫原有地形地物等信息,所有新增操作按照更新時間、更新范圍、位置以及要素、幾何、唯一ID、時間信息等方式完整保存到歷史數(shù)據(jù)空間庫中,以便后期進行分析回溯,改動后數(shù)據(jù)保存在基礎現(xiàn)勢庫中。
在增量更新的作業(yè)中,進行全程質量控制,自動記錄分發(fā)歷史信息,包括項目名稱、分發(fā)類型、分發(fā)日期、分發(fā)版本號和是否已完成更新,且備份當前增量更新的數(shù)據(jù)庫信息,包括現(xiàn)勢庫信息、歷史庫信息、增量更新版本信息、分發(fā)信息等。
截至目前,此套系統(tǒng)數(shù)據(jù)管理模塊已錄入龍巖市中心城區(qū)范圍內自然資源局所有類型的歷史測繪數(shù)據(jù)。增量更新模塊已采用20個工程建設項目的竣工測量全要素地形成果,并完成龍巖市基礎地形數(shù)據(jù)庫的增量更新工作,更新了45.59萬m2的基礎地形要素。相比傳統(tǒng)的更新方式,增量更新不僅降低了人工成本,更是豐富了數(shù)據(jù)的屬性,減少了人工文件夾檢索,減輕了數(shù)據(jù)管理的工作負擔,提高了工作效率。該系統(tǒng)改善了傳統(tǒng)管理更新模式,實現(xiàn)了測繪成果數(shù)據(jù)可視化管理,自動化更新,提升了測繪成果管理信息化水平;提供數(shù)據(jù)對接端口,提升了數(shù)據(jù)共享能力,使測繪成果數(shù)據(jù)能得到更好的應用。
在現(xiàn)存的根據(jù)數(shù)據(jù)管理系統(tǒng)庫的基礎測繪成果生產更新管理中,測繪數(shù)據(jù)成果生產系統(tǒng)和數(shù)據(jù)庫管理系統(tǒng)之間是不同步的。傳統(tǒng)的全覆蓋式更新的管理方式嚴重影響數(shù)據(jù)的現(xiàn)勢性,進而制約了生產效率。利用數(shù)據(jù)庫增量更新技術進行測繪數(shù)據(jù)生產的管理更新,可實現(xiàn)測繪成果生產系統(tǒng)與數(shù)據(jù)庫管理系統(tǒng)的聯(lián)動更新,減少更新范圍和工作量,提高了更新效率,同時完成了各期數(shù)據(jù)版本管理。