張衍偉,周新東,初曉煒,杜沖
(1.濰坊市勘察測(cè)繪研究院,山東 濰坊 261000;2.濰坊市自然資源和規(guī)劃局,山東 濰坊 261000;3.山東省國(guó)土測(cè)繪院,山東 濟(jì)南 250000)
老牌測(cè)繪院在過(guò)去幾十年長(zhǎng)期的工作過(guò)程中,積累了豐富的歷史地形圖數(shù)據(jù)資料,該資料擁有當(dāng)年翔實(shí)的地物信息,在大數(shù)據(jù)時(shí)代,這些信息彌足珍貴,可作為空間數(shù)據(jù)分析與挖掘的可靠數(shù)據(jù)資料,利于政府相關(guān)部門(mén)挖掘新知識(shí),同時(shí)為后續(xù)其他工作的開(kāi)展提供輔助決策。在智慧濰坊時(shí)空大數(shù)據(jù)與云平臺(tái)的建設(shè)中,歷史地理信息為一個(gè)核心指標(biāo),本次作業(yè)收集到了多個(gè)歷史年份電子版地形圖數(shù)據(jù),并對(duì)其進(jìn)行加工處理工作以滿足數(shù)據(jù)庫(kù)標(biāo)準(zhǔn)要求,完善了智慧濰坊時(shí)空大數(shù)據(jù)與云平臺(tái)的整體架構(gòu),形成時(shí)空數(shù)據(jù)庫(kù)[1-2]。在保證數(shù)據(jù)質(zhì)量和工作進(jìn)度的同時(shí),如何根據(jù)不同的要素類(lèi)型自動(dòng)化的處理部分?jǐn)?shù)據(jù),提高對(duì)歷史地形圖數(shù)據(jù)的采集入庫(kù)處理效率和數(shù)據(jù)質(zhì)量,是本文研究的重點(diǎn)內(nèi)容[3]。
ArcGIS軟件為目前世界上最為優(yōu)秀、成熟、穩(wěn)定、可靠的GIS數(shù)據(jù)生產(chǎn)、處理和分析的工具平臺(tái),該軟件已經(jīng)非常廣泛地應(yīng)用于目前各類(lèi)測(cè)繪地理信息項(xiàng)目的數(shù)據(jù)處理工作中[4-5]。其中,ModelBuilder模型構(gòu)建器為該軟件的一個(gè)組件,以流程化的形式將數(shù)據(jù)處理中多個(gè)獨(dú)立的數(shù)據(jù)處理任務(wù)進(jìn)行集成,拖拽對(duì)應(yīng)的腳本工具進(jìn)入作業(yè)區(qū)并進(jìn)行連接,將上一步輸出的過(guò)程性成果作為下一步工作的輸入,不需要編寫(xiě)程序即可高效快速地構(gòu)建出一個(gè)工作流[6],ModelBuilder界面圖如圖1所示。通過(guò)對(duì)模型中的數(shù)據(jù)變量進(jìn)行參數(shù)化處理可以滿足多個(gè)作業(yè)組的工作需要,同時(shí)還可將工具箱共享給其他作業(yè)人員進(jìn)行數(shù)據(jù)生產(chǎn)作業(yè)。
圖1 Model Builder界面圖
[7-8]
圖2 ArcGIS Model Builder設(shè)計(jì)流程圖[9]
目前用于生產(chǎn)大比例尺地形圖數(shù)據(jù)的軟件比較豐富、成熟,一般作業(yè)過(guò)程中常結(jié)合EPS和CASS兩款軟件進(jìn)行作業(yè)。生產(chǎn)地形圖的技術(shù)路線也非常成熟,嚴(yán)格依據(jù)圖式進(jìn)行數(shù)據(jù)的采集,完整采集出測(cè)量控制點(diǎn)、水系、居民地和設(shè)施、交通、管線、境界、地貌、地貌和植被8個(gè)大類(lèi)地物和一個(gè)注記要素[10-11],按照入庫(kù)的標(biāo)準(zhǔn)對(duì)地形圖進(jìn)行數(shù)字化處理,參照相關(guān)規(guī)范要求對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)分層、編碼賦值、幾何信息規(guī)范化等處理[12]。
對(duì)歷史地形圖數(shù)據(jù)進(jìn)行整理的傳統(tǒng)技術(shù)路線為(圖3):將收集到的歷史地形圖數(shù)據(jù)作為工作底圖,人工對(duì)地形圖要素進(jìn)行判讀,在CASS軟件中選擇對(duì)應(yīng)的要素類(lèi)進(jìn)行繪制,對(duì)于某些簡(jiǎn)單要素比如注記、點(diǎn)、線等要素可以快速換碼處理。
圖3 歷史地形圖處理內(nèi)容及傳統(tǒng)處理流程
該歷史地形圖數(shù)據(jù)比例尺為1∶1000,AUTOCAD的DWG格式,該數(shù)據(jù)所有幾何和注記要素全部存儲(chǔ)在一個(gè)TX圖層中,該數(shù)據(jù)的作業(yè)標(biāo)準(zhǔn)為GB/T 7929—1995,目前采用的地形圖圖式為GB/T 20257.1-2017,按照該標(biāo)準(zhǔn)用傳統(tǒng)的技術(shù)方法進(jìn)行采集,會(huì)面臨大部分?jǐn)?shù)據(jù)需要重繪的難題,這將嚴(yán)重浪費(fèi)作業(yè)單位的各種資源。按照技術(shù)規(guī)范要求,經(jīng)過(guò)實(shí)際項(xiàng)目中的統(tǒng)計(jì)數(shù)據(jù),得出每人每天大約可以完成0.25km2左右,速度非常緩慢,而且困難主要集中在居民地及設(shè)施里點(diǎn)線面要素的繪制,高程點(diǎn)和控制點(diǎn)等點(diǎn)狀地物的換碼屬性填充,等高線和地類(lèi)界的數(shù)據(jù)處理。傳統(tǒng)技術(shù)方法在處理這些歷史地形圖數(shù)據(jù)中效率較低[13],而且容易出現(xiàn)要素遺漏、數(shù)據(jù)錯(cuò)誤等問(wèn)題,給后續(xù)的數(shù)據(jù)入庫(kù)工作帶來(lái)壓力[14-15]。
針對(duì)傳統(tǒng)處理方法遇到的困難,本文按照數(shù)據(jù)處理要求,根據(jù)數(shù)據(jù)分層情況,對(duì)數(shù)據(jù)的要素類(lèi)型、屬性信息、塊名、注記、顏色、線型等信息進(jìn)行了細(xì)致的分析匯總,分類(lèi)研究其處理方案,然后利用Model Builder工具建立對(duì)應(yīng)的數(shù)據(jù)處理模型,并且根據(jù)實(shí)際需求逐步完善,總共進(jìn)行了14次升級(jí),最終形成了較為完善的數(shù)據(jù)處理工具箱。
通過(guò)對(duì)原始地形圖數(shù)據(jù)進(jìn)行分析,了解到該數(shù)據(jù)中只有線、面和注記3種類(lèi)型要素,且面數(shù)據(jù)嚴(yán)重缺失,所有要素?zé)o任何編碼信息。例如:房屋要素是用4條無(wú)編碼邊線和一個(gè)無(wú)編碼注記(磚,建等)存儲(chǔ),且邊線和注記相互之間只有空間上的位置關(guān)系,并無(wú)其他聯(lián)系,廁所和牲口棚等要素情況基本雷同。
根據(jù)數(shù)據(jù)處理要求,基于數(shù)據(jù)資料情況設(shè)計(jì)出如下處理方案。一是進(jìn)行面要素到線要素的轉(zhuǎn)換處理。將所有的面要素轉(zhuǎn)換成線要素,并與原始數(shù)據(jù)中存在的線要素同步進(jìn)行多部件到單部件和修復(fù)幾何處理,處理掉存在異常的問(wèn)題圖形,合并所有的線要素。二是通過(guò)長(zhǎng)度篩選可能組成房屋的線要素,剔除掉特別長(zhǎng)或者特別短的線,將篩選出的線要素進(jìn)行修復(fù)幾何操作,用要素轉(zhuǎn)面功能生成面要素,對(duì)這些面要素根據(jù)其面積進(jìn)行篩選,剔除面積過(guò)大或者過(guò)小的面要素。三是利用空間連接功能,將注記信息賦值給對(duì)應(yīng)的面要素,多次計(jì)算字段后,根據(jù)注記信息對(duì)面要素進(jìn)行篩選,得到建成房屋、建設(shè)中房屋、廁所和牲口棚等要素。四是對(duì)篩選的要素進(jìn)行賦值,根據(jù)數(shù)據(jù)入庫(kù)要求添加字段并計(jì)算字段值,比如GB,房屋結(jié)構(gòu)等屬性項(xiàng)信息。圖4為房屋類(lèi)ModelBuilder建模核心路線圖,為確保模型穩(wěn)定正確的生產(chǎn)數(shù)據(jù),建立的Model Builder模型中加入了較多的邏輯判斷、錯(cuò)誤修復(fù)操作、幾何修復(fù)、屬性篩選及字段處理操作,在某些參數(shù)值的選擇和設(shè)置上也是根據(jù)實(shí)際情況做了很多優(yōu)化工作。
經(jīng)過(guò)實(shí)踐,此種方法以較高的成功率提取了房屋等面狀要素?cái)?shù)據(jù),減少人工的工作量,提升了作業(yè)效率,數(shù)據(jù)質(zhì)量較高,可以直接入庫(kù)。
圖4 房屋類(lèi)ModelBuilder建模核心路線圖
在該類(lèi)型要素處理過(guò)程中,主要涉及點(diǎn)要素和注記要素,通過(guò)對(duì)原始地形圖數(shù)據(jù)進(jìn)行分析,了解到高程點(diǎn)的塊名為GC200或者GC170,種類(lèi)較少,在比較近的距離內(nèi)高程點(diǎn)有對(duì)應(yīng)的高程值注記。
根據(jù)數(shù)據(jù)處理要求,該文設(shè)計(jì)了如下的處理方案(圖5)。一是導(dǎo)入所有注記要素和點(diǎn)要素,篩選REF值為GC200或者GC170的點(diǎn)要素和注記要素。二是進(jìn)行空間連接,將注記信息連接到點(diǎn)要素的屬性表中,對(duì)注記信息進(jìn)行長(zhǎng)度計(jì)算,篩選出符合長(zhǎng)度的注記信息,確定最終的點(diǎn)要素。三是構(gòu)建字段列表,對(duì)字段進(jìn)行賦值以滿足數(shù)據(jù)庫(kù)要求。
經(jīng)過(guò)實(shí)踐,準(zhǔn)確率接近100%,數(shù)據(jù)質(zhì)量滿足入庫(kù)標(biāo)準(zhǔn),只需要簡(jiǎn)單的人工操作即可。
圖5 高程點(diǎn)類(lèi)Model Builder建模核心路線圖
在該類(lèi)型要素處理過(guò)程中,主要涉及點(diǎn)要素和注記要素,通過(guò)對(duì)原始地形圖數(shù)據(jù)進(jìn)行分析,了解到各種類(lèi)型的控制點(diǎn)擁有不同的塊名,在比較近的距離內(nèi)控制點(diǎn)有對(duì)應(yīng)的控制點(diǎn)名稱(chēng)和高程值注記。
圖6 控制點(diǎn)類(lèi)Model Builder建模核心路線圖
根據(jù)數(shù)據(jù)處理要求,本文設(shè)計(jì)了如下的處理方案(圖6)。一是分析原始DWG數(shù)據(jù),統(tǒng)計(jì)塊名與對(duì)應(yīng)的圖形要素,并根據(jù)1995版地形圖圖式來(lái)判定控制點(diǎn)類(lèi)型,比如圖根點(diǎn)、水準(zhǔn)點(diǎn)、衛(wèi)星等級(jí)控制點(diǎn)等,做好對(duì)照表,便于后續(xù)程序的操作。二是導(dǎo)入所有點(diǎn)要素,根據(jù)REF值進(jìn)行篩選,獲得所有類(lèi)型的控制點(diǎn)數(shù)據(jù),根據(jù)數(shù)據(jù)入庫(kù)需要添加字段。三是導(dǎo)入所有注記要素,分別根據(jù)長(zhǎng)度或注記字符等信息篩選出控制點(diǎn)高程值注記和控制點(diǎn)名稱(chēng)注記。四是分別進(jìn)行控制點(diǎn)要素和控制點(diǎn)高程值要素、控制點(diǎn)要素和控制點(diǎn)名稱(chēng)要素的空間連接。五是進(jìn)行字段的篩選、計(jì)算等操作,以確保數(shù)據(jù)滿足入庫(kù)標(biāo)準(zhǔn)。在控制點(diǎn)等級(jí)的處理中,利用PYTHON語(yǔ)言編寫(xiě)了KZDGradeProgress函數(shù),并集成在模型工具中自動(dòng)處理控制點(diǎn)等級(jí)信息,對(duì)控制點(diǎn)等級(jí)字段進(jìn)行自動(dòng)賦值。
經(jīng)過(guò)實(shí)踐,可以處理掉約90%的控制點(diǎn)數(shù)據(jù),部分需要人工進(jìn)行檢查處理。
在該類(lèi)型要素處理過(guò)程中,主要涉及線要素和注記要素,通過(guò)對(duì)原始地形圖數(shù)據(jù)進(jìn)行分析,了解到等高線要素的塊名存在規(guī)律性,存儲(chǔ)于固定的幾個(gè)要素層中且較為唯一,這為后續(xù)的程序化[16]處理提供了便利。
根據(jù)數(shù)據(jù)處理要求,該文設(shè)計(jì)了如下的處理方案(圖7)。總體思想是將等高線某個(gè)距離范圍內(nèi)的高程值匯總求擬合平均值,適當(dāng)處理后賦值給等高線。一是根據(jù)層名篩選出等高線的幾何要素?cái)?shù)據(jù),修復(fù)后按照一定容差對(duì)數(shù)據(jù)進(jìn)行融合。二是導(dǎo)入注記要素,并通過(guò)字符特點(diǎn)和數(shù)值大小篩選出其中的高程信息。三是對(duì)等高線要素和高程值注記信息進(jìn)行空間連接,連接操作采用JION ONE TO ONE并且保留所有目標(biāo)要素,匹配選項(xiàng)采用相交、合并規(guī)則采用計(jì)算平均值。四是對(duì)數(shù)據(jù)按照0.5m的等高距進(jìn)行處理,完成后人工檢查,整體模型如圖7所示。
圖7 自動(dòng)提取等高線模型圖
經(jīng)過(guò)實(shí)踐,在地勢(shì)較為平緩的地區(qū),處理效果較好,準(zhǔn)確無(wú)誤。在山區(qū)等高線密集區(qū)域,效果不好,需要較多的人工干預(yù)。
圍墻線屬于附屬設(shè)施類(lèi),在該類(lèi)型要素處理過(guò)程中,主要涉及線要素,通過(guò)對(duì)原始地形圖數(shù)據(jù)進(jìn)行分析,了解到原始地形圖圍墻都是依比例尺圍墻,即雙線圍墻,但是寬度不一。根據(jù)數(shù)據(jù)處理要求,圍墻需要全部處理成不依比例尺圍墻,最初人工測(cè)試時(shí),這種要素的數(shù)字化較為繁瑣,容易出現(xiàn)懸掛點(diǎn)等類(lèi)型錯(cuò)誤,作業(yè)效率較低,工作量巨大,不利于整個(gè)項(xiàng)目的推進(jìn)。
根據(jù)數(shù)據(jù)處理要求,本文設(shè)計(jì)了如下的處理方案。一是將原始地形圖數(shù)據(jù)的線要素和面要素統(tǒng)一轉(zhuǎn)為線要素,同時(shí)進(jìn)行修復(fù)幾何等操作,將轉(zhuǎn)換的線要素合并。二是用要素轉(zhuǎn)面工具將線要素轉(zhuǎn)換為面要素,并分別篩選出面積>10和<10的面要素,對(duì)>10的面要素計(jì)算其包絡(luò)矩形的面積。三是計(jì)算面要素面積與其包絡(luò)矩形面積比值,篩選>0且<0.4的面要素,并于面積<10的面要素合并,利用要素轉(zhuǎn)線工具將面要素轉(zhuǎn)為線要素,根據(jù)長(zhǎng)度篩選出圍墻兩側(cè)的長(zhǎng)邊要素。四是從已經(jīng)完成的房屋面數(shù)據(jù)中獲取房角數(shù)據(jù),通過(guò)空間連接功能篩選出最終的圍墻線。五是利用捕捉功能,將圍墻線靠在房角上,按照數(shù)據(jù)入庫(kù)標(biāo)準(zhǔn)進(jìn)行規(guī)范化處理以滿足要求[17]。
經(jīng)過(guò)實(shí)踐,在對(duì)較為規(guī)整的圍墻數(shù)據(jù)處理過(guò)程中,效果非常好,準(zhǔn)確率較高。但是在形狀不規(guī)則的圍墻,效果較差,需要人工進(jìn)行處理。
除了以上要素的自動(dòng)處理外,本文也對(duì)地類(lèi)界、陽(yáng)臺(tái)面等要素的自動(dòng)化提取進(jìn)行了研究。主要思路是根據(jù)要素的幾何和屬性特征進(jìn)行選擇,借助空間連接、篩選、選擇、合并、字段計(jì)算等工具進(jìn)行復(fù)雜處理。
地類(lèi)界要素跟多種要素有關(guān)聯(lián),較為復(fù)雜,整體成功率不高,實(shí)踐中可以處理約20%的要素,只能參考使用。陽(yáng)臺(tái)面需要在完成房屋數(shù)據(jù)提取后進(jìn)行處理,根據(jù)空間位置、幾何特征等信息來(lái)判斷選取,成功率較高,在項(xiàng)目中已經(jīng)采用。整體方法類(lèi)似,在此不再贅述。
基于ArcGIS ModelBuilder制作的工具分發(fā)極其方便,制作完成工具后根據(jù)需要進(jìn)行加密處理,防止程序被破壞,然后拷貝到其他工作用電腦中,在ArcGIS中直接打開(kāi)即可使用。按照工具界面選擇對(duì)應(yīng)數(shù)據(jù)滿足參數(shù)要求,運(yùn)行即可。
對(duì)于習(xí)慣于ArcGIS Pro的用戶來(lái)說(shuō),由于ArcGIS Desktop與ArcGIS Pro兩個(gè)軟件中的PYTHON版本不同,在模型遷移的過(guò)程中遇到了一些困難,可以借助2to3工具進(jìn)行了模型的遷移,但是為了程序的穩(wěn)定運(yùn)行,仍需要進(jìn)行一些微調(diào)工作,這點(diǎn)需要注意。本次工作收集歷史地形圖資料比較順利,全部為電子版。某些地區(qū)可能只有歷史地形圖的紙質(zhì)版數(shù)據(jù),對(duì)于這種情況則需要進(jìn)行地圖掃描矢量化處理,可借助ArcScan、R2V等自動(dòng)矢量化工具進(jìn)行處理[18-20]。
利用ArcGIS ModelBuilder制作的歷史地形圖數(shù)據(jù)處理的工具箱,極大地提高了作業(yè)效率,房屋類(lèi)90%左右,附屬設(shè)施類(lèi)的40%左右,高程點(diǎn)類(lèi)接近100%,控制點(diǎn)接近100%,地類(lèi)界20%左右,等高線60%左右都進(jìn)行了自動(dòng)化處理?;贏rcGIS Model Builder的數(shù)據(jù)自動(dòng)化生產(chǎn)數(shù)據(jù)的作業(yè)方式,使作業(yè)效率和數(shù)據(jù)質(zhì)量都有了極大提高。
鑒于智慧時(shí)空大數(shù)據(jù)與云平臺(tái)建設(shè)工作需要,各個(gè)地區(qū)都會(huì)存在歷史地形圖數(shù)據(jù)的整理入庫(kù)工作需求,本文所展示的方法可以廣泛的應(yīng)用于各個(gè)地區(qū)的歷史地形圖數(shù)據(jù)處理工作中。
目前完成的歷史數(shù)據(jù)處理工具箱對(duì)地類(lèi)界和附屬設(shè)施類(lèi)要素的自動(dòng)提取準(zhǔn)確性較低,目前沒(méi)有辦法提高,這是該次研究工作的不足之處。