甘桂春， 盧 鵬， 王曉寧

(貴州省林業(yè)調(diào)查規(guī)劃院， 貴州 貴陽 550003)

基于ArcGIS Spatial ETL工具的森林資源數(shù)據(jù)批量處理
——以都勻市林地年度變更數(shù)據(jù)為例

甘桂春， 盧 鵬， 王曉寧

(貴州省林業(yè)調(diào)查規(guī)劃院， 貴州 貴陽 550003)

為更好地完成都勻市林地年度變更工作，使全市森林資源數(shù)據(jù)得到快速分發(fā)并更新。利用ArcGIS和FME軟件，自定義ArcGIS Spatial ETL工具的數(shù)據(jù)轉(zhuǎn)換處理流程模型，自動(dòng)批量快實(shí)現(xiàn)都勻市各鄉(xiāng)鎮(zhèn)的林地年度變更數(shù)據(jù)的無損轉(zhuǎn)換。

Spatial ETL； FME； 流程處理模型； 林地年度變更； 空間數(shù)據(jù)； 都勻市

近年來，隨著GIS技術(shù)應(yīng)用的日趨成熟，涉及GIS的空間數(shù)據(jù)分析處理過程己深入應(yīng)用于林業(yè)行業(yè)，特別是森林資源數(shù)據(jù)的處理[1]?？臻g數(shù)據(jù)的分析處理過程由一系列相互聯(lián)系又具有一定次序關(guān)系的空間操作組成，而它們之間又存在著復(fù)雜的關(guān)系，可能是串、并聯(lián)等層次結(jié)構(gòu)[2]。在GIS中，通過空間數(shù)據(jù)處理流程體系框架將多個(gè)空間操作貫穿起來，形成一個(gè)完整的數(shù)據(jù)處理模型，這個(gè)模型可以被用來自動(dòng)執(zhí)行和記錄多個(gè)分析處理任務(wù)，并對(duì)空間數(shù)據(jù)執(zhí)行一些標(biāo)準(zhǔn)質(zhì)量和有效性的檢查，該過程稱為空間信息處理過程(Spatial Process)[3]。自動(dòng)執(zhí)行和重復(fù)流程是地理信息系統(tǒng)軟件具有的強(qiáng)大的空間分析能力，ArcGIS是國內(nèi)外使用較多的GIS平臺(tái)之一，對(duì)于地理信息數(shù)據(jù)處理具有豐富的空間分析和處理能力[4]。本文介紹了空間分析建模流程技術(shù)的相關(guān)概念，并利用ArcGIS Spatial ETL建模工具實(shí)現(xiàn)都勻市林地年度變更數(shù)據(jù)自動(dòng)轉(zhuǎn)換，進(jìn)而提高空間數(shù)據(jù)處理的速度和質(zhì)量、減少空間數(shù)據(jù)處理的工作量。

1 空間分析建模技術(shù)

1.1 空間信息處理過程概念

過程概念在各行廣泛運(yùn)用，是為完成某類特定目標(biāo)，按某種有機(jī)聯(lián)系在一起的一系列任務(wù)。空間信息處理過程是一個(gè)特殊過程，以空間分析應(yīng)用作為目的，按空間應(yīng)用邏輯組織在一起，以空間數(shù)據(jù)作為處理對(duì)象的一系列空間活動(dòng)的集合[5]。自定義的空間信息處理過程將更有利于實(shí)現(xiàn)GIS應(yīng)用過程的正確建模，便于規(guī)劃及管理GIS應(yīng)用工作的優(yōu)化設(shè)計(jì)并實(shí)施[6]。

一個(gè)完整的空間信息處理過程包括3種基本要素：空間活動(dòng)、過程數(shù)據(jù)和關(guān)系流[7]。空間活動(dòng)是空間信息處理過程的最基本活動(dòng)，通常對(duì)應(yīng)一組空間操作組成的一個(gè)空間數(shù)據(jù)分析模型，由計(jì)算機(jī)軟件自動(dòng)執(zhí)行[8]?？臻g活動(dòng)的邏輯關(guān)系構(gòu)成空間信息處理過程的控制信息流。過程數(shù)據(jù)則是空間活動(dòng)處理對(duì)象，通常由一定格式的空間數(shù)據(jù)組成，是前驅(qū)空間活動(dòng)的輸出，也是后繼空間活動(dòng)的輸入。過程數(shù)據(jù)的處理流程構(gòu)成空間信息處理過程的數(shù)據(jù)信息流[9]。過程關(guān)系流是空間活動(dòng)和過程數(shù)據(jù)間的連接弧，有一定方向，標(biāo)志被控制數(shù)據(jù)的流向[10]。

空間信息處理過程作為一種活動(dòng)，具有別于其他業(yè)務(wù)過程的特性[11]，主要表現(xiàn)在：

(1)空間信息處理過程是以數(shù)據(jù)為中心的應(yīng)用，數(shù)據(jù)處理直接與過程的形式與邏輯相關(guān)；(2)空間操作通常有算法復(fù)雜、計(jì)算量大、耗時(shí)長等特點(diǎn)，輸入和輸出參數(shù)嚴(yán)格定義，參數(shù)的數(shù)目和類型隨操作環(huán)境具較強(qiáng)的可變性；(3)活動(dòng)受條件制約，前后活動(dòng)間聯(lián)系緊密，前驅(qū)活動(dòng)輸出是后繼活動(dòng)輸入，輸入和輸出的匹配需要滿足相應(yīng)約束；(4)過程活動(dòng)參數(shù)及其執(zhí)行邏輯等都息息相關(guān)的，受空間語義的約束[12]。

1.2 Spatial ETL工具介紹

Spatial ETL(Extract-Transform-Load的縮寫，即數(shù)據(jù)抽取、轉(zhuǎn)換、加載的過程)工具，從數(shù)據(jù)源中抽取出所需的數(shù)據(jù)，經(jīng)過一系列的轉(zhuǎn)換(數(shù)據(jù)的標(biāo)準(zhǔn)化、拆分或合并、驗(yàn)證正確性等)，最終按照用戶定義的規(guī)則進(jìn)行轉(zhuǎn)換的數(shù)據(jù)倉庫模型，將數(shù)據(jù)自動(dòng)、批量地加載到目標(biāo)數(shù)據(jù)倉庫中，即負(fù)責(zé)完成數(shù)據(jù)從數(shù)據(jù)源向目標(biāo)數(shù)據(jù)倉庫轉(zhuǎn)化的過程[13]。其特點(diǎn)是數(shù)據(jù)同步和海量，響應(yīng)時(shí)間高速、存儲(chǔ)容量大和安全性高[14]。

Spatial ETL工具對(duì)數(shù)據(jù)整合的步驟如下：

(1)構(gòu)建源數(shù)據(jù)庫，以整合應(yīng)用平臺(tái)數(shù)據(jù)需求為目的；

(2)數(shù)據(jù)抽取。確定并分析數(shù)據(jù)源，選擇適合方法，在不影響源數(shù)據(jù)庫相關(guān)業(yè)務(wù)系統(tǒng)正常運(yùn)行的前提下。準(zhǔn)確地將需要的數(shù)據(jù)從源數(shù)據(jù)庫中讀取出來；

(3)數(shù)據(jù)轉(zhuǎn)換。將從各數(shù)據(jù)源抽取的數(shù)據(jù)，根據(jù)預(yù)設(shè)規(guī)則進(jìn)行轉(zhuǎn)換、處理，以保證數(shù)據(jù)有效性；

(4)數(shù)據(jù)加載。數(shù)據(jù)加載就是將轉(zhuǎn)換后的數(shù)據(jù)按照業(yè)務(wù)規(guī)則加載策略自動(dòng)批量地導(dǎo)入目標(biāo)數(shù)據(jù)庫中[15]。

2 研究區(qū)概況

2.1 自然概況

都勻市位于貴州省東南部，東與黔東南州丹寨縣、黔南州三都縣接壤，南與黔南州平塘縣、獨(dú)山縣相鄰，西與黔南州貴定縣毗鄰，北與黔東南州麻江縣交界，是黔南州州府所在地，地理位置為：107°07′19″—107°46′26″ E，25°51′26″—26°25′39″ N。全市國土面積2 026 km2，下轄18個(gè)鄉(xiāng)(鎮(zhèn)、辦事處)、2個(gè)國營林場(chǎng)及2個(gè)縣級(jí)自然保護(hù)區(qū)，共99個(gè)行政村。

2.2 森林資源概況

根據(jù)都勻市2013年林地年度變更資料，全市林地總面積為139 681.87 hm2，其中，有林地114 725.74 hm2，占林地面積的82.13%；疏林地2 313.97 hm2，占1.66%；灌木林地20 570.87 hm2，占14.73%；未成林地1 427.32 hm2，占1.02%；苗圃地62.21 hm2，占0.04%；無立木林地250.8 hm2，占0.18%；宜林地312.05 hm2，占0.22%；林業(yè)輔助生產(chǎn)用地18.91 hm2，占0.02%。

3 材料與方法

3.1 數(shù)據(jù)及軟件

數(shù)據(jù)來源：都勻市2013年林地年度變更數(shù)據(jù)、都勻市行政區(qū)劃數(shù)據(jù)；

軟件：FME 2008、GIS軟件采用ArcGIS 9.3、數(shù)據(jù)庫軟件采用Access 2003。

3.2 技術(shù)方法

地理實(shí)體的數(shù)據(jù)處理是地理信息數(shù)據(jù)庫建設(shè)中極為重要的工作，其地理實(shí)體的數(shù)據(jù)處理方法和質(zhì)量都是地理信息數(shù)據(jù)庫建設(shè)的重要質(zhì)量指標(biāo)。本文通過相關(guān)的軟件技術(shù)，實(shí)現(xiàn)了都勻市2013年林地年度變更數(shù)據(jù)和都勻市行政區(qū)劃數(shù)據(jù)的批量轉(zhuǎn)換處理，技術(shù)路線圖見圖1。

圖1 技術(shù)路線圖Fig.1 The technological flow chart

3.3 創(chuàng)建Spatial ETL模型環(huán)境

(1)創(chuàng)建ArcGIS Spatial ETL工作環(huán)境。安裝ArcGIS 9.3和 FME 2008，并啟動(dòng)FME將其擴(kuò)展到ArcGIS中，然后在ArcGIS中點(diǎn)擊Extend即集成FME；

(2)建立ArcGIS Spatial ETL工作空間。在ArcGIS工具欄右鍵點(diǎn)擊ArcToolbox，新建New Toolbox添加命名為ETL tool的新工具圖標(biāo)；選擇ETL tool右鍵單擊，在彈出的快捷菜單中選擇New，在其子菜單下選擇Spatial ETL Tool命令；通過創(chuàng)建轉(zhuǎn)換工作空間向?qū)гO(shè)置相應(yīng)的選擇源數(shù)據(jù)的格式和目標(biāo)數(shù)據(jù)集格式，一步步按照提示便可完成ArcGIS Spatial ETL工作空間的設(shè)置，見圖2。

圖2 創(chuàng)建Spatial ETL模型環(huán)境流程圖Fig.2 Creating Spatial ETL model environment flow chart

3.4 定義Spatial ETL模型轉(zhuǎn)換參數(shù)

(1)抽取。將源數(shù)據(jù)中的都勻市2013年林地年度變更數(shù)據(jù)圖層和都勻市行政區(qū)劃數(shù)據(jù)圖層拖放入工作空間中；

(2)轉(zhuǎn)換。通過定義都勻市2013年林地年度變更數(shù)據(jù)圖層和都勻市行政區(qū)劃數(shù)據(jù)圖層的分離字段(即鄉(xiāng)鎮(zhèn)名稱)；將源數(shù)據(jù)、目標(biāo)數(shù)據(jù)進(jìn)行映射轉(zhuǎn)換；

(3)加載。點(diǎn)擊運(yùn)行，將數(shù)據(jù)載入目標(biāo)數(shù)據(jù)集，即自動(dòng)生成都勻市單個(gè)鄉(xiāng)鎮(zhèn)的林地年度變更數(shù)據(jù)和單個(gè)鄉(xiāng)鎮(zhèn)行政區(qū)劃數(shù)據(jù)圖層。

通過定義Spatial ETL模型轉(zhuǎn)換參數(shù)，將從源數(shù)據(jù)庫中提取數(shù)據(jù)，并把它轉(zhuǎn)換成所需的投影、格式和視圖，然后提供給發(fā)出請(qǐng)求的應(yīng)用程序，再將數(shù)據(jù)裝載進(jìn)另一個(gè)數(shù)據(jù)庫，見圖3。

4 結(jié)果與分析

經(jīng)過ArcGIS 9.3與FME 2008軟件的空間數(shù)據(jù)轉(zhuǎn)換功能有機(jī)融合，將讀模塊、函數(shù)、寫模塊通過轉(zhuǎn)換知識(shí)庫有機(jī)結(jié)合，不僅能完成常用空間數(shù)據(jù)空間位置間的轉(zhuǎn)換，還能結(jié)合用戶要求完成數(shù)據(jù)表達(dá)以及屬性間的轉(zhuǎn)換?？臻g數(shù)據(jù)并非單純的幾何要素，其轉(zhuǎn)換涉及的問題相當(dāng)復(fù)雜，本文通過執(zhí)行預(yù)先設(shè)置的Spatial ETL模型，可快速地得到都勻市各個(gè)鄉(xiāng)鎮(zhèn)的林地年度變更小班數(shù)據(jù)和各個(gè)鄉(xiāng)鎮(zhèn)的行政區(qū)劃數(shù)據(jù)，結(jié)果詳見圖4。

結(jié)果表明：采用ArcGIS 9.3與FME 2008軟件批量轉(zhuǎn)換技術(shù)有以下優(yōu)點(diǎn)。(1)FME 2008軟件基于語義的轉(zhuǎn)換可以減少信息的丟失，完成大部分的數(shù)據(jù)處理、入庫工作，數(shù)據(jù)處理后不需在目標(biāo)軟件中再做任何修改；(2)應(yīng)用FME 2008軟件大大提高了林地年度變更空間數(shù)據(jù)庫處理、入庫的效率，減少了工作量，保證了林地年度變更工作的順利進(jìn)行。

5 結(jié)論與討論

通過結(jié)合ArcGIS 9.3和FME 2008軟件創(chuàng)建Spatial ETL工具，完成了都勻市2013年林地年度變更數(shù)據(jù)從縣級(jí)數(shù)據(jù)庫到鄉(xiāng)鎮(zhèn)數(shù)據(jù)庫的批量轉(zhuǎn)換，降低了縣級(jí)工作人員的勞動(dòng)強(qiáng)度，為更好更快地完成都勻市2013年林地年度變更工作快速地提供準(zhǔn)確的數(shù)據(jù)。我們可根據(jù)實(shí)際需求量身定制空間數(shù)據(jù)轉(zhuǎn)換模型，實(shí)現(xiàn)不同格式數(shù)據(jù)之間的互轉(zhuǎn)，可大大提高空間數(shù)據(jù)處理的效率，最大限度地減少數(shù)據(jù)庫的重復(fù)性建設(shè)工作，另外利用FME 2008軟件的語義轉(zhuǎn)換功能可以實(shí)現(xiàn)數(shù)百種數(shù)據(jù)格式互轉(zhuǎn)，幾乎可以避免屬性信息的丟失，這是一般的GIS軟件無法做到的。本文研究的數(shù)據(jù)轉(zhuǎn)換方法對(duì)空間數(shù)據(jù)加工項(xiàng)目提供了一個(gè)很好的思路，也對(duì)從事地理信息系統(tǒng)的技術(shù)人員具有一定的參考價(jià)值。

[1] 甘桂春，肖玲.基于Geodatabase與CASE工具設(shè)計(jì)林地保護(hù)利用規(guī)劃數(shù)據(jù)庫[J].中南林業(yè)調(diào)查規(guī)劃，2011，3(30)：41～44.

[2] 白昕.基于FME和ArcGIS的福州市轄區(qū)城鎮(zhèn)土地調(diào)查建庫技術(shù)研究[J].城市勘測(cè)，2010(6)：35～38.

[3] 劉三滿.基于ETL 工具的數(shù)據(jù)集成和交換的研究[J].電腦開發(fā)與應(yīng)用，2011，10(24)：17.

[4] 周海平，雷昕.基于FME的多元空間數(shù)據(jù)共享方式探討[J].信息技術(shù)，2003(4)：32～34.

[5] 蘇建云，黃耀裔，陳文成.基于FME的GIS數(shù)據(jù)格式轉(zhuǎn)換研究[J].北京測(cè)繪，2009，(1)：36～39.

[6] 張鵬程，方鋒.基于FME的多平臺(tái)數(shù)據(jù)轉(zhuǎn)換系統(tǒng)開發(fā)及實(shí)現(xiàn)[J].地理空間信息，2008，6(2)：25～27.

[7] 高勇，鄔倫，劉瑜.空間信息處理過程建模研究[J].北京大學(xué)學(xué)報(bào)：自然科學(xué)版，2004，40(6)：914～921.

[8] 鄔倫，劉宇，張晶，等.地理信息系統(tǒng)概論——原理、方法和應(yīng)用[M].北京：科學(xué)出版社，2001：5～9.

[9] 夏興東，沈娟紅.FME在數(shù)據(jù)轉(zhuǎn)換中的應(yīng)用[J].現(xiàn)代測(cè)繪，2011，34(3)：62～64.

[10] 陳軍，鄔倫.數(shù)字中國地理空間基礎(chǔ)數(shù)據(jù)框架[M].北京：科學(xué)出版社，2003：15～19.

[11] 許洪波.地理實(shí)體的數(shù)據(jù)處理技術(shù)在地理信息數(shù)據(jù)庫建設(shè)中的應(yīng)用[J].北京測(cè)繪，2012，3(51)：51～52.

[12] WFMC.Terminology and Glossary.Workflow Management Coalition[DB/CD].1999：21～22.

[13] 陳影，程耀東，閆浩文. 利用FME進(jìn)行GIS數(shù)據(jù)的無損轉(zhuǎn)換[J]. 測(cè)繪科學(xué)， 2007， 32(3)：75～77.

[14] 張保鋼. 時(shí)空數(shù)據(jù)的可視化表達(dá)研究[J]. 北京測(cè)繪， 2006(3)：7～9.

[15] 龔曉暉，朱顯紅，陳健壯，等. 公路建設(shè)項(xiàng)目信息資源整合技術(shù)研究[J]. 中外公路， 2012， 2(32)：301～307.

(文字編校：楊 駿)

ForestresourcedatabasedonArcGISSpatialETLtoolforbatchprocessing——TakingtheannualchangeofforestlanddataofDuyunCityasanexample

GAN Guichun， LU Peng， WANG Xiaoning

(Forest Inventory and Planning Institute of Guizhou Province， Guiyang 550003， China)

In order to better fulfill the annual Forest land change work distribute and update rapidly the city's forest resource data in Duyun City.Using ArcGIS and FME software，custom data conversion processing models of ArcGIS Spatial ETL tools，automatic batch quickly realize lossless conversion to the annual forest land annual change data of townships in Duyun City.

Spatial ETL； FME； flow processing model； forest land change； spatial data； Duyun City

2014-10-17

中央財(cái)政林業(yè)科技示范資金其他推廣示范項(xiàng)目([2012]TQ05號(hào))。

甘桂春(1979-)，男，江西省萍鄉(xiāng)市人，工程師，主要從事林業(yè)信息工程、林業(yè)調(diào)查規(guī)劃等方面的工作。

P 208；F 326.2

A

1003 — 5710(2015)01 — 0074 — 05

10. 3969/j. issn. 1003 — 5710. 2015. 01. 018