刁明光,薛 濤,李建存,許 彩,鄒森忠,趙鵬飛
(1.中國地質(zhì)大學(北京)信息工程學院,北京 100083;2.中國國土資源航空物探遙感中心,北京 100083)
在數(shù)字國土工程的實施中,我國提出了以提高地質(zhì)調(diào)查社會化服務水平為目標,以數(shù)據(jù)支撐體系和技術(shù)支撐體系為基礎,最終實現(xiàn)地質(zhì)調(diào)查主流程信息化的工作思路[1]。在此思路的指導下,加強遙感數(shù)據(jù)集中管理和集成應用,提高數(shù)據(jù)使用效率和數(shù)據(jù)共享能力,對于統(tǒng)一管理和應用各類遙感數(shù)據(jù)具有重要意義。
隨著遙感技術(shù)的廣泛應用,有關(guān)部門采集和存儲了大量空間數(shù)據(jù)[2],這些數(shù)據(jù)在應用方面主要有如下特征:①數(shù)據(jù)量大且多源,從GB級到TB級不等,且涉及不同的專題;②元數(shù)據(jù)標準多樣,數(shù)據(jù)統(tǒng)一集成管理難以實現(xiàn)[2];③使用人員廣泛,數(shù)據(jù)獲取困難。GIS系統(tǒng)的核心是數(shù)據(jù)的應用。通過對空間數(shù)據(jù)特征分析發(fā)現(xiàn),多源空間數(shù)據(jù)的特點導致數(shù)據(jù)不能得到有效的管理和組織,限制了其在實際應用中發(fā)揮最大作用的能力。對多源空間數(shù)據(jù)進行統(tǒng)一組織和管理,是解決由數(shù)據(jù)管理帶來的應用困難問題的出發(fā)點。為此,多源空間數(shù)據(jù)管理系統(tǒng)的建立對于解決大數(shù)據(jù)量空間數(shù)據(jù)的應用問題具有重要意義。
針對多源空間數(shù)據(jù)的組織和管理,需要對元數(shù)據(jù)、空間數(shù)據(jù)檢索統(tǒng)一規(guī)劃。本系統(tǒng)通過對元數(shù)據(jù)標準進行擴展解決多源空間數(shù)據(jù)的元數(shù)據(jù)交換的問題;利用單機多SDE數(shù)據(jù)存儲技術(shù)解決多源數(shù)據(jù)定位及共享問題;最后通過建立空間索引數(shù)據(jù)庫,在單機多SDE的基礎上,解決空間數(shù)據(jù)的快速檢索的問題。上述設計思路在空間矢量數(shù)據(jù)和遙感數(shù)據(jù)上均是適用的。
統(tǒng)一的標準是能夠規(guī)范地采集元數(shù)據(jù)和提供元數(shù)據(jù)信息服務的基礎[4]。在地學領域,目前存在多種不同空間元數(shù)據(jù)標準,本系統(tǒng)在數(shù)據(jù)管理中除了要滿足符合通用標準的空間元數(shù)據(jù)管理需要,還要滿足相關(guān)數(shù)據(jù)應用部門的特殊需求,為此,在參照《地質(zhì)信息元數(shù)據(jù)標準(DD2006-05)》[5]的基礎上,在系統(tǒng)的開發(fā)過程中,要求將空間元數(shù)據(jù)與空間數(shù)據(jù)庫及所屬項目進行關(guān)聯(lián),并設計符合系統(tǒng)特殊要求的規(guī)范化的元數(shù)據(jù)信息內(nèi)容,擴展后的元數(shù)據(jù)標準對空間矢量數(shù)據(jù)及遙感數(shù)據(jù)均可進行描述。如圖1所示。
圖1 地質(zhì)信息元數(shù)據(jù)標準的擴展Fig.1 Extension of the geological information metadata standard
在《地質(zhì)信息元數(shù)據(jù)標準》中,對圖1A框中所示的8個子集共122項數(shù)據(jù)項進行了詳細描述[5]。基于本系統(tǒng)使用單位的需要,實現(xiàn)元數(shù)據(jù)—空間數(shù)據(jù)、元數(shù)據(jù)—項目信息的關(guān)聯(lián)管理,在元數(shù)據(jù)標準信息基礎上添加了空間數(shù)據(jù)庫信息和項目信息兩個子集[6],擴展后元數(shù)據(jù)共213項數(shù)據(jù)項,如圖1中B框所示。其中,空間數(shù)據(jù)庫信息子集用于描述空間數(shù)據(jù)信息及其所在空間數(shù)據(jù)庫的物理位置信息,實現(xiàn)元數(shù)據(jù)—空間數(shù)據(jù)關(guān)聯(lián)管理,也為空間數(shù)據(jù)的快速檢索定位提供信息;項目信息子集則用于描述空間數(shù)據(jù)所屬的相關(guān)計劃項目和工作項目信息,實現(xiàn)元數(shù)據(jù)—項目信息關(guān)聯(lián)管理。
通過對地質(zhì)信息元數(shù)據(jù)標準的擴展,可為解決多源空間數(shù)據(jù)的元數(shù)據(jù)交換問題提供基礎。
基于XML(extensible markup language)的空間元數(shù)據(jù)交換主要用于實現(xiàn)在空間數(shù)據(jù)管理系統(tǒng)中,對空間元數(shù)據(jù)進行數(shù)據(jù)交換。同時采用XML作為交換媒介,不以數(shù)據(jù)結(jié)構(gòu)為前提,具有很強的平臺無關(guān)性和可擴展性。
盡管數(shù)據(jù)交換功能較常規(guī)功能而言具有一定優(yōu)勢,但同樣存在生產(chǎn)效率低、維護成本高昂的問題。為了解決以上問題,采用模型驅(qū)動架構(gòu)(MDA)相關(guān)理論,對空間元數(shù)據(jù)交換流程進行設計,并根據(jù)空間元數(shù)據(jù)的特點,在應用MDA的同時對其進行了一定的擴展,從而產(chǎn)生了模型—平臺—數(shù)據(jù)源無關(guān)模型(data source independent model,DSIM)、數(shù)據(jù)源相關(guān)模型(data source specific model,DSSM)。
從數(shù)據(jù)轉(zhuǎn)移的角度來看,空間元數(shù)據(jù)從源應用到目標應用需要經(jīng)過源應用、數(shù)據(jù)源無關(guān)模型和目標應用3個狀態(tài)??臻g元數(shù)據(jù)在3者之間的轉(zhuǎn)移可劃分為3個業(yè)務流程:數(shù)據(jù)提取、數(shù)據(jù)處理和數(shù)據(jù)裝載。數(shù)據(jù)提取和數(shù)據(jù)處理協(xié)作完成數(shù)據(jù)自源應用到數(shù)據(jù)源無關(guān)模型之間的傳遞,數(shù)據(jù)裝載完成數(shù)據(jù)自數(shù)據(jù)源無關(guān)模型到目標應用的傳遞,流程如圖2所示。
圖2 空間元數(shù)據(jù)交換流程Fig.2 Spatial metadata exchange process
ArcSDE能夠在多種關(guān)系數(shù)據(jù)庫中管理空間數(shù)據(jù)并提供訪問接口的空間數(shù)據(jù)引擎。針對資源與環(huán)境遙感數(shù)據(jù)多源的特點,在一個數(shù)據(jù)庫服務器中建立多個SDE服務來定位不同來源、不同專題的大數(shù)據(jù)量空間矢量數(shù)據(jù)及遙感數(shù)據(jù),達到多源空間數(shù)據(jù)共享目的,如圖3所示。
圖3 單機多SDE空間數(shù)據(jù)共享Fig.3 Spatial data sharing based on single machine mutiple SDE
由圖3所示,單機多SDE的集成方式是在本地一個數(shù)據(jù)庫服務器中建立多個SDE的空間數(shù)據(jù)庫服務,即通過在一個數(shù)據(jù)庫服務器中建立多個SDE服務和數(shù)據(jù)庫實例來形成單機多SDE的空間數(shù)據(jù)庫模式。這種模式將區(qū)域分散、數(shù)據(jù)量大的空間數(shù)據(jù)物理地集中到一起進行定位共享,增強空間數(shù)據(jù)庫間的數(shù)據(jù)共享能力,提高數(shù)據(jù)訪問的效率;同時,又從邏輯上將每個數(shù)據(jù)庫分開,使每個數(shù)據(jù)庫可以靈活地設計各自的邏輯結(jié)構(gòu),實現(xiàn)特別的業(yè)務模型或工作流程。
此模式下,雖然用戶能夠檢索到所需的數(shù)據(jù),但會花費大量時間,無法快速檢索數(shù)據(jù),索引數(shù)據(jù)庫的建立則可幫助解決這一問題。
使用索引可快速訪問數(shù)據(jù)庫表中的特定信息,本系統(tǒng)索引數(shù)據(jù)庫針對多源的空間數(shù)據(jù)庫中的數(shù)據(jù)建立索引,如圖4所示。
圖4 空間索引數(shù)據(jù)庫存儲結(jié)構(gòu)Fig.4 Spatial index database storage structure
數(shù)據(jù)組織形式是通過收集、制作平臺數(shù)據(jù)庫空間數(shù)據(jù)的地理范圍、屬性定義,建立數(shù)據(jù)庫內(nèi)部關(guān)聯(lián)引用元數(shù)據(jù)信息、空間數(shù)據(jù)條目,實現(xiàn)包括空間索引屬性數(shù)據(jù)和空間數(shù)據(jù)庫基本信息的空間索引基礎數(shù)據(jù)庫的集中管理和空間數(shù)據(jù)庫間屬性數(shù)據(jù)—空間數(shù)據(jù)—元數(shù)據(jù)關(guān)聯(lián)的數(shù)據(jù)檢索功能,保證實體數(shù)據(jù)與檢索數(shù)據(jù)的一致性,為平臺的數(shù)據(jù)應用服務接口提供合理有效的數(shù)據(jù)支持,解決用戶快速檢索定位數(shù)據(jù)問題?;趫D4的空間索引數(shù)據(jù)庫,本系統(tǒng)將采用基于空間對象MBR(最小外包矩形)的空間索引方法在空間數(shù)據(jù)庫中對空間數(shù)據(jù)建立索引,空間數(shù)據(jù)的檢索模塊采用的方法如圖5所示,將實現(xiàn)空間數(shù)據(jù)的粗略檢索和精確檢索。
圖5 空間數(shù)據(jù)檢索方法Fig.5 Spatial data retrieval method
本研究是在“資源與環(huán)境遙感信息基礎平臺建設”(以下簡稱平臺)項目的基礎上進行的,該平臺用來對資源與環(huán)境遙感空間數(shù)據(jù)進行組織管理的同時提供專業(yè)操作應用,平臺建設實現(xiàn)過程可劃分為數(shù)據(jù)庫集成、系統(tǒng)安全、數(shù)據(jù)服務及專業(yè)4個方面。本研究形成的系統(tǒng)對應于平臺的數(shù)據(jù)庫集成和數(shù)據(jù)服務兩方面內(nèi)容,以實現(xiàn)對大數(shù)據(jù)量的多源空間數(shù)據(jù)的組織和管理,實現(xiàn)部分的數(shù)據(jù)以空間矢量數(shù)據(jù)為例進行功能展示。
系統(tǒng)采用B/S三層體系結(jié)構(gòu)[7],這種體系結(jié)構(gòu)具有方便維護、可擴展性強、安全性高、重用性好、可靠性高等特點,各層的調(diào)用關(guān)系和主要功能劃分描述如下:
1)表示層。本層是用戶界面,接收用戶事件,用戶通過客戶端的瀏覽器向中間層發(fā)送操作請求及查看請求返回的響應信息。
2)中間層。本層負責數(shù)據(jù)處理和傳遞,在表示層接收用戶提交的操作請求或數(shù)據(jù)信息之后,采用ADBRAC權(quán)限模型[8]提供系統(tǒng)安全校驗;在第三方控件(ArcGIS Server for.NET框架類庫)的基礎上提供系統(tǒng)各項功能操作(元數(shù)據(jù)管理、空間數(shù)據(jù)管理等);通過采用對象/關(guān)系映射方式訪問數(shù)據(jù)庫服務器里的數(shù)據(jù)。在本層中通過數(shù)據(jù)訪問層訪問數(shù)據(jù),經(jīng)過通用層和業(yè)務邏輯層的處理之后得到用戶需要的數(shù)據(jù),最終通過表示層以界面的形式展現(xiàn)到用戶的瀏覽器上。
3)數(shù)據(jù)存儲層。本層是業(yè)務對象的屬性得以永久性保存的載體[7],在本系統(tǒng)結(jié)構(gòu)的數(shù)據(jù)存儲層,采用圖3及圖4所示的多源空間數(shù)據(jù)組織和管理的技術(shù)和方法建立元數(shù)據(jù)庫、空間索引數(shù)據(jù)庫和項目信息數(shù)據(jù)庫,實現(xiàn)對多源資源與環(huán)境遙感空間數(shù)據(jù)及其元數(shù)據(jù)和平臺特殊需求的項目信息的存儲管理,為平臺建設提供穩(wěn)定的數(shù)據(jù)支撐。
圖6 平臺功能圖Fig.6 Platform functions
本文重點討論多源空間數(shù)據(jù)管理問題,即圖6中數(shù)據(jù)服務部分的數(shù)據(jù)管理功能(元數(shù)據(jù)管理、圖層數(shù)據(jù)管理和空間數(shù)據(jù)庫管理[8]),其他功能在此不作詳細描述。為了保證系統(tǒng)的可用性,系統(tǒng)共收集了75幅索引圖幅和全國32個省(市、自治區(qū))的700幅基礎圖幅(包括地質(zhì)災害、礦產(chǎn)資源、森林植被等矢量圖幅)進行系統(tǒng)測試。
數(shù)據(jù)服務具有對元數(shù)據(jù)、圖層數(shù)據(jù)和空間數(shù)據(jù)庫進行組織管理,實現(xiàn)各數(shù)據(jù)的增、刪、改、查功能及元數(shù)據(jù)、圖層數(shù)據(jù)和空間數(shù)據(jù)庫分別進行的關(guān)聯(lián)管理。元數(shù)據(jù)在規(guī)范化擴展之后定義了213項數(shù)據(jù)項,對空間數(shù)據(jù)庫或圖層數(shù)據(jù)的屬性均能做到詳細準確的描述。在根據(jù)元數(shù)據(jù)查詢時則根據(jù)這213項數(shù)據(jù)項中的關(guān)鍵參數(shù)屬性進行圖層數(shù)據(jù)的查詢。
在空間元數(shù)據(jù)管理和圖層元數(shù)據(jù)管理時,均可實現(xiàn)元數(shù)據(jù)信息的編輯和交換功能,交換即實現(xiàn)元數(shù)據(jù)的XML格式或純文本文件格式的導出和XML格式文件的導入,如圖7所示。此功能解決了當前多種介質(zhì)文件數(shù)據(jù)交換問題,利于多部門快速實現(xiàn)數(shù)據(jù)交換使用。
圖7 交換格式文件Fig.7 XML(left)and text(right)exchange format file
空間數(shù)據(jù)庫管理則是系統(tǒng)管理員或是授權(quán)的用戶能夠通過SDE連接系統(tǒng)所需使用的空間數(shù)據(jù)庫如圖8所示。
圖8 空間數(shù)據(jù)庫管理Fig.8 Spatial database management
圖層管理功能是提供授權(quán)用戶將系統(tǒng)所需使用的各空間數(shù)據(jù)庫中圖層矢量數(shù)據(jù)移入或移出系統(tǒng)索引數(shù)據(jù)庫,實現(xiàn)系統(tǒng)圖層數(shù)據(jù)的更新,如圖9所示。其中,圖層元數(shù)據(jù)管理界面如圖10所示,元數(shù)據(jù)信息管理界面如圖11所示,在圖11A中對元數(shù)據(jù)的213項數(shù)據(jù)項進行了折疊顯示。
圖9 空間數(shù)據(jù)庫圖層導入導出Fig.9 Importing and exporting of spatial database layers
圖10 圖層元數(shù)據(jù)管理Fig.10 Metadata management of layers
圖11 元數(shù)據(jù)信息管理Fig.11 Metadata information management
在分析當前空間數(shù)據(jù)的特點基礎上,基于地質(zhì)信息元數(shù)據(jù)標準的多源空間數(shù)據(jù)管理系統(tǒng),通過對元數(shù)據(jù)標準的擴展,解決多源空間數(shù)據(jù)的元數(shù)據(jù)交換的問題;利用單機多SDE數(shù)據(jù)存儲技術(shù),解決多源數(shù)據(jù)定位及共享問題;通過建立空間索引數(shù)據(jù)庫,在單機多SDE的基礎上,解決空間數(shù)據(jù)的快速檢索的問題;最終,在系統(tǒng)中實現(xiàn)了元數(shù)據(jù)管理、圖層數(shù)據(jù)管理和空間數(shù)據(jù)庫管理等數(shù)據(jù)管理功能。系統(tǒng)的實現(xiàn)為平臺的建立提供了數(shù)據(jù)支撐和功能擴展接口。繼本研究之后還將繼續(xù)研發(fā)平臺的各項管理功能和擴展功能。
[1]周家寰.地質(zhì)調(diào)查信息化建設成果及思路[J].國土資源信息化,2005(5):4-6.Zhou J H.Achievements and consideration of geological survey informatization[J].Land and Resources Informatization,2005(5):4-6.
[2]胡 鵬,黃杏元,華一新.地理信息系統(tǒng)教程[M].武漢:武漢大學出版社,2007.Hu P,Huang X Y,Hua Y X.Geographic information systems tutorial[M].Wuhan:Wuhan University Press,2007.
[3]馮 敏,諸云強,王卷樂,等.分布式多標準地學元數(shù)據(jù)共享研究與實踐[J].地理與地理信息科學,2007,23(6):8-13.Feng M,Chu Y Q,Wang J L,et al.Research and implement of distributed multi- standard geo- metadata sharing[J].Geography and Geo-Information Science,2007,23(6):8-13.
[4]王成錫,張明華.國家地質(zhì)信息元數(shù)據(jù)管理系統(tǒng)的開發(fā)[J].國土資源信息化,2011(2):12-15,24.Wang C X,Zhang M H.National system of geological information metadata[J].Land and Resources Informatization,2011(2):12-15,24.
[5]中國地質(zhì)調(diào)查局.地質(zhì)信息元數(shù)據(jù)標準(DD2006-05)[EB/OL].http://www.cgs.gov.cn/YWguanli/BZguifan/ZGdizhidiaochajudizhidiaochajishubiaozhun/578_1893.htm.2006.China Geological Survey Bureau.Geological Information Metadata Standard(DD2006-05)[EB/OL].http://www.cgs.gov.cn/YWguanli/BZguifan/ZGdizhidiaochajudizhidiaochajishubiaozhun/578_1893.htm.2006.
[6]趙鵬舉,刁明光,薛 濤,等.一種基于地理信息元數(shù)據(jù)標準的空間索引體系[J].科技導報,2010,28(8):84-88.Zhao P J,Diao M G,Xue T,et al.A geospatial index architecture based on geological information metadata standard[J].Science and Technology Review,2010,28(8):84-88.
[7]王偉雄.淺談三層體系結(jié)構(gòu)應用系統(tǒng)[J].價值工程,2010(23):162-164.Wang W X.Discussion on the three layer architecture applications[J].Value Engineering,2010(23):162-164.
[8]刁明光,薛 濤,李建存,等.資源與環(huán)境遙感項目成果信息服務系統(tǒng)權(quán)限模型的設計與實現(xiàn)[J].國土資源遙感,2009,21(4):101-104.Diao M G,Xue T,Li J C,et al.The design and implementation of the permission model on the results and projects information services system of resources and environmental remote sensing projects[J].Remote Sensing for Land and Resources,2009,21(4):101-104.
[9]Li J C,Diao M G,Xue T.Application research on WebGIS index system based on fractal theory information and automation-international symposium[C]//ISIA2010,Revised Selected Papers,2011,309-316.