楊述偉
摘 要:多樣化的獲取能力、各行業(yè)的快速發(fā)展促進(jìn)了地理信息數(shù)據(jù)的爆發(fā)式增長,也對其在線服務(wù)應(yīng)用提出了挑戰(zhàn)。目前,在線方式提供的地理信息數(shù)據(jù)應(yīng)用主要是通過WMTS提供地圖服務(wù)、通過WFS提供矢量服務(wù),響應(yīng)速度和數(shù)據(jù)量、服務(wù)器、網(wǎng)絡(luò)環(huán)境相關(guān)性大,而且還存在事先切片費(fèi)時(shí)費(fèi)力,切片后屬性信息缺失而無法支持空間分析和在線編輯兩個(gè)主要問題,嚴(yán)重制約了地理信息數(shù)據(jù)價(jià)值的共享與應(yīng)用。因此,如何提升在線地圖的價(jià)值,發(fā)展快速、有效的海量地理信息數(shù)據(jù)在線服務(wù)模式,是最大化挖掘并發(fā)揮數(shù)據(jù)價(jià)值的關(guān)鍵。該文圍繞海量地理信息數(shù)據(jù)在線服務(wù)的現(xiàn)狀及需求,討論一種無需切片、直接基于數(shù)據(jù)服務(wù)的GIS地圖引擎,實(shí)現(xiàn)地理信息數(shù)據(jù)的快速發(fā)布、秒級響應(yīng)、實(shí)時(shí)配圖渲染、前端分析與運(yùn)算等需求。
關(guān)鍵詞:海量數(shù)據(jù) 在線地圖 提升價(jià)值 不切片 司南超擎
中圖分類號:TP701 文獻(xiàn)標(biāo)識碼:A 文章編號:1672-3791(2017)06(c)-0028-03
在線方式提供的地理信息數(shù)據(jù)主要是通過WMTS提供地圖服務(wù)、通過WFS提供矢量服務(wù),響應(yīng)速度和數(shù)據(jù)量、服務(wù)器、網(wǎng)絡(luò)環(huán)境相關(guān)性大,而且地圖服務(wù)還存在事先切片費(fèi)時(shí)費(fèi)力,切片后屬性信息缺失而無法支持空間分析和在線編輯兩個(gè)主要問題,嚴(yán)重制約了地理信息數(shù)據(jù)價(jià)值的共享與應(yīng)用。因此,發(fā)展快速、有效的海量地理信息數(shù)據(jù)在線服務(wù)模式,是最大化發(fā)揮、挖掘其數(shù)據(jù)價(jià)值的關(guān)鍵途徑。
該文主要圍繞海量地理信息數(shù)據(jù)在線服務(wù),針對存在的問題及需求,討論地理信息數(shù)據(jù)快速發(fā)布、秒級響應(yīng)、實(shí)時(shí)配圖渲染、前端分析與運(yùn)算等需求的服務(wù)模式,一方面,滿足現(xiàn)有海量數(shù)據(jù)有效組織管理、快速查詢檢索的需求;另一方面實(shí)現(xiàn)地理信息價(jià)值的充分挖掘與共享。
1 在線地圖服務(wù)
在線地圖服務(wù)整合了網(wǎng)絡(luò)搜索引擎和地圖的優(yōu)勢,使人們擺脫了紙質(zhì)地圖時(shí)間和空間上的局限,通過自動搜索、人工查詢、在線交流等方式為用戶提供方便、快捷、準(zhǔn)確的所需地圖及出行交通指引服務(wù)。豐富的數(shù)據(jù)類型、復(fù)雜的數(shù)據(jù)結(jié)構(gòu)以及海量數(shù)據(jù)內(nèi)容,是影響在線地圖服務(wù)響應(yīng)速度的主要因素。地圖切片作為解決海量地理數(shù)據(jù)與有限網(wǎng)絡(luò)帶寬之間矛盾的通用技術(shù),雖然一定程度上滿足了人們對地理信息數(shù)據(jù)瀏覽、查詢和定位的需求,但是因?yàn)槠涮峁┑氖枪潭ɑ⒒A(chǔ)性的數(shù)據(jù)服務(wù),存在以下局限性。
1.1 數(shù)據(jù)發(fā)布準(zhǔn)備工作費(fèi)時(shí)費(fèi)力
數(shù)據(jù)發(fā)布之前需要先將數(shù)據(jù)進(jìn)行配圖、切片、入庫等工作。由于地理信息的范圍廣、數(shù)據(jù)量大,導(dǎo)致前期準(zhǔn)備工作費(fèi)時(shí)費(fèi)力、成本頗高。以筆者所做的實(shí)驗(yàn)為例,數(shù)據(jù)量為6.3 T的影像數(shù)據(jù),切片后數(shù)據(jù)量再增加6 T的切片數(shù)據(jù),完成切片一般需要3~4個(gè)月的時(shí)間,再加上入庫3~4周的時(shí)間;而且,一旦有區(qū)域更新服務(wù)時(shí),還需要重新進(jìn)行整合、配圖、切片、入庫。
1.2 時(shí)效性難以保證
用戶客戶端請求到的地圖信息是預(yù)先生成的,考慮到地圖服務(wù)更新區(qū)域大小、聚集程度、重新配圖切片等因素的影響,用戶查詢到的信息不一定就是最新的地理信息。
1.3 前端無法編輯處理、分析計(jì)算
同樣,由于用戶客戶端請求到的地圖信息是預(yù)先生成的切片數(shù)據(jù),已而非原始的矢量地圖數(shù)據(jù),除了空間信息以外,屬性信息以及不同圖層之間的關(guān)系信息已經(jīng)丟失,無法再根據(jù)用戶需求進(jìn)行進(jìn)一步的編輯處理、分析計(jì)算。例如:無法基于地圖切片進(jìn)行特征識別,提取用戶感興趣的農(nóng)田、水域、城區(qū)、道路等,并生成專題圖信息,以便進(jìn)行農(nóng)業(yè)估產(chǎn)、城市規(guī)劃的應(yīng)用;無法基于地圖切片和其他業(yè)務(wù)數(shù)據(jù)疊加分析,服務(wù)于商業(yè)選址、配貨調(diào)度到公路網(wǎng),鐵路網(wǎng)、電力網(wǎng)、市政管網(wǎng)等設(shè)施的優(yōu)化管理調(diào)度等;無法進(jìn)行時(shí)空數(shù)據(jù)分析計(jì)算,快速發(fā)現(xiàn)土地、建筑、氣溫、環(huán)境、水文的變化,從而積極響應(yīng)并做出預(yù)防措施。
1.4 難以支持大數(shù)據(jù)量的應(yīng)用
WFS矢量服務(wù)雖然一定程度上可以解決切片數(shù)據(jù)的弊端,支持對地理要素的編輯(插入、刪除和更新)、檢索和發(fā)現(xiàn)服務(wù)、支持基于空間幾何關(guān)系的查詢,基于屬性域的查詢,當(dāng)然還包括基于空間關(guān)系和屬性域的共同查詢。但是,WFS服務(wù)的響應(yīng)速度受到數(shù)據(jù)量的限制,難以支持大數(shù)據(jù)量應(yīng)用。
1.5 數(shù)據(jù)安全
在線地圖服務(wù)一方面需要考慮客戶的需求,盡可能提供較高精度的地圖數(shù)據(jù);另一方面又需要考慮數(shù)據(jù)保密,做好數(shù)據(jù)安全維護(hù)工作。而如何將這兩者兼得,即保證數(shù)據(jù)的精度,又確保數(shù)據(jù)安全,是目前在線地圖服務(wù)難以兼顧的。
2 司南超擎
司南超擎地圖將專業(yè)GIS和公眾地圖在體系架構(gòu)、功能、性能上進(jìn)行了取長補(bǔ)短的融合,是互聯(lián)網(wǎng)化的GIS服務(wù),實(shí)現(xiàn)互聯(lián)網(wǎng)+GIS,既能實(shí)現(xiàn)專業(yè)GIS的功能,又能達(dá)到公眾地圖的性能(海量并發(fā)、秒級響應(yīng)),開啟了地信行業(yè)地圖服務(wù)不切片新時(shí)代,提升了在線地圖服務(wù)中海量地理信息數(shù)據(jù)的價(jià)值,通過構(gòu)建數(shù)據(jù)服務(wù)(DaaS,Data-as-a-Service),來支撐軟件服務(wù)(SaaS,Software-as-a-Service)。
2.1 技術(shù)架構(gòu)
司南超擎整體技術(shù)架構(gòu)由表現(xiàn)層、服務(wù)層和數(shù)據(jù)庫層組成,表現(xiàn)層通過網(wǎng)頁和移動端提供查詢檢索分析統(tǒng)計(jì)更新等功能,服務(wù)層基于GIS平臺建立空間數(shù)據(jù)索引、發(fā)布服務(wù)以及生產(chǎn)緩存等,數(shù)據(jù)庫層用來存儲司南超擎格式的空間索引文件,具體如圖1所示。
2.2 技術(shù)特點(diǎn)
司南超擎具有以下幾個(gè)技術(shù)特點(diǎn)。
(1)數(shù)據(jù)直接發(fā)布,無需切片。
不用局限于數(shù)據(jù)量大小、服務(wù)器、網(wǎng)絡(luò)等基礎(chǔ)設(shè)施的限制,實(shí)現(xiàn)柵格、矢量地理信息數(shù)據(jù)不切片、直接發(fā)布。既節(jié)約了切片工作的時(shí)間人力,又解決了互聯(lián)網(wǎng)上海量數(shù)據(jù)與有限帶寬的問題,支持前端數(shù)據(jù)編輯處理、空間分析與運(yùn)算,支持在線配圖,直接配圖,直接瀏覽。
(2)空間聚類索引。
首先,現(xiàn)有索引是通過矢量數(shù)據(jù)的外包矩形來構(gòu)建,司南超擎的索引通過坐標(biāo)點(diǎn)來構(gòu)建,不僅能表達(dá)矢量數(shù)據(jù)內(nèi)部的坐標(biāo)信息,還能表達(dá)由此延伸的矢量數(shù)據(jù)之間空間關(guān)系,解決了現(xiàn)有索引“微觀不夠微觀”的問題。
其次,司南超擎的索引解決了現(xiàn)有技術(shù)按照數(shù)據(jù)集來分別構(gòu)建索引后,不能動態(tài)地將任意多個(gè)數(shù)據(jù)集的索引無縫融合的難題,也就是解決了現(xiàn)有索引“宏觀不夠宏觀”的問題。
最后,目前的索引技術(shù)會使響應(yīng)時(shí)間隨著數(shù)據(jù)量的增長呈非線性指數(shù)級增長,嚴(yán)重影響數(shù)據(jù)應(yīng)用,而司南超擎地圖采用的索引技術(shù),使數(shù)據(jù)響應(yīng)時(shí)間不隨原始數(shù)據(jù)量增長而成比例增長,而是近似趨向于無關(guān),解決了現(xiàn)有索引的數(shù)據(jù)量大、效率低的問題。
(3)分布式索引技術(shù)。
采用分布式索引技術(shù),真正實(shí)現(xiàn)數(shù)據(jù)的分布式存儲,保證數(shù)據(jù)的單獨(dú)唯一存儲。同時(shí),無需對數(shù)據(jù)進(jìn)行切片預(yù)處理,一份數(shù)據(jù)即可滿足不同顯示級別下的應(yīng)用需求,避免數(shù)據(jù)的多份重復(fù)儲存,降低數(shù)據(jù)的存儲空間及成本。
(4)化簡壓縮技術(shù)。
在不擾亂拓?fù)潢P(guān)系的前提下對原始采樣數(shù)據(jù)進(jìn)行合理的刪減,實(shí)現(xiàn)對數(shù)據(jù)的無損壓縮,既保證數(shù)據(jù)在傳輸過程中的效率,又保證數(shù)據(jù)顯示繪制的質(zhì)量。
(5)漸進(jìn)傳輸技術(shù)。
在顯示繪制的過程中,每一次的數(shù)據(jù)請求,通過增量數(shù)據(jù)標(biāo)識,計(jì)算增量數(shù)據(jù),并實(shí)現(xiàn)增量數(shù)據(jù)的查詢、讀取、傳輸和繪制,提高系統(tǒng)性能。
(6)數(shù)據(jù)加密與安全保護(hù)。
由于直接發(fā)布的是原始數(shù)據(jù),司南超擎在數(shù)據(jù)傳輸、內(nèi)容控制、加密算法等方面保證數(shù)據(jù)安全,通過傳輸二進(jìn)制數(shù)據(jù),需要通過司南超擎客戶端解析,私有加密算法和加密秘鑰,在內(nèi)容和精度方面控制數(shù)據(jù)安全。
3 應(yīng)用案例
目前,司南超擎已成功應(yīng)用到多個(gè)部委級數(shù)據(jù)資源管理系統(tǒng),下面分別舉出兩個(gè)有代表性的例子。案例1的應(yīng)用特點(diǎn)在于海量多元數(shù)據(jù)的管理、查詢及后續(xù)應(yīng)用;案例2的應(yīng)用特點(diǎn)在于實(shí)現(xiàn)前端空間分析與計(jì)算。
3.1 應(yīng)用案例1
(1)數(shù)據(jù)內(nèi)容。
案例1中主要包括影像和矢量數(shù)據(jù)兩大類。其中,影像成果數(shù)據(jù)共涉及到91 919幅TIFF影像,總數(shù)據(jù)量達(dá)150 T。矢量數(shù)據(jù)共涉及到67個(gè)圖層,要素?cái)?shù)量334 921 309個(gè),總數(shù)據(jù)量約290 G。如此巨大的數(shù)據(jù)量,是很難進(jìn)行管理和調(diào)用的。
(2)司南超擎應(yīng)用示例。
利用司南超擎管理數(shù)據(jù),不但極大地提高了計(jì)算效率,而且極大地減少了讀取、傳輸?shù)臄?shù)據(jù)量。表1是發(fā)布的矢量服務(wù)的要素和響應(yīng)時(shí)間(單點(diǎn)式部署下的測試效果),圖2是全國矢量數(shù)據(jù)在1:2 300萬比例尺下的展示效果,數(shù)據(jù)量約290 G。
3.2 應(yīng)用案例2
(1)數(shù)據(jù)內(nèi)容。
案例2的數(shù)據(jù)包括基礎(chǔ)地理信息矢量數(shù)據(jù)和專題矢量數(shù)據(jù),共22個(gè)圖層,圖元數(shù)量110 263個(gè),數(shù)據(jù)量為70 M。
(2)司南超擎應(yīng)用示例。
案例2系統(tǒng)涉及到各省市多個(gè)用戶,每個(gè)用戶提出僅能顯示各自管轄范圍的數(shù)據(jù),例如:北京市的用戶只查詢北京范圍內(nèi)的長城。如果采用傳統(tǒng)切圖方式,是不可能實(shí)現(xiàn)的,而WFS服務(wù)難以支持大數(shù)據(jù)量應(yīng)用,司南超擎產(chǎn)品實(shí)現(xiàn)直接發(fā)布矢量服務(wù),實(shí)時(shí)繪制。
4 結(jié)語
地理信息數(shù)據(jù)對經(jīng)濟(jì)社會發(fā)展的意義是不言而喻的,而深入發(fā)揮并挖掘其價(jià)值的服務(wù)模式,是行業(yè)內(nèi)目前的工作重點(diǎn)。司南超擎地圖能夠快速、直接提供基于原始地圖數(shù)據(jù)的服務(wù)(包括多尺度、多類型、多時(shí)相的影像和矢量數(shù)據(jù)),并且不受數(shù)據(jù)量劇增、硬件及網(wǎng)絡(luò)環(huán)境的限制,除了支持瀏覽查詢、導(dǎo)航定位外,還支持?jǐn)?shù)據(jù)分析計(jì)算、增量更新、在線專題地圖產(chǎn)品配置等,大大提高了地理信息價(jià)值的共享與應(yīng)用,為城市規(guī)劃、地形圖更新、環(huán)境保護(hù)、智慧城市建設(shè)等方面提供數(shù)據(jù)支持和決策依據(jù),具有非常重要的現(xiàn)實(shí)意義。
參考文獻(xiàn)
[1] 符海月,趙軍,李滿春.從GoogleMaps看我國全球化地理信息服務(wù)面臨的挑戰(zhàn)和對策[J].地理與地理信息科學(xué),2006,22(2):1-3.
[2] 劉岳峰.地理信息服務(wù)概述[J].地理信息世界,2004,2(6):26-29.
[3] 李艷,高揚(yáng).基于地圖API的Web地圖服務(wù)及應(yīng)用研究[J].地理信息世界,2010,8(2):54-57.