翟 永，劉 磊，顧學(xué)明，高景強(qiáng)，趙薇蔚

(1. 國家基礎(chǔ)地理信息中心，北京 100044； 2. 甲骨文(中國)軟件系統(tǒng)有限公司，北京 100020)

大規(guī)模空間數(shù)據(jù)處理模式和系統(tǒng)集成

翟 永1，劉 磊1，顧學(xué)明2，高景強(qiáng)2，趙薇蔚2

(1. 國家基礎(chǔ)地理信息中心，北京 100044； 2. 甲骨文(中國)軟件系統(tǒng)有限公司，北京 100020)

隨著地理信息需求推動下的空間數(shù)據(jù)采集能力的發(fā)展，空間數(shù)據(jù)的生產(chǎn)規(guī)模和數(shù)據(jù)量呈爆發(fā)式增長，直接帶來了對大規(guī)?？臻g數(shù)據(jù)處理的需求。本文基于IT并行計(jì)算和大數(shù)據(jù)技術(shù)的發(fā)展成果，探討了這些技術(shù)在大規(guī)?？臻g數(shù)據(jù)處理上的應(yīng)用及相應(yīng)的IT系統(tǒng)集成思路，提出了基于數(shù)據(jù)庫的并行空間數(shù)據(jù)處理方法，并根據(jù)第一次全國地理國情普查項(xiàng)目需求作了深度驗(yàn)證和分析。

大數(shù)據(jù)；并行處理；空間數(shù)據(jù)庫；庫內(nèi)處理

隨著地理信息需求推動下的空間數(shù)據(jù)采集能力的發(fā)展，空間數(shù)據(jù)的生產(chǎn)規(guī)模和數(shù)據(jù)量呈爆發(fā)式增長，帶來了對大規(guī)?？臻g數(shù)據(jù)處理的需求，采用傳統(tǒng)的C/S模式進(jìn)行大規(guī)模的空間數(shù)據(jù)處理已經(jīng)不能滿足要求。

21世紀(jì)初，出現(xiàn)了像素工廠的概念，提出了大規(guī)模遙感數(shù)據(jù)并行處理方法，出現(xiàn)了各種成熟商業(yè)化解決方案，但對于大規(guī)模GIS矢量數(shù)據(jù)的組織處理及大規(guī)模遙感影像管理和提取處理方法卻少有提及。目前，高性能并行計(jì)算在各個(gè)領(lǐng)域得到廣泛應(yīng)用，在此基礎(chǔ)上云計(jì)算、大數(shù)據(jù)等商業(yè)化概念得到廣泛關(guān)注和推廣，這些都為大規(guī)模空間數(shù)據(jù)處理提供了理論和實(shí)踐的基礎(chǔ)。

大數(shù)據(jù)(big data)起源和最典型的應(yīng)用是利用網(wǎng)絡(luò)特別是社交網(wǎng)絡(luò)的日志，對其進(jìn)行處理和挖掘，洞察其中的規(guī)律，指導(dǎo)商業(yè)行為和決策。實(shí)際上大數(shù)據(jù)的概念應(yīng)用和技術(shù)要比這廣義得多。綜合Wikipedia和百度百科大數(shù)據(jù)的定義和描述，大數(shù)據(jù)是指無法在可承受的時(shí)間范圍內(nèi)，用常規(guī)軟件工具或傳統(tǒng)方法去完成捕捉、管理和處理的數(shù)據(jù)的集合。大數(shù)據(jù)需要特殊的技術(shù)來處理，包括大規(guī)模并行處理(MPP)數(shù)據(jù)庫、數(shù)據(jù)挖掘和算法、語義分析、機(jī)器學(xué)習(xí)及相應(yīng)的IT構(gòu)架技術(shù)和計(jì)算資源，如分布式的文件系統(tǒng)、數(shù)據(jù)庫和存儲。

本文主要探討的是利用大數(shù)據(jù)的思路和技術(shù)解決大規(guī)模空間數(shù)據(jù)的處理和分析問題，并結(jié)合地理國情普查項(xiàng)目的實(shí)際情況對這些技術(shù)進(jìn)行驗(yàn)證。

一、大規(guī)?？臻g數(shù)據(jù)處理關(guān)鍵技術(shù)

大數(shù)據(jù)處理技術(shù)是由一系列技術(shù)組成的，具體如下。

1. 并行計(jì)算

并行計(jì)算(parallel computing)是指同時(shí)使用多種計(jì)算資源解決計(jì)算問題的過程，是提高計(jì)算機(jī)系統(tǒng)計(jì)算速度和處理能力的一種有效手段。它的基本思想是用多個(gè)處理器來協(xié)同求解同一問題，即將被求解的問題分解成若干個(gè)部分，各部分均由一個(gè)獨(dú)立的處理機(jī)來并行計(jì)算。并行計(jì)算系統(tǒng)既可以是專門設(shè)計(jì)的、含有多個(gè)處理器的超級計(jì)算機(jī)，也可以是以某種方式互連的若干臺獨(dú)立計(jì)算機(jī)構(gòu)成的集群。通過并行計(jì)算集群完成數(shù)據(jù)的處理，再將處理結(jié)果返回給用戶。

(1) 并行計(jì)算方法

并行計(jì)算首先要把任務(wù)分割成若干能獨(dú)立處理的部分，任務(wù)的分割包括水平分割和縱向分割兩種方法。所謂的水平分割是指把一個(gè)大任務(wù)分割成同類的子任務(wù)，由不同的處理單元同時(shí)處理，最后再把所有結(jié)果合起來形成一個(gè)最終結(jié)果。 這種并行也稱為空間上的并行。而縱向分割是指把計(jì)算過程分解為一個(gè)個(gè)串行的步驟，由不同的計(jì)算資源來完成。雖然對單子任務(wù)是串行的，但在多個(gè)子任務(wù)同時(shí)執(zhí)行的情況下，各個(gè)計(jì)算步驟間可以并行起來，這也稱為時(shí)間上的并行。

通過時(shí)間上和空間上的并行的結(jié)合，可以使復(fù)雜任務(wù)能夠在更大規(guī)模的計(jì)算資源上得以調(diào)度和執(zhí)行。

(2) 并行計(jì)算構(gòu)架

并行計(jì)算模型很多，常用的有SMP(symmetric multi processing)、MPP(massive parallel processing)和Cluster集群。

SMP是采用多個(gè)處理器共享一套總線、內(nèi)存和存儲，即在一臺計(jì)算機(jī)內(nèi)有多個(gè)CPU或核。其瓶頸是受到總線、內(nèi)存特別是存儲的限制。

MPP是通過多套獨(dú)立資源或多臺計(jì)算機(jī)，來共同完成一個(gè)任務(wù)，各CPU間不共享或很少共享資源。

集群技術(shù)通過網(wǎng)絡(luò)把計(jì)算資源搭建成一個(gè)集群，每臺計(jì)算機(jī)使用獨(dú)立的CPU、總線和內(nèi)存，通過網(wǎng)絡(luò)對內(nèi)存進(jìn)行同步，以共同完成一個(gè)任務(wù)。

在模式的選擇上要根據(jù)應(yīng)用的特點(diǎn)。SMP在多處理器多核構(gòu)架服務(wù)器上得到廣泛采用；MPP能夠搭建更均衡的計(jì)算和處理平臺，理論上能支持更大規(guī)模；Cluster 模式在各個(gè)節(jié)點(diǎn)間相對有更多的資源共享和同步，規(guī)模越大代價(jià)越大，因此相對MPP來說受到一定的規(guī)模限制，但其能適合更復(fù)雜的處理，并在實(shí)時(shí)性和高并發(fā)上有優(yōu)勢。

在實(shí)際的并行計(jì)算的構(gòu)架中，往往是采用多種構(gòu)架組合：SMP用在多進(jìn)程和多任務(wù)的處理上，MPP更多地用于解決簡單任務(wù)如文字處理，存儲訪問等。而更復(fù)雜的任務(wù)需要復(fù)雜的并行算法，更多的協(xié)調(diào)和同步，采用Cluster模式。

2. 空間數(shù)據(jù)庫內(nèi)處理模式

傳統(tǒng)的空間數(shù)據(jù)庫處理把數(shù)據(jù)庫僅僅作為一個(gè)空間數(shù)據(jù)的組織管理的容器，數(shù)據(jù)處理通過數(shù)據(jù)庫客戶端完成，即客戶端逐條取出記錄，對記錄進(jìn)行空間運(yùn)算，再寫入數(shù)據(jù)庫，這就需要在客戶端和數(shù)據(jù)庫之間發(fā)生大量網(wǎng)絡(luò)傳輸，而且在通常情況下，客戶端不具備并行能力，只能采用單線程處理方式。

空間數(shù)據(jù)的庫內(nèi)處理模式是指在數(shù)據(jù)庫內(nèi)部實(shí)行空間數(shù)據(jù)處理，客戶端只需發(fā)出請求，并獲得最終處理狀態(tài)或結(jié)果。這樣做的好處是數(shù)據(jù)不需要在數(shù)據(jù)庫和客戶端間來回傳輸，而且利用數(shù)據(jù)庫的并行能力，可實(shí)行并行處理，極大提高了系統(tǒng)的處理能力，實(shí)現(xiàn)了大規(guī)模空間數(shù)據(jù)處理。

3. 處理平臺搭建和資源均衡

除空間數(shù)據(jù)處理能力和并行機(jī)制外，還需要搭建與其匹配的資源和環(huán)境。這個(gè)環(huán)境要滿足空間數(shù)據(jù)處理對不同資源的依賴，包括CPU、內(nèi)存、網(wǎng)絡(luò)和存儲等資源。

圖1是幾個(gè)數(shù)據(jù)庫生產(chǎn)環(huán)境中運(yùn)行性能報(bào)告，報(bào)告中分別列出了前5個(gè)最耗時(shí)間的數(shù)據(jù)庫內(nèi)操作,其中絕大多數(shù)來自用戶I/O，其次也有個(gè)別來自集群的等待。因此，在大多數(shù)沒有經(jīng)過優(yōu)化的生產(chǎn)環(huán)境中，數(shù)據(jù)庫的瓶頸不是來自于CPU，而是主要來自I/O和集群間的同步。

圖1 典型生產(chǎn)環(huán)境中資源瓶頸

在空間數(shù)據(jù)的處理場景中，數(shù)據(jù)入庫、空間索引建立、影像鑲嵌提取對存儲性能提出了更高的要求。圖2是在Oracle ExaData X3-2 1/2 rack上對2 TB的地表覆蓋矢量數(shù)據(jù)建立空間索引時(shí)的資源占用情況。在CPU只占70%的情況下, I/O帶寬資源消耗達(dá)到了6.2 GB/s。折算下來每個(gè)CPU核的處理能力要和1.8 GB/s的I/O帶寬匹配。

圖2 建立矢量數(shù)據(jù)空間索引是的資源占用

在大規(guī)?？臻g數(shù)據(jù)處理平臺上除了計(jì)算上采用集群方式，存儲上也需要采用分布式或并行集群提高I/O能力，存儲網(wǎng)絡(luò)和通信網(wǎng)絡(luò)也需要采用和普通應(yīng)用網(wǎng)絡(luò)不一樣的高帶寬、低延遲設(shè)備和協(xié)議。

二、企業(yè)級空間數(shù)據(jù)并行處理平臺

空間數(shù)據(jù)庫也是關(guān)系數(shù)據(jù)庫，而Oracle是典型的企業(yè)級關(guān)系數(shù)據(jù)庫，因此本文主要以O(shè)racle為例來具體討論大規(guī)?？臻g數(shù)據(jù)處理的方法。同時(shí)Oracle 數(shù)據(jù)庫專用存儲ExaData Storage Server也是提升大規(guī)?？臻g數(shù)據(jù)并行處理能力的一個(gè)環(huán)節(jié)。

1. 數(shù)據(jù)庫集群上的并行處理

Oracle RAC是Oracle的數(shù)據(jù)庫集群技術(shù)，在RAC集群上，一個(gè)SQL任務(wù)可以分割成對稱的子任務(wù)，并分配到不同的集群節(jié)點(diǎn)上執(zhí)行。

SQL并行執(zhí)行基于一個(gè)協(xié)調(diào)器(query coordinator，QC)和多個(gè)并行執(zhí)行器(PX)服務(wù)進(jìn)程。QC是啟動SQL語句的會話，而PX服務(wù)進(jìn)程是每個(gè)并行執(zhí)行的會話。QC把工作分發(fā)給PX服務(wù)器并執(zhí)行最小量的、不能在并行服務(wù)進(jìn)程中執(zhí)行的部分。如圖3所示。

圖3 Oracle SQL并行處理

Oracle支持Select語句的查詢及其中的DDL和DML部分。Oracle并行處理可以限于同一臺服務(wù)器上，還可以跨不同的RAC結(jié)點(diǎn)，具有很好的橫向擴(kuò)展能力。特別要指出的是，開啟并行處理功能既可以通過Hint，也可以通過全局的開關(guān)參數(shù)實(shí)現(xiàn)，不需要改變應(yīng)用端應(yīng)用，對應(yīng)用透明。

Oracle的集群模式設(shè)計(jì)綜合了OLTP和OLAP需求，與純粹的MPP模式比起來其規(guī)模受到集群之間的通信瓶頸限制，需要通過更合理的并行算法克服這種不足。

2. 關(guān)系數(shù)據(jù)庫空間擴(kuò)展

Oracle Spatial是Oracle數(shù)據(jù)庫上的空間數(shù)據(jù)組織、管理和處理功能的擴(kuò)展，除了支持OGC SQL MM /Spatial標(biāo)準(zhǔn)能力外, 還提供了GeoRaster柵格影像數(shù)據(jù)模型，可以實(shí)現(xiàn)正射糾正、柵格正射、物理鑲嵌、虛擬鑲嵌等地理影像處理能力，并被商業(yè)化GIS平臺(如ArcGIS)廣泛支持。Oracle Spatial的所有函數(shù)或過程不僅可以在并行環(huán)境下執(zhí)行，而且大部分函數(shù)的內(nèi)部也利用了并行特性。

3. 分布式智能存儲

存儲服務(wù)器(Oracle Storage Server)集群是Oracle為數(shù)據(jù)庫應(yīng)用專門設(shè)計(jì)的分布式一體化可線性擴(kuò)展的存儲系統(tǒng)，其結(jié)構(gòu)如圖 4所示。

圖4 Oracle Storage Server智能存儲

(1) 計(jì)算能力縱向擴(kuò)展

作為普通的SAN存儲，不管傳輸介質(zhì)是什么，其上層協(xié)議都是SCSI，只能支持磁盤塊的讀寫。而存儲服務(wù)器則是專門為數(shù)據(jù)庫I/O設(shè)計(jì)，數(shù)據(jù)庫服務(wù)器以InfiniBand上的iDB協(xié)議與存儲服務(wù)器打交道, 存儲服務(wù)器可以感知數(shù)據(jù)庫在磁盤上的存儲內(nèi)容，可以幫助數(shù)據(jù)庫服務(wù)器解析SQL條件、過濾并只傳輸符合條件的內(nèi)容，在讀寫時(shí)對數(shù)據(jù)進(jìn)行壓縮和解壓，以及對數(shù)據(jù)庫存儲塊建立存儲索引，提高記錄讀取有效性等。即原來只能通過計(jì)算節(jié)點(diǎn)做的事情，可以通過計(jì)算節(jié)點(diǎn)和存儲節(jié)點(diǎn)配合完成，實(shí)現(xiàn)了任務(wù)的縱向擴(kuò)展，提高了整個(gè)集群的并行能力，在有效地減輕了計(jì)算節(jié)點(diǎn)壓力的同時(shí)減少了計(jì)算節(jié)點(diǎn)和存儲節(jié)點(diǎn)的數(shù)據(jù)傳輸。

(2) 存儲能力線性擴(kuò)展

Oracle ExaData存儲服務(wù)器集群是區(qū)別于傳統(tǒng)SAN存儲的分布式存儲系統(tǒng)。每臺存儲節(jié)點(diǎn)都有單獨(dú)的CPU、網(wǎng)絡(luò)、磁盤和閃存加速卡。通過存儲服務(wù)器集群線性擴(kuò)展，可以理論上無限擴(kuò)展存儲的帶寬和IOPS(單位秒內(nèi)的I/O次數(shù))。

這種擴(kuò)展能力得益于Oracle Automatic Storage Management (ASM)，通過ASM，Oracle可以把多個(gè)存儲節(jié)點(diǎn)上的硬盤邏輯地組織成一個(gè)邏輯卷，這樣數(shù)據(jù)庫應(yīng)用的I/O壓力就可以分布到不同的存儲節(jié)點(diǎn)上，從而大大提高了整體的I/O能力。除此之外存儲節(jié)點(diǎn)上的PCIe閃存，對I/O本身的優(yōu)化也不容忽視。

總體來說Oracle ExaData上的Oracle Spatial空間數(shù)據(jù)庫集群綜合了SMP、MPP、Cluster技術(shù)的優(yōu)勢，是一個(gè)軟硬件一體化的混合構(gòu)架。在提供空間數(shù)據(jù)的高性能并行處理的同時(shí)，還可以提供良好的空間數(shù)據(jù)的OLTP能力，如空間數(shù)據(jù)查詢、編輯、可視化等。

三、Hadoop上的大規(guī)?？臻g數(shù)據(jù)處理探討

Hadoop是Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。其主要實(shí)現(xiàn)了分布式文件系統(tǒng)HDFS(Hadoop distributed file system)和分布式并行計(jì)算框架MapReduce，另外在HDFS基礎(chǔ)上實(shí)現(xiàn)了一個(gè)叫HBASE的NoSQL類型數(shù)據(jù)庫, 可以把文本等半結(jié)構(gòu)化數(shù)據(jù)映射成可以進(jìn)行SQL操作的表的HIVE數(shù)據(jù)倉庫系統(tǒng)。

1) HDFS采用分布式及流的形式訪問，HDFS可以采用廉價(jià)的硬件進(jìn)行線性擴(kuò)展。

2) Hadoop提供了MapReduce的開源實(shí)現(xiàn)。通過MapReduce開發(fā)人員可以在集群上把一個(gè)大任務(wù)分割和映射(map)，并發(fā)送到集群上的各個(gè)節(jié)點(diǎn)執(zhí)行，然后把執(zhí)行的結(jié)果收集起來合成一個(gè)(reduce)。并且Map和 Reduce可以遞歸執(zhí)行。

3) HBASE是HDFS之上NoSQL數(shù)據(jù)庫，而Hive是在HDFS上的文件數(shù)據(jù)庫。NoSQL可以通過Key建立索引，Hive是沒有任何索引的。Hive支持用戶定義的格式，只要在原數(shù)據(jù)中描述即可。而HBASE需要特定的數(shù)據(jù)文件存儲，而且數(shù)據(jù)需要轉(zhuǎn)換到數(shù)據(jù)庫中。

Hadoop本身沒有特定的針對空間數(shù)據(jù)處理方式和算法，作為商業(yè)化的解決方案Oracle在Hadoop上提供了一個(gè)Big Data Spatial 產(chǎn)品。

四、地理國情普查的測試和驗(yàn)證

第一次全國地理國情普查(簡稱地理國情普查)是國務(wù)院下達(dá)的全國性、全覆蓋的普查項(xiàng)目。國情普查數(shù)據(jù)庫的規(guī)?？梢哉f是空前的，而需求上除了對數(shù)據(jù)的檢查校驗(yàn)和入庫外，還需要在空間數(shù)據(jù)庫上實(shí)現(xiàn)統(tǒng)計(jì)和分析。

在確定數(shù)據(jù)庫建設(shè)和系統(tǒng)開發(fā)方案前對空間數(shù)據(jù)庫處理能力的測試和驗(yàn)證是必不可少的。

首先需要明確思路，如若采用傳統(tǒng)的C/S模式來完成這個(gè)工作，則需要大量的客戶端資源和人力資源，而且受到網(wǎng)絡(luò)帶寬的限制。因此筆者確定采用服務(wù)器端的處理方式：數(shù)據(jù)文件集中存放在服務(wù)器高速存儲上，通過服務(wù)器程序進(jìn)行批量入口，桌面安裝數(shù)據(jù)庫客戶端，用作管理、調(diào)度和監(jiān)控，調(diào)優(yōu)終端。其次采用并行SQL對空間數(shù)據(jù)庫操作，建立矢量數(shù)據(jù)索引、影像鑲嵌和金字塔建立、多邊形疊加分析、球面積計(jì)算等典型空間數(shù)據(jù)分析場景。最后，要確保服務(wù)器端處理模式和庫內(nèi)處理結(jié)果能與GIS客戶端兼容，數(shù)據(jù)能被GIS識別和處理，處理功能能集成到GIS客戶端應(yīng)用框架中。

表1為性能測試結(jié)果。

表1 空間數(shù)據(jù)處理和分析性能測試結(jié)果

五、結(jié)束語

高性能并行計(jì)算雖然理論很成熟，但在大規(guī)?？臻g數(shù)據(jù)處理上的應(yīng)用前景仍然方興未艾。

對大規(guī)模空間數(shù)據(jù)的處理，首先要采用并行處理的模式，采用何種并行計(jì)算模型要與應(yīng)用場景的需求一致。其次從具體的商業(yè)實(shí)現(xiàn)模式上看，很難用統(tǒng)一的標(biāo)準(zhǔn)去劃分模式，往往是各種模式的混合。

就國情地理普查的項(xiàng)目需求來看，采用Oracle Exadata和Oracle Spatial進(jìn)行并行空間數(shù)據(jù)處理和分析顯然大大優(yōu)于傳統(tǒng)處理方式。更重要的是采用Oracle Spatial可很好地與商業(yè)GIS系統(tǒng)兼容，并與現(xiàn)有數(shù)據(jù)生產(chǎn)流程過渡。

[1] 祝若鑫,劉陽,程見橋,等.基于云計(jì)算的空間矢量數(shù)據(jù)并行處理[J]. 測繪通報(bào), 2015(3): 44-48.

[2] 李維良，王紅平，范鵬.基于并行預(yù)分割的高分辨率遙感影像多尺度分割[J]. 測繪通報(bào), 2013(11): 29-32.

[3] 王凱, 曹建成, 王乃生, 等. Hadoop支持下的地理信息大數(shù)據(jù)處理技術(shù)初探[J]. 測繪通報(bào) 2015(10): 114-117.

[4] 翟永, 劉津, 劉磊,等. 國家基礎(chǔ)地理信息中心計(jì)算機(jī)和網(wǎng)絡(luò)系統(tǒng)建設(shè)[J]. 測繪通報(bào), 2015(8): 20-23.

[5] ADVE S V，HART J C. Parallel Computing Research at Illinois: the UCPCRC Agenda[C]∥University of Illinois at Urbana-Champaign. [S.l.]:[s.n.],2008.

[6] 張林波. 并行計(jì)算導(dǎo)論[M].北京：清華大學(xué)出版社,2006.

[7] BUYYA R, BARKER M. Cluster Computing at a Glance [EB/OL].[2015-8-4]. http:∥academic.csuohio.edu/yuc/hpc00/lect/chapter-B1.pdf.

[8] LINSTEDT D E. Clustering, SMP and MPP in Very Large Data Warehouses (VLDWs)[EB/OL]. (2015-2-8). http:∥searchbusinessanalytics.techtarget.com/news/2240111416/Clustering-SMP-and-MPP-in-Very-Large-Data-Warehouses-VLDWs.

[9] Wekipedia. Big Data[EB/OL]. (2016-01-18)[2016-01-18]. https:∥en.wikipedia.org/wiki/Big_data.

[10] 百度百科. 大數(shù)據(jù)[EB/OL]. (2015-01-20)[2016-01-18]. http:∥baike.baidu.com/subview/6954399/13647476.htm.

[11] 百度百科. 并行計(jì)算[EB/OL].(2015-04-01)[2016-01-18]. http:∥baike.baidu.com/view/1666.htm.

LargeScaleSpatialDataProcessingMethodandSystemIntegration

ZHAI Yong，LIU Lei，GU Xueming，GAO Jingqiang，ZHAO Weiwei

翟永，劉磊，顧學(xué)明，等.大規(guī)模空間數(shù)據(jù)處理模式和系統(tǒng)集成[J].測繪通報(bào)，2016(9)：99-102.

10.13474/j.cnki.11-2246.2016.0304.

P208

B

0494-0911(2016)09-0099-04

2015-09-14；

2016-01-20

翟 永(1969—)，男，教授級高級工程師，主要研究方向?yàn)橛?jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)集成開發(fā)與運(yùn)行維護(hù)。E-mail：zhaiyong@ngcc.cn