孫 晶，高井祥，史紹雨，汪匯兵，艾 波

(1. 中國(guó)礦業(yè)大學(xué)環(huán)境與測(cè)繪學(xué)院，江蘇 徐州 221116； 2. 國(guó)家測(cè)繪地理信息局衛(wèi)星測(cè)繪應(yīng)用中心，北京 100048； 3. 山東科技大學(xué)海島(礁)測(cè)繪技術(shù)國(guó)家測(cè)繪地理信息局重點(diǎn)實(shí)驗(yàn)室，山東 青島 266590)

分布式空間數(shù)據(jù)庫(kù)在海量衛(wèi)星影像管理中的應(yīng)用

孫 晶1,2，高井祥1，史紹雨2，汪匯兵2，艾 波3

(1. 中國(guó)礦業(yè)大學(xué)環(huán)境與測(cè)繪學(xué)院，江蘇 徐州 221116； 2. 國(guó)家測(cè)繪地理信息局衛(wèi)星測(cè)繪應(yīng)用中心，北京 100048； 3. 山東科技大學(xué)海島(礁)測(cè)繪技術(shù)國(guó)家測(cè)繪地理信息局重點(diǎn)實(shí)驗(yàn)室，山東 青島 266590)

針對(duì)現(xiàn)有影像存儲(chǔ)方法在海量衛(wèi)星影像存儲(chǔ)中性能不足的問(wèn)題，分析了現(xiàn)有衛(wèi)星影像數(shù)據(jù)存儲(chǔ)方法的特點(diǎn)，提出了基于分布式空間數(shù)據(jù)庫(kù)管理影像元數(shù)據(jù)的改進(jìn)方法。該方法采用文件系統(tǒng)存儲(chǔ)影像非結(jié)構(gòu)化的實(shí)體數(shù)據(jù)，影像的空間信息及元數(shù)據(jù)存儲(chǔ)在分布式空間數(shù)據(jù)庫(kù)中，實(shí)現(xiàn)了海量衛(wèi)星影像數(shù)據(jù)的高性能存儲(chǔ)，并開(kāi)展了資源三號(hào)衛(wèi)星影像數(shù)據(jù)管理試驗(yàn)。試驗(yàn)表明該方法在海量衛(wèi)星影像數(shù)據(jù)查詢性能方面有顯著提高，適用于海量衛(wèi)星影像數(shù)據(jù)存儲(chǔ)。

分布式空間數(shù)據(jù)庫(kù)；海量數(shù)據(jù)；衛(wèi)星影像；影像管理；MySQL數(shù)據(jù)庫(kù)

近年來(lái)，國(guó)內(nèi)外對(duì)地觀測(cè)技術(shù)正朝著多傳感器、多平臺(tái)、多角度和高時(shí)空分辨率的方向發(fā)展。對(duì)地觀測(cè)技術(shù)的發(fā)展提高了影像數(shù)據(jù)的質(zhì)量，但同時(shí)也帶來(lái)了數(shù)據(jù)量驟增的問(wèn)題[1]。衛(wèi)星影像數(shù)據(jù)量呈指數(shù)式增長(zhǎng)，數(shù)據(jù)日增量從GB級(jí)迅速增長(zhǎng)到TB級(jí)，數(shù)據(jù)總量從TB級(jí)迅速增至PB級(jí)，傳統(tǒng)的影像數(shù)據(jù)存儲(chǔ)方法已無(wú)法滿足海量衛(wèi)星影像存儲(chǔ)中的性能要求[2]。衛(wèi)星影像數(shù)據(jù)量的劇增緩解了社會(huì)經(jīng)濟(jì)應(yīng)用中影像數(shù)據(jù)不足的問(wèn)題，但在影像數(shù)據(jù)存儲(chǔ)管理、分發(fā)服務(wù)、統(tǒng)計(jì)分析等方面，也帶來(lái)了巨大挑戰(zhàn)。海量衛(wèi)星影像數(shù)據(jù)不僅具有數(shù)據(jù)海量性的特征，還具有影像數(shù)據(jù)的空間特性和非結(jié)構(gòu)化特性等，在影像數(shù)據(jù)存儲(chǔ)時(shí)，需綜合考慮其各種特征。

1 海量衛(wèi)星影像數(shù)據(jù)存儲(chǔ)方法

衛(wèi)星影像數(shù)據(jù)具有結(jié)構(gòu)復(fù)雜、數(shù)據(jù)量大、時(shí)效性強(qiáng)等特點(diǎn)，如何高效存儲(chǔ)海量衛(wèi)星影像以滿足大數(shù)據(jù)環(huán)境下快速查詢及分發(fā)的需求，是衛(wèi)星影像數(shù)據(jù)管理中的熱點(diǎn)與難點(diǎn)[3]。目前，國(guó)內(nèi)外許多科研機(jī)構(gòu)和公司提出了多種衛(wèi)星影像存儲(chǔ)管理方法，主要可分為以下幾類。

1.1 基于文件系統(tǒng)的影像存儲(chǔ)

基于文件系統(tǒng)的衛(wèi)星影像數(shù)據(jù)存儲(chǔ)方法是將衛(wèi)星影像存儲(chǔ)在高性能的存儲(chǔ)設(shè)備中，通過(guò)文件的方式對(duì)影像的空間信息和屬性信息進(jìn)行組織管理。管理服務(wù)器在管理存儲(chǔ)設(shè)備的同時(shí)還需要負(fù)責(zé)整個(gè)系統(tǒng)的控制處理，以滿足客戶端對(duì)影像存儲(chǔ)、查詢、分發(fā)的高性能需求，其存儲(chǔ)方法如圖1所示。

圖1 基于文件系統(tǒng)的影像數(shù)據(jù)存儲(chǔ)方法

國(guó)內(nèi)外基于此方法存儲(chǔ)海量衛(wèi)星影像數(shù)據(jù)的主要有：美國(guó)NASA開(kāi)發(fā)的三維虛擬地球World Wind系統(tǒng)[4]、NASA EOS數(shù)據(jù)中心開(kāi)發(fā)的EOSDIS系統(tǒng)[5]、Google公司依托于其云計(jì)算技術(shù)開(kāi)發(fā)的Google Map和Google Earth系統(tǒng)[6-7]，以及國(guó)內(nèi)吉奧公司開(kāi)發(fā)的GeoImageDB系統(tǒng)[8]等。

該方法能夠高效存儲(chǔ)衛(wèi)星影像數(shù)據(jù)，在數(shù)據(jù)存儲(chǔ)容量和讀寫速率方面有著其獨(dú)特的優(yōu)勢(shì)。但文件系統(tǒng)在影像數(shù)據(jù)的備份、恢復(fù)等技術(shù)上存在著技術(shù)難題。而且，隨著影像數(shù)據(jù)量的增加，管理服務(wù)器將會(huì)成為系統(tǒng)瓶頸[9]。除此之外，文件系統(tǒng)在數(shù)據(jù)查詢等應(yīng)用上不能很好地滿足衛(wèi)星影像數(shù)據(jù)管理需求，需要自行開(kāi)發(fā)系統(tǒng)實(shí)現(xiàn)。

1.2 基于數(shù)據(jù)庫(kù)的影像存儲(chǔ)

基于數(shù)據(jù)庫(kù)的衛(wèi)星影像存儲(chǔ)方法是將影像元數(shù)據(jù)信息以記錄的形式存儲(chǔ)在數(shù)據(jù)庫(kù)的表中，影像實(shí)體以BLOB數(shù)據(jù)類型存儲(chǔ)在表的某一字段中，數(shù)據(jù)庫(kù)服務(wù)器作為整個(gè)系統(tǒng)的中心處理器，負(fù)責(zé)處理應(yīng)用層對(duì)數(shù)據(jù)庫(kù)管理、應(yīng)用、維護(hù)等操作，其存儲(chǔ)方法如圖2所示。

圖2 基于數(shù)據(jù)庫(kù)的影像數(shù)據(jù)存儲(chǔ)方法

使用此方法存儲(chǔ)海量衛(wèi)星影像數(shù)據(jù)的有：Microsoft公司推出的TerraServer在線海量影像電子地圖集[10]，以及Microsoft依托其分布式存儲(chǔ)系統(tǒng)和云平臺(tái)的Bing Map系統(tǒng)[11]等。

該方法充分發(fā)揮了數(shù)據(jù)庫(kù)在數(shù)據(jù)查詢效率、并發(fā)操作、數(shù)據(jù)安全性等方面的性能優(yōu)勢(shì)，但此方法存在著一些不足，如關(guān)系型數(shù)據(jù)庫(kù)的結(jié)構(gòu)不適合存儲(chǔ)非結(jié)構(gòu)化的衛(wèi)星影像。此外，衛(wèi)星影像數(shù)據(jù)日增量大，數(shù)據(jù)總量大，這將導(dǎo)致數(shù)據(jù)庫(kù)的體積變得異常龐大，降低其管理性能，使其成為系統(tǒng)的瓶頸。

1.3 集中式數(shù)據(jù)庫(kù)與文件結(jié)合的影像存儲(chǔ)

集中式數(shù)據(jù)庫(kù)與文件結(jié)合的影像存儲(chǔ)方法是將影像的結(jié)構(gòu)化信息以表記錄的形式存儲(chǔ)在數(shù)據(jù)庫(kù)中，非結(jié)構(gòu)化的影像實(shí)體則以文件的形式存儲(chǔ)在存儲(chǔ)設(shè)備中，其存儲(chǔ)方法如圖3所示。

圖3 數(shù)據(jù)庫(kù)與文件結(jié)合的存儲(chǔ)方法

國(guó)內(nèi)外多家單位采用該方法存儲(chǔ)衛(wèi)星影像，如：歐空局ESA數(shù)據(jù)中心采用數(shù)據(jù)庫(kù)管理與影像分級(jí)存儲(chǔ)的方式[12]，我國(guó)國(guó)家地理信息服務(wù)平臺(tái)天地圖、中國(guó)資源衛(wèi)星應(yīng)用中心、國(guó)家衛(wèi)星海洋應(yīng)用中心、國(guó)家衛(wèi)星氣象中心都采用商業(yè)數(shù)據(jù)庫(kù)與多級(jí)存儲(chǔ)設(shè)備的存儲(chǔ)方式[13-16]。

該方法將影像數(shù)據(jù)的元數(shù)據(jù)信息存儲(chǔ)在空間數(shù)據(jù)庫(kù)中，實(shí)現(xiàn)了元數(shù)據(jù)的高效管理。影像實(shí)體存儲(chǔ)在文件系統(tǒng)中充分發(fā)揮了文件系統(tǒng)的高讀寫效率及大存儲(chǔ)容量的優(yōu)勢(shì)。該方法提高了海量影像數(shù)據(jù)存儲(chǔ)管理效率，但在海量大數(shù)據(jù)環(huán)境下，集中式數(shù)據(jù)庫(kù)的存儲(chǔ)、查詢性能都會(huì)降低，數(shù)據(jù)庫(kù)服務(wù)器將成為整個(gè)系統(tǒng)的性能瓶頸，影響影像數(shù)據(jù)的管理效率。

2 分布式數(shù)據(jù)庫(kù)與文件結(jié)合的存儲(chǔ)方法

為解決集中式數(shù)據(jù)庫(kù)與文件系統(tǒng)結(jié)合的影像存儲(chǔ)方法中數(shù)據(jù)庫(kù)瓶頸的問(wèn)題，本文提出采用分布式數(shù)據(jù)庫(kù)代替集中式數(shù)據(jù)庫(kù)的改進(jìn)方案，以解決集中式數(shù)據(jù)庫(kù)在海量數(shù)據(jù)存儲(chǔ)管理中的瓶頸問(wèn)題。采用分布式空間數(shù)據(jù)庫(kù)與文件結(jié)合的方法存儲(chǔ)海量衛(wèi)星影像數(shù)據(jù)可充分挖掘數(shù)據(jù)庫(kù)的數(shù)據(jù)管理能力，提高系統(tǒng)海量影像數(shù)據(jù)的管理能力。衛(wèi)星影像的元數(shù)據(jù)信息存儲(chǔ)在分布式空間數(shù)據(jù)庫(kù)中以實(shí)現(xiàn)海量衛(wèi)星影像的快速查詢、管理，同時(shí)影像實(shí)體存儲(chǔ)在文件系統(tǒng)中，并以文件路徑的形式在分布式數(shù)據(jù)庫(kù)中記錄相應(yīng)的存儲(chǔ)位置信息，這既充分利用了分布式數(shù)據(jù)庫(kù)在管理海量數(shù)據(jù)方面的優(yōu)勢(shì)，解決了集中式數(shù)據(jù)庫(kù)的瓶頸問(wèn)題，又利用了文件系統(tǒng)在影像存儲(chǔ)方面的高讀寫效率及大存儲(chǔ)容量的優(yōu)勢(shì)。

2.1 分布式數(shù)據(jù)庫(kù)表分片

在分布式數(shù)據(jù)庫(kù)中，為解決單表數(shù)據(jù)量過(guò)大影響數(shù)據(jù)庫(kù)性能的問(wèn)題，通常采用數(shù)據(jù)表分片的方案。按照一定的分片規(guī)則將數(shù)據(jù)表切分成多個(gè)節(jié)點(diǎn)上的不同邏輯片段，所有的邏輯片段經(jīng)過(guò)合并、連接等操作得到原數(shù)據(jù)表。通過(guò)表的分片，可以將原有的單庫(kù)單表查詢分成多庫(kù)多表并行查詢，提高了查詢效率的同時(shí)還解決了單節(jié)點(diǎn)數(shù)據(jù)庫(kù)網(wǎng)絡(luò)帶寬的問(wèn)題，增加了數(shù)據(jù)庫(kù)存儲(chǔ)容量。

分布式數(shù)據(jù)庫(kù)中常用的數(shù)據(jù)分片方式有垂直分片、水平分片及二者嵌套使用產(chǎn)生的混合分片方式。垂直分片是按業(yè)務(wù)對(duì)全局關(guān)系進(jìn)行的投影運(yùn)算，將關(guān)系表在垂直方向上切分為若干個(gè)片段，使用戶的不同應(yīng)用在不同的片段上運(yùn)行，以提高數(shù)據(jù)庫(kù)效率[17]。水平分片是按照一定的分片謂詞對(duì)關(guān)系表進(jìn)行的選擇操作，將關(guān)系表在水平方向上切分成若干個(gè)邏輯片段[17]，每個(gè)邏輯片段保存原關(guān)系表的部分記錄。

數(shù)據(jù)切分作為分布式數(shù)據(jù)庫(kù)的關(guān)鍵技術(shù)之一，它決定了數(shù)據(jù)的分片位置，影響著數(shù)據(jù)查詢性能及其聚合處理的難易程度。目前，常用的水平分片規(guī)則有固定哈希分片、范圍分片、求模分片等。

2.2 數(shù)據(jù)表分片方案設(shè)計(jì)

影像元數(shù)據(jù)表中的ID字段作為自增主鍵，其字段值在全局關(guān)系中具有連續(xù)性和唯一性。按照ID字段值對(duì)數(shù)據(jù)表進(jìn)行切分，既可以控制數(shù)據(jù)在各節(jié)點(diǎn)間的分布，還可以降低數(shù)據(jù)分片帶來(lái)的插入、查詢中的事務(wù)控制難度，提高分布式數(shù)據(jù)庫(kù)的性能。

影像數(shù)據(jù)的云量是評(píng)判影像質(zhì)量的標(biāo)準(zhǔn)之一，云量的多少直接影響數(shù)據(jù)的使用頻率。在實(shí)際生產(chǎn)應(yīng)用中，云量小于20的影像數(shù)據(jù)使用頻率最高，數(shù)據(jù)查詢時(shí)常選擇其作為一個(gè)重要的查詢條件。因此，將影像的云量作為分片字段對(duì)于研究分布式數(shù)據(jù)庫(kù)的性能有一定參考意義。結(jié)合衛(wèi)星影像數(shù)據(jù)表中的ID值與云量，對(duì)原有數(shù)據(jù)表設(shè)計(jì)了以下分片方案。

2.2.1 基于ID值的固定哈希分片

固定哈希分片規(guī)則類似于十進(jìn)制的取模運(yùn)算，是通過(guò)先取分片字段二進(jìn)制值的低10位，再進(jìn)行取模運(yùn)算。這種分片規(guī)則的優(yōu)點(diǎn)在于當(dāng)插入分片字段(ID值)連續(xù)的10條記錄時(shí)，這些記錄可能會(huì)分到連續(xù)的分片，減少插入事務(wù)控制難度的同時(shí)使數(shù)據(jù)在節(jié)點(diǎn)間均勻分布，其數(shù)據(jù)庫(kù)模型如圖4所示。

圖4 基于ID值的哈希分片模型

2.2.2 基于云量的范圍分片

范圍分片是按照預(yù)先制定的分片范圍，根據(jù)分片字段的值對(duì)表中的記錄進(jìn)行水平切分。為了選擇最佳的分片范圍，制定了兩種不同的分片范圍方案：

第一種是按云量的使用頻率劃分，云量不超過(guò)20的影像使用頻率高，可將其切分為4個(gè)分片。云量超過(guò)20的影像數(shù)據(jù)使用頻率較低，將其單獨(dú)切分為1個(gè)分片，其數(shù)據(jù)庫(kù)模型如圖5(a)所示。

圖5 基于云量的范圍分片模型

第二種是對(duì)云量進(jìn)行范圍均分，每個(gè)分片中的云量范圍相同，云量小于20的數(shù)據(jù)都存放在同一個(gè)分片中，其數(shù)據(jù)庫(kù)模型如圖5(b)所示。

2.3 存儲(chǔ)設(shè)計(jì)

2.3.1 數(shù)據(jù)庫(kù)存儲(chǔ)模型設(shè)計(jì)

存儲(chǔ)衛(wèi)星影像元數(shù)據(jù)信息的影像元數(shù)據(jù)庫(kù)采用混合分片的方式進(jìn)行存儲(chǔ)模型設(shè)計(jì)，結(jié)合多種分片方案進(jìn)行數(shù)據(jù)多節(jié)點(diǎn)分庫(kù)和分表存儲(chǔ)，既提高了數(shù)據(jù)庫(kù)的性能，又緩解了計(jì)算機(jī)資源沖突，其存儲(chǔ)模型如圖6所示。

圖6 分布式數(shù)據(jù)庫(kù)存儲(chǔ)模型示意圖

2.3.2 數(shù)據(jù)實(shí)體存儲(chǔ)系統(tǒng)設(shè)計(jì)

海量衛(wèi)星影像實(shí)體的存儲(chǔ)采用存儲(chǔ)區(qū)域網(wǎng)絡(luò)(storage area network,SAN)架構(gòu)實(shí)現(xiàn)數(shù)據(jù)的集中存儲(chǔ)與應(yīng)用。SAN網(wǎng)設(shè)計(jì)采用典型的雙Fabric結(jié)構(gòu)，搭建全冗余的SAN存儲(chǔ)結(jié)構(gòu)，保證了數(shù)據(jù)的安全性，實(shí)現(xiàn)影像數(shù)據(jù)存儲(chǔ)中的高性能與高可用性。

根據(jù)衛(wèi)星影像數(shù)據(jù)的數(shù)據(jù)量、生命周期、存儲(chǔ)成本等特征，將海量衛(wèi)星影像數(shù)據(jù)存儲(chǔ)分為在線、近線和離線3級(jí)存儲(chǔ)，以實(shí)現(xiàn)影像數(shù)據(jù)的全生命周期管理。隨著影像數(shù)據(jù)的不斷更新，在線影像數(shù)據(jù)從在線磁盤陣列逐步遷移到近線磁盤陣列中及離線磁帶庫(kù)中，以保證數(shù)據(jù)存儲(chǔ)效率，其存儲(chǔ)系統(tǒng)設(shè)計(jì)如圖7所示。

圖7 數(shù)據(jù)實(shí)體存儲(chǔ)示意圖

3 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

筆者在海量衛(wèi)星影像分布式存儲(chǔ)系統(tǒng)研制中,以MySQL 5.6作為底層數(shù)據(jù)庫(kù)，使用Mycat數(shù)據(jù)庫(kù)中間件構(gòu)建系統(tǒng)底層分布式數(shù)據(jù)庫(kù)平臺(tái)，設(shè)計(jì)實(shí)現(xiàn)了3種分布式數(shù)據(jù)庫(kù)分片方案，并以Visual Studio 2010作為系統(tǒng)開(kāi)發(fā)平臺(tái)，開(kāi)發(fā)了分布式影像管理原型系統(tǒng)，實(shí)現(xiàn)了海量衛(wèi)星影像管理中的快速歸檔、查詢、并行統(tǒng)計(jì)分析等功能需求。

該系統(tǒng)底層框架主要包括分布式空間數(shù)據(jù)庫(kù)和文件系統(tǒng)這兩部分，分布式空間數(shù)據(jù)庫(kù)系統(tǒng)使用兩臺(tái)Mycat服務(wù)器及多臺(tái)MySQL數(shù)據(jù)庫(kù)服務(wù)器，實(shí)現(xiàn)服務(wù)器的主備的自動(dòng)切換，保障系統(tǒng)的高可用性。文件系統(tǒng)采用全冗余的SAN存儲(chǔ)結(jié)構(gòu)存儲(chǔ)影像實(shí)體并進(jìn)行數(shù)據(jù)的動(dòng)態(tài)遷移，系統(tǒng)設(shè)計(jì)如圖8所示。

圖8 衛(wèi)星影像數(shù)據(jù)管理系統(tǒng)

影像數(shù)據(jù)歸檔時(shí)，系統(tǒng)應(yīng)用層解析影像元數(shù)據(jù)信息后將非結(jié)構(gòu)化的影像實(shí)體存儲(chǔ)在文件系統(tǒng)中。文件服務(wù)器接收影像數(shù)據(jù)的實(shí)體文件，并將其存儲(chǔ)在文件系統(tǒng)的在線存儲(chǔ)中。當(dāng)在線存儲(chǔ)中的數(shù)據(jù)量達(dá)到預(yù)定值時(shí)，文件服務(wù)器則會(huì)根據(jù)數(shù)據(jù)遷移策略將使用頻率較低的數(shù)據(jù)遷移到近線存儲(chǔ)中。同樣，近線存儲(chǔ)中使用頻率較低的將遷移至離線存儲(chǔ)。

影像元數(shù)據(jù)信息在分布式空間數(shù)據(jù)庫(kù)中存儲(chǔ)時(shí)，Mycat服務(wù)器接收應(yīng)用層傳來(lái)的數(shù)據(jù)，并對(duì)其進(jìn)行解析以獲取分片字段的值。Mycat中間件根據(jù)預(yù)先制定的分片規(guī)則計(jì)算影像元數(shù)據(jù)的分片節(jié)點(diǎn)，并將元數(shù)據(jù)信息存儲(chǔ)到對(duì)應(yīng)的MySQL數(shù)據(jù)庫(kù)中。同時(shí)，影像實(shí)體在文件系統(tǒng)中的存儲(chǔ)路徑也將記錄在元數(shù)據(jù)表中。

4 試驗(yàn)設(shè)計(jì)與結(jié)果分析

為研究分布式空間數(shù)據(jù)庫(kù)在海量衛(wèi)星影像存儲(chǔ)中的可行性，筆者對(duì)設(shè)計(jì)構(gòu)建的海量衛(wèi)星影像分布式存儲(chǔ)系統(tǒng)進(jìn)行了影像元數(shù)據(jù)庫(kù)查詢性能測(cè)試。使用資源三號(hào)衛(wèi)星影像元數(shù)據(jù)庫(kù)編目數(shù)據(jù)表作為試驗(yàn)數(shù)據(jù)，數(shù)據(jù)表約有42萬(wàn)條記錄。為進(jìn)行大數(shù)據(jù)環(huán)境下的查詢性能測(cè)試，采用重復(fù)插入數(shù)據(jù)的方式，以實(shí)現(xiàn)單表的最大數(shù)據(jù)量達(dá)到千萬(wàn)級(jí)。

4.1 測(cè)試環(huán)境

分布式數(shù)據(jù)庫(kù)服務(wù)器是Vmware上建立的5臺(tái)虛擬機(jī)，其共用物理機(jī)的CPU為Intel E7440 4核，每個(gè)虛擬機(jī)的配置如下：8 GB內(nèi)存，500 GB硬盤，操作系統(tǒng)為L(zhǎng)inux 2.6.32，數(shù)據(jù)庫(kù)使用MySQL 5.6.26，數(shù)據(jù)庫(kù)中間件采用Mycat 1.3。

Oracle數(shù)據(jù)庫(kù)配置如下：32 GB內(nèi)存，20 TB硬盤，操作系統(tǒng)為Solaris 11.2，數(shù)據(jù)庫(kù)版本為 Oracle 11 g專業(yè)版。

4.2 多種數(shù)據(jù)庫(kù)平臺(tái)查詢性能測(cè)試

將資源三號(hào)衛(wèi)星影像庫(kù)中的編目數(shù)據(jù)表分別導(dǎo)入MySQL分布式數(shù)據(jù)庫(kù)、MySQL單一數(shù)據(jù)庫(kù)及Oracle數(shù)據(jù)庫(kù)，并進(jìn)行多種數(shù)據(jù)量下的查詢測(cè)試，所有測(cè)試通過(guò)直連數(shù)據(jù)庫(kù)的方式進(jìn)行，避免其他因素影響測(cè)試。主要進(jìn)行了以下兩個(gè)測(cè)試：

(1) 空間查詢性能測(cè)試，通過(guò)3款數(shù)據(jù)庫(kù)分別查詢覆蓋河南省數(shù)據(jù)，試驗(yàn)結(jié)果如圖9(a)所示。

(2) 空間和屬性聯(lián)合查詢測(cè)試，通過(guò)在3款數(shù)據(jù)庫(kù)查詢覆蓋河南省且云量小于20的數(shù)據(jù)，試驗(yàn)結(jié)果如圖9(b)所示。

圖9 3款數(shù)據(jù)庫(kù)查詢性能測(cè)試

4.3 多種分片方案查詢性能測(cè)試

為進(jìn)一步研究分布式空間數(shù)據(jù)庫(kù)中分片方案對(duì)查詢性能的影響，筆者在構(gòu)建的分布式數(shù)據(jù)庫(kù)平臺(tái)上進(jìn)行了多種分片方案的查詢測(cè)試，按照實(shí)際應(yīng)用的需求，設(shè)計(jì)了以下兩個(gè)測(cè)試：

(1) 多屬性查詢測(cè)試，查詢2014年全年，云量小于20的數(shù)據(jù)，試驗(yàn)結(jié)果如圖10(a)所示。

(2) 空間與屬性聯(lián)合查詢測(cè)試，查詢覆蓋河南省且云量小于20的數(shù)據(jù)，試驗(yàn)結(jié)果如圖10(b)所示。

圖10 不同分片方案查詢性能測(cè)試

圖中3種方案對(duì)應(yīng)上文設(shè)計(jì)的3種數(shù)據(jù)庫(kù)的分片方案。方案一是根據(jù)哈希分片對(duì)ID值進(jìn)行分片；方案二通過(guò)范圍分片將常用的云量小于20的影像在4個(gè)數(shù)據(jù)節(jié)點(diǎn)間分片；方案三將云量小于20的數(shù)據(jù)分片存儲(chǔ)在一個(gè)數(shù)據(jù)節(jié)點(diǎn)中。

4.4 試驗(yàn)結(jié)果分析

通過(guò)以上幾個(gè)試驗(yàn)，筆者對(duì)分布式數(shù)據(jù)庫(kù)進(jìn)行了多角度、多數(shù)據(jù)量的影像元數(shù)據(jù)查詢性能測(cè)試，分析試驗(yàn)結(jié)果得到以下結(jié)論：

(1) 筆者搭建的MySQL分布式數(shù)據(jù)庫(kù)測(cè)試平臺(tái)相比原有的Oracle數(shù)據(jù)庫(kù)平臺(tái)及MySQL單一數(shù)據(jù)庫(kù)平臺(tái)，其查詢性能得到顯著的提高。

(2) 分布式數(shù)據(jù)庫(kù)的分片方案影響著其查詢性能，在數(shù)據(jù)庫(kù)模型設(shè)計(jì)時(shí)需選擇合適的分片規(guī)則，設(shè)計(jì)合理的分片方案。

5 結(jié) 語(yǔ)

本文討論了現(xiàn)有衛(wèi)星影像數(shù)據(jù)存儲(chǔ)方法的特點(diǎn)，針對(duì)海量衛(wèi)星影像數(shù)據(jù)存儲(chǔ)中的性能問(wèn)題，在現(xiàn)有方法基礎(chǔ)上結(jié)合海量影像數(shù)據(jù)管理中的性能需求，提出了一種分布式空間數(shù)據(jù)庫(kù)與文件結(jié)合的海量衛(wèi)星影像存儲(chǔ)方法；進(jìn)行了分布式空間數(shù)據(jù)庫(kù)的存儲(chǔ)模型設(shè)計(jì)及其分片方案設(shè)計(jì)，并在研究基礎(chǔ)上開(kāi)發(fā)完成了海量衛(wèi)星影像數(shù)據(jù)分布式存儲(chǔ)原型系統(tǒng)。最后，開(kāi)展了資源三號(hào)衛(wèi)星影像數(shù)據(jù)管理試驗(yàn)，試驗(yàn)表明本方法可以有效地存儲(chǔ)和管理衛(wèi)星影像數(shù)據(jù)，查詢性能得到顯著的提高，適用于海量衛(wèi)星影像數(shù)據(jù)的存儲(chǔ)管理。

[1] 胡正華，孟令奎，張文.面向關(guān)系數(shù)據(jù)庫(kù)擴(kuò)展的自適應(yīng)影像金字塔模型[J].測(cè)繪學(xué)報(bào),2015,44(6)：678-685.

[2] 王華斌，唐新明，李黔湘.海量遙感影像數(shù)據(jù)存儲(chǔ)管理技術(shù)研究與實(shí)現(xiàn)[J].測(cè)繪科學(xué),2008(6)：156-157.

[3] 李成名，劉曉麗，印潔，等.數(shù)字城市到智慧城市的思考與探索[J].測(cè)繪通報(bào),2013(3)：1-3.

[4] BOSCHETTI L, ROY D P, JUSTICE C O. Using NASA’s World Wind Virtual Globe for Interactive Internet Visualization of the Global MODIS Burned Area Product[J].International Journal of Remote Sensing,2008,29(11):3067-3072.

[5] RAMAPRIYAN H K, PFISTER R, WEINSTEIN B. An Overview of the EOS Data Distribution Systems[J]. Land Remote Sensing and Global Environmental Change， 2010,11:183-202.

[6] GUO W, GONG J Y, JIANG W S, et al. OpenRS-Cloud: A Remote Sensing Image Processing Platform Based on Cloud Computing Environment[J].Science China Technological Sciences,2010,53(1):221-230.

[7] 呂雪鋒，程承旗，龔健雅，等.海量遙感數(shù)據(jù)存儲(chǔ)管理技術(shù)綜述[J].中國(guó)科學(xué)(技術(shù)科學(xué))，2011(12)：1561-1573.

[8] 方濤，李德仁，龔健雅，等.GeoImageDB多分辨率無(wú)縫影像數(shù)據(jù)庫(kù)系統(tǒng)的開(kāi)發(fā)與實(shí)現(xiàn)[J].武漢測(cè)繪科技大學(xué)學(xué)報(bào),1999,24(3)：189-193.

[9] 陳時(shí)遠(yuǎn).基于HDFS的分布式海量遙感影像數(shù)據(jù)存儲(chǔ)技術(shù)研究[D].北京：中國(guó)科學(xué)院大學(xué),2013.

[10] BARCLAY T, GRAY J, SLUTZ D. Microsoft Terra Server: a Spatial Data Warehouse[J].Acm Sigmod Record, 2000,29(2):307-318.

[11] PENDLETON C. The World According to Bing[J].IEEE Computer Graphics and Applications,2010,30(4):15-17.

[12] ALBANI S, GIARETTA D. Long-term Preservation of Earth Observation Data and Knowledge in ESA through CASPAR[J].International Journal of Digital Curation,2009,4(3):4-16.

[13] GONG J Y, XIANG L G, CHEN J, et al. Multi-source Geospatial Information Integration and Sharing in Virtual Globes[J].Science China Technological Sciences,2010,53(1):1-6.

[14] 周偉，黃煒，王彥佐，等.資源一號(hào) 02C 衛(wèi)星數(shù)據(jù)管理與服務(wù)系統(tǒng)研建[J].國(guó)土資源遙感,2014,26(1)：179-185.

[15] 王紅，彭海龍.海洋一號(hào)衛(wèi)星離線數(shù)據(jù)長(zhǎng)期歸檔方法研究[J].海洋通報(bào),2008,27(4)：98-100.

[16] 賈樹(shù)澤，楊軍，施進(jìn)明，等.新一代氣象衛(wèi)星資料處理系統(tǒng)并行調(diào)度算法研究與應(yīng)用[J].氣象科技,2010, 38(1):96-101.

[17] 朱欣焰.分布式空間數(shù)據(jù)集成與查詢優(yōu)化技術(shù)[M].北京：測(cè)繪出版社,2013.

Application of Distributed Spatial Database in Massive Satellite Images Management

SUN Jing1,2,GAO Jingxiang1,SHI Shaoyu2,WANG Huibing2,AI Bo3

(1. School of Environment Science and Spatial Informatics, CUMT, Xuzhou 221116, China; 2. Satellite Surveying and Mapping Application Center, NASG, Beijing 100048, China; 3. Key Laboratory of Surveying and Mapping Technology on Island and Reef, Qingdao 266590, China)

Aiming at the problem that the existing satellite image storage solutions have poor performance in massive image data, this paper gives the analysis of characteristics of the existing satellite image data storage solutions, and puts forward an improved solution based on distributed spatial database to manage the image metadata. This solution utilized file system to store unstructured entity data of satellite image, in the same time, the spatial information and image metadata is stored in distributed spatial database. As a result, it achieves the high performance storage of unstructured image data. ZY-3 satellite image data management experiment has been carried out, and it shows that this solution is of a significant improvement in the query performance of massive satellite image data, and it is suitable for the storage of massive satellite image data.

distributed spatial database; massive data; satellite image; image management; MySQL

孫晶，高井祥，史紹雨,等.分布式空間數(shù)據(jù)庫(kù)在海量衛(wèi)星影像管理中的應(yīng)用[J].測(cè)繪通報(bào)，2017(5)：56-61.

10.13474/j.cnki.11-2246.2017.0154.

2016-10-09；

2017-01-12

國(guó)家自然科學(xué)基金(41271394)

孫 晶(1992—)，男，碩士生，主要研究方向?yàn)楹Ａ坑跋駭?shù)據(jù)管理。E-mail:sunj92@126.com

P208

A

0494-0911(2017)05-0056-06