丁寶
[摘要]部分具有保存價(jià)值的時(shí)態(tài)數(shù)據(jù)正面臨丟失的風(fēng)險(xiǎn),檔案部門(mén)應(yīng)及時(shí)采取措施。論文以地理信息系統(tǒng)數(shù)據(jù)為例,提出了切片歸檔時(shí)態(tài)數(shù)據(jù)的技術(shù)策略,分析了其核心內(nèi)容——快照技術(shù)的原理、歸檔數(shù)據(jù)的特點(diǎn)及對(duì)不同類(lèi)型數(shù)據(jù)的適用性,并討論了在切片歸檔過(guò)程中需要注意的切片時(shí)間、歸檔時(shí)間和格式管理等問(wèn)題。
[關(guān)鍵詞]時(shí)態(tài)數(shù)據(jù)歸檔數(shù)據(jù)切片地理信息系統(tǒng)
[分類(lèi)號(hào)]G275.9
Research on the Technology of Temporal Data Snapshot Archive—Taking Geographic Information System Data as an Example
Ding Bao
(College of Society of Soochow University, Suzhou, Jiangsu,215123)
Abstract: Temporal data with some preservation value is facing the risk of being lost, and the archives department should take timely measures. This paper takes geographic information system data as an example, puts forward the technical strategy of snapshot archiving temporal data, analyzes its core content - the principle of snapshot technology, the characteristics of archived data and the applicability to different types of data, and discusses the issues such as snapshot time, archive time and format management in the process of snapshot archiving.
Keywords: Temporal Data; Archive; Data Snapshot; Geographic Information System
1引言
數(shù)據(jù)具有時(shí)間屬性。對(duì)于文本、圖像、音頻和視頻等一般類(lèi)型的數(shù)據(jù),人們只關(guān)注最終版本的內(nèi)容,但在電信信息系統(tǒng)、地理信息系統(tǒng)、電子政務(wù)等復(fù)雜的信息系統(tǒng)中,用戶(hù)往往需要處理與時(shí)間相關(guān)的數(shù)據(jù),比如在地理信息系統(tǒng)中調(diào)用1990年到2000年間北京土地利用情況的數(shù)據(jù)。這種需要顯式表示和管理與時(shí)間相關(guān)的數(shù)據(jù)就是時(shí)態(tài)數(shù)據(jù)。[1]信息系統(tǒng)中的時(shí)態(tài)數(shù)據(jù)在每一時(shí)間點(diǎn)的狀態(tài)都反映了某一社會(huì)實(shí)踐的具體情況,除了對(duì)于業(yè)務(wù)機(jī)關(guān)的現(xiàn)行價(jià)值,成為歷史數(shù)據(jù)后也蘊(yùn)含重要的情報(bào)價(jià)值和科研價(jià)值。在上述例子中,調(diào)用的歷史數(shù)據(jù)不僅能夠還原十年間北京的發(fā)展變化,而且可用于研究北京的城市發(fā)展模式。但是,檔案部門(mén)在滿足這一信息需求時(shí)面臨嚴(yán)重阻礙。時(shí)態(tài)數(shù)據(jù)的內(nèi)容和狀態(tài)會(huì)隨著時(shí)間的推移而改變,業(yè)務(wù)部門(mén)在資源、預(yù)算有限的情況下不會(huì)優(yōu)先考慮保存過(guò)去形成的數(shù)據(jù),決策者或從業(yè)者未能正確認(rèn)知保存歷史數(shù)據(jù)的益處,更新數(shù)據(jù)時(shí)往往會(huì)覆蓋掉原有的數(shù)據(jù)。當(dāng)前采用技術(shù)手段歸檔具有長(zhǎng)遠(yuǎn)保存價(jià)值的時(shí)態(tài)數(shù)據(jù)是一項(xiàng)重要且迫切的工作。本文將以地理信息系統(tǒng)數(shù)據(jù)為例對(duì)時(shí)態(tài)數(shù)據(jù)的切片歸檔技術(shù)進(jìn)行研究和討論。
地理信息系統(tǒng)(Geographic Information System,簡(jiǎn)稱(chēng)GIS)是在計(jì)算機(jī)軟、硬件系統(tǒng)支持下,對(duì)整個(gè)或部分地球表層的有關(guān)地理分布數(shù)據(jù)進(jìn)行采集、儲(chǔ)存、管理、運(yùn)算、分析、顯示和描述的技術(shù)系統(tǒng)。[2]其產(chǎn)生的GIS數(shù)據(jù)專(zhuān)業(yè)性強(qiáng)、獲取成本高,具有極高的重復(fù)利用價(jià)值,但隨著技術(shù)的發(fā)展和時(shí)間的推移正面臨丟失的風(fēng)險(xiǎn)。因此,以GIS數(shù)據(jù)為例介紹切片歸檔技術(shù),能夠?yàn)闄n案部門(mén)歸檔保存GIS數(shù)據(jù)提出參考性方案,更利于為歸檔其它時(shí)態(tài)數(shù)據(jù)提供經(jīng)驗(yàn)和借鑒,兼具理論和實(shí)踐價(jià)值。
2地理信息系統(tǒng)數(shù)據(jù)切片歸檔的技術(shù)策略
GIS以數(shù)字?jǐn)?shù)據(jù)的形式表現(xiàn)空間實(shí)體的空間位置特征、屬性特征和時(shí)態(tài)特征,數(shù)據(jù)的幾何特性、非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)和動(dòng)態(tài)變化的時(shí)間特征給長(zhǎng)期保存帶來(lái)了三個(gè)方面的難題。首先,不同的數(shù)據(jù)組織方式。GIS中最基本的空間數(shù)據(jù)組織方式是矢量數(shù)據(jù)和柵格數(shù)據(jù),矢量數(shù)據(jù)用點(diǎn)、線和多邊形刻畫(huà)所關(guān)注的空間對(duì)象,柵格數(shù)據(jù)用二維矩陣的形式表示空間地物或現(xiàn)象分布,二者導(dǎo)致不同的數(shù)據(jù)格式與應(yīng)用系統(tǒng),不利于采用統(tǒng)一的歸檔方式。其次,復(fù)雜的數(shù)據(jù)存儲(chǔ)模式。目前常見(jiàn)的GIS數(shù)據(jù)存儲(chǔ)方式有通用文件系統(tǒng)、文件系統(tǒng)結(jié)合關(guān)系數(shù)據(jù)庫(kù)以及全關(guān)系數(shù)據(jù)庫(kù)三種,不同的存儲(chǔ)系統(tǒng)通常意味著不同的歸檔策略。最后,動(dòng)態(tài)變化的數(shù)據(jù)內(nèi)容。GIS數(shù)據(jù)會(huì)隨時(shí)間不斷更新變化,新數(shù)據(jù)覆蓋舊數(shù)據(jù)是歸檔保存面臨的最大問(wèn)題。為了解決以上難題,本文引入切片歸檔技術(shù),即運(yùn)用快照技術(shù),在特定的時(shí)間節(jié)點(diǎn)對(duì)具備歸檔價(jià)值的GIS數(shù)據(jù)做切片處理,經(jīng)過(guò)整理后形成地理信息圖層數(shù)據(jù)包,進(jìn)而按照電子文件歸檔的流程標(biāo)準(zhǔn)歸檔。[3]核心內(nèi)容是快照技術(shù)的應(yīng)用。
2.1快照技術(shù)及其歸檔地理信息系統(tǒng)數(shù)據(jù)的特點(diǎn)
快照技術(shù),即通過(guò)建立指針列表指示讀取數(shù)據(jù)的地址,當(dāng)數(shù)據(jù)改變時(shí)在極短時(shí)間內(nèi)提供一個(gè)實(shí)時(shí)數(shù)據(jù)并復(fù)制,[4]獲得數(shù)據(jù)在特定時(shí)間點(diǎn)的完全狀態(tài)。它不涉及所表示數(shù)據(jù)的格式,通過(guò)快速“拍照”記錄的是數(shù)據(jù)的完整可用拷貝;適用于各種類(lèi)型的存儲(chǔ)系統(tǒng),包括基于文件系統(tǒng)的快照、基于邏輯卷管理器的快照以及基于數(shù)據(jù)庫(kù)的快照等;能夠根據(jù)需要靈活設(shè)置多個(gè)快照點(diǎn),定期和不定期地捕捉數(shù)據(jù)的變化情況。它有效地解決了上述GIS數(shù)據(jù)歸檔保存的難題,并具有瞬時(shí)保存、對(duì)系統(tǒng)影響小的優(yōu)點(diǎn)。此外,不同原理的快照技術(shù)各具特色,適用于不同特點(diǎn)的GIS數(shù)據(jù)。
2.2快照技術(shù)的分類(lèi)及對(duì)不同地理信息系統(tǒng)數(shù)據(jù)的適用性
以實(shí)現(xiàn)的工作原理為依據(jù),快照技術(shù)劃分為不同種類(lèi)。其中,適用于GIS數(shù)據(jù)切片保存的主要有增量快照、全拷貝快照兩種。
增量快照即快照創(chuàng)建后,源 LUN(Logical Unit Number,邏輯單元號(hào))和快照LUN通過(guò)數(shù)據(jù)指針表共用一份數(shù)據(jù)拷貝,直至數(shù)據(jù)改動(dòng),改動(dòng)前的數(shù)據(jù)將被記錄。主要有寫(xiě)時(shí)復(fù)制快照和寫(xiě)時(shí)重定向快照兩種實(shí)現(xiàn)方式。寫(xiě)時(shí)復(fù)制在創(chuàng)建快照時(shí)僅復(fù)制指示數(shù)據(jù)實(shí)際所處位置的指針,不進(jìn)行實(shí)質(zhì)拷貝。此時(shí),快照LUN和源LUN保存相同的數(shù)據(jù)指針表??煺丈珊?,如有請(qǐng)求修改源LUN中的原始數(shù)據(jù),快照LUN首先拷貝改變前的原始數(shù)據(jù),然后源LUN再進(jìn)行改寫(xiě)。當(dāng)后續(xù)再有數(shù)據(jù)寫(xiě)入源LUN的同一位置時(shí),將不再拷貝原始數(shù)據(jù)至快照LUN,而是直接覆蓋。這樣對(duì)同一位置的更新僅進(jìn)行一次寫(xiě)時(shí)拷貝,有效地保證了快照時(shí)刻點(diǎn)的數(shù)據(jù)一致性。最終,僅獲得源LUN的邏輯存儲(chǔ)副本,利用時(shí)通過(guò)查詢(xún)數(shù)據(jù)指針表訪問(wèn)數(shù)據(jù)的物理存儲(chǔ)位置,若快照LUN中對(duì)應(yīng)的數(shù)據(jù)項(xiàng)不存在,則讀取源LUN中相應(yīng)位置的數(shù)據(jù);反之,讀取快照LUN相應(yīng)位置的數(shù)據(jù)。因此,在歸檔時(shí)需要配合保存原始的數(shù)據(jù)副本。寫(xiě)時(shí)重定向的技術(shù)原理類(lèi)似,不同之處在于對(duì)源LUN的首次寫(xiě)操作重新定向至快照LUN中。創(chuàng)建快照時(shí),同樣僅復(fù)制數(shù)據(jù)指針表;但是生成快照后,如果產(chǎn)生對(duì)源LUN改寫(xiě)的請(qǐng)求,新數(shù)據(jù)會(huì)直接寫(xiě)入快照LUN,之后更新源LUN中的指針表,使其指向新數(shù)據(jù)所在的快照LUN地址。這樣只需要一次寫(xiě)操作,此時(shí)源LUN中保存快照副本,而快照卷保存的則是新數(shù)據(jù)。
全拷貝快照創(chuàng)建的是數(shù)據(jù)的完整副本,分為鏡像分離快照或克隆快照。鏡像分離需預(yù)留與源LUN容量相同的存儲(chǔ)空間,在快照時(shí)間點(diǎn)前創(chuàng)建源LUN鏡像,快照點(diǎn)到來(lái)時(shí)鏡像分離轉(zhuǎn)換成快照卷,完成數(shù)據(jù)備份等操作后快照LUN與源LUN重新同步。由于鏡像操作在快照點(diǎn)前完成,這種方式無(wú)法隨時(shí)為任意源LUN創(chuàng)建快照。相比之下,克隆快照增強(qiáng)了靈活性,在快照時(shí)間點(diǎn)采用寫(xiě)時(shí)復(fù)制的方式快速生成指針式副本,之后在后臺(tái)運(yùn)行拷貝進(jìn)程執(zhí)行實(shí)質(zhì)性的數(shù)據(jù)拷貝任務(wù),結(jié)束后采用鏡像分離技術(shù)獲得克隆快照。
表1[5]從不同角度比較了以上四種快照技術(shù)。分析可得它們的優(yōu)缺點(diǎn)及對(duì)不同種類(lèi)GIS數(shù)據(jù)的適用情況。寫(xiě)時(shí)復(fù)制和寫(xiě)時(shí)重定向技術(shù)采用增量快照的方法,優(yōu)點(diǎn)是快照創(chuàng)建前只需分配少量的存儲(chǔ)空間用于保存源LUN中被更新的原始數(shù)據(jù);在創(chuàng)建快照前對(duì)系統(tǒng)無(wú)任何依賴(lài)性,可隨時(shí)生成應(yīng)用系統(tǒng)快照;快照副本通過(guò)額外的拷貝操作獲得,可以選擇業(yè)務(wù)空閑時(shí)間進(jìn)行,減少對(duì)應(yīng)用系統(tǒng)的影響。缺點(diǎn)是快照生成后對(duì)源LUN具有依賴(lài)性,一旦源LUN發(fā)生不可恢復(fù)性的損壞,且未及時(shí)拷貝快照副本,快照數(shù)據(jù)也隨之失效;在生成快照時(shí)會(huì)對(duì)源LUN產(chǎn)生讀和寫(xiě)操作,降低系統(tǒng)的性能。因此,增量快照技術(shù)適用于兩種類(lèi)型的GIS數(shù)據(jù)。一種是變化幅度小的GIS數(shù)據(jù),如地形地貌數(shù)據(jù)。其在以年為單位的時(shí)間周期中很難發(fā)生大量的變化,充分發(fā)揮了增量快照只記錄變化數(shù)據(jù)、存儲(chǔ)空間利用率高的特點(diǎn)。另一種是變化可預(yù)見(jiàn)的GIS數(shù)據(jù),如基礎(chǔ)設(shè)施建設(shè)、管網(wǎng)規(guī)劃、城市建設(shè)以及行政區(qū)劃等數(shù)據(jù)。這些數(shù)據(jù)的改變具有規(guī)劃性,數(shù)據(jù)變化能夠提前掌握,如有必要可以設(shè)置專(zhuān)門(mén)的快照時(shí)間點(diǎn)保存這一變化。這樣,充分發(fā)揮了增量快照靈活性高以及空間占用小、快照點(diǎn)設(shè)置密集的優(yōu)勢(shì),更加細(xì)致地記錄GIS數(shù)據(jù)的變化情況。
全拷貝快照在快照點(diǎn)結(jié)束即可獲得源LUN的完整副本,能夠脫離源LUN單獨(dú)存在,數(shù)據(jù)可靠性更高,歸檔保存的流程和后期的管理也更加簡(jiǎn)單。但是,其缺點(diǎn)也十分明顯。一方面,每次生成快照都需要源LUN同樣大小的鏡像卷,對(duì)存儲(chǔ)空間要求很高,在長(zhǎng)期保存中會(huì)形成大量的數(shù)據(jù)冗余;另一方面,無(wú)論是鏡像分離技術(shù)在快照時(shí)間點(diǎn)前生成鏡像,還是克隆技術(shù)在生成快照后拷貝原始數(shù)據(jù),物理拷貝過(guò)程都會(huì)對(duì)系統(tǒng)產(chǎn)生較大的影響。因此,全拷貝適用于變化極頻繁的GIS數(shù)據(jù),如人口流動(dòng)、交通出行數(shù)據(jù)等。這些數(shù)據(jù)無(wú)時(shí)無(wú)刻不處于變化的狀態(tài)中,運(yùn)用增量快照不但無(wú)法發(fā)揮空間利用率高的優(yōu)勢(shì),反而在多次生成快照后會(huì)加重應(yīng)用系統(tǒng)的負(fù)擔(dān)。而采用全拷貝快照在較長(zhǎng)的時(shí)間段中周期性地記錄它們的變化是更好的選擇。此外,由于增量快照對(duì)源LUN的依賴(lài)性,全拷貝快照也經(jīng)常和增量快照技術(shù)一起使用,用來(lái)增強(qiáng)快照的可靠性和穩(wěn)定性。
3地理信息系統(tǒng)數(shù)據(jù)切片歸檔時(shí)需注意的問(wèn)題
切片歸檔GIS數(shù)據(jù),檔案部門(mén)除了掌握快照技術(shù)的原理,根據(jù)不同特點(diǎn)的GIS數(shù)據(jù)選擇合適的快照類(lèi)型,還應(yīng)該注意選擇合理的切片時(shí)間與歸檔時(shí)間,同時(shí)管理GIS數(shù)據(jù)格式。前者影響歸檔數(shù)據(jù)的完整性和真實(shí)性,后者有助于保證數(shù)據(jù)長(zhǎng)期可讀。
3.1制定合理的切片時(shí)間和歸檔時(shí)間策略
切片時(shí)間和歸檔時(shí)間是GIS數(shù)據(jù)切片歸檔過(guò)程中涉及的兩個(gè)不同的時(shí)間概念。切片時(shí)間指在存儲(chǔ)系統(tǒng)中設(shè)置創(chuàng)建源LUN快照的時(shí)間,歸檔時(shí)間指將獲得的快照副本整理為地理信息圖層數(shù)據(jù)包移交檔案部門(mén)的時(shí)間。運(yùn)用全拷貝快照技術(shù),在快照時(shí)間即獲得完整的數(shù)據(jù)副本,切片時(shí)間和歸檔時(shí)間往往是一致的;運(yùn)用增量快照技術(shù),在快照時(shí)間僅生成虛擬快照,需要通過(guò)快照副本技術(shù)拷貝獲得完整的數(shù)據(jù)副本,切片時(shí)間和歸檔時(shí)間會(huì)出現(xiàn)不一致的情況。因此,應(yīng)該分別討論兩種時(shí)間的設(shè)置情況。
從切片時(shí)間選擇的角度,GIS快照的創(chuàng)建策略分為定時(shí)快照和手動(dòng)快照。定時(shí)快照即在每年12月31日對(duì)當(dāng)年需要?dú)w檔的GIS數(shù)據(jù)創(chuàng)建快照,根據(jù)不同數(shù)據(jù)的運(yùn)動(dòng)特性、流轉(zhuǎn)規(guī)律,也可以設(shè)置不同的切片周期。手動(dòng)快照則是在事件點(diǎn)創(chuàng)建當(dāng)前時(shí)間點(diǎn)的快照。事件點(diǎn)是指在切片周期內(nèi)可能引起相關(guān)數(shù)據(jù)巨大變化的重要事件的發(fā)生時(shí)間節(jié)點(diǎn),如市政大樓搬遷等。在定期快照的基礎(chǔ)上運(yùn)用手動(dòng)快照,能夠清晰地反映重要事件的變化過(guò)程,保存和記錄更加完整的社會(huì)記憶。
歸檔時(shí)間是從歸檔流程的角度考慮,分為實(shí)時(shí)歸檔和定期歸檔兩種形式。GIS數(shù)據(jù)具有連續(xù)性、動(dòng)態(tài)性的特點(diǎn),因此完全意義上的實(shí)時(shí)歸檔難以實(shí)現(xiàn)。就切片歸檔技術(shù)而言,實(shí)時(shí)歸檔是指快照副本生成后立即歸檔,定期歸檔是參照紙質(zhì)文件歸檔時(shí)間的規(guī)定,在第二年上半年處理本年度的快照,拷貝獲取副本后整理成地理信息圖層數(shù)據(jù)包歸檔。相比定期歸檔,實(shí)時(shí)歸檔有利于檔案部門(mén)控制快照的質(zhì)量與安全,避免因GIS存儲(chǔ)故障導(dǎo)致快照失效,確保歸檔數(shù)據(jù)的真實(shí)性。此外,由于創(chuàng)建快照花費(fèi)的時(shí)間會(huì)隨快照數(shù)量的增加而增加,也會(huì)對(duì)應(yīng)用系統(tǒng)性能造成影響,歸檔后即可刪除存儲(chǔ)在應(yīng)用系統(tǒng)中的快照。因此,實(shí)時(shí)歸檔是GIS數(shù)據(jù)切片歸檔中最宜采用的時(shí)間策略。
3.2實(shí)施地理信息系統(tǒng)數(shù)據(jù)格式管理
隨著地理信息科學(xué)的發(fā)展,出現(xiàn)了ArcGIS、Mapinfo、GvSIG等優(yōu)秀的GIS應(yīng)用軟件,相應(yīng)地產(chǎn)生了紛繁的GIS數(shù)據(jù)格式,使其歸檔保存面臨很大的難題。盡管運(yùn)用快照技術(shù)從存儲(chǔ)系統(tǒng)的角度實(shí)現(xiàn)了對(duì)不同GIS數(shù)據(jù)的切片,克服了數(shù)據(jù)格式的差異性,但是為了確保數(shù)據(jù)長(zhǎng)期有效讀取,便于歸檔后數(shù)據(jù)的管理與利用,檔案部門(mén)仍應(yīng)加強(qiáng)對(duì)GIS數(shù)據(jù)格式的管理。
首先,檔案部門(mén)應(yīng)發(fā)布GIS數(shù)據(jù)長(zhǎng)期保存推薦格式指南,限制接收數(shù)據(jù)格式。我國(guó)的《電子文件歸檔與管理規(guī)范》GB/T18894-2002中要求歸檔電子文件格式應(yīng)符合開(kāi)放性、標(biāo)準(zhǔn)性、長(zhǎng)期可讀性等要求。表2從開(kāi)放性的角度統(tǒng)計(jì)、分析了目前流行的GIS數(shù)據(jù)格式,并參考美國(guó)國(guó)家與文件署制定的《NARA公告2014-04:永久保存文件移交的格式指南修訂版》[6],為檔案部門(mén)選擇格式提供參考。其次,應(yīng)基于電子文件生命周期視角,實(shí)行前端控制。在政府機(jī)關(guān)各業(yè)務(wù)部門(mén)與檔案部門(mén)采用相同的GIS軟件和存儲(chǔ)系統(tǒng),實(shí)現(xiàn)GIS數(shù)據(jù)從生成、利用到歸檔、再利用的一致性,避免不同業(yè)務(wù)部門(mén)、業(yè)務(wù)部門(mén)與檔案部門(mén)之間格式不統(tǒng)一造成的管理混亂、重復(fù)勞動(dòng)、數(shù)據(jù)失真的情況。最后,對(duì)于已形成的不一致數(shù)據(jù)應(yīng)統(tǒng)一轉(zhuǎn)換數(shù)據(jù)格式。國(guó)際上已經(jīng)制定了一系列空間數(shù)據(jù)轉(zhuǎn)換的標(biāo)準(zhǔn),通過(guò)這種中間橋梁,實(shí)現(xiàn)不同系統(tǒng)數(shù)據(jù)的相互轉(zhuǎn)換和共享,具有代表性的有SDTS空間數(shù)據(jù)轉(zhuǎn)換標(biāo)準(zhǔn)、ISO/TC211地理信息標(biāo)準(zhǔn)、DIGEST數(shù)字圖形信息交換標(biāo)準(zhǔn)以及OpenGIS及其規(guī)范等。[7]
參考文獻(xiàn)
[1]維基百科.時(shí)間數(shù)據(jù)庫(kù)[EB/OL].[2016-10-2].https://zh.wikipedia.org/w/index. php?title=%E6%97%B6%E9%97%B4%E6%95%B0%E6%8D%AE%E5%BA%93&oldid=46658931.
[2]劉南,劉仁義.地理信息系統(tǒng)[M].北京:高等教育出版社,2002:5-6.
[3]金波.地理信息庫(kù)數(shù)據(jù)切片歸檔實(shí)現(xiàn)方式研究[J].檔案與建設(shè),2017(2):34-38.
[4]吳晨濤.信息存儲(chǔ)與IT管理[M].北京:人民郵電出版社,2015:242-243.
[5]Neeta Garimella. Snapshot technology overview.[EB/OL].[2006-4-26].https:// www.ibm.com/developerworks/tivoli/library/t-snaptsm1/index.html.
[6]National Archives and Records Administration. Transfer Guidance Format Tables[EB/OL].[2014-3-3].https://www.archives.gov/records-mgmt/policy/transfer-guidance-tables.html.
[7]Sailor. GIS空間數(shù)據(jù)共享標(biāo)準(zhǔn)[EB/OL].[2014-3-6].http://malagis.com/gis-spatial-data-sharing-standards.html.