■ 何 畏 葉惠杰

數(shù)字檔案館多平臺檔案數(shù)據(jù)同步管理研究

■ 何 畏 葉惠杰

分析數(shù)字檔案館多平臺檔案數(shù)據(jù)同步的概念、目標(biāo)、特點、管理和技術(shù)要求，研究構(gòu)建物理隔離多平臺環(huán)境下以數(shù)據(jù)包為同步單元的多平臺檔案數(shù)據(jù)同步的業(yè)務(wù)框架模型，建立有效和可靠的數(shù)據(jù)同步機制，實現(xiàn)管理和數(shù)據(jù)的一致性，確保檔案數(shù)據(jù)的真實、完整和可用。

數(shù)字檔案館建設(shè)是各國檔案領(lǐng)域解決數(shù)字化檔案資源長期永久保存問題，確保數(shù)字檔案真實、完整和有效的解決方案，其目標(biāo)在于構(gòu)建覆蓋數(shù)字檔案管理全周期的管理體系。根據(jù)國家安全保密法規(guī)規(guī)定，為確保數(shù)字檔案管理系統(tǒng)及檔案信息安全，數(shù)字檔案館系統(tǒng)應(yīng)根據(jù)業(yè)務(wù)需求在物理隔離的局域網(wǎng)、政務(wù)內(nèi)網(wǎng)、政務(wù)外網(wǎng)、互聯(lián)網(wǎng)等多個網(wǎng)絡(luò)上進(jìn)行部署和應(yīng)用，以實現(xiàn)對不同安全域內(nèi)數(shù)字檔案的接收、整理、存儲和利用全過程管理。這種物理隔離在不同程度上截斷了數(shù)字檔案管理流程，可能導(dǎo)致同一檔案數(shù)據(jù)在數(shù)字檔案館的不同平臺上出現(xiàn)版本、內(nèi)容和形式的差異，影響數(shù)字檔案的真實、完整和有效。為此，本文將研究和設(shè)計物理隔離多平臺環(huán)境如何建立有效和可靠的數(shù)據(jù)同步機制，以實現(xiàn)管理和數(shù)據(jù)的一致性，確保檔案數(shù)據(jù)的真實、完整和可用。

一、數(shù)字檔案館多平臺數(shù)據(jù)同步的界定

數(shù)據(jù)同步是指數(shù)據(jù)在分布式應(yīng)用環(huán)境下，使不同系統(tǒng)的數(shù)據(jù)之間或者數(shù)據(jù)的來源與其副本之間保持相互一致性。數(shù)據(jù)同步一般包括變化捕捉、數(shù)據(jù)分發(fā)、數(shù)據(jù)更新、數(shù)據(jù)驗證四個主要過程。

圖1 數(shù)據(jù)同步一般過程

數(shù)字檔案館系統(tǒng)多平臺數(shù)據(jù)同步（以下簡稱多平臺同步）是指數(shù)字檔案館系統(tǒng)中，多個平臺（子系統(tǒng)）中的檔案數(shù)據(jù)來源與其副本在數(shù)量和內(nèi)容上保持一致的過程。其目標(biāo)是：在數(shù)字檔案館多平臺部署的環(huán)境下，維護(hù)多平臺檔案數(shù)據(jù)的一致性，確保檔案數(shù)據(jù)的真實、完整、可用和安全。

這里的平臺包含了系統(tǒng)、網(wǎng)絡(luò)兩重含義，即應(yīng)用系統(tǒng)（子系統(tǒng)）和物理網(wǎng)絡(luò)(如局域網(wǎng)、政務(wù)內(nèi)網(wǎng)、政務(wù)外網(wǎng)、互聯(lián)網(wǎng)等)。同時，這些網(wǎng)絡(luò)、系統(tǒng)之間進(jìn)行了物理隔離。

檔案數(shù)據(jù)來源是指在數(shù)字檔案館系統(tǒng)中完成整理、著錄、封裝等操作的最終版本的檔案數(shù)據(jù)，這類數(shù)據(jù)通常保存在數(shù)字檔案館局域網(wǎng)數(shù)字檔案管理平臺上，是數(shù)字檔案館系統(tǒng)其它網(wǎng)絡(luò)、子系統(tǒng)的副本數(shù)據(jù)來源和基準(zhǔn)。

多平臺同步相對其它類型信息系統(tǒng)的數(shù)據(jù)同步具有以下特點：一是分布式應(yīng)用，一體化管理。多平臺同步的完整流程分布在多個平臺，必須遵循統(tǒng)一的標(biāo)準(zhǔn)和規(guī)則對同步過程進(jìn)行全程管理，以確保同步過程中檔案數(shù)據(jù)的真實、完整、可用和安全。二是物理隔離。多平臺同步在物理隔離多個平臺間進(jìn)行，必須依托脫機載體、網(wǎng)閘等方式進(jìn)行間接數(shù)據(jù)交換，同步的效率、時效性和結(jié)果驗證受到隔離影響。三是海量數(shù)據(jù)。多平臺同步是海量累積數(shù)據(jù)的處理工作，給同步系統(tǒng)功能的承載能力、執(zhí)行效率和穩(wěn)定性帶來巨大的挑戰(zhàn)。四是單向同步。多平臺同步是以正式檔案數(shù)據(jù)為核心，向其它平臺輻射的單向同步。五是基于數(shù)據(jù)封裝包的同步。在基于OAIS模型的數(shù)字檔案館系統(tǒng)中，多平臺同步以數(shù)據(jù)封裝包為基本同步單位，這是維護(hù)數(shù)字檔案真實、完整和可用的有效方式。

多平臺同步應(yīng)遵循“有序可控，穩(wěn)定可靠，便捷高效，安全保密”的原則進(jìn)行。有序可控是指同步應(yīng)當(dāng)遵循確定的規(guī)則，按既定程序和流程進(jìn)行且全程處于控制中。應(yīng)制定明確的同步規(guī)則，界定同步的條件、流向和內(nèi)容，同步工作程序應(yīng)當(dāng)基于規(guī)則設(shè)計，同步的操作流程應(yīng)清晰、明確，可控制、可驗證，同步的過程和結(jié)果應(yīng)當(dāng)記錄并能驗證和審計；穩(wěn)定可靠是指同步功能在設(shè)計的承載范圍應(yīng)能持續(xù)穩(wěn)定工作，在長時間、大負(fù)荷的應(yīng)用狀態(tài)下同步操作應(yīng)能正常運行，同步的結(jié)果應(yīng)保持正確；便捷高效是指數(shù)據(jù)同步能夠在具體軟件硬件環(huán)境下達(dá)到最優(yōu)的效率，以適應(yīng)海量檔案數(shù)據(jù)不斷積累的需要；安全保密是指在實施數(shù)據(jù)同步的過程，必須確保數(shù)據(jù)不被損壞、信息不被泄露、不被非法復(fù)制留存。

二、數(shù)字檔案館多平臺數(shù)據(jù)同步的管理要求

數(shù)字檔案館多平臺部署環(huán)境下，由于管理、利用及安全等業(yè)務(wù)要求，必須進(jìn)行同步以維護(hù)多平臺檔案數(shù)據(jù)的一致性，同時同步過程必須遵行并符合有關(guān)法律規(guī)范的要求，以確保檔案數(shù)據(jù)的真實性、完整性和有效性。

（一）業(yè)務(wù)要求

在數(shù)字檔案館系統(tǒng)，對數(shù)字檔案的管理和利用是一個動態(tài)的過程，檔案數(shù)據(jù)的穩(wěn)定是相對的，而變化則是必然的，這些變化包括對數(shù)據(jù)的增加、刪除和對數(shù)據(jù)內(nèi)容的修改等。因此，必須通過同步將這些變化反映到數(shù)據(jù)的所有副本上，以維護(hù)分布存儲檔案數(shù)據(jù)的一致性，以確保檔案管理和利用的一致、有效和可用。同時，為了確保安全，必須采取措施來確保同步過程和同步數(shù)據(jù)的安全。

（二）法規(guī)要求

多平臺同步的架構(gòu)、流程和應(yīng)用應(yīng)當(dāng)符合《中華人民共和國電子簽名法》、《電子文件管理暫行辦法》、《電子文件歸檔與管理規(guī)范》(GB/T18894-2002)、《電子檔案移交與接收辦法》等相關(guān)法律、制度和規(guī)范對檔案數(shù)據(jù)真實性、完整性、有效性的規(guī)范和約束。

三、數(shù)字檔案館多平臺數(shù)據(jù)同步的技術(shù)要求

多平臺同步最終是依靠數(shù)字檔案館計算機系統(tǒng)數(shù)據(jù)同步技術(shù)處理過程來實現(xiàn)和完成的，其要求體現(xiàn)在功能、性能和安全三個方面。

（一）功能要求

1.支持集中式管控

集中式管控就是按照數(shù)字檔案館系統(tǒng)一體化管理的原則，設(shè)置專門的同步管理控制系統(tǒng)和同步數(shù)據(jù)庫，以存檔數(shù)據(jù)的管理平臺為中心，協(xié)調(diào)和控制分發(fā)數(shù)據(jù)生成以及目標(biāo)平臺的同步操作，并記錄和驗證同步操作的過程和結(jié)果。

2.支持自動或者手動同步

自動同步就是系統(tǒng)根據(jù)同步規(guī)則，自動選擇相應(yīng)的符合同步條件的檔案數(shù)據(jù)，按照數(shù)據(jù)模板生成同步數(shù)據(jù)，向目標(biāo)平臺實施同步。而手動操作就是由人工方式選定同步數(shù)據(jù)，確定同步流向和同步數(shù)據(jù)模板，啟動同步操作的方式。

3.支持離線或在線同步

離線同步是指在物理隔離的平臺之間，使用中間介質(zhì)，以半人工方式實現(xiàn)的數(shù)據(jù)同步。而在線同步是指在邏輯隔離或者建立了數(shù)據(jù)通道的平臺之間，通過數(shù)據(jù)鏈路直接進(jìn)行的數(shù)據(jù)同步。為了適應(yīng)不同的網(wǎng)絡(luò)隔離情況，多平臺同步應(yīng)當(dāng)同時支持離線和在線方式的同步。

4.支持多種封裝方式

支持選擇XML、文件夾等不同方式進(jìn)行數(shù)據(jù)封裝遷移。用戶能夠根據(jù)數(shù)據(jù)格式、存儲容量等特性，選擇不同方式進(jìn)行同步數(shù)據(jù)封裝。

5.支持多種脫機介質(zhì)和網(wǎng)閘設(shè)備

數(shù)據(jù)同步操作能夠使用光盤、硬盤、U盤等常見的脫機介質(zhì)和網(wǎng)閘設(shè)備，通過不同硬件接口以不同數(shù)據(jù)傳輸速度完成同步操作，同步過程中能對這些脫機介質(zhì)直接進(jìn)行讀寫操作，無需人工輔助進(jìn)行數(shù)據(jù)的拷貝復(fù)制。

（二）性能要求

同步操作的性能要求主要體現(xiàn)在同步速度、可控性、可靠性、穩(wěn)定性、安全性等方面。

同步速度，就是在給定系統(tǒng)軟件、硬件環(huán)境下，單位時間內(nèi)能夠完成同步操作的數(shù)據(jù)量。在多平臺環(huán)境下的數(shù)據(jù)同步操作需要經(jīng)過分發(fā)數(shù)據(jù)生成、寫入同步介質(zhì)、同步介質(zhì)運送、讀取同步介質(zhì)、數(shù)據(jù)更新、同步確認(rèn)等多個環(huán)節(jié)，同步速度受到同步數(shù)據(jù)的數(shù)量和單條數(shù)據(jù)的容量、分發(fā)數(shù)據(jù)的生成效率、同步介質(zhì)的I/O速度、同步介質(zhì)送達(dá)時間、數(shù)據(jù)更新速度、同步確認(rèn)效率等多重因素的影響。

可靠性是指數(shù)據(jù)同步功能在某個時間點能夠正常運行，運行的過程和結(jié)果達(dá)到預(yù)期目標(biāo)。可靠性主要體現(xiàn)同步結(jié)果正確率，一般要求平均運行正確率大于99%，對于單條數(shù)據(jù)而言必須達(dá)到100%。同時，對于出錯或者沒有完成的同步，能夠檢測并能自動重新同步，直至同步正確或者取消同步。

穩(wěn)定性是指數(shù)據(jù)同步功能在一定時間內(nèi)正常運行。由于數(shù)據(jù)同步是數(shù)字檔案館系統(tǒng)正常運行的基礎(chǔ)業(yè)務(wù)，因此穩(wěn)定性的要求應(yīng)與整個數(shù)字檔案館系統(tǒng)對穩(wěn)定性的要求一致。

可控性是指數(shù)據(jù)同步過程和結(jié)果可控制、可追溯、可審計。數(shù)據(jù)同步建立操作權(quán)限控制機制、操作過程和操作結(jié)果的記錄機制、以及記錄保存和審查機制。

安全性主要是指數(shù)據(jù)同步過程能確保數(shù)據(jù)的安全和完整。安全主要是指檔案數(shù)據(jù)在同步過程不被泄露、不被篡改。完整是指檔案數(shù)據(jù)在同步過程組成要素完整無缺失。

四、數(shù)字檔案館多平臺檔案數(shù)據(jù)同步管理的業(yè)務(wù)模型

綜合前述研究，數(shù)字檔案館多平臺檔案數(shù)據(jù)同步管理的基本業(yè)務(wù)模型（以下簡稱同步模型）如下：

圖2 數(shù)字檔案館多平臺檔案數(shù)據(jù)同步業(yè)務(wù)模型

同步模型主要由分布在來源平臺、目標(biāo)平臺的同步控制中心、同步管理數(shù)據(jù)庫、安全機制及同步流程構(gòu)成。其中包含了模板定制、變化捕捉、數(shù)據(jù)封裝、數(shù)據(jù)更新、校驗數(shù)據(jù)封裝、同步驗證六個功能模塊，存檔數(shù)據(jù)、副本數(shù)據(jù)兩類數(shù)據(jù)對象，同步數(shù)據(jù)包、驗證數(shù)據(jù)包兩種數(shù)據(jù)包。同步流程分為首次同步和變化同步兩個階段，包括變化捕捉、同步數(shù)據(jù)生成、數(shù)據(jù)分發(fā)、數(shù)據(jù)更新、確認(rèn)數(shù)據(jù)生成、同步驗證等步驟。

（一）來源平臺與目標(biāo)平臺

來源平臺是數(shù)字檔案館多個平臺中處于核心位置的平臺，具備完整管理功能的數(shù)字檔案管理平臺（系統(tǒng)），一般在數(shù)字檔案館的局域網(wǎng)上部署，與其它系統(tǒng)和網(wǎng)絡(luò)物理隔離。目標(biāo)平臺是指數(shù)字檔案館中承載部份業(yè)務(wù)功能的平臺，如部署在政務(wù)內(nèi)網(wǎng)、政務(wù)網(wǎng)外網(wǎng)、互聯(lián)網(wǎng)的利用平臺、本地及遠(yuǎn)程的備份平臺等。

（二）數(shù)據(jù)同步控制中心

數(shù)據(jù)同步控制中心實現(xiàn)數(shù)據(jù)同步的管理和控制，包含數(shù)據(jù)同步各環(huán)節(jié)操作功能模塊和菜單，集中顯示操作過程反饋的各類信息，是數(shù)據(jù)同步過程操作的入口和信息反饋的出口。同步控制中心分布式部署在來源平臺和目標(biāo)平臺。

1.模板定制模塊

提供用戶根據(jù)不同用途預(yù)先設(shè)定同步數(shù)據(jù)包內(nèi)容和結(jié)構(gòu)的功能。模板規(guī)定不同用途（流向）的同步數(shù)據(jù)包的內(nèi)容和結(jié)構(gòu)，為同步數(shù)據(jù)包的生成提供模板。同步數(shù)據(jù)包應(yīng)包含同步管理數(shù)據(jù)（包括檔案唯一性標(biāo)識、同步流向、數(shù)據(jù)變化標(biāo)記、檔案數(shù)據(jù)完整性校驗值等）、檔案數(shù)據(jù)（包括數(shù)字檔案原文數(shù)據(jù)、檔案元數(shù)據(jù)）。檔案元數(shù)據(jù)的選擇根據(jù)不同平臺數(shù)據(jù)應(yīng)用的需求確定。

2.變化捕捉模塊

提供對來源數(shù)據(jù)的增、刪、改等變化進(jìn)行檢測并記錄的功能。檢測的內(nèi)容包括了數(shù)據(jù)的增加和刪除，數(shù)據(jù)內(nèi)容（元數(shù)據(jù)、原文數(shù)據(jù)）的增加、刪除、修改。捕捉和記錄的粒度最大不能超過文件級。變化捕捉的實現(xiàn)方式應(yīng)綜合考慮粒度、數(shù)據(jù)特征、系統(tǒng)資源開銷因素等。

3.數(shù)據(jù)封裝模塊

提供同步數(shù)據(jù)選擇、設(shè)定模板和封裝功能。同步數(shù)據(jù)選擇分為兩種方式：一種是人工選擇需要同步數(shù)據(jù)，主要用于同步新形成的檔案數(shù)據(jù)；一種是自動根據(jù)設(shè)定的規(guī)則自動篩選需要同步的數(shù)據(jù)，主要用于同步后又發(fā)生變化的數(shù)據(jù)以及符合同步規(guī)則的數(shù)據(jù)。設(shè)定模板就是為已選出的數(shù)據(jù)指定同步數(shù)據(jù)包模板。封裝則是根據(jù)指定的模板生成同步數(shù)據(jù)包的過程。封裝生成的數(shù)據(jù)包在物理隔離環(huán)境下需要復(fù)制到脫機載體上進(jìn)行數(shù)據(jù)分發(fā)。

4.數(shù)據(jù)更新模塊

提供在目標(biāo)平臺上同步數(shù)據(jù)包提取和更新副本數(shù)據(jù)的功能。

5.校驗數(shù)據(jù)封裝模塊

提供生成校驗數(shù)據(jù)和封裝的功能，為來源平臺確定同步完成提供反饋。以更新的數(shù)據(jù)為基礎(chǔ)，生成校驗數(shù)據(jù)并封裝。

6.同步驗證模塊

提供同步結(jié)果的確認(rèn)功能。在來源平臺上通過比對校驗數(shù)據(jù)，以判斷同步是否正確完成。

（三）同步管理數(shù)據(jù)庫

用于記錄同步過程形成的各種元數(shù)據(jù)。同步管理數(shù)據(jù)庫以文件為單位記錄每一份檔案的唯一性標(biāo)識、已同步流向、同步完成標(biāo)記、數(shù)據(jù)變化標(biāo)記（增、刪、改）、檔案數(shù)據(jù)完整性校驗值等。

（四）安全機制

安全機制通過應(yīng)用權(quán)限控制、加密、防篡改、防拷貝、載體管理、日志審計等管理、技術(shù)的手段，確保同步操作的過程及數(shù)據(jù)安全。

（五）數(shù)據(jù)對象

1.存檔數(shù)據(jù)

存檔數(shù)據(jù)是存儲在數(shù)字檔案館來源平臺中長期保存的正式的檔案數(shù)據(jù)。它的內(nèi)容最完整，狀態(tài)最新。存檔數(shù)據(jù)是同步的對象。

2.副本數(shù)據(jù)

副本數(shù)據(jù)存儲在目標(biāo)平臺，是以存檔數(shù)據(jù)為藍(lán)本按照不同用途復(fù)制生成的存檔數(shù)據(jù)的副本。副本數(shù)據(jù)是存檔數(shù)據(jù)的子集，根據(jù)用途不同其內(nèi)容一般與存檔數(shù)據(jù)相同或者少于存檔數(shù)據(jù)。在完成同步更新之前，副本數(shù)據(jù)的更新狀態(tài)一般晚于存檔數(shù)據(jù)。副本數(shù)據(jù)體現(xiàn)同步的結(jié)果。

（六）數(shù)據(jù)包

1.同步數(shù)據(jù)包

同步數(shù)據(jù)包是以存檔數(shù)據(jù)為藍(lán)本根據(jù)同步模板生成的用于同步分發(fā)的數(shù)據(jù)包。一般包含了同步管理數(shù)據(jù)（包括檔案唯一性標(biāo)識、同步流向、數(shù)據(jù)變化標(biāo)記、檔案數(shù)據(jù)完整性校驗值等）、檔案數(shù)據(jù)（包括數(shù)字檔案原文數(shù)據(jù)、檔案元數(shù)據(jù)）。用于備份用途的同步數(shù)據(jù)包的內(nèi)容構(gòu)成和數(shù)據(jù)結(jié)構(gòu)與存檔數(shù)據(jù)一致。用于利用等其它用途的其內(nèi)容構(gòu)成和數(shù)據(jù)結(jié)構(gòu)與存檔數(shù)據(jù)可能會有所不同。

2.校驗數(shù)據(jù)包

校驗數(shù)據(jù)包用于確認(rèn)同步更新完成且結(jié)果正確的信息反饋數(shù)據(jù)包。校驗數(shù)據(jù)包在目標(biāo)平臺生成，包含了檔案唯一性標(biāo)識、同步流向、數(shù)據(jù)變化標(biāo)記、檔案數(shù)據(jù)完整性校驗值等數(shù)據(jù)。同步系統(tǒng)通過比較校驗數(shù)據(jù)包和同步管理數(shù)據(jù)庫的數(shù)據(jù)來確認(rèn)同步是否正確完成。

（七）同步過程

同步過程分為首次同步、變化同步兩個階段。首次同步是指檔案數(shù)據(jù)首次從來源平臺向目標(biāo)平臺的同步。而變化同步是指已經(jīng)進(jìn)行過同步的數(shù)據(jù)，由于自身發(fā)生變化而再次進(jìn)行的同步。

1.首次同步階段

（1）定制模板。根據(jù)同步數(shù)據(jù)用途，預(yù)先設(shè)定不同用途的同步數(shù)據(jù)包格式。

（2）選擇數(shù)據(jù)。通過兩種方式進(jìn)行數(shù)據(jù)選擇，一種手動選擇數(shù)據(jù)，通過點選、輸入范圍等方式選擇一條或多條數(shù)據(jù)。另外一種是通過設(shè)定規(guī)則自動方式篩選出需要同步的數(shù)據(jù)。數(shù)據(jù)選定后，確定其同步數(shù)據(jù)包的模板和同步流向。

（3）生成同步數(shù)據(jù)。根據(jù)不同的分發(fā)模板生成對應(yīng)的同步數(shù)據(jù)包，將同步數(shù)據(jù)數(shù)據(jù)包管理數(shù)據(jù)寫入同步管理數(shù)據(jù)庫，包括檔案標(biāo)識、同步流向、完整性校驗值等。

（4）分發(fā)同步數(shù)據(jù)。將同步數(shù)據(jù)包寫入脫機載體，移送目標(biāo)平臺。

（5）更新數(shù)據(jù)。在目標(biāo)平臺上，讀取同步數(shù)據(jù)包中的同步管理數(shù)據(jù)和檔案數(shù)據(jù)，并與本平臺同步管理數(shù)據(jù)進(jìn)行比對，完成檔案數(shù)據(jù)的增、刪、改操作，將本次數(shù)據(jù)更新情況記入本平臺同步管理數(shù)據(jù)庫。

（6）生成校驗數(shù)據(jù)。將本次數(shù)據(jù)更新情況封包形成校驗數(shù)據(jù)包（包括檔案唯一性標(biāo)識、同步流向、數(shù)據(jù)變化標(biāo)記、檔案數(shù)據(jù)完整性校驗值等）。

（7）返回同步數(shù)據(jù)。將同步數(shù)據(jù)包寫入脫機載體，返送回來源平臺。

（8）同步驗證。在來源平臺，讀取校驗數(shù)據(jù)并與同步管理數(shù)據(jù)比對，如果比對一致則，寫入同步成功標(biāo)識，結(jié)束本次同步。如果比對不成功，則寫入同步失敗標(biāo)識，重新啟動同步流程。

2.變化同步

(1)變化捕捉。對來源平臺檔案數(shù)據(jù)的增加以及已同步數(shù)據(jù)的刪、改等變化進(jìn)行檢測并形成數(shù)據(jù)更改記錄，存入同步管理數(shù)據(jù)庫。

(2)選擇數(shù)據(jù)。比對數(shù)據(jù)更改記錄和數(shù)據(jù)同步記錄，自動篩選出同步后又發(fā)生變化的數(shù)據(jù)，自動設(shè)定這些數(shù)據(jù)的同步數(shù)據(jù)包模板和同步流向。

(3)數(shù)據(jù)同步。后續(xù)過程與首次同步一致。

云南省檔案局