俞天秀 吳健 趙良 許麗鵬

內(nèi)容摘要：本文針對敦煌石窟數(shù)字化海量數(shù)據(jù)在實際工作數(shù)據(jù)傳輸過程中出現(xiàn)的問題，認(rèn)為海量數(shù)據(jù)無差錯傳輸技術(shù)，在敦煌石窟數(shù)字化過程中是非常重要的一項技術(shù)。敦煌石窟海量數(shù)據(jù)無差錯傳輸系統(tǒng)的設(shè)計與開發(fā)，為了開發(fā)出實用性強的軟件，首先針對敦煌石窟壁畫數(shù)字化工作流程、分析攝影采集、圖像處理和數(shù)據(jù)存儲各階段的特點，提出了敦煌石窟海量數(shù)據(jù)無差錯傳輸系統(tǒng)的需求;其次，設(shè)計了敦煌石窟海量數(shù)據(jù)傳輸校驗方案，針對敦煌石窟壁畫數(shù)字化工作流程提出了層級式校驗，依據(jù)該校驗思想，設(shè)計了數(shù)據(jù)校驗的整體框架并做了優(yōu)化，最后設(shè)計出數(shù)據(jù)傳輸校驗的詳細(xì)模型，確保了數(shù)據(jù)傳輸?shù)耐暾?最后，基于上述方案，設(shè)計并實現(xiàn)了敦煌石窟海量數(shù)據(jù)無差錯傳輸系統(tǒng)，利用VisualStudio2010開發(fā)平臺、C++程序開發(fā)語言完成系統(tǒng)的開發(fā)。此系統(tǒng)已在敦煌壁畫數(shù)字化工作中實際應(yīng)用，效果良好。

關(guān)鍵詞：海量數(shù)據(jù);數(shù)據(jù)傳輸;數(shù)據(jù)校驗

中圖分類號：TP311.135.9;G256.1 ?文獻(xiàn)標(biāo)識碼：A ?文章編號：1000-4106（2015）03-0109-07

Design and Development of the Error-free Transmission System for the Mass Data of the Dunhuang Caves

YU Tianxiu1，2，3，4，5 WU Jian1，2，3，4，5 ZHAO Liang1，2，3，4，5 XU Lipeng1，2，3，4

（1. Digitalization Center， Dunhuang Academy， Dunhuang， Gansu 736200;

2. National Research Center for Conservation of Ancient Wall Paintings and Earthen Sites，

Dunhuang， Gansu 736200;

3. Key Scientific Research Base for Conservation of Ancient Wall Paintings of SACH，

Dunhuang， Gansu 736200;

4. Key Laboratory for Conservation of Ancient Wall Paintings and Earthen Sites， Dunhuang， Gansu 736200;

5. Zhejiang University， Hangzhou， Zhejiang 310013）

Abstract： Error-free transmission technology used for the digital data of the Dunhuang caves is very important for resolving data transmission problems during actual work. The main work of this project is the design and development of an error-free transmission system for the mass data collected at the Dunhuang caves. Firstly， in order to develop practical software， we analyzed the characteristics of each stage， including photography gathering， image processing， and data storage， and then posited the requirement for an error-free transmission system for the mass data of Dunhuang caves. Secondly， we have designed a mass data transmission check scheme for this system. Based on the Dunhuang caves mural digital workflow， we recommended a process of hierarchical verification validation， designed and optimized the overall framework of data checking， then designed an exact model for data transmission validation， ensuring the integrity of data transmission. Finally， according to the above-mentioned scheme， we designed a working， error-free transmission system for the Dunhuang cave data. This system， developed with Visual Studios 2010 development platform and C++ programming language， has already been applied in digital work on Dunhuang murals with good results.

Keywords： mass data; data transmission; data validation

1 引 言

敦煌石窟壁畫數(shù)字化的探索與研究已經(jīng)歷了20年，并取得了豐碩的成果。早期與美國梅隆基金會、美國西北大學(xué)合作完成75dpi近20多個洞窟的壁畫數(shù)字化，隨著技術(shù)的不斷進(jìn)步、數(shù)字化成果應(yīng)用需求的增加，目前數(shù)字化分辨率為300dpi，已完成近90多個洞窟的攝影采集，另外，還有部分塑像的三維重建、莫高窟崖體的三維重建等數(shù)字化工作。敦煌壁畫數(shù)字化的高精度圖像已應(yīng)用在敦煌石窟的保護(hù)、研究和弘揚工作中，為壁畫病害調(diào)查、修復(fù)和保存狀況提供依據(jù)，為美術(shù)臨摹工作的線描稿起稿提供技術(shù)支持[1]。

按照目前壁畫數(shù)字化采集分辨率為300dpi，將莫高窟45000多平方米壁畫全部數(shù)字化將產(chǎn)生約200多萬張原始圖像，按照每張原始圖像文件量約為25MB計算，原始圖像數(shù)據(jù)量將超過50TB。將200多萬張原始圖像，經(jīng)過專業(yè)圖像軟件處理獲得整幅全景圖像，存儲處理過程和最終完成的文件數(shù)據(jù)量將超過300TB，莫高窟壁畫數(shù)字化產(chǎn)生的總數(shù)據(jù)量將超過350TB。

敦煌石窟數(shù)字化的過程涉及攝影采集、圖像處理、數(shù)據(jù)存儲和交換等環(huán)節(jié)，如何確保數(shù)據(jù)在這些環(huán)節(jié)之間傳輸過程的正確性和完整性是一個至關(guān)重要的問題。在磁盤整陣列中保存的數(shù)據(jù)，幾年甚至更久的時間可能都不會使用，如何確保數(shù)據(jù)不因設(shè)備和環(huán)境的變化而遭損壞，是另一個重要的問題。

本文將針對敦煌石窟數(shù)字化的流程，設(shè)計一款軟件，能夠?qū)ξ募惓５臄?shù)據(jù)自動預(yù)警提示，發(fā)現(xiàn)在傳輸過程中出現(xiàn)損壞的文件重新自動傳輸，直至通過數(shù)據(jù)驗證，避免數(shù)據(jù)傳輸發(fā)生錯誤，確保壁畫數(shù)字化資料保存完整性，提高敦煌石窟壁畫數(shù)字化工作效率。

研發(fā)成功的數(shù)據(jù)驗證軟件，不僅在敦煌石窟壁畫數(shù)字化方面應(yīng)用，還可推廣到敦煌研究院其他數(shù)字化領(lǐng)域，甚至為其他文物保護(hù)單位數(shù)字化領(lǐng)域的數(shù)據(jù)完整驗證提供技術(shù)保障，為未來研發(fā)大型文物數(shù)據(jù)管理平臺提供數(shù)據(jù)傳輸安全技術(shù)支持。

2 敦煌石窟數(shù)字化數(shù)據(jù)傳輸

方式與存在的問題

2.1 數(shù)據(jù)傳輸方式

壁畫數(shù)字化攝影采集的原始圖像，首先從洞窟現(xiàn)場檢查計算機中拷貝至移動硬盤，在辦公室利用千兆局域網(wǎng)從移動硬盤拷貝數(shù)據(jù)至存儲服務(wù)器，這樣原始數(shù)據(jù)已經(jīng)發(fā)生了兩次數(shù)據(jù)傳輸。

利用千兆局域網(wǎng)絡(luò)將移動硬盤中的原始圖像數(shù)據(jù)上傳至服務(wù)器，圖像處理人員從服務(wù)器下載原始圖像數(shù)據(jù)，圖像拼接完成后需要經(jīng)過反復(fù)檢查、修改，圖像定位、糾正，形成最終版本，這個過程會產(chǎn)生多次數(shù)據(jù)傳輸，如圖1所示。

敦煌壁畫數(shù)字化的過程比較復(fù)雜，采用多種傳輸介質(zhì)，不同的傳輸介質(zhì)受到自身以及環(huán)境因素的影像，例如：移動硬盤接口不穩(wěn)定、網(wǎng)絡(luò)丟包等現(xiàn)象，而發(fā)生這些現(xiàn)象沒有給使用者任何提示的消息，所以，將導(dǎo)致在數(shù)據(jù)傳輸過程中發(fā)生錯誤，無規(guī)律可循。

2.2 兩種傳輸方式產(chǎn)生的錯誤

a） 圖像畫面出現(xiàn)彩色線條

目前使用EOS-1DsMarkIII相機進(jìn)行攝影采集原始圖像數(shù)據(jù)，生成RAW格式文件，原始圖像文件在兩種數(shù)據(jù)傳輸方式下，都出現(xiàn)了圖像信息損壞，例如：畫面出現(xiàn)各種彩色線條，如圖2所示。有的整幅畫面都損壞，有的是局部損壞，損壞無規(guī)律可循。

拼接完成的整幅全景圖像，經(jīng)過數(shù)據(jù)傳輸也出現(xiàn)圖像信息損壞，例如：畫面出現(xiàn)彩色線條，這種線條需要將圖像放大到100%才可以看出來，如圖3所示。

b） 圖像文件量大小嚴(yán)重異常

使用EOS-1DsMarkIII相機，攝影采集分辨率在300dpi時，單幅原始圖像的文件量大小一般為25MB左右，發(fā)生數(shù)據(jù)傳輸后，文件量大小有0KB、2.3MB、11MB等，這些文件已經(jīng)嚴(yán)重?fù)p壞，無法打開。

c） 圖像文件量大小變化不大，文件內(nèi)容損壞

原始數(shù)據(jù)發(fā)生數(shù)據(jù)傳輸后，文件量大小在25MB左右，但是圖像內(nèi)容損壞，無法打開。

敦煌石窟壁畫數(shù)字化的實際工作中，已出現(xiàn)很多以上列舉的數(shù)據(jù)損壞現(xiàn)象，為了確保敦煌石窟數(shù)字化的數(shù)據(jù)能夠永久、完整地保存，在無法改變硬件環(huán)境的前提下，應(yīng)該利用軟件作為輔助工具，解決數(shù)據(jù)傳輸不完整的問題。

3 敦煌石窟海量數(shù)據(jù)傳輸校驗方案設(shè)計

3.1 層級式校驗?zāi)Ｐ?/p>

敦煌石窟壁畫數(shù)字化分為攝影采集、圖像處理和數(shù)據(jù)存儲三大部分，每部分都涉及到數(shù)據(jù)傳輸?shù)膯栴}，而每部分?jǐn)?shù)據(jù)傳輸都具有自己的特點。攝影采集在洞窟第一現(xiàn)場工作，逐行逐格采集，每采集完一行需要圖像處理人員將CF卡中的圖像拷貝至電腦，然后現(xiàn)場核查圖像質(zhì)量是否符合標(biāo)準(zhǔn)規(guī)范，要求攝影采集現(xiàn)場數(shù)據(jù)拷貝需要及時性且效率高。圖像處理在辦公室從服務(wù)器下載數(shù)據(jù)處理，數(shù)據(jù)傳輸?shù)募皶r性沒有攝影采集的高，數(shù)據(jù)存儲中數(shù)據(jù)備份的及時性就更低了。

針對敦煌石窟壁畫數(shù)字化流程，數(shù)字化不同階段數(shù)據(jù)傳輸?shù)牟煌匦?，本文提出了針對敦煌石窟?shù)字化數(shù)據(jù)傳輸?shù)膶蛹壥綌?shù)據(jù)校驗思想，如圖4所示。

層級式數(shù)據(jù)校驗的最大特性是可以提高數(shù)據(jù)校驗的效率，三級數(shù)據(jù)校驗分別代表如下意義：

一級校驗：針對攝影采集過程中出現(xiàn)單個圖像文件量達(dá)不到20M以上的情況，設(shè)定文件損壞閾值，低于文件損壞閾值的不拷貝給與警示，告知攝影師重新補拍。此級數(shù)據(jù)校驗針對單個文件，數(shù)據(jù)判斷耗時少。

二級校驗：是文件夾對比功能。敦煌石窟單個壁面需要采集十幾甚至幾十行，多個工作日完成，拷貝數(shù)據(jù)時用不同的顏色提示哪些是增量、哪些是相同的內(nèi)容。此級數(shù)據(jù)校驗針對多個文件，數(shù)據(jù)判斷效率比一級數(shù)據(jù)校驗耗時多。

三級校驗：此級數(shù)據(jù)校驗是最嚴(yán)謹(jǐn)?shù)?，利用消息摘要驗證數(shù)據(jù)傳輸過程中數(shù)據(jù)的完整性。此級數(shù)據(jù)校驗收到數(shù)據(jù)傳輸速率、數(shù)據(jù)驗證的影響，比二級數(shù)據(jù)校驗耗時更多一些，但是數(shù)據(jù)驗證的準(zhǔn)率最高。

層級式數(shù)據(jù)校驗尤其對攝影采集要求數(shù)據(jù)傳輸及時性高的特性非常適用，在圖像處理過程數(shù)據(jù)傳輸過程中一級數(shù)據(jù)校驗的功能基本不發(fā)揮作用，因為數(shù)據(jù)損壞閾值的判斷在攝影采集過程中就已完成，從服務(wù)器下載的數(shù)據(jù)肯定不會出現(xiàn)低于閾值的圖像文件。

3.2 數(shù)據(jù)傳輸模型設(shè)計

根據(jù)層級式數(shù)據(jù)校驗思想，數(shù)據(jù)傳輸模型設(shè)計如圖5所示。這個數(shù)據(jù)傳輸模型充分結(jié)合敦煌石窟數(shù)字化工作流程，從源數(shù)據(jù)加載后，首先執(zhí)行第一級數(shù)據(jù)校驗，文件閾值損壞判斷，將不合格的文件給與提示，由洞窟現(xiàn)場數(shù)據(jù)核查人員告知攝影師，讓重新補拍，獲取正確的圖像文件。

第二級數(shù)據(jù)校驗進(jìn)行文件夾對比，用不同的顏色提示增加量、相同和損壞，選擇增量的文件進(jìn)行傳輸，在傳輸之前首先判斷，被傳輸?shù)膶ο笫欠翊嬖谙鄬?yīng)的信息摘要。如果存在提示是否覆蓋，如果不存在自動生成相應(yīng)的信息摘要。為了避免在同一文件夾中，不同類型的文件具有相同的文件名生成的信息摘要因命名發(fā)生沖突，信息摘要的命名以文件名加文件擴(kuò)張名的方式。

第三級數(shù)據(jù)校驗選擇數(shù)據(jù)傳輸方式及本地傳輸和FTP傳輸兩種，由于不同傳輸介質(zhì)，傳輸速率不同，所以文件分塊閾值也不相同，需要在傳輸之前自行設(shè)定。對文件進(jìn)行分塊后[2-4]，每一塊也生成相應(yīng)的信息摘要[5]，依次傳輸每塊數(shù)據(jù)流，傳輸后對塊的信息摘要進(jìn)行驗證，如果錯誤，就重新傳輸此塊數(shù)據(jù)。將所有塊都傳輸完成后，利用Merkle樹[6-7]進(jìn)行驗證根的信息摘要，如果中間某一塊出現(xiàn)錯誤，立即定位出錯的塊，重新傳輸，直至數(shù)據(jù)完全正確后存儲。

4 系統(tǒng)設(shè)計與開發(fā)

4.1 系統(tǒng)總體設(shè)計

結(jié)合敦煌壁畫數(shù)字化實際工作需求與敦煌石窟海量數(shù)據(jù)的特性，集成本章之前所涉及的技術(shù)，解決敦煌壁畫數(shù)字化輸出傳輸產(chǎn)生的錯誤，保障數(shù)據(jù)的完整性和有效性，本文設(shè)計的敦煌石窟海量數(shù)據(jù)無差錯傳輸系統(tǒng)功能如圖6所示。

（1） 數(shù)據(jù)加載：加載并顯示需要傳輸?shù)臄?shù)據(jù)對象，計算每個文件對象的文件量大小，為閾值判斷提供文件量大小的信息;

（2） 預(yù)處理：判斷數(shù)據(jù)傳輸對象是否需要分塊傳輸，如果需要分塊傳輸，就要進(jìn)行數(shù)據(jù)分塊預(yù)處理、讀取文件擴(kuò)展名、生成信息摘要、閾值判斷;

（3） 數(shù)據(jù)傳輸：數(shù)據(jù)校驗失敗的數(shù)據(jù)重新傳輸;

（4） 數(shù)據(jù)校驗：單一未分塊數(shù)據(jù)直接校驗，分塊傳輸以MerkleTree數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)校驗，多指紋模式對信息摘要的校驗;

（5） 數(shù)據(jù)校驗合格后的數(shù)據(jù)在目的地磁盤中存儲。

4.2 系統(tǒng)功能設(shè)計

依據(jù)圖7所示，系統(tǒng)各個功能如下：

（1） 數(shù)據(jù)對象加載并顯示功能：數(shù)據(jù)加載數(shù)據(jù)的選取有兩種方式：第一種，通過文件路徑選取相應(yīng)的文件夾或者文件加載相應(yīng)的信息;第二種，支持文件夾拖拽，計算文件的文件量大小。

（2） 無效文件閾值判斷功能：為了解決壁畫數(shù)字化攝影采集中，由于閃光燈和快門未同步，造成采集到的圖像為純黑色，沒有任何信息。這類圖像在圖像處理時沒有任何意義，所以，數(shù)據(jù)拷貝過程中可直接過濾此類圖像，達(dá)到提高拷貝數(shù)據(jù)的有效性和工作效率?？紤]到軟件今后應(yīng)用在敦煌石窟數(shù)字化的不同領(lǐng)域，閾值的大小可根據(jù)實際工作任意設(shè)定，0代表不做閾值判斷，小于閾值的數(shù)據(jù)在傳輸時有提示功能，用戶根據(jù)實際情況選擇是否傳輸，類似事件可采用相同動作功能;此功能排除對信息摘要的判斷。

（3） 文件分塊功能：為了提高數(shù)據(jù)傳輸完整性的效率，對大文件進(jìn)行分塊傳輸校驗，設(shè)置文件分塊閾值和分塊大小設(shè)置功能，用戶可根據(jù)實際傳輸情況設(shè)定相應(yīng)的值。

（4） 生成信息摘要功能：每一個被傳輸?shù)臄?shù)據(jù)對象，采用哈希算法SHA-1生成相應(yīng)的信息摘要;信息摘要的命名如果與文件名相同，會出現(xiàn)同一級目錄下相同文件名的不同文件類型，產(chǎn)生相同命名的信息摘要的沖突，例如兩幅圖像分別為“壁畫.tiff”和“壁畫.psd”。為了解決這一沖突，信息摘要的命名規(guī)則為文件名和文件擴(kuò)張名的組合，例如“壁畫.tiff.sha1”和“壁畫.psd.sha1”。

（5） 信息摘要的冗余功能：為了將提高數(shù)據(jù)校驗的準(zhǔn)確性，對針對數(shù)據(jù)生成的信息摘要，再生成信息摘要的信息摘要。

（6） 多路徑并行傳輸功能：首先判斷被傳輸?shù)膶ο笫欠翊嬖赟HA-1值，如果不存在，提示生成SHA-1值，再進(jìn)行數(shù)據(jù)傳輸，避免用戶數(shù)據(jù)傳輸后再生成SHA-1值，達(dá)不到數(shù)據(jù)校驗的目的。傳輸數(shù)據(jù)時，SHA-1值自動和數(shù)據(jù)同時傳輸。

（7） 數(shù)據(jù)校驗功能：未分塊數(shù)據(jù)直接進(jìn)行校驗;對分塊數(shù)據(jù)采用MerkleTree數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)校驗;對信息摘要進(jìn)行冗余校驗。

（8） 數(shù)據(jù)重傳功能：如果數(shù)據(jù)校驗失敗，針對相應(yīng)的數(shù)據(jù)進(jìn)行重傳直至數(shù)據(jù)校驗成功。

（9） 數(shù)據(jù)存儲功能：對校驗成功的數(shù)據(jù)保存。

（10） 文件及文件夾對比功能：對比源數(shù)據(jù)和目的數(shù)據(jù)文件數(shù)量，不同顏色顯示對比結(jié)果。

（11） 文件夾重命名功能：敦煌石窟壁畫數(shù)字化以石窟每一個壁面為存儲對象。例如：“東壁”為父文件夾，其子文件夾以每行拍攝的順序為命名：row001代表第一行拍攝，row002代表第二行拍攝，依此類推。為了用戶操作方便，首先對CF卡加載的文件夾修改文件名為row001、row002等，非常方便地將數(shù)據(jù)拷貝至電腦硬盤目的文件夾。

（12） 界面清除功能：為下一次拷貝數(shù)據(jù)提供全新的界面。

4.3 系統(tǒng)實現(xiàn)

本軟件的開發(fā)應(yīng)用環(huán)境采用微軟公司推出的 Visual Studio2010[8]，程序設(shè)計語言采用visualC++。

（1）文件列表界面

數(shù)據(jù)傳輸首先需要選擇要拷貝的數(shù)據(jù)對象。數(shù)據(jù)對象可選擇文件夾也可以直接選擇文件，通過“選擇目錄”按鈕，瀏覽文件目錄，彈出“瀏覽文件夾”對話框，選擇需要操作的文件夾或文件，如圖8所示。

（2） 拷貝功能

拷貝功能是本軟件的核心部分，根據(jù)敦煌壁畫數(shù)字化工作流程和數(shù)字化的數(shù)據(jù)數(shù)量多、單個文件量大的特點，拷貝對象既可以是文件夾，也可以是單個文件。為了確保數(shù)據(jù)校驗的有效性，數(shù)據(jù)拷貝之前必須對單個文件實體生成相應(yīng)的SHA-1值，否則無法拷貝數(shù)據(jù)?？紤]到同一文件夾中文件名相同而文件格式不同的現(xiàn)象存在，例如利用佳能1DsMarkIII拍攝圖像時，同一目錄下除了RAW格式的文件存在外，還存在低精度的jpeg格式的文件，在生成單個文件實體的SHA-1值時，文件命名加入了文件類型，例如MG172Z1O1250.CR2格式的文件對應(yīng)的SHA-1值是MG172Z1O1250.CR2.sha1和MG172Z1O1250.jpg格式的文件對應(yīng)的SHA-1值是MG172Z1O1250.jpg.sha1。

另外，依據(jù)敦煌壁畫數(shù)字化單個文件量基本會大于4GB，一般的文件讀取方式無法實現(xiàn)，需要用到文件映射技術(shù)實現(xiàn)對大文件的讀寫操作。首先創(chuàng)建srcfile文件句柄和文件映射句柄，獲取文件大小，將srcfile對應(yīng)的srcfile.sha1文件傳送到目標(biāo)目錄，創(chuàng)建dstfile文件句柄和文件映射句柄，關(guān)閉srcfile和dstfile的文件句柄。然后獲取內(nèi)存分配粒度（也就是內(nèi)存一次能分配的最小字節(jié)數(shù)，一般為64K），每次處理一個塊大小的數(shù)據(jù)。如果塊大小設(shè)置為0，強制將塊大小設(shè)置為最小粒度，循環(huán)處理每一個塊，使用文件映射的方式讀取文件內(nèi)容。使用HashData函數(shù)計算源文件塊數(shù)據(jù)對應(yīng)的SHA-1值srcHashCode，使用memcpy函數(shù)將源文件的一塊數(shù)據(jù)拷貝到目的文件中去，計算剛剛拷貝完成的目的塊數(shù)據(jù)對應(yīng)的sha1值dstHashCode。比較srcHashCode和dstHashCode是否一致。如果不一致，這塊數(shù)據(jù)需要重新傳輸;如果一致，說明本塊數(shù)據(jù)傳輸正確，使用hasher累積本塊的hash值，亦即構(gòu)造Merkle樹。取消源、目的文件映射，更新進(jìn)度條，整個文件傳輸完畢之后計算的sha1值（亦即Merkle樹的樹根）和源文件的sha1作比較，如果不相等，那么整個文件就要重新傳輸。

（3） 設(shè)置閾值

點擊設(shè)置閾值，彈出閾值設(shè)置對話框，如圖9所示。

破損文件閾值：當(dāng)某個文件大小低于此值時，文件名會顯示紅色;在文件拷貝過程中會被提示“此文件已損壞，是否繼續(xù)拷貝”。

文件分塊閾值：在文件拷貝過程中，如果某個文件大小低于此值，采取整個文件不分塊直接拷貝的策略。

分塊大?。喝绻截愇募恐蹈哂凇拔募謮K閾值”設(shè)定值，那么在拷貝過程中，每次拷貝的數(shù)據(jù)量為“分塊大小”設(shè)定值。

通過文本輸入框設(shè)置“破損文件閾值”、“文件分塊閾值”、“分塊大小”相關(guān)參數(shù)，點擊“確定”之后，新的參數(shù)將會寫入“配置閾值.txt”文件，也可以手動修改此文本文件。最后調(diào)用OnRefresh（）更新文件列表，主要是“破損文件閾值”會影響到文件列表的顏色。

4.4 系統(tǒng)實際應(yīng)用

依據(jù)數(shù)據(jù)傳輸?shù)哪Ｐ汀④浖到y(tǒng)功能，首先模擬一組數(shù)據(jù)進(jìn)行系統(tǒng)功能測試，選擇文件大小只有2.3MB的圖像數(shù)據(jù)，破損文件閾值設(shè)置20MB，拷貝時出現(xiàn)如圖10所示。

經(jīng)過多組數(shù)據(jù)模擬測試，敦煌石窟海量數(shù)據(jù)無差錯傳輸軟件順利通過。2013年下半年開始，由敦煌研究院數(shù)字中心工作人員分6組，在洞窟數(shù)字化現(xiàn)場利用工作數(shù)據(jù)實地應(yīng)用，目前軟件運行效果較好。

5 展 望

隨著國家文化事業(yè)大發(fā)展、大繁榮的推進(jìn)和文物數(shù)字化行業(yè)標(biāo)準(zhǔn)的制定以及互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)和物聯(lián)網(wǎng)等技術(shù)的不斷發(fā)展，在文物數(shù)字化行業(yè)中也將會產(chǎn)生海量的數(shù)據(jù)。文物數(shù)字化成果應(yīng)用領(lǐng)域的增加，必然增加數(shù)據(jù)的交換與共享，數(shù)據(jù)在傳輸過程中數(shù)據(jù)的完整性需要得到可靠的保障。

本文開發(fā)的數(shù)據(jù)校驗軟件，只是結(jié)合敦煌壁畫數(shù)字化工作流程的特性，有其獨特性和廣泛性，目前可以推廣至敦煌石窟數(shù)字化的各個領(lǐng)域，確保數(shù)據(jù)在產(chǎn)生、傳輸和存儲過程中的數(shù)據(jù)完整性。當(dāng)然隨著應(yīng)用領(lǐng)域的擴(kuò)大，軟件根據(jù)各領(lǐng)域的需求進(jìn)行改進(jìn)和完善。

下一步研究工作：

（1） 文物數(shù)字化面臨的一大難題是數(shù)字版權(quán)的控制，數(shù)據(jù)傳輸和下載的過程中除了驗證數(shù)據(jù)的完整性外，還需要考慮加入身份驗證，增加數(shù)據(jù)傳輸?shù)陌踩?，控制文物?shù)字化數(shù)據(jù)的任意流失。

（2） 將研究存儲在計算機中的數(shù)據(jù)定期進(jìn)行數(shù)據(jù)校驗，主要考慮服務(wù)器的配置、穩(wěn)定性及I＼O能力。工作人員同時上傳數(shù)據(jù)，服務(wù)器的壓力過大，數(shù)據(jù)量越大、數(shù)據(jù)丟包的概率就會增加，所以，更加要求數(shù)據(jù)傳輸過程中數(shù)據(jù)的完整性校驗。

（3） 未來隨著文物數(shù)字化數(shù)據(jù)急劇增加，文物數(shù)字化數(shù)據(jù)就需要考慮云存儲模式，在云存儲中對數(shù)據(jù)完整性校驗的要求更高，這將是今后研究的重點之一。

參考文獻(xiàn)：

[1]樊錦詩.敦煌石窟保護(hù)與展示工作中的數(shù)字技術(shù)應(yīng)用[J].敦煌研究，2009（6）：1-3.

[2]謝華成，張昆朋，范黎林，et al.基于文件分割的二進(jìn)制大對象存取算法[J].計算機應(yīng)用，2011（10）：2612-

2616.

[3]陳衛(wèi)衛(wèi)，吳海佳，胥光輝.分布式存儲中文件分割的最優(yōu)化模型[J].解放軍理工大學(xué)學(xué)報（自然科學(xué)版），

2010（4）：413-416.

[4]朱春花，張子彪，路新春.BLOB數(shù)據(jù)類型存取方法的研究及應(yīng)用[J].計算機應(yīng)用與軟件，2002（10）：52-5.

[5]李志敏.哈希函數(shù)設(shè)計與分析[D].北京：北京郵電大學(xué)，2009.

[6]MERKLE RALPH.Secrecy，Authentication and Public Key Systems[D].Stanford University，1979.

[7]劉芳.Merkle可信樹遍歷算法及在數(shù)字簽名上的應(yīng)用研究[D].北京：北京工業(yè)大學(xué)，2009.

[8]高陽.Visual Studio 2010架構(gòu)建模新特性[J].程序員，2010（4）：65-67.