魏曉萍

〔摘 要〕本文就數(shù)字圖書(shū)館網(wǎng)格存儲(chǔ)模型體系結(jié)構(gòu)、模型總體設(shè)計(jì)和網(wǎng)格存儲(chǔ)關(guān)鍵技術(shù)進(jìn)行分析。

〔關(guān)鍵詞〕網(wǎng)格存儲(chǔ)模型;數(shù)字圖書(shū)館;海量存儲(chǔ);動(dòng)態(tài)存儲(chǔ);異構(gòu)存儲(chǔ)

〔中圖分類(lèi)號(hào)〕G250.76 〔文獻(xiàn)標(biāo)識(shí)碼〕A 〔文章編號(hào)〕1008-0821(2009)11-0085-02

Key Techniques on Resources Storage of the Digital Library Based on GridWei Xiaoping

(Library,Hunan University of Arts and Science,Changde 415000,China)

〔Abstract〕Digital library is constructed on the basis of the enormous quantity of digital information resources which can be read and used,and quality service from digital libraty is based on quality digital resource.This paper presented the key techniques on resources storage of the digital library based on grid,such as model system structure,digital library model of Grid storage architecture.

〔Keywords〕grid storage;digital library;mass storage;dynamic storage;heterogeneous storage

1 模型體系結(jié)構(gòu)

數(shù)字圖書(shū)館網(wǎng)格存儲(chǔ)系統(tǒng)是在現(xiàn)有的數(shù)字圖書(shū)館存儲(chǔ)系統(tǒng)基礎(chǔ)之上構(gòu)建一個(gè)整合存儲(chǔ)資源,為用戶屏蔽底層異構(gòu)存儲(chǔ)資源細(xì)節(jié),具有統(tǒng)一邏輯視圖的高性能虛擬的存儲(chǔ)系統(tǒng)。因此該系統(tǒng)必須能向下兼容,不能破壞現(xiàn)有數(shù)字圖書(shū)館存儲(chǔ)系統(tǒng)。基于此原則,本文在網(wǎng)格五層沙漏結(jié)構(gòu)和開(kāi)放網(wǎng)格服務(wù)體系結(jié)構(gòu)的基礎(chǔ)上構(gòu)建了數(shù)字圖書(shū)館網(wǎng)格存儲(chǔ)模型體系結(jié)構(gòu)。

該模型體系結(jié)構(gòu)自底向上分為4層:第一層是基本構(gòu)造層,該層為網(wǎng)格存儲(chǔ)服務(wù)提供基本的網(wǎng)絡(luò)環(huán)境、物理存儲(chǔ)資源和邏輯存儲(chǔ)資源,包括存儲(chǔ)設(shè)備(磁盤(pán)陣列、光盤(pán)庫(kù)和磁帶庫(kù))、存儲(chǔ)系統(tǒng)(DAS,NAS,SAN,IP存儲(chǔ)和集群存儲(chǔ))、數(shù)據(jù)邏輯存儲(chǔ)系統(tǒng)(文件系統(tǒng)、數(shù)據(jù)庫(kù)、檔案庫(kù)和元數(shù)據(jù)集)等。

第二層是連接層,該層主要是為下層的物理存儲(chǔ)資源和邏輯存儲(chǔ)資源提供安全的數(shù)據(jù)通信能力。

第三層是網(wǎng)格存儲(chǔ)服務(wù)層,它是網(wǎng)格體系結(jié)構(gòu)的核心。該層通過(guò)全局命名服務(wù)和存儲(chǔ)資源代理將最上層的用戶存儲(chǔ)請(qǐng)求映射為異構(gòu)分布存儲(chǔ)環(huán)境中的底層存儲(chǔ)操作,并能夠提供有效存儲(chǔ)監(jiān)控、調(diào)度、存儲(chǔ)作業(yè)管理、副本管理和存儲(chǔ)遷移管理。

第四層是用戶層,為用戶提供了數(shù)字圖書(shū)館的各類(lèi)存儲(chǔ)應(yīng)用界面,包括數(shù)字圖書(shū)館資源采集、組織、管理所需的存儲(chǔ);資源的發(fā)布與服務(wù)所需的存儲(chǔ)以及本地和異地容載備份所需的存儲(chǔ)。用戶在該層可以通過(guò)存儲(chǔ)入口,經(jīng)網(wǎng)格存儲(chǔ)授權(quán)認(rèn)證,向下層發(fā)出存取請(qǐng)求。

2 模型總體設(shè)計(jì)

從整體規(guī)劃來(lái)看,系統(tǒng)主要包括網(wǎng)格存儲(chǔ)服務(wù)點(diǎn)GSSP(Grid Storage Service Point)、認(rèn)證中心CA(Certificate Authority)、全局命名服務(wù)器GNS(Global Name Server)、資源管理器RM(Resource Manager)、存儲(chǔ)代理SA(Storage Agent)、客戶端[4]。整個(gè)設(shè)計(jì)中主要分為以下6個(gè)部分:(1)網(wǎng)格存儲(chǔ)服務(wù)點(diǎn)GSSP是整個(gè)系統(tǒng)的入口,對(duì)系統(tǒng)所有模塊的訪問(wèn)都通過(guò)GSSP,它主要提供CA接口、GNS接口、RM接口和SA接口;系統(tǒng)中SSP的個(gè)數(shù)可以根據(jù)需要?jiǎng)討B(tài)增加。(2)認(rèn)證中心CA包含證書(shū)管理系統(tǒng),主要負(fù)責(zé)系統(tǒng)的安全性和數(shù)據(jù)的訪問(wèn)控制,同時(shí)它記錄了用戶的注冊(cè)信息。(3)全局命名服務(wù)器GNS負(fù)責(zé)系統(tǒng)的元數(shù)據(jù)管理,主要包括元數(shù)據(jù)操作接口、元數(shù)據(jù)容錯(cuò)系統(tǒng)、元數(shù)據(jù)搜索系統(tǒng)。(4)資源管理器RM包括資源監(jiān)控模塊、資源調(diào)度模塊和副本管理模塊,其主要負(fù)責(zé)發(fā)現(xiàn)網(wǎng)格存儲(chǔ)服務(wù)設(shè)備、監(jiān)控存儲(chǔ)服務(wù)設(shè)備的狀態(tài)、存儲(chǔ)資源的申請(qǐng)和調(diào)度,同時(shí)提供透明的副本創(chuàng)建和選擇策略。(5)存儲(chǔ)代理SA是系統(tǒng)中非常關(guān)鍵的部分。(6)客戶端目前支持3種形式:通用FTP客戶端、文件訪問(wèn)接口和特制客戶端。用戶通過(guò)系統(tǒng)提供的特制客戶端,不但能夠進(jìn)行用戶組操作,具有搜索和共享等功能,還可以獲得更高性能的服務(wù)。

3 數(shù)字圖書(shū)館網(wǎng)格存儲(chǔ)關(guān)鍵技術(shù)

3.1 海量存儲(chǔ)技術(shù)

近幾年來(lái),數(shù)字圖書(shū)館信息資源呈幾何級(jí)數(shù)增長(zhǎng),存儲(chǔ)信息的度量單位由MB,GB向TB,PB轉(zhuǎn)變,其存儲(chǔ)的數(shù)據(jù)總量達(dá)到了海量規(guī)模。系統(tǒng)的存儲(chǔ)容量總受硬件條件的限制,故采用傳統(tǒng)的存儲(chǔ)模式則永遠(yuǎn)無(wú)法滿足存儲(chǔ)容量不斷增長(zhǎng)的需要。但在網(wǎng)格環(huán)境下,由于數(shù)字圖書(shū)館采用的是第三代P2P混合網(wǎng)絡(luò)體系結(jié)構(gòu)的存儲(chǔ)系統(tǒng)[5]。這種系統(tǒng)結(jié)構(gòu)可以將任何一個(gè)NAS或SAN作為存儲(chǔ)網(wǎng)格的一個(gè)節(jié)點(diǎn)進(jìn)行管理,在原有網(wǎng)絡(luò)存儲(chǔ)基礎(chǔ)上進(jìn)行擴(kuò)展,具有良好的可升級(jí)性。它將以數(shù)據(jù)中心的集中式存儲(chǔ)管理轉(zhuǎn)化為分布式的管理和控制,從而解決了海量數(shù)據(jù)存儲(chǔ)問(wèn)題。具體地講,數(shù)字圖書(shū)館網(wǎng)格存儲(chǔ)采用了3個(gè)方面的技術(shù)策略:

(1)在這種存儲(chǔ)結(jié)構(gòu)中,共享的文件不是集中存放在服務(wù)器上,而是分布在眾多的存儲(chǔ)系統(tǒng)節(jié)點(diǎn)上。系統(tǒng)的存儲(chǔ)容量是所有節(jié)點(diǎn)貢獻(xiàn)出來(lái)的空閑磁盤(pán)空間的總和,且隨著加入系統(tǒng)的節(jié)點(diǎn)數(shù)量線性增長(zhǎng)。也就是說(shuō),由于大量的端系統(tǒng)的存儲(chǔ)空間處于閑置狀態(tài),因此將大量節(jié)點(diǎn)的空閑存儲(chǔ)容量利用聚集存儲(chǔ)技術(shù)就可以形成一個(gè)巨大的存儲(chǔ)空間。此外,網(wǎng)格上還有大量的文件,其內(nèi)容不多但需要長(zhǎng)久存儲(chǔ)以備后續(xù)訪問(wèn),利用聚集存儲(chǔ)技術(shù)可以把多個(gè)小文件聚集成一個(gè)復(fù)合文件存儲(chǔ)在網(wǎng)格存儲(chǔ)空間,增加存儲(chǔ)空間的有效利用率。由此可見(jiàn),數(shù)字圖書(shū)館信息資源的存儲(chǔ)任務(wù)可以在多個(gè)節(jié)點(diǎn)上進(jìn)行,并且遵循就近跨節(jié)點(diǎn)存儲(chǔ)的原則。

(2)網(wǎng)格環(huán)境下的數(shù)字圖書(shū)館數(shù)據(jù)流量大,為了避免大量的數(shù)據(jù)傳輸而造成通信資源阻塞,也為了避免單點(diǎn)故障造成損失,通過(guò)在網(wǎng)格中不同位置創(chuàng)建文件副本,節(jié)點(diǎn)就可以就近訪問(wèn)所需的文件,降低訪問(wèn)延遲,很好的適應(yīng)網(wǎng)絡(luò)的動(dòng)態(tài)變化,大大提高文件的訪問(wèn)性能。這樣網(wǎng)絡(luò)上所有的節(jié)點(diǎn)也就可以從其他節(jié)點(diǎn)上共享存儲(chǔ)資源。利用P2P技術(shù)的就近原則,圖書(shū)館可以將經(jīng)常訪問(wèn)的內(nèi)容發(fā)布到其他的數(shù)字圖書(shū)館,讀者可以就近訪問(wèn),從而有效地解決了大數(shù)據(jù)量并發(fā)訪問(wèn)瓶頸問(wèn)題。

(3)對(duì)于客戶機(jī)/服務(wù)器模式的存儲(chǔ)系統(tǒng)來(lái)說(shuō),高度動(dòng)態(tài)的網(wǎng)絡(luò)環(huán)境嚴(yán)重影響了文件服務(wù)性能,而龐大的用戶數(shù)量也給服務(wù)器帶來(lái)了沉重的負(fù)擔(dān)。而對(duì)于網(wǎng)格模式下的存儲(chǔ)系統(tǒng),由于文件的存儲(chǔ)和服務(wù)分散到了系統(tǒng)的每個(gè)節(jié)點(diǎn),使得每個(gè)節(jié)點(diǎn)只需要承擔(dān)少量的任務(wù),很好地起到了負(fù)載均衡的作用,從而避免以服務(wù)器為中心的網(wǎng)絡(luò)結(jié)構(gòu)的性能瓶頸。

3.2 動(dòng)態(tài)存儲(chǔ)技術(shù)

數(shù)字圖書(shū)館系統(tǒng)在不同時(shí)刻對(duì)服務(wù)的需求是不同的,白天或某段時(shí)間內(nèi)可能因?yàn)樵L問(wèn)人數(shù)激增造成對(duì)某部分的計(jì)算資源需求增加,一段時(shí)間后可能需求又有所下降。而這些都是無(wú)法預(yù)知的。為此,網(wǎng)格存儲(chǔ)技術(shù)必須有效地解決數(shù)字圖書(shū)館資源存儲(chǔ)動(dòng)態(tài)存儲(chǔ)和按需存儲(chǔ)的問(wèn)題。

(1)基于網(wǎng)格的數(shù)字圖書(shū)館館存儲(chǔ)系統(tǒng)必須能夠根據(jù)應(yīng)用系統(tǒng)的需求,動(dòng)態(tài)擴(kuò)展存儲(chǔ)設(shè)備數(shù)量和容量而不影響其上層應(yīng)用。網(wǎng)格環(huán)境下,數(shù)字圖書(shū)館采用的是P2P存儲(chǔ)結(jié)構(gòu)。該存儲(chǔ)結(jié)構(gòu)中,每臺(tái)計(jì)算機(jī)既是客戶機(jī),也是服務(wù)器。它們之間可以直接交換信息,共同分擔(dān)文件的存儲(chǔ)和服務(wù),而不需要中央服務(wù)器。這種對(duì)等的體系結(jié)構(gòu)使得P2P存儲(chǔ)系統(tǒng)在擴(kuò)展性上有著天然的優(yōu)勢(shì),特別是對(duì)分布式結(jié)構(gòu)化的P2P系統(tǒng)結(jié)構(gòu)來(lái)說(shuō),系統(tǒng)規(guī)模能夠擴(kuò)大和縮小,而性能幾乎不受影響。

(2)基于網(wǎng)格的數(shù)字圖書(shū)館館存儲(chǔ)系統(tǒng)能夠根據(jù)各種應(yīng)用系統(tǒng)的動(dòng)態(tài)工作負(fù)載和內(nèi)部設(shè)備能力的變化,動(dòng)態(tài)改變自己的配置、策略以提高I/O性能。要滿足數(shù)字圖書(shū)館動(dòng)態(tài)性的需求,就必須實(shí)現(xiàn)存儲(chǔ)資源與計(jì)算資源的按需動(dòng)態(tài)組合。網(wǎng)格環(huán)境下借助存儲(chǔ)虛擬化技術(shù),通過(guò)兩者在邏輯層面實(shí)現(xiàn)分離,最終實(shí)現(xiàn)兩者的動(dòng)態(tài)映射關(guān)系。具體而言,存儲(chǔ)虛擬化技術(shù)通過(guò)封裝和虛擬化的存儲(chǔ)服務(wù)有效地分離主機(jī)層(包括:應(yīng)用、操作系統(tǒng)、HBA (Host Bus Adapter)等)、存儲(chǔ)網(wǎng)絡(luò)層(包括:交換機(jī)、路由器和網(wǎng)管等)、存儲(chǔ)層(包括:磁盤(pán)陣列、磁帶庫(kù)、光盤(pán)庫(kù)等),并且實(shí)現(xiàn)物理路徑、硬件設(shè)備特征、物理設(shè)備位置對(duì)主機(jī)透明,存儲(chǔ)資源與應(yīng)用分離,對(duì)存儲(chǔ)資源的管理可以實(shí)現(xiàn)動(dòng)態(tài)的擴(kuò)充和配置管理,將存儲(chǔ)的邏輯層與物理層相分離,使得數(shù)據(jù)的移動(dòng)不再依賴于主機(jī)和應(yīng)用。

(3)由于網(wǎng)格可以根據(jù)數(shù)據(jù)對(duì)用戶業(yè)務(wù)的關(guān)鍵性設(shè)定一定策略,從而決定數(shù)據(jù)的存儲(chǔ)位置,所以數(shù)字圖書(shū)館存儲(chǔ)可以靈活、動(dòng)態(tài)地選擇網(wǎng)格節(jié)點(diǎn)中的物理存儲(chǔ)設(shè)備,這樣可以避免低價(jià)值數(shù)據(jù)浪費(fèi)昂貴的高端存儲(chǔ)空間。也就是說(shuō)利用智能數(shù)據(jù)遷移將日訪問(wèn)量不是很大的大部分?jǐn)?shù)據(jù)保持“脫機(jī)”,但又不“離線”的狀態(tài)。

3.3 異構(gòu)存儲(chǔ)技術(shù)

由于數(shù)字圖書(shū)館系統(tǒng)具有主機(jī)系統(tǒng)多類(lèi)型、數(shù)據(jù)來(lái)源多方向性、數(shù)據(jù)存儲(chǔ)格式復(fù)雜,數(shù)據(jù)用途多樣等特點(diǎn),使得資源存儲(chǔ)在實(shí)現(xiàn)功能、性能和訪問(wèn)接口上變化很大。但無(wú)論數(shù)據(jù)存儲(chǔ)接口如何變化,無(wú)論數(shù)據(jù)存儲(chǔ)在什么位置,用戶都要求完全無(wú)縫地訪問(wèn)到所需數(shù)據(jù),而不必關(guān)心存儲(chǔ)設(shè)備所處的位置、采用何種存儲(chǔ)系統(tǒng)以及資源如何配置。存儲(chǔ)網(wǎng)格方案就能滿足此需求,它結(jié)合虛擬存儲(chǔ)技術(shù)、開(kāi)放的標(biāo)準(zhǔn)規(guī)范和網(wǎng)格數(shù)據(jù)傳輸機(jī)制將異構(gòu)的存儲(chǔ)變成統(tǒng)一的虛擬存儲(chǔ)。

4 結(jié) 語(yǔ)

本文闡述了數(shù)字圖書(shū)館網(wǎng)格存儲(chǔ)模型及關(guān)鍵技術(shù),分別從模型體系結(jié)構(gòu)、模型總體設(shè)計(jì)、海量存儲(chǔ)技術(shù)、動(dòng)態(tài)存儲(chǔ)技術(shù)和異構(gòu)存儲(chǔ)技術(shù)5個(gè)方面進(jìn)行了詳細(xì)的探討和分析,為利用網(wǎng)格技術(shù)解決數(shù)字圖書(shū)館資源發(fā)現(xiàn)、整合、跨倉(cāng)儲(chǔ)檢索、安全等問(wèn)題,為實(shí)現(xiàn)大規(guī)模數(shù)字圖書(shū)館的互操作提供了相應(yīng)基礎(chǔ)條件。

參考文獻(xiàn)

[1]張蕾,陳玲.下一代互聯(lián)網(wǎng)技術(shù)在網(wǎng)絡(luò)中心戰(zhàn)中的應(yīng)用概述[J].電子工程師,2008,34(10):67-69.

[2]李超,王亮,楊學(xué)印.基于網(wǎng)格的數(shù)字圖書(shū)館研究現(xiàn)狀分析[J].現(xiàn)代情報(bào),2009,(3):74-77.

[3]韓毅,畢強(qiáng),李賀.國(guó)外基于網(wǎng)格技術(shù)的數(shù)字圖書(shū)館內(nèi)容與應(yīng)用的比較研究[J].情報(bào)學(xué)報(bào),2006,(2):221-230.

[4]余玲,李玉海.基于網(wǎng)格的數(shù)字圖書(shū)館資源存儲(chǔ)研究[J].情報(bào)雜志,2007,(9):105-107.

[5]劉廣亮.基于Globus Toolkit 4的網(wǎng)格服務(wù)研究開(kāi)發(fā)[D].西安理工大學(xué),2008.