趙秋云, 魏 樂

(成都信息工程學(xué)院計算機學(xué)院,四川成都610225)

1 引言

網(wǎng)格技術(shù)是為了滿足計算資源、計算能力不斷增長的需求而提出的,最終目標(biāo)是實現(xiàn)網(wǎng)絡(luò)虛擬環(huán)境下的資源共享和協(xié)同工作。網(wǎng)格環(huán)境中維護的往往是海量數(shù)據(jù),且這些數(shù)據(jù)大多是動態(tài)、分布存儲的,因此,數(shù)據(jù)管理技術(shù)及方案的選擇對網(wǎng)格性能來說至關(guān)重要。

副本技術(shù)是網(wǎng)格中提高數(shù)據(jù)訪問和處理效率的關(guān)鍵技術(shù)之一,通過在本地或者鄰近結(jié)點創(chuàng)建數(shù)據(jù)的副本,來改善高延遲網(wǎng)絡(luò)中數(shù)據(jù)的訪問速度和網(wǎng)格的整體性能。良好的數(shù)據(jù)副本管理技術(shù)可以減輕單個數(shù)據(jù)網(wǎng)格結(jié)點的通信和訪問壓力,降低遠程訪問該數(shù)據(jù)的網(wǎng)絡(luò)延遲及帶寬消耗;可以提高網(wǎng)絡(luò)的負載均衡度,同時提高數(shù)據(jù)的安全性、可靠性以及系統(tǒng)的容錯性。

2 副本技術(shù)研究與分析

2.1 Globus副本管理服務(wù)

Globus項目是目前國際上最有影響的網(wǎng)格計算相關(guān)項目之一,發(fā)起于20世紀90年代中期,由美國Argonne國家實驗室和幾十所大學(xué)等科研單位研發(fā),也是較早開展副本管理研究的網(wǎng)格項目[1]。Globus項目的一個成果是開發(fā)出了開源工具包Globus Toolkit,該工具包提供了簡單的副本管理服務(wù)和副本定位服務(wù),同時還提供了高速文件傳輸服務(wù)GridFTP。在副本管理服務(wù)方面,Globus Toolkit構(gòu)造了一套底層的副本管理開發(fā)工具如復(fù)制管理服務(wù)、元數(shù)據(jù)服務(wù)、復(fù)制選擇服務(wù)和副本信息服務(wù)等組件,這些組件基于最簡單的集中式副本目錄,提供最基本的副本管理服務(wù),但沒有提供副本動態(tài)創(chuàng)建、優(yōu)化選擇以及一致性管理等功能。

Globus網(wǎng)格環(huán)境的副本管理是靜態(tài)的、集中的,主要體現(xiàn)在：在副本創(chuàng)建時對數(shù)據(jù)副本的動態(tài)生成沒有過多考慮;復(fù)制選擇中,當(dāng)存在多個副本滿足要求時,僅僅根據(jù)存儲空間、可用帶寬等一些靜態(tài)或全局參數(shù)進行排序、選擇,既沒有充分利用用戶訪問數(shù)據(jù)的歷史記錄,以便對用戶以后的數(shù)據(jù)訪問進行預(yù)測,也沒有根據(jù)用戶的請求有針對性地采取不同的選擇策略?？傊?Globus提供的復(fù)制管理服務(wù)的靈活性較差,無法滿足實際網(wǎng)格應(yīng)用的需求。

2.2 副本創(chuàng)建策略

副本策略應(yīng)該考慮副本的定位、創(chuàng)建、更新及刪除等多種任務(wù),在副本管理的諸多任務(wù)中,副本的創(chuàng)建是根本,它的解決方案會直接影響其它問題的解決方法,也是副本管理方案性能的主要決定因素。

副本創(chuàng)建策略較多。文獻[2]給出了網(wǎng)格領(lǐng)域經(jīng)典的幾種副本創(chuàng)建策略：沒有副本或緩存的策略、最佳客戶端策略、瀑布復(fù)制策略、簡單的緩存策略、緩存+瀑布策略和快速擴散策略。6種副本擴展策略中,快速擴散和瀑布策略較其它4種策略可以節(jié)省60%的網(wǎng)絡(luò)帶寬和減少60%的延遲。但快速擴展策略對訪問特征沒有進行任何處理,瀑布策略可以定期識別熱度文件,并將文件沿著層次進行副本擴展,非常適合于層次網(wǎng)格拓撲結(jié)構(gòu),但這種策略著重考慮文件訪問次數(shù),對其它文件訪問特征處理簡單。最佳客戶端策略也同樣適合層次網(wǎng)格結(jié)構(gòu),但它只突出了訪問特征中的訪問次數(shù)和訪問者。除此之外,還有許多文獻提出了各種各樣的副本管理策略。由于重點在于副本管理的實現(xiàn),此處對各種副本策略不再過多介紹。

選擇哪種副本創(chuàng)建策略應(yīng)該根據(jù)網(wǎng)格拓撲結(jié)構(gòu)、數(shù)據(jù)規(guī)模、網(wǎng)格環(huán)境下單節(jié)點存儲能力、副本管理的側(cè)重點及網(wǎng)格作業(yè)規(guī)模等多個方面考慮,從副本管理可擴展的角度考慮,一個設(shè)計良好的副本管理方案應(yīng)該能提供多種副本管理策略。由于課題依據(jù)的計算網(wǎng)格是層次網(wǎng)格拓撲結(jié)構(gòu),本文的副本管理方案中副本創(chuàng)建方面首選瀑布策略。

2.3 網(wǎng)格體系結(jié)構(gòu)與副本管理

網(wǎng)格技術(shù)在體系結(jié)構(gòu)、標(biāo)準規(guī)范上投入了大量的研究資源,目前最新的是由Globus聯(lián)盟、IBM和HP于2004年初共同提出的第三代網(wǎng)格體系結(jié)構(gòu)：WSRF(Web Service Resource Framework,Web服務(wù)資源框架),WSRF v1.2規(guī)范已于2006年4月3日被批準為OASIS(Organization for the Advancement of Structured Information Standards,結(jié)構(gòu)化信息標(biāo)準促進組織)標(biāo)準[3]?；赪eb服務(wù)規(guī)范的Web服務(wù)資源框架如圖1所示。

WSRF采用了與傳統(tǒng)網(wǎng)格服務(wù)完全不同的定義：資源是有狀態(tài)的,網(wǎng)格服務(wù)是無狀態(tài)的。它的目的在于定義出一個通用且開放的架構(gòu),利用Web服務(wù)對具有狀態(tài)屬性的資源進行存取,并包含描述狀態(tài)屬性的機制和如何將機制延伸至Web服務(wù)中。利用WSRF,可以使網(wǎng)格服務(wù)具有如下特點：

(1)引入Web服務(wù)標(biāo)準,同時更全面地擴展現(xiàn)有的XML標(biāo)準,在目前的開發(fā)環(huán)境下,使網(wǎng)格服務(wù)的實現(xiàn)更為簡單。

(2)OGSI規(guī)范(Open Grid Service Infrastructure,開放網(wǎng)格服務(wù)基礎(chǔ)設(shè)施)中的術(shù)語和結(jié)構(gòu)讓W(xué)eb服務(wù)的標(biāo)準組織感到困惑,因為OGSI錯誤地認為Web服務(wù)一定需要很多支撐的構(gòu)建。WSRF通過對消息處理器和狀態(tài)資源進行分離來消除上述隱患,明確了其目標(biāo)是允許Web服務(wù)操作對狀態(tài)資源進行管理和操縱。

2005年1月31日發(fā)布的Globus Toolkit 4(GT4),實現(xiàn)了WSRF和WSN標(biāo)準。

圖1 Web服務(wù)資源框架

Web服務(wù)標(biāo)準的引入,使得目前開發(fā)環(huán)境下用Web Service實現(xiàn)網(wǎng)格服務(wù)更為簡單。同時,Web Service也是分布式計算下一步發(fā)展的技術(shù)趨勢,它能使軟件以松散耦合、簡單和與平臺無關(guān)的方式與客戶、業(yè)務(wù)伙伴的軟件集成[3]。簡單地說,Web Service使用一套協(xié)議和技術(shù)來實現(xiàn)分布式應(yīng)用程序的創(chuàng)建：用XML描述數(shù)據(jù);使用SOAP消息調(diào)用訪問服務(wù);使用WSDL進行界面描述,并通過 UDDI(Universal Description Discovery and Integration,統(tǒng)一描述、發(fā)現(xiàn)和集成)注冊中心發(fā)布。用Web Service開發(fā)網(wǎng)格副本管理服務(wù),能很好地改進Globus中集中管理帶來的問題,也能夠增加副本管理系統(tǒng)的可擴展性,以及副本管理與其它網(wǎng)格應(yīng)用的易集成性。

圖2 副本管理與調(diào)度系統(tǒng)的網(wǎng)格拓撲結(jié)構(gòu)

3 副本管理方案的實現(xiàn)

3.1 副本管理系統(tǒng)方案

副本管理系統(tǒng)基于層次網(wǎng)格的拓撲結(jié)構(gòu),在充分研究這一網(wǎng)格拓撲結(jié)構(gòu)的基礎(chǔ)上,提出了副本管理系統(tǒng)所需要的網(wǎng)格拓撲結(jié)構(gòu),如圖2所示。

在圖2中,網(wǎng)格拓撲結(jié)構(gòu)的中樞為計算網(wǎng)格副本管理中心服務(wù)器,該服務(wù)器接受網(wǎng)格用戶通過副本管理服務(wù)門戶發(fā)來的副本操作請求,負責(zé)全局的副本管理,對文件訪問情況進行監(jiān)控并直接操作數(shù)據(jù)庫服務(wù)器,根據(jù)文件訪問情況的分析結(jié)果,調(diào)度各節(jié)點上的本地副本管理服務(wù)?？梢詫⒅行姆?wù)器抽象為副本監(jiān)控與調(diào)度器(Replica Monitor Scheduler,RMS)。

網(wǎng)格節(jié)點服務(wù)器包括單機節(jié)點和集群節(jié)點,每個網(wǎng)格節(jié)點都接受中心服務(wù)器發(fā)送來的副本管理調(diào)度命令,提供本節(jié)點上具體的副本管理服務(wù)。也就是說,各節(jié)點分布地完成具體的副本創(chuàng)建、刪除等工作。此處將節(jié)點服務(wù)器抽象為本地副本管理器(Local Replica Manager,LRM)。

數(shù)據(jù)庫服務(wù)器作為網(wǎng)格中的文件訪問歷史和副本信息的存儲中心,其中的文件訪問歷史信息將由網(wǎng)格的作業(yè)管理服務(wù)獲取,該服務(wù)器也接受來自副本管理服務(wù)門戶的用戶操作,由網(wǎng)格副本中心服務(wù)器直接控制。

副本管理服務(wù)門戶是副本服務(wù)平臺與網(wǎng)格用戶的交互接口,網(wǎng)格門戶設(shè)計為Web應(yīng)用,用戶通過副本管理門戶進行各種副本操作。

3.2 方案實現(xiàn)

副本管理系統(tǒng)的創(chuàng)建、刪除及查詢功能模塊具有相對平行的操作過程,這些相對平行的過程是通過自動定時器或網(wǎng)格門戶、RMS和LRM的相互協(xié)作實現(xiàn),在代碼實現(xiàn)時有相同的思路和過程,因此,僅以副本創(chuàng)建來闡述副本管理系統(tǒng)的實現(xiàn)。副本管理系統(tǒng)中和創(chuàng)建功能相關(guān)的類結(jié)構(gòu)關(guān)系如圖3所示。

圖3 副本創(chuàng)建相關(guān)類結(jié)構(gòu)

圖3中虛線上面的RMS運行在網(wǎng)格的中心服務(wù)器上。RMS中最主要的任務(wù)就是動態(tài)檢查文件訪問歷史記錄的監(jiān)控和動態(tài)調(diào)度副本管理服務(wù)。采用一個簡單的Java定時器控制,Java定時器(java.util.Timer)有定時觸發(fā)計劃任務(wù)的功能,通過設(shè)定定時器的間隔時間,可以自動有規(guī)律地調(diào)用預(yù)先安排的任務(wù),比如STask類(繼承自java.util.TimerTask)。實際工作時,在工程的配置文件web.xml中加入監(jiān)聽器配置,STask就會在工程啟動時自動運行,并在整個工程生命期中處于監(jiān)聽狀態(tài)。副本監(jiān)控和調(diào)度任務(wù)是按照既定的時間間隔去檢查訪問歷史數(shù)據(jù)表,根據(jù)統(tǒng)計結(jié)果進行相應(yīng)的服務(wù)調(diào)用,具體的統(tǒng)計過程采用了瀑布策略。調(diào)用結(jié)果返回后清空訪問歷史數(shù)據(jù)表,以便于下次統(tǒng)計和調(diào)度。

圖3中虛線下面部分是提供相同服務(wù)的LRM。分布在網(wǎng)格環(huán)境中的每個節(jié)點上的LRM都是獨立Web服務(wù),其功能、服務(wù)名稱和注冊的本地副本管理服務(wù)訪問名稱格式全部相同,僅主機名不同,以便于相互區(qū)分。LRM在實現(xiàn)技術(shù)上采用了Globus提供的RLS和GridFTP基本服務(wù)協(xié)議和機制。副本位置服務(wù)(RLS)是一個分布式的注冊機制,向其它應(yīng)用提供數(shù)據(jù)副本的位置,并支持副本的發(fā)現(xiàn)和定位,RLS java客戶端可以實現(xiàn)副本的注冊和位置管理。另外Java CoG工具包中的GridFTP編程接口可以實現(xiàn)具體的傳輸和安全保證。LRM中的創(chuàng)建和刪除服務(wù)實現(xiàn)過程類似,查詢服務(wù)不需要進行文件操作,實現(xiàn)上較副本創(chuàng)建或刪除服務(wù)更容易。下面以副本創(chuàng)建功能為例,詳細給出LRM的實現(xiàn),其類結(jié)構(gòu)如圖4所示。

圖4 LRM創(chuàng)建服務(wù)實現(xiàn)類結(jié)構(gòu)

從一般用戶的角度來看,副本創(chuàng)建與文件下載的操作幾乎類似,但實際上兩者截然不同：(1)每次在文件復(fù)制前,LRM首先要進行用戶代理證書的認證。GridFTP支持網(wǎng)格安全體系結(jié)構(gòu)GSI和Kerberos安全機制,在GridFTP中支持靈活可靠的安全鑒別和完整性檢查。(2)LRM中的副本創(chuàng)建服務(wù)的運行,是以副本管理服務(wù)特別是RLS為基礎(chǔ)的,在系統(tǒng)完成副本注冊后才實施復(fù)制。而網(wǎng)絡(luò)上較普遍的資源下載一般只提供簡單下載,不關(guān)心資源被下載后的情況,以及被下載資源和其它資源的關(guān)系問題。

總的來說,中心服務(wù)器用定時器TimerListener控制定時任務(wù)STask,在定時任務(wù)STask中封裝了對數(shù)據(jù)庫服務(wù)器上數(shù)據(jù)的監(jiān)控功能：讀取文件訪問歷史記錄數(shù)據(jù),根據(jù)瀑布策略進行分析整理后調(diào)用創(chuàng)建副本操作。副本在創(chuàng)建過程中,首先讀取全局副本目錄信息,然后通過副本創(chuàng)建服務(wù)的客戶端CreateClient來調(diào)用由某主機local-Host上的LRM 副本創(chuàng)建服務(wù)即可,服務(wù)路徑格式為 http：//″+localHost+″：8080/ws/services/CreateLocalReplica。

4 結(jié)束語

在深入研究GT4提供的網(wǎng)格副本管理服務(wù)特點、WSRF框架特性以及副本動態(tài)復(fù)制策略的基礎(chǔ)上,設(shè)計了一個開發(fā)副本管理服務(wù)的方案;并基于此方案,利用Web Service技術(shù)實現(xiàn)了分布式網(wǎng)格副本管理系統(tǒng)。在Globus網(wǎng)格環(huán)境下,副本管理系統(tǒng)被啟動后,能夠通過其中的副本監(jiān)控與調(diào)度器(RMS)和本地副本管理器(LRM),初步地對計算網(wǎng)格中的文件及副本按照瀑布策略進行分布式動態(tài)管理。

已設(shè)計與實現(xiàn)的網(wǎng)格副本管理系統(tǒng)功能還不夠完善,如需要增加副本更新、一致性維護等功能;創(chuàng)建策略雖然使用了瀑布策略,但副本創(chuàng)建所使用的瀑布策略的效率仍有優(yōu)化的空間;另外系統(tǒng)中的副本選擇使用的是Globus工具包提供的選擇方案,在實際應(yīng)用中還需進一步優(yōu)化,這些問題將在進一步的副本技術(shù)研究中逐步解決。

[1]都志輝,陳渝,劉鵬.網(wǎng)格計算[M].北京：清華大學(xué)出版社,2002.

[2]D.G.Feitelson,L.Rudolph.Metrics and Benchmarking for Parallel Job Scheduling[M].Springer Berlin/Heidelberg Publishers,2004.

[3]張文斌,葉紅云,陳恩紅.基于Web Service的B2B電子商務(wù)環(huán)境構(gòu)建技術(shù)[J].計算機工程,2002,9(11)：77-79.