左 維a,b，張舟斌a,b，耿 良a,b，李春來a,b

(中國科學院 a.國家天文臺；b.月球與深空探測重點實驗室，北京 100012)

1 概述

嫦娥三號(CE-3)任務是我國探月工程二期的關(guān)鍵任務，突破了月球軟著陸、月面巡視勘察、月面生存、深空測控通信與遙操作、運載火箭直接進入地月轉(zhuǎn)移軌道等關(guān)鍵技術(shù)，實現(xiàn)中國首次對地外天體的直接探測。

基于嫦娥一號(CE-1)和嫦娥二號(CE-2)任務，地面應用系統(tǒng)建立了一套集通信、網(wǎng)絡、計算、存儲和備份為一體的計算機業(yè)務運行環(huán)境系統(tǒng)，為地面應用系統(tǒng)圓滿完成探月工程項目中承擔的衛(wèi)星有效載荷在軌業(yè)務運行管理、探測數(shù)據(jù)的接收、探測數(shù)據(jù)的存儲與管理、探測數(shù)據(jù)的分析與處理、以及探測數(shù)據(jù)的應用與研究等工程任務提供了堅實的基礎(chǔ)支持。由于CE-3任務的特殊性，地面應用系統(tǒng)的計算機業(yè)務運行環(huán)境系統(tǒng)需要在CE-2任務的基礎(chǔ)上進行適應性的改造。其中，更換原有文件共享系統(tǒng)實現(xiàn)高速數(shù)據(jù)異構(gòu)共享訪問是一項重要的改造內(nèi)容[1]。地面應用系統(tǒng)的數(shù)據(jù)應用特點主要表現(xiàn)為數(shù)據(jù)量大、異構(gòu)共享、高性能低延時訪問等，如何有效研究高性能共享文件系統(tǒng)實現(xiàn)數(shù)據(jù)基于異構(gòu)平臺的高速讀寫訪問、提高數(shù)據(jù)的讀寫性能、降低數(shù)據(jù)讀寫的延遲時間是本文的主要研究方向[2]。本文針對探月工程地面系統(tǒng)的應用需求，建立了一個基于SNFS的異構(gòu)平臺高性能數(shù)據(jù)共享系統(tǒng)。

2 系統(tǒng)的需求

地面應用系統(tǒng)是嫦娥衛(wèi)星探測數(shù)據(jù)的接收、處理、歸檔、管理、分發(fā)和應用研究中心，其計算機業(yè)務運行環(huán)境系統(tǒng)采用分布式體系結(jié)構(gòu)，部署于北京總部、密云地面站和昆明地面站三地，系統(tǒng)采用高性能企業(yè)級UNIX服務器構(gòu)建雙機高可用集群系統(tǒng)，并利用動態(tài)邏輯分區(qū)技術(shù)將物理服務器劃分成運行管理、遙科學探測、數(shù)據(jù)預處理和數(shù)據(jù)管理等對等業(yè)務邏輯分區(qū)，實現(xiàn)負載均衡調(diào)度，同時建立基于SAN(Storage Area Network)架構(gòu)的數(shù)據(jù)存儲系統(tǒng)，以滿足系統(tǒng)對海量數(shù)據(jù)的高速存取要求[3]。此外，地面應用系統(tǒng)還在總部與密云地面站之間采用基于存儲系統(tǒng)的數(shù)據(jù)復制技術(shù)，建設了容災備份系統(tǒng)，其系統(tǒng)架構(gòu)如圖1所示[4]。

圖1 地面應用系統(tǒng)的網(wǎng)絡拓撲結(jié)構(gòu)

在CE-1和CE-2任務中，地面應用系統(tǒng)建立了基于通用并行文件系統(tǒng)(General Parallel File System,GPFS)的數(shù)據(jù)共享系統(tǒng)。CE-3任務中由于增加了對月表進行就位和巡視探測等新的工程任務，使地面應用系統(tǒng)的業(yè)務流程變得復雜，對數(shù)據(jù)存儲系統(tǒng)提出了新的要求，原有系統(tǒng)已經(jīng)無法支撐多個業(yè)務系統(tǒng)之間異構(gòu)環(huán)境下的高速數(shù)據(jù)交換與共享需求。因此，在CE-3任務中實現(xiàn)多個業(yè)務系統(tǒng)在AIX、Linux以及Windows7(32位、64位)等異構(gòu)環(huán)境下高速、安全的海量數(shù)據(jù)共享訪問是地面應用系統(tǒng)建立高性能數(shù)據(jù)共享系統(tǒng)的首要目標，同時也是地面應用系統(tǒng)保障完成工程任務需要解決的基本關(guān)鍵技術(shù)問題之一。經(jīng)過調(diào)研與測試，確立了基于昆騰公司的StorNext File System(SNFS)建立嫦娥三號任務地面應用系統(tǒng)高性能數(shù)據(jù)共享系統(tǒng)的解決方案。

3 SNFS簡介

3.1 SNFS的歷史與現(xiàn)狀

SNFS是昆騰公司的一個軟件產(chǎn)品，最初的名稱為CVFS(Central Vision File System)，是MGISC(MountainGate Imaging Systems Corporation)的產(chǎn)品，只用在Windows和IRIX之間的文件共享交換。后來被ADIC(Advanced Digital Information Corporation)收購并更名為Stornext File System，還加入了Solaris、Linux、Mac等更多的操作系統(tǒng)支持，在此期間引入國內(nèi)，并在石油、廣電、衛(wèi)星等行業(yè)得到了廣泛的應用。2006年8月昆騰收購了ADIC獲得了SNFS。

2012年8月15日，昆騰公司宣布推出StorNext 4.3軟件，它帶來智能化大數(shù)據(jù)管理，并提供更高的性能以及更大規(guī)模。這款最新一代的StorNext?軟件采納一個新數(shù)據(jù)庫，并最高支持10億份文件和數(shù)十PB的分層存儲，延伸了文件系統(tǒng)和歸檔性能的界限，其專有的分布式LAN客戶端技術(shù)比傳統(tǒng)NFS或CIFS協(xié)議的運行速度快50%以上。同時增加了一些諸如歸檔攝取、活躍倉儲和基于項目的容量管理等新的獨特功能，進一步加強了大量非結(jié)構(gòu)化數(shù)據(jù)中的卷、速率和多樣性的管理[5]。

3.2 SNFS的應用

SNFS最初主要應用在情報和石油天然氣勘探等進行大規(guī)模數(shù)據(jù)收集的美國政府機構(gòu)和公司，隨著媒體等行業(yè)漸漸轉(zhuǎn)變?yōu)椴捎靡詳?shù)字為主的創(chuàng)意流程，SNFS得以被廣泛應用。StorNext在該領(lǐng)域的領(lǐng)先地位體現(xiàn)在其廣泛的應用群上，其中包括：全球最大的廣播公司，全美四大電視廣播網(wǎng)絡，四大美國有線電視網(wǎng)中的三家，全球三大電影制片廠中的兩家，領(lǐng)先的后期制作、視頻編輯和數(shù)字內(nèi)容制作公司。DG公司和GeoEye公司使用昆騰的StorNext數(shù)據(jù)管理軟件來更快地把產(chǎn)品投向市場[6]。2012年10月，昆騰公司宣布已售出超過70000張StorNext?文件系統(tǒng)許可。

StorNext在中國的廣電、石油、航天等領(lǐng)域都得到了很好的應用。在中國有16家電視臺采用StorNext；在石油天然氣行業(yè)，StorNext逐步成為主導的數(shù)據(jù)管理軟件，如大慶油田、新疆油田、吐哈油田、塔里木油田、長慶油田、青海油田等油田、研究院廣泛使用。同時，StorNext在航天領(lǐng)域為風云2號、嫦娥3號、測繪、減災、遙感、環(huán)保等衛(wèi)星應用提供了技術(shù)支撐。

3.3 SNFS的發(fā)展趨勢

StorNext在大文件的處理上有著明顯的優(yōu)勢，未來會有更多的變化在小文件(小于1 MB)管理上進行更新，同時優(yōu)化數(shù)據(jù)檢索的性能[7]，主要包括：(1)提供豐富的數(shù)據(jù)結(jié)構(gòu)類型、快速可壓縮的二進制數(shù)據(jù)格式、存儲持久性數(shù)據(jù)的文件集、遠程調(diào)用RPC的功能和簡單的動態(tài)語言集成功能；(2)使數(shù)據(jù)的讀和寫在模式之下完成，減少寫入數(shù)據(jù)的開銷，同時方便動態(tài)腳本語言的使用；(3)優(yōu)化客戶端和服務端通過握手協(xié)議進行模式的交換，解決不同模式下的相同命名字段、丟失字段和附加字段等信息的一致性問題；(4)放寬可移植操作系統(tǒng)接口(Portable Operating System Interface of Unix,POSIX)的要求，實現(xiàn)以流的形式訪問文件系統(tǒng)中的數(shù)據(jù)；(5)優(yōu)化一致性模型，解決數(shù)據(jù)一致性和高吞吐量的數(shù)據(jù)訪問問題；(6)優(yōu)化任務粒度、數(shù)據(jù)分割和數(shù)據(jù)合并等工作流程與方法，提高系統(tǒng)運行效率。

另外，StorNext未來在數(shù)據(jù)庫上也會進行改變，如使用NoSQL分布式數(shù)據(jù)庫。同時在支持云應用方面也會有較大的發(fā)展，為搭建云計算環(huán)境中的設備提供基本的服務，并為該平臺上的軟件開發(fā)提供所需的API。應用新的技術(shù)使StorNext環(huán)境中能無縫共享端到端工作流程內(nèi)的內(nèi)容，提供無縫的大數(shù)據(jù)采集和內(nèi)容歸檔，以更快的速度將內(nèi)容在工作平臺與歸檔存儲之間實現(xiàn)數(shù)據(jù)的遷移管理[8]。

4 系統(tǒng)的解決方案

4.1 總體架構(gòu)

本文系統(tǒng)的總體架構(gòu)如圖2所示。

圖2 數(shù)據(jù)共享系統(tǒng)總體架構(gòu)

CE-3地面應用系統(tǒng)北京總部的內(nèi)網(wǎng)核心業(yè)務系統(tǒng)是處理、存儲、管理和分析嫦娥科學探測數(shù)據(jù)的核心場所，內(nèi)網(wǎng)核心業(yè)務系統(tǒng)所建立的數(shù)據(jù)共享系統(tǒng)根據(jù)業(yè)務等級和性能需求的不同分別在SAN和LAN(Local Area Network)的基礎(chǔ)上進行構(gòu)建。其中，21個基于AIX操作系統(tǒng)的關(guān)鍵任務系統(tǒng)、6臺基于RedHat Linux的數(shù)據(jù)處理工作站、28臺基于Windows的圖形渲染工作站作為SAN客戶端；以及20臺基于Linux和Windows的用于數(shù)據(jù)處理分析的工作站作為DLC(Distributed LAN Client)客戶端。為了使基于LAN的客戶端能夠訪問存儲于SAN之中的數(shù)據(jù)，將2臺Windows PC服務器配置為數(shù)據(jù)共享系統(tǒng)的SAN客戶端，同時以集群的方式作為網(wǎng)關(guān)服務器，為其他通過LAN訪問數(shù)據(jù)共享系統(tǒng)的客戶端提供數(shù)據(jù)訪問通道。

在系統(tǒng)架構(gòu)中，SNFS主要由元數(shù)據(jù)控制服務器、SAN客戶端、DLC客戶端與網(wǎng)關(guān)服務器等關(guān)鍵部件組成。

(1)元數(shù)據(jù)控制服務器(Mata Data Controller,MDC)：簡稱元數(shù)據(jù)服務器，MDC用于管理文件系統(tǒng)中存儲文件的基本屬性信息，包括文件名稱、文件的存取時間、文件在共享存儲設備中的存儲位置等信息[9]。在實施過程中利用2臺基于Linux的工作站建立了分離的元數(shù)據(jù)服務器，用來管理和維護文件系統(tǒng)的元數(shù)據(jù)信息，并為大容量數(shù)據(jù)訪問環(huán)境提供優(yōu)化的性能。同時，成對的元數(shù)據(jù)服務器可以通過一主一備的方式實現(xiàn)故障切換機制，主服務器故障會激活一系列的事件來讓備用服務器接管元數(shù)據(jù)服務職能，而這種切換過程對于具有數(shù)據(jù)訪問需求的客戶端來說是完全透明的，從而提高了系統(tǒng)的可靠性，確保業(yè)務的持續(xù)性。

(2)SAN客戶端：SAN客戶端使用高效的光纖通道協(xié)議進行數(shù)據(jù)傳輸，其最大傳輸單元可達64個數(shù)據(jù)幀之多，這大大減少了校驗數(shù)據(jù)所需的CPU周期，并提高了數(shù)據(jù)傳輸效率。其中大部分功能都是基于硬件實現(xiàn)的，無需對數(shù)據(jù)進行額外的處理，從而大幅減少主機的處理開銷。此外，還支持SAN客戶端采用多路徑冗余或負載均衡等功能，使SAN客戶端獲得非常高的帶寬和極穩(wěn)定的性能[10]。

(3)DLC客戶端與網(wǎng)關(guān)服務器：StorNext的DLC客戶端數(shù)據(jù)共享解決方案是其基于SAN的數(shù)據(jù)共享解決方案的一個重要補充，它能讓需要斷續(xù)訪問或部分訪問共享數(shù)據(jù)儲存庫的應用程序以更低的成本連接數(shù)據(jù)共享系統(tǒng)[11]。在系統(tǒng)中，多個網(wǎng)關(guān)服務器可作為服務器集群同時為所有的計算節(jié)點使用，提供了高速、并發(fā)的數(shù)據(jù)訪問支持，以及網(wǎng)絡數(shù)據(jù)訪問鏈路的冗余和負載均衡。

4.2 異構(gòu)平臺的數(shù)據(jù)共享

在CE-3任務中，要求實現(xiàn)異構(gòu)平臺的數(shù)據(jù)共享，主要體現(xiàn)在主機、網(wǎng)絡接口和存儲設備等3個方面：(1)要求能夠支持異構(gòu)平臺主機(AIX、Windows和Linux等)的高速共享存儲；(2)要求支持多種網(wǎng)絡接口(高速低延遲的FC接口和高性能的以太網(wǎng)DLC接口)，主機可以按照性能需求自由選擇；(3)支持多種品牌和類型的存儲設備(磁盤陣列、磁帶設備和網(wǎng)絡附加存儲等)。以SNFS搭建的數(shù)據(jù)共享系統(tǒng)很好地解決了這三方面的問題，實現(xiàn)了異構(gòu)平臺下的數(shù)據(jù)動態(tài)共享，同時為系統(tǒng)未來升級改造提供了更為廣泛的選擇。

StorNext通過多種機制確保異構(gòu)環(huán)境下數(shù)據(jù)的穩(wěn)定性、可靠性與安全性[12]，主要包括：

(1)令牌機制：為了確保共享文件數(shù)據(jù)的一致性，元數(shù)據(jù)服務器和異構(gòu)文件系統(tǒng)主機之間采用基于令牌的消息傳遞系統(tǒng)。SAN主機發(fā)出獲取文件信息的請求后，會從元數(shù)據(jù)服務器得到一個“信息”令牌。這個令牌包含著文件元數(shù)據(jù)和該文件第一個數(shù)據(jù)塊的數(shù)據(jù)。主機可以不用再發(fā)送請求而連續(xù)使用這個令牌，直到服務器發(fā)出一個令牌“回叫”命令。元數(shù)據(jù)服務器使用回叫機制來同步緩存，以便保證當共享文件被一個主機改動后，數(shù)據(jù)的一致性不被破壞。此外，文件系統(tǒng)還使用“打開”令牌來跟蹤哪一個主機正在使用某個特定文件，使用“數(shù)據(jù)”令牌指示數(shù)據(jù)存放在哪個物理存儲池當中。通過跟蹤系統(tǒng)擁有什么類型的令牌，元數(shù)據(jù)服務器可以維護文件系統(tǒng)命名空間和元數(shù)據(jù)的一致性。

(2)鎖：在一般情況下，StorNext采用POSIX鎖，大多數(shù)POSIX鎖操作可以映射到Windows環(huán)境，以便保證垮平臺操作的一致性。當應用將數(shù)據(jù)寫入一個共享文件時，元數(shù)據(jù)服務器對這個文件的鎖進行仲裁和跟蹤，以防止其他訪問這個文件的應用更改該文件的同一部分。

(3)安全描述符：UNIX文件服務器傳統(tǒng)上采用主機配置文件或網(wǎng)絡信息服務來實現(xiàn)文件訪問授權(quán)，并采用用戶、組和全局3個授權(quán)層次。而Windows則采用Windows安全參考模型，將安全標識指定給用戶并且使用訪問控制列表來控制對對象的訪問權(quán)限。StorNext對以上2種授權(quán)模式都提供了支持，它使用安全描述符作為文件對象的屬性，該屬性結(jié)合了2種模型的屬性，并且自動地將它們一一對應起來：對于UNIX主機，它與網(wǎng)絡信息服務模型配合工作；對于Windows主機，它支持Windows安全模式，從而保證基于Windows的應用可以不用修改就能正常運行。

(4)限額：限額機制用來限制某些用戶、組或特定目錄使用文件系統(tǒng)的空間。一旦一個用戶或組達到了空間使用的最大限額，對該用戶或組來看，文件系統(tǒng)已經(jīng)沒有存儲空間了，只能尋求系統(tǒng)管理人員的幫助。目錄空間限額可針對工作組或特定應用實現(xiàn)，允許不同用戶存儲數(shù)據(jù)到配置限額的目錄，當達到限定的空間時，目錄中就不再允許寫入數(shù)據(jù)。限額對于采用策略進行空間分配非常有用。

(5)日志：StorNext是一個日志型文件系統(tǒng)，它跟蹤所有文件系統(tǒng)結(jié)構(gòu)改變的信息，并把它們記錄在一個日志當中。對于共享文件系統(tǒng)，日志提供了一個有用的、基于交易模式的機制，以保證在出現(xiàn)意外時系統(tǒng)的一致性。

4.3 數(shù)據(jù)共享的性能實現(xiàn)

在CE-3任務中，多業(yè)務系統(tǒng)的協(xié)同處理、各應用之間頻繁而大量的數(shù)據(jù)交換，都對數(shù)據(jù)共享系統(tǒng)提出了嚴苛的性能要求，尤其是遙科學探測分系統(tǒng)大量的基于Windows和Linux的業(yè)務應用需要高速的數(shù)據(jù)吞吐和數(shù)據(jù)交換能力?；赟torNext的文件共享通過將Windows和Linux主機服務器作為SAN客戶端或DLC客戶端，實現(xiàn)了Windows和Linux主機服務器的高速訪問，主要通過以下3種技術(shù)手段為性能提供了保障[13-15]：

(1)條帶化：為提高I/O性能，通過在普通磁盤陣列上創(chuàng)建條帶化卷組，實現(xiàn)在多個物理設備上交叉存儲數(shù)據(jù)，且可以跨越多個磁盤控制器或光纖適配器。采用條帶化處理大規(guī)模、順序讀寫的I/O操作可以通過并行數(shù)據(jù)傳輸將單獨設備的性能聚集起來，非常適合于CE-3任務的I/O流特點。

(2)服務質(zhì)量(QoS)：為了確保核心的業(yè)務應用能夠得到最優(yōu)的I/O帶寬，分析了各個系統(tǒng)和應用對帶寬預留的需求，并根據(jù)業(yè)務等級和關(guān)鍵性對那些實時和關(guān)鍵的應用實施了QoS設置，以在I/O操作高峰期時阻止其他文件系統(tǒng)主機訪問數(shù)據(jù)，從而為關(guān)鍵業(yè)務應用提供了性能保證，避免了應用軟件由于I/O競爭而造成任務流程的阻塞。

(3)緩沖和直接輸入/輸出：緩沖I/O方式可以提高那些經(jīng)常重新使用某特定數(shù)據(jù)的應用的性能，而直接I/O方式對于大量數(shù)據(jù)的傳輸效果更好，因為這樣能夠消除文件系統(tǒng)對內(nèi)存分配的需求。StorNext可以根據(jù)應用的讀寫模式和當前緩沖的利用率決定什么時候系統(tǒng)緩存可以增強單獨的寫操作。在系統(tǒng)實施過程中，根據(jù)CE-3任務的數(shù)據(jù)類型和特點，靈活地選擇緩沖或直接I/O模式，最大限度地提高不同業(yè)務系統(tǒng)的數(shù)據(jù)讀寫性能。

5 測試與結(jié)果分析

分別在CE-1、CE-2和CE-3的數(shù)據(jù)共享系統(tǒng)實施過程中，對系統(tǒng)進行性能測試。為了盡可能模擬真實業(yè)務流程下的數(shù)據(jù)讀寫能力，在對系統(tǒng)進行常規(guī)的讀寫性能測試外，還根據(jù)任務執(zhí)行過程中的數(shù)據(jù)流特點，著重進行了多主機并發(fā)訪問下的數(shù)據(jù)讀寫性能測試。

在嫦娥一號任務中，測試環(huán)境包括1臺磁盤陣列(EMC CX700)、2臺光纖交換機(EMC DS4700M2)和2臺UNIX服務器(IBM P5-570)。2臺UNIX服務器采用雙機高可用方式，每臺UNIX服務器分為3個分區(qū)，共有6個主機，主機操作系統(tǒng)為AIX5.3/HACMP5.2，共享文件系統(tǒng)為GPFS。在6臺主機上同時執(zhí)行命令：＃time dd if=/dev/zero bs=1m of=./test1 count=2000和＃time dd if=/dev/zero bs=1m of=./test 2 count=2000，讀寫數(shù)據(jù)文件大小為2 GB，共執(zhí)行3次。

在嫦娥二號任務中，測試環(huán)境包括2臺磁盤陣列(EMC CX700和EMC CX4-480)、2臺光纖交換機(EMC DS5100 B)、2臺UNIX服務器(IBM P6-570)和6臺工作站(HP Z800)。其中，2臺UNIX服務器采用雙機高可用方式，每臺UNIX服務器分為5個分區(qū)，共有10個主機，主機操作系統(tǒng)為AI X6.1/HACMP5.5，工作站的操作系統(tǒng)為RedHat 5.2，共享文件系統(tǒng)為GPFS 3.3。在10臺主機和6臺Linux工作站上同時執(zhí)行命令：＃time dd if=/dev/zero bs=1m of=./test1 count=20000和＃time dd if=/dev/zero bs=1m of=./test2 count=20000，讀寫數(shù)據(jù)文件大小為20 GB，共執(zhí)行3次。

在嫦娥三號任務中，測試環(huán)境包括1臺磁盤陣列(EMC CX4-480)、2臺光纖交換機(EMC DS5700B)和2臺UNIX服務器(IBM P6-570)。其中，2臺UNIX服務器采用雙機高可用方式，每臺UNIX服務器分為5個分區(qū)，共有10個主機，主機操作系統(tǒng)為AIX6.1/HACMP5.5，共享文件系統(tǒng)為StorN extFS 4.2.2。在10臺主機上對多個不同大小的文件分別進行同時讀寫：＃iozone-w-I-t 5-i 0-s 5000M-r 1M和＃iozone-w-I-t 5-i 1-s 5000M-r 1M，文件大小參數(shù)視主機而定，讀寫數(shù)據(jù)文件大小為20 GB，共執(zhí)行3次。

由于這3個任務的數(shù)據(jù)共享系統(tǒng)是在不同時期建立的，時間跨度較大(2006年－2012年)，因此測試所依存的系統(tǒng)環(huán)境以及所采用的方法存在著一定的差異性，但考慮到業(yè)務的同向性，這種差異并不妨礙本文對數(shù)據(jù)共享系統(tǒng)的讀寫性能做出判斷和分析[16]。3個不同階段數(shù)據(jù)共享系統(tǒng)的性能測試結(jié)果如圖3～圖8所示。

圖3 CE-1任務共享文件系統(tǒng)寫性能的測試結(jié)果

圖4 CE-1任務共享文件系統(tǒng)讀性能的測試結(jié)果

圖5 CE-2任務共享文件系統(tǒng)寫性能的測試結(jié)果

圖6 CE-2任務共享文件系統(tǒng)讀性能的測試結(jié)果

圖7 CE-3任務共享文件系統(tǒng)寫性能的測試結(jié)果

圖8 CE-3任務共享文件系統(tǒng)讀性能的測試結(jié)果

3個階段的總體性能測試結(jié)果如表1所示，將所有參加并發(fā)讀寫測試服務器的讀速度和寫速度進行累加，得到總速度作為I/O性能指標來衡量數(shù)據(jù)共享系統(tǒng)的整體性能表現(xiàn)。從測試結(jié)果看，由于CE-2數(shù)據(jù)共享系統(tǒng)在測試過程中采用16臺服務器對2臺磁盤陣列進行并發(fā)讀寫訪問，相比于CE-3采用10臺服務器對1臺磁盤陣列進行并發(fā)讀寫訪問，性能明顯優(yōu)異，但若扣除由于磁盤陣列和讀寫服務器數(shù)量較多所帶來的性能優(yōu)勢，同時考慮圖3中CE-2任務中寫性能可能由于緩存的影響而給部分服務器帶來的性能上的突升，認為CE-3基于SNFS建立的數(shù)據(jù)共享系統(tǒng)在整體性能得到了穩(wěn)步提升。在實際使用過程中，CE-3任務所建立的數(shù)據(jù)共享系統(tǒng)表現(xiàn)了較為出色的異構(gòu)環(huán)境下的數(shù)據(jù)共享能力，滿足支持更復雜、更苛刻數(shù)據(jù)共享和處理的應用要求。

表1 數(shù)據(jù)共享系統(tǒng)性能測試結(jié)果(MB·s-1)

6 結(jié)束語

隨著月球探測工程的不斷深入、各類應用的不斷增多以及探測數(shù)據(jù)量的不斷累積，對系統(tǒng)的計算機應用架構(gòu)提出了更高的要求。實現(xiàn)多種異構(gòu)平臺下的數(shù)據(jù)共享以及海量數(shù)據(jù)的高性能低延時讀寫訪問，是一個較為復雜的問題，采用本文技術(shù)方案可以有效地解決深空探測任務中基于大數(shù)據(jù)的多種異構(gòu)平臺數(shù)據(jù)共享和高效訪問問題。在實際應用中，該方案與研究成果也得到了很好的驗證，系統(tǒng)性能穩(wěn)定滿足工程要求。由于CE-3任務的業(yè)務流程高度復雜以及后續(xù)深空探測任務的需求多變，因此針對具體業(yè)務的特點對系統(tǒng)進行精細化的調(diào)整和優(yōu)化是后續(xù)的工作重點。

[1]月球與深空探測研究部.探月工程二期地面應用系統(tǒng)嫦娥三號任務總部計算機系統(tǒng)改造方案[R].北京:中國科學院國家天文臺,技術(shù)報告:CE-3-DMS-FASJ-001,2011.

[2]郭 潔.近線存儲異構(gòu)播出平臺的研究與實現(xiàn)[D].廣州:華南理工大學,2011.

[3]Butler G,Lee R,Welcome M.GUPFS:The Global Unified Parallel File System Project at NERSC[R].Berkeley,USA:National Energy Research Scientific Computing Center Lawrence Berkeley National Laboratory,Tech.Rep.:MSST2004-41,2004.

[4]月球與深空探測研究部.探月工程二期地面應用系統(tǒng)嫦娥三號任務總部計算機系統(tǒng)集成實施方案與計劃[R].北京:中國科學院國家天文臺,技術(shù)報告:CE-3-GRAS-YSWJ-001,2012.

[5]Quantum Corp..StorNext Technical Product Brief[EB/OL].(2011-02-01).http://salestools.quantum.com/getDocERetriever.cfm?filename=%2A%2BRC%5CT%5E%40%3AX4%3A2GP%20%20%0A&loc=2&ext=.pdf&type_mime=undefined.

[6]Quantum Corp..Faster Processing Helps Digital Globe at GoogleEarth[EB/OL].(2006-02-01).http://www.quantum.com/iqdoc/doc.aspx?id=5333.

[7]Perry R,Nadkami A.展示StorNext的商業(yè)價值[EB/OL].(2012-08-01).http://www.quantum.com/cn/products/software/stornext/index.aspx.

[8]劉 杰.昆騰大數(shù)據(jù):磁帶重生磁盤主導[EB/OL].(2013-06-03). http://stor-age.zdnet.com.cn/stor-age/2013/0603/2162361.shtml.

[9]Quantum Corp..Extended Data Life Management:Protecting Data over Long Periods of Time[EB/OL].(2011-11-01).http://www.quantum.com/products/bigdatamanagement/storne xtael/index.aspx.

[10]Shu Jiwu,Li Bigang,Zheng Weimin.Design and Implementation of an SAN System Based on the Fiber Channel Protocol[J].IEEE Transactions on Computers,2005,54(4):439-448.

[11]Quantum Corp..StorNext 4.0 Technical Product Brief[EB/OL].(2011-02-01).http://www.dscon.ru/quantumdocs/quantum_stor next_4.pdf.

[12]張雪冰,張延園.SAN異構(gòu)存儲共享系統(tǒng)實現(xiàn)技術(shù)研究[J].計算機工程,2006,32(3):105-107.

[13]Villars R L,Regula B.Quantum StorNext:High-performance Scale-out File System Solution Large Data Types[R].San Jose,USA:Quantum Corp.,Tech.Rep.:IDC#230916,2011.

[14]Quantum Corp..A Fast File System Just Keeps on Getting Faster[R].San Jose,USA:Quantum Corp.,Tech.Rep.:PB00039A-v01,2011.

[15]Palmer T,Garrett B.Quantum StorNext 3.0 High Performance Workflow and Digital Archiving,A Validation Study by ESG Lab[EB/OL].(2007-05-01).http://www.esg-global.com/default/?LinkServID=E421EBBC-DAF6-3D47-D36CB76B4C108113.

[16]楊 進,魏軼偉,賈惠波,等.存儲區(qū)域網(wǎng)的性能測試[J].計算機工程,2003,29(16):43-44.