單德華,楊紅艷,孫鴻雁
(遼寧省地震局,沈陽 110031)
2006年~2008年中國地震局在1個國家中心和41個省地震局及直屬單位(以下簡稱區(qū)域中心)建立了暢通高效的臺站-區(qū)域-國家數(shù)據(jù)流平臺,采用了SAN和NAS的相結(jié)合的存儲結(jié)構(gòu),具有易擴容以及安全容錯存儲機制; 為數(shù)據(jù)庫集群應用提供了高速、共享、穩(wěn)定、大容量的共享磁盤存儲;搭建存儲局域網(wǎng)絡,且具有故障自動切換功能。為各業(yè)務系統(tǒng)提供了基礎存儲平臺。
國家中心通過150T的SAN+NAS存儲系統(tǒng)、備份系統(tǒng)搭建了臺網(wǎng)中心數(shù)據(jù)系統(tǒng)的基礎設施,完成了匯集、入庫等數(shù)據(jù)庫應用系統(tǒng)開發(fā)和部署,建成了“十五”觀測數(shù)據(jù)集成存儲和管理的平臺,每天匯集、存儲、管理的觀測數(shù)據(jù)量達到35G以上,對1021個測震臺站、超過70個前兆臺站數(shù)據(jù)進行了匯集和管理,數(shù)據(jù)庫容量超過1500萬條。
區(qū)域中心通過8.5T的SAN+NAS存儲系統(tǒng)搭建了區(qū)域中心數(shù)據(jù)系統(tǒng)的基礎設施,完成了匯集、入庫等數(shù)據(jù)庫應用系統(tǒng)開發(fā)和部署,建成了“十五”區(qū)域觀測數(shù)據(jù)集成存儲和管理的平臺,每個區(qū)域中心平均每天匯集、存儲、管理的觀測數(shù)據(jù)量達到2G以上,對區(qū)域內(nèi)測震臺站和前兆臺站數(shù)據(jù)進行了匯集和管理,數(shù)據(jù)庫容量超過30萬條。
大中城市節(jié)點、縣級節(jié)點和臺站節(jié)點采用144G的PC服務器搭建了本節(jié)點范圍內(nèi)的地震觀測儀器數(shù)據(jù)采集和交換平臺,有條件的節(jié)點將本地區(qū)及臨近地區(qū)的測震實時數(shù)據(jù)匯集到節(jié)點的服務器中,形成虛擬觀測臺網(wǎng),每個節(jié)點平均每天數(shù)據(jù)流量超過400M。
通過在國家中心和區(qū)域中心安裝雙機Oracle數(shù)據(jù)庫,實現(xiàn)應用集成、綜合共享和數(shù)據(jù)建模功能;在臺站安裝單機Oracle數(shù)據(jù)庫用于存放綜合在線監(jiān)控類數(shù)據(jù)、前兆觀測數(shù)據(jù)及其元數(shù)據(jù),也可根據(jù)需要選擇存放分析預報和研究需要的其它基礎數(shù)據(jù)(如地震目錄)和產(chǎn)出結(jié)果、速報臺所需的測震觀測數(shù)據(jù)和元數(shù)據(jù)等;在大中城市節(jié)點安裝單機Oracle數(shù)據(jù)庫用于存放本市及臨近地區(qū)的震情和災情數(shù)據(jù)、地震信息服務系統(tǒng)匯集的綜合信息、應急指揮系統(tǒng)匯集的數(shù)據(jù)等;在縣節(jié)點安裝單機版Oracle數(shù)據(jù)庫,用于存放本地及臨近地區(qū)的震情和災情數(shù)據(jù)、地震信息服務軟件必要的后臺基礎數(shù)據(jù)等。在國家中心和區(qū)域中心安裝的數(shù)據(jù)庫采用Oracle10g的RAC技術(shù)。
在中國地震臺網(wǎng)中心和區(qū)域中心部署數(shù)據(jù)存儲系統(tǒng),主要包括以下功能:數(shù)據(jù)存儲、數(shù)據(jù)管理、數(shù)據(jù)安全與備份。
國家中心數(shù)據(jù)存儲子系統(tǒng)集成國務院抗震救災指揮部技術(shù)系統(tǒng)、國家數(shù)字測震臺網(wǎng)中心、國家地震前兆臺網(wǎng)中心、國家地震分析預報系統(tǒng)和國家地震信息網(wǎng)絡中心5個子項目的數(shù)據(jù)存儲需求。
中國地震臺網(wǎng)中心數(shù)據(jù)存儲系統(tǒng)拓撲如圖1所示。
圖1 數(shù)據(jù)存儲系統(tǒng)整體拓撲示意圖
中國地震臺網(wǎng)中心數(shù)據(jù)存儲系統(tǒng)結(jié)構(gòu)如圖2所示。
圖2 國家中心數(shù)據(jù)存儲系統(tǒng)結(jié)構(gòu)圖
中國地震臺網(wǎng)中心數(shù)據(jù)存儲系統(tǒng)設計包括存儲架構(gòu)設計,磁盤陣列存儲系統(tǒng)設計,備份系統(tǒng)設計三個部分。
數(shù)據(jù)的存儲訪問模式分為數(shù)據(jù)庫系統(tǒng)和歸檔文件系統(tǒng)兩類。數(shù)據(jù)庫系統(tǒng)訪問通過SAN結(jié)構(gòu)來實現(xiàn),歸檔文件系統(tǒng)訪問通過網(wǎng)絡共享方式實現(xiàn)。
存儲系統(tǒng)各主要技術(shù)指標: 存儲系統(tǒng)配置4Gb/s主機接口卡,4Gb/s端口的光纖交換機,4Gb/s端口的磁盤陣列,支持4Gb/s的磁盤通道實現(xiàn)端到端的全4Gb/s光纖通道存儲。
區(qū)域中心數(shù)據(jù)存儲子系統(tǒng)拓撲如圖3所示。
圖3 區(qū)域中心數(shù)據(jù)存儲系統(tǒng)整體拓撲示意圖
區(qū)域中心中心數(shù)據(jù)存儲系統(tǒng)包括存儲架構(gòu)設計,磁盤陣列存儲系統(tǒng)設計,備份系統(tǒng)設計三個部分。
數(shù)據(jù)管理主要完成從業(yè)務庫(測震、前兆)到信息庫的數(shù)據(jù)交換和歸檔,數(shù)據(jù)匯集與管理如圖4所示。
圖4 數(shù)據(jù)匯集與管理物理結(jié)構(gòu)圖
服務層:不同服務集成在服務網(wǎng)站上,如:元數(shù)據(jù)查詢、臺站參數(shù)查詢、WEBSERVICE訂閱、波形數(shù)據(jù)等服務,統(tǒng)一集成在服務界面上,地震數(shù)據(jù)服務層僅負責服務請求和展現(xiàn)。
緩沖、調(diào)度層:負責服務調(diào)度管理,緩沖文件系統(tǒng)、臨時庫的管理等,數(shù)據(jù)一般是臨時存儲。為了提高服務的穩(wěn)定和高效性,引人了調(diào)度管理的策略,不同的服務可以有不同的調(diào)度管理策略,根據(jù)服務性質(zhì)不通,有不同的緩沖和調(diào)度策略。
圖5 國家中心備份系統(tǒng)物理拓撲圖
數(shù)據(jù)源層: 可以不同的數(shù)據(jù)源,如不同的數(shù)據(jù)庫系統(tǒng)、文件系統(tǒng)。
根據(jù)實際的業(yè)務特點,在國家中心和區(qū)域利用備份軟件和磁盤陣列的SnapView鏡像軟件,制定了信息數(shù)據(jù)庫及其文件系統(tǒng)的備份策略與規(guī)劃。國家中心和區(qū)域中心具體策略如表1所示。
在1個國家中心和41個區(qū)域中心采用Oracle RAC雙機系統(tǒng),具有高可靠性、負載均衡和故障自動切換機制;為海量數(shù)據(jù)的準實時接收和匯聚的數(shù)據(jù)提供了可靠的數(shù)據(jù)容器,大中城市、縣級節(jié)點、臺站節(jié)點均采用標準版Oracle。
在國家中心和區(qū)域中心基于測試和驗證,設計了測震10分鐘等時的數(shù)據(jù)結(jié)構(gòu)(原始數(shù)據(jù)格式為512字節(jié)),使數(shù)據(jù)紀錄數(shù)縮小為原來的1/200,可提供3個月在線波形數(shù)據(jù)的高效存儲和有效訪問,采用了基于日期映射的分區(qū)技術(shù),BLOB和CLOB存儲類型單獨存儲的策略提高了數(shù)據(jù)匯集入庫、存儲管理和檢索數(shù)據(jù)訪問效率。
[1] Ken Henderson.SQL Server 存儲過程、XML和HTML高級指南[M].北京:清華大學出版社,2002,231-238.
[2] Stephen Coffin.Unix系統(tǒng)V第4版參考大全[M].北京:科學出版社,2005,213-217.