涂暢+王海濱+鄭寶銘+師威

摘 要：文章立足開行實際，以跨數(shù)據(jù)中心的多活部署和資源云化管理為架構(gòu)目標，面向云計算和大數(shù)據(jù)的新型技術(shù)要求，研究提供更加高效、敏捷、靈活、可靠的數(shù)據(jù)存儲資源平臺，探索跨數(shù)據(jù)中心的數(shù)據(jù)綜合管控、利用及保護。本課題結(jié)合開行稻香湖數(shù)據(jù)中心的規(guī)劃和詳細設計，以及正在開展的搬遷建設工作，完成了存儲虛擬化和文件系統(tǒng)高可用平臺的技術(shù)研究，提出了新型數(shù)據(jù)中心的混合模式存儲架構(gòu)及演進路線，并搭建基礎(chǔ)環(huán)境進行推廣驗證，為后期架構(gòu)轉(zhuǎn)型和技術(shù)升級積累經(jīng)驗，為搬遷工作提供技術(shù)支持和參考，相關(guān)成果將應用于新數(shù)據(jù)中心建設。

關(guān)鍵詞：多中心；存儲虛擬化；文件系統(tǒng)高可用；混合存儲架構(gòu)

中圖分類號：TP333 文獻標志碼：A 文章編號：2095-2945（2018）03-0189-03

Abstract： This topic is based on the reality of the Bank， with multi-live deployment of cross-data center and the management of resources cloudization as the framework goals， in order to meet the new technical need of cloud computing and big data， this research intends to provide a more efficient， agile， flexible and reliable platform for data storage resources， and explores the integrated management， utilization and protection of cross-data centers. In combination with the planning and detailed design from the Data Center of China Development Bank， as well as the ongoing relocation and construction work， the technological research of storage virtualization and file system high availability platform has been completed. The hybrid storage architecture and evolution route of the new data center are put forward， and the basic environment is built to popularize and verify it， which can provide technical support and reference for the later stage of architecture transformation and technology upgrading. The results will be applied to the construction of new data centers.

Keywords： multi-center； storage virtualization； availability of file system high； hybrid storage architecture

1 概述

對于數(shù)據(jù)的高速處理和深度利用，研究建設基于多活中心模式的存儲虛擬化和文件系統(tǒng)高可用平臺，是開行創(chuàng)新IT基礎(chǔ)架構(gòu)和數(shù)據(jù)處理模式，建立架構(gòu)開放彈性、業(yè)務IT深度融合、安全可控的信息科技體系的必要手段，將為新常態(tài)下開行踐行開發(fā)性金融戰(zhàn)略提供更加有力的支撐。

1.1 面臨需求與挑戰(zhàn)

當前國內(nèi)銀行業(yè)IT數(shù)據(jù)存儲不斷向RPO和RTO趨向零的雙活方向發(fā)展，通過不同粒度資源池滿足應用需求，同時按照技術(shù)標準化、流程標準化和管理標準化三個維度推進服務管理體系建設。

1.2 存儲虛擬化及文件系統(tǒng)高可用應用

國開行2015年初啟動了稻香湖數(shù)據(jù)中心規(guī)劃設計，并以此為發(fā)展契機，于2017年初啟動了多中心存儲虛擬化和文件系統(tǒng)高可用平臺建設研究項目。

對于多活中心非核心系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)可以采用存儲虛擬化技術(shù)結(jié)合應用層多活技術(shù)實現(xiàn)數(shù)據(jù)多活，對于多活中心非結(jié)構(gòu)化數(shù)據(jù)可以采用分布式文件系統(tǒng)高可用平臺技術(shù)實現(xiàn)數(shù)據(jù)多活。

2 多活中心存儲虛擬化平臺方案

2.1 概述

存儲虛擬化建設能夠取得較大效益，可以實現(xiàn)多個獨立存儲系統(tǒng)的整合、存儲空間及性能的整體利用率提升，賦予所管理存儲資源豐富的數(shù)據(jù)優(yōu)化、高可用和業(yè)務連續(xù)性能力等。

2.2 分類與選型

存儲虛擬化分類具有三種類型：一是基于主機的存儲虛擬化；二是基于存儲網(wǎng)絡的虛擬化；三是基于磁盤陣列的虛擬化。對適用場景和優(yōu)缺點的分析如下：（1）三種虛擬化模式優(yōu)缺點比較。（表1）（2）主要技術(shù)選型說明?；谏鲜霰容^，存儲網(wǎng)絡的虛擬化適用范圍最廣，可作為一般情況下的首選?；谝陨咸攸c及借鑒同業(yè)應用經(jīng)驗，開行選用存儲網(wǎng)絡虛擬化技術(shù)。

2.3 關(guān)鍵場景應用

（1）多活中心全場景部署模式。方案模式及效果：滿足非核心系統(tǒng)由數(shù)據(jù)級災備向應用級災備發(fā)展需求，構(gòu)建五種場景：本地存儲雙活；本地雙活、同城異步復制；同城雙活；同城異步復制；同城雙活、異地異步復制。

（2）資源高效管理。方案模式及效果：納入存儲虛擬化網(wǎng)關(guān)強化統(tǒng)一管理；引入新技術(shù)：資源池管理統(tǒng)一分配資源，云管理平臺，提供自服務功能、運營服務目錄功能，提高資源管理效率。endprint

（3）利舊設備分級存儲。方案模式及效果：利舊設備分級組合；不同級別設備組合通過擴大網(wǎng)關(guān)內(nèi)存，提高性能；增加應用靈活性。

（4）數(shù)據(jù)安全性保障。方案模式及效果：多份數(shù)據(jù)保存，保證數(shù)據(jù)安全；快照應用，提供各種環(huán)境使用。

（5）高效空間利用。方案模式及效果：使用自動精簡配置，提高存儲利用率；應用實時壓縮，壓縮后數(shù)據(jù)量減少，帶寬的占用降低30%左右。

（6）長距離數(shù)據(jù)同步。稻香湖與懷柔長距離影響，需要確認延遲是否對系統(tǒng)建設帶來影響；要分析不同存儲數(shù)據(jù)塊大小對于數(shù)據(jù)雙活讀寫性能的影響程度。

方案模式及效果：一是大數(shù)據(jù)塊時對測試值分析，單并發(fā)時遠程響應時間比本地多1.8ms；當并發(fā)數(shù)提高到24個時，本地和遠程的響應時間相差很小；小數(shù)據(jù)塊長距離寫測試分析，并發(fā)量小時性能較好，讀寫延遲滿足數(shù)據(jù)庫雙活要求，存儲塊大小與數(shù)據(jù)庫默認塊大?。?KB）一致時，數(shù)據(jù)讀寫性能更好；二是測試裸光纖長距離延遲，根據(jù)生產(chǎn)和同城實時數(shù)據(jù)傳輸測試驗證數(shù)據(jù)，遠程寫操作響應時間平均為2.16ms，能滿足數(shù)據(jù)庫雙活5ms的延遲要求。

2.4 平臺技術(shù)驗證

一是同城雙活的虛擬化驗證；二是異地異步復制技術(shù)驗證；三是開發(fā)測試OPENSTACK資源池使用驗證；四是管理分布式存儲軟件驗證。

3 多活數(shù)據(jù)中心文件系統(tǒng)高可用平臺方案

開行實施高可用平臺建設是為建設多活數(shù)據(jù)中心的基礎(chǔ)架構(gòu)，為未來向云數(shù)據(jù)中心發(fā)展奠定基礎(chǔ)。

3.1 概述

文件系統(tǒng)高可用主要技術(shù)特點：一是物理部署分布式；二是處理過程分布式；三是數(shù)據(jù)存儲分布式；四是訪問接入分布式。

3.2 調(diào)研與選擇

在廣泛產(chǎn)品調(diào)研的基礎(chǔ)上，開行研究采用商用高可用文件系統(tǒng)產(chǎn)品。

各文件系統(tǒng)的優(yōu)缺點及適用范圍總結(jié)如下（表2）：

對比分析，并行集群文件系統(tǒng)GPFS（General Parallel File System）各方面特征符合開行要求。

3.3 關(guān)鍵場景應用

（1）數(shù)據(jù)雙活。方案模式及效果：一是雙中心同步：搭建GPFS集群，數(shù)據(jù)以雙副本同步形式，分別存儲到生產(chǎn)中心和輔生產(chǎn)中心；二是雙中心數(shù)據(jù)雙活：數(shù)據(jù)在兩中心實時同步，同時讀寫，數(shù)據(jù)層面實現(xiàn)雙活；三是同等服務能力：雙活應用本地訪問后臺數(shù)據(jù)，應用服務器可同等提供對用戶的服務能力。

（2）長距離同步。方案模式及效果：一短距二層可靠：長安街、北豐20公里大二層雙中心模式下，雙中心的雙活秒級切換；二是三層同步不穩(wěn)定：阜外、懷柔的跨中心距離120km，經(jīng)測試三層網(wǎng)絡傳輸?shù)耐焦ぷ鞑环€(wěn)定。

（3）數(shù)據(jù)安全和保護。方案模式及效果：一是三副本：雙數(shù)據(jù)中心的GPFS集群，在集群中，數(shù)據(jù)以三副本的形式存儲；二是三份數(shù)據(jù)都可使用；三是與應用系統(tǒng)協(xié)同確保數(shù)據(jù)安全。

（4）優(yōu)化數(shù)據(jù)生命周期。方案模式及效果：一是透明遷移熱點：利用分層存儲功能，掛載不同性能的存儲，配置自動遷移數(shù)據(jù)；二是數(shù)據(jù)自動分布：自動調(diào)整數(shù)據(jù)的分布，優(yōu)化數(shù)據(jù)生命周期管理。

（5）統(tǒng)一大數(shù)據(jù)存儲平臺。方案模式及效果：一是利用FPO搭建大數(shù)據(jù)存儲平臺；二是構(gòu)建通用分布式平臺。

3.4 平臺技術(shù)實踐

GPFS在多中心的實踐中，選定三種架構(gòu)：一是Linux+GPFS，F(xiàn)PO+SAMBA服務；二是Power平臺GPFS集群連接高端存儲；三是X86平臺GPFS集群連接低端存儲。開行結(jié)合行內(nèi)ECM平臺建設進行了雙中心模式下短距離GPFS集群功能測試、GPFS單中心集群測試、雙中心模式下長距離GPFS集群功能測試。

4 應用效果

應用效果一是存儲設備利舊，涉及裸容量750PB，可以有效降低存儲使用成本約1000萬元；二是簡化運維流程，提升了資源配置效率，推進多層次運維體系建設；三是新架構(gòu)和服務交付能力提升，滿足應用系統(tǒng)容災恢復、多活和大數(shù)據(jù)等應用擴展性和高可用性的要求；四是業(yè)務連續(xù)性級別提升，存儲數(shù)據(jù)零丟失。

參考文獻：

[1]施澤全.基于虛擬化的高校數(shù)據(jù)中心異構(gòu)存儲策略研究及實踐[J].中國新通信，2015（23）.

[2]馮偉斌，張云勇，王志軍.支持不同存儲方式的OpenStack云平臺設計與實現(xiàn)[J].電信科學，2016（4）.endprint