吳恒清 ，吳靜子

（1. 淮河水利委員會(huì)信息中心，安徽 蚌埠 233001；2. 長(zhǎng)江水利委員會(huì)網(wǎng)絡(luò)與信息中心，湖北 武漢 430010）

0 引言

“十一五”以來，水利部淮河水利委員會(huì)（以下簡(jiǎn)稱淮委）信息化依托淮委電子政務(wù)系統(tǒng)工程、防汛抗旱指揮系統(tǒng)工程、水資源監(jiān)控能力建設(shè)、淮河數(shù)據(jù)容災(zāi)備份中心和重要信息系統(tǒng)等級(jí)保護(hù)等一批重點(diǎn)項(xiàng)目的建設(shè)，建成了較為完備的數(shù)據(jù)采集傳輸、防汛通信和計(jì)算機(jī)網(wǎng)絡(luò)、數(shù)據(jù)備份容災(zāi)及安全保障等基礎(chǔ)設(shè)施，積累了水利基礎(chǔ)空間、防汛抗旱、水資源管理等九大類數(shù)據(jù)資源，建設(shè)了電子政務(wù)、防汛抗旱綜合管理、水資源綜合管理等多個(gè)業(yè)務(wù)應(yīng)用系統(tǒng)。淮委水利信息化體系初具規(guī)模，為流域水行政管理提供了有力支撐。

但是，隨著業(yè)務(wù)應(yīng)用信息系統(tǒng)的增加，淮委水利信息化存在以下問題：

1）水利信息化資源“煙囪、孤島”等問題逐步顯現(xiàn)，數(shù)據(jù)資源存在信息孤島、交互協(xié)同不足、更新維護(hù)得不到保證等問題，限制了數(shù)據(jù)的使用和內(nèi)在價(jià)值的發(fā)揮；

2）業(yè)務(wù)應(yīng)用孤立分散，沒有形成橫向數(shù)據(jù)貫通、應(yīng)用協(xié)同，不能滿足未來流域綜合管理和決策支持的需要；

3）基礎(chǔ)軟硬件資源分散，資源利用率和安全管理受到局限[1]。針對(duì)這些問題，水利部根據(jù)《水利信息化資源整合共享頂層設(shè)計(jì)》，批準(zhǔn)淮委開展綜合管理信息資源整合與共享建設(shè)。

隨著業(yè)務(wù)應(yīng)用信息化的發(fā)展，不同業(yè)務(wù)信息系統(tǒng)的投入使用，每套信息系統(tǒng)都配套了相應(yīng)的物理服務(wù)器，使得數(shù)據(jù)中心機(jī)房硬件環(huán)境越來越復(fù)雜，物理服務(wù)器的數(shù)量逐年增加，從最初的 10 多臺(tái)，增加到 200 多臺(tái)。物理服務(wù)器數(shù)量的不斷增加，除了利用率不高，還給運(yùn)維和管理帶來極大的困難。針對(duì)較低的資源利用率等信息化建設(shè)面臨的現(xiàn)實(shí)問題，將物理服務(wù)器進(jìn)行虛擬化是有效的解決途徑。為此，著重研究如何合理運(yùn)用虛擬化技術(shù)，將其應(yīng)用于淮委綜合管理信息資源整合與共享建設(shè)，構(gòu)建淮委計(jì)算存儲(chǔ)資源池（即基礎(chǔ)運(yùn)行環(huán)境“一朵云”，以下簡(jiǎn)稱“一朵云”），為全委業(yè)務(wù)應(yīng)用信息化提供私有云運(yùn)行環(huán)境支撐。

1 虛擬化技術(shù)路線

虛擬化技術(shù)主要包括 CPU、內(nèi)存、存儲(chǔ)資源（或磁盤）、網(wǎng)絡(luò)、安全等虛擬化技術(shù)[2–3]，主要應(yīng)用于服務(wù)器、存儲(chǔ)資源、網(wǎng)絡(luò)及安全設(shè)備和桌面虛擬化等方面。在淮委信息資源整合共享建設(shè)中主要運(yùn)用了服務(wù)器和存儲(chǔ)資源虛擬化技術(shù)。

1.1 服務(wù)器虛擬化

服務(wù)器虛擬化是指應(yīng)用 CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)等虛擬化技術(shù)，將服務(wù)器的 CPU、內(nèi)存、磁盤、I/O 等硬件集中管理，通過集中式的動(dòng)態(tài)按需分配，將物理服務(wù)器通過虛擬化軟件虛擬成多臺(tái)虛擬服務(wù)器（又稱虛擬機(jī) Virtual Machine，以下簡(jiǎn)稱 VM）。通過虛擬化后的虛擬服務(wù)器可以無感知地與物理服務(wù)器以相同的方式提供服務(wù)，每臺(tái)虛擬服務(wù)器可以通過資源池動(dòng)態(tài)分配資源，兼容不同的操作系統(tǒng)，支撐不同的系統(tǒng)應(yīng)用。服務(wù)器虛擬化能夠通過區(qū)分資源的優(yōu)先次序，隨時(shí)隨地將服務(wù)器資源分配給最需要它們的工作負(fù)載，簡(jiǎn)化管理，提高效率，從而減少為單個(gè)工作負(fù)載峰值而消耗的資源。

通過服務(wù)器虛擬化技術(shù)，用戶可以動(dòng)態(tài)啟用虛擬服務(wù)器，每個(gè)服務(wù)器實(shí)際上可以讓操作系統(tǒng)及在上面運(yùn)行的任何應(yīng)用程序誤以為虛擬機(jī)就是實(shí)際硬件。運(yùn)行多個(gè)虛擬機(jī)還可以充分發(fā)揮物理服務(wù)器的計(jì)算潛能，迅速應(yīng)對(duì)數(shù)據(jù)中心不斷變化的需求。

1.2 存儲(chǔ)資源虛擬化

所謂虛擬存儲(chǔ)，就是把多個(gè)存儲(chǔ)介質(zhì)模塊或資源（如硬盤、磁盤陣列 RAID、存儲(chǔ)系統(tǒng)等）通過一定的手段集中管理起來，所有的存儲(chǔ)資源在 1 個(gè)存儲(chǔ)池中得到統(tǒng)一管理，從主機(jī)和工作站的角度，看到的不是多個(gè)硬盤，而是 1 個(gè)分區(qū)或者卷，就象是1 個(gè)超大容量的硬盤。這種可以將多種、多個(gè)存儲(chǔ)設(shè)備統(tǒng)一管理起來，為使用者提供大容量、高數(shù)據(jù)傳輸性能的存儲(chǔ)系統(tǒng)資源，就是存儲(chǔ)資源虛擬化。

虛擬存儲(chǔ)設(shè)備主要通過大規(guī)模的 RAID 子系統(tǒng)和多個(gè) I/O 通道連接到服務(wù)器上，智能控制器提供LUN（邏輯單元號(hào)）訪問控制、緩存和其他（如數(shù)據(jù)復(fù)制）等管理功能。這種方式的優(yōu)點(diǎn)在于存儲(chǔ)設(shè)備管理員對(duì)設(shè)備有完全的控制權(quán)，而且虛擬存儲(chǔ)設(shè)備與服務(wù)器系統(tǒng)分開，可以將存儲(chǔ)管理與多種服務(wù)器操作系統(tǒng)隔離，很容易地調(diào)整硬件參數(shù)。

1.3 虛擬化技術(shù)實(shí)現(xiàn)

1.3.1 服務(wù)器虛擬化技術(shù)實(shí)現(xiàn)

目前常用的服務(wù)器主要有 Unix 和 X86 2 種服務(wù)器。對(duì) Unix 服務(wù)器而言，IBM，HP，Sun 各有自己的技術(shù)標(biāo)準(zhǔn)，沒有統(tǒng)一的虛擬化技術(shù)，因此，目前Unix 的虛擬化還受具體產(chǎn)品平臺(tái)的制約，Unix 服務(wù)器虛擬化通常會(huì)用到硬件分區(qū)技術(shù)。X86 服務(wù)器的虛擬化標(biāo)準(zhǔn)則相對(duì)開放，新引入的虛擬化層通常稱為虛擬機(jī)監(jiān)控器（VMM），也叫做 Hypervisor。X86服務(wù)器的虛擬化技術(shù)包括以下三大流派[4]：

1）半（準(zhǔn)）虛擬化。半虛擬化又稱為操作系統(tǒng)輔助虛擬化，即通過改動(dòng)客戶操作系統(tǒng)，讓它以為自己運(yùn)行在虛擬環(huán)境下，能夠與 Hypervisor 協(xié)同工作，這種方法也稱準(zhǔn)虛擬化。半（準(zhǔn)）虛擬化中的 Hypervisor不對(duì) I/O 設(shè)備做模擬，僅僅對(duì) CPU 和內(nèi)存做模擬。半（準(zhǔn)）虛擬化技術(shù)的優(yōu)點(diǎn)是性能高，經(jīng)過準(zhǔn)虛擬化處理的服務(wù)器可與 Hypervisor 協(xié)同工作，其響應(yīng)能力不亞于未經(jīng)過虛擬化處理的服務(wù)器。

2）完全虛擬化。使用 Hypervisor 在 VM 和底層硬件之間建立 1 個(gè)抽象層，Hypervisor 捕獲 CPU 指令，為指令訪問硬件控制器和外設(shè)充當(dāng)中介。這種虛擬化技術(shù)幾乎能讓任何一款操作系統(tǒng)不加改動(dòng)就可以安裝在 VM 上，而它們不知道自己運(yùn)行在虛擬化環(huán)境下。完全虛擬化是處理器密集型技術(shù)，因?yàn)樗?Hypervisor 管理各個(gè)虛擬服務(wù)器，并彼此獨(dú)立。完全虛擬化的主要缺點(diǎn)是 Hypervisor 會(huì)帶來處理開銷。

3）硬件輔助虛擬化。硬件輔助虛擬化技術(shù)，就是在 CPU、主板芯片組及 l/O 設(shè)備等硬件中加入專門針對(duì)虛擬化的支持，使得系統(tǒng)軟件可以更加容易、高效地實(shí)現(xiàn)虛擬化功能。KVM（基于內(nèi)核的虛擬機(jī)）是基于硬件輔助虛擬化技術(shù)的典型方案，其核心是在服務(wù)器體系架構(gòu)中增加相應(yīng)的硬件支持。針對(duì) CPU 硬件輔助虛擬化技術(shù)，CPU 帶有特別優(yōu)化過的指令集控制虛擬過程，Intel 發(fā)布了 Intel-VT-x及相關(guān)的處理器產(chǎn)品，AMD 推出了虛擬化解決方案 AMD-V。針對(duì)內(nèi)存虛擬化提供硬件支持，Intel和 AMD 分別提出擴(kuò)展頁表（EPT）和 NPT（Nested Page Table）技術(shù)，都是在硬件層面上實(shí)現(xiàn)虛擬地址到機(jī)器地址之間的轉(zhuǎn)換。針對(duì) I/O 虛擬化，Intel 推出 VT-d（Intel’s Virtualization Technology for Directed I/O）技術(shù)，AMD 推出 IOMMU（Input/Output Memory Management Unit）技術(shù)。

1.3.2 存儲(chǔ)資源虛擬化技術(shù)實(shí)現(xiàn)

對(duì)于存儲(chǔ)資源虛擬化，主要有以下 3 種實(shí)現(xiàn)方式[5]：

1）基于主機(jī)的虛擬存儲(chǔ)技術(shù)實(shí)現(xiàn)。依靠安裝在主機(jī)上的邏輯卷管理軟件在主機(jī)上實(shí)現(xiàn)虛擬存儲(chǔ)，通過存儲(chǔ)虛擬化的控制和管理，屏蔽了物理磁盤的管理，在邏輯與管理網(wǎng)的控制下實(shí)現(xiàn)存儲(chǔ)介質(zhì)的統(tǒng)一管理。

2）基于存儲(chǔ)設(shè)備的虛擬存儲(chǔ)技術(shù)實(shí)現(xiàn)。存儲(chǔ)設(shè)備的資源虛擬化主要依靠提供的存儲(chǔ)設(shè)備控制器，通過網(wǎng)絡(luò)技術(shù)將存儲(chǔ)設(shè)備的控制器和存儲(chǔ)設(shè)備連接，在存儲(chǔ)系統(tǒng)內(nèi)進(jìn)行存儲(chǔ)虛擬化工作，從而提供更多統(tǒng)一管理利用的存儲(chǔ)空間。

3）基于網(wǎng)絡(luò)的虛擬存儲(chǔ)技術(shù)實(shí)現(xiàn)。網(wǎng)絡(luò)存儲(chǔ)資源虛擬化依賴于存儲(chǔ)網(wǎng)的設(shè)備進(jìn)行虛擬化。利用網(wǎng)絡(luò)途徑和通道，通過在網(wǎng)絡(luò)設(shè)備上安裝虛擬化存儲(chǔ)的系列軟件，形成存儲(chǔ)的控制器，將各種存儲(chǔ)資源整合為一條存儲(chǔ)體系，從而將存儲(chǔ)資源進(jìn)行統(tǒng)一管理、合理分配。

2 虛擬化技術(shù)應(yīng)用

在淮委“一朵云”（即淮委私有云）構(gòu)建過程中，主要運(yùn)用 H3C CAS 云管理平臺(tái)硬件輔助虛擬化技術(shù)，分別采用基于 FC SAN（光纖存儲(chǔ)）和 VSAN（分布式存儲(chǔ)）結(jié)構(gòu)的計(jì)算存儲(chǔ)資源虛擬化技術(shù)架構(gòu)，將物理服務(wù)器及存儲(chǔ)系統(tǒng)（或磁盤陣列）通過H3C CAS 虛擬化軟件虛擬成多臺(tái)虛擬服務(wù)器。

2.1 基于 FC SAN 結(jié)構(gòu)的計(jì)算存儲(chǔ)資源虛擬化

FC SAN 結(jié)構(gòu)是一種常用的存儲(chǔ)系統(tǒng)應(yīng)用模式?；?FC SAN 結(jié)構(gòu)的計(jì)算存儲(chǔ)資源虛擬化[6]，實(shí)際上是利用虛擬化軟件，將架構(gòu)中掛接的計(jì)算、內(nèi)存和存儲(chǔ)等資源進(jìn)行虛擬化，或者將服務(wù)器和存儲(chǔ)系統(tǒng)等資源進(jìn)行虛擬化，以實(shí)現(xiàn)少量物理服務(wù)器和存儲(chǔ)系統(tǒng)生成多臺(tái)虛擬機(jī)，支撐多業(yè)務(wù)應(yīng)用。若多個(gè)存儲(chǔ)系統(tǒng)需要虛擬化為 1 個(gè)容量較大的存儲(chǔ)資源池，還可以采用 VMware 虛擬化引擎 Vplex 完成。基于 FC SAN 結(jié)構(gòu)的計(jì)算存儲(chǔ)資源虛擬化由物理服務(wù)器、存儲(chǔ)系統(tǒng)及虛擬化軟件構(gòu)成，具體架構(gòu)如圖 1 所示。

2.2 基于 VSAN 結(jié)構(gòu)的計(jì)算存儲(chǔ)資源虛擬化

VSAN[7–8]是針對(duì)軟件定義數(shù)據(jù)中心范圍中的軟件定義分布式存儲(chǔ)的典型代表，通常被簡(jiǎn)稱為軟件定義存儲(chǔ)。從設(shè)備形態(tài)和架構(gòu)的角度講：VSAN將傳統(tǒng)的集中存儲(chǔ)體系 SAN 進(jìn)行了抽象，并且將存儲(chǔ)架構(gòu)分散到多臺(tái)物理主機(jī)上，這屬于一種對(duì)存儲(chǔ)設(shè)備的虛擬化行為?；?VSAN 結(jié)構(gòu)的計(jì)算存儲(chǔ)資源虛擬化，是利用虛擬化軟件，對(duì)服務(wù)器（具有較大磁盤空間）全部資源進(jìn)行虛擬化，以實(shí)現(xiàn)少量物理服務(wù)器生成多臺(tái)虛擬機(jī)，支撐多業(yè)務(wù)應(yīng)用?；赩SAN 結(jié)構(gòu)的計(jì)算存儲(chǔ)資源虛擬化與基于 FC SAN結(jié)構(gòu)的計(jì)算存儲(chǔ)資源虛擬化的最大不同是：不需要獨(dú)立的存儲(chǔ)系統(tǒng)，直接采用虛擬化軟件對(duì)服務(wù)器硬盤進(jìn)行統(tǒng)一管理，形成 1 個(gè)總邏輯磁盤，再將總磁盤分成 2～3 個(gè)鏡像副本，數(shù)據(jù)同時(shí)存儲(chǔ)在不同副本中，實(shí)現(xiàn)數(shù)據(jù)災(zāi)備?；?VSAN 結(jié)構(gòu)的計(jì)算存儲(chǔ)資源虛擬化由自帶磁盤陣列的物理服務(wù)器和 VSAN 虛擬化軟件構(gòu)成，具體架構(gòu)如圖 2 所示。

圖 1 基于 FC SAN 結(jié)構(gòu)的計(jì)算存儲(chǔ)資源虛擬化架構(gòu)圖

圖 2 基于 VSAN 結(jié)構(gòu)的計(jì)算存儲(chǔ)資源虛擬化架構(gòu)圖

3 虛擬化技術(shù)整合應(yīng)用實(shí)例

淮委信息資源整合與共享建設(shè)重點(diǎn)之一是：通過資源整合建成統(tǒng)一計(jì)算存儲(chǔ)資源池，即構(gòu)建淮委“一朵云”。在整合過程中，充分利用現(xiàn)有服務(wù)器、存儲(chǔ)系統(tǒng)設(shè)備，運(yùn)用硬件輔助虛擬化技術(shù)，充分考慮網(wǎng)絡(luò)安全要求，分別基于 VSAN 和 FC SAN 結(jié)構(gòu)，建成分區(qū)分域的計(jì)算存儲(chǔ)資源池[9]，其中基于VSAN 結(jié)構(gòu)的虛擬化技術(shù)主要應(yīng)用在新建的計(jì)算存儲(chǔ)資源池上。

3.1 “一朵云”總體架構(gòu)

淮委信息系統(tǒng)運(yùn)行環(huán)境整合建設(shè)堅(jiān)持一體化、合理化、規(guī)范化和科學(xué)化原則，以滿足應(yīng)用為先導(dǎo)，結(jié)合淮委信息化應(yīng)用實(shí)際，做到統(tǒng)一規(guī)劃，集中管理，降低運(yùn)維成本，采用先進(jìn)、適用的虛擬化技術(shù)，最大化地提高資源的利用率和復(fù)用率，滿足應(yīng)用業(yè)務(wù)需求擴(kuò)充與資源部署遷移的發(fā)展需要。整合后的淮委“一朵云”分布在公眾服務(wù)區(qū)和業(yè)務(wù)應(yīng)用區(qū)，公眾服務(wù)區(qū)部署互聯(lián)網(wǎng)應(yīng)用，業(yè)務(wù)應(yīng)用區(qū)部署內(nèi)部業(yè)務(wù)應(yīng)用?；次耙欢湓啤奔軜?gòu)如圖 3 所示。

圖 3 淮委“一朵云”架構(gòu)

3.2 關(guān)鍵技術(shù)應(yīng)用

淮委信息系統(tǒng)運(yùn)行環(huán)境整合運(yùn)用 H3C CAS 云管理平臺(tái)，以硬件輔助虛擬化技術(shù)對(duì)服務(wù)器進(jìn)行虛擬化；運(yùn)用 H3C CAS 云管理平臺(tái) VSAN 和硬件輔助等虛擬化技術(shù)，建立了基于 VSAN 存儲(chǔ)結(jié)構(gòu)的計(jì)算存儲(chǔ)資源池；運(yùn)用 VMare Vplex 存儲(chǔ)資源虛擬化技術(shù)，對(duì)存儲(chǔ)系統(tǒng)進(jìn)行整合，并結(jié)合 H3C CAS 云管理平臺(tái)，實(shí)現(xiàn)虛擬機(jī)存儲(chǔ)支撐，建立基于 FC SAN 存儲(chǔ)結(jié)構(gòu)的計(jì)算存儲(chǔ)資源池。運(yùn)用數(shù)據(jù)庫集群技術(shù)，分別采用小型機(jī)、機(jī)架式服務(wù)器及存儲(chǔ)系統(tǒng)，建立數(shù)據(jù)庫專用運(yùn)行環(huán)境。在業(yè)務(wù)應(yīng)用區(qū)、公眾服務(wù)區(qū)分別建立虛擬化池，實(shí)現(xiàn)內(nèi)部業(yè)務(wù)與互聯(lián)網(wǎng) 2 類應(yīng)用的分區(qū)分域物理分離部署，再施以網(wǎng)絡(luò)域控策略，可有效防止網(wǎng)絡(luò)攻擊。

3.3 應(yīng)用效果

在業(yè)務(wù)應(yīng)用區(qū)、公眾服務(wù)區(qū)建立物理上分離的計(jì)算存儲(chǔ)資源虛擬化池，共采用不到 20 臺(tái)物理服務(wù)器，解決了淮委業(yè)務(wù)應(yīng)用信息系統(tǒng)的部署問題，并使得互聯(lián)網(wǎng)應(yīng)用與內(nèi)部業(yè)務(wù)應(yīng)用的部署相互獨(dú)立，即便互聯(lián)網(wǎng)應(yīng)用受到網(wǎng)絡(luò)攻擊，由于采取分區(qū)分域策略，物理上的獨(dú)立分區(qū)增加了一道防線，攻擊不至于很快波及到內(nèi)部業(yè)務(wù)應(yīng)用，更有利于網(wǎng)絡(luò)安全防護(hù)。基于 VSAN 和 FC SAN 存儲(chǔ)結(jié)構(gòu)的計(jì)算存儲(chǔ)資源池運(yùn)行都很穩(wěn)定，實(shí)現(xiàn)了計(jì)算存儲(chǔ)資源的統(tǒng)一管理、按需彈性分配、自動(dòng)容災(zāi)備份，有效提高了使用效率?；?FC SAN 與 VSAN 結(jié)構(gòu)的計(jì)算存儲(chǔ)資源虛擬化優(yōu)缺點(diǎn)比較如表 1 所示[10]。

從表 1 分析可以看出：基于 VSAN 結(jié)構(gòu)的計(jì)算存儲(chǔ)資源池構(gòu)建和運(yùn)維的成本都較低，使用效果不低于基于 FC SAN 結(jié)構(gòu)的計(jì)算存儲(chǔ)資源池，更具有推廣應(yīng)用價(jià)值。

表 1 基于 FC SAN 與 VSAN 結(jié)構(gòu)的計(jì)算存儲(chǔ)資源虛擬化優(yōu)缺點(diǎn)比較

獨(dú)立的數(shù)據(jù)庫集群運(yùn)行環(huán)境，為各類業(yè)務(wù)應(yīng)用提供了統(tǒng)一的數(shù)據(jù)庫系統(tǒng)服務(wù)，既便于數(shù)據(jù)庫容災(zāi)備份，也有效提高數(shù)據(jù)庫的訪問效率，更利于數(shù)據(jù)的維護(hù)管理，同時(shí)也提高了數(shù)據(jù)的安全性。

4 結(jié)語

通過淮委“一朵云”構(gòu)建及其應(yīng)用分析，基于VSAN 結(jié)構(gòu)的計(jì)算存儲(chǔ)資源池運(yùn)行穩(wěn)定可靠，效果良好；由于存儲(chǔ)采用服務(wù)器硬盤，價(jià)格遠(yuǎn)低于存儲(chǔ)系統(tǒng)專用硬盤，并可采用服務(wù)器直接擴(kuò)容，不需要另配存儲(chǔ)系統(tǒng)，擴(kuò)容和運(yùn)維成本均較低。因此，基于 VSAN 結(jié)構(gòu)的計(jì)算存儲(chǔ)資源池可作為政府部門或行政事業(yè)單位建立統(tǒng)一管理“私有云”的有效借鑒。作為政府部門及行政事業(yè)單位，履職產(chǎn)生的數(shù)據(jù)具有較強(qiáng)的內(nèi)部應(yīng)用屬性，需要對(duì)其進(jìn)行安全防護(hù)，適宜在“私有云”上建立數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)應(yīng)用。