馮偉斌，張?jiān)朴?，王志?/p>

（中國(guó)聯(lián)合網(wǎng)絡(luò)通信有限公司研究院，北京 100032）

支持不同存儲(chǔ)方式的 OpenStack 云平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)

馮偉斌，張?jiān)朴?，王志?/p>

（中國(guó)聯(lián)合網(wǎng)絡(luò)通信有限公司研究院，北京 100032）

隨著云計(jì)算的發(fā)展，用開源軟件實(shí)現(xiàn)云平臺(tái)的搭建日益便捷，目前云平臺(tái)通常采用本地硬盤或共享存儲(chǔ)兩種方式來存儲(chǔ)虛擬機(jī)文件，針對(duì)兩種存儲(chǔ)方式存在的缺點(diǎn) ，提出了一種支持兩種存儲(chǔ)方式的 OpenStack 云平臺(tái)搭建方法，搭建的云平臺(tái)有效實(shí)現(xiàn)了對(duì)兩種存儲(chǔ)方式的支持。 用戶通過指定不同的參數(shù)，創(chuàng)建相應(yīng)存儲(chǔ)方式的虛擬機(jī)，從而靈活滿足了不同業(yè)務(wù)的存儲(chǔ)需求。 所提方法解決了云平臺(tái)對(duì)不同存儲(chǔ)方式的支持，有效促進(jìn)了現(xiàn)網(wǎng)系統(tǒng)向 OpenStack 云平臺(tái)的遷移，對(duì)業(yè)務(wù)平臺(tái)云化具有重要的推動(dòng)作用。

云計(jì)算；虛擬機(jī)；OpenStack；本地硬盤；共享存儲(chǔ)

1 引言

OpenStack 是 目 前 業(yè) 內(nèi) 最 流 行 的 開 源 云 平 臺(tái)［1］，能 夠 快速 幫 助 用 戶 實(shí) 現(xiàn) 類 似 于 Amazon EC2 和 S3 的 云 基 礎(chǔ) 設(shè) 施服 務(wù) 。OpenStack 最 新 版 本 Kilo 已 經(jīng) 于 2015 年 4 月 30 日正 式 發(fā) 布 ，這 是 OpenStack 的 第 11 個(gè) 版 本［2］。與 OpenStack云平臺(tái)的虛擬機(jī)存儲(chǔ)架構(gòu)不同，虛擬機(jī)可以創(chuàng)建在 PC服務(wù)器的本地硬盤上，也可以創(chuàng)建在基于 PC服務(wù)器搭建的分布式共享存儲(chǔ)上，兩者各有優(yōu)缺點(diǎn)。 本地硬盤虛擬機(jī)的性能更為穩(wěn)定，但不支持實(shí)時(shí)遷移。共享存儲(chǔ)虛擬機(jī)支持實(shí)時(shí)遷移，但性能受到網(wǎng)絡(luò)帶寬的限制。

本文充分考慮了基于本地硬盤或共享存儲(chǔ)的虛擬機(jī)的優(yōu)缺點(diǎn)，基于 OpenStack 實(shí)現(xiàn)了一種能夠在本地硬盤或共享存儲(chǔ)上創(chuàng)建虛擬機(jī)的云平臺(tái)。用戶通過指定不同參數(shù)，就可以創(chuàng)建相應(yīng)存儲(chǔ)方式的虛擬機(jī)，從而靈活滿足業(yè)務(wù)的不同需求。

2 OpenStack 組件簡(jiǎn)介

目前 OpenStack 主 要 包 括 8 個(gè) 核 心 組 件 ，分 別 是 用 戶界 面 （Horizon）、計(jì) 算 （Nova）、認(rèn) 證 （Keystone）、網(wǎng) 絡(luò)（Neutron）、監(jiān) 控 （Ceilometer）、 鏡 像 （Glance）、 塊 存 儲(chǔ)（Cinder）、對(duì) 象 存 儲(chǔ) （Swift） ，如 圖 1 所 示 。每 個(gè) 組 件 都 是 多個(gè)服務(wù)的集合，一個(gè)服務(wù)意味著運(yùn)行著的一個(gè)進(jìn)程。

（1）用戶界面

為所有 OpenStack 服務(wù)提供一個(gè)模塊化的基于 Django 的界面，通過這個(gè)界面，不論是最終用戶還是運(yùn)維人員都可以完成大多數(shù)的操作，如啟動(dòng)虛擬機(jī)、分配 IP 地址、動(dòng)態(tài)遷移等。

（2）計(jì)算

類似 于 Amazon 的 EC2 服務(wù)，為 用 戶 提 供 虛 擬 機(jī) 的 增 、刪、改、查服務(wù)，如虛擬機(jī)的創(chuàng)建、重啟、銷毀、遷移等。

（3）認(rèn)證

為所 有 OpenStack 服 務(wù) 提 供 身 份驗(yàn) 證 和 授 權(quán)功 能 ，跟蹤用戶權(quán)限，提供一個(gè)可用服務(wù)及 API列表。

（4）網(wǎng)絡(luò)

提供云計(jì)算環(huán)境下的虛擬網(wǎng)絡(luò)功能，允許用戶創(chuàng)建自己的虛擬網(wǎng)絡(luò)并連接各種網(wǎng)絡(luò)設(shè)備接口。

（5）監(jiān)控

將 OpenStack 內(nèi) 部 發(fā) 生 的 幾 乎 所 有 的 事 件 都 收 集 起來，然后為計(jì)費(fèi)和監(jiān)控以及其他服務(wù)提供數(shù)據(jù)支撐。

（6）鏡像

提供虛擬機(jī)鏡像的存儲(chǔ)、查詢和檢索服務(wù)，通過提供一 個(gè) 虛 擬 磁 盤 映 像 的 目 錄 和 存 儲(chǔ) 庫(kù) ，為 Nova 虛 擬 機(jī) 提 供鏡像服務(wù)。

（7）塊存儲(chǔ)

類 似 于 Amazon 的 EBS 服 務(wù) ，為 用 戶 提 供 塊 存 儲(chǔ) 服務(wù)，能夠創(chuàng)建數(shù)據(jù)卷，并掛載到虛擬機(jī)上。

（8）對(duì)象

存儲(chǔ)類似于 Amazon 的 S3 服 務(wù) ，為 用 戶 提 供 對(duì) 象 存 儲(chǔ)服務(wù)，能夠以低成本的方式管理大量無結(jié)構(gòu)數(shù)據(jù)。

圖1 OpenStack 主要組件架構(gòu)

3 OpenStack 云平臺(tái)存儲(chǔ)架構(gòu)

與虛擬機(jī)存 儲(chǔ) 直 接相關(guān)的 OpenStack 組 件 包括 Nova、Glance、Cinder，如 圖 2 所 示 ，目 前 OpenStack 已 經(jīng) 支 持 三 者在 Ceph、GlusterFS 等分布式共享存儲(chǔ)上的統(tǒng)一存儲(chǔ)。其 中Nova 負(fù) 責(zé) 虛擬 機(jī) 整 個(gè) 生 命 周 期 的 管 理 ，例 如 創(chuàng) 建 、重 啟 、關(guān) 機(jī) 、銷 毀 等 ，虛 擬 機(jī) 自 身的 磁 盤 文 件 由 Nova 負(fù) 責(zé) 生成 ，屬于本地易失性存儲(chǔ)，即當(dāng)虛擬機(jī)銷毀后，相應(yīng)的磁盤文件 也 會(huì) 被 銷 毀 ；Glance 提 供 虛 擬 機(jī) 鏡 像 服 務(wù) ，負(fù) 責(zé) 虛 擬 機(jī)鏡像文件的存儲(chǔ)、查詢和檢索；Cinder為虛擬機(jī)提供持久塊存儲(chǔ)服務(wù)，虛擬機(jī)創(chuàng)建完成后，可以通過 Cinder掛載塊設(shè)備 ，并 具 備 快 照 、備 份 等 功 能 ，類 似 于 AWS 的 EBS 服 務(wù)［3］。

圖2 OpenStack 云平臺(tái)的虛擬機(jī)存 儲(chǔ) 架 構(gòu)

（1）本地硬盤虛擬機(jī)即虛擬機(jī)本身的文件位于 PC 服務(wù)器的本地硬盤上

主 要 優(yōu) 點(diǎn) 在 于 服 務(wù) 器 硬 盤 通 過 做 RAID （redundant arrays of independent disk），除 非 發(fā) 生 硬 件 故 障 ，否 則 不 會(huì) 出現(xiàn)軟件問題，因此，虛擬機(jī)性能更穩(wěn)定。同時(shí)，由于磁盤 I／O 不涉及網(wǎng)絡(luò)流量交換，性能也更為高效。主要缺點(diǎn)在于虛擬機(jī)在不同服務(wù)器之間遷移時(shí)，需要將虛擬機(jī)文件從一臺(tái)服務(wù)器通過網(wǎng)絡(luò)復(fù)制到另外一臺(tái)服務(wù)器，導(dǎo)致不支持實(shí)時(shí)遷移，同時(shí)還需對(duì)虛擬機(jī)文件做額外備份。

（2）共享存儲(chǔ)虛擬機(jī)即虛擬機(jī)本身的文件位于分布式共享存儲(chǔ)上

目 前 業(yè) 內(nèi) 流 行 基 于 Ceph 或 GlusterFS 開 源 軟 件 實(shí) 現(xiàn)［4］。由于所有計(jì)算服務(wù)器都可以訪問共享存儲(chǔ)，因此，自然支持虛擬機(jī)的實(shí)時(shí)遷移，同時(shí)分布式共享存儲(chǔ)自帶對(duì)文件進(jìn)行多個(gè)備份，可靠性更高。主要缺點(diǎn)在于虛擬機(jī)進(jìn)行讀寫操作 時(shí) ，涉 及 整 個(gè) 云 平 臺(tái) 中 的 網(wǎng) 絡(luò) 流 量 交 換 ，因 此 ，磁 盤 I／O會(huì)受到網(wǎng)絡(luò)帶寬的限制，同時(shí)分布式共享存儲(chǔ)在軟件實(shí)現(xiàn)層面較為復(fù)雜，與服務(wù)器硬盤相比，穩(wěn)定性略差。

4 OpenStack 云平臺(tái)的設(shè)計(jì)實(shí)現(xiàn)

OpenStack 云 平 臺(tái) 中 虛 擬 機(jī) 的 創(chuàng) 建 由 Nova 組 件 負(fù) 責(zé) ，整個(gè)服務(wù)調(diào)用過程如圖 3所示，每個(gè)服務(wù)都是單獨(dú)的進(jìn)程實(shí) 例 ，之 間 通 過 RPC 相 互 調(diào) 用［5］。其 中 Nova-API 負(fù) 責(zé) 驗(yàn) 證和 處 理 HTTP 請(qǐng) 求 信 息 ，對(duì) 外 提 供 REST API供 用 戶 調(diào) 用 ；Nova-conductor負(fù) 責(zé) 與 數(shù) 據(jù) 庫(kù) 交 互 ，提 高 數(shù) 據(jù) 庫(kù) 訪 問 的 安全 性 ；Nova-scheduler 負(fù) 責(zé) 服 務(wù) 調(diào) 度 ，決 定 虛 擬 機(jī) 實(shí) 例 創(chuàng) 建在 哪 個(gè) 服 務(wù) 器 上 ；Nova-compute 作 為 虛 擬 機(jī) 管 理 程 序 ，具體完成虛擬機(jī)的創(chuàng)建和控制。

用 戶 調(diào) 用 OpenStack 云平臺(tái)的 Keystone 服 務(wù) 得 到 認(rèn) 證token 后 ，通 過 調(diào) 用 REST API， 向 Nova-API 服 務(wù) 發(fā) 送 創(chuàng) 建虛擬機(jī)的 HTTP 請(qǐng)求。 虛擬機(jī)創(chuàng)建的函數(shù)調(diào)用過程見算法1，算 法 1 為 OpenStack 虛 擬 機(jī) 創(chuàng) 建 的 函 數(shù) 調(diào) 用 過 程 的 偽代 碼 ，OpenStack 最 終 調(diào) 用 nova／virt／libvirt／driver.py 中 的_create_image 和 _create_domain_and_network 函 數(shù) 具 體 創(chuàng)建虛擬機(jī)實(shí)例，表示控制虛擬機(jī)文件存儲(chǔ)位置的是_create_image 函 數(shù) 。

算法1 虛擬機(jī)創(chuàng)建的函數(shù)調(diào)用過程

因 此 ，通 過 修 改 _create_image 函 數(shù) 可 以 支 持 不 同 的 存儲(chǔ)方式，偽代 碼簡(jiǎn)單 實(shí)現(xiàn) 見算法 2，其中，當(dāng) stor_type=1 時(shí)，創(chuàng) 建 本 地 硬 盤 的 虛 擬 機(jī) ；當(dāng) stor_type=2 時(shí) ，創(chuàng) 建 共 享 存 儲(chǔ) 的虛擬機(jī)。同樣在虛擬機(jī)遷移或快照函數(shù)里，也需要配置以下代碼。如果云平臺(tái)想繼續(xù)增加對(duì)不同共享存儲(chǔ)系統(tǒng)的支持，只需簡(jiǎn)單增加 stor_type參數(shù)的值即可。

圖3 不同存儲(chǔ)方式的虛擬機(jī)創(chuàng)建流程

算法2 偽代碼簡(jiǎn)單實(shí)現(xiàn)

本文充分考慮基于本地硬盤或共享存儲(chǔ)的虛擬機(jī)的優(yōu) 缺 點(diǎn) ， 通 過 分 析 和 修 改 OpenStack 源 碼 ，設(shè) 計(jì) 和 實(shí) 現(xiàn) 了一種能夠同時(shí)在本地硬盤或共享存儲(chǔ)上創(chuàng)建虛擬機(jī)的云平臺(tái)。前臺(tái)通過指定不同參數(shù)，可以使后臺(tái)創(chuàng)建相應(yīng)存儲(chǔ)形態(tài)的虛擬機(jī)，具體設(shè)計(jì)流程如圖 4所示。

具體創(chuàng)建步驟如下所述：

·前臺(tái)通過參數(shù)輸入模塊指定虛擬機(jī)創(chuàng)建的具體參數(shù)；

·觸發(fā)請(qǐng)求模塊向后臺(tái)系統(tǒng)發(fā)出虛擬機(jī)創(chuàng)建請(qǐng)求；

· 服務(wù)調(diào)度模塊根據(jù)虛擬機(jī)創(chuàng)建的具體參數(shù)，將虛擬機(jī)創(chuàng)建請(qǐng)求調(diào)度到1臺(tái)具體的物理服務(wù)器上；

·虛擬機(jī)創(chuàng)建模塊調(diào)用路徑轉(zhuǎn)換模塊，根據(jù)前臺(tái)指定的參數(shù)，得到本地磁盤和共享存儲(chǔ)對(duì)應(yīng)的路徑，然后調(diào)用資源配置模塊，在物理服務(wù)器上配置硬件資源；

· 資源配置完成后，虛擬機(jī)創(chuàng)建模塊在相應(yīng)的存儲(chǔ)路徑上創(chuàng)建出虛擬機(jī)。

5 OpenStack 云平臺(tái)驗(yàn)證環(huán)境

目 前 OpenStack 云 平 臺(tái) 支 持 GlusterFS、Ceph 等 多 種 共享存儲(chǔ)系統(tǒng)，本文通過搭建 OpenStack 實(shí) 驗(yàn) 室 環(huán) 境 ，采 用GlusterFS 分 布 式 文 件 存 儲(chǔ) 系 統(tǒng)［6］，對(duì) 以 上 想 法 進(jìn) 行 了 驗(yàn) 證 。如 圖 5 所 示 ，nn20 為 OpenStack 云 平 臺(tái) 的 一 個(gè) 計(jì) 算 節(jié) 點(diǎn) ，其 中 ／var／lib／nova／instances_local為 本 地 硬 盤 的 掛 載 點(diǎn) ，／var／lib／nova／instances 為 GlusterFS 共 享 存 儲(chǔ) 系 統(tǒng) 的 掛 載 點(diǎn) ，虛擬機(jī)自身的磁盤文件會(huì)分別存儲(chǔ)在兩個(gè)掛載點(diǎn)下的private_dev_sdz 目 錄 。

通 過 在 虛 擬 機(jī) 創(chuàng) 建 腳 本 中 指 定 不 同 的 stor_type 值 ，如圖 6所示，就可以創(chuàng)建不同存儲(chǔ)方式的虛擬機(jī)。

圖4 不同存儲(chǔ)方式的虛擬機(jī)創(chuàng)建流程

圖5 OpenStack 云平臺(tái)中本地硬盤和 共 享 存 儲(chǔ) 的 掛載點(diǎn)

圖6 OpenStack 云平臺(tái)中的虛 擬 機(jī) 創(chuàng) 建 腳 本

如 圖 7 所 示 ，當(dāng) stor_type=1 時(shí) ，虛 擬 機(jī) test0-nn20 所 在的 目 錄 instance-00000971 位 于／var／lib／nova／instances_local／private_dev_sdz／目 錄 下 ，屬 于 本 地 硬 盤 ；當(dāng) stor_type=2 時(shí) ，虛 擬 機(jī) test1-nn20 所 在 的 目 錄 instance-0000096f位 于 ／var／lib／nova／instances／private_dev_sdz／目 錄 下 ，屬 于 GlusterFS 共享存儲(chǔ)。

最 后 test0-nn20 和 test1-nn20 兩 臺(tái) 虛 擬 機(jī) 分 別 向 計(jì) 算節(jié) 點(diǎn) nn22 進(jìn)行實(shí)時(shí)遷移，結(jié) 果 如 圖 8 所 示 。對(duì)本地硬盤虛擬 機(jī) test0-nn20 執(zhí) 行 nova live-migration 命 令 后 ，系 統(tǒng) 提 示不 支 持 遷 移 ， 對(duì) 共 享 存 儲(chǔ) 虛 擬 機(jī) test1-nn20 執(zhí) 行 Nova live-migration 命 令 后 ，則 成 功 遷 移 到 計(jì) 算 節(jié) 點(diǎn) nn22。

圖7 OpenStack 云平臺(tái)中虛擬機(jī)文件所在目錄

圖8 不同存儲(chǔ)方式的虛擬機(jī)遷移結(jié)果

6 結(jié)束語

云平臺(tái)通常采用本地硬盤或共享存儲(chǔ)來存儲(chǔ)虛擬機(jī)自身文件，兩種存儲(chǔ)方式各自存在優(yōu)缺點(diǎn)。本文基于OpenStack 開源軟件，實(shí)現(xiàn)了云平臺(tái) 對(duì)兩種存 儲(chǔ) 方 式的同時(shí)支持。用戶通過指定不同參數(shù)，就可以創(chuàng)建相應(yīng)存儲(chǔ)方式的虛擬機(jī)，從而靈活滿足業(yè)務(wù)的不同需求。本文能夠促進(jìn) 現(xiàn) 網(wǎng) 系 統(tǒng) 向 OpenStack 云 平 臺(tái) 進(jìn) 行 遷 移 ，對(duì) 業(yè) 務(wù) 平 臺(tái) 云化具有重要的推動(dòng)作用。

［1］ Open source cloud computing technology options ［J］.Silicon Valley，2012（1）：66.

［2］ OpenStack community website ［EB／OL］. ［2015-10-01］.http：／／www.openstack.org／.

［3］ Amazon EBS website［EB／OL］. ［2015-10-01］.https：／aws.amazon. com／cn／ebs／.

［4］ GlusterFS and Ceph performance test report ［EB／OL］.［2015-10-01］.http：／／www.openstack.cn／？p=2215.

［5］ A OpenStack access request between the components of the call process［EB／OL］. ［2015-10-01］.http：／www.infoq.com／cn／articles／openstack-access-request-calling-process.

［6］ Gluster community website ［EB／OL］. ［2015-10-01］.http：／www. gluster.org／.

Design and implementation of OpenStack cloud platform for different storage modes

FENG Weibin，ZHANG Yunyong，WANG Zhijun
Research Institute of China United Network Communications Group Co.，Ltd.，Beijing 100032，China

With the development of cloud computing，it is more convenient to implement cloud platform by using open source software，cloud platforms usually use local hard disk or shared storage to store virtual machine file.In view of the advantages and disadvantages of these two kinds of storage modes，a method supporting two kinds of storage modes in cloud platform building based on OpenStack was presented.Users specified different parameters to create virtual machine in a corresponding storage mode，so as to meet the needs of different storage business.The method solved the support of cloud platform for different storage modes，promoted the existing network system to migrate to OpenStack cloud platform and played an important role in cloud service platform.

cloud computing，virtual machine，OpenStack，local disk，shared storage

TP393

：A

10.11959／j.issn.1000-0801.2016097

馮偉斌（1982-），男，中國(guó)聯(lián)合網(wǎng)絡(luò)通信有限公司研究院工程師，主要研究方向?yàn)樵朴?jì)算、智慧城市、行業(yè)信息化等。

張?jiān)朴拢?976-），男，博士后，中國(guó)聯(lián)合網(wǎng)絡(luò)通信有限公司研究院高級(jí)工程師，中國(guó)通信學(xué)會(huì)、電子學(xué)會(huì)、計(jì)算機(jī)學(xué)會(huì)高級(jí)會(huì)員，主要研究方向?yàn)橄乱淮W(wǎng)絡(luò)、網(wǎng)絡(luò)融合、云計(jì)算、大數(shù)據(jù)等。 曾作為主要研究人員主持和參與總裝備部項(xiàng)目、教育部博士點(diǎn)基金項(xiàng)目、“863”計(jì)劃、“973”計(jì)劃、國(guó)家自然科學(xué)基金項(xiàng)目、國(guó)家重大專項(xiàng)項(xiàng)目。

王志軍（1976-），男，中國(guó)聯(lián)合網(wǎng)絡(luò)通信有限公司研究院高級(jí)工程師，平臺(tái)與產(chǎn)品實(shí)驗(yàn)室、云計(jì)算實(shí)驗(yàn)室主任，主要研究方向?yàn)闃I(yè)務(wù)平臺(tái)及支撐系統(tǒng)體系架構(gòu)、面向移動(dòng)互聯(lián)網(wǎng)的開放平臺(tái)、新業(yè)務(wù)及下一代網(wǎng)絡(luò)等。

2015-12-08；

2016-03-09