王建宇

[摘 要]在目前開源世界的存儲項目中，不同的項目都有側(cè)重點，然而，存儲接口需求、擴(kuò)展、運維和成本是企業(yè)級存儲產(chǎn)品的四大關(guān)注點。Ceph是一種支持對象存儲、塊存儲、文件存儲的獨特統(tǒng)一的系統(tǒng)，具有高可用、易管理、免費等特點。本文介紹了當(dāng)下流行的Ceph分布式存儲架構(gòu)，描述了Ceph的基本結(jié)構(gòu)每個組件的作用及如何創(chuàng)建和優(yōu)化Ceph集群，并就Ceph作為OpenStack的后端存儲、高效集成，及CRUSH算法進(jìn)行了分析。

[關(guān)鍵詞]OpenStack；Nova；Cinder；Ceph；RADOS

doi：10.3969/j.issn.1673 - 0194.2016.04.121

[中圖分類號]TP333 [文獻(xiàn)標(biāo)識碼]A [文章編號]1673-0194（2016）04-0-01

1 OpenStack的后端存儲

OpenStack是目前最流行的開源云平臺技術(shù)，是云計算公司賴以實現(xiàn)IaaS服務(wù)形式的重要解決方案。OpenStack所包含的組件相對較多，各個組件間存在依賴關(guān)系，如每個組件都會依賴Keystone，Nova還依賴于Glance、Neutron和Cinder；此外多個組件，如Neutron、Cinder和Glance還存在多種存儲后端。

2 Ceph的基本原理和架構(gòu)

Ceph是一個開源、統(tǒng)一、分布式的存儲系統(tǒng)，是一套適于大規(guī)模的、宏大的分布式存儲解決方案，同時提供文件、塊與對象服務(wù)的系統(tǒng)，適于大PB級別的應(yīng)用。Ceph的主要目標(biāo)是設(shè)計成基于POSIX的沒有單點故障的分布式文件系統(tǒng)，使數(shù)據(jù)能容錯和無縫的復(fù)制。

（1）Ceph Client是Ceph文件系統(tǒng)的用戶，透明地為用戶提供訪問接口。

Ceph客戶端包括下面幾項服務(wù)接口：

Block Devices：Ceph RADOS Block Device（RBD）服務(wù)提供可調(diào)整大小、thin-provisioned并支持快照和克隆的塊設(shè)備。Object Storage：Ceph Object Storage服務(wù)提供了與亞馬遜S3和openstack Swift兼容的RESTful API接口。

（2）元數(shù)據(jù)服務(wù)器MDS的工作就是緩存和同步分布式元數(shù)據(jù)，管理文件系統(tǒng)的名稱空間。雖然元數(shù)據(jù)和數(shù)據(jù)兩者都存儲在對象存儲集群，但兩者分別管理，支持可擴(kuò)展性。事實上，元數(shù)據(jù)在一個元數(shù)據(jù)服務(wù)器集群上被進(jìn)一步拆分，元數(shù)據(jù)服務(wù)器能夠自適應(yīng)地復(fù)制和分配名稱空間，避免出現(xiàn)熱點。

（3）OSD：將數(shù)據(jù)和元數(shù)據(jù)作為對象存儲。每一個disk、SSD或RAID group或其他一個物理存儲設(shè)備都成為一個OSD，主要負(fù)責(zé)存儲和查找對象，并且負(fù)責(zé)向該對象的復(fù)制節(jié)點分發(fā)和恢復(fù)。OSD是訪問文件系統(tǒng)并向其中寫入數(shù)據(jù)的后臺進(jìn)程，它提供了通過集群網(wǎng)絡(luò)訪問文件系統(tǒng)的能力。

（4）Monitor：執(zhí)行監(jiān)視功能，維護(hù)集群的成員和狀態(tài)，提供強(qiáng)一致性的決策。但是故障管理的一些要素是在對象存儲本身中執(zhí)行的。當(dāng)對象存儲設(shè)備發(fā)生故障或者新設(shè)備添加時，監(jiān)視器就檢測和維護(hù)一個有效的集群映射。這個功能按一種分布的方式執(zhí)行，這種方式中映射升級可以和當(dāng)前的流量通信。

3 Ceph與Swift的比較

Ceph和Swift是開源分布式存儲系統(tǒng)中的兩個優(yōu)秀代表，Swift最早起源于2008年，設(shè)計目標(biāo)十分純粹，就是一個優(yōu)秀的、可以和Amazon S3相媲美的對象存儲系統(tǒng)。從技術(shù)上講，Swift的特點主要體現(xiàn)在設(shè)計目標(biāo)明確，就是要做一個純粹的對象存儲系統(tǒng)，因此不會考慮Ceph所強(qiáng)調(diào)的統(tǒng)一存儲特性。同時，為了便于和其他項目、應(yīng)用集成，Swift選擇了Python語言進(jìn)行開發(fā)。

在實際使用中，畢竟還是需要進(jìn)行方案選擇，如果你只需要用塊存儲，那當(dāng)然是Ceph，如果只需要用對象存儲，那當(dāng)然是Swift。各自有擅長的地方，不過現(xiàn)在Ceph也支持對象存儲，那么，即要用對象存儲又要用塊存儲的場合，是用Swift還是Ceph呢？筆者一般是這樣推薦的：

（1）如果節(jié)點數(shù)量很大，推薦用Ceph單獨做塊，用Swift做對象存儲，因為在節(jié)點數(shù)量較大時，Ceph的維護(hù)成本比Swift要高，大多數(shù)場景實際應(yīng)用的時候會發(fā)現(xiàn)，大部分?jǐn)?shù)據(jù)都可以放到對象存儲上。

（2）如果節(jié)點數(shù)量少，那就用Ceph統(tǒng)一搞定，因為一般認(rèn)為生產(chǎn)環(huán)境中最小的分布式存儲應(yīng)當(dāng)有5個節(jié)點，所以，如果節(jié)點數(shù)量少于10個或者剛到10個，那構(gòu)建兩個分布式存儲顯然是不理想的（考慮到空間劃分問題）。

（3）如果團(tuán)隊里有技術(shù)高手能較好解決Ceph大規(guī)模部署問題，最好用Ceph。

4 OpenStack與Ceph的整合

對于一個IaaS系統(tǒng)，涉及存儲的部分主要是塊存儲服務(wù)模塊、對象存儲服務(wù)模塊、鏡像管理模塊和計算服務(wù)模塊。具體針對OpenStack而言，則分別對應(yīng)為其中的Cinder、Swift、Glance和Nova等4個項目。

在計算服務(wù)部分，目前正在推動將Ceph FS作為Nova計算節(jié)點的本地文件系統(tǒng)。使用CephFS作為OpenStack中的共享實例存儲可以在OpenStack中使用Ceph塊設(shè)備鏡像，Ceph塊設(shè)備鏡像被當(dāng)作集群對象。還可以使用OpenStack Glance來存儲鏡像在Ceph塊設(shè)備中。OpenStack的Nova、Glance、Cinder之間沒有數(shù)據(jù)傳輸，快速創(chuàng)建虛擬機(jī)，只需要管理一個統(tǒng)一存儲。

5 結(jié) 語

總體而言，Ceph是面向大型存儲應(yīng)用的，用以解決企業(yè)各種應(yīng)用類型的復(fù)雜情況，需要專業(yè)的技術(shù)服務(wù)團(tuán)隊作技術(shù)支撐。中小企業(yè)沒有這么多數(shù)據(jù)要存儲也沒有足夠的錢請專業(yè)技術(shù)服務(wù)團(tuán)隊運維，那么中小企業(yè)也可以使用NFS、ISCSI用于存儲虛擬機(jī)鏡像或作為虛擬機(jī)的附加卷來配合OpenStack使用。

主要參考文獻(xiàn)

[1]李剛建.基于虛擬化技術(shù)的云計算平臺架構(gòu)研究[J].吉林建筑工程學(xué)院學(xué)報，2011（1）.

[2]閃四清.ERP系統(tǒng)原理和實施[M].第2版.北京：清華大學(xué)出

版社，2013.