冷迪
摘 要:近年來,企業(yè)數(shù)據(jù)中心計算與存儲融合的超融合架構(gòu)相對于傳統(tǒng)計算網(wǎng)絡(luò)存儲分離架構(gòu)發(fā)起了強有力的挑戰(zhàn)。文章通過分析傳統(tǒng)企業(yè)數(shù)據(jù)中心基礎(chǔ)架構(gòu)面臨的弊端,提出了傳統(tǒng)構(gòu)架向超融合架構(gòu)的演進趨勢。并對超融合架構(gòu)的概念、組成和主要特點進行了詳細(xì)分析和介紹,從產(chǎn)品和市場角度分析了超融合架構(gòu)的發(fā)展和應(yīng)用趨勢。最后,作者對超融合架構(gòu)在電力行業(yè)云數(shù)據(jù)中心的應(yīng)用給出了展望。
關(guān)鍵詞:云數(shù)據(jù)中心;超融合架構(gòu);分布式存儲;Server SAN
1 企業(yè)數(shù)據(jù)中心基礎(chǔ)設(shè)施架構(gòu)演進趨勢
1.1 云計算趨勢下,企業(yè)數(shù)據(jù)中心建設(shè)面臨的挑戰(zhàn)
數(shù)據(jù)中心在不斷進行演進過程中,云計算、大數(shù)據(jù)、移動互聯(lián)的需求日益高漲,基于此需求的近實時或?qū)崟r數(shù)據(jù)分析(OLAP、OLTP)等商業(yè)智能分析應(yīng)用得到越來越多企業(yè)用戶的關(guān)注。不論是私有云、公有云或是混合云,都面臨企業(yè)云數(shù)據(jù)中心建設(shè)的關(guān)鍵問題,即如何提高數(shù)據(jù)中心的資源利用率、如何降低整體成本、優(yōu)化管理、如何應(yīng)對業(yè)務(wù)的快速變化、如何伸縮自如等,這些都是數(shù)據(jù)中心建設(shè)者們需要積極思考的問題。
目前企業(yè)云數(shù)據(jù)中心的建設(shè)通常對服務(wù)器、存儲、網(wǎng)絡(luò)設(shè)備、平臺及應(yīng)用軟件等部件獨立采購,而后再集成的方式。這在一定程度上降低了數(shù)據(jù)中心的初始購置成本。然而,隨著云數(shù)據(jù)中心規(guī)模的不斷擴大,傳統(tǒng)的構(gòu)架會使企業(yè)將在后續(xù)運維運營上消耗過多的人力物力,進而導(dǎo)致IT效率低下,終將阻礙業(yè)務(wù)發(fā)展。企業(yè)需要不斷尋求改善IT環(huán)境的解決方法,來保證業(yè)務(wù)能夠穩(wěn)定、敏捷地運行。可以預(yù)見,未來企業(yè)IT希望購買到的是一個數(shù)據(jù)中心基礎(chǔ)設(shè)施整體方案,通過更多聚焦于IT技術(shù)對業(yè)務(wù)的響應(yīng),為公司業(yè)務(wù)提供增值輔助,從而將傳統(tǒng)的成本中心轉(zhuǎn)為“利潤“中心。
1.2 超融合架構(gòu)是企業(yè)云數(shù)據(jù)中心基礎(chǔ)設(shè)施架構(gòu)的大勢所趨
為應(yīng)對當(dāng)下云計算、虛擬化和大數(shù)據(jù)發(fā)展的趨勢,2014年第三方權(quán)威調(diào)查機構(gòu)Wikibon提出Server SAN名詞,自被提出就獲得很多關(guān)注和熱烈討論。Server SAN簡單來說是由多個獨立的服務(wù)器直連存儲組成的一個存儲資源池。服務(wù)器之間實現(xiàn)高速互聯(lián)(如InfiniBand或低延遲萬兆以太網(wǎng)),通過軟件進行統(tǒng)一管理。
Server SAN可以用標(biāo)準(zhǔn)的X86服務(wù)器、高速通用網(wǎng)絡(luò)來實現(xiàn),省去了專用設(shè)備和網(wǎng)絡(luò)成本。同時集合了超大規(guī)模、計算與存儲融合和閃存等技術(shù)優(yōu)勢,計算和存儲可以共享網(wǎng)絡(luò),在擴展性和易管理上亦有不俗表現(xiàn)。因此,Server SAN是超融合架構(gòu)的產(chǎn)品化代表。目前超大規(guī)?;ヂ?lián)網(wǎng)公司如Facebook、Google和亞馬遜等已經(jīng)開發(fā)了超融合Server SAN解決方案。目前已經(jīng)商品化的10Gb以太網(wǎng)技術(shù)不僅提升了數(shù)據(jù)的傳輸速度,降低延遲,而且傳輸距離更遠(yuǎn)?!败浖x”這一新興概念也逐漸被成果化,因此通過軟件作為媒介,將普通服務(wù)器內(nèi)部存儲組成一個存儲資源池,既保證了存儲需要的性能,又同時通過硬件加軟件的方式,提供了良好的擴展性。由此看來,Server SAN發(fā)展所需基礎(chǔ)都已經(jīng)逐漸成熟。
2 超融合架構(gòu)的關(guān)鍵特征
2.1 超融合架構(gòu)基本概念與組成
超融合架構(gòu)是一種新興的數(shù)據(jù)中心基礎(chǔ)設(shè)施解決方案,從根本上將核心計算、存儲和網(wǎng)絡(luò)功能集成到單一軟件解決方案或設(shè)備中。而傳統(tǒng)集成平臺和系統(tǒng)的自主計算、存儲和網(wǎng)絡(luò)系統(tǒng)是在工廠由供應(yīng)商或代理商進行集成的。超融合系統(tǒng)將存儲和計算功能集成到一個單一節(jié)點(或節(jié)點集群,每個節(jié)點都提供計算和存儲功能),超融合系統(tǒng)都具有以下通用核心組件:
(1)分布式存儲系統(tǒng):構(gòu)建在虛擬化平臺之上,在服務(wù)器虛擬化基礎(chǔ)上,通過部署存儲虛擬設(shè)備的方式,對本地存儲資源進行虛擬化,再經(jīng)集群整合成資源池,為應(yīng)用虛擬機提供存儲服務(wù)。
(2)高速網(wǎng)絡(luò):GE/10GE以太網(wǎng)交換機,或者Infiniband光纖交換機為分布式計算和存儲集群提供可擴展和高可用性的網(wǎng)絡(luò)通道。
(3)統(tǒng)一管理平臺:其管理程序除了提供硬盤或SSD硬件抽象層之外,還提供工作負(fù)載鄰接、冗余、故障遷移、管理和容器化作用。
因此,超融合架構(gòu)可以基于X86服務(wù)器等低單價企業(yè)服務(wù)器為基礎(chǔ),對服務(wù)器的內(nèi)置硬盤資源進行虛擬化,提供raid后的存儲空間供服務(wù)器使用。服務(wù)器采用集群的方式部署在數(shù)據(jù)中心的多個機架內(nèi),通過機架間及機架內(nèi)的高速二層交換網(wǎng)絡(luò)提供極高的連接可靠性。整個超融合集群系統(tǒng),以一個2U X86機架服務(wù)器提供40TB裸容量為例,一個100個服務(wù)器組成的集群可以提供4PB的存儲容量,可滿足90%以上企業(yè)的業(yè)務(wù)增長需求。通過批量采購的商用服務(wù)器可使基于超融合架構(gòu)建設(shè)的數(shù)據(jù)中心可具有較高的性價比。
2.2 超融合架構(gòu)主要特點
2.2.1 分布式、無共享架構(gòu)的分布式存儲系統(tǒng)
超融合架構(gòu)分布式存儲系統(tǒng)一般采用分布式,無共享(Share Nothing)架構(gòu)設(shè)計理念,通過分布式計算算法,將數(shù)據(jù)分散式存放在集群中的所有節(jié)點上,不僅提升了數(shù)據(jù)可靠性,同時大大提升了系統(tǒng)性能。另外,整個分布式存儲系統(tǒng)也無集中管理和控制節(jié)點,每一個數(shù)據(jù)節(jié)點都有能力承擔(dān)另一數(shù)據(jù)節(jié)點的功能,節(jié)點之間通過內(nèi)部高效的分布式協(xié)議完成相互協(xié)作和通信。
2.2.2 計算與存儲融合
超融合架構(gòu)通過將計算服務(wù)器上的存儲設(shè)備組成一個高性能、高可靠的分布式存儲池,給服務(wù)器或者虛擬機上的應(yīng)用提供存儲空間。通常虛擬化、數(shù)據(jù)庫等對I/O延遲要求高的應(yīng)用將數(shù)據(jù)存放在應(yīng)用所在的物理服務(wù)器上,減少傳統(tǒng)外置共享存儲(SAN/NAS)帶來的網(wǎng)絡(luò)開銷,提升應(yīng)用的讀寫性能。
2.2.3 相對低廉的采購成本
然而使用傳統(tǒng)共享存儲設(shè)備提供空間,當(dāng)存儲空間不夠時,需要再次購買昂貴的專業(yè)存儲設(shè)備。然而基于服務(wù)器的構(gòu)架可避免購買傳統(tǒng)的外置共享存儲設(shè)備(SAN/NAS)和交換機,有效的降低采購成本。當(dāng)存儲空間不夠時,在現(xiàn)有物理服務(wù)器上添加性價比較高的存儲磁盤或者添加物理服務(wù)器即可有效擴展存儲空間。
2.2.4 高冗余橫向擴展架構(gòu)
由于超融合架構(gòu)采用分布式架構(gòu),因此,具備強大的橫向擴展能力,一般都能支持成百上千個節(jié)點的集群,其分布式集群架構(gòu)消除了傳統(tǒng)計算和存儲分離導(dǎo)致的低性能、不易擴展、單點故障等問題,保證了節(jié)點擴容后無需遷移系統(tǒng)內(nèi)所有數(shù)據(jù),可以快速達(dá)到負(fù)載均衡狀態(tài);增加節(jié)點的同時,系統(tǒng)的IOPS、吞吐量等性能,以及系統(tǒng)存儲容量能夠?qū)崿F(xiàn)同步線性增長。傳統(tǒng)計算存儲分離架構(gòu)解決方案中的存儲系統(tǒng)被限制在少量的幾個硬件控制器上(中低端一般是兩個主備控制器),而對于超融合架構(gòu)系統(tǒng)而言,集群中的每個節(jié)點既是計算節(jié)點,又是存儲控制器,因此,隨著節(jié)點的增加,性能也能線性增長。
與傳統(tǒng)的計算存儲分離架構(gòu)相比,超融合架構(gòu)集群具備非常好的彈性擴展能力。在系統(tǒng)運行過程中,管理員可在不中斷業(yè)務(wù)的情況下新增和刪除節(jié)點。當(dāng)一個新節(jié)點或者一個新硬盤加入到集群中時,超融合架構(gòu)能實現(xiàn)集群內(nèi)數(shù)據(jù)的最優(yōu)化的自動重新分布和均衡。而整個數(shù)據(jù)的遷移和重新均衡的過程不會影響應(yīng)用對數(shù)據(jù)的訪問。因此,新增節(jié)點和硬盤,不僅提高的系統(tǒng)存儲容量,也同時提升了系統(tǒng)的訪問性能。當(dāng)管理員刪除節(jié)點或者硬盤時,系統(tǒng)能夠在通過數(shù)據(jù)遷移實現(xiàn)數(shù)據(jù)在其余節(jié)點的重新分布,以保證系統(tǒng)的數(shù)據(jù)均衡性。在所有數(shù)據(jù)的重新分布和均衡過程中,系統(tǒng)能夠保證只需盡可能少的數(shù)據(jù)進行重新分配,而無需對系統(tǒng)內(nèi)所有數(shù)據(jù)進行調(diào)整和遷移,提升了系統(tǒng)穩(wěn)定性和性能。
表1對比了超融合架構(gòu)與傳統(tǒng)計算、存儲分離架構(gòu)的主要優(yōu)劣,可見超融合構(gòu)架相對于傳統(tǒng)構(gòu)架具有較大優(yōu)勢。
3 超融合架構(gòu)產(chǎn)品與市場發(fā)展趨勢
3.1 超融合架構(gòu)產(chǎn)品發(fā)展趨勢
隨著軟件定義數(shù)據(jù)中心概念的興起,軟件定義存儲和計算存儲融合等概念和技術(shù)也成為了下一代存儲的熱點。近幾年來,在美國,以色列等IT先進國家,涌現(xiàn)出了一批面向企業(yè)云數(shù)據(jù)中心場景,研發(fā)軟件定義存儲和超融合系統(tǒng)的創(chuàng)新公司,比如Nutanix、ScaleIO、Simplivity、Nexenta、Maxta等。與此同時,傳統(tǒng)虛擬化和存儲大廠商也逐步看到了企業(yè)數(shù)據(jù)中心下一代基礎(chǔ)設(shè)施系統(tǒng)的發(fā)展趨勢,紛紛通過收購或自研進軍來布局軟件定義存儲和超融合架構(gòu)市場,比如EMC收購ScaleIO,HP收購LeftHand,Dell收購Equallogic,Vmware自研VSAN等。這些創(chuàng)新公司和傳統(tǒng)存儲公司,根據(jù)自身的發(fā)展或者產(chǎn)品布局需要,推出不同形態(tài)的超融合架構(gòu)產(chǎn)品,比如Nutanix、Simplicivity等推出軟硬結(jié)合的超融合架構(gòu)一體機,而EMC、Vmware、Nexenta等則推出純軟件的軟件定義存儲方案總體來說,新型創(chuàng)業(yè)公司走在了超融合架構(gòu)產(chǎn)品和市場的前列,他們占據(jù)了超融合架構(gòu)基礎(chǔ)設(shè)施市場的大半壁江山。目前Nutanix,Simplivity、Nexenta等創(chuàng)新公司推出的產(chǎn)品最有競爭力,占據(jù)的市場份額也最大。
國內(nèi)的超融合架構(gòu)基礎(chǔ)設(shè)施發(fā)展速度總體上落后國外,但隨著融合存儲系統(tǒng)在國外越來越受到存儲大廠和大客戶的關(guān)注和重視,以及云計算、大數(shù)據(jù)、軟件定義存儲等新一代數(shù)據(jù)中心基礎(chǔ)設(shè)施技術(shù)的發(fā)展,目前國內(nèi)的主流存儲廠商,比如,華為、浪潮、曙光等公司,開始進行新一代大規(guī)模分布式存儲系統(tǒng)的研發(fā),但其主要關(guān)注點在面向數(shù)據(jù)中心的海量數(shù)據(jù)存儲場景提供分布式文件或者分布式對象存儲集群。比如,華為公司的UDS對象存儲系統(tǒng),中科院藍(lán)鯨大型分布式文件存儲系統(tǒng)等等,這些系統(tǒng)一般都面向公有云應(yīng)用場景。面向企業(yè)云數(shù)據(jù)中心環(huán)境的超融合軟件定義系統(tǒng),國內(nèi)也出現(xiàn)了一批新型創(chuàng)業(yè)公司,比如深圳杉巖數(shù)據(jù)公司、北京志凌海納公司等推出的超融合架構(gòu)產(chǎn)品。
3.2 超融合架構(gòu)市場發(fā)展趨勢
近年來,超融合架構(gòu)系統(tǒng)市場發(fā)展迅猛,對傳統(tǒng)計算分離架構(gòu)系統(tǒng)市場沖擊很大,特別是傳統(tǒng)外置存儲設(shè)備市場,以至于傳統(tǒng)存儲大廠也紛紛進入超融合架構(gòu)和軟件定義存儲市場。
據(jù)IDC最新發(fā)布的2014年全球融合存儲系統(tǒng)分析報告,基于軟件定義存儲的融合存儲系統(tǒng)正在強勢領(lǐng)跑全球存儲軟件市場,最近一個季度的收入規(guī)模達(dá)到38億美元,同比增幅為39.4%。根據(jù)ReportsnReports的預(yù)測,全球軟件定義存儲市場在2015年到2019年之間的年復(fù)合增長率預(yù)計為35%,覆蓋大中小各種類型的企業(yè)。企業(yè)級融合存儲市場在2013年全球銷售收入達(dá)2.7億美元,并且以50%左右的年復(fù)合增長率增長。HP、Nutanix、Simplivity占據(jù)了TOP 3的市場份額。另從國內(nèi)整體市場來看,超融合架構(gòu)系統(tǒng)正在從大型互聯(lián)網(wǎng)公司的數(shù)據(jù)中心逐步向公有云、私有云、以及混合云等企業(yè)云數(shù)據(jù)中心市場延伸和擴散。一方面,UnitedStack,EasyStack等公司利用OpenStack開源產(chǎn)品中的分布式存儲系統(tǒng)構(gòu)建公有云數(shù)據(jù)中心基礎(chǔ)設(shè)施;另一方面,華為推出的FusionStorage分布式存儲產(chǎn)品已經(jīng)在浙江電信云計算虛擬化平臺上得到應(yīng)用。華為,天璣科技,云和恩墨等公司紛紛推出基于軟件定義存儲的數(shù)據(jù)庫一體機,在運營商,金融,政府等行業(yè)中得到應(yīng)用。
4 超融合架構(gòu)在電力行業(yè)數(shù)據(jù)中心的應(yīng)用展望
目前,電力行業(yè)數(shù)據(jù)中心的IT基礎(chǔ)設(shè)施還是以傳統(tǒng)的計算與存儲分離的架構(gòu)為主建設(shè),以深圳供電局有限公司為例,數(shù)據(jù)中心存儲基礎(chǔ)設(shè)備全部都是以傳統(tǒng)外置存儲系統(tǒng)SAN和小型機為主的計算、存儲分離架構(gòu)。已經(jīng)延續(xù)了20多年的傳統(tǒng)外置存儲架構(gòu)和產(chǎn)品,在云計算、虛擬化和大數(shù)據(jù)應(yīng)用面前,暴露出了擴展性差,靈活性低,管理復(fù)雜,成本高等致命問題。隨著企業(yè)規(guī)模的壯大和業(yè)務(wù)的增多,以及X86服務(wù)器虛擬化技術(shù)和應(yīng)用的普及,數(shù)據(jù)量快速增長,基礎(chǔ)硬件設(shè)施逐步采用X86服務(wù)器替代小型機的轉(zhuǎn)型。因此,如何為未來基于X86服務(wù)器和虛擬化計算平臺的關(guān)鍵應(yīng)用提供與之匹配的高可擴展性、高性能、高可靠性、和可維護性的存儲平臺、同時又能滿足核心業(yè)務(wù)按需、靈活的交付特性,是包括電力在內(nèi)的各行業(yè)在向云計算、虛擬化和大數(shù)據(jù)等信息化建設(shè)轉(zhuǎn)型和發(fā)展面臨的重大挑戰(zhàn)。
因此,深圳供電局有限公司目前正結(jié)合自身業(yè)務(wù)場景,積極開展超融合架構(gòu)產(chǎn)品和技術(shù)在電力行業(yè)應(yīng)用的探討和研究,計劃摸索出一套適用于電力行業(yè)數(shù)據(jù)中心超融合平臺建設(shè)規(guī)范和標(biāo)準(zhǔn),為不同業(yè)務(wù)層級提供不同的超融合架構(gòu)解決方案提供建議和參考依據(jù),并且適用于云數(shù)據(jù)中心虛擬化、大數(shù)據(jù)業(yè)務(wù)應(yīng)用的運行、管理、擴容等多種多樣的需求。并在未來將項目的研究成果在行業(yè)內(nèi)以行業(yè)標(biāo)準(zhǔn)和規(guī)范進行廣泛共享和推廣,從而為公司創(chuàng)造更大的經(jīng)濟效益。
參考文獻
[1]趙雷霆.運營商級云計算數(shù)據(jù)中心發(fā)展研究[J].信息安全與技術(shù), 2011(8):36-39.
[2]王恩東,張東,亓開元.融合架構(gòu)云數(shù)據(jù)中心:概念、技術(shù)與實踐[J].信息通信技術(shù),2015(2):31-36.
[3]譚章祿,王印紅.企業(yè)數(shù)據(jù)中心存儲架構(gòu)比較及經(jīng)濟分析[J].統(tǒng)計與決策,2007(23):177-178.