賴培源 吳家隱

【摘要】隨著云計(jì)算服務(wù)規(guī)?；瘧?yīng)用，云端的處理能力和靈活性有了革命性的提升，而5G網(wǎng)絡(luò)的應(yīng)用推廣也大幅提升了“最后一公里”的整體性能，如何進(jìn)一步發(fā)揮新ICT基礎(chǔ)設(shè)施帶來(lái)的效應(yīng)，以“云邊協(xié)同”為代表的云、管、端融合技術(shù)受到了行業(yè)的熱切關(guān)注。超融合架構(gòu)（HCI，Hyper-converged Infrastructure）將計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)及軟件服務(wù)融合為一體，在邊緣計(jì)算節(jié)點(diǎn)、私有云、彈性部署的云數(shù)據(jù)中心等領(lǐng)域成為新的研究和應(yīng)用熱點(diǎn)，本文從超融合架構(gòu)的技術(shù)特征出發(fā)，構(gòu)建了超融合產(chǎn)品性能評(píng)估方案，通過(guò)實(shí)際測(cè)試數(shù)據(jù)分析，為超融合架構(gòu)在核心應(yīng)用場(chǎng)景的選型實(shí)施和技術(shù)研究，提供了具有實(shí)際指導(dǎo)意義的評(píng)估模型，從而為IT系統(tǒng)設(shè)計(jì)及優(yōu)化提供技術(shù)選型參考。

【關(guān)鍵詞】 ?超融合架構(gòu);新基建;邊緣計(jì)算;性能評(píng)估;

【作者簡(jiǎn)介】賴培源：碩士，現(xiàn)任職于廣東省華南技術(shù)轉(zhuǎn)移中心有限公司，研究方向：測(cè)控技術(shù)、云計(jì)算、SDN/NFV、服務(wù)器、車聯(lián)網(wǎng)、成果轉(zhuǎn)化;吳家隱：工程師，碩士，現(xiàn)任職于廣東郵電職業(yè)技術(shù)學(xué)院，研究方向：云計(jì)算、物聯(lián)網(wǎng)及光電技術(shù)。

【基金項(xiàng)目】廣東省科技計(jì)劃項(xiàng)目“華南技術(shù)轉(zhuǎn)移中心建設(shè)（第二期）項(xiàng)目”（2018B040401001）;2018廣東省普通高校青年創(chuàng)新人才類項(xiàng)目（項(xiàng)目編號(hào)：2018GkQNCX140）;2020年廣東郵電職業(yè)技術(shù)學(xué)院科研項(xiàng)目（項(xiàng)目編號(hào)：201938）

中圖分類號(hào)：TN92 ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A ? ? ? ? ? ? ? 文章編號(hào)：1673-0348（2020）014-040-04

Abstract： With the large-scale application of cloud computing services， the processing capacity and flexibility of the cloud have been revolutionized， and the application and promotion of 5G network has greatly improved the overall performance of the "last mile". How to further exert the effect brought by the new ICT infrastructure， the cloud， management and end convergence technology represented by "cloud edge collaboration" has attracted the industry's keen attention. Hyper-converged Infrastructure （HCI） integrates computing， storage， network and software services， and has become a new research and application hotspot in the fields of edge computing nodes， private clouds， flexibly deployed cloud data centers， etc. Based on the technical characteristics of hyper-converged architecture， this paper constructs a hyper-converged product performance evaluation scheme， IT provides an evaluation model with practical guiding significance for the selection and implementation of hyper-converged architecture in core application scenarios and technical research， thus providing technical selection reference for IT system design and optimization.

Keywords： Hyper-converged architecture; New infrastructure; Edge calculation; Performance evaluation;

1. 引言

以“新基建”為代表的新時(shí)代已經(jīng)來(lái)臨，列入構(gòu)架戰(zhàn)略的新ICT技術(shù)集群作為數(shù)字化轉(zhuǎn)型的賦能、賦智抓手，具有超強(qiáng)的產(chǎn)業(yè)穿透力，推動(dòng)著新一代信息通信基礎(chǔ)設(shè)施的廣泛應(yīng)用。超融合架構(gòu)技術(shù)是將計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)及基礎(chǔ)軟件進(jìn)行有效集成，以“軟件定義”為主要特征，構(gòu)建一個(gè)“五臟俱全”的ICT基礎(chǔ)設(shè)施的基本單元。超融合系統(tǒng)是一種新興的集成系統(tǒng)，其本身將核心存儲(chǔ)、計(jì)算和存儲(chǔ)網(wǎng)絡(luò)功能整合到單一的軟件解決方案或設(shè)備中。根據(jù)IDC及其調(diào)查結(jié)果顯示，超融合架構(gòu)會(huì)帶來(lái)三個(gè)主要好處：第一個(gè)是降低資本支出;第二個(gè)是顯著提高IT生產(chǎn)力;第三個(gè)是優(yōu)化長(zhǎng)期運(yùn)營(yíng)成本。

傳統(tǒng)的數(shù)據(jù)中心架構(gòu)，通常以業(yè)務(wù)為出發(fā)點(diǎn)，分別采購(gòu)相應(yīng)的計(jì)算服務(wù)器、存儲(chǔ)設(shè)備、網(wǎng)絡(luò)設(shè)備、安全設(shè)備和軟件系統(tǒng)，由集成服務(wù)提供商進(jìn)行現(xiàn)場(chǎng)集成實(shí)施，具有相對(duì)獨(dú)立、簡(jiǎn)單方便等特點(diǎn)。但傳統(tǒng)數(shù)據(jù)中心的架構(gòu)也面臨建設(shè)周期長(zhǎng)、使用不靈活、運(yùn)營(yíng)維護(hù)復(fù)雜等問(wèn)題，且由于IT、網(wǎng)絡(luò)設(shè)備等兼容問(wèn)題，在具體的集成實(shí)施中也經(jīng)常導(dǎo)致項(xiàng)目進(jìn)度嚴(yán)重延期交付，影響業(yè)務(wù)發(fā)展的情況。隨著云數(shù)據(jù)中心的建設(shè)，通過(guò)虛擬化軟件實(shí)現(xiàn)了計(jì)算資源的池化，以軟件定義存儲(chǔ)、服務(wù)器存儲(chǔ)（Server SAN）為代表的存儲(chǔ)技術(shù)逐步探索存儲(chǔ)資源池化共享;軟件定義網(wǎng)絡(luò)（SDN，Software Defined Network）和網(wǎng)絡(luò)虛擬化（NFV，Network Functions Virtualization）也在致力于提升網(wǎng)絡(luò)基礎(chǔ)設(shè)施的靈活性和池化共享。類似的，數(shù)據(jù)中心安全領(lǐng)域也有池化共享、虛擬化的研究探索和實(shí)踐，也一定程度上解決了傳統(tǒng)IT架構(gòu)的各種問(wèn)題。

然而，按照業(yè)務(wù)需要實(shí)現(xiàn)資源的動(dòng)態(tài)、快速擴(kuò)容需求，在實(shí)際運(yùn)營(yíng)中日漸突出。按照云數(shù)據(jù)中心的建設(shè)模式，如果一次性部署很大的資源池，則容易導(dǎo)致資源的浪費(fèi)，從機(jī)房空間、制冷成本，到設(shè)備的壽命、維保等，仍占據(jù)了很大的一部分運(yùn)營(yíng)成本。而每次業(yè)務(wù)需求的擴(kuò)容，往往還是需要分別擴(kuò)容計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、安全等資源，從“需要什么補(bǔ)什么”的運(yùn)營(yíng)設(shè)想，到實(shí)際應(yīng)用中的“補(bǔ)東墻缺西墻”的現(xiàn)象，引發(fā)了業(yè)界對(duì)“基礎(chǔ)資源單元”的建設(shè)和技術(shù)研究。

超融合架構(gòu)自2015年在國(guó)內(nèi)外開始啟動(dòng)各類研究和實(shí)踐，目前主要有兩大類，一類是以Vmware的Vsphere、浪潮inMerge1000超融合一體機(jī)等為代表的綜合解決方案，包括計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、安全的超融合架構(gòu)。另一類是以Nutanix、聯(lián)想AIO超融合軟件等為代表的存儲(chǔ)融合解決方案，將傳統(tǒng)的Server SAN分布式存儲(chǔ)架構(gòu)在通用的x86服務(wù)器上實(shí)現(xiàn)，主要滿足存儲(chǔ)資源的超融合。

超融合架構(gòu)是未來(lái)云計(jì)算基礎(chǔ)設(shè)施部署的主要趨勢(shì)，包括公有云，尤其是有GPU、FPGA、虛擬化軟件環(huán)境等特殊軟硬件需求的業(yè)務(wù)場(chǎng)景，以及私有云、邊緣計(jì)算節(jié)點(diǎn)等。作為一個(gè)新興的架構(gòu)級(jí)技術(shù)，涉及多行業(yè)、多專業(yè)，在實(shí)際應(yīng)用選型中，需進(jìn)一步掌握架構(gòu)的具體適用場(chǎng)景和性能，理清存在的問(wèn)題和性能、架構(gòu)等瓶頸，因此，本文在對(duì)超融合技術(shù)的分析基礎(chǔ)上，提出一種測(cè)試評(píng)估方法，給出相關(guān)的應(yīng)用建議。

2. 技術(shù)架構(gòu)

超融合架構(gòu)是為了實(shí)現(xiàn)某種特定的系統(tǒng)目標(biāo)，將相關(guān)的技術(shù)、功能組件進(jìn)行有機(jī)繼承組合，能夠建立良好產(chǎn)業(yè)生態(tài)的一種開放式解決方案，其核心理念是指在同一套硬件設(shè)備系統(tǒng)中不僅具備計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、安全、虛擬化軟件等資源和技術(shù)，還包括備份、快照等功能，且通過(guò)將多套單元設(shè)備基于網(wǎng)絡(luò)聚合，能實(shí)現(xiàn)模塊化的橫向擴(kuò)展特性。相對(duì)于傳統(tǒng)的融合架構(gòu)，超融合架構(gòu)更加突出功能組件之間的解耦性和架構(gòu)的開放性，以及具有良好的產(chǎn)業(yè)生態(tài)，其融合包括但不限于不同架構(gòu)芯片設(shè)備的融合、不同功能組件的融合、不同軟件系統(tǒng)和硬件管理接口的融合。相對(duì)于傳統(tǒng)的一體機(jī)，超融合架構(gòu)更加強(qiáng)調(diào)開放性和兼容性。

云數(shù)據(jù)中心超融合架構(gòu)通常是融合計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、安全及虛擬化軟件、管理系統(tǒng)，基于軟件定義數(shù)據(jù)中心理念，采用軟件定義一切的方式，實(shí)現(xiàn)IT基礎(chǔ)設(shè)施資源的彈性靈活供給;建設(shè)在通用的服務(wù)器和交換機(jī)網(wǎng)絡(luò)設(shè)備上，可實(shí)現(xiàn)跨資源池之間的資源分配，系統(tǒng)架構(gòu)如圖1所示。

2.1 計(jì)算資源池

云數(shù)據(jù)中心超融合架構(gòu)中的計(jì)算資源池，主要是指將部分通用服務(wù)器，通過(guò)高速網(wǎng)絡(luò)連接和虛擬化軟件，構(gòu)建成為服務(wù)器虛擬化集群，通過(guò)將服務(wù)器的資源進(jìn)行虛擬化，對(duì)外提供以虛擬機(jī)、容器為主要形態(tài)的計(jì)算資源。計(jì)算資源池是整個(gè)超融合架構(gòu)中的核心組件，基于服務(wù)器虛擬化軟件，實(shí)現(xiàn)對(duì)物理資源的抽象，將服務(wù)器CPU、內(nèi)存、硬盤等資源轉(zhuǎn)化為可統(tǒng)一管理的虛擬邏輯資源，實(shí)現(xiàn)更高的資源利用率，降低系統(tǒng)管理的復(fù)雜度。

2.2 存儲(chǔ)資源池

存儲(chǔ)資源池是超融合架構(gòu)的典型應(yīng)用，它具有豐富的數(shù)據(jù)特性，支持為業(yè)務(wù)提供數(shù)據(jù)的優(yōu)化布局，確保數(shù)據(jù)完整性、多副本高可用、高可擴(kuò)展、高IO，為用戶提供較高性價(jià)比的解決方案。此外，超融合存儲(chǔ)基于通用服務(wù)器，利用機(jī)械硬盤（HDD，Hard Disk Drive）和閃存（SSD，Solid State Drives）的組合，以較低成本為業(yè)務(wù)的存儲(chǔ)需求提供大容量的存儲(chǔ)資源。此外，基于超融合架構(gòu)，由于計(jì)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)的深度融合，計(jì)算節(jié)點(diǎn)會(huì)優(yōu)先使用同一臺(tái)服務(wù)器上的存儲(chǔ)資源，本地讀取提升IO性能的同時(shí)也降低了網(wǎng)絡(luò)成本，尤其是云數(shù)據(jù)中心傳統(tǒng)架構(gòu)下的光纖存儲(chǔ)交換機(jī)的成本。

2.3 網(wǎng)絡(luò)資源池

網(wǎng)絡(luò)資源池包括了連接服務(wù)器的交換機(jī)、路由器等網(wǎng)絡(luò)設(shè)備，服務(wù)器上運(yùn)行的虛擬交換機(jī)、虛擬負(fù)載均衡等虛擬網(wǎng)元設(shè)備，以及網(wǎng)絡(luò)控制器、負(fù)載均衡等物理設(shè)備。軟件定義網(wǎng)絡(luò)（SDN，Software Defined Network）也是當(dāng)前的研究熱點(diǎn)，基于物理網(wǎng)絡(luò)設(shè)備接口開放管理平臺(tái)的改革派和全面使用白板機(jī)的革命派，為網(wǎng)絡(luò)資源池提供了多種實(shí)現(xiàn)方式。網(wǎng)絡(luò)資源池通過(guò)實(shí)現(xiàn)超融合系統(tǒng)中各個(gè)單元的鏈接，解決了傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)管理和運(yùn)維的諸多難題，可較好滿足業(yè)務(wù)應(yīng)用對(duì)網(wǎng)絡(luò)快速、靈活自動(dòng)化部署的需求。

2.4 安全資源池

安全資源池在超融合架構(gòu)中和網(wǎng)絡(luò)設(shè)備高度融合，既包括物理防火墻、堡壘機(jī)，也包括虛擬防火墻、虛擬機(jī)安全代理等虛擬化模塊，在SDN網(wǎng)絡(luò)中，目前也有講安全設(shè)備進(jìn)行融合管理的做法，但出于安全的專業(yè)性和維護(hù)難度考慮，本文講安全資源池獨(dú)立為一個(gè)架構(gòu)板塊，主要考慮維護(hù)管理。

2.5 超融合管理系統(tǒng)

超融合管理系統(tǒng)是該架構(gòu)的核心模塊，管理系統(tǒng)綜合管理著計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)和安全等資源，部分超融合管理系統(tǒng)將虛擬化管理平臺(tái)中的物理機(jī)管理功能全部承接，目的是為了更好地分配計(jì)算和存儲(chǔ)資源。類似的，也有部分超融合管理系統(tǒng)包括了存儲(chǔ)管理功能、SDN控制器功能和安全管理功能。通常超融合管理系統(tǒng)運(yùn)行在系統(tǒng)的兩臺(tái)或更多臺(tái)虛擬機(jī)上，為了實(shí)現(xiàn)管理系統(tǒng)的高可用，部署的虛擬機(jī)一般分布在不同的物理服務(wù)器上。

3. 超融合評(píng)估方法

作為一個(gè)新興的架構(gòu)級(jí)技術(shù)，涉及IT、CT、軟硬件、多行業(yè)、多專業(yè)，在實(shí)際應(yīng)用選型中，需進(jìn)一步掌握架構(gòu)的具體適用場(chǎng)景和性能，理清存在的問(wèn)題和性能、架構(gòu)等瓶頸，因此，本文以超融合存儲(chǔ)資源池為例，提出了相應(yīng)的超融合評(píng)估方法。

3.1 性能測(cè)試方法

超融合存儲(chǔ)資源池通常是基于通用低成本的x86服務(wù)器，搭配相應(yīng)的SSD作為數(shù)據(jù)緩存，通過(guò)控制SSD和HDD的容量和盤數(shù)比例來(lái)滿足不同的業(yè)務(wù)需求。根據(jù)通用的業(yè)務(wù)場(chǎng)景，按照測(cè)試虛機(jī)使用的工作集總大小，以及超融合集群中SSD層的總?cè)萘?，通?？煞譃槿N測(cè)試場(chǎng)景：

第一，熱數(shù)據(jù)完全在SSD中;第二，只有小部分熱數(shù)據(jù)超出SSD;第三，大部分熱數(shù)據(jù)位于SSD之外的容量層上。

這里需要注意的是，在根據(jù)緩存大小計(jì)算測(cè)試工作負(fù)載大小時(shí)，需要把由于多副本產(chǎn)生的冗余數(shù)據(jù)計(jì)算進(jìn)去?；谝陨先N不同容量負(fù)載的測(cè)試場(chǎng)景下，再按照典型IO業(yè)務(wù)特征進(jìn)行具體的測(cè)試，結(jié)合公有云環(huán)境下大部分負(fù)載的統(tǒng)計(jì)情況，本文設(shè)計(jì)了以下IO特征場(chǎng)景：

第一，4KB 100%隨機(jī) 100%讀，極限值;第二，4KB 100%隨機(jī) 100%寫，極限值;第三，8KB 100%隨機(jī) 70%讀30%寫，適用于OLTP交易場(chǎng)景;第四，2KB 100%順序 100%讀，適用于視頻流讀取場(chǎng)景;第五，32KB 100%順序 100%寫，適用于數(shù)據(jù)復(fù)制、記錄日志等場(chǎng)景;第六，8KB 80%隨機(jī)/20%順序 80%讀20%寫。

此外，還可以根據(jù)具體的業(yè)務(wù)需求，通過(guò)變更虛擬機(jī)的數(shù)量、磁盤的組數(shù)、物理服務(wù)器的數(shù)量、虛擬機(jī)的承載特征、隊(duì)列深度等，從以下維度進(jìn)行多組數(shù)據(jù)的測(cè)試評(píng)估：

第一，系統(tǒng)IO性能與虛擬機(jī)數(shù)量的關(guān)系;第二，系統(tǒng)IO性能與物理服務(wù)器磁盤組數(shù)量間的關(guān)系;第三，系統(tǒng)IO性能與物理服務(wù)器節(jié)點(diǎn)數(shù)的關(guān)系;第四，虛擬機(jī)在物理服務(wù)器上的分布傾斜與系統(tǒng)IO性能的關(guān)系;第五，隊(duì)列深度與IOPS 延遲的關(guān)系等。

3.2 測(cè)試工具

HCIBench是存儲(chǔ)性能測(cè)試自動(dòng)化工具，可以極大降低測(cè)試工程師的工作量;HCIBench使部署測(cè)試虛擬機(jī)的端到端流程實(shí)現(xiàn)自動(dòng)化，協(xié)調(diào)工作負(fù)載運(yùn)行，聚合測(cè)試結(jié)果，并收集故障排除所需的數(shù)據(jù)。通過(guò)配置文件的選擇，可以快速地完成各種場(chǎng)景下的性能測(cè)試數(shù)據(jù)。

HCIBench是超融合架構(gòu)或分布式存儲(chǔ)的基準(zhǔn)測(cè)試工具，適合vSphere和支持它的分布式存儲(chǔ)的測(cè)試;由于超融合架構(gòu)的測(cè)試模式應(yīng)該是調(diào)用多個(gè)測(cè)試虛擬機(jī)，同時(shí)訪問(wèn)多個(gè)VMDK，以此模擬群集的實(shí)際業(yè)務(wù)工作。由于主流的存儲(chǔ)性能測(cè)試工具不直接支持這種測(cè)試模式，可通過(guò)創(chuàng)建多個(gè)測(cè)試虛擬機(jī)，并在創(chuàng)建的虛擬機(jī)上配置VMDK、安裝配置傳統(tǒng)測(cè)試工具的方式，生成工作負(fù)載、監(jiān)控采集相關(guān)數(shù)據(jù)，實(shí)現(xiàn)較為精準(zhǔn)的性能測(cè)試。

此外，還可以使用HCIBench中集成的VDBench，它是Oracle推出的工具，用于驗(yàn)證存儲(chǔ)性能和存儲(chǔ)數(shù)據(jù)完整性，只需調(diào)度在自動(dòng)創(chuàng)建的虛擬機(jī)上，按照計(jì)劃進(jìn)行自動(dòng)安裝。

3.3 管理功能測(cè)試

超融合產(chǎn)品的開放性，主要體現(xiàn)在管理工具的功能體系和接口方面，因?yàn)槌诤蠝y(cè)試，還需對(duì)常見的功能和相應(yīng)的接口進(jìn)行功能性測(cè)試，可基于超融合的產(chǎn)品功能列表，對(duì)照業(yè)務(wù)場(chǎng)景需求，進(jìn)行比對(duì)和相應(yīng)的測(cè)試。由于功能點(diǎn)的定義并沒(méi)有在行業(yè)內(nèi)達(dá)成一致，通常還需要對(duì)每個(gè)功能點(diǎn)進(jìn)行具體的操作，對(duì)具體的管理接口進(jìn)行細(xì)致的參數(shù)和功能分析。目前主流支持的接口測(cè)試工具主要包括：powershell，REST API，Python，命令行等。

4. 結(jié)束語(yǔ)

至此，本文從當(dāng)前云數(shù)據(jù)中心的發(fā)展趨勢(shì)出發(fā)，闡述了云服務(wù)規(guī)模部署和5G應(yīng)用的新環(huán)境下，超融合架構(gòu)在私有云、邊緣計(jì)算，以及公有云的建設(shè)基本單位等應(yīng)用技術(shù)特征，并根據(jù)超融合架構(gòu)的技術(shù)特征出發(fā)，綜合分析了超融合的關(guān)鍵技術(shù)和架構(gòu)特征，提出了超融合產(chǎn)品性能評(píng)估方案，為超融合架構(gòu)在核心應(yīng)用場(chǎng)景的選型實(shí)施和技術(shù)研究，提供了具有實(shí)際指導(dǎo)意義的評(píng)估模型，從而為IT系統(tǒng)設(shè)計(jì)及優(yōu)化提供技術(shù)選型參考。

參考文獻(xiàn)：

[1]艾如鵬.基于Openstack的超融合平臺(tái)的研究與實(shí)現(xiàn)[D].廣州：華南理工大學(xué)，2017.

[2]吳家隱，李先緒，邱紅飛，等.面向NFVi時(shí)代存儲(chǔ)技術(shù)該何去何從[J].通信世界，2018（03）：55-56.

[3]唐恒武，王珍.超融合架構(gòu)在數(shù)據(jù)中心應(yīng)用探究[J].金融電子化，2018（02）：89-90.

[4]黃永燊.基于OpenStack的高可用超融合基礎(chǔ)架構(gòu)優(yōu)化的研究[D].廣州：華南理工大學(xué)，2018.