張斌

（浪潮（北京）電子信息產(chǎn)業(yè)有限公司 北京 100085）

面向大型云計(jì)算應(yīng)用的云服務(wù)器架構(gòu)探索

張斌

（浪潮（北京）電子信息產(chǎn)業(yè)有限公司 北京 100085）

本文首先闡述了云計(jì)算對(duì)云服務(wù)器的要求，并由此引出了云服務(wù)器的單元構(gòu)成，最后介紹了一種云服務(wù)器的架構(gòu)實(shí)例對(duì)云服務(wù)器的最佳實(shí)踐進(jìn)行探索。

云計(jì)算應(yīng)用；云服務(wù)器；架構(gòu)方案

1 云計(jì)算對(duì)云服務(wù)器的要求

要解決云計(jì)算數(shù)據(jù)中心面臨的調(diào)度、管理、節(jié)能等方面的挑戰(zhàn)，需要在機(jī)房設(shè)施、服務(wù)器、軟件等各方面進(jìn)行優(yōu)化。其中，云服務(wù)器是非常重要的一個(gè)環(huán)節(jié)。為適應(yīng)云計(jì)算應(yīng)用的需要，要求云服務(wù)器具備以下特征：

（1）云服務(wù)器要能夠適應(yīng)不同應(yīng)用類型，并且能夠?qū)崿F(xiàn)不同應(yīng)用的快速切換和部署，這就要求硬件資源也能夠?qū)崿F(xiàn)快速動(dòng)態(tài)重配。理論上來講，如果能夠在硬件層面完全實(shí)現(xiàn)計(jì)算、存儲(chǔ)（內(nèi)存）、I/O（輸入/輸出接口）的動(dòng)態(tài)重配和自由組合是最佳方案。但是，以目前的技術(shù)水平而言，這種體系結(jié)構(gòu)是不可能做出來的。那么，采用異構(gòu)混合、部分可重配的體系結(jié)構(gòu)也是可以接受的。

（2）云服務(wù)器要在硬件層面充分考慮功耗要求，采用低功耗設(shè)計(jì)，如采用低功耗處理器等部件，采用高效能電源，采用高溫化設(shè)計(jì)，減少非必要器件等，通過這些設(shè)計(jì)可有效提高處理單元的性能功耗比和整系統(tǒng)的散熱開銷。

（3）云服務(wù)器要能夠采用硬件手段，實(shí)現(xiàn)各種部件，特別是可插拔器件，如硬盤、網(wǎng)卡等的快速定位和自動(dòng)查找，提高服務(wù)器的可管理性，降低管理和維護(hù)成本。

（4）采用低功耗設(shè)計(jì)降低節(jié)點(diǎn)功耗只是數(shù)據(jù)中心低功耗管理的一部分。實(shí)際上服務(wù)器功耗居高不下的一個(gè)重要原因是無法根據(jù)服務(wù)器負(fù)載水平，動(dòng)態(tài)地調(diào)整服務(wù)器功耗。通過動(dòng)態(tài)功耗控制，可以使資源在負(fù)載不高的情況下，自動(dòng)降低能源消耗，從而達(dá)到節(jié)省能源的目的。

（5）云服務(wù)器規(guī)模龐大，出現(xiàn)部件故障的概率很大，需要能夠快速地對(duì)故障進(jìn)行診斷、定位，并且能夠?qū)崿F(xiàn)故障的自動(dòng)隔離和恢復(fù)，避免單器件故障對(duì)整個(gè)系統(tǒng)運(yùn)行的影響。

2 云服務(wù)器的單元構(gòu)成

云服務(wù)器由處理單元、內(nèi)部互連網(wǎng)絡(luò)，以及供電、散熱、監(jiān)控管理等基礎(chǔ)單元組成。其中，處理單元有通用處理單元、精簡(jiǎn)輕載處理單元和重載可重構(gòu)處理單元三種類型，構(gòu)成層次式云服務(wù)器處理單元集簇。通用處理單元以高性能通用處理器為基礎(chǔ)，采用計(jì)算能力、I/O能力、存儲(chǔ)能力均衡的設(shè)計(jì)；輕量級(jí)處理單元以面向海量數(shù)據(jù)并發(fā)處理優(yōu)化的高效低功耗處理器為基礎(chǔ)，采用精簡(jiǎn)設(shè)計(jì)；重載可重構(gòu)處理單元面向重載云計(jì)算業(yè)務(wù)負(fù)載，采用可重構(gòu)計(jì)算技術(shù)和眾核處理器技術(shù)。

云服務(wù)器包含內(nèi)部高速互連單元、業(yè)務(wù)負(fù)載互連單元和系統(tǒng)控制互連單元。通過內(nèi)部高速互連實(shí)現(xiàn)系統(tǒng)中對(duì)帶寬、延遲敏感的大規(guī)模并發(fā)I/O訪問、虛擬機(jī)遷移、進(jìn)程間低延遲通信與數(shù)據(jù)同步的支持；通過業(yè)務(wù)負(fù)載互連單元滿足對(duì)海量數(shù)據(jù)并發(fā)處理的通信需求；通過系統(tǒng)控制互連單元實(shí)現(xiàn)對(duì)云服務(wù)器各個(gè)功能單元簇的監(jiān)控管理與資源調(diào)度通信。

云服務(wù)器每個(gè)功能單元簇采用獨(dú)立的物理機(jī)架，采用集中式監(jiān)控管理，通過集中化供電、散熱和統(tǒng)一的功耗和電源管理實(shí)現(xiàn)高效的基礎(chǔ)架構(gòu)設(shè)計(jì)。

3 一種云服務(wù)器的架構(gòu)實(shí)現(xiàn)探索

云服務(wù)器整機(jī)系統(tǒng)采用機(jī)柜形態(tài)，整機(jī)集中供電、集中散熱、統(tǒng)一管理。

云服務(wù)器整機(jī)柜系統(tǒng)在對(duì)不同的功能區(qū)域在物理空間上進(jìn)行劃分，機(jī)柜自上而下劃分為五個(gè)區(qū)域，分別是：

（1）標(biāo)準(zhǔn)TOR（Top of the Rack）交換機(jī)區(qū)域，能夠在結(jié)構(gòu)上兼容市面上的標(biāo)準(zhǔn)TOR交換機(jī)；

（2）通用存儲(chǔ)設(shè)備/服務(wù)器設(shè)備區(qū)域，能夠兼容標(biāo)準(zhǔn)機(jī)架式服務(wù)器或存儲(chǔ)設(shè)備；

（3）云服務(wù)器子柜區(qū)域，用來裝配定制開發(fā)的計(jì)算單元、擴(kuò)展單元、子柜管理單元、子柜以太網(wǎng)交換單元、兼容標(biāo)準(zhǔn)PCIE卡的I/O單元、分布式網(wǎng)絡(luò)交換單元；

（4）供電單元區(qū)域，用來裝配電源模塊、機(jī)柜管理單元；

（5）云服務(wù)器子柜區(qū)域，同區(qū)域3。

云服務(wù)器子柜前段安裝處理單元或擴(kuò)展單元。擴(kuò)展單元分為PCIE I/O擴(kuò)展和存儲(chǔ)擴(kuò)展，占據(jù)右側(cè)處理單元位置。處理單元通過背板與子柜后段的I/O單元、分布式網(wǎng)絡(luò)交換單元、子柜管理單元、子柜以太網(wǎng)交換單元互聯(lián)。風(fēng)扇位于子柜后段。

子柜內(nèi)的處理單元可通過子柜以太網(wǎng)交換單元或分布式網(wǎng)絡(luò)交換單元進(jìn)行數(shù)據(jù)交換，跨子柜數(shù)據(jù)交換則通過TOR交換機(jī)或分布式網(wǎng)絡(luò)交換單元實(shí)現(xiàn)。

云服務(wù)器整機(jī)系統(tǒng)包含以下具體的功能模塊/單元：

（1）標(biāo)準(zhǔn)TOR數(shù)據(jù)交換機(jī)，可實(shí)現(xiàn)處理單元間的數(shù)據(jù)交換；

（2）通用存儲(chǔ)設(shè)備/服務(wù)器設(shè)備，標(biāo)準(zhǔn)機(jī)架式服務(wù)器或存儲(chǔ)設(shè)備；

（3）處理單元，定制開發(fā)的云服務(wù)器處理單元；

（4）PCIE I/O擴(kuò)展單元，用于實(shí)現(xiàn)處理單元擴(kuò)展PCIE設(shè)備，支持標(biāo)準(zhǔn)PCIE SSD，GPU卡；

（5）存儲(chǔ)擴(kuò)展單元，用以實(shí)現(xiàn)處理單元擴(kuò)展硬盤，支持標(biāo)準(zhǔn)2.5寸/3.5寸硬盤；

（6）I/O單元，用于實(shí)現(xiàn)處理單元配置標(biāo)準(zhǔn)PCIE卡；

（7）分布式交換單元，用以實(shí)現(xiàn)整個(gè)機(jī)柜內(nèi)的處理單元間的數(shù)據(jù)交換；

（8）子柜管理單元，實(shí)現(xiàn)子柜內(nèi)的資源監(jiān)控和管理；

（9）子柜以太網(wǎng)交換單元，實(shí)現(xiàn)子柜內(nèi)的處理單元間的數(shù)據(jù)交換；

（10）機(jī)柜管理單元，實(shí)現(xiàn)整機(jī)柜內(nèi)的資源監(jiān)控和管理；

（11）系統(tǒng)信號(hào)背板，實(shí)現(xiàn)單元間的信號(hào)互連；

（12）風(fēng)扇模組；

（13）電源模組。

處理單元/擴(kuò)展單元位于子柜內(nèi)部前段，承擔(dān)云服務(wù)器系統(tǒng)中的計(jì)算處理任務(wù)，是系統(tǒng)硬件的核心。云服務(wù)器整機(jī)系統(tǒng)可支持三種處理單元：通用處理單元、可重構(gòu)處理單元和輕量處理單元。單個(gè)子柜最大可支持8塊高度為1CU（1CU=1.25U）的半寬處理單元，當(dāng)配置高度為1CU的半寬處理單元時(shí)，系統(tǒng)支持PCIE I/O擴(kuò)展或存儲(chǔ)擴(kuò)展，此時(shí)擴(kuò)展單元將占據(jù)一個(gè)處理單元的位置。

I/O單元位于子柜后部，板載8個(gè)16x位寬的PCIE slot插槽，支持FCHBA卡、以太網(wǎng)卡和IB HCA卡。支持標(biāo)準(zhǔn)全長(zhǎng)/半長(zhǎng)卡。當(dāng)配置半長(zhǎng)卡時(shí)，支持單卡熱插拔功能。單個(gè)子柜可配置2個(gè)I/O單元，滿足子柜內(nèi)處理單元的基本IO功能需求。I/O單元不可與分布式交換單元同時(shí)配置，二者在子柜中占據(jù)同一位置，是互為選配的關(guān)系。

分布式交換單元位于子柜后部，可實(shí)現(xiàn)處理單元間的數(shù)據(jù)交換（支持跨子柜或跨整機(jī)柜數(shù)據(jù)交換），當(dāng)配置通用處理單元或可重構(gòu)處理單元時(shí)支持處理單元間PCIE總線交換，當(dāng)配置輕載處理單元時(shí)支持處理單元間通過萬兆以太網(wǎng)交換，對(duì)外支持40G以太網(wǎng)或100G以太網(wǎng)。分布式交換單元可替換I/O單元和TOR交換機(jī)實(shí)現(xiàn)節(jié)點(diǎn)間的數(shù)據(jù)交換。

子柜數(shù)據(jù)交換單元位于子柜后部，實(shí)現(xiàn)了子柜內(nèi)部處理單元間的數(shù)據(jù)交換，支持萬兆上行以太網(wǎng)。

通用存儲(chǔ)設(shè)備單元支持通用存儲(chǔ)服務(wù)器、JBOD存儲(chǔ)陣列、存儲(chǔ)控制器等存儲(chǔ)設(shè)備，獨(dú)立散熱、獨(dú)立供電。最大支持6U空間的存儲(chǔ)設(shè)備，滿足機(jī)柜內(nèi)處理單元的存儲(chǔ)需求。

TOR數(shù)據(jù)交換單元最大可支持4個(gè)1U高度標(biāo)準(zhǔn)TOR交換機(jī)設(shè)備，支持FC/FCOE交換機(jī)、以太網(wǎng)交換機(jī)、IB交換機(jī)。獨(dú)立散熱、獨(dú)立供電。搭配I/O單元和子柜交換單元使用，實(shí)現(xiàn)機(jī)柜內(nèi)處理單元之間，處理單元與存儲(chǔ)設(shè)備之間的數(shù)據(jù)交換。也可實(shí)現(xiàn)多機(jī)柜擴(kuò)展的數(shù)據(jù)交換。

供電單元滿足云服務(wù)器整機(jī)柜系統(tǒng)中所有單元的供電需求。通用存儲(chǔ)設(shè)備單元和TOR交換機(jī)單元由電源分配單元直接供應(yīng)AC交流電源，子柜內(nèi)單元及管理單元由電源模組供應(yīng)直流電源。

監(jiān)控管理單元對(duì)云服務(wù)器整機(jī)系統(tǒng)的各單元的工作狀態(tài)進(jìn)行監(jiān)控和管理。整機(jī)系統(tǒng)采用機(jī)柜管理單元-子柜管理單元-板級(jí)管理單元的3級(jí)管理架構(gòu)，板級(jí)管理單元負(fù)責(zé)對(duì)單個(gè)處理單元進(jìn)行監(jiān)控管理、子柜管理單元負(fù)責(zé)對(duì)子柜內(nèi)各單元進(jìn)行監(jiān)控管理，機(jī)柜管理單元負(fù)責(zé)對(duì)云服務(wù)器整機(jī)系統(tǒng)進(jìn)行監(jiān)控管理。管理單元支持冗余互備。

為適用于不同的機(jī)房和數(shù)據(jù)中心，云服務(wù)器整機(jī)系統(tǒng)采用標(biāo)準(zhǔn)機(jī)柜形態(tài)，其外形尺寸為：高度2100mm×寬度600mm×深度1200mm（柜內(nèi)空總高44U）。

4 結(jié)語

這種架構(gòu)可以滿足多種多樣的云計(jì)算應(yīng)用類型，便于進(jìn)行快速部署以適應(yīng)持續(xù)發(fā)展的需求變化。集中供電和散熱提高了電源效率，層級(jí)式管理實(shí)現(xiàn)了全方位的監(jiān)控管理和故障定位，豐富的節(jié)點(diǎn)類型和可供選擇的網(wǎng)絡(luò)配置為客戶提供了豐富配置組合。是一種高效的云服務(wù)器系統(tǒng)架構(gòu)。

[1][美]Thomas ERL，[英]Zaigham Mahmood，[巴西]Ricardo Puttini 著.龔奕利，賀 蓮，胡 創(chuàng) 譯.云計(jì)算：概念、技術(shù)與架構(gòu) [Cloud Computing Concepts，Technology&Architecture].機(jī)械工業(yè)出版社，2015（04）.

[2]曾薇薇，譯.[日]宮田寬士，著.圖解服務(wù)器端網(wǎng)絡(luò)架構(gòu).人民郵電出版社，2015（02）.

TP368.5

A

1004-7344（2016）10-0292-02

2016-3-15