李 德 順， 申 彥 明， 李 克 秋

( 大連理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 遼寧 大連 116024 )

?

DPClos：基于3級(jí)Clos結(jié)構(gòu)的集裝箱數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì)

李 德 順， 申 彥 明， 李 克 秋*

( 大連理工大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 遼寧 大連 116024 )

集裝箱數(shù)據(jù)中心因其部署便捷在應(yīng)急數(shù)據(jù)處理中發(fā)揮著基礎(chǔ)性作用．為滿(mǎn)足集裝箱數(shù)據(jù)中心對(duì)網(wǎng)絡(luò)帶寬和容錯(cuò)性的需要，提出了一種基于3級(jí)Clos結(jié)構(gòu)的集裝箱數(shù)據(jù)中心網(wǎng)絡(luò)，記為DPClos．DPClos能夠充分利用Clos結(jié)構(gòu)和雙端口服務(wù)器的特點(diǎn)，為集裝箱數(shù)據(jù)中心提供2倍網(wǎng)絡(luò)帶寬容量．DPClos網(wǎng)絡(luò)的平均路徑長(zhǎng)度小于4，且不同層次鏈路之間負(fù)載均衡．雙層網(wǎng)絡(luò)結(jié)構(gòu)賦予DPClos良好的容錯(cuò)性能，當(dāng)20%設(shè)備故障時(shí)數(shù)據(jù)流的成功到達(dá)率仍超過(guò)85%．理論分析和實(shí)驗(yàn)表明，DPClos結(jié)構(gòu)能夠滿(mǎn)足集裝箱數(shù)據(jù)中心對(duì)網(wǎng)絡(luò)性能的需求．

集裝箱數(shù)據(jù)中心；數(shù)據(jù)中心網(wǎng)絡(luò)；網(wǎng)絡(luò)帶寬；容錯(cuò)性

0 引 言

隨著云計(jì)算、大數(shù)據(jù)和物聯(lián)網(wǎng)技術(shù)的發(fā)展，傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)面臨著諸多問(wèn)題[1-6]．集裝箱數(shù)據(jù)中心因具有移動(dòng)便捷、部署迅速和適應(yīng)性強(qiáng)等特點(diǎn)，在應(yīng)急通信、軍事勘探、災(zāi)難恢復(fù)和野外科考等領(lǐng)域發(fā)揮著基礎(chǔ)性作用，受到了業(yè)界的廣泛關(guān)注[4,7-8]．

目前學(xué)界集中于對(duì)大規(guī)模數(shù)據(jù)中心網(wǎng)絡(luò)的研究[1-3,5]，以滿(mǎn)足數(shù)據(jù)海量式增長(zhǎng)的需求，而對(duì)集裝箱型數(shù)據(jù)中心網(wǎng)絡(luò)關(guān)注較少[4,7]．?dāng)?shù)據(jù)中心網(wǎng)絡(luò)可分為交換機(jī)為中心和服務(wù)器為中心兩種結(jié)構(gòu)．交換機(jī)為中心的結(jié)構(gòu)以Fat-tree[2]和Jellyfish[5]為代表，服務(wù)器為中心的網(wǎng)絡(luò)以DCell[3]和BCube[4]為代表．Li等[6]提出的FiConn結(jié)構(gòu)使用服務(wù)器的備用網(wǎng)卡，屬于以服務(wù)器為中心的網(wǎng)絡(luò)．上述網(wǎng)絡(luò)針對(duì)大規(guī)模數(shù)據(jù)中心設(shè)計(jì)，難以滿(mǎn)足集裝箱數(shù)據(jù)中心的需求．集裝箱數(shù)據(jù)中心存在著兩個(gè)特點(diǎn)：(1)帶寬要求高．作為應(yīng)急部署的基礎(chǔ)設(shè)施，集裝箱數(shù)據(jù)中心需要高容量的網(wǎng)絡(luò)結(jié)構(gòu)，以滿(mǎn)足服務(wù)器之間的通信和數(shù)據(jù)傳輸需求．(2)部署環(huán)境差．集裝箱數(shù)據(jù)中心的部署環(huán)境可能導(dǎo)致設(shè)備的物理?yè)p傷和故障，而一體化設(shè)計(jì)的集裝箱數(shù)據(jù)中心在應(yīng)用中維護(hù)困難．集裝箱數(shù)據(jù)中心需要考慮網(wǎng)絡(luò)帶寬高和容錯(cuò)性強(qiáng)的結(jié)構(gòu)，而現(xiàn)有設(shè)計(jì)不能滿(mǎn)足帶寬和容錯(cuò)性的需求，為此本文提出集裝箱數(shù)據(jù)中心網(wǎng)絡(luò)DPClos，該網(wǎng)絡(luò)采用2層對(duì)折的3級(jí)Clos結(jié)構(gòu)[9]和雙端口服務(wù)器構(gòu)建以滿(mǎn)足集裝箱數(shù)據(jù)中心對(duì)網(wǎng)絡(luò)帶寬和容錯(cuò)性的需求．

1 網(wǎng)絡(luò)結(jié)構(gòu)

1.1 Clos 結(jié)構(gòu)及特性

1.1.1 Clos結(jié)構(gòu) Clos結(jié)構(gòu)[9]源于電話(huà)網(wǎng)絡(luò)，其目的是以最少的交換開(kāi)關(guān)提供無(wú)阻塞的電話(huà)通信．3級(jí)Clos是最常用的交換結(jié)構(gòu)，記為C(n1，r1，m，n2，r2)．其中，第1級(jí)為輸入級(jí)，由r1個(gè)n1×m交換開(kāi)關(guān)組成；第2級(jí)為中間級(jí)，由m個(gè)r1×r2交換開(kāi)關(guān)組成；第3級(jí)為輸出級(jí)，由r2個(gè)m×n2交換開(kāi)關(guān)組成．輸入級(jí)和輸出級(jí)的每個(gè)交換開(kāi)關(guān)有且僅有一條鏈路與中間級(jí)的每個(gè)交換開(kāi)關(guān)相連．當(dāng)r1=r2=r且n1=n2=n時(shí)，該結(jié)構(gòu)是對(duì)稱(chēng)的3級(jí)Clos結(jié)構(gòu)，簡(jiǎn)記為C(n，m，r) ．其交換鏈接如圖1所示．

1.1.2 性質(zhì)特點(diǎn) Clos結(jié)構(gòu)以交換容量大、擴(kuò)展性好和可靠性高等特點(diǎn)廣泛應(yīng)用于網(wǎng)絡(luò)設(shè)備中．在C(n，m，r)中，當(dāng)m≥2n-1時(shí)，該結(jié)構(gòu)是嚴(yán)格無(wú)阻塞的，即當(dāng)一個(gè)新的輸入級(jí)到輸出級(jí)的連接請(qǐng)求到達(dá)時(shí)，不需要對(duì)網(wǎng)絡(luò)中現(xiàn)有連接進(jìn)行任何改動(dòng)，即可滿(mǎn)足該連接請(qǐng)求．當(dāng)m≥n時(shí)，C(n，m，r)是可重排無(wú)阻塞的，即當(dāng)一個(gè)新的輸入級(jí)到輸出級(jí)的連接請(qǐng)求到達(dá)時(shí)，可以通過(guò)對(duì)網(wǎng)絡(luò)中已有連接進(jìn)行調(diào)整來(lái)滿(mǎn)足該連接請(qǐng)求．

圖1 C(n，m，r)交換結(jié)構(gòu)

Clos結(jié)構(gòu)的無(wú)阻塞特性使其成為數(shù)據(jù)中心網(wǎng)絡(luò)的熱點(diǎn)，在其上所設(shè)計(jì)的網(wǎng)絡(luò)有Fat-tree、PortLand、VL2和Elastictree等．這類(lèi)網(wǎng)絡(luò)的共同特點(diǎn)是采用折疊的5級(jí)Clos結(jié)構(gòu)來(lái)提供可擴(kuò)展的高性能數(shù)據(jù)中心網(wǎng)絡(luò)．

1.2 第1類(lèi)DPClos網(wǎng)絡(luò)

DPClos通過(guò)部署雙層網(wǎng)絡(luò)和服務(wù)器備用端口來(lái)滿(mǎn)足集裝箱數(shù)據(jù)中心的網(wǎng)絡(luò)帶寬和容錯(cuò)性需求．用k來(lái)表示交換機(jī)的端口數(shù)量．圖2以k=4為例展示了第1類(lèi)DPClos集裝箱數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)，記為FDPClos．該結(jié)構(gòu)包括1層服務(wù)器和對(duì)稱(chēng)的上下層交換機(jī)網(wǎng)絡(luò)，分別為上下核心層和上下邊界層．上下層交換機(jī)網(wǎng)絡(luò)均是由3級(jí)C(k/2，k/2，k/2)沿中間級(jí)對(duì)折形成．輸入級(jí)和輸出級(jí)處于等價(jià)位置，組成交換機(jī)網(wǎng)絡(luò)的邊界層；中間級(jí)構(gòu)成交換機(jī)網(wǎng)絡(luò)的核心層．在FDPClos中，上下邊界層交換機(jī)使用一半數(shù)量的端口連接到服務(wù)器．

在FDPClos中，每層交換機(jī)從1開(kāi)始自左向右進(jìn)行編號(hào)．分別用Cid和Eid表示核心層和邊界層交換機(jī)編號(hào)．每臺(tái)服務(wù)器按照所連接的上邊界交換機(jī)為分組從1開(kāi)始自左向右進(jìn)行編號(hào)，該組編號(hào)即為對(duì)應(yīng)的上邊界交換機(jī)的編號(hào)Eid．用Sid表示服務(wù)器編號(hào)．

FDPClos 上下兩層網(wǎng)絡(luò)分別采用10.0.0.0/8和20.0.0.0/8地址段．上層核心交換機(jī)的地址格式為10.4.1.Cid，其中Cid為核心交換機(jī)的編號(hào)．上層邊界交換機(jī)的地址格式為10.0.Eid.1，其中Eid為邊界交換機(jī)的編號(hào)．Eid對(duì)應(yīng)的服務(wù)器地址格式為10.0.Eid.s，其中s=Sid+1．下層網(wǎng)絡(luò)采用與上層類(lèi)似的地址結(jié)構(gòu)，其地址段為20.0.0.0/8．例如，下層第1臺(tái)核心交換機(jī)地址為20.4.1.1，第1臺(tái)邊界交換機(jī)地址為20.0.1.1，該交換機(jī)所連接的Sid=1服務(wù)器地址為20.0.1.2．

圖2 第1類(lèi)DPClos結(jié)構(gòu)(FDPClos)

1.3 第2類(lèi)DPClos網(wǎng)絡(luò)

第2類(lèi)DPClos采用與FDPClos相同的交換機(jī)網(wǎng)絡(luò)結(jié)構(gòu)，其交換機(jī)之間的連接和編號(hào)與FDPClos 一致．第2類(lèi)DPClos結(jié)構(gòu)與FDPClos的不同之處在于服務(wù)器和下層邊界交換機(jī)采用錯(cuò)位連接的方式，該結(jié)構(gòu)記為SDPClos．圖3以k=4為例展示了SDPClos網(wǎng)絡(luò)連接．在SDPClos中，Eid=i的下邊界交換機(jī)與服務(wù)器的連接方式為當(dāng)i≤k/2時(shí)，下邊界交換機(jī)i連接組1到組k/2中Sid=i的服務(wù)器；當(dāng)i>k/2時(shí)，下邊界交換機(jī)i連接組k/2+1到組k中Sid=i-k/2的服務(wù)器．SDPClos采用錯(cuò)位連接的方式不但可以縮短平均路徑長(zhǎng)度，而且能夠避免FDPClos中編號(hào)相同的邊界交換機(jī)同時(shí)故障時(shí)該組服務(wù)器被全部斷開(kāi)的情況．

SDPClos中交換機(jī)采用與FDPClos相同的網(wǎng)絡(luò)地址配置，服務(wù)器在SDPClos上層網(wǎng)絡(luò)中的地址配置和FDPClos中對(duì)應(yīng)的配置相同．方便起見(jiàn)，圖3僅顯示了服務(wù)器在上層邊界交換機(jī)中的編號(hào)．用Eid代表下層邊界交換機(jī)的編號(hào)，則其對(duì)應(yīng)的服務(wù)器地址格式為20.0.Eid.s，其中s=Sid+1，Sid是服務(wù)器在相應(yīng)的交換機(jī)Eid中的編號(hào)．例如，交換機(jī)20.0.1.1所連接的兩臺(tái)服務(wù)器地址分別為20.0.1.2 和20.0.1.3．

圖3 第2類(lèi)DPClos結(jié)構(gòu)(SDPClos)

在DPClos中，上下層交換機(jī)網(wǎng)絡(luò)均能獨(dú)立地保證任意兩臺(tái)服務(wù)器之間嚴(yán)格無(wú)阻塞通信．兩類(lèi)DPClos都是以交換機(jī)為中心的網(wǎng)絡(luò)結(jié)構(gòu)，服務(wù)器不參與數(shù)據(jù)的轉(zhuǎn)發(fā)．在路由選擇上，同一臺(tái)邊界交換機(jī)互聯(lián)的服務(wù)器通過(guò)該邊界交換機(jī)進(jìn)行數(shù)據(jù)轉(zhuǎn)發(fā)；非共享邊界交換機(jī)的服務(wù)器之間可通過(guò)任意一臺(tái)核心層交換機(jī)進(jìn)行數(shù)據(jù)轉(zhuǎn)發(fā)．在路由調(diào)度過(guò)程中，可以通過(guò)當(dāng)前端口的負(fù)載來(lái)選擇上下層網(wǎng)絡(luò)和所路由的核心交換機(jī)．

2 DPClos性質(zhì)

DPClos網(wǎng)絡(luò)的性質(zhì)特點(diǎn)包括設(shè)備數(shù)量、路徑長(zhǎng)度、瓶頸度和對(duì)剖帶寬等．

2.1 設(shè)備數(shù)量

對(duì)于DPClos網(wǎng)絡(luò)中交換機(jī)和服務(wù)器的數(shù)量，有如下定理：

定理1 在DPClos網(wǎng)絡(luò)中，交換機(jī)的數(shù)量N=3k，服務(wù)器的數(shù)量S=k2/2，其中k為交換機(jī)的端口數(shù)．

證明 在C(n，m，r)中，交換開(kāi)關(guān)的數(shù)量為n+m+r．因此，在交換機(jī)網(wǎng)絡(luò)C(k/2，k/2，k/2)中，交換機(jī)的數(shù)量為3k/2．DPClos使用獨(dú)立的兩層交換機(jī)網(wǎng)絡(luò)，所以DPClos中交換機(jī)總數(shù)N=3k．上層邊界交換機(jī)數(shù)量為k，且每個(gè)交換機(jī)連接k/2臺(tái)服務(wù)器．因此，DPClos中服務(wù)器數(shù)量S=k2/2．

□

表1列出了不同端口交換機(jī)構(gòu)成的DPClos網(wǎng)絡(luò)中設(shè)備的數(shù)量，其中N、S和L分別為交換機(jī)、服務(wù)器和連線(xiàn)數(shù)量．從表1中可以看出，當(dāng)k=48，56和64時(shí)分別可以構(gòu)造擁有S=1 152，1 568 和2 048臺(tái)服務(wù)器的網(wǎng)絡(luò)．這表明DPClos結(jié)構(gòu)具有滿(mǎn)足集裝箱數(shù)據(jù)中心網(wǎng)絡(luò)的擴(kuò)展性．對(duì)比其他結(jié)構(gòu)，DPClos中服務(wù)器/交換機(jī)數(shù)量為S∶N=k∶6；在Fat-tree中，該比例為k∶5；在文獻(xiàn)[10]中該比例為k∶10．

表1 DPClos網(wǎng)絡(luò)中的設(shè)備數(shù)量

2.2 路徑長(zhǎng)度

對(duì)于DPClos中服務(wù)器之間的路徑長(zhǎng)度，有如下定理：

□

由定理2得出，DPClos網(wǎng)絡(luò)的平均路徑長(zhǎng)度不大于4，且SDPClos網(wǎng)絡(luò)的平均路徑長(zhǎng)度小于FDPClos網(wǎng)絡(luò)的．圖4顯示了DPClos網(wǎng)絡(luò)的平均路徑長(zhǎng)度d隨交換機(jī)端口數(shù)量變化的關(guān)系．從中可以看出，隨著交換機(jī)端口數(shù)量的增長(zhǎng)，DPClos網(wǎng)絡(luò)的平均路徑長(zhǎng)度接近4．這表明，DPClos網(wǎng)絡(luò)滿(mǎn)足集裝箱數(shù)據(jù)中心的數(shù)據(jù)傳輸延遲小的需求．

2.3 瓶頸度

瓶頸度(bottleneck degree)是指網(wǎng)絡(luò)在all-to-all流量模式下，單個(gè)鏈路所負(fù)載的流量最大值．對(duì)于DPClos網(wǎng)絡(luò)的瓶頸度，有如下定理：

圖4 平均路徑長(zhǎng)度

定理3 DPClos網(wǎng)絡(luò)的瓶頸度為(k2-2)/4．

證明 用S來(lái)表示網(wǎng)絡(luò)中服務(wù)器的數(shù)量，用SE和EC分別來(lái)表示服務(wù)器和邊界交換機(jī)之間、邊界交換機(jī)和核心交換機(jī)之間的鏈路．忽略下層網(wǎng)絡(luò)，僅分析上層網(wǎng)絡(luò)在all-to-all流量模式下的鏈路負(fù)載．在上層網(wǎng)絡(luò)中，服務(wù)器和邊界交換機(jī)之間鏈路SE的負(fù)載為S-1；第1臺(tái)上邊界交換機(jī)與核心交換機(jī)之間的總流量為(k/2)·(S-k/2)，其間鏈路數(shù)量為k/2．因此，每條鏈路EC負(fù)載的流量為S-k/2．在FDPClos中，下層網(wǎng)絡(luò)對(duì)流量具有均分作用，因此鏈路SE承載流數(shù)量為(S-1)/2；鏈路EC承載流數(shù)量為(S-k/2)/2．故此，F(xiàn)DPClos網(wǎng)絡(luò)的瓶頸度為(S-1)/2，其中S=k2/2．同理可以分析SDPClos的瓶頸度產(chǎn)生在鏈路SE上，為(k2-2)/4．

□

定理3表明，F(xiàn)DPClos和SDPClos具有相同的瓶頸度．圖5顯示了DPClos網(wǎng)絡(luò)在all-to-all流量模式下不同層次的鏈路上流數(shù)量分布Fd．從圖5可以看出，對(duì)于給定的交換機(jī)端口數(shù)k，DPClos 不同層次的鏈路在all-to-all流量模式負(fù)載近似均衡，不同鏈路負(fù)載差距很?。?/p>

圖5 All-to-all流量模式下鏈路的流數(shù)量分布

2.4 對(duì)剖帶寬

對(duì)剖帶寬(bisection width)是指將網(wǎng)絡(luò)均分成兩部分所需斷開(kāi)鏈路的最小數(shù)量．對(duì)于DPClos網(wǎng)絡(luò)的對(duì)剖帶寬，有如下定理：

定理4 DPClos網(wǎng)絡(luò)的對(duì)剖帶寬為k2/2．

證明 折疊C(k/2，k/2，k/2)結(jié)構(gòu)的對(duì)剖帶寬為k2/4．DPClos網(wǎng)絡(luò)采用了獨(dú)立的上下層Clos結(jié)構(gòu)，其對(duì)剖帶寬為k2/2．

□

DPClos是一種高帶寬的數(shù)據(jù)中心網(wǎng)絡(luò)，該網(wǎng)絡(luò)能夠提供2∶1的網(wǎng)絡(luò)帶寬需求，即在任意網(wǎng)絡(luò)連接下，兩臺(tái)服務(wù)器之間都可以擁有2條獨(dú)立的鏈路連接．這不僅提高了網(wǎng)絡(luò)的帶寬，滿(mǎn)足大數(shù)據(jù)傳輸?shù)木W(wǎng)絡(luò)容量需求，而且提高了網(wǎng)絡(luò)的容錯(cuò)性．相比之下，F(xiàn)at-tree提供了1∶1的網(wǎng)絡(luò)帶寬需求，文獻(xiàn)[10]提供了2∶1的網(wǎng)絡(luò)帶寬需求，而其他數(shù)據(jù)中心網(wǎng)絡(luò)均不能達(dá)到1∶1的網(wǎng)絡(luò)帶寬需求．

表2展示了不同數(shù)據(jù)中心網(wǎng)絡(luò)的性能指標(biāo)，其中n表示層次結(jié)構(gòu)中的層次數(shù)，k表示交換機(jī)端口數(shù)，S表示服務(wù)器數(shù)量．從表2可以看出，相比于其他數(shù)據(jù)中心網(wǎng)絡(luò)，DPClos網(wǎng)絡(luò)具有更高的網(wǎng)絡(luò)帶寬，更小的網(wǎng)絡(luò)直徑和瓶頸度．除此之外，DPClos中的服務(wù)器之間還存在著大量的并行路徑．這些特點(diǎn)有利于提高基于DPClos結(jié)構(gòu)的集裝箱數(shù)據(jù)中心的網(wǎng)絡(luò)性能和容錯(cuò)性．

表2 數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)比較

3 模擬實(shí)驗(yàn)

對(duì)所提出的集裝箱數(shù)據(jù)中心網(wǎng)絡(luò)DPClos進(jìn)行實(shí)驗(yàn)，通過(guò)數(shù)值實(shí)驗(yàn)觀察該結(jié)構(gòu)在容錯(cuò)性、傳輸延遲和吞吐量方面的性能．

3.1 實(shí)驗(yàn)設(shè)定

實(shí)驗(yàn)采用k=48的DPClos結(jié)構(gòu)，該網(wǎng)絡(luò)由144臺(tái)交換機(jī)和1 152個(gè)服務(wù)器組成．采用文獻(xiàn)[11-12]中基于時(shí)間片的路由方法．?dāng)?shù)據(jù)流設(shè)定為單包流，即交換機(jī)和服務(wù)器的每個(gè)端口可以在一個(gè)時(shí)間片內(nèi)完成一個(gè)單位的數(shù)據(jù)流發(fā)送．交換機(jī)以存儲(chǔ)轉(zhuǎn)發(fā)模式工作：當(dāng)接收到數(shù)據(jù)流時(shí)交換機(jī)將其存儲(chǔ)到等候隊(duì)列；每個(gè)時(shí)間片內(nèi)，交換機(jī)將隊(duì)首的數(shù)據(jù)流發(fā)送到下一跳的節(jié)點(diǎn)，而該隊(duì)列中其他數(shù)據(jù)流被延遲一個(gè)時(shí)間片．

容錯(cuò)性：按照一定的故障率隨機(jī)設(shè)定鏈路和交換機(jī)故障，觀察數(shù)據(jù)流的到達(dá)情況．對(duì)每一個(gè)設(shè)備故障率，隨機(jī)生成10組，每組10 000個(gè)數(shù)據(jù)流，觀察數(shù)據(jù)流的到達(dá)率．該故障率的數(shù)據(jù)流到達(dá)率為10組數(shù)據(jù)流到達(dá)率的平均值．對(duì)于每個(gè)故障率，隨機(jī)選擇10組故障設(shè)備，最終結(jié)果為10組數(shù)據(jù)的平均值．

傳輸延遲：對(duì)于給定的數(shù)據(jù)流量，計(jì)算組內(nèi)數(shù)據(jù)流到達(dá)的平均時(shí)間作為該組數(shù)據(jù)流的傳輸延遲．統(tǒng)計(jì)各組數(shù)據(jù)流的傳輸延遲，取其平均值作為該組數(shù)據(jù)流的傳輸延遲．

吞吐量：吞吐量的計(jì)算方式為數(shù)據(jù)流量除以本組數(shù)據(jù)流中最大的數(shù)據(jù)傳輸時(shí)間．統(tǒng)計(jì)各組數(shù)據(jù)流中的吞吐量，取其平均值作為該組數(shù)據(jù)流的吞吐量．

在傳輸延遲和吞吐量上，考察兩種流量模式，即隨機(jī)模式和Incast模式．在隨機(jī)流量模式中，隨機(jī)選擇每個(gè)數(shù)據(jù)流的源服務(wù)器和目的服務(wù)器．在Incast流量模式中，每個(gè)目的服務(wù)器從其他10個(gè)源服務(wù)器中接收數(shù)據(jù)，源服務(wù)器和目的服務(wù)器隨機(jī)選擇．考察數(shù)據(jù)流數(shù)量從500增長(zhǎng)到50 000時(shí)傳輸延遲和吞吐量的變化情況．對(duì)給定的數(shù)據(jù)流數(shù)量，隨機(jī)生成10組數(shù)據(jù)流進(jìn)行測(cè)試．實(shí)驗(yàn)結(jié)果為10組數(shù)據(jù)流的平均值．

3.2 容錯(cuò)性

分別對(duì)FDPClos和SDPClos進(jìn)行鏈路故障和交換機(jī)故障的容錯(cuò)實(shí)驗(yàn)，觀察故障率Ff從0增長(zhǎng)到20%時(shí)數(shù)據(jù)流的到達(dá)情況．圖6顯示了在鏈路/交換機(jī)隨機(jī)故障下數(shù)據(jù)流的平均到達(dá)率R．

圖6表明，隨著設(shè)備故障率的增大，F(xiàn)DPClos和SDPClos中數(shù)據(jù)流的到達(dá)率逐漸降低．從圖中可以看出，F(xiàn)DPClos和SDPClos具有相近的鏈路故障容錯(cuò)性．當(dāng)鏈路故障小于5%時(shí)，F(xiàn)DPClos和SDPClos中數(shù)據(jù)流的到達(dá)率均大于99%；當(dāng)鏈路故障率達(dá)到20%時(shí)，數(shù)據(jù)流的到達(dá)率大于87%．這說(shuō)明，DPClos網(wǎng)絡(luò)結(jié)構(gòu)在鏈路故障率極高的情況下，仍保持較高的數(shù)據(jù)流到達(dá)率．文獻(xiàn)[13]顯示，當(dāng)20%鏈路故障發(fā)生時(shí)，S2、SWDC和Jellyfish的數(shù)據(jù)到達(dá)率分別為85%、70%和59%．

DPClos網(wǎng)絡(luò)也具備良好的交換機(jī)故障容錯(cuò)性．從圖6中可以看出，當(dāng)交換機(jī)故障率小于5%時(shí)，數(shù)據(jù)流在FDPClos和SDPClos中的到達(dá)率均大于99%．當(dāng)交換機(jī)故障率達(dá)到20%時(shí)，數(shù)據(jù)流在FDPClos和SDPClos中的到達(dá)率分別為85%和87%．這表明，DPClos網(wǎng)絡(luò)在20%交換機(jī)故障率下仍然能夠滿(mǎn)足超過(guò)85%服務(wù)器之間的數(shù)據(jù)通信．

圖6 數(shù)據(jù)流到達(dá)率和鏈路/交換機(jī)故障率關(guān)系

3.3 傳輸延遲

在隨機(jī)和Incast流量模式下觀察FDPClos和SDPClos中平均傳輸延遲D與數(shù)據(jù)流數(shù)量Nd的關(guān)系．圖7顯示了在這兩種流量模式下數(shù)據(jù)流的延遲情況．

圖7 隨機(jī)和Incast流量模式下DPClos網(wǎng)絡(luò)的數(shù)據(jù)流延遲

Fig.7 The delay of flows for random and Incast traffic in DPClos

在FDPClos和SDPClos中，數(shù)據(jù)流的平均路由路徑長(zhǎng)度為3.96和3.92．從實(shí)驗(yàn)結(jié)果可以看出，在兩種流量模式下數(shù)據(jù)流的延遲均隨著流數(shù)量增長(zhǎng)而呈線(xiàn)性增加，且Incast流量模式下的平均延遲大于隨機(jī)流量模式．在同一種流量模式下，數(shù)據(jù)流在FDPClos中的延遲略大于其在SDPClos 中的延遲，這源于SDPClos具有更短的平均路由路徑．

3.4 吞吐量

在隨機(jī)和Incast流量模式下，觀察DPClos網(wǎng)絡(luò)的吞吐量T與數(shù)據(jù)流數(shù)量的關(guān)系．圖8顯示了FDPClos和SDPClos網(wǎng)絡(luò)的吞吐量與數(shù)據(jù)流數(shù)量之間的變化關(guān)系．

從圖8可以看出，DPClos網(wǎng)絡(luò)的吞吐量在這兩種流量模式下均隨著數(shù)據(jù)流數(shù)量的增長(zhǎng)而增加．當(dāng)數(shù)據(jù)流數(shù)量較少時(shí)，網(wǎng)絡(luò)的吞吐量隨著數(shù)據(jù)流數(shù)量近似呈線(xiàn)性增長(zhǎng)；當(dāng)數(shù)據(jù)流數(shù)量較大時(shí)，網(wǎng)絡(luò)吞吐量增長(zhǎng)速率有所降低，并趨于飽和．在同一種網(wǎng)絡(luò)流量模式下，F(xiàn)DPClos和SDPClos吞吐量相近．在兩種網(wǎng)絡(luò)中，隨機(jī)流量下的吞吐量均大于Incast 流量模式下的吞吐量．

圖8 隨機(jī)和Incast流量模式下DPClos網(wǎng)絡(luò)吞吐量

Fig.8 The throughput of DPClos for random and Incast traffic

3.5 實(shí)驗(yàn)結(jié)論及分析

分析網(wǎng)絡(luò)結(jié)構(gòu)和實(shí)驗(yàn)結(jié)果可知：在容錯(cuò)性方面，F(xiàn)DPClos和SDPClos都具有較高的鏈路和交換機(jī)故障容錯(cuò)性，這源于DPClos中的雙層交換機(jī)網(wǎng)絡(luò)結(jié)構(gòu)所提供的大量并行路徑．

在延遲方面，SDPClos在兩種流量模式下的延遲均略小于FDPClos.SDPClos的優(yōu)勢(shì)來(lái)源于下層邊界交換機(jī)的錯(cuò)位連接．這種連接使得網(wǎng)絡(luò)中更多服務(wù)器之間的路徑長(zhǎng)度為2．

在吞吐量方面，兩種結(jié)構(gòu)在相同流量模式下的性能相近．隨機(jī)流量和Incast流量模式下網(wǎng)絡(luò)性能差異來(lái)源于這兩種流量模式的特性：Incast模式會(huì)導(dǎo)致路由路徑下游交換機(jī)產(chǎn)生擁塞，從而引起延時(shí)增加和吞吐量降低；隨機(jī)流量則不存在這種擁塞特性．

FDPClos和SDPClos采用相同的設(shè)備，具有相近的網(wǎng)絡(luò)性能，但SDPClos能夠提供更短的平均路由路徑長(zhǎng)度．這兩種結(jié)構(gòu)都能滿(mǎn)足集裝箱數(shù)據(jù)中心對(duì)網(wǎng)絡(luò)性能和容錯(cuò)性的需求．

4 結(jié) 語(yǔ)

本文研究了高帶寬高容錯(cuò)性的集裝箱數(shù)據(jù)中心網(wǎng)絡(luò)體系結(jié)構(gòu)．通過(guò)分析集裝箱數(shù)據(jù)中心的應(yīng)用需求和現(xiàn)有數(shù)據(jù)中心網(wǎng)絡(luò)的特點(diǎn)，提出了一種基于折疊的3級(jí)Clos的集裝箱數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)，簡(jiǎn)記為DPClos．理論分析表明，DPClos能夠滿(mǎn)足集裝箱數(shù)據(jù)中心的網(wǎng)絡(luò)性能需求．實(shí)驗(yàn)結(jié)果驗(yàn)證了DPClos結(jié)構(gòu)在容錯(cuò)性、傳輸延遲和吞吐量方面的性能．在今后的工作中，將進(jìn)一步完善DPClos 網(wǎng)絡(luò)配置和路由調(diào)度，并致力于應(yīng)用部署．

[1] YI Xiao-meng, LIU Fang-ming, LIU Jiang-chuan,etal. Building a network highway for big data:architecture and challenges [J]. IEEE Network, 2014, 28(4):5-13.

[2] Al-Fares M, Loukissas A, Vahdat A. A scalable, commodity data center network architecture [C] // 2008 ACM SIGCOMM Conference on Data Communication, SIGCOMM 2008. New York:Association for Computing Machinery, 2008:63-74.

[3] GUO Chuan-xiong, WU Hai-tao, TAN Kun,etal. DCell:a scalable and fault-tolerant network structure for data centers [C] // 2008 ACM SIGCOMM Conference on Data Communication, SIGCOMM 2008. New York:Association for Computing Machinery, 2008:75-86.

[4] GUO Chuan-xiong, LU Guo-han, LI Dan,etal. BCube:a high performance, server centric network architecture for modular data centers [C] // 2009 ACM SIGCOMM Conference on Data Communication, SIGCOMM 2009. New York:Association for Computing Machinery, 2009:63-74.

[5] Singla A, Hong C Y, Popa L,etal. Jellyfish:Networking data centers randomly [C] // 9th USENIX Symposium on Networked Systems Design and Implementation, USENIX NSDI 2012. Berkeley:USENIX, 2012:225-238.

[6] LI Dan, GUO Chuan-xiong, WU Hai-tao,etal. FiConn:Using backup port for server interconnection in data centers [C] // 2009 International Conference on Computer Communications, IEEE INFOCOM 2009. Piscataway:IEEE Communications Society, 2009:2276-2285.

[7] WU Hai-tao, LU Guo-han, LI Dan,etal. MDCube:a high performance network structure for modular data center interconnection [C] // 5th International Conference on Emerging Networking Experiments and Technologies, ACM CoNEXT 2009. New York:Association for Computing Machinery, 2009:25-36.

[8] 陸菲菲,朱桂明,陶志榮,等. MDCent:一種高可擴(kuò)展,高吞吐量的模塊間互連結(jié)構(gòu)[J]. 計(jì)算機(jī)研究與發(fā)展, 2015, 52(5):1127-1136.

LU Fei-fei, ZHU Gui-ming, TAO Zhi-rong,etal. MDCent:a modular data center interconnection with high scalability and high performance [J]. Journal of Computer Research and Development, 2015, 52(5):1127-1136. (in Chinese)

[9] Clos C. A study of non-blocking switching networks [J]. Bell System Technical Journal, 1953, 32(2):406-424.

[10] 王 聰,王翠榮,王興偉,等. 面向云計(jì)算的數(shù)據(jù)中心網(wǎng)絡(luò)體系結(jié)構(gòu)設(shè)計(jì)[J]. 計(jì)算機(jī)研究與發(fā)展, 2012, 49(2):286-293.

WANG Cong, WANG Cui-rong, WANG Xing-wei,etal. Network architecture design for data centers towards cloud computing [J]. Journal of Computer Research and Development, 2012, 49(2):286-293. (in Chinese)

[11] LI Da-wei, WU Jie. On the design and analysis of data center network architectures for interconnecting dual-port servers [C] // 2014 International Conference on Computer Communications, INFOCOM 2014. Piscataway:IEEE Communications Society, 2014:1851-1859.

[12] LI Da-wei, WU Jie. Dual-centric data center network architectures [C] // 44th International Conference on Parallel Processing, ICPP 2015. Piscataway:IEEE Communications Society, 2015:679-688.

[13] YU Ye, QIAN Chen. Space shuffle:A scalable, flexible, and high-bandwidth data center network [C] // 22nd International Conference on Network Protocols, ICNP 2014. Piscataway:IEEE Communications Society, 2014:13-24.

DPClos：Design of network architecture for container data center based on 3-stage Clos structure

LI De-shun, SHEN Yan-ming, LI Ke-qiu*

( School of Computer Science and Technology, Dalian University of Technology, Dalian 116024, China )

Owing to the convenience of deployment, container data center plays an essential role in emergency application of harsh environments. To satisfy the requirements of high network bandwidth and high fault tolerance, a novel container data center network based on the 3-stage Clos structure, DPClos is proposed. DPClos architecture takes advantage of Clos structure and the dual-port servers, which can provide double capacity of network bandwidth. The average path length is less than 4 and traffic load is balanced among links of different levels in DPClos. Bilayer structures benefit such fault tolerance of DPClos as follows: the flow success rate is more than 85% with a fraction of 20% equipments failure. Theoretical analyses and experimental results show that DPClos can meet the requirements of performance in container data center network.

container data center; data center network; network bandwidth; fault tolerance

2016-06-09；

2016-09-28．

國(guó)家杰出青年科學(xué)基金資助項(xiàng)目(61225010)；國(guó)家自然科學(xué)基金資助項(xiàng)目(61173160)；中央高?；究蒲袠I(yè)務(wù)費(fèi)專(zhuān)項(xiàng)資金資助項(xiàng)目(DUT15TD29).

李德順(1983-),男,博士生,E-mail:lideshunlily@qq.com；申彥明(1976-),男,教授,博士生導(dǎo)師；李克秋*(1971-),男,教授,博士生導(dǎo)師,E-mail:keqiu@dlut.edu.cn.

1000-8608(2016)06-0643-07

TP393

A

10.7511/dllgxb201606013