黃志宏，巫莉莉，鐘焯榮，張 波

(華南農(nóng)業(yè)大學(xué)現(xiàn)代教育技術(shù)中心，廣州 510642)

近年來(lái)，隨著數(shù)據(jù)中心的應(yīng)用越來(lái)越廣泛，數(shù)據(jù)中心內(nèi)部使用的網(wǎng)絡(luò)技術(shù)也得到了迅猛發(fā)展［1－2］。目前，數(shù)據(jù)中心的網(wǎng)絡(luò)主要分為前端網(wǎng)絡(luò)和后端網(wǎng)絡(luò)。前端網(wǎng)絡(luò)使用以太網(wǎng)來(lái)實(shí)現(xiàn)聯(lián)網(wǎng);后端網(wǎng)絡(luò)使用光纖通道(fibre channel，F(xiàn)C)來(lái)實(shí)現(xiàn)存儲(chǔ)。不同的網(wǎng)絡(luò)需要不同的協(xié)議、接口、設(shè)備以及管理工具，從而增加了系統(tǒng)的整體復(fù)雜性和成本。

聚合增強(qiáng)型以太網(wǎng)(convergence enhanced ethernet，CEE)是一種擁有阻塞管理和流量控制功能的低延遲、不丟棄數(shù)據(jù)包的傳輸技術(shù)，它和以太網(wǎng)光纖通道(fibre channel over ethernet，F(xiàn)CoE)技術(shù)的出現(xiàn)，將數(shù)據(jù)中心局域網(wǎng)和存儲(chǔ)局域網(wǎng)融合為單一的以太網(wǎng)互聯(lián)結(jié)構(gòu)，實(shí)現(xiàn)了I/O的整合。融合后的數(shù)據(jù)中心網(wǎng)絡(luò)不僅具有以太網(wǎng)低成本、可擴(kuò)展的特點(diǎn)，還擁有FC高可靠性的優(yōu)點(diǎn)。

本文通過(guò)搭建測(cè)試環(huán)境，對(duì)傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)和CEE的傳輸性能進(jìn)行比較?；贔CoE標(biāo)準(zhǔn)和CEE對(duì)學(xué)校數(shù)據(jù)中心的局域網(wǎng)(LAN)和存儲(chǔ)網(wǎng)(SAN)進(jìn)行整合，有效地利用了數(shù)據(jù)中心前期的基礎(chǔ)設(shè)施建設(shè)，并在維持原有服務(wù)的基礎(chǔ)上，大幅減少服務(wù)器上的網(wǎng)絡(luò)接口數(shù)量，降低了功耗，提高了系統(tǒng)可用性，對(duì)今后高校數(shù)據(jù)中心網(wǎng)絡(luò)的改造具有一定的參考價(jià)值。

1 關(guān)鍵技術(shù)

1.1 FCoE 標(biāo)準(zhǔn)

FCoE是一種可以將光纖通道映射到以太網(wǎng)，從而能在以太網(wǎng)上傳輸SAN數(shù)據(jù)的技術(shù)標(biāo)準(zhǔn)。它通過(guò)以太網(wǎng)直接傳輸光纖協(xié)議，讓存儲(chǔ)網(wǎng)絡(luò)中的數(shù)據(jù)可輕易跨越光纖和以太網(wǎng)的界限，從而降低用戶在存儲(chǔ)網(wǎng)絡(luò)構(gòu)建和管理方面的成本和復(fù)雜性［3］，同時(shí)能利用用戶對(duì)數(shù)據(jù)中心的前期投資，提供一種以FC存儲(chǔ)協(xié)議為核心的I/O整合方案。

1.1.1 I/O 整合

FCoE通過(guò)以太網(wǎng)技術(shù)承載了LAN和SAN數(shù)據(jù)的傳輸，整合了分散的兩張網(wǎng)絡(luò)，減少了服務(wù)器I/O適配器的數(shù)量和接入線纜數(shù)量，提高了鏈路I/O的利用率。

1.1.2 FCoE 封裝

如圖1所示，F(xiàn)C網(wǎng)絡(luò)協(xié)議棧有5層，其中:FC-0定義為承載介質(zhì)類型;FC-1定義為幀編解碼方式;FC-2定義為分幀協(xié)議和流控機(jī)制;FC-3定義為通用服務(wù);FC-4定義為上層協(xié)議到FC的映射。FCoE協(xié)議棧有6層，其中:第1、2層為符合IEEE 802.3標(biāo)準(zhǔn)的層;FCoE Mapping是FCoE映射和發(fā)現(xiàn)層;FC-2至FC-4層與FC協(xié)議棧的FC-2至FC-4層有相同的定義。通過(guò)FCoE映射把FC-2層以上的內(nèi)容封裝到以太網(wǎng)報(bào)文中進(jìn)行承載［4］。

FCoE以幀結(jié)構(gòu)的模式將光纖通道映射到以太網(wǎng)上［5］。它把FC幀封裝在以太網(wǎng)幀中，允許LAN和SAN的業(yè)務(wù)流量在同一個(gè)以太網(wǎng)中傳送，并保證SAN流量的無(wú)損傳輸。FCoE幀格式如圖2所示。由幀格式可知:第1個(gè)48位和第2個(gè)48位分別為目的MAC地址和源MAC地址;接著為32位IEEE 802.1Q VLAN標(biāo)記;然后是16位的類型(類型值為0x8906)，表明FCoE幀可以被以太網(wǎng)承載;接著是4位的版本號(hào)(目前為0);之后是100位保留位，使幀長(zhǎng)度符合以太標(biāo)準(zhǔn);然后是8位SOF(start of frame)、實(shí)際被封裝的FC幀和8位EOF(end of frame);接著是24位保留位;最后32位是幀校驗(yàn)序列，用于對(duì)以太網(wǎng)錯(cuò)誤幀的檢測(cè)。

圖1 FCoE和FC協(xié)議棧層次

圖2 FCoE幀格式

1.2 聚合增強(qiáng)型以太網(wǎng)

為了實(shí)現(xiàn)數(shù)據(jù)中心以太網(wǎng)和光纖存儲(chǔ)網(wǎng)的融合，在以太網(wǎng)上傳輸SAN數(shù)據(jù)需要2種關(guān)聯(lián)協(xié)議的支持:一個(gè)是FCoE，它是一個(gè)傳輸標(biāo)準(zhǔn)，讓光纖通道幀可以在以太網(wǎng)上進(jìn)行傳輸;另一個(gè)是CEE，F(xiàn)CoE需要它在以太網(wǎng)上進(jìn)行光纖傳輸。傳統(tǒng)的以太網(wǎng)經(jīng)常發(fā)生網(wǎng)絡(luò)堵塞、延遲和幀損失，而FC的SAN數(shù)據(jù)需要無(wú)丟幀傳輸，因此傳統(tǒng)以太網(wǎng)不適合FC傳輸。為了滿足FCoE網(wǎng)絡(luò)融合技術(shù)的需要，IEEE 802.1和IETF標(biāo)準(zhǔn)組織制定了一些新的標(biāo)準(zhǔn)，創(chuàng)建了無(wú)損(Lossless)的聚合增強(qiáng)型以太網(wǎng)，實(shí)現(xiàn)了以太網(wǎng)的無(wú)丟包服務(wù)［6］。

1)優(yōu)先級(jí)流量控制。目前，以太網(wǎng)通過(guò)Pause機(jī)制實(shí)現(xiàn)不丟幀的要求，但它同時(shí)也阻止了整個(gè)鏈路上的所有流量。優(yōu)先級(jí)流量控制(priority-based flow control，PFC)作為增強(qiáng)的Pause機(jī)制，可以在一條以太物理鏈路上最多創(chuàng)建8個(gè)獨(dú)立的虛擬鏈路，并允許單獨(dú)暫停和重啟其中任意一條虛擬鏈路。該方法使網(wǎng)絡(luò)能為單個(gè)虛擬鏈路創(chuàng)建無(wú)丟幀類別的服務(wù)，使其能與同一接口上的其他類型的流量共存。在支持FCoE的交換機(jī)上，通過(guò)以太網(wǎng)幀的CoS值區(qū)分不同類型的流量，在擁塞嚴(yán)重時(shí)暫停指定虛擬通道上的數(shù)據(jù)流量。

2)增強(qiáng)傳輸選擇。增強(qiáng)傳輸選擇(enhanced transmission selection，ETS)通過(guò)為指定服務(wù)類或虛擬通道提供保障帶寬來(lái)提高整體性能。ETS可為不同的業(yè)務(wù)流量設(shè)定優(yōu)先級(jí)和保障帶寬，并允許低優(yōu)先級(jí)的流量使用高優(yōu)先級(jí)隊(duì)列閑置的帶寬，使網(wǎng)絡(luò)帶寬得到最大化的利用。

3)數(shù)據(jù)中心橋接交換協(xié)議。數(shù)據(jù)中心橋接交換協(xié)議(data center bridging exchange，DCBX)的作用是為具備數(shù)據(jù)中心橋(data center bridging，DCB)特性的網(wǎng)絡(luò)設(shè)備提供參數(shù)協(xié)商和遠(yuǎn)程配置功能，包括發(fā)現(xiàn)對(duì)端設(shè)備的DCB能力(如是否支持PFC等)、發(fā)現(xiàn)鏈路兩端設(shè)備DCB參數(shù)的配置錯(cuò)誤、遠(yuǎn)程配置對(duì)端設(shè)備的DCB參數(shù)。DCBX通過(guò)在802.1AB鏈路層發(fā)現(xiàn)協(xié)議(LLDP)上定義新的TLV(type length values)來(lái)實(shí)現(xiàn)其參數(shù)交互機(jī)制。DCBX技術(shù)確保了網(wǎng)絡(luò)設(shè)備間DCB參數(shù)的一致性，為不丟幀的以太網(wǎng)幀傳輸創(chuàng)造了條件。

4)擁塞通告。當(dāng)網(wǎng)絡(luò)中發(fā)生擁塞時(shí)，由擁塞點(diǎn)向數(shù)據(jù)源發(fā)送指示來(lái)限制引起擁塞的流量，并在擁塞消失時(shí)通知其取消限制。這樣可以把擁塞限制在網(wǎng)絡(luò)的邊緣，減少了擁塞對(duì)網(wǎng)絡(luò)其他部分造成的影響。擁塞通告(congestion notification，CN)提供了一種在2層網(wǎng)絡(luò)對(duì)持續(xù)擁塞流量的端到端管理方法。例如，當(dāng)服務(wù)器CNA卡發(fā)送FCoE幀時(shí)，常會(huì)出現(xiàn)大塊的持續(xù)傳輸?shù)臄?shù)據(jù)流，若傳輸路徑的某交換機(jī)出現(xiàn)擁塞，該交換機(jī)會(huì)在2層網(wǎng)絡(luò)內(nèi)通過(guò)發(fā)送幀來(lái)通知服務(wù)器的CNA卡進(jìn)行限速，以緩解擁塞［7］。

5)多鏈路透明互聯(lián)。多鏈路透明互聯(lián)(transparent interconnect of lots of links，TRILL)是一種在2層網(wǎng)絡(luò)中提供多路徑的技術(shù)。它使用IS-IS協(xié)議來(lái)學(xué)習(xí)交換機(jī)網(wǎng)絡(luò)的拓?fù)?，?jì)算以太網(wǎng)連接各端點(diǎn)之間的最短路徑和等價(jià)路徑，支持多條并行路徑，流量可以在多條并行路徑中均衡負(fù)載，從而提高網(wǎng)絡(luò)的擴(kuò)展性和可靠性［8］。

2 FCoE與傳統(tǒng)數(shù)據(jù)中心技術(shù)的對(duì)比

本文從管理情況、傳輸效率、應(yīng)用模式等方面對(duì)FCoE技術(shù)與傳統(tǒng)數(shù)據(jù)中心的FC和iSCSI(internet small computer systems interface)技術(shù)進(jìn)行對(duì)比。

2.1 數(shù)據(jù)幀格式對(duì)比

如圖3所示，iSCSI的基本原理是使用TCP/IP協(xié)議封裝的SCSI(small computer system interface)命令和數(shù)據(jù)，使其可以在IP網(wǎng)絡(luò)中進(jìn)行傳輸。iSCSI幀是將 SCSI命令和數(shù)據(jù)先封裝在 iSCSI PDU(protocol data units)中，再將iSCSI PDU依次經(jīng)過(guò)TCP層封裝、IP層封裝和數(shù)據(jù)鏈路層封裝，最后由 IP網(wǎng)絡(luò)進(jìn)行傳輸［9］。封裝 SCSI數(shù)據(jù)包使iSCSI消耗了大量的處理器資源。FCoE是將Fibre Channel協(xié)議繞過(guò)TCP/IP協(xié)議棧直接封到IP報(bào)頭里，并使SAN通信通過(guò)本地標(biāo)準(zhǔn)LAN網(wǎng)絡(luò)進(jìn)行傳輸。FCoE在以太網(wǎng)傳輸下最高可獲得10 Gbps的傳輸速度，能在高吞吐量和低延遲情況下更好地滿足需求，保證SAN流量的無(wú)損傳輸。同時(shí)，由于其無(wú)需封裝SCSI數(shù)據(jù)包，協(xié)議開銷小，因此在傳輸性能上比iSCSI優(yōu)勢(shì)明顯。

2.2 傳輸速率、帶寬的對(duì)比

FCoE利用了以太網(wǎng)作為底層傳輸協(xié)議，并保留了FC在可靠性和速度方面的優(yōu)勢(shì)，在10 G以太網(wǎng)上有較好的體現(xiàn)。

FCoE和iSCSI的理論傳輸帶寬為100 G，而FC數(shù)據(jù)傳輸?shù)睦碚搸拑H有16 G。與此同時(shí)，F(xiàn)CoE的傳輸開銷比iSCSI小，有效數(shù)據(jù)傳輸?shù)乃俾室脖萯SCSI高。

圖3 iSCSI和FCoE傳輸幀結(jié)構(gòu)

2.3 傳輸效率對(duì)比

通過(guò)數(shù)據(jù)格式對(duì)iSCSI、FC和FCoE的最大理論傳輸效率進(jìn)行計(jì)算。iSCSI的傳輸效率為

因此，在數(shù)據(jù)傳輸效率上FC＞FCoE＞iSCSI。

2.4 應(yīng)用對(duì)比

對(duì)于中小企業(yè)或者擁有遠(yuǎn)程分支站點(diǎn)的企業(yè)或者機(jī)構(gòu)來(lái)說(shuō)，iSCSI應(yīng)該是不錯(cuò)的選擇。iSCSI的成本相對(duì)較低，部署管理更為方便。

對(duì)于大型數(shù)據(jù)中心而言，若已經(jīng)采用FC建設(shè)好的數(shù)據(jù)中心，可以平滑過(guò)渡到FCoE。而新建設(shè)或者規(guī)劃的數(shù)據(jù)中心可以考慮直接使用FCoE的技術(shù)進(jìn)行建設(shè)，這樣能享有FCoE在融合、節(jié)能、易管理、高可靠性、QoS好方面的優(yōu)勢(shì)。

2.5 技術(shù)對(duì)比

本文對(duì)FCoE、FC和iSCSI三種技術(shù)進(jìn)行對(duì)比分析，結(jié)果如表1所示。

表1 技術(shù)對(duì)比分析結(jié)果

表1表明:與FC和iSCSI技術(shù)相比，F(xiàn)CoE的傳輸速度優(yōu)于iSCSI，與FC基本持平;FCoE的傳輸效率略優(yōu)于iSCSI，略低于FC，但三者差距很小。因此，從傳輸速度與效率來(lái)看，F(xiàn)CoE能滿足FC和iSCSI技術(shù)的各種應(yīng)用場(chǎng)合。同時(shí)，由于FCoE拋棄了TCP/IP棧，無(wú)需封裝SCSI數(shù)據(jù)包，因此性能和可靠性均優(yōu)于iSCSI。此外，F(xiàn)CoE相比FC可大幅減少服務(wù)器上的網(wǎng)絡(luò)接口數(shù)量，具有簡(jiǎn)化布線和接口、減低前期設(shè)備投資和后期管理成本的優(yōu)勢(shì)。

3 網(wǎng)絡(luò)結(jié)構(gòu)

3.1 傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)

由于傳統(tǒng)以太網(wǎng)不能保證傳輸?shù)目煽啃?，因此?dāng)出現(xiàn)擁塞和沖突時(shí)容易出現(xiàn)丟包。而光纖存儲(chǔ)網(wǎng)由于涉及到I/O同步問(wèn)題，因此要求高速、低延遲與無(wú)丟包。傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)分為前端網(wǎng)絡(luò)和后端網(wǎng)絡(luò)2部分［10］:前端為以太網(wǎng)(LAN)，是業(yè)務(wù)服務(wù)器之間以及服務(wù)器與核心網(wǎng)絡(luò)之間的接入網(wǎng)絡(luò);后端為存儲(chǔ)區(qū)域網(wǎng)(SAN)，是業(yè)務(wù)服務(wù)器與存儲(chǔ)設(shè)備之間的網(wǎng)絡(luò)。傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，這種網(wǎng)絡(luò)結(jié)構(gòu)使數(shù)據(jù)中心網(wǎng)絡(luò)變得分散，增加了服務(wù)器和交換機(jī)的連接端口以及連接線纜數(shù)量，提高了布線難度、機(jī)房能耗和管理復(fù)雜度。

3.2 融合后的數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)

融合后的數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示，融合后的網(wǎng)絡(luò)通過(guò)增加了FCoE的交換機(jī)和配置在服務(wù)器端的CNA卡將傳統(tǒng)數(shù)據(jù)中心的LAN和SAN融合在一起。它允許數(shù)據(jù)中心的管理員在一個(gè)單一的10 Gb以太網(wǎng)鏈路上傳輸以太網(wǎng)數(shù)據(jù)和在光纖通道存儲(chǔ)通信，從而簡(jiǎn)化數(shù)據(jù)中心的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，極大地減少電纜和端口數(shù)量，提高鏈路I/O的利用率，使高密度和高能效系統(tǒng)成為可能，有效地節(jié)省基礎(chǔ)設(shè)施的開銷。

圖4 傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)

圖5 融合后的數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)

4 測(cè)試

為降低成本、利用前期數(shù)據(jù)中心硬件資源的投資、增加設(shè)備和鏈路I/O的使用效率、減少線纜使用量、降低能耗，須搭建合適的測(cè)試環(huán)境。將傳統(tǒng)的數(shù)據(jù)中心網(wǎng)絡(luò)和融合后的CEE數(shù)據(jù)的傳輸性能進(jìn)行比較。測(cè)試結(jié)果驗(yàn)證了CEE的性能優(yōu)勢(shì)，為數(shù)據(jù)中心改造提供參考依據(jù)。

4.1 測(cè)試環(huán)境

FCoE在傳輸速度和效率上都不亞于FC SAN，而在數(shù)據(jù)傳輸?shù)目値挿矫妫現(xiàn)COE和iSCSI明顯優(yōu)于FC。因此，本文只對(duì)FCoE和iSCSI的數(shù)據(jù)傳輸性能進(jìn)行測(cè)試比較。測(cè)試環(huán)境:2臺(tái)Intel架構(gòu)服務(wù)器(1臺(tái)安裝支持FCoE標(biāo)準(zhǔn)的CNA卡，1臺(tái)只安裝以太網(wǎng)卡);1臺(tái)支持FCoE和iSCSI的存儲(chǔ)器;1臺(tái)FCoE數(shù)據(jù)中心光纖交換機(jī);1臺(tái)以太網(wǎng)交換機(jī)。測(cè)試環(huán)境的網(wǎng)絡(luò)拓?fù)淙鐖D6所示。1臺(tái)服務(wù)器基于FCoE標(biāo)準(zhǔn)通過(guò)FCoE交換機(jī)連接存儲(chǔ)，1臺(tái)服務(wù)器基于iSCSI協(xié)議通過(guò)以太網(wǎng)交換機(jī)連接存儲(chǔ)。

圖6 測(cè)試環(huán)境的網(wǎng)絡(luò)拓?fù)?/p>

4.2 測(cè)試結(jié)果

本文分別在單個(gè)LUN和8個(gè)LUN配置下，通過(guò)設(shè)置不同大小的區(qū)塊，分別記錄讀取(read)、寫入(write)和隨機(jī)讀取(random read)的吞吐量。根據(jù)測(cè)試結(jié)果對(duì)iSCSI和FCoE的傳輸性能進(jìn)行對(duì)比。測(cè)試對(duì)比情況如圖7、8所示。

圖7 FCoE測(cè)試結(jié)果

圖8 iSCSI測(cè)試結(jié)果

圖7、8中，橫坐標(biāo)指區(qū)塊大小，單位為Byte;縱坐標(biāo)是對(duì)應(yīng)的吞葉量，單位為MBps。從圖中的對(duì)比數(shù)據(jù)可看出:傳統(tǒng)的iSCSI整體性能偏低，在多個(gè)LUN環(huán)境下可以達(dá)到線速，而在單個(gè)LUN環(huán)境下無(wú)法達(dá)到線速?？傮w而言，iSCSI的吞吐傳輸性能較FCoE有明顯差距。而產(chǎn)生性能傳輸差異的關(guān)鍵因素在于:①FCoE與iSCSI相比具有更加可靠的傳輸技術(shù)(CEE)，它能確保數(shù)據(jù)零丟失;② FCoE與iSCSI相比具有更高效的協(xié)議尋址和數(shù)據(jù)傳輸機(jī)制，因此兩者在單個(gè)LUN的吞吐量方面的差距較明顯。

5 結(jié)束語(yǔ)

FCoE網(wǎng)絡(luò)融合技術(shù)和CEE技術(shù)實(shí)現(xiàn)了傳統(tǒng)數(shù)據(jù)中心的LAN和SAN的融合。融合后的網(wǎng)絡(luò)實(shí)現(xiàn)了以太網(wǎng)對(duì)SAN數(shù)據(jù)流量的承載，能對(duì)數(shù)據(jù)鏈路的I/O進(jìn)行有效整合，并提供10 GB的高速帶寬，簡(jiǎn)化了機(jī)房網(wǎng)絡(luò)環(huán)境，降低了網(wǎng)絡(luò)管理復(fù)雜度，同時(shí)有效利用了前期的基礎(chǔ)設(shè)施建設(shè)，從而構(gòu)建起高密度和高效能的數(shù)據(jù)中心系統(tǒng)。

［1］韓存鴿.聚類挖掘在高校圖書館管理系統(tǒng)中的應(yīng)用［J］.重慶理工大學(xué)學(xué)報(bào):自然科學(xué)版，2012，26(11):83－87.

［2］王越，袁桂義.基于關(guān)聯(lián)分析的數(shù)據(jù)挖掘在體檢CRM中的應(yīng)用［J］.重慶理工大學(xué)學(xué)報(bào):自然科學(xué)版，2010，24(3):36－42.

［3］馬錚.光纖通道技術(shù)的研究［J］.科技信息，2011(8):647，649.

［4］Zhao D.FCoE Application on Network Service of Geographic Information.Semiconductor Photonics and Technology［J］.2008(1):37 －41.

［5］程逸云.部署FCoE實(shí)現(xiàn)數(shù)據(jù)中心網(wǎng)絡(luò)融合［J］.信息通信，2012(1):87－88.

［6］周航.分布式FCoE交換機(jī)鏈路模塊的設(shè)計(jì)與實(shí)現(xiàn)［D］.北京:北京郵電大學(xué)，2011.

［7］FCoE－數(shù)據(jù)中心網(wǎng)絡(luò)融合技術(shù)［EB/OL］.［2012－09－30］.http://wenku.baidu.com/view/0b6171dfce2f00 66f533226f.html.

［8］以太網(wǎng)光纖通道(FCoE)技術(shù)綜述［EB/OL］.［2010－12 － 23］.http://www.h3c.com.cn/About_H3C/Company_Publication/IP_Lh/2010/13/Home/Catalog/201012/705332_30008_0.htm.

［9］張震，郭肇嫻.基于iSCSI的網(wǎng)絡(luò)存儲(chǔ)協(xié)議研究及實(shí)現(xiàn)［J］.中國(guó)新通信，2009(7):15 －18.

［10］武靜悅.淺析數(shù)據(jù)中心網(wǎng)絡(luò)技術(shù)的現(xiàn)狀及發(fā)展趨勢(shì)［J］.信息技術(shù)與信息化，2011(6):30 －33，37.