內(nèi)蒙古電力（集團）有限責任公司信息通信分公司 汪 嘯 王 利 張?zhí)锛?李 欣

關(guān)于數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)的研究

內(nèi)蒙古電力（集團）有限責任公司信息通信分公司 汪 嘯 王 利 張?zhí)锛?李 欣

網(wǎng)絡(luò)介質(zhì)是數(shù)據(jù)中心的重要組成部分。隨著信息化工作的不斷深入，計算機網(wǎng)絡(luò)建設(shè)進程也隨之加快，數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)存在的安全、性能不足、成本過高等問題日益突出。為應(yīng)對上述問題，在充分調(diào)查研究的基礎(chǔ)上，依據(jù)實際情況進行研究、規(guī)劃、建設(shè)和運維工作可有效降低網(wǎng)絡(luò)系統(tǒng)資源分配壓力，提高網(wǎng)絡(luò)系統(tǒng)的工作效率，在有效降低綜合成本的基礎(chǔ)上實現(xiàn)業(yè)務(wù)的高可用性。通過對數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)常用介質(zhì)的種類、使用方式進行介紹、分析，提出了適用于數(shù)據(jù)中心內(nèi)部的網(wǎng)絡(luò)建設(shè)的意見，繼而對數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)介質(zhì)的發(fā)展模式進行了較為深入的分析和探討。

數(shù)據(jù)中心；計算機網(wǎng)絡(luò)；傳輸介質(zhì)；物理隔離

1.引言

社會經(jīng)濟的快速發(fā)展、信息的爆炸式增長推動IT技術(shù)飛速發(fā)展。云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、智慧城市等技術(shù)和思維模式的興起將IT支撐架構(gòu)置于如同自來水、天然氣、電網(wǎng)等公用設(shè)施同等重要的位置。作為IT支撐架構(gòu)的核心，數(shù)據(jù)中心機房的基礎(chǔ)設(shè)施建設(shè)水平以及擴展能力決定了其運行效率、運營成本、可靠性等指標。作為數(shù)據(jù)中心機房信息設(shè)備互聯(lián)互通的基礎(chǔ)，如何加強數(shù)據(jù)中心機房內(nèi)部網(wǎng)絡(luò)建設(shè)已經(jīng)成為一個熱點問題。

2.現(xiàn)狀分析

數(shù)據(jù)中心網(wǎng)絡(luò)從單一業(yè)務(wù)數(shù)據(jù)共享功能發(fā)展到現(xiàn)在的業(yè)務(wù)數(shù)據(jù)傳輸、設(shè)備管理、架構(gòu)支撐等多種功能，網(wǎng)絡(luò)虛擬化技術(shù)、承載技術(shù)的發(fā)展又推動了網(wǎng)絡(luò)融合和單一通道復用模式的推廣。復用模式可以有效降低了網(wǎng)絡(luò)部署成本，同時也帶來了一些問題，主要有：1.無法實現(xiàn)物理隔離，存在安全隱患。2.無法實現(xiàn)故障隔離，網(wǎng)絡(luò)故障可能導致連鎖反應(yīng)，存在產(chǎn)生系統(tǒng)性故障的風險。3.無法有效進行流量分析，存在由網(wǎng)絡(luò)擁堵導致的數(shù)據(jù)傳輸瓶頸的風險。4.無法對設(shè)備承載的業(yè)務(wù)進行分類建設(shè)、管理和維護，同時存在投入不足和欠缺的問題。

為應(yīng)對網(wǎng)絡(luò)安全日益嚴峻的形勢、數(shù)據(jù)大量增長的實際情況，有必要對數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)的功能、定位進行分析、研判，根據(jù)應(yīng)用場景建立物理隔離、分級投入的網(wǎng)絡(luò)建設(shè)、管理和運維機制。同時，有必要積極學習、適應(yīng)技術(shù)發(fā)展，不斷完善相關(guān)體系和機制。

3.網(wǎng)絡(luò)功能研究

現(xiàn)有網(wǎng)絡(luò)劃分一般基于區(qū)域、協(xié)議等方式，在軟件、硬件融合和虛擬化的背景下，網(wǎng)絡(luò)邊界日漸模糊，不利于隔離、分級工作的開展。作為數(shù)據(jù)中心內(nèi)部各設(shè)備的通信基礎(chǔ)，應(yīng)以應(yīng)用為導向，以服務(wù)各設(shè)備為目標進行劃分。

結(jié)合數(shù)據(jù)中心的實際情況，其內(nèi)部網(wǎng)絡(luò)可劃分為三類。

3.1 業(yè)務(wù)支撐網(wǎng)絡(luò)，即以高速網(wǎng)絡(luò)為基礎(chǔ)，實現(xiàn)各服務(wù)器的連通和數(shù)據(jù)交互，同時通過網(wǎng)絡(luò)安全設(shè)備與數(shù)據(jù)中心外部用戶或其他數(shù)據(jù)中心進行數(shù)據(jù)交互、提供信息服務(wù)。目前，處于主流地位的為遵循IEEE802.3標準的1G/10G/100G速率局域網(wǎng)，其特點為成熟度高、兼容性強。

3.2 架構(gòu)支撐網(wǎng)絡(luò)，即以通用標準網(wǎng)絡(luò)為基礎(chǔ)，實現(xiàn)計算處理設(shè)備、數(shù)據(jù)存儲設(shè)備間的數(shù)據(jù)共享，同時提供軟件、數(shù)據(jù)庫以及相關(guān)硬件和數(shù)據(jù)資源的分布式共享集成服務(wù)。目前，處理主導地位的為采用TCP/IP協(xié)議、FC協(xié)議、Infiniband標準的類內(nèi)部總線網(wǎng)絡(luò)，其特點為成熟度較高、效率高。

3.3 管理支撐網(wǎng)絡(luò)，即以設(shè)備的管理模塊作為數(shù)據(jù)源，利用診斷技術(shù)、KVM技術(shù)進行設(shè)備的運行狀態(tài)監(jiān)測、故障管理、操作維護等工作，具有技術(shù)成熟、架構(gòu)簡單等特點。同時，該網(wǎng)絡(luò)對技術(shù)審計、管理合規(guī)性以及安全環(huán)境有較高的要求。

4.關(guān)于網(wǎng)絡(luò)架構(gòu)建設(shè)方向的探討

4.1 基于光纖介質(zhì)的網(wǎng)絡(luò)

目前，數(shù)據(jù)中心內(nèi)部網(wǎng)絡(luò)的介質(zhì)主要有多模光纖和雙絞線。雙絞線可適用于1G以太網(wǎng)布線，因其有效傳輸距離隨速率增加而降低，故在10G網(wǎng)絡(luò)中罕有使用。多模光纖的有效傳輸距離在300m以上，可適用于1/10G以太網(wǎng)、FC協(xié)議網(wǎng)建設(shè)。常見多模光纖為OM3級別，接口為LC-LC組成的雙芯TX-RX收發(fā)對。在IEEE802.3ba規(guī)定的40/100G速率以太網(wǎng)絡(luò)中，以每芯20/25Gbps的單向速率按照TX-RX規(guī)則組成多通道的傳輸組，最后組合成光纖MPO接口進行連接。

短期內(nèi)，光纖介質(zhì)網(wǎng)絡(luò)的速率仍以1/10G為主，在此情況下，可利用光纖網(wǎng)絡(luò)建立以太網(wǎng)和FC協(xié)議存儲網(wǎng)。其中光纖介質(zhì)以太網(wǎng)可作為業(yè)務(wù)支撐網(wǎng)絡(luò)的架構(gòu)基礎(chǔ)使用，F(xiàn)C網(wǎng)絡(luò)可作為架構(gòu)支撐網(wǎng)絡(luò)基礎(chǔ)使用。實現(xiàn)物理隔離的光纖以太網(wǎng)可作為匯聚層和核心層的高速網(wǎng)絡(luò)架構(gòu)基礎(chǔ)通過具有光電轉(zhuǎn)換功能的交換機與接入層的相關(guān)設(shè)備、線纜組成管理支撐網(wǎng)絡(luò)的物理基礎(chǔ)。

從長期來看，光纖介質(zhì)網(wǎng)絡(luò)速率向40/100G階段發(fā)展，結(jié)合數(shù)據(jù)中心向規(guī)?；?、模塊化、集成化、大型化發(fā)展的趨勢，可以確定在數(shù)據(jù)中心內(nèi)部進行中等強度的數(shù)據(jù)交互的業(yè)務(wù)支撐網(wǎng)絡(luò)可以此架構(gòu)為研究、設(shè)計、建設(shè)和運維重點。同時，依托以太網(wǎng)進行的協(xié)議虛擬化網(wǎng)絡(luò)可作為分布式數(shù)據(jù)中心、數(shù)據(jù)災(zāi)備的發(fā)展方向進行重點研究。

4.2 基于背板的刀片式服務(wù)器機箱內(nèi)部網(wǎng)絡(luò)

在通常情況下，背板線纜組成的網(wǎng)絡(luò)常作為服務(wù)器的部件進行運維。隨著刀片式設(shè)備以快速增多，由背板網(wǎng)絡(luò)由支持單一協(xié)議的端到端連接逐漸轉(zhuǎn)變?yōu)橹С侄鄠€協(xié)議的多節(jié)點網(wǎng)絡(luò)。由于此類服務(wù)器多用于虛擬化環(huán)境部署，所以內(nèi)部各刀片間網(wǎng)絡(luò)流量較大，可認為其具有架構(gòu)支撐網(wǎng)絡(luò)的全部特征和功能。

短期內(nèi)，背板網(wǎng)絡(luò)在刀箱設(shè)備內(nèi)獨立存在、運行，與外部進行數(shù)據(jù)交互依托業(yè)務(wù)支撐網(wǎng)絡(luò)。隨著云計算技術(shù)的逐步成熟，刀箱設(shè)備間、刀箱設(shè)備與共享存儲、刀箱設(shè)備與同云計算資源池等外部交互現(xiàn)象會逐漸增多，架構(gòu)支撐網(wǎng)絡(luò)的范圍隨著設(shè)備互聯(lián)性的增強也同時向外延伸。

在分布式技術(shù)快速發(fā)展的今天，大流量的節(jié)點間數(shù)據(jù)傳輸造成網(wǎng)絡(luò)資源的大量消耗，在部署刀片式服務(wù)器的情況下，將節(jié)點間數(shù)據(jù)傳輸依托機箱內(nèi)部交換網(wǎng)絡(luò)實現(xiàn)，將處理過的數(shù)據(jù)傳輸至機箱之外，有利于降低IDC網(wǎng)絡(luò)的負載，對IDC網(wǎng)絡(luò)的可用性和效率都是有一定積極作用的。

4.3 基于電纜介質(zhì)的網(wǎng)絡(luò)

常見的電纜介質(zhì)網(wǎng)絡(luò)是雙絞線組成的以太網(wǎng)，而基于電纜的Infiniband網(wǎng)絡(luò)設(shè)備和介質(zhì)也在逐漸增多。

雙絞線和電口交換機組成的以太網(wǎng)具有造價低、部署快的特點，常用作數(shù)據(jù)中心管理支撐網(wǎng)絡(luò)建設(shè)，在低速率數(shù)據(jù)傳輸要求的環(huán)境中，也可作為業(yè)務(wù)和架構(gòu)支撐網(wǎng)絡(luò)的物理基礎(chǔ)。考慮到雙絞線網(wǎng)絡(luò)具有技術(shù)成熟、成本低、兼容性好、穩(wěn)定性高的特點，以及目前服務(wù)器診斷管理模塊（一般為標識為MGT）采用RJ-45接口，適配雙絞線電纜組成的以太網(wǎng)，可以在今后的數(shù)據(jù)中心建設(shè)工作中繼續(xù)預留基于雙絞線的綜合布線系統(tǒng)作為監(jiān)控管理網(wǎng)絡(luò)的物理基礎(chǔ)。但其總體體積較大，在多信息點需求的先進數(shù)據(jù)中心中會產(chǎn)生較為嚴重的空間占用情況，不利于線纜通道的管理和維護。所以，在未來可考慮在機柜列頭部署電-光轉(zhuǎn)換設(shè)備，以光電轉(zhuǎn)換等技術(shù)予以改進，現(xiàn)實服務(wù)器監(jiān)控、管理、運行（生產(chǎn)）網(wǎng)絡(luò)的物理隔離。

采用Infiniband標準的設(shè)備多見于一體化數(shù)據(jù)處理存儲設(shè)備，由于其具有高帶寬、低延遲的特性，又用于數(shù)據(jù)庫存儲孔家你的構(gòu)建，故可視為FC-SAN網(wǎng)絡(luò)的升級。在距離較近的設(shè)備間，一般部署電纜介質(zhì)Infiniband線纜，在距離較遠的情況下采用光纜介質(zhì)，在進行同城或異地容災(zāi)的情況下，可隨容災(zāi)鏈路的實際情況進行協(xié)議虛擬化改造。

4.結(jié)束語

在數(shù)據(jù)中心網(wǎng)絡(luò)介質(zhì)全生命周期管理的過程中，需要在考慮當前配置的情況下進行有針對性的技術(shù)改造和升級工作，充分利用現(xiàn)有資源以降低成本；同時也需要具有一定的技術(shù)前瞻性以確保資金得到合理運用。

[1]張晉文．突發(fā)式無線數(shù)據(jù)傳輸?shù)姆植际剿矐B(tài)壓力測試系統(tǒng)[D]．中北大學,2015．

[2]張?zhí)炀В酏R賢．千兆位以太網(wǎng)技術(shù)[J]．現(xiàn)代通信,1999年02期．

[3]田輝．石友康．以太網(wǎng)技術(shù)及標準化新進展[J]．通信世界,2006年38期．

[4]李冬艷．陳建峽．田立勤．網(wǎng)絡(luò)可用性提高的機制、分析與量化評估[J]．華北科技學院學報,2011年11期．

[5]董小社．喬楠．錢德沛．趙聰．新型的IBA刀片式集群服務(wù)器及其內(nèi)部互聯(lián)[J]． 計算機應(yīng)用．2003年02期．

汪嘯（1986-），碩士，工程師，研究方向為信息系統(tǒng)架構(gòu)分析。