王志強(qiáng)，李廣福，張學(xué)燕

1.山東工藝美術(shù)學(xué)院，山東濟(jì)南，250300；2.山東青年政治學(xué)院，山東濟(jì)南，250103

0 引言

隨著國(guó)家數(shù)字中國(guó)建設(shè)的持續(xù)推進(jìn)，高等教育與信息技術(shù)高度融合，教育信息化為高等院校教學(xué)、科研、管理及服務(wù)提供了良好的支撐環(huán)境，為高等教育高質(zhì)量發(fā)展提供有力保障。教育部等六部門在2021年發(fā)布的《關(guān)于推進(jìn)教育新型基礎(chǔ)設(shè)施建設(shè)構(gòu)建高質(zhì)量教育支撐體系的指導(dǎo)意見(jiàn)》中指出：“構(gòu)建新型數(shù)據(jù)中心，為本地區(qū)教育機(jī)構(gòu)提供便捷可靠的計(jì)算存儲(chǔ)和災(zāi)備服務(wù)。[1]”2021年教育部印發(fā)《高等學(xué)校數(shù)字校園建設(shè)規(guī)范（試行）》，其中明確指出：“建設(shè)安全、高效、節(jié)能的數(shù)據(jù)中心基礎(chǔ)設(shè)施，構(gòu)建安全、穩(wěn)定、高效的網(wǎng)絡(luò)、計(jì)算（服務(wù)器）系統(tǒng)、存儲(chǔ)系統(tǒng)、基礎(chǔ)軟件系統(tǒng)、備份容災(zāi)系統(tǒng)等，為信息化應(yīng)用提供良好的支撐環(huán)境”[2]。從以上文件可知，構(gòu)建安全、穩(wěn)定、高效、節(jié)能的現(xiàn)代化數(shù)據(jù)中心，為計(jì)算、存儲(chǔ)及備份容災(zāi)系統(tǒng)等提供良好穩(wěn)定的運(yùn)行環(huán)境，是教育信息化的基礎(chǔ)，是教育信息化的支撐和保障。

本文以山東工藝美術(shù)學(xué)院數(shù)據(jù)中心機(jī)房建設(shè)為例，主要介紹新一代數(shù)據(jù)中心機(jī)房建設(shè)中供配電系統(tǒng)、模塊化布線系統(tǒng)、新網(wǎng)絡(luò)技術(shù)架構(gòu)及數(shù)據(jù)交換網(wǎng)絡(luò)四個(gè)方面的實(shí)踐與經(jīng)驗(yàn)，及它們與傳統(tǒng)數(shù)據(jù)中心機(jī)房相比所具有的優(yōu)勢(shì)。

1 增程式節(jié)能高效配電模式，為數(shù)據(jù)中心機(jī)房電力保駕護(hù)航

供配電系統(tǒng)是保證數(shù)據(jù)中心機(jī)房中計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)及輔助設(shè)備等可靠運(yùn)行的基本條件，現(xiàn)代數(shù)據(jù)中心機(jī)房電力系統(tǒng)以節(jié)能環(huán)保、穩(wěn)定可靠為基本原則，建設(shè)一個(gè)安全、穩(wěn)定、節(jié)能、環(huán)保的供配電系統(tǒng)對(duì)數(shù)據(jù)中心機(jī)房顯得尤為重要。山東工藝美術(shù)學(xué)院在數(shù)據(jù)中心機(jī)房建設(shè)時(shí)，對(duì)不間斷電源配電模式進(jìn)行了更加穩(wěn)定與節(jié)能的新模式探索，除常規(guī)的市電接入之外，采用了柴油發(fā)電機(jī)和UPS延時(shí)相結(jié)合的新方式，它的工作原理是：當(dāng)市電停電時(shí)，機(jī)房配電系統(tǒng)自動(dòng)切換至UPS供電，并確保UPS供電啟用2分鐘之內(nèi)自動(dòng)啟動(dòng)應(yīng)急發(fā)電機(jī)供電。這種新模式與傳統(tǒng)的供電模式相比，具有許多優(yōu)勢(shì)。

1.1 持續(xù)動(dòng)力輸出，不再為供電時(shí)長(zhǎng)擔(dān)憂

傳統(tǒng)的鉛酸蓄電池單位內(nèi)聚能量偏低，不能為數(shù)據(jù)中心設(shè)備提供長(zhǎng)時(shí)間的電能。蓄電池只能短時(shí)間內(nèi)為機(jī)房提供電力輸出，若遇到市電較長(zhǎng)時(shí)間停止供電，這種情況下鉛酸蓄電池很難為機(jī)房提供長(zhǎng)時(shí)間供電。而使用柴油發(fā)電機(jī)和UPS延時(shí)配合為數(shù)據(jù)中心機(jī)房進(jìn)行電力輸出，不用再擔(dān)心供電時(shí)長(zhǎng)的問(wèn)題，只要確保發(fā)電機(jī)有足夠的柴油，就可以持續(xù)為機(jī)房提供電能。

1.2 投資回報(bào)率高，機(jī)房空間占比小

傳統(tǒng)的不間斷電源供電模式大多采用UPS主機(jī)配備大量鉛酸蓄電池的方式，若想增加供電時(shí)長(zhǎng)，需要串聯(lián)大量的蓄電池，供電時(shí)長(zhǎng)是與電池的數(shù)量成正比的，電池?cái)?shù)量越多供電時(shí)間就會(huì)越長(zhǎng)。目前鉛酸蓄電池的價(jià)格偏高，大量的電池采購(gòu)會(huì)增加機(jī)房的建設(shè)成本，并且電池的循環(huán)使用壽命是有限的，每隔幾年需要更換一次電池，這無(wú)疑也增加了成本。由于電池的能量密度低，大量的電池會(huì)占用機(jī)房很大的一部分空間。新供電模式只需一臺(tái)柴油發(fā)電機(jī)，從目前的市場(chǎng)行情看，發(fā)電機(jī)的價(jià)格不是太高，并且使用期間定期對(duì)發(fā)電機(jī)進(jìn)行保養(yǎng)，可以使用十幾甚至幾十年，一般不用為使用壽命問(wèn)題而擔(dān)憂。這種模式的選擇，降低了機(jī)房建設(shè)的投資成本。

1.3 節(jié)能高效，供電性能不再受限

鉛酸蓄電池電解液含有大量的硫酸及硫酸鉛，大量的廢棄電池需要專業(yè)部門才能夠處理，每年需要回收處理的廢電池消耗了一定的能源，不利于國(guó)家倡導(dǎo)的節(jié)能減排。如果對(duì)電池處理不當(dāng)致使廢液進(jìn)入環(huán)境，大量的重金屬?gòu)U水會(huì)對(duì)環(huán)境造成污染。并且UPS供配電系統(tǒng)只能為計(jì)算機(jī)設(shè)備、網(wǎng)絡(luò)設(shè)備及存儲(chǔ)設(shè)備等供電，不能為機(jī)房?jī)?nèi)精密空調(diào)提供電力。當(dāng)市電停電時(shí)間過(guò)久，由于機(jī)房?jī)?nèi)的設(shè)備會(huì)產(chǎn)生大量的熱量無(wú)法排出，致使室內(nèi)溫度急劇升高，持續(xù)高溫的環(huán)境容易使設(shè)備發(fā)生宕機(jī)。柴油發(fā)電機(jī)和UPS延時(shí)的新模式，只需配備少量的鉛酸蓄電池，用于保障市電停電后、發(fā)電機(jī)啟動(dòng)之前的幾分鐘的供電時(shí)間。這樣減少了大量被替換下來(lái)的電池的處理成本，也減少了廢棄電池污染物對(duì)環(huán)境的排放，符合國(guó)家節(jié)能減排的政策。發(fā)電機(jī)不僅能夠給計(jì)算機(jī)、網(wǎng)絡(luò)及存儲(chǔ)等設(shè)備供電，同時(shí)也可以給機(jī)房?jī)?nèi)精密空調(diào)供電。

2 模塊化高性能光纖配線系統(tǒng)，拓寬5G時(shí)代信息高速公路

學(xué)校在進(jìn)行數(shù)據(jù)中心綜合布線系統(tǒng)建設(shè)時(shí)，充分考慮到云計(jì)算、大數(shù)據(jù)、虛擬化和物聯(lián)網(wǎng)等業(yè)務(wù)對(duì)網(wǎng)絡(luò)傳輸基礎(chǔ)設(shè)施的高標(biāo)準(zhǔn)要求，它需要具備傳輸帶寬高、傳輸速度快、吞吐量大和低延時(shí)等特點(diǎn)，同時(shí)滿足學(xué)校線上教育教學(xué)、網(wǎng)絡(luò)視頻業(yè)務(wù)爆發(fā)式增長(zhǎng)及智慧校園系統(tǒng)等業(yè)務(wù)需求，以及考慮到后期維護(hù)成本，采用了基于MPO連接器的高密度光纖配線系統(tǒng)，它與傳統(tǒng)的布線系統(tǒng)相比優(yōu)勢(shì)比較明顯。

2.1 可擴(kuò)展性強(qiáng)，系統(tǒng)部署靈活

基于模塊化光纖配線系統(tǒng)，可以根據(jù)業(yè)務(wù)需求量進(jìn)行動(dòng)態(tài)配置，1U高度的高密度光纖箱滿配可安裝12個(gè)MPO預(yù)端接盒，每個(gè)預(yù)端接盒可配備12個(gè)LC適配器，這樣一個(gè)1U高度的光纖箱滿額可管理144芯光纖。根據(jù)業(yè)務(wù)的需求量，只需配備當(dāng)前數(shù)量的MPO預(yù)端接盒即可，若后期隨著需求量的增加，隨時(shí)可以增加MPO預(yù)端接盒的數(shù)量，既可以做到按需配備，又可以緩解因資金緊張而帶來(lái)的問(wèn)題。MTP連接器的特點(diǎn)是即插即用，當(dāng)有新的模塊盒需要接入配線箱時(shí)，只需將安裝有MTP連接器（母端）的MPO-MPO集束光纖跳線插入MTP連接器（公端）即可，從而實(shí)現(xiàn)了系統(tǒng)部件的快捷連接。而傳統(tǒng)的布線系統(tǒng)就很難做到快速、便捷連接，部署的靈活性及可擴(kuò)展性都要比高密度模塊化MPO光纖配線系統(tǒng)弱。

2.2 高密度配線管理，節(jié)約機(jī)柜空間

高密度模塊化的MPO預(yù)端接盒設(shè)計(jì)，具有大容量、低空間占用量的特點(diǎn)，節(jié)約了機(jī)柜的占用空間，從而大大提高了機(jī)柜的利用率。譬如，1U高度的高密度MPO光纖配線架可端接光纖芯數(shù)達(dá)144芯，而普通ODF光纖配線箱若端接144芯光纖，則需要12個(gè)熔接盤，箱體高度大約為35厘米，標(biāo)準(zhǔn)機(jī)柜1U的高度約為4.445厘米，35厘米高度大約是8U的高度。也就是說(shuō)，同樣是144芯的光纖端接，普通ODF光纖配線架占用的空間是高密度MPO光纖配線架的8倍。

2.3 數(shù)據(jù)傳輸速度快，數(shù)據(jù)傳輸性能好

隨著網(wǎng)絡(luò)帶寬的提升及數(shù)據(jù)交換量的劇增，萬(wàn)兆傳輸已成為數(shù)據(jù)中心布線的主流趨勢(shì)，MPO連接器支持100G/s數(shù)據(jù)傳輸速率，避免了數(shù)據(jù)交換、傳輸瓶頸的問(wèn)題，并且配備多芯帶狀或束狀光纜，鏈接穩(wěn)定可靠，保證了數(shù)據(jù)在傳輸過(guò)程中的穩(wěn)定性。由于光纖布線系統(tǒng)具有高帶寬、高速率、抗干擾能力強(qiáng)等優(yōu)點(diǎn)，現(xiàn)代數(shù)據(jù)中心機(jī)房設(shè)備大多配備光纖接口，傳統(tǒng)的雙絞線接口已很少使用，因?yàn)閭鹘y(tǒng)的雙絞線布線系統(tǒng)已經(jīng)很難滿足現(xiàn)代數(shù)據(jù)中心高密度設(shè)備接入和對(duì)傳輸介質(zhì)高性能的要求。

3 基于網(wǎng)絡(luò)新技術(shù)架構(gòu)，助力數(shù)據(jù)中心飛速發(fā)展

學(xué)校在新數(shù)據(jù)中心機(jī)房建設(shè)時(shí)，采用分布式VxLAN和EVPN技術(shù)方案，基于Spine-Leaf物理網(wǎng)絡(luò)拓?fù)浼軜?gòu)，實(shí)現(xiàn)校園網(wǎng)的扁平化，滿足數(shù)據(jù)中心對(duì)網(wǎng)絡(luò)的性能可靠、數(shù)據(jù)轉(zhuǎn)發(fā)高效、可擴(kuò)展性強(qiáng)等需求，很好地解決了傳統(tǒng)三層網(wǎng)絡(luò)模式存在的虛擬化部署、資源調(diào)整等業(yè)務(wù)不靈活等問(wèn)題，減少了資源浪費(fèi)，提高了信息的傳播效率。

3.1 業(yè)務(wù)部署靈活，可擴(kuò)展性強(qiáng)

隨著服務(wù)器、虛擬機(jī)數(shù)量不斷增加，網(wǎng)絡(luò)規(guī)模越來(lái)越大，數(shù)據(jù)中心數(shù)據(jù)流量成倍增長(zhǎng)，傳統(tǒng)的網(wǎng)絡(luò)架構(gòu)已無(wú)法滿足云計(jì)算、大數(shù)據(jù)等新業(yè)務(wù)對(duì)網(wǎng)絡(luò)承載的需求，基于路由協(xié)議的傳統(tǒng)三層網(wǎng)絡(luò)架構(gòu)VLAN無(wú)法突破物理二層的限制，不能滿足大規(guī)模虛擬化部署，虛擬機(jī)遷移受物理網(wǎng)絡(luò)架構(gòu)限制，新業(yè)務(wù)上線網(wǎng)絡(luò)配置煩瑣、擴(kuò)展性差。基于以上問(wèn)題，采用分布式VxLAN+EVPN技術(shù)方案構(gòu)建邏輯大二層扁平化網(wǎng)絡(luò)，以解決資源整合、業(yè)務(wù)備份、負(fù)載均衡等需要，以及虛擬機(jī)部署遷移的需要[3]。

3.2 數(shù)據(jù)傳輸速率高，網(wǎng)絡(luò)可靠性高

傳統(tǒng)的網(wǎng)絡(luò)架構(gòu)業(yè)務(wù)與網(wǎng)絡(luò)耦合性高，如果網(wǎng)絡(luò)出現(xiàn)問(wèn)題對(duì)業(yè)務(wù)影響大，并且傳統(tǒng)網(wǎng)絡(luò)VLAN中存在廣播數(shù)據(jù)包容易在整網(wǎng)中泛洪占用網(wǎng)絡(luò)資源等問(wèn)題。針對(duì)數(shù)據(jù)中心數(shù)據(jù)大流量、無(wú)阻塞傳輸，學(xué)校在新數(shù)據(jù)中心建設(shè)時(shí)，配備了支持VSU虛擬化技術(shù)的高性能交換機(jī)，上聯(lián)端口線速交換能力可達(dá)100G?；赩xLAN+EVPN技術(shù)部署的網(wǎng)絡(luò)架構(gòu)，將VxLAN二層、三層網(wǎng)關(guān)部署在Leaf交換機(jī)上，Spine交換機(jī)只負(fù)責(zé)IP的高速轉(zhuǎn)發(fā)，Spine-Leaf物理組網(wǎng)架構(gòu)是一種新型的邏輯二層網(wǎng)絡(luò)架構(gòu)，實(shí)現(xiàn)了業(yè)務(wù)與網(wǎng)絡(luò)的解耦，能夠很好地應(yīng)對(duì)網(wǎng)絡(luò)中激增的數(shù)據(jù)流量，提高網(wǎng)絡(luò)傳輸效率，降低對(duì)網(wǎng)絡(luò)資源的占用率，并且有效阻止了廣播風(fēng)暴的產(chǎn)生[4]。VSU虛擬化技術(shù)能夠?qū)⒍嗯_(tái)物理設(shè)備虛擬為一臺(tái)邏輯設(shè)備，進(jìn)行統(tǒng)一的運(yùn)行管理，從而實(shí)現(xiàn)了網(wǎng)絡(luò)的可靠性。借助交換機(jī)自帶的虛擬化特性，在Leaf交換機(jī)與服務(wù)器鏈路上做跨設(shè)備鏈路聚合，將多設(shè)備進(jìn)行跨設(shè)備鏈路聚合，通過(guò)VSU虛擬化技術(shù)將多臺(tái)Spine交換機(jī)邏輯上虛擬成一臺(tái)設(shè)備，同時(shí)將串接在核心鏈路中的安全設(shè)備旁掛在按“東西”向流量和“南北”向流量的Leaf交換機(jī)下，提高了網(wǎng)絡(luò)鏈路及網(wǎng)絡(luò)出口的可靠性。

3.3 網(wǎng)絡(luò)配置自動(dòng)化程度高，網(wǎng)絡(luò)運(yùn)維更加智能化

新的網(wǎng)絡(luò)技術(shù)架構(gòu)中的網(wǎng)絡(luò)設(shè)備會(huì)根據(jù)網(wǎng)絡(luò)全局配置、交換機(jī)模板配置自動(dòng)生成設(shè)備配置，實(shí)現(xiàn)了設(shè)備即插即用，設(shè)備配置自動(dòng)生成等網(wǎng)絡(luò)自動(dòng)化構(gòu)建與配置，做到了網(wǎng)絡(luò)業(yè)務(wù)調(diào)整按需下發(fā)、自動(dòng)化部署等。例如，當(dāng)網(wǎng)絡(luò)中交換機(jī)出現(xiàn)硬件故障后，使用相同型號(hào)的交換機(jī)進(jìn)行替換后，新入網(wǎng)交換機(jī)的配置會(huì)根據(jù)自身業(yè)務(wù)需要自動(dòng)下發(fā)，從而使既有業(yè)務(wù)不受設(shè)備的調(diào)整影響。傳統(tǒng)的網(wǎng)絡(luò)技術(shù)架構(gòu)則很難實(shí)現(xiàn)新入網(wǎng)設(shè)備自動(dòng)化部署等功能，在進(jìn)行網(wǎng)絡(luò)業(yè)務(wù)調(diào)整時(shí)需要對(duì)設(shè)備進(jìn)行流程比較煩瑣的配置。

4 EoR+MPO數(shù)據(jù)交換網(wǎng)絡(luò)搭建，實(shí)現(xiàn)低投入、高效率

現(xiàn)代數(shù)據(jù)中心機(jī)房建設(shè)過(guò)程中，考慮到數(shù)據(jù)業(yè)務(wù)的可變性、云計(jì)算和虛擬化大量部署對(duì)數(shù)據(jù)交換的高效性、以脊葉網(wǎng)絡(luò)拓?fù)浼軜?gòu)為代表的大二層網(wǎng)絡(luò)結(jié)構(gòu)的新趨勢(shì)，數(shù)據(jù)交換網(wǎng)絡(luò)搭建需要充分考慮以上各種業(yè)務(wù)的需求。

4.1 EoR與ToR數(shù)據(jù)交換網(wǎng)絡(luò)架構(gòu)對(duì)照

EoR布線架構(gòu)是傳統(tǒng)的數(shù)據(jù)中心網(wǎng)絡(luò)布線架構(gòu)，是在每排機(jī)柜邊端配置網(wǎng)絡(luò)機(jī)柜，俗稱網(wǎng)絡(luò)列頭柜，數(shù)據(jù)交換機(jī)放置在網(wǎng)絡(luò)列頭柜內(nèi)提供網(wǎng)絡(luò)統(tǒng)一接入點(diǎn)，每個(gè)IT機(jī)柜里的服務(wù)器等設(shè)備通過(guò)光纖等最終跳接的網(wǎng)絡(luò)列頭柜與交換機(jī)連接。ToR布線架構(gòu)是在每個(gè)IT機(jī)柜頂部配置一臺(tái)或兩臺(tái)數(shù)據(jù)交換機(jī)，機(jī)柜內(nèi)的服務(wù)器等設(shè)備通過(guò)跳線直連到機(jī)柜內(nèi)的交換機(jī)上面，每個(gè)機(jī)柜內(nèi)的交換機(jī)通過(guò)上聯(lián)口最終連接到匯聚交換機(jī)。

4.2 EoR+MPO技術(shù)組合與ToR相比性價(jià)比更高

EoR+MPO技術(shù)組合是將傳統(tǒng)的EoR布線構(gòu)架與高密度MPO光纖配線架相結(jié)合的方式，在每個(gè)IT機(jī)柜頂端安裝一臺(tái)MPO光纖配線架用于本機(jī)柜內(nèi)服務(wù)器等設(shè)備的連接，MPO光纖配線架通過(guò)光纖與列頭機(jī)柜里的數(shù)據(jù)交換機(jī)連接，這種技術(shù)方案避免了EoR布線架構(gòu)后期線纜可擴(kuò)展性不強(qiáng)、管理較復(fù)雜的現(xiàn)象，又具備了ToR布線架構(gòu)的分布式網(wǎng)絡(luò)接入、可擴(kuò)展性強(qiáng)、高速率等優(yōu)點(diǎn)，并且與ToR架構(gòu)每個(gè)機(jī)柜內(nèi)配置數(shù)據(jù)交換機(jī)相比，在機(jī)房建設(shè)時(shí)資金投入低很多。

5 結(jié)語(yǔ)

數(shù)據(jù)中心機(jī)房建設(shè)是一項(xiàng)復(fù)雜的系統(tǒng)工程，是計(jì)算、存儲(chǔ)及通信的重要基礎(chǔ)設(shè)施，是教育信息化的重要支撐和保障。本文重點(diǎn)從數(shù)據(jù)中心機(jī)房建設(shè)的供配電方案、模塊化配線系統(tǒng)、新的網(wǎng)絡(luò)技術(shù)架構(gòu)及數(shù)據(jù)交換網(wǎng)絡(luò)四個(gè)方面，以及與傳統(tǒng)的數(shù)據(jù)中心機(jī)房?jī)?yōu)劣對(duì)比，分享了學(xué)校在數(shù)據(jù)中心機(jī)房建設(shè)方面的實(shí)際經(jīng)驗(yàn)。