秦國(guó)經(jīng), 韓銀鳳, 賈洋洋, 王超楠

(1.中國(guó)建筑第八工程局有限公司西北分公司工程設(shè)計(jì)研究院, 陜西 西安 710082;2.西安空間無(wú)線電技術(shù)研究所, 陜西 西安 710010)

0 引 言

近年來(lái),電氣信息技術(shù)迅速發(fā)展,數(shù)據(jù)中心作為IT技術(shù)的支撐載體,也取得了巨大的發(fā)展。隨著我國(guó)全國(guó)一體化大數(shù)據(jù)中心體系布局完成,“東數(shù)西算”工程全面啟動(dòng),數(shù)字時(shí)代對(duì)數(shù)據(jù)采集、存儲(chǔ)、傳輸、處理以及計(jì)算能力的需求將更高,電氣系統(tǒng)作為數(shù)據(jù)中心非常重要的組成要素,其重要性不言而喻。本文從實(shí)際案例出發(fā),分析存在的問(wèn)題,提出多專業(yè)協(xié)同設(shè)計(jì)對(duì)電氣系統(tǒng)以及數(shù)據(jù)中心整體規(guī)劃設(shè)計(jì)的重要意義。

目前,數(shù)據(jù)中心電氣設(shè)計(jì)所依據(jù)的規(guī)范和標(biāo)準(zhǔn)有:GB 50174—2017《數(shù)據(jù)中心設(shè)計(jì)規(guī)范》、T/CCUA 011—2021《數(shù)據(jù)中心綠色等級(jí)評(píng)價(jià)》、T/CCUA 001—2019《數(shù)據(jù)中心基礎(chǔ)設(shè)施等級(jí)評(píng)價(jià)》、T/CCUA 002—2019《數(shù)據(jù)中心基礎(chǔ)設(shè)施運(yùn)維服務(wù)能力評(píng)價(jià)》、T/CCUA 016—2021《超級(jí)計(jì)算數(shù)據(jù)中心設(shè)計(jì)要求》等[1]。

1 實(shí)際案例

本工程數(shù)據(jù)中心為國(guó)家級(jí)銀行數(shù)據(jù)中心,屬于金融行業(yè)。規(guī)劃建設(shè)6棟?rùn)C(jī)房樓、4棟動(dòng)力樓、2棟備件庫(kù)樓、1棟生產(chǎn)運(yùn)維支持樓、2棟110 kV變電站和4棟門衛(wèi)。其中,生產(chǎn)運(yùn)維支持樓(M1)民用公共建筑;建筑機(jī)房樓(A1～A3、B1～B3)為數(shù)據(jù)中心機(jī)房屬工業(yè)建筑、動(dòng)力樓(C1～C2;D1～D2)為柴油發(fā)電機(jī)房為工業(yè)建筑;110 kV電站(G1、H1)為工業(yè)建筑。A2、B2兩棟?rùn)C(jī)房樓參照國(guó)際UptimeInstitute發(fā)布的《Data Center Site Infrastructure TierStandard:Topology》中TierⅢ及TierⅣ標(biāo)準(zhǔn)進(jìn)行設(shè)計(jì),A1、A3、B1、B3按照GB 50174—2017《數(shù)據(jù)中心設(shè)計(jì)規(guī)范》中A級(jí)標(biāo)準(zhǔn)進(jìn)行設(shè)計(jì)?？偨ㄖ娣e約21萬(wàn)m2,其中地上總建筑面積約20萬(wàn)m2,地下總建筑面積約0.9萬(wàn)m2,機(jī)房樓建筑總面積約1.4萬(wàn)m2。

2 數(shù)據(jù)中心工藝

2.1 建設(shè)規(guī)模和容量規(guī)劃

銀行數(shù)據(jù)中心的安全運(yùn)行關(guān)系到銀行的重要數(shù)據(jù)和業(yè)務(wù)的正常運(yùn)行。機(jī)房模塊和機(jī)柜建設(shè)規(guī)模:規(guī)劃建設(shè)78個(gè)機(jī)房模塊,包括網(wǎng)絡(luò)機(jī)房模塊(業(yè)務(wù)網(wǎng)核心)、液冷機(jī)房模塊、網(wǎng)絡(luò)機(jī)房模塊(樓匯聚)、服務(wù)器機(jī)房模塊、屏蔽機(jī)房模塊[2]。目前規(guī)劃建設(shè)10 312臺(tái)機(jī)柜,包括液冷機(jī)柜、服務(wù)器機(jī)柜(高密)、服務(wù)器機(jī)柜(中密)、網(wǎng)絡(luò)機(jī)柜。

2.2 機(jī)架負(fù)載分析和機(jī)柜設(shè)施標(biāo)準(zhǔn)

考慮到項(xiàng)目的前瞻性,單機(jī)柜功耗需在滿足現(xiàn)有部署情況的前提下,適度預(yù)留未來(lái)發(fā)展的余量。本項(xiàng)目按每臺(tái)機(jī)柜配置16臺(tái)服務(wù)器,以單臺(tái)服務(wù)器功率為0.5 kW測(cè)算,每臺(tái)服務(wù)器機(jī)柜需配置功率為8 kW。

機(jī)房模塊內(nèi)機(jī)柜排布以TOR架構(gòu)機(jī)房為例。后續(xù)會(huì)設(shè)置MOR架構(gòu)機(jī)房模塊(簡(jiǎn)稱MOR機(jī)房,如SAN、NAS、帶庫(kù)等整柜設(shè)備自帶機(jī)柜),含非標(biāo)設(shè)備。機(jī)柜內(nèi)設(shè)備為前進(jìn)風(fēng)/后出風(fēng)方式冷卻,機(jī)柜采用面對(duì)面、背對(duì)背的布置方式。機(jī)柜面對(duì)面布置形成冷風(fēng)通道,背對(duì)背布置形成熱風(fēng)通道,配合合理布置送回風(fēng)口取得合理氣流組織,提高空調(diào)設(shè)備的使用效率,降低空調(diào)設(shè)備的功耗。在機(jī)房模塊內(nèi)采取熱通道封閉的措施,完全避免空氣回流,降低PUE值。

機(jī)柜設(shè)施標(biāo)準(zhǔn):機(jī)柜設(shè)施需符合ANSI/EIARS-310-D、IEC297-2DIN41491PART1、DIN41494PART7、GBT 3047.2標(biāo)準(zhǔn),兼容ETSI標(biāo)準(zhǔn)。機(jī)柜參數(shù)要求。機(jī)柜典型尺寸(52U):高2 450 mm×寬600 mm×深1 200 mm。機(jī)柜后面應(yīng)預(yù)留放置PDU的位置。機(jī)柜前面應(yīng)預(yù)留布線配件方便布線。

2.3 綜合布線設(shè)計(jì)目標(biāo)和依據(jù)

銀行數(shù)據(jù)中心建設(shè)項(xiàng)目綜合布線的設(shè)計(jì),依據(jù)國(guó)際布線設(shè)計(jì)規(guī)范及GB 50174—2017A級(jí)機(jī)房標(biāo)準(zhǔn)和ANSI/TIA-942-A—2014Tier4級(jí)機(jī)房標(biāo)準(zhǔn)進(jìn)行設(shè)計(jì),采用先進(jìn)的結(jié)構(gòu)化布線模式,模塊化布線思路解決了以往機(jī)房直連布線存在的問(wèn)題。弱電走線架的主干橋架應(yīng)布置于機(jī)柜列的兩端機(jī)柜外側(cè),封閉熱通道以外,避免與熱通道沖突。

各機(jī)房樓間互聯(lián)需要2條路由。機(jī)房樓一層設(shè)置網(wǎng)絡(luò)運(yùn)營(yíng)商接入間,滿足樓間互聯(lián)及運(yùn)營(yíng)商直接接入機(jī)房樓的條件。機(jī)房模塊內(nèi)機(jī)柜區(qū)域外配置“環(huán)形橋架”,每列機(jī)柜上部署2列橋架連通模塊內(nèi)環(huán)形橋架,供電纜和銅纜使用。

2.3.1 服務(wù)器機(jī)房模塊內(nèi)綜合布線

(1) TOR方式。按照A/B路由分開(kāi)方式,做TOR到IDA的綜合布線,每個(gè)TOR預(yù)留6個(gè)40 G的多模MPO端口、24個(gè)LC雙工單模端口、6個(gè)銅纜萬(wàn)兆端口。每個(gè)TOR和機(jī)房中部IDA光纖布線分AB路,分別采用1根24芯單模OS2預(yù)端接光纜和1根3×8芯多模OM4預(yù)端接光纜,另敷設(shè)6根超六類非屏蔽雙絞線連接TOR與IDA,機(jī)房中第6排作為網(wǎng)絡(luò)匯聚區(qū)-IDA,整排部署800 mm寬網(wǎng)絡(luò)機(jī)柜。其他排機(jī)柜兩兩一組做一個(gè)TOR,每臺(tái)機(jī)柜按照20臺(tái)服務(wù)器配置,采用80根多模OM4光纖跳線和20根超六類非屏蔽銅纜跳線連接服務(wù)器與接入交換機(jī)。

(2) MOR方式。機(jī)房12列機(jī)柜中,中間1列為機(jī)房模塊IDA,其余11列為服務(wù)器機(jī)柜,整柜設(shè)備(6列服務(wù)器,5列整柜設(shè)備)。服務(wù)器機(jī)柜列:中間3臺(tái)網(wǎng)絡(luò)柜(HDA),其余12個(gè)為服務(wù)器柜,每個(gè)服務(wù)器柜按照24電口,96網(wǎng)絡(luò)光口,48存儲(chǔ)光口考慮。24電口和96網(wǎng)絡(luò)光口連接每列中間網(wǎng)絡(luò)交換機(jī)(HDA),48存儲(chǔ)光口直連機(jī)房中部IDA。整柜設(shè)備列:不設(shè)常規(guī)機(jī)柜,采用下掛式配線架,安裝下掛式安裝支架。每臺(tái)整柜設(shè)備按24電口,48網(wǎng)絡(luò)光口,48存儲(chǔ)光口考慮。這種布置方式也能滿足服務(wù)器柜需求。24電口和48網(wǎng)絡(luò)光口連接每列中間網(wǎng)絡(luò)交換機(jī),48存儲(chǔ)光口直連機(jī)房中部IDA。HDA到IDA:HDA的兩個(gè)網(wǎng)絡(luò)柜,每個(gè)網(wǎng)絡(luò)柜到IDA分AB路,每路48芯多模OM4預(yù)端接光纜和24芯OS2單模預(yù)端接光纜。

2.3.2 服務(wù)器機(jī)房模塊IDA至樓內(nèi)匯聚綜合布線-機(jī)房樓

按照A/B路由分開(kāi)方式,做IDA到樓匯聚的綜合布線,3層服務(wù)器機(jī)房和1層液冷機(jī)房的IDA分別預(yù)留24個(gè)40 G的多模MPO端口、96個(gè)LC雙工單模端口;4層服務(wù)器機(jī)房的IDA分別預(yù)留48個(gè)40 G的多模MPO端口、192個(gè)LC雙工單模端口。

2.3.3 樓匯聚機(jī)房模塊IDA至網(wǎng)絡(luò)核心機(jī)房綜合布線

按照A/B路由分開(kāi)方式,做樓匯聚機(jī)房模塊到網(wǎng)絡(luò)核心機(jī)房的綜合布線,每個(gè)樓匯聚機(jī)房模塊,到每個(gè)網(wǎng)絡(luò)核心機(jī)房,預(yù)留4×24個(gè)LC雙工單模端口。

2.3.4 服務(wù)器機(jī)房樓內(nèi)樓匯聚模塊之間互聯(lián)

該機(jī)房樓內(nèi),樓匯聚機(jī)房模塊之間交叉互聯(lián),每個(gè)樓匯聚至其他任一樓匯聚之間,互聯(lián)線纜采用2×48芯單模OS2預(yù)端接光纜。每個(gè)匯聚機(jī)房預(yù)留48個(gè)LC雙工單模端口。光纜跳線、銅纜跳線,暫時(shí)按照12.5%配置。

2.3.5 網(wǎng)絡(luò)核心機(jī)房間互聯(lián)及機(jī)房?jī)?nèi)綜合布線

園區(qū)網(wǎng)絡(luò)核心機(jī)房之間交叉互聯(lián),每個(gè)園區(qū)核心至其他任一園區(qū)核心之間,互聯(lián)線纜采用144芯單模OS2預(yù)端接光纜或OS2室外鎧裝光纜。

3 智能化系統(tǒng)

3.1 智能化系統(tǒng)概述

依據(jù)GB 50174—2017《數(shù)據(jù)中心設(shè)計(jì)規(guī)范》中第11.1條,數(shù)據(jù)中心應(yīng)設(shè)置總控中心、環(huán)境和設(shè)備監(jiān)控系統(tǒng)、數(shù)據(jù)中心基礎(chǔ)設(shè)施管理系統(tǒng)等智能化系統(tǒng)。結(jié)合本工程,弱電系統(tǒng)主要包括:火災(zāi)自動(dòng)報(bào)警及聯(lián)動(dòng)控制系統(tǒng)、極早期火災(zāi)報(bào)警系統(tǒng)、消防應(yīng)急廣播系統(tǒng)、視頻安防監(jiān)控系統(tǒng)、安全防范系統(tǒng)、門禁系統(tǒng)、無(wú)線對(duì)講、園區(qū)網(wǎng)和物管網(wǎng)綜合布線、動(dòng)環(huán)監(jiān)控系統(tǒng)、蓄電池監(jiān)控系統(tǒng)、BA監(jiān)控系統(tǒng)等。弱電智能化系統(tǒng)如圖1所示。各子系統(tǒng)可以通過(guò)園區(qū)網(wǎng)絡(luò)接入智能化集成系統(tǒng)平臺(tái),也可以是獨(dú)立的子系統(tǒng)。

圖1 弱電智能化系統(tǒng)

3.2 數(shù)據(jù)中心弱電系統(tǒng)架構(gòu)分級(jí)

弱電系統(tǒng)架構(gòu)分為集中管理層、系統(tǒng)接入層和現(xiàn)場(chǎng)設(shè)備層。一級(jí)為集中管理層,分別設(shè)置在消防控制中心和智能控制中心,可以實(shí)現(xiàn)數(shù)據(jù)中心各類基礎(chǔ)設(shè)施集中管理和控制的要求。二級(jí)為系統(tǒng)接入層,消防報(bào)警主機(jī)及公共區(qū)域安防設(shè)備主機(jī)設(shè)置于各個(gè)樓宇弱電設(shè)備間內(nèi);動(dòng)環(huán)監(jiān)控系統(tǒng)、BA監(jiān)控系統(tǒng)、能源管理放置于各單體的值班室。主要實(shí)現(xiàn)本地系統(tǒng)設(shè)備與園區(qū)消防控制中心和智能監(jiān)控中心的連接。三層為現(xiàn)場(chǎng)設(shè)備層,各單體內(nèi)設(shè)置火災(zāi)自動(dòng)報(bào)警系統(tǒng);在公共區(qū)域設(shè)置攝像頭、出入口裝置、入侵報(bào)警探測(cè)器等;在機(jī)房、制冷站、動(dòng)力中心等設(shè)置監(jiān)控末端,主要實(shí)現(xiàn)設(shè)備信號(hào)采集和控制。

3.3 數(shù)據(jù)中心專屬智能化系統(tǒng)

數(shù)據(jù)中心專屬智能化系統(tǒng)包括數(shù)據(jù)中心IT綜合布線系統(tǒng)、綜合安防系統(tǒng)、冷熱源自控系統(tǒng)、供回油控制系統(tǒng)、動(dòng)力及環(huán)境集中監(jiān)控系統(tǒng)、蓄電池監(jiān)控系統(tǒng)、數(shù)據(jù)中心基礎(chǔ)設(shè)施系統(tǒng)等構(gòu)成[3]。

3.3.1 數(shù)據(jù)中心IT綜合布線系統(tǒng)

在當(dāng)前“大數(shù)據(jù)、大集中”的前提下,隨著互聯(lián)網(wǎng)+、三網(wǎng)合一、云計(jì)算、5G等技術(shù)應(yīng)用的蓬勃興起,數(shù)據(jù)中心已由以往簡(jiǎn)單的網(wǎng)絡(luò)設(shè)備托管及維護(hù)功能演變成為目前多業(yè)務(wù)、多應(yīng)用的分析和處理為主。通常來(lái)說(shuō),數(shù)據(jù)中心的網(wǎng)絡(luò)架構(gòu)與綜合布線系統(tǒng)相互支持又相互影響,就整體結(jié)構(gòu)而言可以分為三種布置方式:分散式、集中式、列頭式。

3.3.2 數(shù)據(jù)中心綜合安防系統(tǒng)

數(shù)據(jù)中心為各類數(shù)據(jù)業(yè)務(wù)提供7×24 h不間斷的數(shù)據(jù)信息服務(wù),必須具備高度的可靠性和安全性。其中依托入侵報(bào)警、安防視頻監(jiān)控和出入口控制等子系統(tǒng)組成安全管理系統(tǒng),實(shí)現(xiàn)各子系統(tǒng)的有效聯(lián)動(dòng)、管理和監(jiān)控,是數(shù)據(jù)中心機(jī)房安全運(yùn)行的重要一環(huán),屬于各個(gè)行業(yè)重點(diǎn)安全防范的核心要地。其安全防護(hù)等級(jí)應(yīng)按一級(jí)風(fēng)險(xiǎn)、一級(jí)防范等級(jí)設(shè)計(jì),必須運(yùn)用縱深防護(hù)體系設(shè)計(jì)原則進(jìn)行嚴(yán)密布防。

3.3.3 數(shù)據(jù)中心冷熱源自控系統(tǒng)

數(shù)據(jù)中心冷熱源自控系統(tǒng)可以自動(dòng)進(jìn)行設(shè)備監(jiān)測(cè)與操作,自動(dòng)調(diào)節(jié)以適應(yīng)室內(nèi)環(huán)境的變化。對(duì)出現(xiàn)問(wèn)題的設(shè)備自動(dòng)報(bào)警,并可以通過(guò)設(shè)備狀態(tài)記錄反映出設(shè)備變化趨勢(shì),在出現(xiàn)問(wèn)題前對(duì)設(shè)備進(jìn)行維護(hù)。這極大地方便了設(shè)備的操作與維修,減少管理和維護(hù)人員。

3.3.4 數(shù)據(jù)中心供回油控制系統(tǒng)

燃油供給系統(tǒng)是數(shù)據(jù)中心柴油發(fā)電機(jī)組重要的組成部分,而供回油控制系統(tǒng)則是實(shí)現(xiàn)對(duì)數(shù)據(jù)中心柴油發(fā)電機(jī)組可靠安全運(yùn)行的基礎(chǔ)。供回油系統(tǒng)包括室外地下柴油儲(chǔ)罐、日用油箱、供油泵、管道等。通常數(shù)據(jù)中心配套柴油發(fā)電機(jī)組的設(shè)置為N+1,地下油罐采用2N配置。地下油罐采用臥式鋼制油罐(2N),并采用地下直埋的安裝方式。為防止油品可能發(fā)生泄漏對(duì)環(huán)境造成影響,油罐設(shè)有混凝土隔離體。室外油罐設(shè)置磁懸浮就地指示和遠(yuǎn)傳液位計(jì),將油位信號(hào)接入對(duì)應(yīng)的DDC網(wǎng)絡(luò)控制器中。

3.3.5 數(shù)據(jù)中心動(dòng)力及環(huán)境集中監(jiān)控系統(tǒng)

動(dòng)力與環(huán)境集中監(jiān)控系統(tǒng)主要是對(duì)數(shù)據(jù)中心機(jī)房設(shè)備的運(yùn)行狀態(tài)、溫度、濕度、水浸、供電的電壓、電流等進(jìn)行實(shí)時(shí)監(jiān)控并記錄數(shù)據(jù),為機(jī)房高效的管理和安全運(yùn)營(yíng)提供有力的保證。系統(tǒng)監(jiān)控?cái)?shù)據(jù)為數(shù)據(jù)中心機(jī)房模塊內(nèi)溫濕度、漏水、漏油、氫氣、UPS、精密配電柜、機(jī)柜內(nèi)的溫度。動(dòng)環(huán)監(jiān)控系統(tǒng)拓?fù)鋱D如圖2所示。

圖2 動(dòng)環(huán)監(jiān)控系統(tǒng)拓?fù)鋱D

3.3.6 數(shù)據(jù)中心蓄電池監(jiān)控系統(tǒng)

蓄電池設(shè)備是數(shù)據(jù)中心供電系統(tǒng)的重要組成部分,單只蓄電池的狀態(tài)直接影響整套供電系統(tǒng)的性能。蓄電池的長(zhǎng)時(shí)間運(yùn)行會(huì)使箱體溫度偏高,甚至?xí)^(guò)40 ℃,再加上周圍有易燃的物品,非常容易發(fā)生火災(zāi),燒毀連接線路,導(dǎo)致機(jī)房數(shù)據(jù)丟失。最常見(jiàn)的是電源線的不斷延長(zhǎng),連接處留下安全隱患,當(dāng)發(fā)生短路時(shí),電流過(guò)大會(huì)燒毀電源及其零件,嚴(yán)重的會(huì)引發(fā)火災(zāi)。除此以外,還會(huì)發(fā)生散熱不及時(shí),引發(fā)火災(zāi)的狀況。蓄電池監(jiān)控系統(tǒng)的重要性可見(jiàn)一斑。數(shù)據(jù)中心應(yīng)嚴(yán)格參照行業(yè)相關(guān)規(guī)范,正確安裝。每一只蓄電池電壓,內(nèi)阻和溫度都進(jìn)行監(jiān)控,能及時(shí)發(fā)現(xiàn)蓄電池組中的單只故障電池,并及時(shí)發(fā)出預(yù)警,有效避免故障發(fā)生。蓄電池監(jiān)控系統(tǒng)一般由環(huán)境溫度探頭、電流傳感器、采集器(采集模塊)、控制器、監(jiān)控主機(jī)等組成。蓄電池監(jiān)控系統(tǒng)通常采用B/S或C/S架構(gòu),服務(wù)器和終端分開(kāi)部署。該系統(tǒng)可監(jiān)視轄區(qū)內(nèi)全部電池監(jiān)控模塊及每一只電池的運(yùn)行參數(shù)及工作狀態(tài),對(duì)故障信息進(jìn)行報(bào)警或預(yù)警,并且可對(duì)監(jiān)控主機(jī)下達(dá)監(jiān)測(cè)和控制命令。蓄電池監(jiān)控系統(tǒng)控制柜配置圖如圖3所示。

圖3 蓄電池監(jiān)控系統(tǒng)控制柜配置圖

3.3.7 數(shù)據(jù)中心基礎(chǔ)設(shè)施管理系統(tǒng)

數(shù)據(jù)中心基礎(chǔ)設(shè)施管理系統(tǒng)(DCIM)是近幾年在數(shù)據(jù)中心管理領(lǐng)域興起的一個(gè)熱點(diǎn)話題,旨在采用統(tǒng)一的平臺(tái)同時(shí)管理關(guān)鍵基礎(chǔ)設(shè)施(如UPS)、空調(diào)以及IT基礎(chǔ)架構(gòu)(如服務(wù)器),并通過(guò)數(shù)據(jù)的分析和聚合,最大化數(shù)據(jù)中心的運(yùn)營(yíng)效率,提高可靠性。數(shù)據(jù)中心基礎(chǔ)設(shè)施管理綜合管理系統(tǒng)需要實(shí)現(xiàn)整個(gè)數(shù)據(jù)中心的集中管理,實(shí)現(xiàn)與各個(gè)監(jiān)控子系統(tǒng)對(duì)接,獲取各個(gè)監(jiān)控子系統(tǒng)的告警、實(shí)時(shí)監(jiān)控等數(shù)據(jù)。

4 結(jié) 語(yǔ)

本文通過(guò)對(duì)某銀行數(shù)據(jù)中心相關(guān)案例的分析,結(jié)合數(shù)據(jù)中心建筑電氣發(fā)展的趨勢(shì)和特點(diǎn),介紹了該銀行數(shù)據(jù)中心弱電系統(tǒng)概況及分區(qū)管理情況,闡述了弱電系統(tǒng)建設(shè)內(nèi)容及重點(diǎn)子系統(tǒng),并給出弱電系統(tǒng)分管控制建設(shè)方案,可供同類項(xiàng)目設(shè)計(jì)作參考。