劉 劍（華東建筑設(shè)計研究院有限公司，上海 200002）

近幾年來，隨著電腦網(wǎng)絡(luò)的發(fā)展及銀行數(shù)據(jù)中心建設(shè)力度的加大，企業(yè)、學(xué)校、高新技術(shù)園區(qū)也在積極籌備各種目的與功能的數(shù)據(jù)中心。當(dāng)看到越來越多的數(shù)據(jù)中心建成，我們不由得回過頭來審視：我們以前所做的數(shù)據(jù)中心設(shè)計是否完善？

1 供配電系統(tǒng)

數(shù)據(jù)中心的供配電系統(tǒng)設(shè)計是一個非常大的課題，其市電的系統(tǒng)具有以下特點：

1) 容量巨大

列舉一些實例，以供大家參考：2006～2007年設(shè)計的上海銀行張江數(shù)據(jù)中心，信息機房總面積4791m2，業(yè)主要求設(shè)計裝機容量4237kW, 功率密度為885W/m2，機房空調(diào)用電3211kW,功率密度670W/ m2，綜合起來用電為1.555kW/m2。2009 年設(shè)計杭州華為數(shù)據(jù)中心時，提出了云計算概念。600m2的機房,機房區(qū)面積為200 m2，用電設(shè)備裝機容量2788kW，平均用電2.32kW/m2。2011年，上海銀行正式實施的電氣系統(tǒng)，將數(shù)據(jù)中心的用電量提升至中心機房服務(wù)器容量2kW/m2，加上空調(diào)容量，預(yù)計容量將會達(dá)到3.5kW/m2。容量的增大會帶來很多設(shè)計上的難點：

(1) 進(jìn)線容量遠(yuǎn)遠(yuǎn)超出我們平時設(shè)計的普通項目。由于可靠性要求高，單路負(fù)荷就必需能負(fù)擔(dān)起整個機房的服務(wù)器容量、機房照明、通訊用電等所組成的UPS（算UPS時要除上功率因數(shù)0.8），還要包括冷凍機、冷卻塔、冷卻水泵、冷凍水泵、精密空調(diào)等所組成的機房空調(diào)容量。兩路市電都必須滿足以上要求，僅此就需要申請2路16000kVA容量的35kV進(jìn)線。以上論述的數(shù)據(jù)中心還是采用水冷的精密空調(diào)，如采用風(fēng)冷的精密空調(diào)，則容量更大。

（2）電腦設(shè)備的發(fā)展速度遠(yuǎn)遠(yuǎn)快于建設(shè)速度。往往一個土建項目建設(shè)周期為3～5年，但計算機的運算速度卻可能在這幾年中已經(jīng)翻了幾倍。往往數(shù)據(jù)中心的建設(shè)還沒完，就需要改造。所以在開始設(shè)計時，一定要多了解計算機，尤其是服務(wù)器行業(yè)的發(fā)展動向,預(yù)估出一定的設(shè)備發(fā)展空間。有時在項目建設(shè)初期由于想節(jié)約項目投資，就壓縮系統(tǒng)容量，而當(dāng)市場上主流服務(wù)器負(fù)載發(fā)生變化后，卻因線路已達(dá)上限而無法改造，只能采用另建或加建的方式來處理,增加不必要的麻煩。故此設(shè)計之初雖沒有必要增加很多的備用容量，但必須留出足夠的空間以供發(fā)展。

2)可靠性要求高

數(shù)據(jù)中心的斷電，會帶來非常大的損失。為了滿足對數(shù)據(jù)中心高可靠性的要求，設(shè)計中一般都會配備多路進(jìn)線、柴油發(fā)電機和UPS設(shè)備。但這么多的后備電源，就一定萬無一失了嗎？答案是否定的，一個不完善的配電系統(tǒng)，即使配備了眾多的后備電源，還是會有弱點。

木桶定律：一只木桶盛水的多少，并不取決于桶壁上最高的那塊木塊，而恰恰取決于桶壁上最短的那塊木塊。這就決定了數(shù)據(jù)中心供電系統(tǒng)的可靠性有如下三個特點：

(1) 只有供配電所有環(huán)節(jié)均采用一樣的級別的配置，才能說數(shù)據(jù)中心的配電達(dá)到這一級別。只要有一個部位標(biāo)準(zhǔn)略有降低，整個配電系統(tǒng)的標(biāo)準(zhǔn)就會隨之降低。

(2) 比最低配置環(huán)節(jié)所高出的所有環(huán)節(jié)均是沒有意義的，高出越多、浪費越多。

(3) 要想提高整個系統(tǒng)的可靠性，就應(yīng)該設(shè)法找到最薄弱環(huán)節(jié)并加以提高。

我們對于一級中特別重要負(fù)荷的要求是兩路獨立電源，加上柴油發(fā)電機作為后備電源。（見圖1）

這個系統(tǒng)是國內(nèi)數(shù)據(jù)中心設(shè)計中相當(dāng)流行的雙母排結(jié)構(gòu)的配電系統(tǒng)，即每路電源均可負(fù)擔(dān)100%的UPS負(fù)荷。當(dāng)1#市電失電時，ATS2即使故障也可通過ATS3繼續(xù)供電，ATS3故障時也相同。系統(tǒng)中的柴油機、柴油機與市電切換點為單點故障點，即當(dāng)1#市電失電，當(dāng)2#市電也失電時，柴油發(fā)電機故障、ATS1故障會造成系統(tǒng)無可補救的失電。而柴油發(fā)電機、ATS設(shè)備均為平時不常使用的設(shè)備，設(shè)備故障率遠(yuǎn)高于斷路器。故此，國家標(biāo)準(zhǔn)GB50174-2008中規(guī)定了柴油發(fā)電機必須有備用，柴油發(fā)電機與市電切換的開關(guān)必須帶手動旁路。從個人理解而言，我認(rèn)為ATS1與ATS2、ATS3都需帶手動旁路開關(guān)。必須指出的是，手動旁路開關(guān)設(shè)備龐大而且貴。我們應(yīng)該查好設(shè)備樣本，以避免配電房面積不夠，還要在擴(kuò)初時提醒概算造價公司注意，一個4000A帶旁路的ATS開關(guān)造價可能高達(dá)70多萬。

TIA/EIA-942中推薦采用圖2的主接線方式，區(qū)別主要在柴油發(fā)電機。TIA推薦方案要求設(shè)置兩組柴油機，與兩路市電分別切換。其中柴油發(fā)電機容量G1=G2=G。這樣保證了任意一組柴油發(fā)電機組或切換設(shè)備或線路發(fā)生問題時，另一組還是能夠堅持工作，其可靠性最高，但造價也非常昂貴。尤其在大型數(shù)據(jù)中心項目中，數(shù)據(jù)中心用電容量非常大，需要多臺的柴油發(fā)電機并聯(lián)發(fā)電才能滿足其用電量。這樣2N形式的柴油機備用方式是我們現(xiàn)有財力難以負(fù)擔(dān)的。

經(jīng)過長時間的研究探討發(fā)現(xiàn)，可以采用折中的方式來解決這個問題。即柴油機為圖1的N+1方式，但分兩路分別引至兩路市電進(jìn)行切換，既解決了單ATS開關(guān)的故障點，也比圖2方案降低了造價，不失為可靠性高于現(xiàn)行規(guī)范，造價卻不高的一種選擇。

如有條件，在當(dāng)?shù)厣暾埲芬陨想娫磿r，可以考慮3母線形式。即每路市電分別承擔(dān)總電量的1/3，每路的UPS負(fù)荷率為66.7%。柴油機負(fù)荷可以參照圖3的接線思路，只需把兩路改成三路，每路可帶100%負(fù)荷改成66.7%負(fù)荷。由于UPS的最佳負(fù)載率在66.7%，故此這個方案就電氣角度來說，是最節(jié)能的方案。

3） 無功補償

圖1 早期數(shù)據(jù)中心設(shè)計配電系統(tǒng)圖

圖2 TIA推薦采用配電系統(tǒng)圖

圖3 改進(jìn)后實際采用的數(shù)據(jù)中心配電系統(tǒng)圖

由于UPS設(shè)備是整流設(shè)備，當(dāng)正常運行時，UPS設(shè)備處于負(fù)載率小于50%的工作狀態(tài)下，UPS高頻機對于電網(wǎng)來說，系統(tǒng)功率因數(shù)非常高。而當(dāng)采用工頻機時，由于系統(tǒng)中加入隔離變壓器，功率因數(shù)會低一些。但目前一些UPS設(shè)備樣本上會標(biāo)注功率因數(shù)0.85，是加上了機器效率因素的。所以目前的大型UPS設(shè)備一般不需要功率因數(shù)補償。曾經(jīng)有相當(dāng)多的業(yè)主反映，帶UPS負(fù)載的變壓器主回路中的無功補償不能投入，一投入就會造成母排電壓升高。分析其原因就是過度補償造成功率因數(shù)超前。當(dāng)供電部門要求30%的補償量時，一定要根據(jù)實際情況，向供電部門解釋清楚，不要造成不必要的浪費。當(dāng)供電部門不能同意減少補償量時，就要確定好控制器，設(shè)定好補償步長，以免過補償情況的發(fā)生。

2 空調(diào)設(shè)備配電

在數(shù)據(jù)中心的設(shè)計中，隨著節(jié)能呼聲的提高，直接風(fēng)冷的精密空調(diào)已經(jīng)越來越少，本文討論水冷精密空調(diào)配電。水冷空調(diào)是利用水帶走機房內(nèi)的熱量。和風(fēng)冷系統(tǒng)不同，水循環(huán)系統(tǒng)給整個系統(tǒng)帶來不少變數(shù)。為了可靠，數(shù)據(jù)中心的精密空調(diào)可采用利用冷凍循環(huán)水的盤管和利用冷卻循環(huán)水的壓縮機相結(jié)合的形式。隨著空調(diào)技術(shù)的發(fā)展，很多的技術(shù)可以運用到數(shù)據(jù)中心的設(shè)計中，以增加可靠性并符合節(jié)能發(fā)展，如冰蓄冷，但這些只能增加提高可靠性的可能性。作為備用手段，但不能作為主要手段。這里讓我們分析一下空調(diào)主要設(shè)備的電氣特性，就會發(fā)現(xiàn)其供電有許多不同于服務(wù)器設(shè)備的地方。

2.1 冷凍機負(fù)載

冷凍機是壓縮機負(fù)載，在斷電后，會停機保護(hù)，其保護(hù)時間長達(dá)30min左右，而要讓冷凍機保持不斷電，其成本顯然過高，太不經(jīng)濟(jì)。當(dāng)冷凍機停機時，冷凍水還可以循環(huán)，直到溫度過高還有一段時間。一般數(shù)據(jù)中心用冷凍機需要設(shè)置備用以增加設(shè)備可靠性，例如：三用一備；那我們就采用交叉供電，即兩臺用市電A，另兩臺用市電B。這樣帶來一個好處，當(dāng)一路市電失電的情況下，總有兩臺設(shè)備在使用。另一路由于設(shè)備保護(hù)，即使使用了ATS設(shè)備，也因為斷過了電，冷凍機還是停機了，在停機保護(hù)的時間內(nèi)，還是來得及通過低壓聯(lián)絡(luò)開關(guān)供上電源。從這個角度來說，冷凍機電源不論采用還是不采用ATS設(shè)備，冷凍機的停機時間是相同的，不同的只是管理模式而已。

2.2 冷凍水泵

冷凍水泵負(fù)責(zé)冷凍水循環(huán)，在冷凍機不工作時，保持冷凍水循環(huán)還能保持盤管工作一段時間。故此，冷凍水泵要比冷凍機負(fù)荷的電源要求高。我們要盡量延長冷凍水泵工作時間，水泵負(fù)荷在發(fā)生電源閃斷時，勵磁需要一定的時間。換言之，就是當(dāng)ATS切換以后，水泵還是需要一定的時間才能恢復(fù)正常運行，除非采用特殊的ATS產(chǎn)品。在冷凍水泵的供電上，盡管采用了ATS自動切換，還是要盡量將常用電源分在兩路市電上交叉供電，以避免冷凍水短時停止循環(huán)。

2.3 冷卻水泵及冷卻塔

冷卻水泵及冷卻塔是作為備用的最后一道防線，重要性就顯得尤其突出。整個冷卻系統(tǒng)的供電應(yīng)該是同一級別的，尤其是容易忽視的冷卻水補水裝置。其供電重要性等同于精密空調(diào)的供電，應(yīng)采用柴油機作為市電的后備電源。根據(jù)水管路由的不同，為供電設(shè)備分組。供電方式同冷凍水泵的供電方式，分由兩路市電交叉供電，再取另一路電源作為備用電源，在設(shè)備機房內(nèi)作ATS切換，以保證設(shè)備電源可靠。

3柴 油機設(shè)置

A級機房的UPS設(shè)備和空調(diào)設(shè)備都必須有柴油機作為備用，而且按照規(guī)范規(guī)定，還必須有設(shè)備冗余，柴油發(fā)電機的容量往往達(dá)到上萬kW。因此，當(dāng)設(shè)計到大型數(shù)據(jù)機房時，由于400V配電柜的水平母排最大做到8000A，低壓框架開關(guān)最大6300A，遠(yuǎn)遠(yuǎn)無法解決匯流問題，只能采用設(shè)備分組的方式解決。而規(guī)范要求柴油機按組設(shè)置冗余，這樣如采用400V柴油發(fā)電機組，雖單臺設(shè)備價錢便宜，但系統(tǒng)成本昂貴，壓降和可靠性也不同（10kV柴油發(fā)電機組可實行并機后匯流,可靠性高），所以應(yīng)盡量考慮采用高壓柴油機組。但采用10kV機組后，應(yīng)注意以下幾個問題：

1) 短路電流：當(dāng)采用10kV系統(tǒng)后，由于線路非常短，系統(tǒng)阻抗小，故此短路電流不小。采用高壓配電設(shè)備提高短路耐受電流的方式不是根本上解決問題的好方式。應(yīng)該要求柴油機生產(chǎn)廠商按照配電系統(tǒng)短路電流配置發(fā)電機輸出阻抗或短路電流實測數(shù)據(jù)后，校驗一下配電設(shè)備的短路耐受性能。

2) 考慮假負(fù)載的測試位置和路由：銀聯(lián)對銀行數(shù)據(jù)中心管理有測試演練要求，提到采用帶負(fù)載切換，但實際使用中均不會真正地采用UPS負(fù)荷和精密空調(diào)負(fù)荷來做切換演練。那么就會采用假負(fù)載。所以我們設(shè)計中，即使沒有假負(fù)載，也要預(yù)留負(fù)載切換演練的配電柜和假負(fù)載設(shè)備電纜出線的路由，以備將來使用。

3) 柴油機設(shè)備的供電：由于柴油發(fā)電機是整個數(shù)據(jù)中心的電源后備，故此電源設(shè)計不能掉以輕心。建議采用以上冷卻水系統(tǒng)的配電方式，控制系統(tǒng)和機房照明的供電應(yīng)盡量采用UPS供電，以確保市電失電的瞬間，整個系統(tǒng)失電時，控制系統(tǒng)不能斷電，能夠確保柴油機可靠啟動。直接風(fēng)冷的冷卻系統(tǒng)由柴油機直接帶動，而遠(yuǎn)置式風(fēng)冷的二次循環(huán)、冷卻系統(tǒng)不是由柴油機直接帶動的，低壓發(fā)電機時，可用柴油機發(fā)出的電力帶動。但當(dāng)使用多臺10kV發(fā)電機組的時候，必需采用變壓器或從400V系統(tǒng)中取電。情況比較復(fù)雜，但一定要保障在一次水循環(huán)溫度超出工作溫度前供上冷卻系統(tǒng)電源，一般不應(yīng)該超過30s。

4 接地

我們以前的設(shè)計中，接地一直不太受重視。以為只要做好公用接地，就萬無一失了。其實這個想法非常錯誤，很可能會引起很大的損失。因為接地干線大多隨建筑預(yù)埋，如果沒有預(yù)留好足夠的接地裝置，很可能就會造成數(shù)據(jù)中心不能正常工作。提幾點需要注意的地方：

1) UPS設(shè)備需要接地，其接地最好要和放置于數(shù)據(jù)機房內(nèi)的PDU箱共用接地。雖然規(guī)范要求零地電壓小于2V，但是很多業(yè)主都要求小于1V，請在設(shè)計中一定要和業(yè)主充分交流，確定并控制好零地電壓。我們一直關(guān)注的諧波控制就是控制零地電壓的關(guān)鍵技術(shù)要點。盡量采用諧波控制和波形控制好的UPS對系統(tǒng)的穩(wěn)定也是至關(guān)重要的。

2) 在機房內(nèi)設(shè)置兩個以上的等電位接地箱。機房內(nèi)所有設(shè)備的金屬外殼，金屬管道，金屬線槽建筑物金屬結(jié)構(gòu)等必須進(jìn)行等電位聯(lián)結(jié)并接地。等電位聯(lián)結(jié)網(wǎng)格應(yīng)采用截面不小于25mm2的銅帶或裸銅線，在防靜電地板下構(gòu)成邊長為0.6～3m的矩形網(wǎng)格。

5 結(jié)語

以上是多年數(shù)據(jù)中心設(shè)計的一點體會，數(shù)據(jù)中心的設(shè)計正隨著電腦網(wǎng)絡(luò)的發(fā)展有著日新月異的變化，隨時注意新的動向，不斷地學(xué)習(xí)、完善，才能使我們的設(shè)計跟得上建設(shè)的發(fā)展。