樊冠群，葉閩軍

（清華大學(xué) 信息化技術(shù)中心，北京 100084）

隨著信息化的飛速發(fā)展，對(duì)于全面支撐信息系統(tǒng)運(yùn)行和業(yè)務(wù)連續(xù)性的數(shù)據(jù)中心越來越受到關(guān)注［1-2］，國(guó)內(nèi)外各高等學(xué)校、各大企業(yè)都將數(shù)據(jù)中心建設(shè)作為信息化發(fā)展重要基礎(chǔ)設(shè)施來建設(shè)，因此，數(shù)據(jù)中心建設(shè)在過去幾年中得到了飛速的發(fā)展。以電信、金融、高等學(xué)校以及大型國(guó)企為代表的我國(guó)大量企事業(yè)單位，都將數(shù)據(jù)中心建設(shè)作為其業(yè)務(wù)信息化建設(shè)的重點(diǎn)項(xiàng)目［3-7］。

1 數(shù)據(jù)中心建設(shè)選址問題

數(shù)據(jù)中心（IDC）建設(shè)涉及多學(xué)科綜合，建筑和信息專業(yè)交叉［1］，對(duì)基于老式建筑進(jìn)行的數(shù)據(jù)中心建設(shè)，從某種程度上說難度更大，因?yàn)樾枰獙?duì)傳統(tǒng)的建筑進(jìn)行大量的改造。2000年前后新建的建筑，雖然一定程度上考慮了網(wǎng)絡(luò)布線等基本的需求，但在這樣的建筑中進(jìn)行數(shù)據(jù)中心建設(shè)仍然是一個(gè)巨大的挑戰(zhàn)。

理論上說，數(shù)據(jù)中心建設(shè)的第一件事情就是選址。數(shù)據(jù)中心選址是一項(xiàng)比較復(fù)雜而困難的工作，涉及因素較多［8-10］。國(guó)際上的通常做法是將選址工作分為技術(shù)評(píng)估和商業(yè)評(píng)估兩大部分。如果從純技術(shù)角度來評(píng)估，考慮到安全、制冷及供電等因素［11-12］，數(shù)據(jù)中心的選擇應(yīng)該盡量避免高層建筑，但對(duì)于一些企業(yè)的數(shù)據(jù)中心建設(shè)來說，選址的自由度往往不大，只能根據(jù)現(xiàn)實(shí)情況尋求次優(yōu)解。

賽爾網(wǎng)絡(luò)有限公司的數(shù)據(jù)中心機(jī)房（以下簡(jiǎn)稱賽爾網(wǎng)絡(luò)數(shù)據(jù)中心）就建在清華科技園的賽爾大廈15層，應(yīng)該屬于很高的樓層了。該建設(shè)項(xiàng)目于2007年9月設(shè)計(jì)，2007年10月開始建設(shè)，2008年5月加電試運(yùn)行。該數(shù)據(jù)中心建設(shè)樓層高，建設(shè)難度大，與以往的數(shù)據(jù)中心機(jī)房建設(shè)相比需要考慮的問題更多。目前該數(shù)據(jù)中心機(jī)房已安全運(yùn)行6年，運(yùn)行正常，并且成為賽爾網(wǎng)絡(luò)對(duì)外參觀展示的一個(gè)窗口。

2 賽爾網(wǎng)絡(luò)數(shù)據(jù)中心簡(jiǎn)介

賽爾網(wǎng)絡(luò)數(shù)據(jù)中心是根據(jù)賽爾網(wǎng)絡(luò)發(fā)展的長(zhǎng)遠(yuǎn)戰(zhàn)略，并圍繞賽爾網(wǎng)絡(luò)的工作中心和信息化建設(shè)要求，體現(xiàn)“面向未來”的設(shè)計(jì)思想，建設(shè)一個(gè)布局合理、功能完備、安全可靠、設(shè)施先進(jìn)，綠色環(huán)保、投資節(jié)省的現(xiàn)代化A級(jí)數(shù)據(jù)中心機(jī)房，同時(shí)還要考慮容集各方面的問題，具體就是要機(jī)柜數(shù)量最大化。這無(wú)疑對(duì)機(jī)房布局、電力、空調(diào)方面提出了更高的要求。

機(jī)房根據(jù)功能需求需有如下幾個(gè)區(qū)域（見圖1）：機(jī)房區(qū)（包括公共托管區(qū)、VIP區(qū)）、監(jiān)控室、測(cè)試室、網(wǎng)絡(luò)機(jī)房、配電室（UPS主機(jī)、電池、配電柜等，該區(qū)域?qū)Φ孛娉兄赜休^高要求，至少在1 000kg／m2以上）、鋼瓶間（消防要求必須獨(dú)立于機(jī)房區(qū)外）、會(huì)議室，同時(shí)有關(guān)方面也提出了方便客戶參觀的要求。機(jī)房的建設(shè)在整個(gè)布局方面，體現(xiàn)了從實(shí)際情況出發(fā)、因地制宜設(shè)計(jì)的要求。

圖1 賽爾網(wǎng)絡(luò)數(shù)據(jù)中心平面結(jié)構(gòu)示意圖

15層的整個(gè)結(jié)構(gòu)是環(huán)形的，中間有核心筒近300 m2，因此整個(gè)可用面積只有984m2，在滿足以上條件的情況下機(jī)柜擺放最大化是需要精心設(shè)計(jì)的。后幾經(jīng)更改設(shè)計(jì)，根據(jù)實(shí)際情況采取環(huán)形的參觀走廊，公共區(qū)機(jī)柜的擺放在滿足通風(fēng)的冷熱通道標(biāo)準(zhǔn)的情況下，盡可能地密集，而在VIP區(qū)則采取了放棄設(shè)置多個(gè)小的VIP區(qū)的想法，只設(shè)計(jì)4個(gè)大的VIP區(qū)，這樣就可以多放置一些機(jī)柜，最終機(jī)柜數(shù)量從220個(gè)左右增加到274個(gè)。實(shí)踐證明，這樣的設(shè)計(jì)是能夠滿足規(guī)范和實(shí)際需要的。當(dāng)然，機(jī)柜數(shù)量的增加帶來了另外2個(gè)方面的問題，那就是電力負(fù)載的增加以及空調(diào)制冷量的增加。

3 供配電系統(tǒng)設(shè)計(jì)

供配電系統(tǒng)設(shè)計(jì)相對(duì)比較成熟，國(guó)際上有ANSI／TIA-942標(biāo)準(zhǔn)以及Uptime的供電系統(tǒng)架構(gòu)的可用性等級(jí)作為指導(dǎo)，國(guó)內(nèi)以國(guó)標(biāo)GB50174—2008機(jī)房分級(jí)標(biāo)準(zhǔn)中對(duì)供電系統(tǒng)的規(guī)范要求以及GB50052—2008供配電系統(tǒng)設(shè)計(jì)規(guī)范等相關(guān)規(guī)范作為指導(dǎo)。隨著多年數(shù)據(jù)中心建設(shè)實(shí)踐，總結(jié)出了許多最佳實(shí)踐體會(huì)，如高低壓變配電站靠近負(fù)荷中心的節(jié)能設(shè)計(jì)理念、冗余供配電系統(tǒng)物理隔離的高可用設(shè)計(jì)理念等。企業(yè)可以根據(jù)選擇的可用性等級(jí)，按照Uptime建議的供配電系統(tǒng)架構(gòu)進(jìn)行設(shè)計(jì)。

但是由于每個(gè)企業(yè)信息系統(tǒng)部署的需求有各自的特點(diǎn)，特別是數(shù)據(jù)中心機(jī)房建設(shè)在高層之上（如賽爾網(wǎng)絡(luò)數(shù)據(jù)中心建在15層），因此在供電系統(tǒng)設(shè)計(jì)中仍然有一些方面需要仔細(xì)地考慮和選擇。根據(jù)需求，該數(shù)據(jù)中心機(jī)房單機(jī)柜負(fù)載需求為15A，這就需要在供配電系統(tǒng)中解決整個(gè)數(shù)據(jù)中心的供電量、供配電的冗余以及后備電源的問題。

一方面，要確保供電量是足夠的，且能保證未來業(yè)務(wù)量的適當(dāng)擴(kuò)展；另一方面也要考慮未來節(jié)能設(shè)備的選用可能會(huì)使同樣設(shè)備占用空間的用電量需求下降，要做到不能冗余過度。經(jīng)過認(rèn)真論證，綜合大樓物業(yè)、柴油發(fā)電機(jī)廠家、UPS廠家、機(jī)房設(shè)計(jì)方與施工方等方面的意見，以及我們以往在數(shù)據(jù)機(jī)房建設(shè)方面的經(jīng)驗(yàn)，最終設(shè)計(jì)了以下的供電方案，包括電力總?cè)萘?、UPS的供電模式、柴油發(fā)電機(jī)的選型等。

3.1 電力總?cè)萘吭O(shè)計(jì)

電力總?cè)萘康脑O(shè)計(jì)原則是必須要將設(shè)備供電和空調(diào)制冷供電分開，且在容量上有一定的冗余性；同時(shí)，必須要做到多路冗余供電。具體要求是：

（1）大樓物業(yè)確保提供900kVA UPS供電，以及600kVA的空調(diào)負(fù)載；

（2）大樓物業(yè)提供IDC供電取自2組變壓器；

（3）為確保供電安全，2個(gè)變壓器中任何一個(gè)出現(xiàn)故障，都會(huì)中斷對(duì)機(jī)房的供電，由機(jī)房的柴油發(fā)電機(jī)負(fù)擔(dān)機(jī)房的電力負(fù)載。

3.2 UPS方案設(shè)計(jì)

（1）UPS保持2N模式，6臺(tái)300kVA，總輸出容量為720kW／900kVA；

（2）UPS系統(tǒng)配備12脈沖整流器，在柴油發(fā)電機(jī)電壓畸變小于2%的情況下，實(shí)現(xiàn)單臺(tái)滿載情況下輸入諧波分量＜5%、單臺(tái)UPS負(fù)載50%情況下輸入諧波分量＜7.5%、單臺(tái)UPS負(fù)載25%情況下輸入諧波分量＜8.8%的技術(shù)要求；

（3）確保能夠在市電故障情況下（2個(gè)變壓器之一發(fā)生故障），能夠延遲順序加載UPS負(fù)載到柴油發(fā)電機(jī)組，并且能夠中斷對(duì)UPS系統(tǒng)電池的充電負(fù)荷。

3.3 柴油發(fā)電機(jī)組設(shè)計(jì)

將柴油發(fā)電機(jī)組型號(hào)THLM1470的ABB發(fā)電機(jī)單元增容至主用功率1 800kW，并且采用永磁型發(fā)電機(jī)。在滿足下面技術(shù)條件下，可以在機(jī)房滿載時(shí)，保證賽爾大廈IDC機(jī)房6臺(tái)300kVA UPS系統(tǒng)的正常啟動(dòng)及帶載運(yùn)行，并且可以在UPS順序啟動(dòng)成功后，帶載機(jī)房專用空調(diào)。具體技術(shù)條件如下：

（1）柴油發(fā)電機(jī)組需配濾波器，減少諧波干擾。

（2）在市電失電時(shí)6臺(tái)300kVA UPS必須順序啟動(dòng)。

（3）6臺(tái)300kVA UPS系統(tǒng)總輸出功率不得超過720kW／900kVA。

（4）UPS系統(tǒng)配備12脈沖整流器，在柴油發(fā)電機(jī)確保電壓畸變小于2%的情況下，實(shí)現(xiàn)單臺(tái)滿載情況下輸入諧波分量＜5%、單臺(tái)UPS50%負(fù)載情況下輸入諧波分量＜7.5%、單臺(tái)UPS負(fù)載25%情況下輸入諧波分量＜8.8%的技術(shù)要求。

（5）柴油發(fā)電機(jī)組輸出功率不帶UPS系統(tǒng)電池充電負(fù)荷。

（6）在UPS系統(tǒng)正常啟動(dòng)成功后，可以順序啟動(dòng)機(jī)房專用空調(diào)。機(jī)房空調(diào)可以部分設(shè)置為手動(dòng)模式，具體需要加載的數(shù)量根據(jù)電力負(fù)載情況進(jìn)行調(diào)整以充分保證機(jī)房的安全運(yùn)行。

（7）要求柴油發(fā)電機(jī)在變壓器斷電狀態(tài)下啟動(dòng)，啟動(dòng)信號(hào)取自變壓器系統(tǒng)。

3.4 供配方案的2個(gè)重要方面

供配方案中，有2個(gè)方面是很重要的：

（1）對(duì)柴油發(fā)電機(jī)組發(fā)電機(jī)單元的改進(jìn)。將柴油發(fā)電機(jī)組型號(hào)THLM1470的發(fā)電機(jī)單元增容至主用功率1 800kW，并且采用永磁型發(fā)電機(jī)。這在以前是沒有實(shí)施過的，在該項(xiàng)目中，我們提出該建議，經(jīng)設(shè)計(jì)方及柴油發(fā)電機(jī)廠家認(rèn)證，并最終實(shí)施。

（2）對(duì)整個(gè)供配電系統(tǒng)供電質(zhì)量?jī)?yōu)化的最大化。變壓器雙路引入、UPS內(nèi)部配置隔離變壓器、配備12脈沖整流器，并設(shè)置為在市電失電順序加載到后備電源上，柴油發(fā)電機(jī)配有源濾波器，在最大限度上提高供電質(zhì)量，減少諧波干擾，提高電力運(yùn)行的安全系數(shù)，特別是后備電源安全啟動(dòng)的可靠性。

以上方案經(jīng)設(shè)計(jì)方論證認(rèn)可實(shí)施，現(xiàn)經(jīng)過近6年的安全運(yùn)行，證明該方案的確是安全、可靠、經(jīng)濟(jì)的。

4 制冷系統(tǒng)設(shè)計(jì)

制冷系統(tǒng)是數(shù)據(jù)中心的關(guān)鍵子系統(tǒng)，不僅關(guān)系到數(shù)據(jù)中心穩(wěn)定運(yùn)行，同時(shí)也是實(shí)現(xiàn)數(shù)據(jù)中心節(jié)能降耗、建設(shè)綠色數(shù)據(jù)中心的重要環(huán)節(jié)。由于制冷系統(tǒng)的能耗約占數(shù)據(jù)中心整體能耗的2／5，降低能耗的潛力很大。

制冷技術(shù)對(duì)于建筑行業(yè)來說是一個(gè)相對(duì)成熟的技術(shù)，但為數(shù)據(jù)中心的網(wǎng)絡(luò)和服務(wù)器設(shè)備制冷與為建筑物內(nèi)的人員制冷相比，還是存在較大的差異，因此，在制冷系統(tǒng)的設(shè)計(jì)理念以及實(shí)現(xiàn)技術(shù)方面都存在較大的不同。在數(shù)據(jù)中心規(guī)劃設(shè)計(jì)階段，許多影響制冷系統(tǒng)設(shè)計(jì)的因素都需要企業(yè)根據(jù)數(shù)據(jù)中心所在地理位置的氣候條件、數(shù)據(jù)中心可用性等級(jí)、網(wǎng)絡(luò)及服務(wù)器設(shè)備的功率密度特點(diǎn)、數(shù)據(jù)中心具體物理位置的限制以及擬達(dá)到的節(jié)能指標(biāo)等多種因素綜合考慮，并做出合理的選擇。

4.1 數(shù)據(jù)中心機(jī)房環(huán)境特點(diǎn)

（1）設(shè)備的功耗大、發(fā)熱量大。設(shè)備的運(yùn)行過程中，機(jī)柜的散熱量大且集中，熱負(fù)荷強(qiáng)度高。

（2）機(jī)房濕熱比高、散濕量小。濕熱比通常高達(dá)0.85～0.95；總散濕量約在8～16g／m2。

（3）溫濕度控制精度要求高且穩(wěn)定。

（4）需要全年持續(xù)、穩(wěn)定的恒溫運(yùn)行。

（5）送風(fēng)量大，送、回風(fēng)溫差小。

（6）潔凈度要求較高。

（7）空調(diào)系統(tǒng)應(yīng)具有高可靠性。

4.2 風(fēng)冷與水冷相結(jié)合、分期實(shí)施方案

根據(jù)機(jī)房的供電負(fù)荷，設(shè)計(jì)方根據(jù)規(guī)范設(shè)計(jì)了20臺(tái)空調(diào)，確保機(jī)房的恒溫恒濕，但由于機(jī)房處在15層，提供安裝室外風(fēng)機(jī)的16層不能滿足20臺(tái)風(fēng)冷空調(diào)室外機(jī)的空間，同時(shí)對(duì)比了風(fēng)冷與水冷特點(diǎn)，最終根據(jù)實(shí)際情況，采取了風(fēng)冷與水冷相結(jié)合、分期實(shí)施的方案。這主要出于以下幾個(gè)方面的考慮：

（1）解決16層陽(yáng)臺(tái)風(fēng)冷空調(diào)室外風(fēng)機(jī)安裝位置不足的問題。

（2）機(jī)房的電力負(fù)載是逐步上升的，分期施工可以減少初期的一次性投資。在第一次施工中預(yù)留下二次施工可能需要安裝的設(shè)備空間，同時(shí)也可根據(jù)實(shí)際的電力負(fù)載，對(duì)二期增加的空調(diào)數(shù)量進(jìn)行調(diào)整。

（3）水冷機(jī)組雖然一次投入比風(fēng)冷高，但水冷機(jī)組有其自身的優(yōu)點(diǎn)：每臺(tái)水冷空調(diào)為一個(gè)獨(dú)立的系統(tǒng)，不存在公共的故障點(diǎn)，安全性非常好；不會(huì)發(fā)生大面積停機(jī)的情況，與風(fēng)冷系統(tǒng)的安全性基本相同；最重要的是水冷機(jī)組的散熱條件好，冬季和春秋季運(yùn)行時(shí)電費(fèi)節(jié)省比較明顯；空調(diào)冷凝溫度較低且波動(dòng)小，不會(huì)隨室外溫度升高出現(xiàn)高壓報(bào)警現(xiàn)象；維護(hù)工作量少。

目前二期水冷空調(diào)已經(jīng)實(shí)施完畢，風(fēng)冷、水冷共18臺(tái)，比設(shè)計(jì)中的20臺(tái)減少了2臺(tái)，這是根據(jù)實(shí)際電力負(fù)載情況進(jìn)行調(diào)整的結(jié)果，目前運(yùn)行安全穩(wěn)定，能夠保證機(jī)房恒溫恒濕的運(yùn)行環(huán)境。

5 結(jié)束語(yǔ)

數(shù)據(jù)中心機(jī)房的建設(shè)是一個(gè)復(fù)雜的工程項(xiàng)目，涉及的工種較多，專業(yè)技術(shù)性強(qiáng)，規(guī)范要求高，施工難度大。本文針對(duì)賽爾網(wǎng)絡(luò)數(shù)據(jù)中心的規(guī)劃設(shè)計(jì)和建設(shè)中面臨的技術(shù)和非技術(shù)問題的抉擇等進(jìn)行了梳理與總結(jié)。在數(shù)據(jù)中心機(jī)房建設(shè)過程中，雖然不存在千篇一律的標(biāo)準(zhǔn)范式，但也還是有一些通行的法則值得后來者參考的，我們將之歸納為：安全實(shí)用原則、靈活多變?cè)瓌t、經(jīng)濟(jì)實(shí)惠原則。

（

）

［1］趙明清，李捷，柴永財(cái)，等.企業(yè)數(shù)據(jù)中心建設(shè)實(shí)踐之規(guī)劃設(shè)計(jì)要點(diǎn)淺談（一）［J］.信息系統(tǒng)工程，2012（9）：47-49.

［2］趙明清，李捷，柴永財(cái)，等.企業(yè)數(shù)據(jù)中心建設(shè)實(shí)踐之規(guī)劃設(shè)計(jì)要點(diǎn)淺談（二）［J］.信息系統(tǒng)工程，2012（10）：29-31.

［3］李峰.政府?dāng)?shù)據(jù)中心建設(shè)誤區(qū)及建設(shè)方法淺析［J］.電子政務(wù)，2008（2）：97-102.

［4］趙俊三，尹鴻瑜，陶本藻，等.省級(jí)國(guó)土資源數(shù)據(jù)中心建設(shè)相關(guān)技術(shù)問題研究［J］.武漢大學(xué)學(xué)報(bào)：信息科學(xué)版，2005，30（5）：426-430.

［5］賈紅龍.論煙草行業(yè)數(shù)據(jù)中心建設(shè)中的數(shù)據(jù)質(zhì)量管理［J］.信息技術(shù)與信息化雜志，2009（6）：33-38.

［6］陸疆.電力企業(yè)數(shù)據(jù)中心建設(shè)之我見［J］.電力技術(shù)資訊，2013（10）：105-106.

［7］莫潔.水利數(shù)據(jù)中心建設(shè)數(shù)據(jù)質(zhì)量控制方案研究［J］.水利信息化，2012，10（5）：20-24.

［8］張小榮，章志國(guó).校園數(shù)據(jù)中心建設(shè)項(xiàng)目生命周期探討［J］.現(xiàn)代計(jì)算機(jī)，2013（12）：54-56.

［9］王德才.高校數(shù)據(jù)中心建設(shè)方案與體會(huì)［J］.中國(guó)教育信息化，2008（13）：42-43.

［10］邵永春，鄧曉華，蘇志文，等.分布式空間數(shù)據(jù)中心建設(shè)研究［J］.微計(jì)算機(jī)信息，2008，24（1）：233-234，211

［11］何曉梅，馮梅，李捷，等.企業(yè)數(shù)據(jù)中心建設(shè)實(shí)踐之供配電系統(tǒng)設(shè)計(jì)要點(diǎn)淺談［J］.信息系統(tǒng)工程，2013（6）：31-33.

［12］何曉梅，馮梅，李捷，等.企業(yè)數(shù)據(jù)中心建設(shè)實(shí)踐之制冷系統(tǒng)設(shè)計(jì)要點(diǎn)淺談［J］.信息系統(tǒng)工程，2013（3）：51-54.