文｜艾默生網絡能源有限公司 曹 播

如何規(guī)劃數據中心基礎設施的容量一直是困擾數據中心管理者和從業(yè)者的一個重大問題。當數據中心的建設意向提出之后，數據中心的建設容量到底是多大？到底該按照哪些因素去規(guī)劃數據中心的容量？立項的數據中心到底該按照何種方式去建設？如何使將要建設的數據中心能夠面臨以后10年的業(yè)務增長？如何使數據中心保持可靠性、經濟性和節(jié)能環(huán)保的有機統(tǒng)一？

1 新一代數據中心容量規(guī)劃制約模型

1.1 IT規(guī)劃

IT規(guī)劃是以整體發(fā)展目標和戰(zhàn)略以及各部門的目標與功能為基礎，結合所屬行業(yè)信息化的實踐結果和信息技術的發(fā)展趨勢，提出信息化的遠景、目標和戰(zhàn)略，制定信息化的系統(tǒng)架構、確定信息系統(tǒng)各部分的邏輯關系，以及信息系統(tǒng)的架構設計、選型和實施策略，通過對信息化目標和內容進行整體規(guī)劃，以全面系統(tǒng)地指導企業(yè)信息化的進程和信息技術的應用。

IT規(guī)劃是信息化建設的基本綱領和總體指向，核心內容是要從組織目標和信息化戰(zhàn)略中抽取信息需求和功能需求，形成組織總體的信息化框架和系統(tǒng)整體模型。通過信息化，使信息技術手段應用到組織生產、運營和管理中，利用信息技術來改造和提升組織的綜合能力。

由IT規(guī)劃而產生的組織信息資源規(guī)劃，將明確限定在（近期與遠期）一定時期內，對IT系統(tǒng)的整體需求計劃，包括為實現(xiàn)信息化目標所確定的IT系統(tǒng)定位、IT系統(tǒng)規(guī)模、IT系統(tǒng)架構、IT系統(tǒng)配置。其中，IT系統(tǒng)定位決定了數據中心的建設等級；IT系統(tǒng)規(guī)模決定了數據中心的建筑空間；IT系統(tǒng)架構決定了數據中心的信息路由；IT系統(tǒng)配置決定了數據中心的場地布局。由此可見， IT規(guī)劃是企業(yè)數據中心建設的前提和依據。

但問題主要集中在兩個方面：

（1）數據中心業(yè)主往往沒有辦法對業(yè)務的發(fā)展做出清晰的預測。

無論是電信、金融行業(yè)還是政府、企業(yè)級數據中心，其業(yè)務的發(fā)展呈現(xiàn)出快速卻又不規(guī)則的發(fā)展模式。增長率在一段時間會非常高，但在一段時間之內又有可能停滯，基本上很難直接呈現(xiàn)出一種相對穩(wěn)定的發(fā)展趨勢，這當然是和如今的經濟形勢密切相關的。近年來全球經濟形勢的大起大落必然會在各個行業(yè)中體現(xiàn)出來，而這種業(yè)務的大起大落給數據中心的規(guī)劃者造成了相當大的困擾。

（2）邊界限制因素越來越多。

數據中心規(guī)模越來越大，對數據中心的選址、區(qū)域劃分、土建、承重、裝飾裝修、供電、制冷、強電、弱電、綜合布線、照明、防雷接地、消防、監(jiān)控與門禁等各個不同的角度提出了新的建設要求。但總的來說，數據中心最重要的三個制約條件是：供電、制冷、占地面積（空間制約），如圖1所示。

這三個關鍵因素對于數據中心容量規(guī)劃的影響既相對獨立，又相互滲透，互為表里。

圖1 數據中心容量三維限制模型

1.2 供電

以前呈現(xiàn)出“海量”供應的供電容量是目前數據中心容量規(guī)劃的重要邊際制約。筆者在近幾年建設實踐中遇到的以供電容量確定數據中心容量的案例不在少數。

不同電壓等級線路由于受制于線路種類和供電距離，其送電的能力也各不相同，如表1所示。

表1 各級電壓線路送電能力（數據來源：《工業(yè)與民用配電設計手冊》，第三版）

事實上10kV系統(tǒng)是當前數據中心接觸到最多的高壓變配電系統(tǒng)，相對而言很少見到6kV系統(tǒng)，主要是因為：

（1）10kV系統(tǒng)相比較于6kV系統(tǒng)能夠提供更大的負荷容量。

（2）在配電線路方面，在同樣的輸送功率和輸送距離的條件下，配電電壓越高，線路電流越小，因而線路所采用的導線或電纜截面積越小，從而可降低線路的初期投資和金屬消耗量，且可減少線路的電能損耗和電壓損耗。

（3）在開關設備的投資方面，實際使用的6kV開關設備的型號規(guī)格與10kV的基本相同，因此在這方面10kV方案不會比6kV方案增加多少。

（4）在供電的安全性和可靠性方面，采用6kV系統(tǒng)和10kV系統(tǒng)差別不大。

（5）在適應性方面，10kV系統(tǒng)優(yōu)于6kV系統(tǒng)。

此 外，GB/T 156-2007特 別 強 調3kV～6kV不得用于公共配電系統(tǒng)。

隨著城市經濟的迅速發(fā)展，電力負荷大幅增加，城市電力負荷密度隨之增大，供電范圍也不斷擴大。因此，增大配電網容量是目前城市電網的突出問題。在城市電網建設方面，采取了提高和簡化城市電網電壓等級，根據地區(qū)用電特點選擇合適的電壓等級等重要措施。對高壓配電電壓，全國各個大、中城市根據自身特點，選擇自己的高壓配電等級。北京在城區(qū)逐步取消35kV的電壓等級，保留110kV電壓等級的方案；天津則逐步取消110kV，保留35kV；上海保留了35kV和110kV電壓等級，要求不同區(qū)域因地制宜選用兩電壓等級之一。此外，在我國，20kV配電電壓也正式列入GB/T 156-2007標準中。

無論是哪種新的配電電壓，對于數據中心而言都是正面的因素。隨著配電電壓的提高，勢必為數據中心提供更多的容量支持，且更為環(huán)保節(jié)能。

1.3 制冷

數據中心各設備的散熱特性十分復雜，如圖2所示。

圖2至少揭示了兩個重要的問題：

（1）數據中心各類型的設備具有不同的發(fā)熱密度，這就意味著針對不同的設備應該有不同的制冷解決方案。

（2）數據中心各類型的設備本身的發(fā)熱密度在不同的階段有著不同的熱密度（一般是越來越熱）。

圖2 數據中心各設備熱密度發(fā)展趨勢圖

因此，制冷對于數據中心的限制主要體現(xiàn)在以下幾個方面：

（1）設計的制冷系統(tǒng)能夠滿足不同設備在不同階段的制冷要求，從而能夠使得數據中心初期規(guī)劃的電資源和空間資源能夠得到充分的、合理的使用，如圖3所示。

圖3 機柜空間利用增長示意圖

需要針對不同的功率密度（熱密度）做出不同的制冷方案規(guī)劃，如圖4所示。

圖4 不同功率密度對應不同機房制冷方案

（2）數據中心制冷系統(tǒng)的建設是一個系統(tǒng)工程，除了機房空調主機之外，還會和建筑結構產生廣泛且深刻的聯(lián)系。

①機房樓層的凈空高會直接影響送風方式的選擇。能否采用靜電地板，靜電的高度是否直接占用太多高度以至于影響上走線槽道的布置或者照明期間的分布？當然，采用風道上送風也有同樣的擔心。數據中心凈空高必須考慮如下因素：靜電地板高度（或者上送風風道高度）、機柜高度、兩層上走線槽道高度、照明高度、天花上回風高度等。實際經驗表明，新一代數據中心機房凈空高一般大于等于4.5m為宜。

②室內機、室外機的距離會直接影響冷卻方式的選擇。一般來講，當室外機高于室內機時，建議垂直最大距離為25m；當室外機低于室內機時，建議垂直最大距離為5m。建議管道總長不超過60m，超過上述限制，就不再推薦采用風冷的機組。

③房間的建筑形狀也直接關系到機房的氣流組織。機房空調的送風距離一般是15m，如果超過這個距離，就建議采用對吹的方式。因此，對數據中心房間做區(qū)域分割時，一般會建議一個子機房的距離不超過30m。

（3）數據中心對能量的需求最終體現(xiàn)在對于電能的需求上。空調系統(tǒng)是數據中心機房能耗的第二大戶，因此，合理的設計制冷系統(tǒng)能夠確保在滿足數據中心制冷需求的基礎上盡量減少對于電能的需求。

1.4 空間（占地面積）

數據中心所使用的占地是一個不可再生的資源，始終是困擾IT經理人的一個重要的問題。在當前流行的主流IT技術（刀片服務器，虛擬化等）的背后都有“減少占地面積”的原因。

數據中心的面積始終是數據中心建設者、管理者最為關注的因素之一。

數據中心對于選址有著嚴格的要求，選擇合適的地點建設合適規(guī)模的數據中心需要付出昂貴的代價。

數據中心空間的制約主要體現(xiàn)在兩個方面：初始的建筑面積制約和運行后擴容空間的制約。

2 新一代數據中心需求成長模型

上部分內容力圖從宏觀的角度顯示數據中心容量和三個關鍵的制約條件之間定性的關系，描述的是總量的關系。至于單個制約條件的供需成長關系，如圖5所示。

詳細解讀如下：

（1）IT設備針對系統(tǒng)需求的增長速度步幅最小，頻度最高，這和IT設備本身的物理特性密切相關，當有新業(yè)務需求時，在機柜中增加IT設備即可，基本上對供電、制冷以及占地面積的沖擊不會太大，因此會呈現(xiàn)相對平滑的特性。

（2）在數據中心規(guī)劃時，會根據業(yè)務增長的狀況對面積進行分區(qū)，同時也會為每一期所使用的面積預留合適的裕量。因此，面積的增長首先是一種小步幅的增長，突破臨界點（分期界限）之后，會有新的大面積空間投入使用。

（3）機房空調的增長速度也相對平滑，在前期的基礎設施（比如水管，送回風設施等）準備預留妥當的情況下，面對機房熱負荷的不斷提高，可通過階段遞進增加終端的制冷單元即可實現(xiàn)。

（4）供電系統(tǒng)的增長就會顯得相對緩慢，呈現(xiàn)的步幅頻率低，步幅大。為什么供電設備沒有采取類似于IT設備和機房空調一樣的隨著業(yè)務增長而頻繁進步的模型？為什么供電系統(tǒng)沒有采用小容量、多模塊的建設方式？

主要是交流供電系統(tǒng)的模塊化和可靠性存在著復雜的關系，核心是隨著供電模塊數的提高，系統(tǒng)的可靠性呈現(xiàn)出下降的趨勢。因此，在進行建設新一代數據中心供電系統(tǒng)時，必須在可擴容性（通過模塊化來支持）和可靠性之間取得一定的平衡。

目前主流的建設方式主要是采取2（N+1），N≤3的方式，隨著業(yè)務增長，N會逐漸增大。如果當前系統(tǒng)N達到3之后，就會考慮新建系統(tǒng)。因此，體現(xiàn)在供電的供需增長關系上，就會有頻率低、步幅大的特點，如圖6所示。

3 新一代數據中心容量規(guī)劃關鍵支點

新一代數據中心容量規(guī)劃的支點多種多樣，見仁見智。通行的做法不一而足，但基本上可從以下四個支點加以解析：

（1）可用性支點

面對承載不同業(yè)務類型的數據中心，其可用性的要求必然不同。數據中心可用度等級的劃分基本上可以參照TIA 942及UPTIME對其的定義，如圖7所示。

圖5 單個制約條件(面積，供電和空調)供需增長關系

圖6 并聯(lián)系統(tǒng)可靠性比較

圖7 數據中心可靠性等級的分類

數據中心總的可用性是由IT和Facility兩個平臺所決定的，如圖8所示。

IT網絡的可用性≈IT可用性×Facility可用性

因此，數據中心從業(yè)者在考慮整個數據中心可用性時，需要將IT和Facility綜合考慮。

（2）成本支點

成本始終是最受關注的維度之一。但是數據中心的成本不但是由建設成本（CAPEX）構成，同時也包含運營成本（OPEX）。而且，在數據中心整個生命周期之內，僅僅是電費的支出就會超出初始建設所有設備成本的總和。因此，針對數據中心這樣的OPEX大大超過CAPEX的實體，如何將成本與技術及產品方案完美地結合起來，做到TCO最低，始終是一個很大的挑戰(zhàn)。

（3）綠色節(jié)能支點

目前對數據中心綠色節(jié)能，業(yè)界有著相對成熟的計量指標，即PUE和DCiE。

PUE：Power Usage Effectiveness（ 能量使用效率）

基本上，這兩個指標被用來評價數據中心的能效利用率，即每瓦IT設備能耗需要消耗多少總輸入能耗。但是如果我們換一個角度，就能夠預先知道數據中心總能耗（初始設計時基本上這個指標往往被用來表征數據中心最大供電能力），而PUE值業(yè)界也有相對合理和流行的工程值（目前為1.6～ 2.0之間），那我們就能大致估算出IT設備能耗，從而也就能夠算出數據中心機架的功率密度，從而可以預估關鍵子系統(tǒng)的建設模式。

PUE概念的引入為數據中心能耗評估提供了一個可量化的指標評價體系，但是在能耗總量（電量）評估、測量點、能量維度、可操作性等多個方面有欠缺，因此在2010年7月份，TGG提出了對PUE進行分類定義。TGG將PUE分為四類，分別是PUE Category0（PUE0）、PUE Category1（PUE1）、PUE Category2（PUE2）和 PUE Category3（PUE3）。其中，PUE0和2007年定義基本一樣（分子和分母均為功率），PUE1、PUE2和PUE3均引入了能量參數（分子和分母均為電量），只不過是對IT設備耗電量的測量點界定不同，如表2所示。

PUE0在設計階段意義明顯，因為設計階段可以精確系統(tǒng)容量（kW）。

PUE Category1、PUE Category2、PUECategory3均是電量的比值，其區(qū)別在于IT Power的測量點不一致。PUE的定義中引入能量（kWh比值）的比值，使得PUE在實際工程中的操作更加有意義（因為kWh遠比kW穩(wěn)態(tài)并易于測量）。

表2 PUE分類定義

舉個例子，比如某場地在初始給定如下：

基礎背景：總面積15000m2；機柜1200個；總供電20000kW。

建設愿景：Tier IV&GB 50174 Class A；10年IT設備發(fā)展；分期分批，模塊化。

開始客戶不太清楚某些關鍵系統(tǒng)（供電、制冷）的建設方式。

假 定PUE取2.0， 即：PUE=Total Power/IT Power=20000kW/IT Power=2。

則IT Power=10000kW，而機柜1200個。

因此，單個機柜功率密度為IT Power=10000kW/機柜個數1200個=8kW。

知道了IT Power，就可以大致核定出供電系統(tǒng)容量；知道了單個機柜功率密度，就可以核定供電系統(tǒng)終端配電設計，也可以同時理清制冷系統(tǒng)設計的最為關鍵的容量指標。

總而言之，特別是在系統(tǒng)初始評估時，PUE指標不單可以作為數據中心節(jié)能與否的計量指標，也可以作為數據中心容量評估的一個有效支點。

（4）功率密度支點

上述三個維度基本上是從宏觀的層面去規(guī)劃數據中心的容量，具體到可操作的層面，到底該如何規(guī)劃新一代數據中心的容量？到底如何去規(guī)劃關鍵子系統(tǒng)的建設？

業(yè)界關于數據中心容量的可操作性規(guī)劃基本上有三種思路：

第一，以業(yè)務為支點。業(yè)界一線供應商基本上推出針對不同規(guī)模客戶群的指導性的解決方案。以電信行業(yè)供電系統(tǒng)建設為例，比如對于省級機房、地市級機房等均有不同的方案模板。

第二，以面積為支點。不同面積的機房有不同的解決方案。比如100m2的機房該如何建設，1000m2的機房該如何建設等在各專業(yè)廠家的宣傳文案就更多了。

但上述兩種思路往往對數據中心的建設過于空泛，以面積支點為例，100m2的機房筆者在建設實踐中有遇到只需要承載100kW的能量，也有需要承載1250kW能量的案例。而同樣是100m2的機房，兩個案例建設的方法、思路、成本等完全不一樣。

因此，業(yè)界慢慢找到一種新思路（第三），即同時考慮業(yè)務和面積的做法。確定功率密度為數據中心容量規(guī)劃的可操作性支點，基本上可以理解為：功率密度=業(yè)務（體現(xiàn)為服務器功耗）/面積。

但是，功率密度有多種表征方式，如表3所示。

在具體的實踐中，目前機架的功率密度使用也最為廣泛。

表3