孫麗玫（中國移動通信集團設計院有限公司， 北京 100080）

數(shù)據(jù)中心主機房機柜布局的研究

孫麗玫
（中國移動通信集團設計院有限公司， 北京 100080）

本文以多個實際工程為例，從機房建筑布局、空調方案、維護操作等多方面分析了影響數(shù)據(jù)中心主機房機柜布置的關鍵因素，提出了提高機柜布置率的方法。

數(shù)據(jù)中心；主機房；機柜布局；空調系統(tǒng)

1 引言

隨著國家對戰(zhàn)略性新興產業(yè)的重視，對云計算、下一代網(wǎng)絡的積極推進，IDC市場迎來了前所未有的發(fā)展機遇。2015年，中國IDC市場規(guī)模達518億元，比2014年增長39%。2015年國家寬帶提速，“互聯(lián)網(wǎng)+”向產業(yè)加速滲透，帶來互聯(lián)網(wǎng)流量快速增長，拉動對數(shù)據(jù)中心等互聯(lián)網(wǎng)基礎設施需求的增長。數(shù)據(jù)中心基礎設施的建設進入一個新的高潮。

在數(shù)據(jù)中心的規(guī)劃建設階段，對數(shù)據(jù)中心的規(guī)模、容量、等級的規(guī)劃設計，將直接影響到數(shù)據(jù)中心投資、運營和收益。其中，提高數(shù)據(jù)中心的出機柜率，是數(shù)據(jù)中心建設方、設計方一直致力研究的課題之一。目前市場上IDC價格體系中，主要以機柜數(shù)量、單機柜供電能力、帶寬等為基準進行價格測算。因此提高主機房使用率即提高主機房內機柜布置率，是IDC業(yè)務提供商提高業(yè)務收入的主要途徑之一，在數(shù)據(jù)中心基礎設施建設中顯得尤其重要。

2 主機房機柜布局原則

主機房，是數(shù)據(jù)中心安裝機柜的空間。機柜布置時，要考慮較多影響因素，如機柜搬運、維護操作空間、IT設備系統(tǒng)與供電系統(tǒng)、制冷系統(tǒng)的匹配等問題。圖1為典型的機房布局示意圖。

主機房機柜布局一般按如下原則進行。

2.1 基礎設施能源利用最優(yōu)化

各機房空間內，單個模塊的IT設備、電源、空調等系統(tǒng)盡量達到最佳匹配和平衡。主設備系統(tǒng)、空調系統(tǒng)、氣流組織系統(tǒng)、供電系統(tǒng)、智能監(jiān)控系統(tǒng)應綜合集成，提高機房空間利用率。

圖1 典型的機房布局示意圖

2.2 合理搬運維護通道

機柜布局時，應充分考慮維護人員安全、設備搬運、檢修維護需要的空間。根據(jù)規(guī)范要求，機房內主運輸搬運通道的寬度為1.5 m，次通道的寬度不小于1 m。成行排列的機柜，兩個出口通道之間的距離超過15 m時，在兩個出口通道之間增加出口通道。

2.3 機柜按區(qū)分冷熱通道排列

機房的機柜布置采用“面對面、背對背”的排列方式，分出冷通道和熱通道。機柜列間距綜合考慮工藝設備安裝需求、日常維護需求、地板規(guī)格等，并根據(jù)機柜裝機功率密度和氣流組織的需求，確定機柜列間距離。

2.4 機柜系統(tǒng)標準化

在滿足客戶需求的前提下，主機房內的機柜系統(tǒng)盡量采用標準機柜。標準化機柜尺寸一致，供電、送風方式相同，利于機柜布局便于統(tǒng)一安裝、維護。

3 主機房機柜布局影響要素分析

主機房空間內一般包括機柜安裝空間、機柜搬運空間、線纜豎井及空調末端空間等。主機房內機柜布置能力，可以用主機房的單機柜使用面積來衡量，即：

單機柜使用面積=主機房使用面積/機柜數(shù)量（1）

單機柜使用面積（平米/架）越大，說明主機房內安裝的機柜數(shù)量越少。因此，通常我們追求更小的單機柜使用面積。

影響主機房單機柜使用面積的主要因素有：機柜尺寸、機房空間尺寸、空調末端形式和機柜配電系統(tǒng)。

3.1 機柜尺寸的影響

機柜尺寸有寬、深、高3個維度。機柜尺寸是由其內部安裝服務器和設備情況確定的。機柜的寬度、深度對出機柜率影響較大。機柜的寬度，確定了每列擬安裝機柜機柜數(shù)量。一般而言，IT標準機柜寬為600 mm，部分網(wǎng)絡設備機柜寬800 mm。顯然，機柜越寬，同一列內安裝的機柜數(shù)量就少。

機柜的深度，影響到機房內機柜列數(shù)，同時影響到機柜列間搬運維護間距的取定。隨著服務器運算能力提升，服務器深度有加大的趨勢，因此機柜深度尺寸也逐步從1 000 mm提升到1 200 mm。部分存儲機柜深度達1 500～1 800 mm。

機柜深度1 000 mm時，考慮服務器和機柜的搬運，其前維護間距可考慮為≥1 000 mm。如果機柜深度為1 200 mm，此時一般服務器深度較大，達800～900 mm，考慮服務器和機柜的搬運，其前維護間距就考慮為≥1 200 mm。這樣機柜深度越大，在同樣空間，能安裝的機柜列就少。

因此在同樣空間大小情況下，機柜尺寸越大，能安裝的機柜數(shù)量相應地就少。

3.2 機房平面布局的影響

為保障主機房最佳的使用率，主機房以矩形為最佳，原則上不采用弧形、三角形等異形平面。主機房的長度、寬度尺寸，對機柜的布置和數(shù)量有較大影響。

3.2.1 機房長寬取定原則

機柜布置，分為兩個方向即標準列長方向和列數(shù)方向，機柜布置與機房布局方向的關系圖如圖2所示。

圖2 機柜布置與機房布局方向關系示意圖

機房的寬度方向，一般設置與機柜標準列長方向平行。此時機房的寬度設置需要考慮機柜標準列長、機柜搬運通道、空調末端區(qū)域寬度的需求。如機房空調末端采用冷凍水型機房專用空調并單側設置空調區(qū)域的機房，其寬度設置為：

機房寬度=空調末端區(qū)域寬度+主搬運通道+標準機柜列長+次搬運通道 （2）

當機房設置單面空調區(qū)域時，機房寬度一般可以設置在17～20 m左右；設置雙側空調區(qū)域時，機房寬度必須加大，寬度修正為不低于20 m，以獲得更佳的出機柜率。

當采用機柜級制冷方案時，可不考慮空調末端區(qū)域寬度。

機房的長度方向，與機柜列數(shù)方向平行時，長度的決定因素是機柜深度和列間距。目前，較為通用的方式是將冷熱通道隔離。因此建議長度應盡量“機柜深度+冷通道列間距+熱通道間距”為單元模塊進行規(guī)劃。

設機柜厚度為H，熱通道間距為R，冷通道間距為L，機房內設置n列機柜時，建議機房的長度設置為：

機房長度=n×H+(n/2)×L+(n/2+1)×R (當n為偶數(shù)時) （3)

機房長度=n×H+((n+1)/2)×L+((n+1)/2)×R (當n為奇數(shù)時) （4）

目前多數(shù)機房都考慮了機柜的冷熱通道隔離，采取了冷通道封閉或熱通道封閉等措施，因此在可能的條件下，機柜列數(shù)n以偶數(shù)為最佳（如n=6或8或10列等）。

3.2.2 機房面積規(guī)模的影響

一般情況下，主機房的面積越大，裝機率越高。目前影響機房模塊使用面積大小的主要決定因素，是消防氣滅系統(tǒng)對機房容積的要求。根據(jù)相關消防規(guī)范，每個氣滅防護分區(qū)總容積率不能超過3 600 m3，因此在氣滅系統(tǒng)容許的范圍、合理層高情況下，加大機房使用面積，提高機房裝機能力。

如果兩個機房尺寸完全一致，機房長度和寬度一致，但是其內部機柜布局呈90°調整，即機房I機柜列平行于機房寬度布置，機房II機柜列平行于機房長度布置，哪個機房的出機柜率更高呢?

圖3為機房I和機房II中的機柜布置圖。兩個機房尺寸相同，但是機柜布置方案不同，呈90°調整。機房I和機房II的機柜布置指標見表1所示。

圖3 機房I和機房II機柜布置

表1 機房I和機房II機柜布置指標表

由表1可知，機房I和機房II雖然面積相同，但其布置的機柜數(shù)量有一定差距，差距達8%左右。原因是因為機房II機柜標準列長度較大，空調送風距離長，因此需要雙面送風設置雙側空調區(qū)域；并且其機柜列的長度超過15 m，根據(jù)規(guī)范要求，考慮維護和搬運安全，需要將機柜列中設置中間搬運通道，這樣機房II的輔助區(qū)域空間占比增大，機柜實際安裝面積減少。

由此可得出，通常情況下，主機房面積越大，機房出機架率越高；在相同機房面積情況下，機房長度如與機柜標準列方向一致時，機房出機架率越高。

3.3 空調末端方式的影響

目前在機房中，常見的空調末端形式主要有：冷凍水型機房專用空調、列間空調、熱管背板和水冷冷門方式等。這4種空調末端方式在機房內布置方式各具特色，冷凍水型機房專用空調一般在機房設置一側或兩側設置空調末端布置區(qū)域；列間空調方式是在機柜列中布置空調末端機柜；而熱管或水冷冷門方式是將空調末端的制冷板掛在機柜后門處或前門處。本研究以某標準化機房為基礎，考慮不同種空調末端方案時，主機房內機柜布置情況?？紤]熱管和水冷冷門方式對機房布局影響一樣，因此本研究將其歸為同一類情況分析。根據(jù)數(shù)據(jù)中心機柜功耗發(fā)展情況，本文以單機柜功耗為5～7 kW/架的主機房需求為研究對象。

圖4 不同空調末端方式時機柜布置圖

圖4 為相同機房、單機柜平均運行功耗5 kW時3種不同空調末端形式下主機房機柜布置圖。

圖5是對上述相同機房尺寸不同空調末端方式時，機柜布置指標分析圖。

可以發(fā)現(xiàn)，一般情況下，在出機柜率方面，柜式的熱管背板或水冷冷門末端方式優(yōu)于行間級的列間空調末端方式，房間級的冷凍水空調末端方式機柜使用面積最大。

3.4 機柜配電系統(tǒng)的影響

在主機房機柜布置中，配電機柜成為必不可少的要素，其在主機房占位因素，正逐步被大家關注。

目前數(shù)據(jù)中心服務器存儲設備等，多采用交流220 V供電，部分系統(tǒng)或設備采用直流-48 V供電。對于交流供電時，通常在每個機柜標準列內設置一個配電柜（PDF），對于-48 V直流供電時，考慮壓降因素等，通常需要在每個機柜標準列內設置多個配電柜，列頭柜、列中柜和列尾柜等。根據(jù)工程統(tǒng)計，交流供電時，配電列頭柜一般占機房內機位5%～7%；而直流供電時，配電柜一般占位超過10%。

因此，配電柜的設置，對主機房機柜布置和出機架率，有非常重要的影響。

圖5 不同空調末端方式時機柜布置指標分析圖

4 提高主機房機柜布置率的措施

通過上述分析，為提高主機房機柜布置率，降低主機房機柜使用面積，可以采用如下措施進行優(yōu)化。

4.1 機柜尺寸標準化

機柜尺寸直接影響到機房的列間距確定和機房寬度進深設置。機柜尺寸的標準化，有利于機柜列間距標準化、機房布局標準化，對機房運維標準化、流程化有重要意義。

對于特殊尺寸的機柜，在不影響相同功能情況下，建議在機房模塊內單獨設列，該列的維護間距特殊考慮?；蛘咛厥獬叽鐧C柜單獨設置在機房空間。

4.2 機房布局合理

機房面積設置時，應滿足消防要求、機房功能定位需求，并綜合考慮其供電制冷系統(tǒng)能力基礎上，設置最大機房模塊面積。

機房應優(yōu)選矩型形狀，其寬度和長度應合理安排，建議機房寬度與機柜標準列長平行，依據(jù)空調末端方式確定，不宜過長。機房長度方向的設置以滿足相關要求和功能需求的最大值為宜。

4.3 優(yōu)先選擇柜級制冷的空調末端方案

在機房長寬確定情況下，機柜級制冷方案——熱管或水冷冷門方式情況下的主機房單機柜綜合使用面積最小；冷凍水型機房專用空調方式情況下主機房單機柜綜合使用面積最大，因為此時需要設置一個空調末端專用區(qū)域，需要考慮空調設備的安裝及檢修等空間等。本研究案例分析得出，機柜級制冷方案時主機房出機柜率比房間級的空調方式下布局提升約20%。

通常，當IT單機柜運行功耗越大，主機房單機柜綜合使用面積取值應隨之增加，但采用機柜級制冷方案時，主機房單機柜綜合使用面積基本不變。因此建議在滿足機房制冷需求，基礎設施維護能力可行時，應優(yōu)選機柜級制冷的空調末端方案，提高機房的出機柜率，獲得較好的主機房制冷效率。

4.4 采用機架母線供電方案

為提升主機房出機架率，機架配電母線方式已在部分新建數(shù)據(jù)中心中推廣采用。

機架母線配電方式，是采用“始端箱+母線槽+終端箱”供電方式，以替代現(xiàn)在常用的精密列頭柜及其輸出電纜。機架配線母線方式，可以機架列為單元靈活調配單個機架用電功率，顯著節(jié)省列頭柜占地、降低建設成本。采用機架母線配電方式，主機架出機架率將提升5%～10%。圖6為機架母線配電方式的布置示意圖。

圖6 機架母線配電方式布置示意圖

5 結束語

提高主機房的出機柜率，降低主機房單機柜使用面積指標，一直是IDC業(yè)內人士能力的目標，是機柜提供商利潤的重要來源之一。

[1] Luiz Andr Barroso，Jimmy Clidaras，Urs H lzle. 數(shù)據(jù)中心設計與運營實戰(zhàn)[M].陳實，等，譯.北京：人民郵電出版社，2014.

[2] 張廣明，陳冰，張彥和.數(shù)據(jù)中心基礎設施設計與建設[M].北京：電子工業(yè)出版社，2012.

Research on the crack layout of the data center

SUN Li-mei
(China Mobile Group Design Institute Co., Ltd., Beijing 100080, China)

On the basis of many projects,this paper studies and analyzes the key factors of thecrack layout, such as the equipment room layout, air conditioning system, maintenance and operation, and others. This paper puts for word the key factors and solutions to improve the crack number of data center.

data center; equipment room; the crack layout; air conditioning system

TN915

A

1008-5599（2017）01-0006-05

2016-08-25