張朝陽 迮天怡 翁明全

關(guān)鍵詞：數(shù)據(jù)中心；超高功率機(jī)柜；局部熱點(diǎn)；制冷解決方案

1概述

制冷系統(tǒng)對數(shù)據(jù)中心的作用就是收集設(shè)備產(chǎn)生的熱量，將它們排到室外并保持規(guī)定的溫濕度，滿足服務(wù)器運(yùn)行要求。現(xiàn)有的數(shù)據(jù)中心制冷方式有房間級、行級和機(jī)柜級制冷方式[1]。隨著現(xiàn)代IT設(shè)備的功率密度將峰值功率密度提升至每機(jī)柜10kW甚至更高，對于這類超高功率機(jī)柜，傳統(tǒng)制冷不再起到有效的作用。未來，新一代高密度和可變功率密度IT設(shè)備產(chǎn)生的熱量是傳統(tǒng)數(shù)據(jù)中心制冷系統(tǒng)無法應(yīng)對的，這往往會導(dǎo)致制冷系統(tǒng)過度規(guī)劃，造成制冷效率低下、制冷性能難以預(yù)測。基于此，對現(xiàn)有已建造的數(shù)據(jù)中心進(jìn)行制冷增容改造是一種較好的方法。

2某數(shù)據(jù)中心機(jī)房基礎(chǔ)設(shè)施背景介紹

2.1制冷系統(tǒng)介紹

某數(shù)據(jù)中心按照國標(biāo)A類標(biāo)準(zhǔn)設(shè)計(jì)建造，主要安裝IDC機(jī)架，IDC機(jī)架的尺寸為600mm（寬）*1200mm（深）*2200mm（高），機(jī)架安裝的列間距為機(jī)架的冷通道間距1200mm，熱通道間距1200mm。機(jī)房內(nèi)機(jī)架送風(fēng)方式為除傳輸機(jī)房采用下送上回的方式外，其他IDC機(jī)房封閉通道均采用前送后回的方式。

數(shù)據(jù)中心機(jī)房樓有著熱度高負(fù)荷高、需全年供冷的特點(diǎn)[2]，對空調(diào)系統(tǒng)運(yùn)行安全性、可靠性和適用性要求較高。充分考慮到建筑平面布局、地域氣候特點(diǎn)、綠色節(jié)能要求等諸多因素，該數(shù)據(jù)中心由集中式冷凍水系統(tǒng)供冷，機(jī)房空調(diào)配置冷凍水型機(jī)房空調(diào)，空調(diào)冷源采用“高壓冷水機(jī)組+板換+冷卻塔”方式。設(shè)計(jì)供水溫度為14℃、回水溫度為19℃。考慮到機(jī)房的安全性要求，空調(diào)管路采用環(huán)狀管路的閉式循環(huán)系統(tǒng)[3]，由立管和水平管組成，主干管采用異程式布置，各支管安裝平衡閥，冷凍水系統(tǒng)由高位開式蓄冷罐和定壓罐進(jìn)行系統(tǒng)定壓。每個機(jī)房有6個微模塊，共254個機(jī)柜，每個微模塊列間空調(diào)為“N+1”配置，采用封閉冷通道形式，單機(jī)柜設(shè)計(jì)功率為4.4kW，機(jī)柜實(shí)際平均運(yùn)行約3.6kW。

2.2空調(diào)配電系統(tǒng)介紹

機(jī)房空調(diào)供電為一路U電和一路市電的供電架構(gòu)，U電由前端電力室空調(diào)專用UPS提供，滿足市電中斷情況下30分鐘不間斷供電。

3超高功率機(jī)柜改造需求介紹

隨著客戶業(yè)務(wù)需求發(fā)展，在其租賃的某個機(jī)房部署2個核心網(wǎng)絡(luò)機(jī)柜，核心網(wǎng)絡(luò)機(jī)柜平均運(yùn)行功率在14～20kW。如圖1所示，AB為一個微模塊，使用冷通道封閉的形式，在B06807位置需部署2臺核心網(wǎng)絡(luò)機(jī)柜，在AB列通道中，A02，A03，A05，A08，A14，A21，A22，B10，B11，B19為配套無源ODF機(jī)柜，其余為常規(guī)使用低功率機(jī)柜。

按單個通道總冷量計(jì)算，AB列原有列間空調(diào)總冷量滿足設(shè)備制冷量需求[4]，但可能在設(shè)備運(yùn)行過程中無法消除超高功率機(jī)柜周邊的局部熱點(diǎn)。為確保高功率機(jī)柜的制冷可靠且無新增局部熱點(diǎn)，本次改造需新增風(fēng)冷空調(diào)且為“N+1”配置，與原有冷凍水列間空調(diào)系統(tǒng)形成2個故障域，滿足2N制冷需求。

4超高功率機(jī)柜制冷改造設(shè)計(jì)

針對所提出的超高功率機(jī)柜部署需求，進(jìn)行了空調(diào)冷負(fù)荷計(jì)算，機(jī)房樓空調(diào)冷負(fù)荷Q=Qi+Q2，其中Q1為設(shè)備散熱量；Q2為機(jī)房外墻等圍護(hù)結(jié)構(gòu)傳熱量、外窗太陽輻射、人員及照明等因素引起的冷負(fù)荷。根據(jù)工藝初步測算的設(shè)備裝機(jī)容量，本期機(jī)房新增2臺14kW網(wǎng)絡(luò)柜，如表1所列。

4.1制冷改造方案一

根據(jù)工藝專業(yè)規(guī)劃及本工程圍護(hù)結(jié)構(gòu)的情況，在A數(shù)據(jù)機(jī)房AB通道右側(cè)增加2臺制冷量為45 kW的風(fēng)冷精密空調(diào)，采用一主一備設(shè)計(jì)，如表2所列。

平面部署如圖2所示。

4.1.1精確送風(fēng)方式選擇

如圖2所示，進(jìn)深較大的數(shù)據(jù)機(jī)房需要增加送風(fēng)管，以保證制冷量及送風(fēng)均勻。空調(diào)系統(tǒng)風(fēng)出口處宜安裝送風(fēng)管道或送風(fēng)帽，送風(fēng)口可使用散流器或百葉風(fēng)口，通過風(fēng)管對目標(biāo)高功率機(jī)柜進(jìn)行精確送風(fēng)降溫[6]。

（1）地板下送風(fēng)方式。

通過地板下送風(fēng)對超高功率機(jī)柜進(jìn)行制冷，地板下送風(fēng)方式是將處理過的低溫空氣通過地板下送風(fēng)管道精確送至封閉冷通道內(nèi)，吸收數(shù)據(jù)機(jī)柜的熱量后，從頂部返回到空調(diào)系統(tǒng)。地板下送風(fēng)方式一般采用架空地板作為送風(fēng)靜壓箱，架空地板的高度為60～100cm，甚至更高（應(yīng)根據(jù)負(fù)荷密度、機(jī)房面積綜合確定）。地板送風(fēng)口數(shù)量應(yīng)保障每個服務(wù)器機(jī)架均具有足夠的冷卻風(fēng)量，宜設(shè)在服務(wù)器機(jī)架進(jìn)風(fēng)處，風(fēng)速宜在1.5～3.0m/s。

地板下送風(fēng)方式制冷效率較高、安裝整潔、送風(fēng)均勻，但結(jié)合實(shí)際情況，原機(jī)房為末端水冷列間空調(diào)，地板下遍布管道，可再利用空間非常有限，施工難度也非常大，容易出現(xiàn)地板下走線擁堵，送風(fēng)不暢，距離空調(diào)機(jī)組較遠(yuǎn)的區(qū)域溫度偏高，無法得到有效控制。地板下送風(fēng)方式灰塵易進(jìn)入機(jī)房，清理很難，如果管理不善，會造成一些部位有灰塵積聚，下送風(fēng)方式會使灰塵隨風(fēng)進(jìn)入IT設(shè)備，增加設(shè)備故障概率，嚴(yán)重日寸影響IT設(shè)備的正常工作。

（2）上送風(fēng)方式。

上送風(fēng)系統(tǒng)與下送風(fēng)方式相反，其從精密空調(diào)頂部出風(fēng)，可通過精確送風(fēng)管道對機(jī)柜設(shè)備進(jìn)行降溫制冷。上送風(fēng)的空調(diào)送風(fēng)方式是由機(jī)房的上部送到通信設(shè)備，與熱空氣交換后，從機(jī)房的下部回到空調(diào)機(jī)組內(nèi)。機(jī)房的送風(fēng)氣流組織與空氣流動特性相矛盾，從而使房間最下部溫度偏高，不利于通信設(shè)備的運(yùn)行。需要送風(fēng)距離較短時(shí)，可以用消音送風(fēng)帽的風(fēng)口直接送到機(jī)房內(nèi)，機(jī)房內(nèi)的氣流組織為上側(cè)送風(fēng)下側(cè)回風(fēng)方式：需要送風(fēng)距離較長時(shí)，就需要在機(jī)房上部設(shè)送風(fēng)管道，通過空調(diào)送風(fēng)管、送風(fēng)口把空氣送到機(jī)房的所需部位。因此，送風(fēng)管和送風(fēng)口就需要與設(shè)備的各類走線架、照明燈具進(jìn)行協(xié)調(diào)，以免相互干擾，給設(shè)計(jì)、施工帶來一定的工作量。但是，綜合對比下送風(fēng)方式，上送風(fēng)在空間可操作性、實(shí)施便利程度及部署快速性上都具有很大的優(yōu)勢，因此本方案選擇上送風(fēng)加精確送風(fēng)管的方式作為風(fēng)冷精密空調(diào)的送風(fēng)方式。

4.1.2CFD氣流組織模擬

在工程實(shí)施前，利用CFD氣流組織仿真軟件模擬實(shí)際設(shè)備運(yùn)行狀況，可有效識別氣流組織不均和可能的局部熱點(diǎn)[7]，因此本次制冷改造設(shè)計(jì)加入了CFD模擬的步驟。

（1） CFD軟件介紹。

CFD技術(shù)即計(jì)算流體力學(xué)技術(shù)，相當(dāng)于虛擬的在計(jì)算機(jī)中做實(shí)驗(yàn)，用以仿真實(shí)際的流體流動情況。其基本原理是數(shù)值求解控制流體流動的微分方程，得出流體流場在連續(xù)區(qū)域的離散分布，從而近似模擬流體流動情況。

Fluent軟件是我國工程應(yīng)用中的主流CFD軟件，針對流體的物理特點(diǎn)，采用適合的數(shù)值解法在計(jì)算速度、穩(wěn)定性和精度方面達(dá)到最佳。利用Fluent軟件能縮短設(shè)計(jì)論證過程和實(shí)驗(yàn)室實(shí)驗(yàn)時(shí)間?；诖?，利用CFD軟件分析機(jī)房冷通道區(qū)域的空氣流動問題已經(jīng)成為研究和機(jī)房建設(shè)中必不可少的環(huán)節(jié)。

（2）建模仿真。

選取1個AB和CD微模塊機(jī)房作為研究對象，實(shí)施過程主要分以下幾步。

①建立與實(shí)體機(jī)房相似的3D模型，主要包含機(jī)柜、風(fēng)冷精密空調(diào)、水冷列間空調(diào)、地板及冷通道等。

②采集機(jī)房冷通道的各項(xiàng)參數(shù)（出風(fēng)溫度、風(fēng)速、風(fēng)量等），并根據(jù)服務(wù)器主頻溫度變化曲線，建立數(shù)據(jù)機(jī)房冷通道內(nèi)氣流流動的物理及數(shù)學(xué)模型，利用Fluent軟件模擬封閉冷通道內(nèi)氣流的流場分布，分析其冷通道內(nèi)氣流的形態(tài)分布和速度分布情況。

③模型建立后，輸出仿真結(jié)果，如圖3所示。

根據(jù)仿真結(jié)果，B06，B07新增超高功率機(jī)柜附近進(jìn)回風(fēng)溫度均在28℃以下，但是對向微模塊C05-C08處機(jī)柜的進(jìn)風(fēng)最大為30.3℃，依然存在局部熱點(diǎn)的可能，因此本方案還需完善。

4.2制冷改造方案二

根據(jù)工藝專業(yè)規(guī)劃及本工程圍護(hù)結(jié)構(gòu)的情況，結(jié)合方案一中存在的局部熱點(diǎn)，方案二在A數(shù)據(jù)機(jī)房AB通道右側(cè)增加2臺制冷量為45 kW的風(fēng)冷精密空調(diào)，一主一備設(shè)計(jì)；并在AB和CD模塊中間通道（熱通道）左側(cè)空余位置增加1臺風(fēng)冷精密空調(diào)，主要作用為回收熱風(fēng)，避免在C05-C08處產(chǎn)生局部熱點(diǎn)，相關(guān)配置如表3所列。

平面部署如圖4所示。

方案二設(shè)置2組制冷單元分別執(zhí)行送風(fēng)和回風(fēng)工作，風(fēng)冷送風(fēng)空調(diào)將冷量輸送至AB和CD微模塊指定位置：而風(fēng)冷回風(fēng)精密空調(diào)將AB與CD模塊間的熱風(fēng)定點(diǎn)回收，避免局部熱點(diǎn)產(chǎn)生。此方案的CFD模擬如圖5所示，對向機(jī)柜最大進(jìn)風(fēng)溫度為250C，滿足設(shè)備安全溫度運(yùn)行要求。

5針對超高功率機(jī)柜改造不同制冷方式設(shè)計(jì)方案對比

兩種方案的主要差別為方案二較方案一增加了1臺專用的風(fēng)冷回風(fēng)精密空調(diào)，主要用于吸收超高功率機(jī)柜所產(chǎn)生的熱風(fēng)，也確保本組機(jī)柜和對向機(jī)柜不受局部熱點(diǎn)的影響。本次擴(kuò)容改造工程最終選定方案二為最終實(shí)施方案，此方案目前已經(jīng)竣工交付客戶使用，在運(yùn)行過程中未發(fā)生局部熱點(diǎn)的情況。

6結(jié)束語

本次針對超高功率機(jī)柜部署的制冷改造，在有限空間內(nèi)，在高功率機(jī)柜的通道兩側(cè)部署2套制冷單元，通過精確送回風(fēng)管道，分別執(zhí)行空調(diào)送風(fēng)與回風(fēng)工作，實(shí)現(xiàn)冷量輸送與熱量回收，此舉既滿足了超高功率機(jī)柜（14kW以上）的制冷需求，又避免對向機(jī)柜因超高功率機(jī)柜散熱導(dǎo)致宕機(jī)的風(fēng)險(xiǎn)，在設(shè)備滿載運(yùn)行時(shí)，通過CFD模擬仿真設(shè)備最高進(jìn)風(fēng)溫度25℃，完美消除了機(jī)房的局部高熱點(diǎn)隱患。