雷婷 李銀松

1.中興通訊股份有限公司；2.深圳市通信學會

0 引言

數(shù)據(jù)中心作為“新基建”的七大方向之一，將為5G網(wǎng)絡(luò)、物聯(lián)網(wǎng)、AI以及各垂直行業(yè)的發(fā)展提供強有力的基礎(chǔ)設(shè)施保障。大數(shù)據(jù)應用、云計算、人工智能，智能終端等新興產(chǎn)業(yè)的快速崛起，促使中國數(shù)據(jù)中心產(chǎn)業(yè)規(guī)模不斷擴大，相關(guān)協(xié)同產(chǎn)業(yè)的命運共同體正在形成，整個生態(tài)圈正在向著綠色健康和可持續(xù)的方向發(fā)展。

當前，數(shù)據(jù)中心的能耗問題越來越受到重視，一線城市對數(shù)據(jù)中心的能耗指標PUE有硬性考核要求。國內(nèi)大型互聯(lián)網(wǎng)廠商數(shù)據(jù)中心具有需求規(guī)模大、定制化程度高、敢于創(chuàng)新、追求低成本等特點，在數(shù)據(jù)中心建設(shè)運維中敢于嘗試應用各種創(chuàng)新節(jié)能技術(shù)。但以高可靠性為核心指標的數(shù)據(jù)中心，如銀行、保險、證券、基金等行業(yè)數(shù)據(jù)中心，難以直接照搬復制互聯(lián)網(wǎng)廠商節(jié)能創(chuàng)新方案。如何兼顧高可靠性與綠色節(jié)能要求并且能有實際應用成效？這是本文研究的問題。

1 數(shù)據(jù)中心高可靠要求

高可靠性數(shù)據(jù)中心通常采用高等級建設(shè)標準，如金融類總行/總部數(shù)據(jù)中心通常按照國標GB50174 A級標準建設(shè)，這類機房可用性要求在99.99%以上，配電系統(tǒng)要求雙路冗余備份，空調(diào)系統(tǒng)N+1冗余備份并且提供連續(xù)制冷，水和電需要考慮物理隔離，避免出現(xiàn)物理安全故障造成業(yè)務(wù)中斷。

高可靠性數(shù)據(jù)中心在不違背建設(shè)等級和系統(tǒng)可靠性的要求下，可以通過科學的機房布局、空調(diào)系統(tǒng)和配電系統(tǒng)優(yōu)化，以及采用智能化管理等多種手段實現(xiàn)綠色節(jié)能。

2 機房布局節(jié)能技術(shù)

服務(wù)器、存儲、刀片等IT設(shè)備功率密度的持續(xù)提高帶來了機柜散熱的問題。高密度的機柜既要考慮設(shè)備散熱、維護、搬運與消防因素，又需要科學規(guī)劃機柜的布局，以便氣流組織更加合理，節(jié)省冷量耗散。

目前主流機柜采用“前進風、后出風”的方式，可以采用面對面或者背對背的擺放方式，即熱冷通道隔離布局。對于高可靠性數(shù)據(jù)中心用戶，可以將機房內(nèi)每2列機柜的冷熱通道布局作為一個封閉單元，進一步進行冷熱通道封閉隔離，即將一定數(shù)量的機柜通過底座和頂板組合在一起，每個封閉單位內(nèi)部組成一個空間，將IT機柜、配電系統(tǒng)、監(jiān)控系統(tǒng)、安防系統(tǒng)、照明等封閉在一個獨立空間內(nèi)。高可靠性要求空調(diào)水不能進機房，因此冷風需由專門的空調(diào)房通過地板下送風或者水平送風給機房制冷。通過冷、熱通道隔離，形成有效氣流組織，滿足IT設(shè)備運行要求，滿足數(shù)據(jù)中心機房環(huán)境相關(guān)技術(shù)規(guī)范。冷熱通道封閉高度設(shè)置為500-1000mm（根據(jù)實際情況可調(diào)整）。對于選擇熱通道還是冷通道封閉，建議如下：

對于高功率密度機房，熱負荷大，封閉熱通道更有利于熱量集中回收以及共享大冷池，且維護環(huán)境更舒適。

熱通道封閉采用水平送風，上部分吊頂封閉回風時需考慮水平送風位置的渦漩，經(jīng)過創(chuàng)新性實驗，可在進風截面位置設(shè)置網(wǎng)孔均流板，空調(diào)冷風經(jīng)過均流板混風后均勻送入機房區(qū)域。

圖1 機柜熱通道封閉風道回風布局示意圖

對于中低功率密度機房，初期上架熱負荷低，為有效利用冷量可采用冷通道封閉方式。機柜背對背方式擺放時，考慮空調(diào)系統(tǒng)在斷風斷電意外故障的情況下，熱通道溫度急速上升風險較大，更推薦冷通道封閉的機柜擺放方式。

冷通道封閉下送風水平回風時，可將防靜電地板下的空間作為送風靜壓箱，為減少風阻。在冷通道均勻設(shè)置專用的防靜電地板出風口（出風口只能安裝在冷通道），冷空氣通過出風口去到機柜正面，由設(shè)備自帶的風扇將冷風吸進機柜內(nèi)，對機柜設(shè)備進行熱交換后排至氣流的熱通道，熱空氣上升至空調(diào)回風口的負壓區(qū)，回流至空調(diào)機組再進行處理，如此周而復始。

圖2 機柜冷通道封閉單元氣流組織示意圖

對整個送風區(qū)域進行封閉處理（冷通道封閉），可以有效地使地板下送出的冷風全部用于設(shè)備散熱，而大幅減少或避免風量和冷量的損耗，最終大幅提高制冷的效率。從整個機房的氣流組織來看，有效地避免了傳統(tǒng)機房中冷熱空氣混合，冷空氣短路，以及遠端機柜由于壓降的問題而導致的機柜頂端設(shè)備無足夠冷量用于散熱，而最終產(chǎn)生局部熱點等問題。

機柜冷通道封閉單元采用冷/熱通道封閉技術(shù)時，機柜的氣流組織應提供詳細的計算數(shù)據(jù)進行驗證。建議采用CFD工具進行提前仿真驗證。數(shù)據(jù)中心級分析的仿真能夠模擬設(shè)計機房或針對現(xiàn)有機房系統(tǒng)進行問題排除及系統(tǒng)升級，進行熱流場預測，可整體規(guī)劃IT設(shè)備及機房空間的建造及基礎(chǔ)工程，減少可能出現(xiàn)的風險。氣流組織驗證時需要關(guān)注幾個問題：

第一，封閉單元內(nèi)機柜功率密度較高時，需提前計算通風地板和均流板的通孔率、冷熱通道的截面積（影響到高度選擇），以保障足夠的風量可送入到機柜。單機柜散熱量與所需冷風量的關(guān)系如下：

L為冷風量，單位m/s；Q為散熱量，單位W；△T為機柜進出風溫差，單位°C。

S為冷通道/熱通道攤算到單機柜的截面積，P為通孔率，V為風速。

通?！鱐取7～10°C，V取2m/s。由此可計算出地板或者均流板的通孔率P?？紤]到運行過程中機柜功率密度隨著上架逐步提升，建議采用大的通孔率，在初期運行時為避免冷量浪費，可以增加通風調(diào)節(jié)裝置。

第二，空調(diào)房內(nèi)空調(diào)末端與封閉冷通道單元的布局擺放需考慮機房面積、送風距離、機柜功率密度等問題。常采用的是單側(cè)送風和兩側(cè)送風方式。為避免第一個機柜因風速過快導致渦流現(xiàn)象，需保持第一個機柜與空調(diào)之間的有效距離，且可以在地板下加裝調(diào)節(jié)風向或者風機，避免局部熱點。為避免空調(diào)下方靜壓箱氣流混亂，使冷風更有效地送入機房，建議在空調(diào)下方加裝導風槽，即在三面加裝圍擋，只保留正面出風口，每個風機之間建議加裝圍擋間隔。

第三，氣流組織仿真，一方面模擬冷熱氣流隔離是否達到預期的效果，另一方面可以通過仿真分析是否存在制冷系統(tǒng)存在過度配置的問題，從而進行優(yōu)化調(diào)整，節(jié)省投資和運維成本。

第四，高可靠數(shù)據(jù)中心要求采用氣體消防和自動消防預警系統(tǒng)，因此冷熱通道封閉單元的天窗需要與消防進行聯(lián)動控制，在發(fā)生火警時能聯(lián)動跌落，便于氣體滲入內(nèi)部通道。

3 空調(diào)系統(tǒng)節(jié)能技術(shù)

數(shù)據(jù)中心空調(diào)系統(tǒng)的主要作用是通過調(diào)節(jié)溫濕度、氣流速度、潔凈度，達到給機房降溫散熱、加濕除濕、通風排風、過濾凈化的目的。數(shù)據(jù)機房超過40°C，服務(wù)器將處于危險的狀態(tài)，空調(diào)系統(tǒng)故障只需短短的10-15分鐘，設(shè)備就可達到臨界溫度。可見持續(xù)穩(wěn)定的空調(diào)系統(tǒng)對數(shù)據(jù)機房至關(guān)重要。

根據(jù)統(tǒng)計，空調(diào)系統(tǒng)耗電在整個數(shù)據(jù)中心耗電的占比約為30%～50%，因此空調(diào)系統(tǒng)能耗成為優(yōu)先改善的目標。對于空調(diào)系統(tǒng)節(jié)能，首先需要選擇節(jié)能型空調(diào)方案。相比常規(guī)使用的空調(diào)節(jié)能方案，如風冷冷水機組搭配干冷器、水冷冷水機組搭配板換或者直接新風冷卻方案，本文推薦采用創(chuàng)新性間接蒸發(fā)冷卻空調(diào)方案。其中，間接蒸發(fā)冷冷卻空調(diào)在室外氣溫較低時，可以采用空氣與空氣間接換熱的方式實現(xiàn)自然冷。該方案可采用多臺機組聯(lián)合，供冷冗余系數(shù)高，無直接換熱帶來的空氣污染風險，無復雜水路管網(wǎng)，安裝維護簡便，機房內(nèi)熱量通過風道傳送，無水進機房風險。間接蒸發(fā)冷卻空調(diào)在干冷地區(qū)可以大量使用，可利用自然冷進行換熱，無需開啟壓縮機，同時可通過噴霧蒸發(fā)的方式進一步降低室外側(cè)溫度，進而為室內(nèi)側(cè)空氣降溫。

圖3 間接蒸發(fā)冷卻空調(diào)原理圖

在選用節(jié)能型空調(diào)方案的同時，建議采用如下實用的空調(diào)節(jié)能措施：

第一，管路閥門系統(tǒng)。采用冷凍站內(nèi)的冷凍水主管環(huán)狀布置與機房干管的同程雙管路結(jié)合方式，實現(xiàn)雙同程支路到各個機房，各機房干管增加平衡閥調(diào)整干管流量與設(shè)計流量吻合，各管路水流明確更好地達到水力平衡，減少管道系統(tǒng)損耗性。

第二，應急蓄冷系統(tǒng)。取消獨立的放冷泵，由循環(huán)泵代替，簡化沖放冷系統(tǒng)，節(jié)省投資。在物理空間允許的情況下將蓄冷容量提高，項目初期投產(chǎn)負荷較低時，可以利用蓄冷系統(tǒng)錯峰用電，節(jié)省電費，且應急蓄冷時間的增加可以提高可靠性。

第三，提高冷凍水進水溫度。冷凍水出水溫度提升，制冷量和用電功率都在增加，但制冷量的增幅更大。隨著出水溫度的提升，可以利用更少的電力消耗提供更多的制冷量，有效提升制冷系統(tǒng)能效。隨著供水溫度的提升，冷水主機的效率大大提高，相比傳統(tǒng)7℃供水溫度，12℃供水溫度時，制冷主機效率提高15%以上。

第四，變頻。建議選用變頻冷水主機、變頻水泵、變頻冷卻塔，從而更大程度地提高暖通主要耗電設(shè)備的平均能效。經(jīng)過對選型設(shè)備的分析，變頻設(shè)備比非變頻設(shè)備平均全年可以提高20%以上的能效，尤其在IT機房低負荷率工作的時間段，變頻設(shè)備的功耗與實際工況存在立方正比關(guān)系，因此節(jié)能效果非常明顯。

第五，群控系統(tǒng)。通過群控對空調(diào)系統(tǒng)進行自動控制，每組冷卻塔及相應冷卻水泵隨制冷機組起停聯(lián)動，根據(jù)流量分析優(yōu)化冷機系統(tǒng)組合。在冷卻塔進水管路上設(shè)溫度傳感器，由溫度控制器控制冷卻塔泵流量和冷卻塔風機轉(zhuǎn)速，滿足負荷需求?？照{(diào)冷凍水為一次泵變流量系統(tǒng)，冷凍水泵根據(jù)系統(tǒng)壓差變頻調(diào)節(jié)，同時保證冷水主機的最低流量要求。通過實時分析室外平均濕球溫度，對冷卻塔出水溫度分段調(diào)節(jié)，以最大化利用低溫季節(jié)，實現(xiàn)冷機最優(yōu)的工作效率。

空調(diào)系統(tǒng)節(jié)能是一個系統(tǒng)工程，單純改善某個設(shè)備的能效無法達到最優(yōu)控制，采用如上空調(diào)末端和冷源系統(tǒng)整體優(yōu)化方案可達到較好的節(jié)能成效。

4 配電系統(tǒng)節(jié)能技術(shù)

數(shù)據(jù)中心電氣系統(tǒng)相關(guān)設(shè)備存在多級轉(zhuǎn)換，同時有大量的無謂冗余設(shè)計，電源設(shè)備在低負荷率下長期工作，導致效率降低。因此本項目通過高可靠的供配電方案，在保證不影響數(shù)據(jù)中心冗余可靠的前提下，提供優(yōu)化電氣回路損耗的技術(shù)方案。主要應用技術(shù)包括：

（1）2N配電設(shè)計。鑒于傳統(tǒng)客戶對高可靠性的要求，不推薦采用市電直供方案，可根據(jù)實際情況采用雙路UPS，或者1路UPS、另加1路HVDC方案，在確保高可靠性的同時提高配電系統(tǒng)能效。

（2）高頻UPS。高頻模塊化UPS因其體積小、器件少、整機效率高等優(yōu)勢，目前應用越來越成熟。高頻模塊化UPS效率高達96%，如采用ECO工作模式效率更可高達99%。采用兩路UPS備電時，其中一路可采用ECO模式或者市電直供，以提升電源系統(tǒng)效率。

（3）高壓直流。采用模塊化設(shè)計，模塊化技術(shù)將功率細分，更便于實現(xiàn)能效控制和休眠管理。與傳統(tǒng)UPS相比，高壓直流方案減少一次變換級數(shù)，同時電池相當于直接并入電氣回路，不但能降低設(shè)備成本，還實現(xiàn)了更高可靠的雙路冗余，模塊化高壓直流方案相比傳統(tǒng)UPS設(shè)備實現(xiàn)了系統(tǒng)更節(jié)能。

（4）高壓油機。 作為后備電源的油機，建議選用高壓油機，有利于節(jié)省配電柜、母線投資。

5 智能化管理節(jié)能技術(shù)

數(shù)據(jù)中心“重建設(shè)、輕管理”是通病，要實現(xiàn)智能化管理首先需要實現(xiàn)數(shù)據(jù)的統(tǒng)一化。數(shù)據(jù)的統(tǒng)一化打破過去電、冷、業(yè)務(wù)分割的局面，通過統(tǒng)一化的管理，可以根據(jù)業(yè)務(wù)的變化動態(tài)彈性地調(diào)整電源、電力和制冷與之精細化匹配。機房智能化節(jié)能管理，可以通過機房自身的運維管理系統(tǒng)持續(xù)地進行信息收集及PUE檢測，并通過運維手段進行關(guān)鍵耗能設(shè)備的調(diào)優(yōu)。更進一步的，機房運維管理系統(tǒng)可以搭載AI平臺實現(xiàn)節(jié)能調(diào)優(yōu)，機房運維管理系統(tǒng)通過按時間周期方式采樣數(shù)據(jù)中心多個時間點的室外氣候、設(shè)備運行情況，以及系統(tǒng)運行工況和業(yè)務(wù)運行狀態(tài)等海量數(shù)據(jù)，并篩選關(guān)鍵特征參數(shù)傳遞給AI平臺作為輸入信息，同時傳遞PUE（機房能效指標）作為輸出信息，AI平臺通過人工智能算法進行數(shù)據(jù)分析和深度學習，模擬出輸入輸出信息的數(shù)據(jù)模型，并實現(xiàn)多種運行模式的測算，最終選擇最佳PUE運行模式下發(fā)指令，使數(shù)據(jù)中心進入節(jié)能調(diào)優(yōu)模式。

6 結(jié)束語

數(shù)據(jù)中心建設(shè)節(jié)能是永恒的話題，在5G時代，高可靠、低時延、增強移動寬帶、海量連接的特性，要求數(shù)據(jù)中心建設(shè)在追求更加節(jié)能的同時，與可靠性之間尋求一種平衡，更多地探索創(chuàng)新技術(shù)的應用以及總結(jié)實際運用經(jīng)驗。

綜上所述，本文針對數(shù)據(jù)中心在確保高可靠性的基礎(chǔ)上，如何提升能效、降低成本，從機柜擺放方式、空調(diào)系統(tǒng)、配電系統(tǒng)、管控系統(tǒng)等多方面提出了完整解決方案，并在實際項目中落地驗證取得了較好成效，被同類型項目參考借鑒。