倪 吉 劉守亞 袁中原 張雯琦 高 波

（1.四川省建筑科學研究院有限公司 成都 610081；2.西南交通大學機械工程學院 成都 610031）

0 引言

隨著互聯(lián)網用戶的規(guī)模不斷增大，數(shù)據(jù)流量的快速增長對保障高性能計算和數(shù)據(jù)傳輸?shù)臄?shù)據(jù)中心基礎設施提出了更高的要求，從而導致了能源消耗和碳排放量的快速增加[1]?！疤歼_峰碳中和”背景下，鑒于我國數(shù)據(jù)中心存在一定的供需失衡、失序發(fā)展問題，我國數(shù)據(jù)中心布局正在轉變，各地區(qū)紛紛出臺相應政策引導數(shù)據(jù)中心的綠色可持續(xù)發(fā)展，綠色數(shù)據(jù)中心試點工作有序進行[2]。數(shù)據(jù)中心的最大耗能項為IT 設備，其所消耗的電量會全額轉化為熱量。數(shù)據(jù)機房運行過程中產生的熱量將引起室內空氣溫度的升高，導致機房IT 設備運行效率下降甚至損壞。因此，高效的數(shù)據(jù)中心冷卻系統(tǒng)是保障數(shù)據(jù)中心合理且高效運行的關鍵。

近年來，政策主導新建數(shù)據(jù)中心強制執(zhí)行節(jié)能設計的相關標準，大多數(shù)近期新建數(shù)據(jù)中心在設計階段均考慮一定的節(jié)能措施和高效運行的能力。目前，數(shù)據(jù)中心冷卻設備主要通過動態(tài)監(jiān)控系統(tǒng)和人工巡檢的方式來進行運維管理，但實際工程中存在運維人員對冷卻系統(tǒng)相關專業(yè)知識掌握程度較淺的問題，因此，常導致數(shù)據(jù)中心冷卻系統(tǒng)的故障或者不合理運行。據(jù)統(tǒng)計[3]，70%的數(shù)據(jù)中心故障是由于運維人員誤操作導致的。隨著數(shù)據(jù)中心動態(tài)監(jiān)控系統(tǒng)的發(fā)展與完善，與運行性能相關的大量歷史運行數(shù)據(jù)作為運行階段性能提升的參考資料得以保存。這對于數(shù)據(jù)中心實際運行階段的分析、研究等優(yōu)化工作帶來了極大的便利。本文以四川省某數(shù)據(jù)中心項目實際運行性能優(yōu)化為出發(fā)點，通過定性分析和調適的方式探討該數(shù)據(jù)中心冷卻系統(tǒng)運行階段的優(yōu)化潛力及其路徑。

1 項目概況

該數(shù)據(jù)中心位于四川省雅安市，地處夏熱冬冷地區(qū)，為GB 50174-2017《數(shù)據(jù)中心設計規(guī)范》所定義的A 級數(shù)據(jù)中心，節(jié)能設計依據(jù)GB 51245-2017《工業(yè)建筑節(jié)能設計統(tǒng)一標準》。根據(jù)規(guī)劃，樓內空調系統(tǒng)以集中式系統(tǒng)為主。機房集中式冷凍水系統(tǒng)空調設計冷負荷8628.6kW，其中包括機房終期通信設備滿載冷負荷6452.8kW，UPS等電力設備冷負荷797.8kW，以及其他包括建筑、新風、水泵附加、管道附加負荷在內的冷負荷1378kW。集中式系統(tǒng)為一級泵變流量系統(tǒng)，配置3 臺（兩用一備）4570kW 的水冷離心式冷水機組，冷凍水供回水設計溫度為15/21℃，空調末端采用冷凍水型房間級專用空調機組。每臺水冷離心式冷水機組并聯(lián)一臺板式換熱器，利用過渡季節(jié)或冬季較低的室外氣溫，由冷卻塔及板式換熱器提供冷源，減少冷凍機組開啟時間，保證系統(tǒng)節(jié)能運行。數(shù)據(jù)機房設置機房空調末端，氣流組織形式為地板送風下送上回。

2 冷卻系統(tǒng)優(yōu)化潛力分析

2.1 空調末端運行狀況

為了控制室內空氣溫濕度以保障數(shù)據(jù)中心的穩(wěn)定高效運行，通常數(shù)據(jù)機房會配置專用的機房末端空調用以營造適合服務器運行的穩(wěn)定室內空氣環(huán)境，冷熱通道氣流組織示意及實景如圖1、2 所示。調查發(fā)現(xiàn)，該數(shù)據(jù)中心的機房專用空調末端啟停由運維人員根據(jù)數(shù)據(jù)機房服務器分布及運行情況進行控制。該數(shù)據(jù)中心的智能實時監(jiān)控平臺（DCIM，Data Center Infrastructure Management）為保障各數(shù)據(jù)機房穩(wěn)定工作、避免機房環(huán)境溫度過高導致服務器設備運行效率下降、損壞等情況需要設定報警溫度以提示運維人員需要進行相應操作。該數(shù)據(jù)機房室內熱通道設計溫度為31-35℃，運維人員為了保障充分的容錯空間將報警溫度設置在31℃。同時，由于機房室內開間與進深相對較大、冷熱通道共處于同一大空間內等因素導致室內氣流組織分布普遍存在不均勻的現(xiàn)象。由圖3 可以看出，該數(shù)據(jù)機房七臺機房專用末端空調回風溫度存在顯著差異，同一時刻不同末端之間的最大回風溫差為4.7℃，由此推斷室內氣流組織存在不合理的局部過熱或過冷現(xiàn)象。故在此基礎上的溫度報警現(xiàn)象可能僅是某區(qū)域周圍室內溫度傳感器達到設定值，此時運維人員采取一系列增加制冷量的措施則會導致其他溫度較低的區(qū)域出現(xiàn)過冷現(xiàn)象，引起冷量不必要的浪費。上述分析表明，機房專用空調末端運行存在的問題是氣流組織不均勻導致了末端出力過大。

圖1 冷熱通道氣流組織示意圖Fig.1 Schematic diagram of the airflow distribution of hot and cold channels

圖2 冷通道地板送風實景圖Fig.2 Situation of hot and cold channel

圖3 各末端回風溫度變化情況Fig.3 Temperature changes in terminal return air

針對這一現(xiàn)象，在室內熱通道設計溫度合理的區(qū)間范圍內可以適當調高報警溫度。逐步調高報警溫度的同時調整末端空調供冷參數(shù)，釋放一定的制冷壓力，同時關注機房內機柜能耗情況和能效情況，可以通過簡單的控制變量法實驗得到保障服務器高效運行的最佳報警溫度設定值。

此外，工程經驗中的“大風量小溫差/焓差”末端調節(jié)原則存在一定合理性，較大的風量進入機房底部由風道構成的靜壓箱后可以得到更大的地面孔板出風速度。機房送風速度越大，越有利于排出機柜服務器產生的熱量，得到相對更為合理的氣流組織。但結合該項目施工的實際情況，風量并非越大越好，合理的送風參數(shù)同樣可以通過簡單的控制變量法實驗得出。

2.2 冷源運行狀況

在設計階段，該數(shù)據(jù)中心冷卻系統(tǒng)運行模式的切換以冷卻水出水溫度為依據(jù)，主要為以下三種模式。（1）自然冷卻模式：當冷卻水出水溫度小于13.5℃時，采用冷卻塔和板式換熱器組成的自然冷源冷卻系統(tǒng)制冷方式；（2）聯(lián)合制冷模式：當冷卻水出水溫度介于13.5 到19.5℃之間時，采用自然冷源冷卻系統(tǒng)和冷水機組聯(lián)合制冷的方式；（3）完全制冷模式：當冷卻水出水溫度高于19.5℃，完全采用冷水機組制冷的方式。

調研結果表明，盡管冷卻系統(tǒng)具備冷卻塔和冷機同時制冷的能力，但在實際運行中并未合理利用這種聯(lián)合制冷的方式。根據(jù)以往運行數(shù)據(jù)可以看出該數(shù)據(jù)中心冷卻系統(tǒng)全年運行策略以冬季采用冷卻塔制冷的自然冷卻模式，其余時間段采用冷機制冷的完全制冷模式，而未實現(xiàn)過渡季節(jié)宜采用的聯(lián)合制冷模式，即過渡季節(jié)室外空氣中的“免費”冷量未得到充分利用，可以預見在冷卻系統(tǒng)運行狀況的切換策略上有一定的節(jié)能潛力。

對這一方面具體節(jié)能潛力的進一步探究，為切換策略的制定打下一定基礎，可以考慮以近年歷史氣象參數(shù)對當下運行狀況進行粗略預測。以2021年該地氣象數(shù)據(jù)為例，2021 年當?shù)刂饡r濕球溫度分布情況如表1 所示（其中，濕球溫度最大值25.11，最小值-5.31）。

表1 2021 年當?shù)貪袂驕囟确植记闆rTable 1 Wet-bulb temperature distribution in Ya'an in 2021

由于冷卻塔冷卻水的極限溫度為當?shù)禺敃r的濕球溫度，此處考慮工程上可以接受的換熱溫差，取3℃的逼近溫度。結合設計階段冷卻系統(tǒng)的調節(jié)依據(jù)，得各模式理論運行小時數(shù)。結合對2022 年冷源運行情況的調研結果，將其作為各模式實際運行小時數(shù)與理論值進行對比，如表2 所示。

表2 各制冷模式運行小時數(shù)對比Table 2 Comparison of operating hours in different cooling mode

由于日逐時氣象參數(shù)波動，系統(tǒng)可能在某些時段需要頻繁切換運行模式，故基于濕球溫度估計的理論運行小時數(shù)在實際工程中不可能完全實現(xiàn)。盡管如此，由過往歷史氣象參數(shù)預測的聯(lián)合制冷模式下的小時數(shù)仍可以達到103這一數(shù)量級。因此，對于單位時間能耗極高的數(shù)據(jù)中心而言，在冷源運行策略上存在較大的節(jié)能空間。

2.3 冷水機組運行策略

實地調研發(fā)現(xiàn)，該數(shù)據(jù)中心冷卻系統(tǒng)通常啟動一臺冷機制取冷量，當一臺冷機無法將冷凍水出水溫度降到設定值時再開啟第二臺；運行維護人員不定期檢查機組運行情況需要更換正在運行的機組，即冷卻系統(tǒng)機組運行臺數(shù)恒定一臺，三臺機組根據(jù)運維人員啟停要求接力制取冷量。圖4 中3 月14日、3 月15 日、3 月18 日、3 月24 日、3 月29 日、4 月14 日均為機組運行切換時間點，可以明確看到兩個機組運行切換時間點之間的區(qū)間冷負荷值在一定范圍內穩(wěn)定波動，但區(qū)間與區(qū)間之間存在較為明顯的負荷波動均值和波動幅度變化，說明每臺冷水機組的實際接力運行過程中的性能表現(xiàn)存在差異。該數(shù)據(jù)中心基本恒定出水溫度運行，未充分考慮離心式冷水機組部分負荷運行特性，造成冷水機組無法運行在高效區(qū)間。因此進一步保持每一臺冷水機組的運行參數(shù)在高效運行區(qū)間十分必要。冷水機組冷凍水溫度與負荷存在如圖4 所示明顯的負相關特性，即冷凍水出水溫度的升高可以減少一定機組的制冷量，在同樣滿足數(shù)據(jù)中心機房冷卻要求的情況下，達到一定的節(jié)能效果。

圖4 負荷與水溫變化情況Fig.4 Hourly load and chilled water outlet temperature variation

2.4 輸配系統(tǒng)控制策略

輸配系統(tǒng)可分為冷凍水側輸配系統(tǒng)和冷卻水側輸配系統(tǒng)。由于室內冷負荷需求相對穩(wěn)定，冷凍水側輸配系統(tǒng)全年能耗波動范圍不大；由于室外氣象參數(shù)全年波動較大，冷卻水側輸配系統(tǒng)全年能耗存在較大波動。全年冷卻塔耗電量占比僅為7.09%，一定程度上說明在包含冷卻塔提取室外自然冷量措施的冷卻系統(tǒng)運行策略上仍存在較大的節(jié)能空間。冷卻塔月用電量在冬季顯著上升，冬季完全使用冷卻塔提取自然冷量制冷的月份對應耗電量明顯相對較大，但幾乎全年冷卻泵的耗電量都穩(wěn)定，一定程度上說明冷卻泵的變頻運行沒有達到理想的效果。該數(shù)據(jù)中心冷卻泵的控制方式不明確。以冷卻塔、冷卻泵、主機的綜合能耗為模型的控制策略并未在運行數(shù)據(jù)中得以體現(xiàn)。冷卻塔、水泵的變頻控制多由該數(shù)據(jù)中心運維人員手動控制，輸配系統(tǒng)缺乏合理的變頻控制策略。

3 冷卻系統(tǒng)的調適

由于項目調適周期短，客觀條件等因素限制，此次調適工作更偏向于短期內的靜態(tài)調適，長遠的節(jié)能效益遠不如長期對系統(tǒng)運行進行的動態(tài)調適，但仍具有一定參考價值。考慮到短期的靜態(tài)調適的特性，針對2.1、2.3 的部分問題以及調適依據(jù)執(zhí)行了如下工作。

3.1 末端空調風水閥調節(jié)

機房專用末端空調可以通過設定回風溫度和風機頻率區(qū)間自動改變送風溫度實現(xiàn)調節(jié)冷、熱通道環(huán)境的目的。回風溫度傳感器與風機轉速和水閥開度聯(lián)動，不同的回風溫度設定值將導致風機轉速以及水閥開度發(fā)生變化，導致能耗波動。對于機房專用末端空調的調適內容為風、水閥開啟情況。調適對象為編號201、202 以及206 的數(shù)據(jù)機房，每個機房設有7 個末端設備，其中201 機房按需開啟5 臺，202 和206 機房按需開啟4 臺。

進行調適前后設備開啟臺數(shù)以及冷水機組供水溫度保持不變，各機房風機轉速比以及水閥開度情況對比如表3 所示。201 機房將風機轉速比與水閥開度升高至100%，其余兩個房間則做出不同程度的降低。此時空調制冷機組供回水溫度為13.5/18.7℃，冷卻水進出水溫度為25.9/30.7℃，負載率為79.8%。

表3 設備調適前后參數(shù)對比Table 3 Parameters before and after commissioning

調適前后各機房冷熱通道溫濕度對比如圖5、6 所示；機房專用末端空調能耗變化趨勢如圖7 所示；末端空調能耗變化值如表4 所示。其中，201機房內平均風機轉速比升高了10.9%，機房內空調末端能耗呈現(xiàn)升高的趨勢，從37.2kWh 增加至42.1kWh，增幅達13.2%。202 機房內平均風機轉速比降低了7%，能耗從39.52kWh 降低至37.07kWh，降幅為6.2%。206 機房內平均風機轉速比降低了40.9%，能耗從13.36kWh 降低至6.12kWh，降幅為54.2%。上述調適前后均滿足室內環(huán)境參數(shù)的運行要求。

表4 空調末端能耗對比Table 4 Energy consumption of air conditioning in DC rooms before and after commissioning

圖5 調適前后各機房冷通道溫濕度對比Fig.5 Temperature and humidity of the DC room before and after commissioning in cold channel

圖6 調適前后各機房熱通道溫濕度對比Fig.6 Temperature and humidity of the DC room before and after commissioning in hot channel

圖7 調適前后各機房能耗對比Fig.7 Energy consumption of the DC room before and after commissioning

3.2 冷凍水出水溫度調節(jié)

冷水機組與機房專用末端空調在冷卻系統(tǒng)中的出力存在一定權衡。在機房專用末端空調能耗較大時間段，可考慮適當降低冷凍水出水溫度達到降低冷卻系統(tǒng)總能耗的目的；而在機組能耗較大時間段，可考慮提高冷凍水出水溫度達到降低冷卻系統(tǒng)總能耗的目的。調適內容為冷凍水出水溫度，調適對象選擇編號為203、204、205 的數(shù)據(jù)機房。

進行調適前冷水機組供回水溫度分別為13.5℃和18.9℃，冷卻水進出水溫度分別為26.8℃和31.9℃，此時冷水機組負載率為81.4%，進行調適時保持空調末端設置等其余參數(shù)不變，僅將冷水機組出水溫度調整至14℃。待系統(tǒng)穩(wěn)定后冷水機組負荷率從81.4%降至78.7%，調適前后上述機房內冷熱通道熱濕環(huán)境變化如圖8，9 所示?？梢钥闯鰧⒗鋬鏊鏊疁囟忍岣?.5℃，各機房內冷熱通道溫度均有升高趨勢，增幅均在5%以內，對室內服務器正常運行基本不存在影響；同樣相對濕度也沒有較大的波動，且兩種參數(shù)均在設計參數(shù)范圍要求內變化。

圖8 調適前后各機房冷通道溫濕度對比Fig.8 Temperature and humidity of the DC room before and after commissioning in cold channel

圖9 調適前后機房熱通道溫濕度對比Fig.9 Temperature and humidity of the DC room before and after commissioning in hot channel

改變冷凍水出水溫度后，冷水機組內壓縮機出力情況也會相應改變，水溫調適時間在2022 年6月29 日21:00 時左右，而系統(tǒng)在2022 年6 月29日24:00 左右達到穩(wěn)定狀態(tài)，能耗變化如圖10 所示。選用2022 年6 月29 日0:00 至5:00 時以及2022年6 月30 日0:00 至5:00 時的能耗數(shù)據(jù)進行對比。在供水溫度為13.5℃時，冷水機組的小時平均能耗為477kWh，將供水溫度升高至14℃時，待穩(wěn)定后冷水機組平均小時能耗為471.6kWh，降低了5.4kWh 的節(jié)能量，實現(xiàn)了1.13%的節(jié)能率。適當升高冷凍水出水溫度可以降低空調系統(tǒng)能耗，同時又能保證服務器機房內冷熱通道環(huán)境維持在設計范圍內。一定程度上，上述調適結果說明了調適前該數(shù)據(jù)中心冷卻系統(tǒng)的運行能效低下，系統(tǒng)的收益出力比相對較低，存在一定優(yōu)化空間。

圖10 調適前后各機房能耗對比Fig.10 Energy consumption of the chiller before and after commissioning

4 總結

本文從四川省某數(shù)據(jù)中心實際工程項目出發(fā)，通過對冷卻系統(tǒng)各組成部分節(jié)能潛力的定性分析以及實地調研發(fā)現(xiàn)該數(shù)據(jù)中心冷卻系統(tǒng)存在一定節(jié)能潛力。根據(jù)項目實際情況對冷卻系統(tǒng)進行合理調適：通過調節(jié)機房末端空調風閥、水閥的開度百分比，在保證機房服務器安全高效運行的前提下實現(xiàn)4.79kWh 的節(jié)能量和5.32%的節(jié)能率；將冷凍水出水溫度提高0.5℃，同樣前提下實現(xiàn)了5.4kWh的節(jié)能量和1.13%的節(jié)能率。綜上，該數(shù)據(jù)中心設計階段所考慮的節(jié)能運行能力在實際運行過程中并未充分展現(xiàn)，原因在于冷卻系統(tǒng)的運行調節(jié)智能化程度不夠，大多取決于運維人員的決策。隨著技術發(fā)展，單個設備的節(jié)能性和智能化程度大幅提高，而由這些智能、高效設備簡單串并聯(lián)構成的冷卻系統(tǒng)的運行性能卻往往堪憂。因此對系統(tǒng)的調適需要專業(yè)人員因地制宜，在系統(tǒng)中最優(yōu)化單個設備的運行性能表現(xiàn)?？梢灶A見，該數(shù)據(jù)中心在不花費大量成本的情況下對本文提及的方面進行合理且專業(yè)的調適，可以帶來較大的社會效益和經濟效益。