□ 文 齊曙光 王長山 李 尚

1、引言

隨著移動互聯(lián)網(wǎng)、大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)等新興技術的興起，全球數(shù)據(jù)中心數(shù)量持續(xù)增長，并呈現(xiàn)出高功率密度和高能耗的發(fā)展趨勢。近年來，我國超大型數(shù)據(jù)中心的建設速度也逐漸加快，部署機架數(shù)量大幅增長。為了縮短數(shù)據(jù)中心建設周期，減少初期投入成本，數(shù)據(jù)中心微模塊（以下簡稱微模塊）成為了互聯(lián)網(wǎng)行業(yè)、通信行業(yè)及其他行業(yè)的數(shù)據(jù)中心的最佳選擇。與此同時，隨著5G和工業(yè)互聯(lián)網(wǎng)等實際應用規(guī)模不斷擴大，邊緣數(shù)據(jù)中心和小型數(shù)據(jù)中心的數(shù)量呈現(xiàn)出倍增的趨勢。而在上述邊緣數(shù)據(jù)中心和小型數(shù)據(jù)中心中，微模塊也成為了標準化、綠色化建設的不可缺少的組成部分。

2、數(shù)據(jù)中心微模塊概念

基于行業(yè)訴求，目前國內(nèi)各大供應商均在著手研發(fā)數(shù)據(jù)中心微模塊。它雖然是小型的機房，但隨著其標準化步伐的加快，目前已成為了新型產(chǎn)品。那么，什么是微模塊產(chǎn)品？該產(chǎn)品不同于傳統(tǒng)意義上的產(chǎn)品，它選擇性地包含了數(shù)據(jù)中心的供配電設備、制冷設備、監(jiān)控部分、儲能設備等機房內(nèi)的各類基礎設施。在行業(yè)標準YD/T 3004-2016《模塊化通信機房技術要求》標準中定義通信機房（含數(shù)據(jù)中心）微模塊是指由機柜系統(tǒng)、配電系統(tǒng)、監(jiān)控系統(tǒng)、供電系統(tǒng)（可選）、制冷末端（可選）、綜合布線系統(tǒng)、安防系統(tǒng)等組成的具有標準的功能定義和輸入輸出接口，能夠完成單項或多項業(yè)務的功能單元。從該定義中，可以看出微模塊是一個完成多項業(yè)務的功能單元，其構成較為復雜。在行業(yè)標準YD/T3290-2017《一體化微型模塊化數(shù)據(jù)中心技術要求》中定義的微模塊是由一定數(shù)量的兩列背對背或面對面的IT機柜以及不間斷電源、近端冷卻設備等通過封閉通道而形成的小型機柜集群。通過封閉兩列IT機柜間的冷或熱通道，形成與大機房和其他集群相對隔離的物理環(huán)境。根據(jù)機柜內(nèi)設備情況設計獨立的電氣、制冷、安防、監(jiān)控、布線甚至消防系統(tǒng)，用戶僅需要提供外部市電、網(wǎng)絡和必要的冷源即可使數(shù)據(jù)中心投入運營。微模塊內(nèi)各子系統(tǒng)、組件均可在工廠進行預制、調(diào)試，現(xiàn)場快速組裝后即可投入使用。多個微模塊之間極少或者沒有物理關聯(lián)，用戶可按需建設，實現(xiàn)將一個大規(guī)模數(shù)據(jù)中心模塊化分步部署。此描述較清晰具體，并對提前預制、調(diào)試等情況均提出了要求。

為了便于讀者理解，微模塊如圖1所示。

圖中的虛線部分可依據(jù)數(shù)據(jù)中心規(guī)模和微模塊的具體部署而靈活配置。例如，很多大型數(shù)據(jù)中心基礎設施中會具有高壓機組、高壓配電及變壓器等設備，而小型數(shù)據(jù)中心中很可能會不包含此部分。另外，微模塊中的空調(diào)末端設備，可以采用列間空調(diào)，根據(jù)冷量需要布置于服務器機柜中間采用水平送風；也可以采用傳統(tǒng)機房專用空調(diào)，布置于列的兩端采用下送風方式進行制冷。

3、數(shù)據(jù)中心微模塊測試技術

微模塊作為一個產(chǎn)品，可以從其整體、電氣子系統(tǒng)、制冷子系統(tǒng)、監(jiān)控子系統(tǒng)、通道組件和安全性能等幾大部分進行測試驗證，若詳細進行驗證參數(shù)有數(shù)十余條。由于篇幅有限，微模塊重要參數(shù)的測試方法及具體案例簡要分析如下：

3.1 整體性能測試技術

在整體性能中包括了輸入特性、能效PUE、溫度場均勻性等參數(shù)。

（1）輸入電壓與頻率范圍測試

圖1 微模塊示意圖

若將微模塊當作黑盒來看，其在一定輸入電壓范圍及輸入頻率范圍之內(nèi)應正常工作。對于配備交流UPS或高壓直流模塊的微模塊，在上述電源設備以額定負荷運行的條件下，使用凈化電源等輸入電源設備調(diào)節(jié)其電壓至被測模塊所允許的電壓上限值和下限值，檢查在此范圍之內(nèi)微模塊內(nèi)的ICT設備或模擬負載是否能夠正常穩(wěn)定運行。頻率范圍測試方法與電壓范圍測試方法非常類似，調(diào)節(jié)凈化電源頻率參數(shù)即可。對于供電設備在微模塊外部的情況，即微模塊內(nèi)部只包含配電設備，同樣調(diào)節(jié)輸入?yún)?shù)，檢查包括ICT在內(nèi)的微模塊各設備是否能夠運行正常。

（2）能效（PUE）測試方法

微模塊的PUE測試方法較其他參數(shù)測試復雜，對于采用風冷空調(diào)系統(tǒng)的微模塊該參數(shù)的測試涉及負載率的變化以及室外溫度的變化。由于負載變化直接影響微模塊內(nèi)的電源及配電產(chǎn)品效率，而室外環(huán)境溫度的變化直接影響到空調(diào)系統(tǒng)的能效，因此，嚴格意義上該參數(shù)只能在焓差實驗室內(nèi)進行測試，并且應具備可調(diào)負載，均勻分布在微模塊里ICT機架內(nèi)。按照筆者經(jīng)驗，宜采用25%、50%、75%和100%負載率和室外環(huán)境溫度-5℃、10℃、15℃、25℃和35℃的不同組合進行測試。具體試驗過程為：在輸入條件為額定電壓條件下，連接好負載（即將模擬負載插入IT機柜內(nèi)），并在模擬負載的適當位置布置溫度傳感器。溫度傳感器應均勻布置在每個機柜上中下或者上下位置。但必須注意的是，盡量在具體運行的設備進風口處或者模擬負載處進行測試才具有溫度的代表性。針對某樣品進行PUE測試的圖如圖2-1至圖2-4所示。該微模塊通過實時監(jiān)測負荷狀態(tài)，動態(tài)調(diào)整供電系統(tǒng)的工作模式（如開啟休眠功能）以及制冷系統(tǒng)的工作模式（如開啟輪巡工作），達到數(shù)據(jù)中心整體能效優(yōu)化和總體能耗降低的目標。試驗案例中對動態(tài)節(jié)能PUE參數(shù)和關閉節(jié)能模式時的傳統(tǒng)PUE參數(shù)進行了比較，由試驗結果圖看出，在不同的負載率下節(jié)能效果均明顯。

值得注意的是，若無焓差實驗室的條件，只能在現(xiàn)場測試時，應重點考慮室外環(huán)境溫度的變化情況是否滿足驗證的要求。同時，對于水冷空調(diào)系統(tǒng)，要檢查室外冷源部分是否由單獨的配電柜進行供電，從而直接能夠測量室外冷源部分的能耗。若在大型數(shù)據(jù)中心等室外冷源部分是集中配置冷水機組和水泵時，無法直接測試微模塊所對應的室外冷源功耗，測試結果中應寫明測試條件。

（3）溫度場均勻性測試

溫度場均勻性對ICT設備的穩(wěn)定運行有著非常重要的作用，是安全、穩(wěn)定、可靠運行的重要保障。微模塊內(nèi)的溫度場均勻性測試計算方式有兩種。第一種方法為依據(jù)所有傳感器的溫度數(shù)值計算出平均值T，再找出溫度最大值和最小值，依據(jù)如下公式計算出溫度場均勻度(μ1～μ2)。

式中Ta為溫度最高值，Tb為溫度最低值；

另一種計算方法為首先測得每個機柜的進風溫度的平均值T1、T2……Tn。再套用公式（1）得出溫度場的均勻度。其中T的計算方法如下。

圖2-1 25%負載率下不同室外環(huán)境溫度PUE值

圖2-2 50%負載率下不同室外環(huán)境溫度PUE值

圖2-3 75%負載率下不同室外環(huán)境溫度PUE值

圖2-4 100%負載率下不同室外環(huán)境溫度PUE值

上述兩種方法對比而言，第一種方法計算出的均勻性會差，因為整個溫度場中的最高溫度和最低溫度的相差會大。而第二種方法在每個機柜處都已經(jīng)計算出了機柜進風口的平均溫度，所以套用同樣的公式（1）時，得到的均勻性數(shù)據(jù)范圍會小很多。

3.2 供電子系統(tǒng)測試

（1）供電架構檢查

微模塊各回路供電應考慮冗余，可采用1+1冗余或N+1冗余方式。依據(jù)保障等級可選擇空調(diào)系統(tǒng)是否由交流UPS或高壓直流供電。檢查供電架構和回路結構時測試人員應從供電接口輸入端開始把相關回路走線檢查到末端，清晰辨認回路的總體鋪設情況以及冗余情況，同時檢查線纜標識是否準確無誤，是否清晰可見。

（2）電池后備保障時間測試

首先使被測微模塊以設計的額定功率運行。應注意此功率不是微模塊內(nèi)電源系統(tǒng)的額定容量，也不是機架額定容量的總和。由于考慮到冗余，不會把所有機架都按照額定容量插滿負載，因此驗證微模塊正常工作時的最大容量（即設計額定容量）進行放電時，測試后備電池所能支撐的時間。電池截止電壓應依據(jù)相關電池的行業(yè)標準截止電壓進行。按照筆者測試經(jīng)驗，考慮到數(shù)據(jù)中心的安全性保障，配備的蓄電池容量應能夠維持產(chǎn)品以滿功率運行不少于15分鐘。

（3）電池管理功能測試

微模塊的供電子系統(tǒng)對電池組良好的管理功能對后備電池的使用壽命具有非常大的影響。因此管理系統(tǒng)應具備電池單體電壓、內(nèi)阻、極柱溫度、電流、SOC/SOH監(jiān)測功能以及蓄電池均充充電及浮充充電狀態(tài)進行手動或自動轉換功能。對蓄電池進行充電時，蓄電池管理部分應能限流充電，并且限流值能根據(jù)需要進行調(diào)整。此外，管理部分也應能根據(jù)蓄電池環(huán)境溫度，對系統(tǒng)的輸出電壓進行溫度補償或保護。

3.3 空調(diào)子系統(tǒng)測試

對于空調(diào)系統(tǒng)，首先檢查是否具有空調(diào)排水故障檢測和溢水停機保護兩級告警功能，是否具備冷媒泄露檢測，并且是否在管理系統(tǒng)上顯示相關的告警信息。對具有節(jié)能功能的空調(diào)系統(tǒng)，應驗證其空調(diào)系統(tǒng)的休眠和輪巡功能。具體方法是，調(diào)整模塊內(nèi)IT負荷的負載率至50%以下，檢查空調(diào)機組是否部分進入休眠狀態(tài)，驗證其是否具備自動輪巡和手動輪巡功能。關閉其中一臺或幾臺空調(diào)，模擬空調(diào)機組故障，檢查休眠空調(diào)設備是否能夠自動啟動。此外，模擬微模塊內(nèi)部出現(xiàn)高溫故障，檢查備機是否自動進入運行狀態(tài)，并測試上述狀態(tài)下，整個溫度場的均勻度是否滿足相關要求。

3.4 監(jiān)控子系統(tǒng)測試

就目前的監(jiān)控管理系統(tǒng)總體水平而言，大部分微模塊具備了整體布局、各鏈路和部分（具體包括供電鏈路、制冷鏈路、冷量視圖、溫度云圖等）顯示功能，能耗管理功能、資產(chǎn)管理功能等。也可依據(jù)客戶不同需求，設置更多的可視化的和支持各類終端接入的功能。測試人員應逐一檢查相關的鏈路和顯示是否與微模塊實際配置保持一致。同時，采用高精度的儀表對電壓、電流等參數(shù)進行測量，并檢驗監(jiān)控系統(tǒng)所采集數(shù)據(jù)的相對誤差是否符合要求。

此外，告警與保護是監(jiān)控系統(tǒng)保障整個微模塊安全可靠運行的重要部分。在發(fā)生開關斷開、輸入過/欠壓、機柜過載，局部過溫、有煙霧、水浸和濕度過高等異常情況時，模塊應能夠產(chǎn)生相應的告警，并作出對應的保護動作。檢測人員應通過人工手段逐一模擬上述各類異常情況并檢查驗證是否產(chǎn)生了相應告警信息和保護動作。此外，隨著數(shù)據(jù)中心基礎設施與新興ICT技術的深度融合，目前，較先進的微模塊也具備了基于人工智能技術的根源告警自動定位功能。通過智能化的手段，能夠準確定位故障源并呈現(xiàn)給維護人員，將根源告警衍生出來的其他告警信息隱藏在下級目錄中，從而讓維護人員第一時間處理根源故障，大大節(jié)省故障定位時間，保障數(shù)據(jù)中心安全穩(wěn)定運行。

3.5 安全性能測試技術

（1）消防安全功能測試

首先應檢查系統(tǒng)的天窗控制器設備是否正常接入，且外部消防信號聯(lián)動、內(nèi)部煙感聯(lián)動、遠程控制開窗、空調(diào)故障聯(lián)動功能是否均正常。在此基礎上，觸發(fā)告警信號，檢查天窗是否自動打開以及啟動滅火功能。

（2）承壓測試

承壓測試的目的是檢查在發(fā)生火災等情況下消防柜進行噴射時微模塊是否發(fā)生任何異常。測試時首先關閉微模塊門窗、洞口等，并采用手動啟動滅火控制模式，通過控制器使消防設備柜同時進行噴放，此時檢查消防聯(lián)動是否關閉了通風系統(tǒng)并打開頂上翻轉天窗。消防柜噴放后，檢查微模塊外殼是否有變形、損壞，泄壓閥是否自動開啟，通風系統(tǒng)是否自動開啟等。

（3）接地性能測試

微模塊內(nèi)的電源設備、配電設備和空調(diào)設備等均需要保證接地良好，因此微模塊內(nèi)部具有較多的接地端子。該測試中的接地性能指的是微模塊作為一個整體，是否具備完善的接地系統(tǒng)，檢查接地排布置是否合理，是否形成閉合環(huán)接地匯流母排，并測量微模塊平臺總接地點對地的接地電阻值。

（4）防護等級測試

該測試主要是在實驗室條件下進行防護等級試驗，可依據(jù)GB 4208中規(guī)定的相關IP等級進行測試，具體見表1、表2和表3所示，本文不做贅述。

4、總結

本文重點解析數(shù)據(jù)中心微模塊的測試方法，包括整體測試方法以及各子系統(tǒng)的測試方法和安全性能測試方法，希望對相關研發(fā)技術人員、標準化研究人員以及相關的運維人員提供支撐和幫助。■

表1 第一位特征字所表示的防護等級試驗方法

表2 防止固體異物進入的試驗方法

表3 防水試驗方法和主要試驗條件