(天津商業(yè)大學(xué) 天津市制冷技術(shù)重點實驗室 天津 300134)

隨著互聯(lián)網(wǎng)及電子計算機產(chǎn)業(yè)的飛速發(fā)展，數(shù)據(jù)中心朝著大型化集中化建設(shè)。受土地成本影響，服務(wù)器集成度越來越高。服務(wù)器按照其外形及應(yīng)用環(huán)境一般可分為塔式、機架式和刀片式。塔式服務(wù)器外形及結(jié)構(gòu)與平時使用的立式PC類似，其機箱較大，占用空間多。機架式服務(wù)器外觀按照統(tǒng)一標(biāo)準設(shè)計，配合機柜統(tǒng)一使用，寬度為482.6 mm,高度以U為單位(1 U=44.45 mm)，通常有1、2、3、4、5、7 U幾種標(biāo)準，但擴展性和散熱問題受限制。刀片式服務(wù)器專門為高密度計算機環(huán)境設(shè)計，每一塊“刀片”即一塊系統(tǒng)主板，集成度更高，比機架式服務(wù)器更節(jié)省空間，但散熱問題也更突出。目前數(shù)據(jù)中心中常用的是機架式和刀片式服務(wù)器。服務(wù)器最常用的散熱方式為風(fēng)冷散熱，最常用的芯片散熱器為翅片式。其基本工作原理是散熱器底板吸收CPU產(chǎn)熱，熱量傳導(dǎo)至散熱器翅片，再通過風(fēng)扇轉(zhuǎn)動強制對流散熱。由于強制對流受高流速噪聲和振動問題的限制，在面對高熱流密度器件時，液冷散熱取代風(fēng)冷具有很好的研究前景[1]。在服務(wù)器層面解決散熱問題，可使今后數(shù)據(jù)中心進行任意的擴大或改建工程而不考慮機房現(xiàn)有的散熱系統(tǒng)改造問題，數(shù)據(jù)中心的建設(shè)將更加靈活。

目前國內(nèi)外很多專家學(xué)者對數(shù)據(jù)中心服務(wù)器散熱方面進行了研究。尹秀忠[2]設(shè)計了一款刀片式服務(wù)器，并通過仿真模擬進行結(jié)構(gòu)與散熱的優(yōu)化，服務(wù)器采用風(fēng)冷強制對流實現(xiàn)散熱，CPU散熱器采用銅制翅片散熱器+熱管的設(shè)計。黃高凡[3]針對一款刀片式服務(wù)器散熱方式進行優(yōu)化設(shè)計，認為要根據(jù)實際情況建立散熱模型，優(yōu)化提高散熱效率，實現(xiàn)均勻散熱。何凌川等[4]以某機架式服務(wù)器為研究對象，建立數(shù)學(xué)模型并進行仿真計算，采用基于實驗設(shè)計的循序優(yōu)化法和響應(yīng)優(yōu)化法分別對芯片布局和散熱器結(jié)構(gòu)進行優(yōu)化設(shè)計。R. Lucchese等[5]就最小冷卻成本問題設(shè)計了新型面向控制的、非線性的、對于空氣流動可明確計算的刀片式服務(wù)器熱模型，基于CFD技術(shù)由m個風(fēng)扇和n個電子元件的熱網(wǎng)格幾何結(jié)構(gòu)，并進行了模型驗證。謝孟曉等[6]對3種不同功率的服務(wù)器在數(shù)據(jù)中心的選型應(yīng)用進行熱環(huán)境分析優(yōu)化，認為采用封閉冷通道、增加擋板和提高送風(fēng)溫度均能改善機房熱環(huán)境。陳煜等[7]在刀片式服務(wù)器機柜背部空間設(shè)計了冷卻系統(tǒng)，面對機房擴容，可保證每個刀片式服務(wù)器穩(wěn)定運行且不帶入額外熱負荷，滿足機房正常環(huán)境溫度，并模擬了制冷效果及對機房環(huán)境的影響。A. C. Kheiradadi等[8]對服務(wù)器電子工業(yè)領(lǐng)域的集中冷卻方式進行了對比，包括風(fēng)冷、單相和兩相間接液冷、熱管、池沸騰、噴射冷卻及射流沖擊等。直接對比服務(wù)器熱負荷表明在高性能計算機中采用液冷很有必要。B. Fakhinm等[9]認為數(shù)據(jù)中心能源消耗過高主要是由于局部冷卻不足和服務(wù)器機架布局過于密集。研究了一個業(yè)務(wù)數(shù)據(jù)中心，進行溫度現(xiàn)場測量，模擬分析了流場和溫度場，找出熱點并提出提高冷卻效率的解決方案。M. J. Ellsworth等[10]從設(shè)備級層面將超級計算機風(fēng)/液混合冷卻與傳統(tǒng)風(fēng)冷冷水機組和機房空調(diào)系統(tǒng)進行對比，同時預(yù)測了在高性能服務(wù)器熱管理中使用水冷卻與風(fēng)冷卻的節(jié)能效益。

這些學(xué)者研究了數(shù)據(jù)中心服務(wù)器的散熱問題，但都是在數(shù)據(jù)機房層面或僅就現(xiàn)有的傳統(tǒng)風(fēng)冷散熱模式進行優(yōu)化分析，未在刀片式服務(wù)器層面對比液冷與傳統(tǒng)風(fēng)冷散熱方式，構(gòu)思新型服務(wù)器級別的散熱模式。本文以數(shù)據(jù)中心刀片式服務(wù)器為研究對象，構(gòu)建了服務(wù)器模型，分析了翅片散熱器參數(shù)對散熱效果的影響，得出最優(yōu)散熱器參數(shù)及散熱效果，并與水冷式模型進行對比，得出水冷散熱對高功率芯片散熱的巨大優(yōu)勢。通過對比水冷芯片、風(fēng)冷內(nèi)存裝置的冷卻方式與單純的水冷芯片，得出混合冷卻方式最適用于目前的刀片式服務(wù)器冷卻。

1 刀片服務(wù)器物理模型

本文應(yīng)用6SigmaET進行建模研究，刀片式服務(wù)器模型如圖1所示。風(fēng)冷和水冷模型基本一致，芯片散熱器部分風(fēng)冷模型采用翅片散熱器，水冷模型采用冷水板。水冷模型與混合冷卻模型基本一致，混合冷卻模型保證服務(wù)器內(nèi)有強制空氣對流。前后壁面開孔便于空氣流動，為模擬真實服務(wù)器，將開孔率設(shè)置為65%。環(huán)境溫度設(shè)為20 ℃。

圖1 刀片式服務(wù)器模型Fig.1 Model of blade server

刀片式服務(wù)器位于機殼內(nèi)，在服務(wù)器外側(cè)建立風(fēng)洞，風(fēng)洞設(shè)置風(fēng)速條件來模擬風(fēng)扇供應(yīng)冷卻氣流。在芯片上初始建立散熱器，芯片與散熱器間由熱阻為0.02 ℃/W的凝膠填充，散熱器采用銅材，基本參數(shù)如表1所示。通過軟件自動劃分網(wǎng)格，為了提高運算精度，應(yīng)用混合網(wǎng)格，并對芯片和散熱器部分采用局部網(wǎng)格控制進行網(wǎng)格加密。

表1 刀片式服務(wù)器基本參數(shù)Tab.1 Basic parameters of blade server

2 刀片服務(wù)器冷卻性能分析

2.1 風(fēng)冷散熱器

為了體現(xiàn)一般性，風(fēng)冷模型采用最常見的翅片式散熱器。增大風(fēng)速，可以增強對流換熱，使芯片溫度降低，但僅靠加大風(fēng)速，芯片溫度的下降幅度有限[11]。在芯片功率為50 W時，芯片溫度(下文中芯片溫度均指平均溫度)隨風(fēng)速的變化如圖2所示。

圖2 風(fēng)速與芯片溫度分布Fig.2 Wind speed and chip temperature distribution

在風(fēng)速增加的初始階段，溫度隨風(fēng)速的增大而降低，但當(dāng)風(fēng)速提升至9 m/s(芯片溫度40.9 ℃)后，芯片溫度的下降趨勢變緩(與風(fēng)速8 m/s相比溫度下降<1 ℃)。風(fēng)速達到12 m/s后芯片溫度幾乎不變，且通風(fēng)口出口溫度幾乎與環(huán)境溫度相同，可見繼續(xù)增大風(fēng)速并不能使芯片溫度得到明顯下降，該方式可以降至的最低溫度為38.1 ℃。此外，風(fēng)速過大時，風(fēng)扇噪音與功耗問題也凸顯出來。選風(fēng)速9 m/s為最佳，對服務(wù)器內(nèi)部熱點溫度進一步分析。

圖3所示為芯片底部高1 mm處的截面溫度分布，可知芯片部分溫度約為42 ℃，硬盤和內(nèi)存的測點溫度僅為23.7 ℃和24 ℃。此時刀片式服務(wù)器的熱點主要在芯片部分，因此風(fēng)冷重點在于對芯片的有效散熱，進一步降低芯片溫度，需要對散熱器結(jié)構(gòu)進行優(yōu)化設(shè)計。

圖3 風(fēng)冷散熱器結(jié)構(gòu)優(yōu)化前溫度截面(風(fēng)速為9 m/s)Fig.3 Temperature cross section before structural optimization of air-cooled heat sink (9 m/s wind speed)

史忠山等[12]對基板水平放置和豎直放置兩種板肋熱沉進行數(shù)值模擬和結(jié)構(gòu)優(yōu)化，得出熱沉熱阻受肋厚、肋間隙、肋高等參數(shù)的影響。固定芯片功率為50 W，風(fēng)速為9 m/s，在25～30 mm不同翅片高度下，對散熱器翅片厚度和齒數(shù)同時進行優(yōu)化。

翅片散熱器的肋效率可由式(1)計算：

(1)

由式(1)可知，翅片厚度與翅片高度均影響翅片的散熱效率，且翅片齒數(shù)決定了翅片間距，也會影響翅片散熱器的散熱效果，故會存在一個最佳參數(shù)組使散熱效果最好。

圖4所示為翅高為30 mm芯片溫度隨翅片厚度和齒數(shù)的變化。由圖4可知，固定翅片高度，改變翅片散熱器的翅厚、齒數(shù)，可以優(yōu)化散熱效果，降低芯片溫度。且在相同的最低溫度或很小的溫度波動范圍(差距在0.5 ℃以內(nèi))內(nèi)有多組參數(shù)滿足。

圖4 翅高為30 mm芯片溫度隨翅片厚度和齒數(shù)的變化Fig.4 The change of chip temperature with fin thickness and tooth number of 30 mm wing height

散熱器在不同翅厚、翅高下最低芯片溫度與最優(yōu)齒數(shù)變化如圖5所示。由圖5(a)結(jié)構(gòu)參數(shù)優(yōu)化匹配規(guī)律可得：翅高不變時，在不同的翅厚下有不同的最優(yōu)齒數(shù)，且最優(yōu)齒數(shù)隨翅厚的增加而減小。在0.3 mm翅厚下對應(yīng)的最優(yōu)齒數(shù)為36；在1 mm翅厚下對應(yīng)的最優(yōu)齒數(shù)為18。相同翅厚下，不同翅高下最優(yōu)齒數(shù)基本相同。因此，在進行散熱器結(jié)構(gòu)優(yōu)化時，應(yīng)主要優(yōu)化翅厚與齒數(shù)間，翅高的影響較小。

圖5(b)所示為不同齒數(shù)下最低芯片溫度的變化，分析可知：不同翅高下對應(yīng)的最優(yōu)齒數(shù)不同，這是由于翅片散熱器受多個參數(shù)影響，如式(1)所示。最低芯片溫度隨翅厚的減小而降低，不同翅高下均在0.3 mm翅厚取得最低芯片溫度，但由于散熱器翅厚越小，加工難度越大，故實際翅厚要看具體要求。翅高越大，芯片的最低溫度越低。在低翅厚下翅高的影響很小，翅高超過29 mm后幾乎不變；翅厚越大，不同翅高下芯片的最低溫度差距越明顯。

圖5 不同翅厚下最優(yōu)齒數(shù)與芯片溫度Fig.5 Optimum tooth number and chip temperature under different wing thickness

綜上所述，通過優(yōu)化翅片式散熱器的結(jié)構(gòu)可使芯片溫度降低，最低芯片溫度為39.2 ℃。風(fēng)速為9 m/s時，翅高29 mm，翅厚0.3 mm，齒數(shù)36處可達到該最低溫度，下文選取該組參數(shù)作為模型進行對比分析。

2.2 水冷服務(wù)器

風(fēng)冷散熱時優(yōu)化散熱器結(jié)構(gòu)，芯片溫度會降低，但效果并不明顯。唐玉兔等[13]采用FLUENT軟件對比研究了流量、管材和底板厚度對IGBT芯片最高溫度的影響，并提出單根管路改為雙根管路的優(yōu)化方案。賀榮等[14]對水冷板式散熱器進行了理論計算，利用Fluent軟件模擬了散熱器的散熱過程并進行了實驗研究，說明模擬方法能真實反映水冷散熱器內(nèi)部復(fù)雜流動，為散熱器的設(shè)計和改進提供理論依據(jù)。在相同的刀片式服務(wù)器上，替換翅片散熱器為水冷板。目前水冷散熱器型式多樣，本文采用實際中最普通、工藝最簡單的“U”型水冷板，如圖1(b)所示。在水管進出口分別設(shè)置虛擬的水泵來模擬進出口水的流動，入口水溫設(shè)置為與環(huán)境溫度相同的20 ℃。風(fēng)洞的風(fēng)速設(shè)置為0 m/s，水流量變化范圍為1～80 mL。

圖6所示為芯片溫度隨水流量的變化，芯片溫度隨流量的增大而降低。在流量增加的初始階段，降低效果明顯；當(dāng)流量增至50 mL/s后，芯片溫度的變化較為平緩，且回水溫度幾乎與進水溫度相同，由Q=cρtΔTq可知，繼續(xù)增大流量，散熱效果并不會再有大的提升，且流量的增大伴隨著泵功的提升。當(dāng)流量增至80 mL/s時，芯片溫度為30.1 ℃。下文選取50 mL/s流量為研究對象。

圖6 芯片溫度隨水流量的變化Fig.6 Chip temperature varies with water flow

圖7所示為水冷服務(wù)器截面溫度分布圖。由圖7可知，刀片式服務(wù)器芯片采用冷板散熱雖然芯片的熱量可以被水帶走，但內(nèi)存條及存儲單元的溫度會很高，完全超出正常工作溫度范圍，而對于這些熱流密度較小且因結(jié)構(gòu)設(shè)計并不利于布置水冷散熱裝置的單元而言，采用水冷易造成工藝過于復(fù)雜，成本過高等。故對于這些單元仍考慮采用風(fēng)冷較為合適。

圖7 水冷芯片服務(wù)器溫度截面Fig.7 Temperature cross section of water cooling chip server

2.3 混合冷卻服務(wù)器

圖8所示為混合冷卻服務(wù)器截面溫度分布。由圖8可知，增加水冷散熱服務(wù)器風(fēng)洞3 m/s的風(fēng)速，此時，芯片溫度為30.9 ℃，而內(nèi)存與存儲單元的溫度分別為27.4 ℃和28.3 ℃，服務(wù)器溫度分布均勻，各元件溫度較低且相差很小，刀片式服務(wù)器的所有元件均能被很好的散熱。

圖8 混合冷卻服務(wù)器溫度截面Fig.8 Temperature cross section of mixing cooling server

2.4 性能對比分析

對比分析風(fēng)冷散熱刀片式服務(wù)器與水冷散熱刀片式服務(wù)器溫度分布，可以看出就刀片式服務(wù)器而言，風(fēng)冷散熱服務(wù)器溫度最高的部位在芯片部分，芯片溫度明顯高于水冷和混合冷卻式，且截面溫度分布不均衡；水冷散熱雖然芯片溫度較低，但存儲單元與內(nèi)存單元若不單獨考量，散熱出現(xiàn)問題；混合冷卻式服務(wù)器不僅芯片溫度更低，且各熱源溫度接近，整個服務(wù)器內(nèi)部溫度分布均勻。

風(fēng)冷散熱時風(fēng)速為9 m/s，混合冷卻時風(fēng)速可降為3 m/s，但增加了提供50 mL/s水流量的泵功。目前，DC30A-1215系列循環(huán)水泵提供該流量功耗約為2 W，與常用電腦CPU機箱風(fēng)扇功率相當(dāng)，故在功耗層面采用混合冷卻并未增加，卻大大降低了刀片式服務(wù)器內(nèi)部風(fēng)速，在實際應(yīng)用中，機柜的風(fēng)扇完全可以滿足該風(fēng)速，刀片式服務(wù)器甚至不在需要設(shè)計單獨的風(fēng)扇，使刀片式服務(wù)器的應(yīng)用更加靈活。

由傳熱學(xué)可知，熱流密度與芯片溫度成正比[15]。改變模擬芯片的功率，得到不同功率下3種冷卻方式芯片溫度的變化，如圖9所示。由圖9可知，芯片溫度與芯片功率近似為線性關(guān)系，在相同芯片功率下采用冷板散熱的芯片溫度始終低于風(fēng)冷散熱器散熱的芯片溫度，且隨著芯片功率的增加，這一差距變得越來越大，可知對于芯片散熱水冷散熱的散熱效果明顯優(yōu)于風(fēng)冷散熱，且對于高熱流密度這一優(yōu)勢將更加顯著。改變?yōu)榛旌侠鋮s后，芯片溫度也會受空氣強制對流影響而降低。

圖9 不同功率下3種冷卻方式芯片溫度的變化Fig.9 Temperature change of chip under different power by three cooling methods

3 結(jié)論

本文通過數(shù)值仿真的方法，構(gòu)建了刀片式服務(wù)器模型，研究了服務(wù)器風(fēng)冷散熱與水冷散熱，通過散熱效果的對比，得出如下結(jié)論：

1)刀片式服務(wù)器的“熱點”集中在芯片部分，風(fēng)冷散熱時芯片溫度隨風(fēng)速的增大而降低，但達到一定風(fēng)速后，降低幅度有限，應(yīng)重點改變散熱器結(jié)構(gòu)與散熱方式。

2)翅片式散熱器存在最優(yōu)的翅高、翅厚與齒數(shù)的配比。本設(shè)計模型在9 m/s風(fēng)速下，通過結(jié)構(gòu)優(yōu)化可使服務(wù)器芯片溫度從40.9 ℃降至最低為39.2 ℃。

3)冷水板散熱在流速為50 mL/s時可使功率為50 W的芯片溫度降至31.5 ℃。當(dāng)流量增至80 mL/s時，溫度降至30.1 ℃，明顯優(yōu)于風(fēng)冷散熱風(fēng)速13 m/s時所能達到的最低溫度38.1 ℃。對于芯片散熱，芯片功率越高，水冷散熱比風(fēng)冷散熱的效果越顯著。

4)采用混合冷卻(水冷與風(fēng)冷散熱)方式，使刀片式服務(wù)器的溫度分布均勻，散熱效果最優(yōu)越。

在刀片式服務(wù)器中，芯片的熱流密度較其他部件高。通過模擬對比3種冷卻方式，提出芯片采用水冷，其他部件采用風(fēng)冷的方式較為合理。且就設(shè)計結(jié)構(gòu)而言，除芯片外的其他部件，水冷散熱器不便于布置，風(fēng)冷更便于調(diào)控。