數(shù)據(jù)中心被動式散熱解決方案——通向綠色數(shù)據(jù)中心之路

文｜CPI公司亞太區(qū) 張 愚

1 前言

隨著新一代計算機設(shè)備的計算能力和功率能耗的大幅度提高，傳統(tǒng)數(shù)據(jù)中心如何增加每機柜的功率密度也變得越來越重要。Intel的研究表明，同樣的計算能力在2002年時需要25個機柜和128kW的能耗（5.1kW每機柜），到2008年時，只需一個機柜21kW的能耗（21kW每機柜）。 對比之下，我們節(jié)省了107kW的能耗，并且也大大節(jié)省了數(shù)據(jù)中心的物理大小和結(jié)構(gòu)。

這種大幅度的計算能力的提升得益于虛擬計算、內(nèi)存系統(tǒng)、多核CPU系統(tǒng)、CPU速度和GPGPU技術(shù)的飛速發(fā)展。虛擬計算大大提高了服務(wù)器的使用效率，從而增加了單個機柜的發(fā)熱密度。隨著內(nèi)存容量和速度的飛速發(fā)展，最新的DRAM技術(shù)使得內(nèi)存的發(fā)熱量也大大的提升。工程和科學(xué)研究等應(yīng)用大量使用圖形浮點運算，GPGPU使得顯卡的發(fā)熱量從25W提高到300W以上。雖然服務(wù)器的功耗持續(xù)不斷的提高，但是性能和功耗比在不斷的下降。從以上的例子可以看出，數(shù)據(jù)中心空調(diào)系統(tǒng)能夠高效的對機柜進行冷卻，將大大降低數(shù)據(jù)中心的總能耗，在本質(zhì)上我們可以真正擁有一個綠色數(shù)據(jù)中心。

提高空調(diào)的制冷效率并節(jié)約能源只是數(shù)據(jù)中心管理的重要一部分，然而每機柜的熱密度不停的增加則帶給我們更多的挑戰(zhàn)。目前全球數(shù)據(jù)中心的每機柜的平均熱密度大概為6.5kW，但是ASHRAE2預(yù)測在2014年數(shù)據(jù)中心平均每機柜所需的制冷量為37kW，這種5倍的熱密度飛躍，需要我們對數(shù)據(jù)中心進行不斷的革新來解決。本文將對被動式散熱解決方案以及如何利用該技術(shù)實現(xiàn)綠色節(jié)能數(shù)據(jù)中心進行介紹。

2 數(shù)據(jù)中心散熱基礎(chǔ)

首先，我們將對數(shù)據(jù)中心散熱做一個基本的研究。IT設(shè)備散熱所需的風(fēng)量可用下列等式來表明：

其中：m3/H 為機柜中的設(shè)備散熱所需的風(fēng)量（立方米冷風(fēng)/每小時）；W=瓦特數(shù)（IT設(shè)備的功耗）；△T=IT設(shè)備的溫差（設(shè)備回風(fēng)溫度減去設(shè)備的進風(fēng)溫度）。

該等式表明了機柜的散熱能力和高架送風(fēng)地板的送風(fēng)能力有著密不可分的關(guān)系。由于高架送風(fēng)地板所送的冷風(fēng)風(fēng)量的不充足，使機柜上部的IT設(shè)備進風(fēng)風(fēng)扇所造成的負(fù)壓，會將機柜后部熱通道中的熱空氣抽入IT設(shè)備中，從而造成服務(wù)器過熱的問題。

研究表明，在一個設(shè)計不合理的數(shù)據(jù)中心內(nèi)，60%的空調(diào)機冷送風(fēng)由于氣流組織的不合理而被浪費。目前，傳統(tǒng)的開放式熱通道結(jié)構(gòu)數(shù)據(jù)中心面臨著兩大氣流管理難題：冷熱空氣相混合現(xiàn)象和空調(diào)冷送風(fēng)的浪費現(xiàn)象，這兩種現(xiàn)象大大降低了空調(diào)制冷的效率。其中，冷熱空氣相混合現(xiàn)象指的是由設(shè)備產(chǎn)生的熱空氣和空調(diào)機的冷送風(fēng)相混合，從而提高了設(shè)備的進風(fēng)溫度；空調(diào)冷送風(fēng)的浪費現(xiàn)象則是指空調(diào)機的冷送風(fēng)并未進入設(shè)備并對設(shè)備進行冷卻，而是直接回流到空調(diào)機的現(xiàn)象。冷熱空氣混合現(xiàn)象也是導(dǎo)致數(shù)據(jù)中心溫度不一致的主要原因，并且這種現(xiàn)象也大大降低了數(shù)據(jù)中心空調(diào)的制冷效率和制冷能力。如何解決這兩種現(xiàn)象，最簡單、有效的方法就是將冷熱空氣物理隔離開。

3 數(shù)據(jù)中心散熱管理基線——隔離冷熱空氣

Intel公司多年的研究和實驗表明，良好的氣流組織管理，能夠大大減少冷熱空氣相混合現(xiàn)象和空調(diào)冷送風(fēng)的浪費現(xiàn)象。Intel公司現(xiàn)在的數(shù)據(jù)中心的熱密度也從單個機柜310WPSF增加到781WPSF（每機柜15kW增加到40kW以上）。另外，Dell4和HP5的數(shù)據(jù)中心也正在使用冷池或熱池技術(shù)。本文將對這種被動型（通過物理手段，無任何有源設(shè)備）對數(shù)據(jù)中心進行散熱做出研究，并對可行的方案做出比較，從而找出最佳的數(shù)據(jù)中心散熱解決方案。

目前，主動性數(shù)據(jù)中心散熱也在行業(yè)內(nèi)普遍使用。但是其高昂的投資成本，復(fù)雜的安裝過程和維護等問題，我們將不在本文中討論。

圖1 標(biāo)準(zhǔn)熱池方案

4 數(shù)據(jù)中心散熱解決方案

4.1 方案1：冷池和熱池

熱通道封閉或熱池（HAC）是將熱通道密閉起來并通過回風(fēng)管將熱回風(fēng)傳回數(shù)據(jù)中心空調(diào)系統(tǒng)，如圖1所示。對比熱池，冷池（CAC）是將冷通道密閉起來。這兩種技術(shù)都將空調(diào)的冷送風(fēng)和熱回風(fēng)隔離開來，并使空調(diào)機回風(fēng)溫度提高以此來提高空調(diào)的制冷效率。這兩種方式的區(qū)別主要是可擴展性，散熱管理和工作環(huán)境的適宜性。

冷池的可擴展性主要是受地板下送風(fēng)和如何將地板下冷風(fēng)送入多個冷池的制約。目前業(yè)界對該技術(shù)有著很多的誤解，很多人認(rèn)為空調(diào)機的出風(fēng)量能滿足設(shè)備的散熱風(fēng)量即可。他們忽略了高架地板下冷送風(fēng)對于多個冷池的壓力影響和空間的限制。相反，熱池則是使用整個數(shù)據(jù)中心作為冷通道來解決這個問題，正因為這樣，擴大了冷通道的空間。這樣熱池相比于冷池有著更多的空調(diào)冗余性能，多出的熱通道空間將會在空調(diào)系統(tǒng)出現(xiàn)故障時，能夠給予更多的寶貴維修時間。而且隨著服務(wù)器設(shè)備的散熱能力的提高，服務(wù)器所需的散熱風(fēng)量將會大大的減少。現(xiàn)在很多服務(wù)器的熱風(fēng)出風(fēng)溫度可以達到55℃。冷池的未被隔離部分空間的溫度將會比傳統(tǒng)數(shù)據(jù)中心大大的提高，這將大大增加數(shù)據(jù)中心工作人員的舒適度和減少數(shù)據(jù)中心其他設(shè)備的使用壽命。綜上所述，雖然這兩種方法都可以提高每臺機柜的熱密度，但是當(dāng)合理使用熱池時，熱池的效率比冷池更加有效可靠。

通過以上的對比，我們可以發(fā)現(xiàn)熱池比冷池有著更多的優(yōu)點。另外在數(shù)據(jù)中心斷電的情況下，冷池數(shù)據(jù)中心的冷空氣只存在于高架地板下和密閉冷通道中，相反熱池數(shù)據(jù)中心中的冷空氣存在于高架地板下和房間內(nèi)的絕大多數(shù)地方，所以冷池數(shù)據(jù)中心的冷空氣體積遠(yuǎn)遠(yuǎn)小于熱空氣的體積。當(dāng)數(shù)據(jù)中心斷電或空調(diào)出現(xiàn)問題時，冷池數(shù)據(jù)中心在幾秒鐘可以喪失所有的IT設(shè)備。所以在有可能的情況下，我們應(yīng)該盡量采用熱池而不是冷池。使用部分密閉熱池或冷池的數(shù)據(jù)中心的熱點現(xiàn)象可能還會存在，其消防設(shè)施的位置也需要額外注意，但相比傳統(tǒng)數(shù)據(jù)中心則大大提高了每機柜的熱密度。但是，要到達2014年每機柜37kW的熱密度，這些是遠(yuǎn)遠(yuǎn)不夠的。

4.2 方案2：垂直排風(fēng)管機柜

除此之外，另一種方案是機柜級的冷熱風(fēng)隔離系統(tǒng)，如圖2所示。這種系統(tǒng)通常是機柜的一個延伸部分，最常見的系統(tǒng)為機柜垂直排風(fēng)管系統(tǒng)，或稱作煙囪機柜系統(tǒng)。垂直排風(fēng)管系統(tǒng)將密閉機柜內(nèi)的熱回風(fēng)導(dǎo)入到天花板上方。對比冷池或熱池，煙囪機柜系統(tǒng)有著巨大的優(yōu)點：首先，對于機柜而言，煙囪機柜隔離冷熱空氣系統(tǒng)比冷池或熱池系統(tǒng)隔離整排機柜的冷熱空氣更為簡單有效，并且煙囪機柜在所有解決方案中是最簡單的全密閉系統(tǒng)。另外，煙囪機柜系統(tǒng)不和空調(diào)系統(tǒng)相連，這樣我們可以隨著需求的增加來任意增加機柜，從而達到更高的可擴展性。最后，該系統(tǒng)和空調(diào)系統(tǒng)的獨立性確保了數(shù)據(jù)中心可以使用大型的空調(diào)系統(tǒng)來提高制冷效率和節(jié)能。使用垂直排風(fēng)管系統(tǒng)，冷空氣可使用高架地板（常用送風(fēng)方法）送風(fēng)或直接將冷風(fēng)吹入數(shù)據(jù)中心內(nèi)部來送風(fēng)，并且可以結(jié)合使用空氣節(jié)能器來起到更佳的節(jié)能效果，垂直排風(fēng)管系統(tǒng)在數(shù)據(jù)中心內(nèi)的應(yīng)用，如圖3所示。

圖2 垂直排風(fēng)管系統(tǒng)或稱為煙囪機柜系統(tǒng)

圖3 垂直排風(fēng)管系統(tǒng)在數(shù)據(jù)中心內(nèi)的應(yīng)用

垂直排風(fēng)管系統(tǒng)機柜的第一個挑戰(zhàn)是必須使用天花吊頂或者使用回風(fēng)管，這樣，數(shù)據(jù)中心就需要額外的高度。第二個挑戰(zhàn)是風(fēng)壓差，我們必須確保機柜前后具有風(fēng)壓，使得冷風(fēng)可以進入機柜來對機柜散熱。這種挑戰(zhàn)主要體現(xiàn)在機柜前部的送風(fēng)風(fēng)壓壓力、機柜后部熱回風(fēng)的風(fēng)壓、機柜后部的理線等功能區(qū)對風(fēng)壓的影響以及機柜頂部垂直排風(fēng)管的大小和長度。因此，必須在設(shè)計時特別注意，確保該垂直排風(fēng)管系統(tǒng)不會造成錯誤的壓差。

我們可以通過控制機柜內(nèi)部的空氣流速來控制機柜內(nèi)部的空氣壓力，即使在沒有任何有源設(shè)備的情況下，利用自然壓力差將更多的冷送風(fēng)吸入機柜，并將熱回風(fēng)排放至天花板上部。

5 通向綠色數(shù)據(jù)中心之路——垂直排風(fēng)管機柜

5.1 防止無效的冷送風(fēng)浪費現(xiàn)象

Uptime（美國最大、最權(quán)威的數(shù)據(jù)中心研究機構(gòu)）曾對美國的大型數(shù)據(jù)中心做過一次研究，美國平均每個數(shù)據(jù)中心冷送風(fēng)風(fēng)量是實際需求的2.7倍，但是這么多的冷量仍無法對大多數(shù)的數(shù)據(jù)中心進行冷卻——很多數(shù)據(jù)中心存在著局部過熱問題。實際上這么多的冷量并沒有進入機柜對IT設(shè)備進行降溫，而完全浪費掉。比如，我們通常所見高架地板上的過線孔，在下走線的數(shù)據(jù)中心內(nèi)，很多過線孔是開在熱通道或機柜底部，這些開口在過線的同時也將空調(diào)的冷送風(fēng)送入了熱通道或機柜底部，從而繞開了設(shè)備的進風(fēng)風(fēng)扇。我們甚至不止一次的見到，由于水平走線的原因，有些數(shù)據(jù)中心在數(shù)據(jù)中心高級地板墻壁上開了很大的孔，該孔造成了大量空調(diào)冷送風(fēng)向數(shù)據(jù)中心外部泄露，這些被浪費的冷送風(fēng)帶來高架地板靜壓箱送風(fēng)風(fēng)壓的損失，從而導(dǎo)致冷送風(fēng)不能送達關(guān)鍵的位置。

圖4 高架地板纜線開口造成冷空氣的浪費

Uptime通過實際測量很多數(shù)據(jù)中心，發(fā)現(xiàn)大多數(shù)的數(shù)據(jù)中心都存在不正確的浪費現(xiàn)象，其浪費達到50%甚至更多。如果將這些不正確的開孔密閉起來，可以大大提高數(shù)據(jù)中心空調(diào)制冷的效果。如果我們把這50%的冷量節(jié)省下來，該數(shù)據(jù)中心就有巨大的節(jié)能效果。我們用表1對同一數(shù)據(jù)中心做一個比較，在一個30個機柜的低熱密度的機房內(nèi)，如果我們將地板過線孔都密封起來，該數(shù)據(jù)中心空調(diào)運行每小時節(jié)省262度電。

表1

5.2 提高空調(diào)機熱回風(fēng)溫度來提高空調(diào)制冷性能

眾所周知，空調(diào)的制冷效率和性能與空調(diào)機熱回風(fēng)和冷送風(fēng)的溫差有關(guān)，如表2所示。

表2

對于絕大多數(shù)的數(shù)據(jù)中心而言，它們給空調(diào)機的回風(fēng)溫度并不高，這些可能是因為數(shù)據(jù)中心的布局不好或者是熱回風(fēng)在回流空調(diào)機時被旁路（浪費的）冷送風(fēng)降溫，從而導(dǎo)致數(shù)據(jù)中心的空調(diào)制冷效能未達到空調(diào)機的性能值。我們以Libert FH600C 30噸的空調(diào)機來看，大多冷熱通道布局的數(shù)據(jù)中心溫差為5.5℃（21℃回風(fēng)溫度，15.5℃送風(fēng)溫度），這時空調(diào)機的制冷量僅為23噸，遠(yuǎn)遠(yuǎn)未達空調(diào)機額定正常制冷指標(biāo)。如果我們將回風(fēng)溫度從21℃提高到40.5℃時，我們可以將空調(diào)額定制冷量翻倍，30噸冷量的空調(diào)機實際制冷效率為61.3噸。提高回風(fēng)溫度，不僅可以少買空調(diào)機來節(jié)約投資費用，同時在數(shù)據(jù)中心實際運行中也節(jié)省了很多電費。

那么如何提高回風(fēng)溫度？答案很簡單：使用煙囪機柜。因為使用煙囪機柜，我們幾乎忽略設(shè)備熱回風(fēng)的路徑。所有熱空氣在天花板上方，冷熱空氣不再混合，所以不存在熱空氣在向空調(diào)機回流時被冷卻的現(xiàn)象。

5.3 提高空調(diào)機冷送風(fēng)溫度

采用冷熱通道布局的數(shù)據(jù)中心，房間內(nèi)部的溫度不一。由于冷熱空氣的相混合和避免機柜過熱的問題，空調(diào)機通常的冷送風(fēng)溫度在11℃～13℃之間。

但是在煙囪機柜的數(shù)據(jù)中心中，機柜頂部的垂直排風(fēng)管將機柜內(nèi)部的熱回風(fēng)導(dǎo)流至天花板上方，從而使機房內(nèi)部再無冷熱空氣混合的現(xiàn)象。IT設(shè)備過熱要求設(shè)備進風(fēng)溫度不能超過25℃，這樣，對于空調(diào)機而言，24℃的冷送風(fēng)完全能夠冷卻數(shù)據(jù)中心。

通過提高空調(diào)機的冷送風(fēng)溫度，可以提高冷凍水管的水溫和冷水機組的制冷效率。

6 結(jié)束語

PUE是全球用來衡量數(shù)據(jù)中心是否綠色節(jié)能的重要一個技術(shù)指標(biāo)。

美國高性能數(shù)據(jù)中心的PUE值大概為2.0左右，這代表了數(shù)據(jù)中心每用2度電，只有1度電是被IT設(shè)備用掉，另外1度電是用在管理該數(shù)據(jù)中心。通過對數(shù)據(jù)中心管理用電使用情況分析，得出空調(diào)和氣流管理大概占到40%左右的結(jié)論。

國內(nèi)數(shù)據(jù)中心的PUE值比歐美發(fā)達國家要大，這也意味著同樣的數(shù)據(jù)中心，我們使用了更多的能源。其中主要問題是管理人員對數(shù)據(jù)中心散熱的不熟悉，不重視。主要問題體現(xiàn)在以下幾個方面：

◆一味購買更多的、更大的空調(diào)機來對數(shù)據(jù)中心制冷；

◆空調(diào)冷送風(fēng)溫度過低；

◆熱回風(fēng)回流空調(diào)機時，預(yù)冷卻回風(fēng)從而降低了空調(diào)的制冷效率；

◆機房布局不合理，機柜冷熱空氣相混合現(xiàn)象嚴(yán)重；

◆大量的錯誤地板開孔導(dǎo)致大量冷送風(fēng)被浪費。

機柜的傳統(tǒng)概念正在被垂直排風(fēng)管系統(tǒng)慢慢改變，機柜不再是傳統(tǒng)意義上只是用來安裝設(shè)備的柜子而已，使用垂直排風(fēng)管機柜可將冷熱空氣徹底隔離，成為數(shù)據(jù)中心空調(diào)系統(tǒng)密不可分的一個重要組成部分。

目前垂直排風(fēng)管機柜在國際數(shù)據(jù)中心中逐步應(yīng)用。其中Intel在全球30個高熱密度數(shù)據(jù)中心廣泛使用。Intel在實際應(yīng)用中，每機柜熱密度高達32kW，在機房中無任何機柜局部過熱現(xiàn)象。在高效地對IT設(shè)備進行散熱之外，該機柜還通過提高空調(diào)回風(fēng)溫度和提高空調(diào)機冷送風(fēng)溫度來大大節(jié)約數(shù)據(jù)中心能源。高密度刀片機柜中垂直排風(fēng)管系統(tǒng)機柜應(yīng)用，如圖5所示。

圖5 高密度刀片機柜中垂直排風(fēng)管系統(tǒng)機柜的應(yīng)用

使用垂直排風(fēng)管系統(tǒng)機柜，我們不僅可以做到機柜的高密度應(yīng)用，更可以做到以下節(jié)能指標(biāo)，從而建設(shè)一個綠色節(jié)能的數(shù)據(jù)中心：

◆數(shù)據(jù)中心關(guān)鍵制冷量下降74%；

◆冷凍水峰值用水量下降35%；

◆要求的水箱24小時儲水量下降44%；

◆發(fā)電機重啟所需的散熱箱容量下降74%；

◆發(fā)電機、設(shè)施分配方面的HVAC負(fù)荷下降65%；

◆三相部件連接要求下降78%；

◆室內(nèi)HVAC設(shè)備的空間要求下降89%；

◆HVAC用水成本下降63%；

◆維護成本下降49%。