數據中心氣流組織研究綜述

葉 萌，張學偉，蓋東興

(1.武漢工程大學 光電信息與能源工程學院，湖北 武漢 430205；2.廣東申菱環境系統股份有限公司，廣東 佛山 528000)

1 引言

隨著國家新基建的提出，數據中心作為其中唯一的基礎設施建設得到了迅速的發展，數據中心是一個企業向數據化、智能化發展的基礎。另外，隨著5G技術的發展，數據中心的數量和規模也大大增加。由于數據中心是儲存，處理和傳遞各種數據信息的中樞，對數據中心的可靠性和安全性提出很高要求，通常需要全年365 d的不間斷運行。

典型數據中心能耗構成如圖1所示，精密空調系統是除IT設備所必須耗能外數據中心最大的能源消耗系統，它們占數據中心總能耗的32%，具有很大的節能潛力，而空調系統則由制冷量過大和氣流損失等原因消耗大量能源[1]。數據中心制冷設備的運行狀態取決于IT設備的運行環境要求，包括房間的溫度和濕度，隨著新時代數據機房的變化，相應的機房空調也會有更加合理的設計[2]。機房空調氣流組織的好壞決定著服務器運行的效率，因此合理的氣流組織是精密空調設計的重要組成分，低溫空氣在機房流動的過程中，需要時刻保持一個合適熱濕環境[3]。

圖1 典型數據中心能耗構成

2 數據中心風冷技術研究介紹

2.1 風冷的主要工作原理

目前市面上大部分都是使用風冷模式對數據中心降溫，精密空調出風口保持恒溫恒濕的冷卻氣流。數據中心中主要產生熱量的部位是機柜服務器中的CPU，內存條和硬盤等，冷卻氣流從服務器的入口進入，經過對流換熱后的氣流溫度隨服務器硬件設備溫度升高而升高，高溫氣體從服務器的出口流出，最后又回流到精密空調中進行降溫，開始下一輪循環。

2.2 數據機房氣流組織的配置方式

下送風(地板孔送風)(圖2)：主要由靜壓箱，精密空調和地板格柵構成，其主要原理是將機房放置在靜壓地板之上，每個機柜的入口對應著下面的地板格柵，機柜使用面對面，背對背方式布置，同時封閉冷通道。精密空調的出風口放置在靜壓地板下，回風口在地板上部分，精密空調出風口的冷卻氣流通過靜壓箱從地板格柵吹出來從服務器的入口進入，對發熱單元進行散熱，溫度升高后的氣流從機柜背面出來，在機房中回流再次進入到精密空調中。

圖2 下送風方式

側間送風(圖3)：精密空調與機柜處在同一個機房之中，機柜和機柜面對面排列，背面朝向背面，熱通道關閉，精密空調出風口的冷氣流對機房全局進行降溫，低溫氣流從服務器入口進入，帶走發熱單元產生的熱量，低溫空氣變為高溫空氣從背面出來，熱氣流再熱通道內由于密度變小會向上流動，同時熱通道上面設置回風口將高溫氣流帶走送回到精密空調中去降溫，進行下一次循環。

圖3 側間送風

列間送風(圖4)：將列間空調與機柜并排放在一起，空調使用和側間送風同種方式排列，將對列的排機柜中穿插若干個精密空調，可以采用斜對排布，也可以采用正對排布，低溫氣流流出后以最短的距離對服務器發熱單元進行降溫，降低了氣流在傳遞的過程中熱量變化程度，高溫氣流從服務器背部出來通過列間空調上面的回風管道再次回到精密空調中降溫，進行下一次循環。

圖4 列間送風

風管送風(上送風)(圖5)：低溫氣流從精密空調上方出來，經過送風管道到達機柜服務器給發熱單元降溫，升溫后的高溫空氣從地板下面進入到空調同樣安裝在下部分的回風口，進行再降溫處理。

圖5 上送風方式

以上4種數據中心送風方式優缺點詳見表1。

表1 各種送風方式對比

3 氣流組織的優化方案

在國內外，目前精密空調的設計、制造和運行都有一套完整的規格標準，可以對機房的溫度、濕度和潔凈度有一個非常精確的控制，精密送風溫度下不同的氣流組織也得到了廣泛的研究。

陳文輝[4]使用了一種特別定制的冷墻側面送風，這種側面送風氣流分布需要封閉熱通道，使用DeST軟件對其進行分析，以計算空調的月能耗，使用這種蓋板氣流組織方式所產生的精密空調的年電耗為224.9萬kW·h。此種配置方式與風管送風方式248.6萬kW·h的空調耗電量相比，全年節約9.6%的空調電耗。黃渤[5]使用高架地板下方的正壓送風系統，靜壓層高度為600 mm，穿孔樓板速度為20%。使用擋板隔離地板下方正壓送風系統的靜壓層，創建兩個獨立的空氣分配室，設置2號擋板在一列機柜的1/4處，5號擋板在一列機柜的1/2處，并都設置有無開孔、20%、80%開孔率。對模型進行了仿真研究和分析，通過數值模擬最后得到了結果：這種新型的帶有局部擋板的地板下送風結構被證明對改善數據中心的氣流組織和熱性能是有效的。封閉擋板結構位于2號擋板處，能徹底消除熱點；當帶有穿孔率 20% 穿孔擋板結構位于2號擋板處時，氣流最均勻。耿云[6]改變地板下擋板角度大小產生的氣流組織對機房熱環境的影響，為保證服務器有一個良好的冷卻狀況，在機房靜壓層內安裝有利障礙物，使用airpak建立相關模型進行模擬仿真，通過氣流組織結構的溫度場和速度場的分析表明，在高架地板下方搭建15°的擋板，靜壓層高度為700 mm，地板穿孔率為20%時出現最佳的冷卻效果，此時服務器內熱環境的品質最佳。馬欣宇[7]提出了一種梯形靜壓箱對氣流組織的優化，目的主要是消除壓力分布不均勻對氣流組織產生的不利影響，考慮將地板靜壓箱的流通面積沿冷通道方向逐漸減小，截面變為梯形，利用CFD模擬探究梯形靜壓箱對氣流組織的優化效果，得到了最佳的靜壓箱結構參數，綜合分析原尺寸14 m×0.7 m的矩形靜壓箱，修改其界面為梯形，使其下底長度為0.7 m，上底長度變為0.2 m，這樣靜壓箱的內部壓力分布情況有了較大改善。局部渦旋基本消失，對氣流組織優化效果最佳。

申佳惠[8]研究了不同服務器的配置方案對氣流組織的優化和對發熱單元的影響，提出了放置在機架底部服務器產生的熱量最終都會匯集到機架頂部服務器之中，高溫空氣的聚集會嚴重影響服務器余熱的排出。于是建立4種不同的服務器功率密度模型，模型分析發現，當服務器在機架中的放置密度發生變化時，熱性能逐漸變化，其中從下到上密度逐漸減少的排列方式熱性能最好。服務器進出口溫度達到了安全運行的標準，優化方法具有深刻意義。秦冰月[9]采用模擬了封閉冷通道前后機房的氣流組織變化，通過數種熱環境評價指標分析了模擬結果，獲得了冷卻氣流集中、冷熱氣體摻混現象改善，局部熱點消除等研究進展。黃翔[10]利用6sigmaRoom對機房氣流組織和熱濕環境進行模擬，使用殘差控制求解方程收斂的精度，同時確保求解殘差趨于穩定且收斂為1[11～13]。分析了機房內不同高度典型截面的溫度分布，結果表明當架空地板高度在600 mm時，空調的無效送風量大大減小。根據業內統計，高熱密度數據機房單個機柜能耗水平已經達到了5 kW[14]，Shrivastava[15]等人2005年在“下送上回式”氣流系統中進行的研究結果使得氣流分布更為高效，而在“上送下回式”氣流分布最差。Cho Kim[16]等人研究了當采用安裝簡單擋板(simple partition wall)的方式改善冷熱氣流的混合情況下的效果。對于一個主要由極高密度的數據通信設備，這意味著冷卻系統應該對其壽命和負荷進行全面的考量，以便在10年內使負載增長兩倍，或每3-5年增長約50%[26]。逢書帆[17]進行優化的機房空調為150 kW的CRAC，共有機柜240個，總功耗為896 kW，將機房原來高架地板高度0.6 m改為0.8 m，格柵開孔率由50%改為40%，優化后機柜的整體溫降1.9 ℃。張振國[18]進行優化的數據中心位于北京市，帶有24臺機柜，單臺最大電功率4 kW，兩臺單臺額定制冷量為80kw恒溫恒濕專用空調，風速<3 m/s，封閉冷通道后，空調風量為額定狀態的50%，測量后發現回風溫度由30 ℃提高到了33 ℃，進一步降低了PUE。文獻[19～23]簡化了機房空調模型，出風口的流量設置為定壓定量，回風口為自由溢流口，大多數沒有設置單個對象，而是直接在墻的邊界上開有送風口和排氣口，此模型適用于單個機房的模擬，如果多臺空調機組同時開啟，各回風口外的風壓不等，如果采用自由溢流的排風口，則各臺空調機的回風量勢必會不等；但實際上專用于單個機房的空調的進口風量和回風量總是相同的。李俊[25]等研究發現大型數據機房冷凍水供回水溫度采取12 ℃/18 ℃時，可以使用的自然冷卻時間大大增加，有利于機房的節能效果。王小元[27]等使用CO2作為余熱回收用熱泵的工作介質，提高系統緊湊性與環境友好性，與常規房間級風冷空調機組相比，CO2熱泵系統可降低全年冷負荷108 MW·h，節約電耗制冷電耗167 MW·h，為建筑供熱290 MW·h，獲得年收益4.23萬元。朱立偉[28]進行模擬的機房規模為9臺機柜，每臺18個服務器，空調額定風量為45000 m3/h，進口風速為2.31 m/s，18 臺服務器表面熱流量為10 kW，通過數值計算得到2個冷通道地板風速為1.93 m/s，冷通道溫度均值為24.5 ℃，與設備換熱后的熱通道溫度均值為37.2 ℃，兩者絕熱隔離，均值達到12.7 K的溫差，是絕佳的散熱模式。冷通道或機柜進風區域的溫度推薦值為18～27 ℃，冷通道或機柜入口溫度允許值為15～32 ℃；濕度變為露點溫度，同時相對濕度不大于60%采用露點溫度可以使測量更加準確[29,30]。S.A.Nada[31,32]通過數值模擬實驗，研究地板格柵開孔率大小、不同單機柜功率對數據機房的影響，結果表明，地板格柵開孔率為20%～50%范圍內時，增加格柵開孔率可減少熱空氣回流，而封閉冷氣流通道使得中間機架比兩邊冷卻能效高約20%。

4 其他幾種數據機房冷卻方式及優劣

目前，根據不同的數據機房需要的散熱能力可以使用不同的氣流組織形式，降低將數據中心能耗，對于有一些特殊的數據機房，需要非常低PUE值，單一方式很難將數據中心能耗繼續降低，需要采取多種散熱方式的組合。針對這個問題，提出另外兩種可以降低數據中心能耗的冷卻方式，其一是自然冷卻與風冷冷卻相結合，主要原理是將自然冷風直接或者間接引入到數據中心，帶走服務器中產生的熱量，當環境溫度較低時，使用自然冷卻對數據中心進行降溫，當環境溫度較高時，同時使用自然冷卻和風冷冷卻進行降溫，緩解單方面使用風冷冷卻時產生的巨大電耗。缺點是自然冷卻對環境空氣溫度、濕度和潔凈度要求較高，不能有難以清理的灰塵進入到電子設備中，否則會造成嚴重后果。目前使用自然冷卻方式的數據中心所選地址大部分在貴州等地；其二是液冷，主要原理是用無相變且絕緣的液體對服務器中的CPU、內存條、硬盤等降溫，可以直接接觸也可以間接接觸，因為溶液的導熱性能比空氣導熱性要好得多，所以在相同工況下液冷的降溫效果要優于風冷的降溫效果。節能效果更好。缺點是數據機房內管道設計必須有嚴格的防漏措施，在防漏方面具有較大的挑戰性。

5 結論

在對數據中心進行強制風冷冷卻的幾種方式當中，四種送風方式各有優劣，但還是以地板下送風、上回風為主，送風過程中要盡量考慮溫度、速度、濕度和壓力等各方面因素對數據中心熱性能的影響，尤其是在壓力方面需要進一步研究，在下送風中隨著送風距離的增加冷空氣速度降低，靜壓增大，在一定范圍內冷量逐漸增大，所以在靠近出風口的機柜的溫度比中部的機柜溫度要高。目前為止，數據中心還是以風冷為主要冷卻方式，但是未來隨著5G基站建設的增加，對于如何降低數據中心的PUE將是一個巨大的難題，國家需要加快除風冷冷卻以外其他冷卻方式的發展步伐。目前不僅是要在對數據中心進行節能的同時要充分保證維護、運行、安全等問題，還要盡量發揮數據中心降低能耗方面最大的應用價值。