地板下送風數據中心冷通道導流的結構研究

許陸順,張忠斌,宋 平,鞏 莉

(南京師范大學 能源與機械工程學院,江蘇 南京 210023)

0 引 言

近年來,隨著物聯網、人工智能和5G等計算科學技術的蓬勃發展,數據中心行業迎來了快速增長的趨勢,隨著對數據中心行業存儲、網絡和計算需求的不斷增加,數據中心的數量、規模、復雜性和能量密度不斷增長。同時,隨著設備發熱量的增加和數據中心能耗的上升,數據中心的節能降耗問題已經成為社會廣泛關注的熱點議題。人們越來越關注如何通過采用創新的節能技術和優化的運維策略降低數據中心的能源消耗。

據統計,2020年,我國數據中心的年耗電量已超過2 500億kWh,相當于三峽水電站一年半的發電量[1],占全國總用電量的3%以上[2]。未來,數據中心的能耗將以每年15%～20%的速度增長[3]。數據表明,數據中心用電量至少占據英國全國總用電量的1.5%,英國的數據中心用電量每年將以20%的速度增長[4]。美國數據中心的能耗占到了全國總能耗的2%,其中冷卻系統的能耗占到了數據中心總能耗的40%[5]。隨著信息技術的迅速發展,數據中心的能耗問題愈發嚴峻,對于實現節能降耗目標來說,降低數據中心的能耗至關重要。

數據中心的能耗主要由信息設備能耗、空調系統能耗和電源系統能耗3部分組成,共占據了能耗的98%[6],其中冷卻系統能耗約占40%[7]。冷卻系統的主要作用是提高數據中心的散熱能力,確保數據處理設備能夠安全高效地運行[8]。此外,通過有效地散熱和溫度控制,冷卻系統可以降低能耗,提高能源利用效率[9],從而實現數據中心的可持續運營和能源效率的提升。因此,優化數據中心熱性能對數據中心節能降耗有積極作用。

優化數據中心熱性能主要包括優化供氣配置、設備布局和運行參數。目前數據中心多采用地板下送風冷通道封閉方式,機柜通常以“面對面、背靠背”的形式排列。李婷婷等對數據中心進行了數值模擬,忽略高架地板漏風、地板下線纜、空調供回水管和照明設備等因素,機房內整體的溫度較低,熱點機柜較少[10]。SCHMIDT等對地板下送風和頂部送風數據中心進行了比較,發現帶有靜壓層的地板下空氣分配系統更好地改善了供氣的均勻性[11]。LU等研究了不同的靜壓層高度和穿孔率共同對數據中心整體熱性能的影響[12],表明通過調整幾何結構,顯著提高了系統的熱性能。當超出臨界范圍時,靜壓層高度高于0.6 m,地板穿孔率低于20%時,性能變化不大。文獻[13-14]通過數值模擬和實驗發現,使用冷通道密封可以改善服務器的熱性能,特別是在高功率密度下效果更顯著。HAM等通過CFD和空氣泄漏數據對數據中心進行建模,定量分析冷通道不封閉和封閉的熱管理性能[15]。結果表明,在適當的冷卻系統控制下,2種結構的熱管理性能都很可靠,但在使用冷通道封閉時節能效果更好,在特定工況下,可節省24%的能耗。NIU等基于冷通道封閉模型,考慮主動強化氣流分布方式,在冷通道前端設置誘導風機,發現誘導強化送風方式能夠減少局部熱點的產生,提高數據中心服務器的熱性能[16-18]。

現有研究重點主要集中在數據中心的熱性能和氣流組織管理方面。數據中心研究的關鍵問題之一是確保氣流在整個數據中心內的均勻分布,以保證冷卻效果的一致性。同時,研究人員還關注電子設備核心溫度的均勻性,確保各個設備的溫度分布相對均衡。然而,對于地板下送風式數據中心冷通道的氣流組織管理的研究較少。因此,本文提出了氣流優化方法,在冷通道中應用4種導流板,改變冷氣流進入機架的路徑,從而提高直流的冷卻效率。分析不同形狀的導流板對地板下送風冷通道封閉式數據中心的優化作用,采用數值模擬的方法分別做出包含初始模型在內的5種不同的數據中心冷通道模型并求解計算,對比分析不同導流結構對數據中心熱性能的影響,并通過實際測試對模型進行驗證。

1 數值模擬

1.1 物理模型

所選研究對象為位于江蘇省南京市的某高校數據中心,長11.7 m,寬6.5 m,高3 m,其內部結構尺寸如圖1所示。

圖 1 數據中心平面圖Fig.1 Data center floor plan

該數據中心共有2臺機房空調,采用地板下送風結構,并且對冷通道進行封閉,其結構模型如圖2所示。

圖 2 地板下送風冷通道封閉式數據中心模型Fig.2 Closed data center model with underfloor air cooling channel

圖2中,共布置了4排機架(標記為A、B、C、D),每排分別有11個機柜(編號1～11),單個機柜尺寸為1 100 mm×600 mm×2 000 mm。每個機柜對應一個穿孔地板,每個冷通道內共布置22個穿孔地板,共計44塊,穿孔地板尺寸為600 mm×600 mm,穿孔率為20%。機柜內服務器尺寸為800 mm×500 mm×90 mm,額定功率200 W,單機柜內含12臺服務器,總功率2.4 kW。

數據中心中由2個機房空調單元提供冷卻空氣,冷氣流從機房空調單元的底部釋放并進入靜壓層,形成穩定的流場環境。隨后,冷氣流受靜壓驅動通過穿孔地板進入冷通道。之后冷氣流通過機架流向熱通道,并帶走機架中服務器設備產生的熱量。最后,被加熱的冷卻空氣從頂部被吸入機房空調的回風入口進行制冷并開始下一輪循環。送風溫度20 ℃,送風量4.4 m3/s。

根據上述數據中心,利用商用模擬軟件Airpak3.0建立基本數值模型。為了簡化模擬工作,在模擬中進行以下假設:

1) 數據中心和冷通道結構密封良好,密封活動地板無泄漏;

2) 數據中心的墻壁、地板和靜壓空間等板材絕熱;

3) 忽略數據中心內部各換熱面的熱輻射;

4) 不考慮服務器內部風機的影響,并且每個服務器都設置為相同尺寸和恒定功率。

5) 機柜前后門設為多孔介質模型,開孔率為65%;穿孔地板也設為多孔介質模型,以簡化穿孔地板微觀出流特性,其他地板為實體封閉結構。

1.2 數學模型

求解過程中基于室內空氣流動的3種假設: 1)數據中心機房內氣流為低速流動,可視為不可壓縮流體,忽略其因黏性力做功產生的耗散熱; 2)機房內空氣流動為充分流動狀態,可設為穩態湍流; 3)機房內氣流密度變化僅對浮升力產生影響,即符合Boussinesq假設。數據中心氣流流動屬于大空間流動問題,且遵循Boussinesq近似,因此在數值模擬過程中采用標準k-ε湍流模型[14-15]。

數值模擬采用控制體積法。使用計算的網格將該區域劃分為離散控制體積,其中速度、溫度、湍動能k和耗散率ε通過一階迎風格式離散。差分格式采用混合格式,壓力-速度耦合采用SIMPLE算法,x、y、z方向的速度和連續性的收斂殘差精度控制在1×10-3以下,能量的設定值控制在1×10-6以下。控制方程,即

(1)

1.3 邊界條件及網格劃分

模擬邊界條件的參數設置見表1。

注：N/A表示不適用或無適用數據。

選擇機架上最高溫度作為有效參數,分析不同網格數下溫度的差異,進行網格獨立性測試。當網格數≥3 600×103時,機架的最高溫度幾乎不再變化,表明模擬結果的精確度和穩定性較高,因此選擇網格數3 600×103進行后續的研究。

2 實驗測量及模擬驗證

2.1 測量儀器和測點布置

在實驗過程中,主要測量參數為溫度(機架進出口溫度、機房空調進出口溫度、穿孔地板出口溫度)和速度(機房空調供風風速、穿孔地板風速、機架進出口風速)。數據中心內溫度檢測儀器使用Agilent 34972A數據采集儀(精度為±0.001 ℃),配套溫度傳感器選擇T型熱電偶測量(測量范圍-40～80 ℃)。數據中心風速測量則使用手持式Testo416熱敏風速計(測量范圍0.01～20 m/s,精度(0.03±5%)m/s,具備讀數保持功能,方便測量不同高度的測點。

被測機架的測點位于每個機柜前后門的正中間,水平方向測點布置間距為600 mm,共布置11個測點,垂直方向布置6個測點,高度分別為100、400、700、1 000、1 300、1 600 mm,搭建整個熱電偶測點網絡。

實驗在數據中心穩定工作后進行。對所有測量點測量4次,間隔15 min,最終每個測量點的溫度取該點4次測量的平均值。在每一次溫度測量過程中,數據采集器每30 s記錄1次溫度,采集時間為10 min,每一次測量的溫度值取采集時間內溫度的平均值。對于速度測量,取30 s內的平均速度作為每次測量的速度。并且進行3輪重復性測量,取其平均值作為實驗結果,以減少誤差。

2.2 不確定度分析

根據估計方法的不同,不確定度可分為A類不確定度和B類不確定度。A類不確定度按照統計分布進行估計,采用貝塞爾公式計算得到; B類不確定度按照非統計分布進行估計,通常以儀器誤差表示,即

ΔB=Δi

(2)

式中:ΔA為A類不確定度;Sx為由貝塞爾公式計算得出的標準偏差;Δi為儀器誤差;ΔB為B類不確定度;ΔX為合成不確定度。

選擇A11機架后門6個測點的溫度和風速測量結果進行不確定度分析,機架A11后門測點綜合不確定度計算結果見表2。

表 2 機架A11后門測點綜合不確定度計算結果

結果表明,測量點的測量不確定度小,測量值的離散度在可接受范圍內,測量精度高。

2.3 模擬結果驗證

為了驗證建立的數據中心數值模型的可靠性和準確性,選擇對熱環境影響更加明顯的機架出口的溫度和速度作為驗證對象,將所測數據中心A列機柜出口的溫度和速度與數值模擬結果進行比較。為了更準確地描述實測值與模擬值之間的差異程度,引入相對偏差的概念,并使用式(3)進行計算,即

(3)

式中:CRE為相對誤差;PEV為實測值;VSV為模擬值。

根據式(3)計算得到的溫度和速度的實測值與模擬值的相對誤差,結果如圖3所示。

(a) 溫度相對誤差 (b) 速度相對誤差

從圖3可以看出,溫度和速度的相對誤差都非常小。這意味著模擬結果與實際測量值之間的差異非常小,模擬模型能夠高度精確地捕捉到了系統的行為。溫度的實測值與模擬值之間的最大相對誤差不超過5%,表明模擬模型在模擬系統的熱行為方面表現出色。速度的實測值與模擬值之間的最大相對誤差不超過10%,表明模擬結果對系統的流動性能進行了良好的描述。總體而言,速度的相對誤差比溫度的相對誤差大,是可預期的正常現象,并且兩者的誤差都在可接受的范圍內,證明了模擬模型的準確性和可信度。

3 結果與討論

為了研究導流板的應用對數據中心熱環境的影響,將數值模擬分為5種場景,對應無導流板和應用4種不同形狀的導流板(復合型、線型、凸型、凹型)的情況。冷通道內應用的導流板具體結構如圖4所示。

圖 4 導流板示意圖Fig.4 Diagram of the deflector

由于機架A9、A10和A11的熱環境最差,在3個機架中產生局部熱點的可能性很高,因此主要選擇A9、A10和A11等3個機架進行分析,包括3個機架在5種場景下的進排氣溫度及其速度4種共20幅云圖,每幅云圖中從右往左依次為機架A9、A10、A11。其模擬結果如圖5所示。

圖 5 不同導流板的模擬結果Fig.5 Simulation results of different deflectors

從圖5可以看出,對于未應用導流板的S0來說,進氣速度分布并不均勻,下部進入機架的冷空氣充足但機架中上部區域卻明顯不足,這可能會導致機架內上部區域的服務器不能夠充分冷卻。進氣溫度分布比較均勻,這是因為溫度機架附近發生的熱循環的現象較少。機架出口溫度分布并不均勻,并有可能會有局部熱點產生,這是由于機架出口風速較低,不能及時帶走熱量所致。而應用導流板后,機架出口的溫度都有不同程度的降低,說明無論導流板的結構如何,冷通道應用導流板對熱積聚的現象都具有明顯的改善作用。

對比S1～S4等4種模型, S1、S2、S4進氣速度表現較好,分布較為均勻,S3表現相對較差,在上部出現了進氣速度過低的問題,這是因為該結構改變氣流方向的作用較其他幾種較小。4種模型的排氣速度也是如此,S3表現不好,在中間部分出現了速度較小的問題,而S2和S4排氣速度分布較好。進排氣的速度在一定程度上影響了進排氣溫度的好壞,但最重要的還是要保證溫度分布均勻,無局部熱點產生。S1、S2、S3的進氣溫度分布較S4好,因為S4中凹型導流板上部過窄,氣流不能較多地進入機柜上部從而導致上部進氣溫度出現局部過熱的現象。同樣是這個原因使得S3的進氣溫度分布最好,因為凸型導流板留給了機架上部足夠多的進氣空間,上部進氣量較大。而對于排氣溫度S3表現不好,局部熱點較其他模型多,這是因為受到了進排氣速度影響,S2和S4的排氣溫度分布較好。

僅從模擬結果的溫度和速度云圖考慮導流板的優化效果較為單一,需要對模擬結果的具體數值進行分析。機架進氣溫度分布狀況都比較均勻,而排氣溫度差異較大,另外,機架排氣溫度是判斷機架是否產生熱點的重要依據,而機架熱點又關乎數據中心能否安全運行。因此,重點從機架排氣溫度進行分析。

圖 6為機架A9、A10和A11在5種不同場景下的排氣平均溫度。

圖 6 S0～S4場景下3個機架平均排氣溫度Fig.6 Average exhaust temperature of three racks in the S0～S4 scenario

從圖6可以看出,在場景S0時,機架A9、A10和A11的平均溫度分別為31.4、31.5、31.8 ℃,機架距離CRAC出風口越遠,平均排氣溫度越高。而在冷通道內應用導流板后,3個機架的平均排氣溫度均有不同程度的降低。S2和S4表現較S1和S3更好,其中S2的3個機架平均溫度最低,皆在30.5 ℃以下。

然而,機架平均排氣溫度的降低并不完全代表熱環境的改善,因為在機架中可能會出現局部熱點,而局部熱點對平均溫度的影響并不大。所以本文又在局部上分析了熱點溫度相對于S0的下降情況,同時在整體上研究了排氣的標準差。

A9、A10和A11機架在4種場景下的機架熱點溫度相對于S0的下降情況如圖7所示。

圖 7 S1～S4相比于S0的熱點溫度降Fig.7 Hotspot temperature drop of S1-S4 compared with S0

從圖7可以看出,與平均溫度趨勢相似,S2和S4熱點溫度的下降最為明顯,比S1和S3下降得更多,達到了1 ℃以上,其中S2的3個機架的熱點溫度下降的平均值接近2 ℃。機架排氣溫度的標準差如圖8所示。

圖 8 機架排氣溫度的標準差Fig.8 Standard deviation of rack exhaust temperature

從圖8可以看出,溫度標準差越大,說明機架的溫度不均勻性越高。對于標準差而言,S4的結果略高于S1、S2和S3,意味著S4場景下排氣溫度整體分布較其他3種場景更不均勻,與前面平均溫度和熱點溫度下降情況截然不同,因此該結構具有一定的局限性。顯然S2的標準差最低,熱環境溫度均勻性更好。

綜上所述,可將S2的線型導流板作為最優導流結構。

4 結 論

1) 對于地板下送風冷通道封閉式數據中心,合理地增設導流結構使數據中心各個機柜的進排氣的溫度和速度得到優化,溫度場和速度場更均勻,很大程度上減少了局部熱點的產生,可以有效避免由熱量積聚造成的服務器損害現象。

2) 在CRAC相同的工況條件下(送風溫度20 ℃、送風量4.4 m3/s),對比4種不同導流結構(復合型、線型、凸型、凹型)對數據中心熱性能的影響,線型導流板效果相對最好,3個機架排氣平均溫度較原始結構下降了1.4 ℃左右,熱點溫度下降了1.9 ℃左右,標準差下降了0.4左右,并且結構簡單,更易作為導流結構應用到數據中心。