數(shù)據(jù)中心CFD優(yōu)化與應(yīng)用研究

曹 淵 沈子奇 陳 強(qiáng)

中國(guó)移動(dòng)通信集團(tuán)上海有限公司

0 引言

隨著信息技術(shù)、新基建等概念成為當(dāng)今社會(huì)的熱點(diǎn)話題，在國(guó)家政策支持，客戶需求越來(lái)越強(qiáng)烈的背景下，全國(guó)的IDC 數(shù)據(jù)中心發(fā)展進(jìn)入了快車道，預(yù)計(jì)3年后，全國(guó)數(shù)據(jù)中心規(guī)模將達(dá)到近4000億元。但是，數(shù)據(jù)中心屬于高能耗產(chǎn)業(yè)，從網(wǎng)上商場(chǎng)，網(wǎng)上游戲，銀行等，現(xiàn)代數(shù)據(jù)中心幾乎運(yùn)行這一切信息應(yīng)用，因而其對(duì)電力的消耗增長(zhǎng)顯著，能耗成本占據(jù)數(shù)據(jù)中心總體運(yùn)營(yíng)成本大于50%，運(yùn)營(yíng)單位不堪負(fù)重，節(jié)能迫在眉睫[1]。本文基于數(shù)據(jù)中心專業(yè)氣流組織模擬軟件，對(duì)數(shù)據(jù)機(jī)房進(jìn)行建模，通過(guò)對(duì)比實(shí)際測(cè)量數(shù)據(jù)，分析模擬軟件的可靠性與優(yōu)缺點(diǎn)，為在以后數(shù)據(jù)中心建模、布局中提供參照，以便更科學(xué)地進(jìn)行節(jié)能優(yōu)化。

1 CFD 簡(jiǎn)介與原理

CFD 以電子計(jì)算機(jī)為工具，應(yīng)用各種離散化的數(shù)學(xué)方法，對(duì)流體力學(xué)的各類問(wèn)題進(jìn)行數(shù)值實(shí)驗(yàn)、計(jì)算機(jī)模擬和分析研究，以解決各種實(shí)際問(wèn)題。數(shù)據(jù)中心專業(yè)CFD 軟件是基于計(jì)算流體力學(xué)(CFD)及傳熱學(xué)，針對(duì)數(shù)據(jù)中心環(huán)境進(jìn)行預(yù)測(cè)和優(yōu)化的專業(yè)仿真模擬工具，可以提供數(shù)據(jù)中心詳盡的環(huán)境信息，如氣流組織、溫度場(chǎng)、壓力場(chǎng)。本研究采用市場(chǎng)主流軟件對(duì)某數(shù)據(jù)機(jī)房的簡(jiǎn)化模型進(jìn)行空氣速度流場(chǎng)和溫度流場(chǎng)的數(shù)值模擬。數(shù)據(jù)中心機(jī)房的規(guī)模在不斷擴(kuò)大，如今的大型數(shù)據(jù)中心機(jī)房普遍面臨設(shè)備發(fā)熱密度高、電力能耗大等問(wèn)題。《數(shù)據(jù)中心設(shè)計(jì)規(guī)范》（GB50174-2017）規(guī)定了主機(jī)房空調(diào)系統(tǒng)的氣流組織形式，應(yīng)采用計(jì)算流體動(dòng)力學(xué)（CFD）對(duì)主機(jī)房氣流組織進(jìn)行模擬和驗(yàn)證[2]。

采用CFD方法對(duì)室內(nèi)空調(diào)通風(fēng)輔助設(shè)計(jì)時(shí)，合理的物理模型是基礎(chǔ)。流動(dòng)和傳熱問(wèn)題的求解過(guò)程如下：建立控制方程，確定初始條件及邊界條件，劃分計(jì)算網(wǎng)格，生成計(jì)算節(jié)點(diǎn)，確定離散初始條件和邊界條件[3]。

質(zhì)量守恒方程：

t——時(shí)間

u——速度矢量

動(dòng)量守恒方程：（N-S）：

式（2）中，S可以分在三個(gè)方向上。

式(3)中，T——溫度

k——熱傳系數(shù)

Cp——比熱容

ST——流體的內(nèi)熱源熱量和機(jī)械能

轉(zhuǎn)換成的熱能[4]

2 研究現(xiàn)狀

2.1 數(shù)據(jù)中心模型及邊界條件設(shè)置計(jì)算

機(jī)房平面圖見(jiàn)圖1。

圖1 機(jī)房平面圖

一樓機(jī)房長(zhǎng)約33 m，寬約22.8 m，面積約734.4 m2，層高4.7 m，吊頂高度為3.4 m，高架地板高度為54.5 cm，采用高架地板送風(fēng)結(jié)合冷通道部分封閉設(shè)計(jì)。機(jī)房?jī)?nèi)共223 臺(tái)IT 設(shè)備機(jī)柜，其中198 臺(tái)運(yùn)行；機(jī)柜內(nèi)為服務(wù)器、存儲(chǔ)和網(wǎng)絡(luò)設(shè)備。據(jù)現(xiàn)場(chǎng)測(cè)量，運(yùn)行IT設(shè)備總功率約為337 kW；由理論計(jì)算及CFD 軟件分析，IT 設(shè)備總需求風(fēng)量約為117560 m3/h。機(jī)房?jī)?nèi)共有15臺(tái)精密空調(diào)，全部處于運(yùn)行狀態(tài)，名義總制冷量為1085.1 kW，名義總風(fēng)量為297400 m3/h。

運(yùn)行機(jī)柜IT 設(shè)備入口溫度分布統(tǒng)計(jì)結(jié)果如圖1所示。可以看出，機(jī)柜內(nèi)IT 設(shè)備入口溫度范圍為10.8～24.99 ℃，溫差達(dá)到14.19 ℃，溫差較大。超過(guò)半數(shù)的設(shè)備入口溫度低于18 ℃，最低達(dá)10.8 ℃，部分區(qū)域存在過(guò)度制冷現(xiàn)象。

同時(shí)，為了驗(yàn)證CFD 模擬軟件精度，通過(guò)人工機(jī)房現(xiàn)場(chǎng)實(shí)際測(cè)量，確定機(jī)房?jī)?nèi)各要素的詳細(xì)信息，并以此對(duì)機(jī)房進(jìn)行了精確的CFD 三維建模。機(jī)房三維模型見(jiàn)圖2。

圖2 機(jī)房三維模型

2.2 空調(diào)風(fēng)量測(cè)量

空調(diào)回風(fēng)口風(fēng)量測(cè)量結(jié)果見(jiàn)圖3。

圖3 空調(diào)回風(fēng)口風(fēng)量測(cè)量結(jié)果

由圖3可見(jiàn)，15 臺(tái)運(yùn)行中空調(diào)總的實(shí)測(cè)循環(huán)風(fēng)量為202174 m3/h。根據(jù)現(xiàn)場(chǎng)實(shí)測(cè)并結(jié)合CFD 模擬，IT 設(shè)備總需求風(fēng)量約117560 m3/h，空調(diào)送風(fēng)效率ASE為：

Vrack-in——空調(diào)送風(fēng)直接用于冷卻機(jī)柜IT 設(shè)備的風(fēng)量

Vacu-supply——空調(diào)總循環(huán)風(fēng)量

此數(shù)據(jù)表明冷空氣循環(huán)利用率低。

2.3 可靠性研究比較

實(shí)測(cè)風(fēng)量與仿真風(fēng)量誤差比較見(jiàn)表1。

機(jī)房開孔地板實(shí)測(cè)與仿真模擬出風(fēng)量分布見(jiàn)圖4。

表1 實(shí)測(cè)風(fēng)量與仿真風(fēng)量誤差比較

為保證CFD 仿真結(jié)果的可靠性，將實(shí)測(cè)機(jī)房溫度與CFD 模型進(jìn)行校驗(yàn)。機(jī)房XY 截面CFD 模擬溫度云圖與實(shí)測(cè)值對(duì)比見(jiàn)圖5。由圖5 可見(jiàn)，模擬值整體分布趨勢(shì)與實(shí)測(cè)值基本吻合，偏差在2 ℃以內(nèi)，同時(shí)，將實(shí)測(cè)開孔地板出風(fēng)量與CFD 模型進(jìn)行校驗(yàn)，誤差在10%以內(nèi)，由此說(shuō)明CFD 仿真結(jié)果真實(shí)有效。

圖4 機(jī)房開孔地板實(shí)測(cè)與仿真模擬出風(fēng)量分布

圖5 地板上機(jī)房1.1 m 高度XY 截面實(shí)測(cè)溫度云圖

3 機(jī)房氣流組織問(wèn)題分析

結(jié)合實(shí)地勘察和CFD 模擬分析，發(fā)現(xiàn)該機(jī)房氣流組織存在的主要問(wèn)題如下：

1）運(yùn)行空調(diào)名義可提供的制冷量大于IT設(shè)備需求。目前機(jī)房在用IT設(shè)備總功率為337 kW，總需求風(fēng)量約為117560 m3/h。15臺(tái)運(yùn)行空調(diào)的名義總制冷量為1085.1 kW，名義總風(fēng)量為297400 m3/h，均大于在用IT 設(shè)備的散熱需求，機(jī)房冷空氣利用率較低。

2）部分靠近空調(diào)的地板下方空氣流速較高，導(dǎo)致出現(xiàn)低壓，開孔地板出風(fēng)量很小，如圖6所示。另外，存在地板出風(fēng)量與機(jī)柜負(fù)載不匹配的情況，見(jiàn)圖7。

圖6 機(jī)房開孔地板下靜壓分布（藍(lán)色表示低壓區(qū)域）

圖7 機(jī)房IT設(shè)備功率分布和開孔地板出風(fēng)量分布（紅色表示低風(fēng)量地板）

3）地板下存在湍流現(xiàn)象

通過(guò)對(duì)現(xiàn)場(chǎng)的開孔地板下方進(jìn)行壓力測(cè)量，發(fā)現(xiàn)靜壓極不均衡，地板出風(fēng)量差異較大，存在湍流現(xiàn)象。特別是立柱導(dǎo)致地板下冷氣流速梯度加大，部分地板出風(fēng)量較小，無(wú)法為前方機(jī)柜內(nèi)IT設(shè)備提供足夠的冷量，容易形成熱點(diǎn)。經(jīng)仿真計(jì)算，也證實(shí)了存在湍流現(xiàn)象[5]，見(jiàn)圖8。

圖8 地板下湍流現(xiàn)象

4）機(jī)房冷通道未封閉

機(jī)房大部分區(qū)域原為封閉冷通道設(shè)計(jì)，但是現(xiàn)場(chǎng)勘察發(fā)現(xiàn)通道的立柱缺口處未進(jìn)行隔斷封閉處理，部分冷通道天窗缺失，由此不但會(huì)造成冷空氣泄漏至機(jī)房環(huán)境，降低冷空氣利用率，可能造成熱空氣直接進(jìn)入冷通道被機(jī)柜吸入，并形成熱點(diǎn)，見(jiàn)圖9和圖10。

圖9 冷空氣進(jìn)入機(jī)房環(huán)境

圖10 未隔斷的立柱缺口

5）機(jī)柜內(nèi)部存在冷熱空氣混流。

部分無(wú)負(fù)載機(jī)柜及熱通道內(nèi)設(shè)置有開孔地板，造成冷量損失；部分運(yùn)行機(jī)柜前方未合理布局開孔地板，導(dǎo)致局部區(qū)域無(wú)法獲得足夠的冷空氣對(duì)設(shè)備進(jìn)行有效散熱，易形成局部熱點(diǎn)。部分機(jī)柜存在反裝設(shè)備。反裝設(shè)備是指設(shè)備實(shí)際安裝后的進(jìn)出風(fēng)方向與機(jī)柜冷熱側(cè)方向相反，即設(shè)備進(jìn)風(fēng)口在熱側(cè)，出風(fēng)口在冷側(cè)。該現(xiàn)象對(duì)設(shè)備自身運(yùn)行安全性及氣流組織節(jié)能不利。機(jī)房存在漏風(fēng)現(xiàn)象。經(jīng)現(xiàn)場(chǎng)查勘發(fā)現(xiàn)，機(jī)房部分區(qū)域高架地板存在缺口，冷空氣直接進(jìn)入機(jī)房環(huán)境，造成冷量損失，且有部分負(fù)載機(jī)架處地板未開孔導(dǎo)致局部溫度偏高。

4 優(yōu)化改造研究

4.1 物理優(yōu)化改造

1）合理調(diào)整開孔地板位置。

依據(jù)仿真計(jì)算結(jié)果，調(diào)整開孔地板位置，以滿足運(yùn)行機(jī)柜的散熱需求。調(diào)整前的實(shí)測(cè)風(fēng)量數(shù)據(jù)和調(diào)整后的CFD模擬風(fēng)量效果對(duì)比見(jiàn)圖11和圖12。

圖11 開孔地板開孔率調(diào)整前出風(fēng)量

2）調(diào)整機(jī)房開孔地板布局。

按圖12所示，將紅色區(qū)域地板更換為非開孔地板，并將黃色區(qū)域地板更換為經(jīng)過(guò)CFD計(jì)算驗(yàn)證得出的相應(yīng)通孔率的開孔地板。

圖12 開孔地板開孔率調(diào)整后出風(fēng)量

3）增設(shè)地板下部氣流平衡條。

在地板下部分區(qū)域放置導(dǎo)流裝置。通過(guò)對(duì)比可以看出，地板下導(dǎo)流裝置能有效防止湍流現(xiàn)象，使氣流組織更有序化，將冷空氣送到指定區(qū)域，從而消除機(jī)柜底部出風(fēng)口風(fēng)量波動(dòng)和風(fēng)量不均。同時(shí)也可減少特定區(qū)域的溫度不均勻現(xiàn)象，避免通過(guò)加大空調(diào)風(fēng)量消除熱點(diǎn)的做法，有效降低能耗[6]，見(jiàn)圖13。

圖13 湍流區(qū)基本消除

4）如圖14 紅色線條所示，按照CFD 模擬計(jì)算結(jié)果，在本機(jī)房圖中位置處增加地板下氣流平衡裝置，調(diào)節(jié)地板下氣流分布。

圖14 導(dǎo)流裝置安裝示意圖

5）機(jī)柜冷熱氣流混流的優(yōu)化調(diào)整。通過(guò)增設(shè)機(jī)柜盲板對(duì)冷熱氣流進(jìn)行隔絕，有助于防止冷氣流未經(jīng)機(jī)柜換熱直接漏到熱通道中，基本消除冷熱混流的現(xiàn)象（見(jiàn)圖15），從而提高空調(diào)風(fēng)量和冷量的利用率[7]。

圖15 冷熱氣流隔絕前（左）和隔絕后（右）熱通道云圖

6）封閉機(jī)柜底部進(jìn)風(fēng)口和設(shè)備安裝導(dǎo)軌側(cè)面的間隙。機(jī)房?jī)?nèi)大部分機(jī)柜底部均存在進(jìn)風(fēng)口，造成冷量損失，需對(duì)這些機(jī)柜底部進(jìn)風(fēng)口進(jìn)行封堵，采用防火的氣流隔離材料對(duì)整排機(jī)柜底部進(jìn)行封堵。除此之外，設(shè)備安裝導(dǎo)軌與前部框架存在間隙則使用絕緣片進(jìn)行封閉。封堵前、后機(jī)房流線圖見(jiàn)圖16。

圖16 機(jī)柜封堵前（a）和封堵后（b）機(jī)房流線圖

5 運(yùn)行參數(shù)設(shè)置與獲取

5.1 現(xiàn)場(chǎng)部署環(huán)境監(jiān)測(cè)平臺(tái)

5.1.1 溫度傳感器

對(duì)空調(diào)回風(fēng)口、空調(diào)出風(fēng)口以及有源服務(wù)器機(jī)柜進(jìn)風(fēng)側(cè)布置溫度傳感器。其中，空調(diào)回風(fēng)口共15 處、空調(diào)出風(fēng)口共15處，服務(wù)器機(jī)柜進(jìn)風(fēng)側(cè)669處（無(wú)源機(jī)柜除外），需增設(shè)699個(gè)溫度傳感器。每個(gè)服務(wù)器機(jī)柜進(jìn)風(fēng)側(cè)沿高度方向布置3個(gè)溫度傳感器，高度分別為0.2 m，1.1 m，2.0 m。

5.1.2 傳感器總線模塊

各機(jī)柜進(jìn)風(fēng)溫度傳感器信號(hào)通過(guò)總線模塊匯總，由環(huán)境參數(shù)采集器采集并上傳到監(jiān)控主機(jī)，由PTF 軟件處理后在監(jiān)控屏幕上顯示實(shí)時(shí)溫度數(shù)據(jù)并實(shí)現(xiàn)報(bào)警功能。傳感器總線模塊及環(huán)境參數(shù)采集器布置圖見(jiàn)圖17。本機(jī)房共布置總線模塊93 個(gè)。

圖17 傳感器總線模塊及環(huán)境參數(shù)采集器安裝布局

5.2 智能電能表

為精確測(cè)量并對(duì)比氣流組織節(jié)能改造前和改造后的機(jī)房空調(diào)和IT設(shè)備的能耗值，及以此為基礎(chǔ)計(jì)算改造后的空調(diào)節(jié)能率，對(duì)現(xiàn)場(chǎng)空調(diào)屏和IT列頭柜加裝準(zhǔn)確度等級(jí)為0.5 級(jí)的智能電能表（見(jiàn)圖18），實(shí)現(xiàn)對(duì)該機(jī)房?jī)?nèi)所有機(jī)房空調(diào)能耗和IT 負(fù)載能耗的精確測(cè)量。

圖18 交直流屏柜掛電表

5.3 空調(diào)節(jié)能調(diào)節(jié)

調(diào)整空調(diào)輪值方案以及空調(diào)設(shè)定參數(shù)，對(duì)各個(gè)空調(diào)的設(shè)定進(jìn)行精細(xì)化調(diào)節(jié)，按需調(diào)配相關(guān)區(qū)域空調(diào)的制冷量輸出，均衡溫度場(chǎng)，有效提升機(jī)房運(yùn)維安全可靠性。經(jīng)優(yōu)化后，消除了局部熱點(diǎn)，并緩解了部分機(jī)柜IT 設(shè)備入口溫度過(guò)低的現(xiàn)象。在保證機(jī)柜進(jìn)風(fēng)區(qū)域溫度滿足要求的前提下，對(duì)氣流通路進(jìn)行優(yōu)化調(diào)整，使機(jī)柜進(jìn)風(fēng)量更加均衡，在滿足運(yùn)營(yíng)要求的同時(shí)，達(dá)到提升空調(diào)運(yùn)行能效的目的。在開啟9～10 臺(tái)空調(diào)的情況下，通過(guò)調(diào)節(jié)不同空調(diào)的設(shè)定回風(fēng)溫度和風(fēng)機(jī)風(fēng)速，為空調(diào)輪值。

6 節(jié)能效果分析

6.1 機(jī)房氣流組織優(yōu)化結(jié)果

經(jīng)優(yōu)化后，消除了局部熱點(diǎn)，并緩解了部分機(jī)柜IT 設(shè)備入口溫度過(guò)低的現(xiàn)象。在保證機(jī)柜進(jìn)風(fēng)區(qū)域溫度滿足要求的前提下，對(duì)氣流通路進(jìn)行優(yōu)化調(diào)整，機(jī)柜進(jìn)風(fēng)量更加均衡，在滿足運(yùn)營(yíng)要求的同時(shí)，達(dá)到提升空調(diào)運(yùn)行能效的目的。空調(diào)運(yùn)行能效優(yōu)化前后對(duì)比見(jiàn)表2。

表2 空調(diào)運(yùn)行能效優(yōu)化前后對(duì)比

6.2 數(shù)據(jù)中心節(jié)能改造效果分析

每日空調(diào)用電量節(jié)能效果見(jiàn)表3，改造后的機(jī)房pue節(jié)能量見(jiàn)表4。

圖19 為2020 年8月14日至10月20日每日空調(diào)用電量及PUE 走勢(shì)圖。

圖19中紅線為當(dāng)?shù)刈罡邭鉁刈邉?shì)圖，藍(lán)線為最低氣溫走勢(shì)圖。所示為8月14日至10月20日的空調(diào)每日用電量、PUE 及其節(jié)能率。

PUE 節(jié)能率按以下公式計(jì)算：

PUE是評(píng)價(jià)數(shù)據(jù)中心能源效率的指標(biāo)，是數(shù)據(jù)中心消耗的所有能源與IT負(fù)載消耗的能源的比值。

PUE'空調(diào)為節(jié)能改造后的空調(diào) ，，為節(jié)能改造前的空調(diào)節(jié)能率計(jì)算以8月14日至8月27日機(jī)房物理改造開始之前、盲板封閉之后的平均數(shù)據(jù)為基礎(chǔ)，14天平均空調(diào)用電量3619.2 kW/h，平均空調(diào)PUE 為1.515。從圖表中可以看出機(jī)房節(jié)能改造效果明顯，根據(jù)目前已經(jīng)完成四套方案的節(jié)能效果，空調(diào)平均電量節(jié)能率為18.9%，空調(diào)PUE平均節(jié)能率為18.3%。

表3 每日空調(diào)用電量節(jié)能效果表

表4 改造后的機(jī)房PUE節(jié)能量

圖19

7 總結(jié)

通過(guò)CFD仿真軟件在日常工程中的應(yīng)用，大部分?jǐn)?shù)據(jù)機(jī)房氣流溫度問(wèn)題可以通過(guò)數(shù)學(xué)建模來(lái)直觀體現(xiàn)。將CFD仿真結(jié)果與實(shí)際查勘測(cè)量相結(jié)合，可以看出，數(shù)據(jù)機(jī)房氣流組織的優(yōu)化是為了減少冷熱氣流摻混程度，提高冷量利用率，消除局部熱點(diǎn)。通過(guò)調(diào)整設(shè)計(jì)方案高架地板的靜壓層高度和格柵開孔率來(lái)逐步優(yōu)化氣流組織，并比較優(yōu)化方案前后的氣流組織與熱環(huán)境指標(biāo)，最終得到以下結(jié)論：

1)通過(guò)設(shè)置導(dǎo)流裝置、封閉冷通道、隔離冷熱氣流混流、封閉冷氣流漏風(fēng)點(diǎn)位、調(diào)整送風(fēng)地板布局等措施優(yōu)化氣流組織，達(dá)到消除熱點(diǎn)和冷點(diǎn)，并且減少了湍流現(xiàn)象。

2)減小溫差、精確送風(fēng)、提高換熱效率的效果。

3)調(diào)整空調(diào)輪值設(shè)定方案以及空調(diào)設(shè)定參數(shù)，降低空調(diào)運(yùn)行能耗。預(yù)計(jì)空調(diào)系統(tǒng)年平均節(jié)能率在15%以上。

4)在IDC 數(shù)據(jù)機(jī)房的暖通工程改造優(yōu)化中，CFD 仿真模擬具有一定的參考價(jià)值，針對(duì)CFD 仿真數(shù)據(jù)進(jìn)行分析與施工，能有效提升數(shù)據(jù)機(jī)房節(jié)能指數(shù)。