數字孿生數值模擬平臺實現數據中心節能降耗分析

鄭品迪

（北京瑞思博創科技有限公司，北京 100036）

0 引 言

雙碳環境下，數據中心面臨很大的節能減排壓力。2021年12月8日，國家發展改革委等四部門印發《貫徹落實碳達峰碳中和目標要求推動數據中心和5G 等新型基礎設施綠色高質量發展實施方案》，提出新建大型、超大型數據中心運行PUE 不高于1.3，現存數據中心PUE 超過1.5 的要進行節能降碳改造，上架率低于50%的不支持規劃新建數據中心。但是目前，根據CDCC《2021年中國數據中心市場年報》數據，2021年全國PUE 平均水平是1.49，與國家要求2023 達到平均1.30 還有0.19 的差距，往往PUE 在數值低位時每降低0.1都要付出巨大代價。

華中、華南地區受地理位置和上架率及多種因素的影響，數據中心平均PUE 值接近1.60，存在較大的提升空間。所以我們需求一種技術可以有效指導數據中心降耗。本文提供一種數據中心數字孿生數值模擬平臺實現機房節能降耗分析，主要體現在以下幾點：（1）數字孿生節能途徑與節能平臺架構模型。（2）平臺架構數值模型要素分析，關鍵模型節能原理。（3）在節能平臺架構上實現的成功案例分析。

本文主要討論運營機房的節能應用。

1 數字孿生節能途徑與節能平臺架構

如何通過數字孿生數值模擬實現機房節能呢？首先需要了解機房的節能途徑，以及數字孿生平臺的節能框架，了解在這個框架下需要集合哪些功能才能實現節能分析，然后是數字孿生模型要素的分析以及實現的效果。

1.1 機房節能途徑

圖1為數據中心能耗的典型構成圖，來源于ASHRAE TC9.9 的報告，空調制冷是機房能耗的主要構成部分，數字孿生數值模擬的目的就是降低冷卻系統的能耗。

圖1 機房能耗分布圖

對于運營數據中心節能的途徑歸納為以下兩種：物理結構方法和可控參數方法。

1.1.1 物理結構方法

物理結構方法指的是通過增加或者調整機房內的物理結構，改善冷卻系統的運行效率實現節能?？刹捎玫姆椒òǎ簷C柜增加盲板、密封條，空調送風路徑上增加導流板，設備安裝冷熱氣流隔離板，合理規劃IT 設備上架位置等。

所有這些物理改造方法都是有指導的，預先評估過的方法，如果盲目改造可能出現機房安全隱患。數字孿生數值模擬方法可以在創建的數字孿生模型上實施改造過程，預測改造的結果，通過指標評估改造方法的可行性，綜合考慮機房的安全、能效與改造的關系。

1.1.2 可控參數方法

數據中心出現的能耗或者熱點問題不一定都能通過物理結構優化解決，這就考慮到了另一個節能改造的方向，通過參數控制實現節能?？刹捎玫姆椒òǎ?/p>

首先是優化冷卻設備的控制值，比如：（1）提高行級冷凍水空調的控制回風溫度，可以實現節能。（2）提高末端風機的控制溫差可以減少風機轉速實現按節能等。（3）提高冷凍水溫度可以實現節能。

然后是最佳備機方案選擇，尤其是空調末端采用冷備份時，開啟空調的數量直接影響機房冷卻系統的能耗。

可控參數方法要求數字孿生數值模擬具有末端空調、冷凍水系統控制能力，比如回風溫度控制時如何實現的？風機溫差控制如何實現？空調是否具有風機和制冷開啟關閉能力？

1.2 數字孿生數值模擬節能平臺架構

通過上面的節能途徑可以看出數據中心數字孿生數值模擬平臺不是單純的通用的CFD 解決方案，需要體現以下特性：（1）創建的數字孿生模型體現數據中心基礎實施的關鍵能耗設備，包括冷卻設備、機柜與IT 設備、電力設備等模型，以及相關參數。（2）體現冷卻系統的控制能力以及冷卻系統形式，包括直接膨脹式空調、冷凍水空調等更多樣式的空調。（3）集成可評價的機房能效指標。（4）節能效果評價。

2 平臺架構數值模型要素分析

根據數字孿生數值模擬節能平臺架構要素，分析機房主要設備核心參數，每種模型都會設計到平臺部分或者全部要素，通過要素之間的相互所用，在數字孿生數值模擬平臺下實現節能分析。

2.1 冷卻系統模型

冷卻系統模型包括冷機和空調末端，在進行節能分析的時候需要考慮這兩個關鍵設備的能效相關參數，需要考慮的主要因素包括2.1.1 ～2.1.3 三個方面的內容。

2.1.1 需要支持冷機效率設置

圖2為某離心冷水機組在不同冷凍水溫度下的功率與COP。離心冷水機組冷量750 RT（2 640 kW），冷卻水溫度32/37 ℃，冷凍水供回水溫差5 ℃。

圖2 某離心冷水機組在不同冷凍水溫度下的冷機功率與COP

冷凍水供水溫度提高2℃，供回水溫差均為5 ℃時。以供回水溫度為10/15 和12/17 為例，10/15 供回水時壓縮機功率約453 kW，12/17 供回水時壓縮機功率約427 kW。提高2℃節能百分比＝（453-427）/453 ＝5.7%

同樣對于直接膨脹式精密空調末端，當回風溫度增加時機組制冷量與能效也相應增加，圖3為某廠商精密空調的在冷凝溫度為45 ℃的性能。

圖3 精密空調能效曲線

在25 ℃～40 ℃范圍內，回風溫度每提高1 ℃，能效平均提高3.3%。

2.1.2 需要支持空調末端控制

多樣的控制方式實現主要分為兩大類：獨立控制和群組控制。

獨立控制：（1）控制方式：送風控制、回風控制、差值控制.（2）控制參數：溫度、壓力.（3）被控制設備：水閥、風機，其中，水閥通過回風溫度控制，風機轉速通過溫差控制；水閥通過回風溫度控制，風機轉速通過壓差控制；水閥和風機轉速都通過回風溫度控制。

群組控制：設備控制參數同獨立控制，群組控制體現一個主空調控制器控制其他空調。

2.1.3 需要支持不同的風機類型

圖4為鼓風機與下沉式EC 風機在精密空調內的位置與出風形式。

從圖4中可以看出不同風機類型與安裝位置會顯著影響風機的出風形態，所以節能平臺不能忽略風機的影響，需要考慮的主要參數為：（1）風機安裝位置。（2）風機的類型設置：鼓風機、EC 風機、軸流風機等。（3）風機的出風角度：不同的葉片安裝角度導致風機的出風方向會有較大差異。（4）風機的導風罩：帶弧度的導風罩、箱式導風罩，以及可能的接出風管等。

圖4 空調風機類型對氣流的影響

除了要體現上述結構等參數外，運營機房空調的實際運行風量因現場流動阻力條件實際輸出風量是不確定的，所以還需要測試空調的運行風量。

2.1.4 節能分析

在數值模擬平臺上進行節能分析可以通過四個方法實現：PUEr 評估指標分析、冷凍水節能量估算法、空調因子計算節能量、平臺內置節能量分析。

PUEr評估指標分析：可以用PUEr 來分析機房能耗情況，來自綠色網格組織的指標，指定了PUEr 等級。PUEr 計算：PUEr（）=PUEre（）÷PUEactual， 其中PUEre（）是等級中最小的PUE 值；PUEactual：機房目標PUEr 等級。

冷凍水節能量估算法：根據《中央空調冷水主機變冷凍水溫對系統節能的影響分析》的數據，可以按照冷凍水升溫按照水溫提升1 ℃冷機節能率約為3%計算節能量計算。

空調因子計算節能量。空調因子是PUE 的構成部分，在利用數字孿生數值模擬平臺進行冷卻系統能耗分析的時候可以重點突出空調因子的影響：PUE ＝（IT 設備能耗＋空調能耗＋供電系統能耗）/IT 設備能耗＝1 ＋空調因子＋供電因子。

平臺內置節能量分析：這是推薦的節能計算方法，因為是數值模擬平臺集成的功能，所以在分析上會有很大的便利性，只需要創建數值模型，在計算結束后就可以得到年節能量、機房效率指標等重要模擬結果。如果要實現平臺內置的節能量分析可通過以下步驟實現：（1）需要定義系統COP 與冷凍水供水溫度，空調末端的顯冷量與回風溫度的關系。（2）需要定義機房規劃情況，包括冷卻冗余、機房安全熱余量、電費、電力、冷卻、氣流等容量。（3）包含內置機房PUE、各種電力設備功耗統計、效率指數計算模型。（4）通過上述設置可以得到機房能耗評價情況，包括：房間效能、PUE、電力明細表、機房效率與性能指標、潛在節能量等。

2.2 機柜與IT 設備模型

機柜與IT設備模型需要考慮的主要因素是風量和發熱。

2.2.1 風量設置

實際運行風量由現場的實際部署情況決定，風量設置可以采用兩種方法：定義進出風溫差和定義風量。

定義進出風溫差即固定機柜的進出風溫差，這是最簡單的邊界條件，建議在機房設計階段采用，運營機房不建議采用，如果用統一的固定的值會與現場實際情況差異較大。

定義風量有兩種方法可以獲得IT 設備的風量：通過測試溫差獲得風量和直接測試風量。

通過測試溫差獲得風量即實際測試不同IT 設備型號在不同負載率下的進出風溫差，根據溫差和功率確定服務器的風量。根據公式=××Δ確定風量的，式中只有為未知數，因此可以根據測試數據得出IT 設備的流量。

圖5為實測的某國內廠商IT 設備的風量進風溫度變化的數據。其中，橫坐標為IT 設備進風溫度，縱坐標為服務器流量，當進風溫度升高時設備流量逐漸增加，可以將此值設置到數值模型中就能很好體現設備的流量條件。

圖5 服務器流量與IT 進風溫度關系

現場測試時建議在服務器出風口增加15 cm 的光滑導風管，使出風混合均勻，如果現場條件不允許的化盡量將傳感器緊貼布置在服務器出風口，減小空間氣流的影響。測試點位通常要求IT 設備出風口測試8 ～12 個點，布置于導風管出口處，進風口1個點位。測試設備為溫度采集儀+T型熱電偶。

直接測試風量即實際測試不同IT 設備型號在不同負載率下的出風風速，取測試的平均風速與面積的乘積計算出流量。鑒于風速傳感器與現場條件測試結果會有較大誤差，不建議采用這種方法。

除了上述兩種方法外，平臺還應提供標準參數，圖6（a）（b）分別為EnergyStar 和ASHRAE 標準的IT 設備流量設置。流量單位為l s/kW，體現流量和IT 設備進口溫度、負載率的關系，當負載率增加的時候流量增加，進風溫度增加的時候流量增加，模擬服務器內部風機的控制邏輯。圖6（a）EnergyStar 為單條曲線，圖6（b）ASHRAE 采用高、中、低三條流量曲線設置，根據需要進行選擇。

圖6 IT 設備流量推薦設置曲線

2.2.2 功率設置

采用實際運行功率，假設100%轉換成發熱。

2.3 出風地磚模型

出風地磚模型需要考慮的主要因素包括：出風地磚阻力與流動特性。

在風洞中對詳細的出風地磚模型進行模擬，以捕捉氣流特性。創建簡化模型并調整設置以匹配詳細模型的結果。圖7為詳細模型與簡化模型，實際數字孿生模型中使用簡化模型。

圖7 出風地磚模型

為了使簡化模型體現實際模型的流動特性，需要在測試風洞中進行出風地磚的流動阻力與流動形態驗證，流動阻力特性獲得流阻曲線，如圖8所示，簡化模型與詳細模型有相同的流動阻力特性。

圖8 出風地磚模型簡化前后流動阻力曲線

如果需要可以調整流動角度，有時需要將附加結構到簡化模型中，保證地板出風口的流動特性與詳細模型一致。如圖9所示。

圖9 出風地磚模型簡化前后流動形態

2.4 機房評估指標

節能平臺從三個維度上說明機房的評估指標，包括機房健康指標、機房容量指標、機房績效指標。限于篇幅，本文只介紹機房健康指標、機房容量指標。

2.4.1 機房健康指標

機房健康指標可以分為流量、溫度、熱量三類指標，如表1所示。

表1 機房健康指標

2.4.2 資源利用率指標

資源利用率的目的是優化機房容量，使其均衡發展。容量包括電力、冷卻、氣流、空間、端口等。

容量用于規劃機房各系統的匹配運行，減少因某些容量耗盡引起的容量碎片化，通過容量規劃最大化機房利用率。

為資源不平衡率，為容量個數，為某個容量，≠，=1，2，…，，為組合數。

3 節能平臺架構上實現的成功案例分析

該機房是一個運營商機房，案例特點完成了數值模擬與改造方案實施，節能效果驗證全過程分析。

3.1 機房基本情況

機房面積260 m，機房凈高4.4 m。共包含4 個微模塊、102 個機柜和32 個行間級空調，機房設計IT 負載為510 kW，封閉冷通道，現狀機柜總輸入功率138.7 W，空調控制回風23 ℃，額定風量5 023 CMH，制冷量21.9 kW。

該機房過熱機柜為刀片服務器機柜，單機柜功率3.4 kW，最大進風溫度為29.09 ℃。

3.2 節能優化分析過程

首先，通過模擬驗證表2所示方案的升溫的可行性，排除機柜過熱隱患。下述三個方案均可以將IT 設備進風溫度控制在27 ℃以內，根據現場條件按照方案一實施升溫方案，實際升溫2 ℃。

表2 改造方案

（2）實際測試升溫前后IT 設備的進風溫度變化，驗證升溫前后的模擬精度。圖10 為升溫前后抽樣選取的部分IT設備進口溫度的模擬與實測值對比情況，大部分模擬精度在5%以內，滿足業主需求。

圖10 升溫實施模擬精度

（3）核算模塊空調末端經過升溫后的節能量，讀取動環系統同時段的電能數據轉化為功率，得到圖11 升溫前后空調末端的功率kW，機房升溫2℃空調末端節能8.1%。

圖11 升溫前后空調末端功率變化

4 總 結

數字孿生數值模擬平臺實現數據中心節能降耗分析的方法，相對于通用數值模擬軟件根據有針對性，集成數據中心基礎實施的關鍵能耗設備，包括冷卻設備、機柜與IT 設備、電力設備等模型，以及相關參數，體現冷卻系統的控制能力以及各種冷卻系統形式，結合機房能效評價指標，實現機房各種節能方案效果的評估計算。

在節能平臺架構上實現的成功案例是運營商機房節能改造評估，通過數值模擬與現場改造方案實施驗證，充分證明數字孿生數值模擬節能平臺節能評估的可靠性。

本文提出了側重于經驗的可行的數據中心節能分析方法，在雙碳環境下，為數據中心節能減排提供有益的指導。