數據驅動的數據中心氣流組織預測綜述

苗益川 朱兵 岳天亮 呂麗 喬盤

摘? 要： 在構建基于動態優化的數據中心能效實時控制系統的過程中，數據中心氣流組織分布的實時預測至關重要。傳統的計算流體動力學方法求解時間較長，無法滿足這一需求。隨著數據驅動建模技術的發展，很多學者開始將其應用在數據中心參數預測領域，該方法使數據中心氣流組織的實時預測成為可能。本文總結了基于數據驅動的穩態工況和瞬態工況的氣流組織研究，并對技術路線進行梳理，可為氣流組織預測模型的選擇提供參考。

關鍵詞： 實時預測； 氣流組織； 數據驅動； 計算流體動力學

中圖分類號：TP311.1? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2023）04-96-05

Abstract： In the process of building a data center energy efficiency real-time control system based on dynamic optimization， real-time prediction of airflow organization in data center is very important. Traditional computational fluid dynamics method cannot meet this requirement because of its long solution time. With the development of data-driven modeling technology， many scholars begin to apply it in the field of data center parameter prediction. This method makes it possible to predict the airflow organization in data center in real time. In this paper， the study of airflow organization based on data-driven steady and transient conditions is summarized， and the technical route is sorted out， which can provide a reference for the selection of airflow organization prediction models.

Key words： real-time prediction; airflow organization; data-driven; computational fluid dynamics

0 引言

數據中心是信息技術發展的關鍵基礎設施，隨著新一輪技術變革的推進，近十年我國數據中心數量保持高速增長[1]。數據中心消耗的能源中約20%～45%的能耗用于冷卻系統，并占運行成本的大部分[2]。制冷系統節能潛力大，開發動態優化的數據中心能效實時控制系統是目前行業的迫切需要。氣流分布實時預測是開發控制系統的必要條件。

CFD是預測數據中心氣流分布的最常用工具，但預測過程中需要消耗大量的計算資源，求解時間較長，求解時間與模型的網格數量正相關，為了得到更準確的預測結果建模過程中通常需要根據機房實際大小劃分幾十萬到幾千萬的網格，求解過程通常需要幾十分鐘以上，使用CFD工具難以對數據中心的溫度進行實時預測。但數據驅動預測方式的出現使數據中心氣流組織的實時預測成為可能，很多學者開始將數據驅動模型應用于數據中心氣流組織預測領域。數據驅動分為基于機器學習或統計學兩種方式，采用統計學框架的方法為POD（Proper Orthogonal Decomposition）該方法應用已較為成熟，其插值預測精度較高但外推預測精度差，添加新的預測點時，需要重新計算POD系數，復雜且耗時長，因此本文涉及較少；基于機器學習框架的預測方法非線性擬合能力強，近期研究成果較多，主要是文章的總結內容。本文總結了近年數據驅動方式在數據中心氣流預測領域的研究成果及不同的研究方法，比較了不同模型的預測性能，分別針對穩態預測和瞬態預測進行概括，為選擇合適的預測方法提供參考。

1 穩態預測

1.1 高架地板入口氣流預測

SONG Zhihang[3]創建了基于CFD數據的數據中心高架地板入口氣流速度預測神經網絡和溫度預測神經網絡，取得了與CFD數據一致的結果。為了盡可能減少模擬次數且保證數據集不塌陷，采用拉丁超立方抽樣構建樣本后通過CFD模擬建立數據集，采用LM算法對神經網絡進行迭代訓練。

速度預測神經網絡結構為（2-8-15），兩個輸入變量為靜壓箱深度和高架地板開孔率，輸出層15個神經元分別對應服務器編號1～15前方穿過高架地板氣流的平均速率，分別使用85組和16組CFD數據對流速預測神經網絡進行訓練和驗證，訓練后的神經網絡平均相對誤差為0.5%。

溫度預測神經網絡結構為（9-20-15），九個輸入變量分別為：六塊高架地板開孔率、送風溫度、CRAC的流量和靜壓室高度，輸出層為15個神經元，分別對應服務器編號1～15前方穿過高架地板氣流的平均溫度。通過調整訓練集與驗證集組合檢查該神經網絡的穩定性，不同比例數據集的誤差如表1所示，當驗證集增加到80組時相對誤差升高，出現過擬合現象。采用誤差最小的數據集組合方案四對神經網絡進行優化。通過增大或減少不同輸入變量，評估各個變量的敏感性，四個開孔率變量因靈敏度較低而被刪除，優化后的神經網絡結構為5-9-15，表2顯示了該神經網絡的相對誤差隨數據集的變化，簡化后的網格具有更好的精度和穩定性。在神經網絡優化過程中，減少低敏感度變量的個數是非常有必要的。

1.2 機柜進出口氣流預測

Athavale等[4]比較了人工神經網絡（ANN）、支持向量回歸（SVR）、高斯過程回歸（GPR）三種機器學習方法在預測數據中心機架入口溫度穩態分布時的性能。采用拉丁超立方抽樣從空調風機轉速、空調回風溫度、A行機柜負載率、B行機柜負載率四個變量中抽取300組輸入參數組合，使用CFD工具建立訓練集，預測變量為36個，包含九個機架共36個測溫點。使用LM算法對神經網絡進行訓練，神經網絡結構為（4-27-36）。SVR模型和GPR兩種模型均為單輸出，為了獲得溫度剖面分別訓練了36個SVR模型和GPR模型，將預測結果分別進行組合。如圖1所示，三種預測模型中GPR模型的平均絕對誤差最小約為0.6℃，ANN與SVR均為0.7℃，誤差均在較小范圍內。值得注意的是在三種預測模型中靠近機柜頂部的位置預測誤差均較大。這主要是由于三種預測模型無法捕捉機柜頂部位置的氣流再循環效應。機架頂部的服務器風扇可以從機架后面吸入熱空氣，以彌補冷卻風量的不足，引起熱空氣發生再循環，從而導致熱點。

此外，數據集數量對模型誤差的影響不可忽視，圖2顯示了樣本數量從50增加到500時，對三種模型預測誤差的影響。樣本數量從50增加到300時，三種模型溫度預測的誤差呈現出單調遞減的趨勢，當從300增加到500時沒有觀測到誤差的明顯下降。值得注意的是GPR建模的隨機性使其在面對小噪聲數據時集表現出較強的處理能力，即使樣本數為50仍可以保持小于1℃的預測誤差。

Tsukamoto等[5]人開發了基于CFD數據的深度神經網絡（DNN）回歸預測模型，與其他研究不同的是該模型可根據低網格數模型計算出的機柜出口風速對高網格數下的機柜出口風速做出預測，通過神經網絡對CFD計算的結果進行優化，在確保計算精度的同時避免求解時間增加。該模型如圖3所示，以低網格數模擬結果為輸入數據，高網格數模擬結果為參考值。

為了盡可能多的涵蓋不同工況，選取了五個影響氣流分布的操作參數進行多工況模擬，五個操作參數分別為：高級地板穿孔率、機柜格柵穿孔率、三部空調送風速度。該深度神經網絡共有八層，512個節點，使用Optuna工具進行調參，預測效果如圖4所示，低網格數模型預測精度顯著提高，23750網格數的預測精度接近50萬網格模型CFD模擬精度，預測時間從600s減少到20s。

FangQiu等[6]提出了使用神經網絡的快速溫度預測模型（FTEM， Fast-Temperature Evaluation Model），該模型考慮了流量、機架功率分布、空調送風溫度三個關鍵因素對機柜進出口溫度的影響，并且對比了BP（Back Propagation）、RBF（Radial Basis Function）、ELM（Extreme Learning Machine）三種增強型神經網絡在該模型中的表現。具體流程如圖5所示。

在建模的過程中，將數據中心傳熱模型抽象為熱網絡，機架和空調抽象為熱網絡中的熱節點，節點的入口值即為機柜入口溫度，出口值為機柜出口溫度。熱網絡中的連線表示不同節點間的熱交換，數據中心內部的空氣再循環可以視為節點之間的交叉干擾。節點進出的溫度關系則可以表示為：

其中，[Tin]為節點入口溫度向量，[Tout]為節點出口向量，[Φ]為交叉干涉系數矩陣。通常需要進行多組CFD模擬，獲得多組[Tin]和[Tout]計算出交叉干涉系數矩陣[Φ]。使用神經網絡模擬流量向量F與[Φ]之間的非線性關系。該模型有N個輸入分別對應[F]中的各個元素，輸出則分別對應[Φ]中的各個元素。為了驗證不同神經網絡的預測性能，基于FTEM模型對比了BP、RBF、ELM三種增強型神經網絡的MAE（Mean Absolute Error）、MAPE（Mean AbsolutePercentage Error）、RMSE（Root Mean Square Error），結果見表3。其中RBF精度為最佳，ELM精度與RBF精度接近，在三種神經網絡中學習時間最短，BP精度最差，但其MAE最大值為0.29℃、RMSE最大值為0.32℃，小于0.5℃的溫度測量不確定度，可滿足預測需求。由于物理模型的簡化，FTEM模型可以實現毫秒級的溫度分布預測。

2 瞬態預測

2.1 常規工況變化

Saiyad等[7]使用神經網絡對常規工況下機架級溫度分布和設施級溫度分布變化進行預測，并對比了各個神經網絡的相關系數R和均方誤差，具體內容見表4。機架級溫度預測神經網絡模型均為單輸入多輸出結構，輸入變量分別為服務器負荷、高架地板入口流速，輸出變量為16個（每個機架進口溫度分布測點八個，出口溫度分布測點八個）。設施溫度分布預測的神經網絡為多輸入多輸出結構，輸出變量分別為64個和48個，對應于不同行機柜。所有案例的R值均在0.99以上，表明預測值與實際值有很強的相關性，均方誤差均在可接受范圍內。可在30s內實現未來300～500min內的工況預測，解決了CFD工具無法實現的快速預測。

2.2 空調失效工況預測

Athavale等[4]比較了ANN、POD、SVR和GPR模型在數據中心空調失效后500s內機架入口溫度的絕對預測誤差和變化，其結果如圖6所示?？照{失效后的前200s內的數據用于訓練模型和測試插值精度，后300s的數據用于測試外推精度。在200s內所有模型的插值預測誤差均遠遠小于0.5℃的不確定度，但在200s～500s區間的外推預測中所有模型的誤差都開始增加，其中GPR和SVR模型預測溫度單調遞減，與實際溫度變化情況相反，ANN模型預測溫度在200s-250s區間迅速上升隨后保持不變，只有POD模型溫度變化趨勢與實際相符。SVR模型與GPR模型外推結果受所選核函數的影響，在預測過程中這些模型會在訓練數據集中尋找距離輸入值最近的訓練輸入值，隨著輸入值與訓練輸入值的增加，預測值逐漸接近訓練數據集的平均值。

3 總結

綜上所述，用數據驅動方法可以實現氣流組織的快速準確預測，計算效率滿足實時控制系統的需要。神經網絡是目前應用最多的模型，其多輸出、非線性的特點滿足了數據中心氣流組織往往需要進行多點預測的需求，SVR和GPR模型單輸出的特性增加了工作量；在模型建立之前對機房內傳熱模型進行簡化，可以減少預測時間。此外，影響數據中心氣流分布的因素較多且影響強度無法確定，使用分析函數對輸入變量進行降維，可以提高預測精度和穩定性；在瞬態工況預測中，神經網絡、POD、SVR和GPR的插值預測精度均較高，但SVR和GPR模型受核函數的影響，外推誤差較大，并且無法預測溫度變化趨勢。接下來，需要針對提高模型的瞬態外推預測精度進行研究，并在氣流組織預測基礎上開發出實時最優操作條件預測模型，為數據中心提供有效的實時熱管理工具。

參考文獻（References）：

[1] 丁肇豪，曹雨潔，張素芳，等.能源互聯網背景下數據中心與電力系統協同優化（一）：數據中心能耗模型[J/OL].中國電機工程學報，2022（1）：1-18

[2] 張海南，邵雙全，田長青，等.數據中心自然冷卻技術研究進展[J].制冷學報，2016，37（4）：46-57

[3] Song Z， Murray B T， Sammakia B. Airflow and?temperature distribution optimization in data centers using artificial neural networks[J]. International Journal of Heat and Mass Transfer，2013，64：80-90

[4] Athavale J， Yoda M， Joshi Y. Comparison of data driven modeling approaches for temperature prediction in data centers[J]. International Journal of Heat and Mass Transfer，2019，135：1039-1052

[5] Tsukamoto H， Sogawa Y， Matsuda K， et al. High-speed Search for Optimal Operation Parameters of Air Conditioning System in Data Center by Using Regression Prediction and Deep Reinforcement Learning on CFD Simulation[C]//2021 60th Annual Conference of the Society of Instrument and Control Engineers of Japan （SICE）. IEEE，2021：105-112

[6] Fang Q， Li Z， Wang Y， et al. A neural-network enhanced modeling method for real-time evaluation of the temperature distribution in a data center[J]. Neural Computing and Applications，2019，31（12）：8379-8391

[7] Saiyad A， Patel A， Fulpagare Y， et al. Predictive modeling of thermal parameters inside the raised floor plenum data center using Artificial Neural Networks[J]. Journal of Building engineering，2021，42：102397

*基金項目：貴州省科技支撐計劃項目（No.2017YFB0902100）

作者簡介：苗益川（1996-），男，河北石家莊人，碩士研究生，主要研究方向：數據中心氣流組織。

通信作者：朱兵（1967-），女，貴州貴陽人，碩士，高級工程師，主要研究方向：分布式能源系統、數據中心節能技術。