數據中心列間空調最佳控制模式探索

竇海波， 陳瓊環， 楊宜楠， 劉 濤

(中國聯合網絡通信有限公司深圳市分公司，深圳 518000)

0 引言

隨著大數據、云計算、5G等技術發展，數據中心的市場需求不斷增加，2018年中國數據中心機架數總計約為271.06萬個，預計到2022年將突破400萬個。數據中心作為耗能大戶，2018年中國數據中心總用電量為1 608.89億kW·h，占全社會用電量的2.35%，預計2019～2023年數據中心總用電量將增長66%，年均增長率將達到10.64%，2023年中國數據中心總用電量將達到2 667.92億kW·h。同時，國家新基建背景下對新建數據中心能耗指標(PUE)提出了更高的要求。2017年，國務院印發《“十三五”節能減排綜合工作方案》要求新建大型云計算數據中心PUE值小于1.5，而北京要求新建數據中心PUE值小于1.4，上海要求新建數據中心PUE值小于1.3，深圳對于新建數據中心PUE值小于1.25的新增能源消費量可給予實際替代量40%以上的支持。對于已投入運行的數據中心，如何通過科學的運維技術和管理方法，最大限度保證系統在最佳工況運行，如何實現節能降耗、降低PUE值，尤為重要。

數據中心用電結構主要包括：IT設備用電，約占總用電量60%～80%；暖通系統設備用電，約占總用電量20%～35%；變壓器、UPS、HVDC等電力電源設備內部損耗及辦公照明的用電，約占總用電量3%～5%；IT設備用電主要與所選用的服務器設備功率和設備效率有關，變壓器等電力電源設備損耗主要是與設備自身屬性有關，對已投入運營的數據中心，更換或改善難度大，節能空間有限，而暖通系統在節能可行性上具有較大的空間。

數據中心暖通空調系統是以空調主機為核心，配備一系列動力設備、換熱設備及控制輔助設備。以冷凍水型水冷空調系統為例，其主要耗電設備為冷水主機、冷卻水泵、冷凍水泵、冷卻塔、末端空調(精密空調、列間空調等)。各設備耗電占比分別為冷水主機62.94%、冷凍泵5.76%、冷卻泵8.80%、冷卻塔6.09%、行間空調15.48%、其他機房空調0.92%。

列間空調單體功率雖然不高，但其數量多、總功率大，在暖通系統中用電占比僅次于冷機。因此，在暖通系統全面節能的過程中，列間空調節能不可忽略。

1 列間空調控制模式及節能原理

1.1 列間空調溫度控制原理

列間空調調節微模塊冷通道溫度依靠兩種手段：水閥開度和風機轉速。通過兩個獨立的參數設定值并結合PID控制方式調整水閥的開度，使得進入列間空調的冷凍水流量發生變化。同理，調整風機轉速以達到改變冷通道風量的目的，其工作原理如圖1所示。兩者相互作用，最終將冷通道維持在目標溫/濕度。

圖1 列間空調工作原理簡圖

1.2 多種控制模式

列間空調設備為應對不同場景的使用環境，水閥和風機的控制設有多種模式，以某品牌列間空調的控制模式為例，其中水閥開度有4種控制模式(出風平均、出風熱點、回風平均、回風熱點)，風機轉速有7種控制模式(回風平均、出風平均、回風熱點、出風熱點、溫差平均、溫差熱點、壓差控制)。微模塊每臺列間空調冷、熱通道均設有上、中、下3個溫度傳感器，“出風平均”為所采集的3個微模塊冷通道溫度的平均值作為控制目標；“出風熱點”為所采集的3個微模塊冷通道溫度的最大值作為控制目標。同理，“回風平均”和“回風熱點”是以微模塊熱通道的3個溫度的平均值和最大值作為控制目標；“溫差平均”和“溫差熱點”中的溫差是指微模塊冷熱通道溫差，每臺列間同樣對應3個數值；“壓差控制”為冷熱通道環境的壓力差值。

1.3 列間空調節能原理

列間空調主要的耗電設備是風機，因此若要降低列間空調能耗，需優先通過水閥開度來調節冷量，超出水閥開度調節范圍后再調節風機轉速，盡可能保持風機低轉速運行。然而暖通系統在設計階段出于安全考慮，系統冷量有一定冗余，且運行服務器的類型和功率情況不同，水閥開度一般達不到100%(容易出現低溫)，風機轉速也不能太小(容易出現局部熱點)。因此，如何在保證冷通道目標溫度情況下，盡可能增大水閥開度，降低風機轉速，是列間空調節能的關鍵。然而，列間空調運行工況調整不僅是微模塊環境的參數和自身功耗的改變，還有可能會引發暖通系統其他主設備如冷水主機、冷凍水泵等功率發生變化。因此，針對列間空調不同控制模式下，本文將以溫度控制穩定性、耗電量及暖通系統整體用電變化作為評價指標，探索列間空調最佳控制模式。

2 列間空調多種控制模式試驗

2.1 試驗對象

深圳某數據中心微模塊機房，房間微模塊數量10個，設計機柜數量180架，單機柜功率7kW；單個模塊設有5臺列間空調(4用1備，自動輪巡)，每臺列間空調配置14臺95W(48V)離心式風機。機柜布置平面圖和微模塊結構平面詳見圖2～3。

圖2 模塊機房機柜布置平面圖

圖3 微模塊結構平面示意圖

2.2 試驗目標及方法過程

2.2.1 邊界條件

微模塊冷通道溫度平均溫度維持在21℃；優先通過改變水閥設置參數來調整冷量，即每種模式在保持冷通道溫度工況下，水閥開度最大、風機轉速最低的工況；冷通道無高溫或低溫告警。

2.2.2 試驗方法

在調節過程中，設置水閥控制溫度以1℃的調整幅度為基準，調節過程中為保證設備運行安全，出風溫度應該高于露點溫度3℃，避免服務器表面結露，冷通道平均溫度在21±0.5℃，模塊無局部熱點現象。最終比較各模式下列間空調的用電量。

每種模式切換調節后，至少觀察12h，待模塊內冷通道溫度穩定，每種模式運行時間至少48h，選取IT功率、室外濕球溫度相近的列間空調用電數據。

2.3 試驗結果分析

2.3.1 控制模式說明

封閉冷通道的微模塊主要關注的參數是冷通道的溫度和相對濕度，即監控列間空調的送風溫度。水閥開度作為優先調節微模塊溫度的方式，選擇出風溫度控制更為直觀穩定，若選擇回風溫度控制容易出現溫度過低或過高的現象。實際試驗過程中采用回風溫度模式控制水閥開度時，若想增大水閥開度，則需降低其回風溫度設定值，導致熱通道溫度降低，冷熱通道溫差下降，這有悖于封閉冷通道理念。同時若風機為出風溫度控制，為保證冷通道溫度，其設定點不能過高，即風機轉速偏高，否則容易出現局部熱點，空調耗電量增加。若風機也采用回風溫度控制，則風機、水閥開度均以熱通道溫度為目標，無法保證冷通道溫度，對業務安全有很大隱患。對此，現場人員就該模式問題與列間空調廠家溝通，廠家答復和上述一致，也不建議采用回風溫度控制水閥開度。因此，出于為業務的安全、穩定和列間空調節能原理考慮，水閥控制模式不采用回風控制。而風機的壓差控制模式由于機房的列間空調未安裝風壓傳感器，該項模式亦無法測試。

2.3.2 試驗結果

本次試驗共完成12種列間空調控制模式參數調節，其試驗結果如表1所示。

列間空調12種控制模式實測數據 表1

由表1可知，(1)在列間空調風機控制模式相同的情況下，水閥控制模式為“出風平均”時空調耗電量高于“出風熱點”。(2)在相同的水閥控制模式下，風機控制模式為“出風熱點”時，列間空調風機轉速最高，耗電量最大。(3)在水閥控制模式為“出風熱點”、風機控制模式為“溫差熱點”和“溫差平均”時，列間空調水閥開度合理，風機轉速較低，列間空調耗電量最小。

分析造成上述結果主要原因：(1)相同的風機控制模式、同樣的冷通道平均溫度下，冷通道出風熱點溫度大于出風平均，即在相同工況下，水閥控制模式為“出風熱點”時，相比于水閥“出風平均”模式，其水閥開度更早地增加其開度，保證冷通道溫度，避免風機轉速升高，因此水閥控制模式為“出風平均”時空調耗電量高于“出風熱點”。(2)同理，當風機“出風熱點”控制時，由于冷通道服務器負載率的變化，出風熱點的敏感性高，只要某一測點溫度達到設定值，風機轉速就會增加，而且其變化較為頻繁，所以在相同的水閥控制模式下，風機控制模式為“出風熱點”時，列間空調風機轉速最高，耗電量最大。(3)水閥為“出風熱點”控制模式，提高水閥控制的敏感性，盡可能使水閥開度增加；同時風機轉速采用冷熱通道溫差控制，避免了只有出風、回風熱點或出風、回風平均參數單一容易引起波動的情況，微模塊冷熱通道溫差相對穩定，風機轉速減少突增工況，風機耗電量減少。

2.4 其他暖通主要設備用電變化情況

列間空調作為暖通系統的重要組成部分，其參數調整可能會引起暖通系統其他設備的運行工況。因此，測試期間同時記錄暖通系統其他主要設備(冷水主機、冷凍水泵、冷卻水泵、及冷卻塔)的用電情況，詳細數據如表2所示。

不同控制模式下用IT負載及暖通系統其他主要設備日用電量 表2

將主要制冷設備用電量(冷水主機、冷凍水泵、冷卻水泵、及冷卻塔用電量之和)與室外濕球溫度及機房總IT用電量分析比較，其變化情況如圖4～5所示。

圖4 主要制冷設備用電量與室外濕球溫度變化

圖5 主要制冷設備用電量與總IT用電量變化

由表1及圖4～5數據可知：(1)試驗過程機房IT總功率和較為穩定，室外濕球溫度變化較小。(2)暖通系統其他主要設備用電量變化范圍小，其變化主要跟隨室外濕球溫度的變化及IT設備用量。

因此，本次試驗只在某一模塊機房進行，水閥開度的變化幅度有限，對暖通系統其他設備的用電影響基本可以忽略。其他主要暖通設備在列間空調調試過程中，其用電量變化較小，引起變化的因素主要是室外濕球溫度及IT用電用電量的變化。

2.5 機房整體列間空調用電變化

上述試驗因測試的列間空調數量和IT設備功率有限，“溫差熱點”和“溫差平均”兩種模式的列間空調用電基本相近。為更加準確的對兩種模式用電情況進行對比，將試驗對象拓展到機房現有61個微模塊的所有列間空調。在水閥控制模式均為“出風熱點”的情況下，對風機控制模式為“回風熱點”“溫差熱點” “溫差平均”3種用電情況進行比對，各運行7天，并取其平均值，詳細數據如表3所示。

機房所有列間空調用電 表3

由表3可知，機房列間空調在水閥為“出風熱點”下，在機房IT設備用電量接近情況下，風機控制為“溫差平均”時耗電量最小，PUE因子也最低，其次為“溫差熱點”和“回風熱點”。

3 結束語

通過在深圳某數據中心微模塊機房對列間空調12種溫度控制模式進行試驗對比，對于封閉冷通道、側送風、側回風的微模塊列間空調，以模塊冷通道溫濕度穩定性及列間空調用電量為評價指標，最終得出在水閥控制模式為“出風熱點”、風機控制模式為“溫差平均”時，微模塊冷通道溫度穩定可控，且列間空調耗電量最小。