基于精密采集平臺的數據中心能耗研究

劉 金 李 劍 趙 龍 姚 遠 馬宇婧 李 同

中國電信股份有限公司南京分公司

0 引言

中國電信南京（吉山）云計算數據中心位于江蘇省南京市江蘇軟件園，用地規模186畝，總規劃建筑面積30.6萬平方米，是江蘇電信四大DC區域之一，吉山數據中心園區積極應用綠色低碳和數字化運維管理技術，采用中高水溫中央空調系統、機房使用一級能效變頻水泵、80%的機房采用水冷列間及熱管背板式末端空調，由冷凍水直接進入機房換熱，減少中間損耗，完善管理，提供節能手段，實時顯示各系統及主要耗能部件的能源使用情況。通過能耗分析及時發現節能盲點，有針對性地提升節能水平。在提高電能利用效率、降低能耗等方面采用多種技術有效措施，并獲評“2021年國家綠色數據中心”稱號。

數據中心的中央空調系統在為IT機房提供適合要求的空氣環境的同時，也帶來了巨大的能耗，中央空調系統的配置和布局都是以空調負荷為依據的，由于受天氣、機器負荷和環境條件等影響，負荷具有時變性特征，因此具有較大可調而節能空間。中國電信南京（吉山）云計算數據中心通過建立精密采集平臺，優化能耗監測手段及系統功能，實現對數據中心各運行環節能耗的準確采集。利用大數據分析技術，建立并實施中央空調系統最佳運行方案，提高運行效率。

1 研究描述

本研究主要測量吉山云計算數據中心的1#樓1層冷凍站、3層、頂樓冷卻塔用電量，測量中壓系統1層、3層變壓器進線柜用電量、低壓配電系統進線柜用電量、低壓配電柜主用配電開關用電量、UPS輸出屏下掛設備用電量、冷凍泵用電量、冷卻泵用電量、冷卻塔用電量、動環設備用電量。精密采集平臺的數據采集點位示意圖如圖1所示，通過采集點位信息，計算中央空調系統用電量、IT設備用電量及樓層總用電量。

圖1 數據采集點位示意圖

2 研究實驗概況

吉山數據中心1#樓中央空調系統共安裝了6套集中水冷空調系統（5用1備），每臺制冷量約為900RT。機房空調末端和冷凍水泵都配備UPS系統，滿足市電全斷情況下仍能實現15分鐘持續供冷。機房內冷凍水管路采用A/B路，2N完全備份的方式，即若A路出現故障時，可由B路全部帶載。

2.1 不同冷水主機水溫測試

改變冷水主機冷凍水供水溫度，針對吉山數據中心1#樓進行能耗精密采集，中央空調系統設備運行狀態如表1所示。

表1 不同冷水主機水溫測試時中央空調系統設備運行狀態

因吉山數據中心1#樓冷水主機設計時選用冷凍水供回水溫度為10/16℃，冷卻水供回水溫度為32/37℃，改變冷凍水供水溫度時，通過精密采集平臺測試中央空調系統、3層IT負載及末端空調的運行情況，研究實驗數據匯總于表2所示。

表2 改變冷水主機水溫時研究實驗數據

根據實驗數據可知，當環境溫度處于10-15℃時，開啟3臺主機及4臺冷卻塔，末端空調送回風溫度為26℃/28℃，綜合考慮中央空調系統、末端空調及IT設備時，冷凍水供水溫度為12℃時相較于10.5℃運行工況，每小時可節省265kWh；當環境溫度處于15-22℃，開啟3臺主機及4臺冷卻塔，綜合考慮中央空調系統、末端空調及IT設備時，冷凍水供水溫度為12℃時相較于10.5℃運行工況，每小時可節省185kWh。

2.2 冷卻塔不同臺數及運行頻率測試

冷卻塔不同臺數及運行頻率測試時，針對吉山數據中心1#樓進行能耗精密采集，中央空調系統設備運行狀態如表3所示。

表3 冷卻塔不同臺數及運行頻率測試時中央空調系統設備運行狀態

冷凍水供回水水溫為12/15.5℃，調整冷卻塔運行工況，通過精密采集平臺測試中央空調系統、3層IT負載及末端空調的運行情況，研究實驗數據匯總于表4所示。

表4 改變冷卻塔運行臺數及頻率時研究實驗數據

結合研究實驗所得數據，通過折線圖進行對比分析冷卻塔不同運行工況時能耗情況，如圖2所示。

圖2 冷卻塔不同運行工況時能耗情況

根據實驗數據可知：（1）調整冷卻塔的運行頻率及臺數，冷卻水供回水溫度改變，開啟冷卻塔臺數相同時，隨著頻率的減小，冷卻水供回水溫度提升且供回水溫差減小；開啟臺數增多時，冷卻水供回水溫度降低，且供回水溫差增大；（2）當環境溫度為15-20℃、濕度約30%時，開啟3臺主機，4臺冷卻塔，冷卻塔頻率為43Hz時在當前測試條件下為最佳節能效率組合；（3）當環境溫度為20~26℃、濕度約45%時，開啟3臺主機，4臺冷卻塔，冷卻塔頻率為45Hz時在當前測試條件下為最佳節能效率組合；（4）當外界環境溫濕度不同時，冷卻塔運行頻率因隨之進行調整。根據同等工況下不同冷卻塔的實時功率可知，目前吉山數據中心1#樓的3#冷卻塔實時功率較低，6#冷卻塔實時功率較高，可針對其進行檢查皮帶、風機軸承、填料等。

2.3 冷卻泵不同運行頻率測試

改變冷卻泵不同運行頻率測試時，針對吉山數據中心1#樓進行能耗精密采集，中央空調系統設備運行狀態如表5所示。

表5 冷卻泵不同運行頻率測試時中央空調系統設備運行狀態

冷凍水供回水水溫為12/15.5℃，調整冷卻塔運行工況，通過精密采集平臺測試中央空調系統、3層IT負載及末端空調的運行情況，研究實驗數據匯總于表6所示。

表6 改變冷卻塔運行臺數及頻率時研究實驗數據

中央空調系統總能耗（kWh） 496 592 622中央空調系統+3層IT+末端（kWh） 815 914 950

根據實驗數據可知：（1）當冷卻泵頻率下降時，冷卻泵和冷卻塔的能耗減小，但冷水主機及冷凍泵的能耗增大；（2）當環境溫度為10~15℃時，綜合考慮中央空調系統、末端空調及IT設備時，冷卻泵頻率為45Hz時較為節能，每小時可節約39kWh，相比35Hz每小時可節約30kWh；（3）當環境溫度為15~22℃時，在開啟3臺主機的情況下，依然是冷卻泵頻率為45Hz時較為節能，相比35Hz每小時可節約135kWh，比10-15℃時節能效果更明顯。

2.4 板換與冷水主機運行對比測試

當外界環境溫度降低且機樓負載滿足板換開啟條件時，吉山數據中心1#樓進入純板換運行狀態，對比冷水主機運行狀態，針對吉山數據中心1#樓進行能耗精密采集，中央空調系統設備運行狀態如表7所示。

表7 板換與主機對比運行時中央空調系統狀態

對比主機運行狀況為冷凍水供回水水溫為12/15.5℃。通過能耗AI監測系統測試使用板換時中央空調系統的運行情況。

表8 板換與主機對比運行時研究實驗數據

從數據分析可知在冬季條件下，綜合考慮中央空調系統、IT設備及末端空調時，純板換運行工況時每小時耗電718kWh，水溫設置為12.0℃時每小時總耗電986kWh，相較之純板換運行時每小時可節約268kWh。且參考南京地區全年每月平均氣溫，在室外環境溫度（干球溫度）低于10℃時，吉山1#樓開啟板換運行狀態，共計全年約1440小時，則可節省385920kWh，年節省電費約23.16萬元。

3 運維建議指導

中央空調系統各設備運行狀態參數的改變，不僅會對此設備的能耗產生影響，同時也會引起其他設備的能耗變化，因此，在分析中央空調系統運行狀態時，需綜合考慮各設備能耗之和，以達到整體最優運行。

綜合對比各項實驗中所獲得數據，當冷卻泵開啟3臺40Hz、冷凍泵開啟3臺47Hz及冷卻塔開啟4臺45Hz時，且負載情況維持一致，對比開啟2臺和3臺冷水主機的功耗情況，雖然冷水主機總能耗增加了135kWh，但針對整套中央空調系統而言，開啟3臺冷水主機時總能耗相較開啟2臺冷水主機的總能耗減少221kWh。開啟冷水主機的臺數與整套中央空調系統的能耗并無正比例關系，在中央空調系統運行過程中，隨著冷水主機開啟臺數的變化，冷卻塔、冷凍泵及冷卻泵的能耗會隨之產生變化，因此在日常運行維護過程中，現場需結合負載實際情況、冷水主機型號及出廠測試報告，將冷水主機的帶載率控制在最佳范圍內，即變頻機組在負載率為60%~70%時COP（主機能效比）最高，定頻機組在負載率為80%~90%時COP最高。

對比分析冷卻泵不同頻率運行時，中央空調系統總能耗可知，冷卻水泵開啟45Hz頻率運行相比40Hz和35Hz更為節能；另外，根據實驗結果數據分析，中央空調系統總能耗在冷卻泵頻率為40Hz和35Hz時若外界環境溫度不同，能耗大小會產生變化，環境溫度為11~12℃時冷卻泵35Hz相較40Hz更節能，環境溫度為20℃時冷卻泵40Hz相較35Hz更節能，因此，在數據中心建設中，盡可能選擇變頻水泵，且將功率參數盡可能滿足整棟樓的供水需求，若因某些客觀因素無法調節冷卻泵頻率為45Hz時，從而可根據客觀條件結合數據中心運行情況改變冷卻泵的運行頻率，也可取得一定節能收益。

冷卻塔的能耗受外界環境及設備配件影響程度較大，在數據中心運行的過程中，需及時調節冷卻塔運行頻率，針對磨損嚴重的配件要進行檢查更換。

冬季時，在保證數據中心安全運行的條件下，盡可能開啟板換運行，可結合建設條件，開啟板換和主機聯合運行模式或純板換運行，對降低數據中心的PUE有較好的成效。

4 研究成果

4.1 效益測算

吉山數據中心1#樓目前負載7980kW，上架率為73.7%，中央空調系統開啟3臺冷水主機，主機負載率約53%，尚未達到最佳效率區間，但基于精密采集系統平臺的測算，開啟3臺主機比2臺主機更為節能，故日常維持3臺主機運行。隨著機樓負載和上架率的增大，主機的COP會更高，整個中央空調系統的運行節能效益會更為可觀。

2021年吉山數據中心園區全年電費1.9億元（含稅），根據各機樓負荷估算1#樓占整個園區的16.9%，則吉山數據中心1#樓全年電費約3218.9萬元，則能耗AI監測平臺所獲效益約占1#樓全年電費的7.7%。

4.2 推廣應用

（1）為運轉一線人員使用，作為工具手段追求效率提升；根據采集數據統計，形成指導意見書，及時發現能耗節點進行維護調整。

（2）參考IT負載用電設備變化，實施對耗電大的設備進行更換。

（3）為節能運行提供基礎數據，便于后期分析，發現哪些系統設計是和實際運轉存在多大的偏差，為設備選型容量計算提供參考。

（4）冷凍站系統的數據監測為后期空調運轉提供操作的精細化，探尋制冷與設備散熱、設備配置、機房環境，大氣條件對能耗的影響。

（5）為后期設備選型提供指導建議。

5 結束語

數據中心的安全、高效、節能運行是運維從業者的工作根本，也是不斷探索創新發展的過程。通過建立精密采集平臺，對數據中心運行中不同節點之間的能耗進行精確采集，結合各種實驗數據進行分析，初步建立形成運維模式，在實踐中尋找最優解，為數據中心的節能管理賦能。