高可靠數據中心節能技術分析

雷婷 李銀松

1.中興通訊股份有限公司；2.深圳市通信學會

0 引言

數據中心作為“新基建”的七大方向之一，將為5G網絡、物聯網、AI以及各垂直行業的發展提供強有力的基礎設施保障。大數據應用、云計算、人工智能，智能終端等新興產業的快速崛起，促使中國數據中心產業規模不斷擴大，相關協同產業的命運共同體正在形成，整個生態圈正在向著綠色健康和可持續的方向發展。

當前，數據中心的能耗問題越來越受到重視，一線城市對數據中心的能耗指標PUE有硬性考核要求。國內大型互聯網廠商數據中心具有需求規模大、定制化程度高、敢于創新、追求低成本等特點，在數據中心建設運維中敢于嘗試應用各種創新節能技術。但以高可靠性為核心指標的數據中心，如銀行、保險、證券、基金等行業數據中心，難以直接照搬復制互聯網廠商節能創新方案。如何兼顧高可靠性與綠色節能要求并且能有實際應用成效？這是本文研究的問題。

1 數據中心高可靠要求

高可靠性數據中心通常采用高等級建設標準，如金融類總行/總部數據中心通常按照國標GB50174 A級標準建設，這類機房可用性要求在99.99%以上，配電系統要求雙路冗余備份，空調系統N+1冗余備份并且提供連續制冷，水和電需要考慮物理隔離，避免出現物理安全故障造成業務中斷。

高可靠性數據中心在不違背建設等級和系統可靠性的要求下，可以通過科學的機房布局、空調系統和配電系統優化，以及采用智能化管理等多種手段實現綠色節能。

2 機房布局節能技術

服務器、存儲、刀片等IT設備功率密度的持續提高帶來了機柜散熱的問題。高密度的機柜既要考慮設備散熱、維護、搬運與消防因素，又需要科學規劃機柜的布局，以便氣流組織更加合理，節省冷量耗散。

目前主流機柜采用“前進風、后出風”的方式，可以采用面對面或者背對背的擺放方式，即熱冷通道隔離布局。對于高可靠性數據中心用戶，可以將機房內每2列機柜的冷熱通道布局作為一個封閉單元，進一步進行冷熱通道封閉隔離，即將一定數量的機柜通過底座和頂板組合在一起，每個封閉單位內部組成一個空間，將IT機柜、配電系統、監控系統、安防系統、照明等封閉在一個獨立空間內。高可靠性要求空調水不能進機房，因此冷風需由專門的空調房通過地板下送風或者水平送風給機房制冷。通過冷、熱通道隔離，形成有效氣流組織，滿足IT設備運行要求，滿足數據中心機房環境相關技術規范。冷熱通道封閉高度設置為500-1000mm（根據實際情況可調整）。對于選擇熱通道還是冷通道封閉，建議如下：

對于高功率密度機房，熱負荷大，封閉熱通道更有利于熱量集中回收以及共享大冷池，且維護環境更舒適。

熱通道封閉采用水平送風，上部分吊頂封閉回風時需考慮水平送風位置的渦漩，經過創新性實驗，可在進風截面位置設置網孔均流板，空調冷風經過均流板混風后均勻送入機房區域。

圖1 機柜熱通道封閉風道回風布局示意圖

對于中低功率密度機房，初期上架熱負荷低，為有效利用冷量可采用冷通道封閉方式。機柜背對背方式擺放時，考慮空調系統在斷風斷電意外故障的情況下，熱通道溫度急速上升風險較大，更推薦冷通道封閉的機柜擺放方式。

冷通道封閉下送風水平回風時，可將防靜電地板下的空間作為送風靜壓箱，為減少風阻。在冷通道均勻設置專用的防靜電地板出風口（出風口只能安裝在冷通道），冷空氣通過出風口去到機柜正面，由設備自帶的風扇將冷風吸進機柜內，對機柜設備進行熱交換后排至氣流的熱通道，熱空氣上升至空調回風口的負壓區，回流至空調機組再進行處理，如此周而復始。

圖2 機柜冷通道封閉單元氣流組織示意圖

對整個送風區域進行封閉處理（冷通道封閉），可以有效地使地板下送出的冷風全部用于設備散熱，而大幅減少或避免風量和冷量的損耗，最終大幅提高制冷的效率。從整個機房的氣流組織來看，有效地避免了傳統機房中冷熱空氣混合，冷空氣短路，以及遠端機柜由于壓降的問題而導致的機柜頂端設備無足夠冷量用于散熱，而最終產生局部熱點等問題。

機柜冷通道封閉單元采用冷/熱通道封閉技術時，機柜的氣流組織應提供詳細的計算數據進行驗證。建議采用CFD工具進行提前仿真驗證。數據中心級分析的仿真能夠模擬設計機房或針對現有機房系統進行問題排除及系統升級，進行熱流場預測，可整體規劃IT設備及機房空間的建造及基礎工程，減少可能出現的風險。氣流組織驗證時需要關注幾個問題：

第一，封閉單元內機柜功率密度較高時，需提前計算通風地板和均流板的通孔率、冷熱通道的截面積（影響到高度選擇），以保障足夠的風量可送入到機柜。單機柜散熱量與所需冷風量的關系如下：

L為冷風量，單位m/s；Q為散熱量，單位W；△T為機柜進出風溫差，單位°C。

S為冷通道/熱通道攤算到單機柜的截面積，P為通孔率，V為風速。

通常△T取7～10°C，V取2m/s。由此可計算出地板或者均流板的通孔率P。考慮到運行過程中機柜功率密度隨著上架逐步提升，建議采用大的通孔率，在初期運行時為避免冷量浪費，可以增加通風調節裝置。

第二，空調房內空調末端與封閉冷通道單元的布局擺放需考慮機房面積、送風距離、機柜功率密度等問題。常采用的是單側送風和兩側送風方式。為避免第一個機柜因風速過快導致渦流現象，需保持第一個機柜與空調之間的有效距離，且可以在地板下加裝調節風向或者風機，避免局部熱點。為避免空調下方靜壓箱氣流混亂，使冷風更有效地送入機房，建議在空調下方加裝導風槽，即在三面加裝圍擋，只保留正面出風口，每個風機之間建議加裝圍擋間隔。

第三，氣流組織仿真，一方面模擬冷熱氣流隔離是否達到預期的效果，另一方面可以通過仿真分析是否存在制冷系統存在過度配置的問題，從而進行優化調整，節省投資和運維成本。

第四，高可靠數據中心要求采用氣體消防和自動消防預警系統，因此冷熱通道封閉單元的天窗需要與消防進行聯動控制，在發生火警時能聯動跌落，便于氣體滲入內部通道。

3 空調系統節能技術

數據中心空調系統的主要作用是通過調節溫濕度、氣流速度、潔凈度，達到給機房降溫散熱、加濕除濕、通風排風、過濾凈化的目的。數據機房超過40°C，服務器將處于危險的狀態，空調系統故障只需短短的10-15分鐘，設備就可達到臨界溫度。可見持續穩定的空調系統對數據機房至關重要。

根據統計，空調系統耗電在整個數據中心耗電的占比約為30%～50%，因此空調系統能耗成為優先改善的目標。對于空調系統節能，首先需要選擇節能型空調方案。相比常規使用的空調節能方案，如風冷冷水機組搭配干冷器、水冷冷水機組搭配板換或者直接新風冷卻方案，本文推薦采用創新性間接蒸發冷卻空調方案。其中，間接蒸發冷冷卻空調在室外氣溫較低時，可以采用空氣與空氣間接換熱的方式實現自然冷。該方案可采用多臺機組聯合，供冷冗余系數高，無直接換熱帶來的空氣污染風險，無復雜水路管網，安裝維護簡便，機房內熱量通過風道傳送，無水進機房風險。間接蒸發冷卻空調在干冷地區可以大量使用，可利用自然冷進行換熱，無需開啟壓縮機，同時可通過噴霧蒸發的方式進一步降低室外側溫度，進而為室內側空氣降溫。

圖3 間接蒸發冷卻空調原理圖

在選用節能型空調方案的同時，建議采用如下實用的空調節能措施：

第一，管路閥門系統。采用冷凍站內的冷凍水主管環狀布置與機房干管的同程雙管路結合方式，實現雙同程支路到各個機房，各機房干管增加平衡閥調整干管流量與設計流量吻合，各管路水流明確更好地達到水力平衡，減少管道系統損耗性。

第二，應急蓄冷系統。取消獨立的放冷泵，由循環泵代替，簡化沖放冷系統，節省投資。在物理空間允許的情況下將蓄冷容量提高，項目初期投產負荷較低時，可以利用蓄冷系統錯峰用電，節省電費，且應急蓄冷時間的增加可以提高可靠性。

第三，提高冷凍水進水溫度。冷凍水出水溫度提升，制冷量和用電功率都在增加，但制冷量的增幅更大。隨著出水溫度的提升，可以利用更少的電力消耗提供更多的制冷量，有效提升制冷系統能效。隨著供水溫度的提升，冷水主機的效率大大提高，相比傳統7℃供水溫度，12℃供水溫度時，制冷主機效率提高15%以上。

第四，變頻。建議選用變頻冷水主機、變頻水泵、變頻冷卻塔，從而更大程度地提高暖通主要耗電設備的平均能效。經過對選型設備的分析，變頻設備比非變頻設備平均全年可以提高20%以上的能效，尤其在IT機房低負荷率工作的時間段，變頻設備的功耗與實際工況存在立方正比關系，因此節能效果非常明顯。

第五，群控系統。通過群控對空調系統進行自動控制，每組冷卻塔及相應冷卻水泵隨制冷機組起停聯動，根據流量分析優化冷機系統組合。在冷卻塔進水管路上設溫度傳感器，由溫度控制器控制冷卻塔泵流量和冷卻塔風機轉速，滿足負荷需求。空調冷凍水為一次泵變流量系統，冷凍水泵根據系統壓差變頻調節，同時保證冷水主機的最低流量要求。通過實時分析室外平均濕球溫度，對冷卻塔出水溫度分段調節，以最大化利用低溫季節，實現冷機最優的工作效率。

空調系統節能是一個系統工程，單純改善某個設備的能效無法達到最優控制，采用如上空調末端和冷源系統整體優化方案可達到較好的節能成效。

4 配電系統節能技術

數據中心電氣系統相關設備存在多級轉換，同時有大量的無謂冗余設計，電源設備在低負荷率下長期工作，導致效率降低。因此本項目通過高可靠的供配電方案，在保證不影響數據中心冗余可靠的前提下，提供優化電氣回路損耗的技術方案。主要應用技術包括：

（1）2N配電設計。鑒于傳統客戶對高可靠性的要求，不推薦采用市電直供方案，可根據實際情況采用雙路UPS，或者1路UPS、另加1路HVDC方案，在確保高可靠性的同時提高配電系統能效。

（2）高頻UPS。高頻模塊化UPS因其體積小、器件少、整機效率高等優勢，目前應用越來越成熟。高頻模塊化UPS效率高達96%，如采用ECO工作模式效率更可高達99%。采用兩路UPS備電時，其中一路可采用ECO模式或者市電直供，以提升電源系統效率。

（3）高壓直流。采用模塊化設計，模塊化技術將功率細分，更便于實現能效控制和休眠管理。與傳統UPS相比，高壓直流方案減少一次變換級數，同時電池相當于直接并入電氣回路，不但能降低設備成本，還實現了更高可靠的雙路冗余，模塊化高壓直流方案相比傳統UPS設備實現了系統更節能。

（4）高壓油機。 作為后備電源的油機，建議選用高壓油機，有利于節省配電柜、母線投資。

5 智能化管理節能技術

數據中心“重建設、輕管理”是通病，要實現智能化管理首先需要實現數據的統一化。數據的統一化打破過去電、冷、業務分割的局面，通過統一化的管理，可以根據業務的變化動態彈性地調整電源、電力和制冷與之精細化匹配。機房智能化節能管理，可以通過機房自身的運維管理系統持續地進行信息收集及PUE檢測，并通過運維手段進行關鍵耗能設備的調優。更進一步的，機房運維管理系統可以搭載AI平臺實現節能調優，機房運維管理系統通過按時間周期方式采樣數據中心多個時間點的室外氣候、設備運行情況，以及系統運行工況和業務運行狀態等海量數據，并篩選關鍵特征參數傳遞給AI平臺作為輸入信息，同時傳遞PUE（機房能效指標）作為輸出信息，AI平臺通過人工智能算法進行數據分析和深度學習，模擬出輸入輸出信息的數據模型，并實現多種運行模式的測算，最終選擇最佳PUE運行模式下發指令，使數據中心進入節能調優模式。

6 結束語

數據中心建設節能是永恒的話題，在5G時代，高可靠、低時延、增強移動寬帶、海量連接的特性，要求數據中心建設在追求更加節能的同時，與可靠性之間尋求一種平衡，更多地探索創新技術的應用以及總結實際運用經驗。

綜上所述，本文針對數據中心在確保高可靠性的基礎上，如何提升能效、降低成本，從機柜擺放方式、空調系統、配電系統、管控系統等多方面提出了完整解決方案，并在實際項目中落地驗證取得了較好成效，被同類型項目參考借鑒。