數據中心節能建設研究

邵 安，宋偉男，朱述振，詹煜浩，芮俊生

（中國郵政儲蓄銀行總行數據中心，安徽 合肥230601）

隨著社會信息化水平的飛速發展，各個行業對信息系統的依賴程度越來越高，與此同時，信息產業所需要的能耗也越來越高。近年來，IT 設備和資源數量依然在保持持續、快速的增長，以滿足大數據、云計算、5G 等新興技術和產業發展的需要，各種IT 服務器能耗以及相關產業對資源造成的壓力日益突顯。根據第九屆中國數據中心產業發展大會暨展覽會所公布的數據，每年數據中心用電量占到全社會用電量的1.8%左右，能源消耗巨大。因此，在數字經濟產業高速發展的今天，提升數據中心綠色發展水平，倡導建設綠色數據中心，堅持走集約、高效、清潔、循環的綠色發展道路，實現數據中心的健康、可持續發展就顯得尤為必要。

1 數據中心節能建設的出發點

根據國內調查數據[1]顯示，在數據中心各系統能耗中，IT 設備能耗最高，約占總能耗的50%；其次是空調系統的能耗，約占40%；最后是供電系統的能耗，約占10%[2]。因此，要降低數據中心能耗，應分別從IT 設備、空調系統、供電系統三個方面著手，采取節能措施，以挖掘和開發數據中心節能的最大潛力。

對于IT 設備而言，若想降低服務器功耗，常見的有四個出發點，即降低供電電壓、異構計算最優性能、液冷降溫和整機柜服務器技術。對于空調系統，可進行優化的地方相對較多，如選用變頻設備、利用自然冷量冷卻、背板冷卻技術、末端氣流調節等。相對而言，供電方面的節能措施較少，但也可以通過采用市電直供+UPS/HVDC 高可靠節能供電技術達到降低能源損耗的目的。

2 數據中心節能建設措施分析

2.1 IT 設備節能措施

2.1.1 動態電壓頻率調整

對于服務器芯片的功耗，降低其直接供電電壓是最有效的節能方法。然而，降低電壓時，往往會導致電路翻轉速度的降低，這也就意味著，運行的系統必須降低至較低的時鐘頻率。但是，如果只是單純的降低工作頻率，往往并不能降低其能量的消耗。因為對于系統來說，給定一個任務，其運行頻率和時間的乘積為定值。所以，要想達到降低功耗的效果，就必須同時降低供電電壓與時鐘頻率，這就是動態電壓頻率調整技術。

動態電壓調整的主要流程包括四個步驟。首先，需要采集一些信號，這些信號必須是直接與系統負載有關，以用于計算當前的系統負載；其次，根據當前的系統負載，對系統在下一時間段需要的性能進行預測，得到預測結果；然后，將預測的性能進行轉換，獲得所需要的頻率，并根據轉換成的頻率調整服務器芯片的時鐘設置；最后，根據新的頻率計算，得到相應的需求電壓，調整電源管理模塊給CPU 供電的電壓。通過以上步驟，達到了同時降低供電電壓與時鐘頻率的目的，進而實現降耗的效果。

2.1.2 異構計算技術

異構計算是指由不同的計算單元共同執行通用計算任務，比如我們在PC 上最常見的CPU+GPU 組合，CPU是通用計算單元，擅長處理不可預測的存取模式、不規則的數據結構，計算通用性強、復雜度高，但其計算性能一般。而GPU 是專用計算單元，擅于處理可預測存取模式、規則的數據結構，更適用于強度高的計算和多并行的計算。通常，我們把一個或多個通用單元和一個或多個專用計算單元構建的系統叫做異構系統。在CPU 和GPU 組合的異構系統中，異構的設計理念就是讓兩者合作，發揮各自的優點，使整體性能最優化，從而達到更高的運行效率以降低能耗[3]。

2.1.3 液冷服務器技術

液冷技術在空調系統中較為常見，顧名思義，就是利用水等高比熱容的液體作為熱量的傳輸介質，取代空氣冷卻，提高熱傳導效率。然而，由于成本問題以及出于安全考慮，液冷技術應用于服務器相對較少，通常在高性能且安全性要求相對較低的計算中才有使用。根據冷卻方式的不同，常見的液冷服務器分為三種，即冷板式液冷服務器、沉浸式液冷服務器和噴淋式液冷服務器[4]。

冷板式液冷服務器的冷卻方式最為簡單且相對安全性高。通過在服務器主板上嵌入冷卻板，將服務器運行產生的熱量傳輸給冷卻液體，然后通過冷卻液循環將熱量帶走，達到服務器降溫的效果；沉浸式服務器，則是將服務器主板放置在冷卻液中，達到沉浸的效果以直接進行熱量交換，再通過冷卻液的流動以及外部循環，將服務器產生的熱量帶走；噴淋式液冷服務器則是直接將冷卻液噴淋在服務器主板上，自上而下，反復循環，從而達到冷卻的效果。

由于液冷技術直接用于液體和設備進行熱量交換，減少了設備到空氣和空氣到液體的兩個熱交換的中間過程，因此可以大大提高換熱效率。

2.1.4 整機柜服務器技術

整機柜服務器就是將傳統的機柜機架上安裝服務器的模式進行整合，定制成一個獨立的模塊化的產品，直接以一整個整機柜為單位進行交付。在整機柜服務器中，包含了電源和風扇，并完美的設計、整合為一體。這樣，在散熱方面，通過單獨配備風扇給整個機柜集中散熱，就好比一整個散熱風墻安裝在機柜后方，相比于傳統模式，可以大大減少風扇數量或風扇功率，從而降低功耗；在電源方面，由于考慮冗余，通常會配備雙電源模塊用于支撐服務器供電。按照40 臺傳統機架服務器計算，需要80 個電源模塊才能夠實現雙路供電，在如此之高的供電配置下，必然造成電源負載率過低，從而使得電源轉換效率降低。集中供電，則可以通過增大單個供電模塊的功率，使單個機柜所需要的電源模塊大量減少，進而使轉換效率和供電系統效率相應提高。此外，由于整機柜的綜合各方面需求考慮的設計，使其在空間利用效率上，也會高于傳統的機架服務器[5]。

2.2 空調系統節能措施

2.2.1 自然冷卻技術

自然冷卻技術是指充分利用外界自然冷源，為機房內運行的設備提供冷量，以達到節能的目的。自然冷源有水和空氣兩種形式，常見的水自然冷源為地下水，利用方式為通過地源熱泵，將常年保持在18℃左右的地下水作為冷源，用作夏季時熱泵的冷卻水，完成熱量交換；空氣形式的自然冷源利用通常在過渡季節，當外界環境氣溫低于機房溫度時，可以通過新風自然冷卻、乙二醇雙冷源系統、氟泵空調系統等方式[2]，充分利用外界低溫空氣為機房內的IT 設備進行降溫，從而減少壓縮機的開啟時間，以達到節能降耗的目的。

新風自然冷卻是指當氣溫較低時，直接通過新風系統，從室外引進低溫空氣，經過過濾、加濕或除濕處理，供應到機房中，而機房的熱空氣則通過排風口排除，如此不斷循環，從而使機房溫度控制在合理范圍內。

乙二醇雙冷源系統空調是在傳統制冷循環的基礎上，通過額外增加一套循環系統，通過對比室外溫度與室內溫度，選擇制冷或直接利用自然冷源，從而降低能耗。具體為，當室外溫度比室內溫度高時，關閉自然冷源循環系統，開啟熱泵或冷機進行制冷；當室外溫度比室內溫度低時，關閉熱泵或冷機，開啟自然冷源循環系統，在自然冷源循環系統中的冷媒為乙二醇，在水泵的作用下，冷媒進入室內換熱器完成熱量交換，溫度升高，然后流通至室外換熱器，將熱量傳遞到室外環境。在這種循環中，水泵運行所消耗的能量遠低于同樣時間壓縮機運行的能耗，因此達到了節能的目的。

氟泵雙循環空調系統，是一種雙循環設計，其直接使用氟作為冷媒完成室內室外的熱量交換。具體為，在室外溫度較高時，通過啟動壓縮機對制冷劑進行壓縮循環，完成熱量交換；在過渡季節室外溫度較低時，無需開啟壓縮機，直接利用氟泵，將制冷劑進行循環，對室內和室外的熱量進行交換。通過氟泵技術，在保證制冷量的同時，不必全年開啟壓縮機，可以實現高達40%的節能[2]，能耗降低效果顯著。

此外，水形式的自然冷源還包括江河湖海等流動的較低溫度的液體，如微軟的海底數據中心，便是一次對海水自然冷源方法充分利用的偉大嘗試。

2.2.2 采用變頻設備

數據中心制冷系統的設備運行能耗并非是一成不變的，通常會隨著室外環境溫度或機房內IT 負載的變化而變化，因此，作為制冷系統耗電量最大的設備——冷水機組，其絕大多數時間會運行在部分負荷下。采用變頻冷水機組，可以在部分負荷下提升冷水機組能效，全年可降低20%能耗[2]。此外，水冷系統中的冷卻泵、冷卻塔、冷凍泵和末端空調的EC 風機均可采用變頻控制的方式，可以使系統根據IT 負載的變化自動調節運行頻率，大幅度節約用電量[6]。根據廣東電信節能改造數據[7]，采用變頻技術比傳統空調系統節約30%的耗電量。

2.2.3 背板空調制冷技術

背板空調是空調的一種，與傳統空調制冷模式不同，背板空調的冷卻盤管安裝在機柜的背面，機柜風扇將服務器運行產生的熱量通過空氣為介質，直接吹至盤管。由盤管內循環的冷卻水將熱量帶走，變成低溫冷空氣由風扇吸入至服務器進行熱量交換，如此，完成機房空氣的循環，排出機房熱量。背板空調安裝在每個機柜的背面，精準為每一臺機柜進行散熱，既能有效防止局部熱點，又能提高換熱效率。同時，背板空調由于緊挨著機柜，即距離熱源較近，兩者之間冷熱溫差大，熱傳輸效果好，制冷效率高。

2.2.4 機房氣流調節

氣流組織形式也是影響空調能耗的重要因素。空氣流動過程中，如果遭受的阻力較大、出現冷熱氣流短路等現象，則冷量損耗的就越大，空調制冷效果也就越差，能效比越降低。因此，在數據中心，合理布置機柜、采取措施防止冷熱氣流短路，是相當有必要的。在機柜布置方面，可以采用“面對面，背對背”方式排列，同時，可以在空機柜處安裝隔離盲板，避免有效防止冷熱氣流短路，提高空調運行效率。此外，采取冷通道封閉或熱通道封閉模式，對于防止氣流短路效果更佳[8-9]。

2.3 供電節能措施

一直以來，為了保證數據中心內IT 設備供電的持續性以及提高供電質量、防止供電波動等問題，通常采用UPS 整流-逆變的供電方案。但在實際應用中，往往會根據數據中心等級要求，采用冗余甚至是2N 系統架構，以保證數據中心的安全可靠，然而，這也就直接導致了供配電系統的實際效率僅在80%~90%。相比于美國等國家，由于我國市電具有相對較高的穩定性和可靠性，市電+UPS 或市電+HVDC 供電模式的可靠性完全可以匹配雙路UPS的供電模式，但其效率卻遠遠高于UPS 供電模式[10]。目前，已有部分運營商在建設數據中心時，開始嘗試采用市電+UPS 同時供電的方案，相信隨著HVDC 相關技術和應用逐漸的成熟，1 路市電+1 路HVDC 的供電模式也將會成為未來的發展趨勢。

3 結束語

在倡導走綠色、低碳、可持續道路的今天，上海市、北京市均對新建數據中心能耗提出了要求。根據《上海市數據中心建設導則（2021 版）》的要求，新建大型數據中心單項目規模應不低于3000 個標準機架，平均機架設計功率應不低于6kW，綜合PUE 嚴控不超過1.3。《北京市數據中心統籌發展實施方案（2021-2023 年）》也指出：新建云數據中心PUE 不應高于1.3，單機架功率不應低于6kW。因此，在將來，我國新建的數據中心必然會逐步向高功率密度、低PUE 發展，這就對數據中心節能建設有了更高的要求。本文通過從IT 設備、空調系統和供配電模式三個維度著手，分析了數據中心建設過程中節能的可行性，希望可以為數據中心節能建設提供參考，助力我國信息產業的發展。