大型數(shù)據(jù)中心低碳解決方案的現(xiàn)狀、趨勢和對策建議

許幸榮 劉 琪 夏俊杰 梁 鵬 王鐵敬

1 中國聯(lián)通智能城市研究院 北京 100048

2 重慶大學能源與動力工程學院 重慶 400044

3 北京信息科技大學 北京 100101

引言

2022年2月，我國“東數(shù)西算”工程正式啟動[1]。“東數(shù)西算”工程將促進東西部數(shù)據(jù)流動和價值轉移，促進數(shù)據(jù)中心相關產(chǎn)業(yè)逐步向西部地區(qū)轉移，降低數(shù)據(jù)繞轉時延和長距離傳輸成本，提供可靠的數(shù)據(jù)中心能源供給，調整能耗指標。大型數(shù)據(jù)中心低碳解決方案也需要根據(jù)東數(shù)西算工程的部署進行逐步優(yōu)化。本文主要對現(xiàn)有大型數(shù)據(jù)中心低碳解決方案進行分析,并根據(jù)低碳技術發(fā)展趨勢,結合“東數(shù)西算”工程特有的布局特色，為大型數(shù)據(jù)中心低碳建設提供對策建議。

1 大型數(shù)據(jù)中心低碳主要技術趨勢

近年來在國內外相關政策的引導下,數(shù)據(jù)中心漸漸從傳統(tǒng)的小型數(shù)據(jù)中心轉變成大型超大型數(shù)據(jù)中心。國家“東數(shù)西算”工程的推進和地方樞紐節(jié)點的部署，實現(xiàn)算力資源配比的最優(yōu)化，推進了大型數(shù)據(jù)中心綠色低碳發(fā)展，減少設施運營成本。大型數(shù)據(jù)中心低碳技術主要在空調系統(tǒng)、電氣系統(tǒng)和運維管理等方面進行創(chuàng)新應用來減少產(chǎn)生的能耗，降低PUE，同時注重對能源的回收利用和存儲，提高資源的利用率。

1.1 優(yōu)化空調系統(tǒng)架構

空調系統(tǒng)在大型數(shù)據(jù)中心的能耗中占比最大，因此優(yōu)化空調系統(tǒng)架構是降低能耗的關鍵。水冷系統(tǒng)技術發(fā)展成熟，被廣泛應用，但是隨著能耗的不斷增大，這種技術難以滿足新的降耗需求且施工周期較長。

為了解決空調系統(tǒng)能耗問題，近年來發(fā)展了許多新型制冷技術，有節(jié)能節(jié)水效果好且施工時間短的間接蒸發(fā)冷卻技術，但是該技術對建筑布局有一定要求，而且在連續(xù)制冷上效果不明顯。液冷技術逐漸成為大型數(shù)據(jù)中心的解決方案。液冷技術有兩種方式：一種是直接液冷技術，主要為浸沒式液冷技術，原理是讓冷卻液與電子元器件充分接觸，在發(fā)熱時完成熱交換和制冷，特點是散熱快、噪音小；另一種是間接液冷技術，主要分為冷板式和熱管式，目前應用常見的是單相冷板式液冷技術方案，間接液冷技術的原理是讓熱源不直接接觸冷卻液，但是存在通用性低、安裝難度大的問題。以上兩種方式對提升數(shù)據(jù)中心制冷效率、節(jié)能降碳都有極大的促進作用。

1.2 挖掘電氣系統(tǒng)潛力

經(jīng)過多年的發(fā)展，數(shù)據(jù)中心的電氣系統(tǒng)已經(jīng)很成熟，但仍有潛在的節(jié)能空間。電氣系統(tǒng)在供配電方面的節(jié)能技術也在不斷創(chuàng)新，目前新型供配電技術主要為模塊化UPS設計、鋰離子電池技術和高壓直流技術。UPS系統(tǒng)的模塊化設計具有設計靈活的優(yōu)點，這種設計可以使輸入輸出的主機實現(xiàn)一體化，在設備配置過程中投入的成本少，可塑性高。鋰離子電池技術的發(fā)展不斷提高能量密度和安全性能，成本不斷降低，使得鋰電池在數(shù)據(jù)中心的需求量逐漸增多，鋰電池正朝著成為下一代主流能源的方向發(fā)展。數(shù)據(jù)中心IT設備常使用高壓直流(HVDC)技術，HVDC是將整流的配電前端的輸出電流進行轉換，得到的直流電源為服務器供電。服務器電源不需要再進行電流轉換，直接使用DC-DC，這樣減少了轉換中的能量損失，提高配電質量，使電流更加穩(wěn)定[2]。

1.3 綠色智能運維管理

傳統(tǒng)大型數(shù)據(jù)中心往往使用人工運維的方式，隨著物聯(lián)網(wǎng)和人工智能技術的持續(xù)改進和廣泛應用，智能化運維管理避免了運維效率低的重復人為勞動。智能管理技術向運維全生命周期數(shù)字化，實現(xiàn)運維的自動駕駛方向上不斷演進。智能管理技術提高了大型數(shù)據(jù)中心的運維管理效率。

智能管理技術以高效算法為基礎，對數(shù)據(jù)的收集進行準確控制，進行建模分析，智能化的流程提高了大型數(shù)據(jù)中心的能效。主要利用人工智能算法結合用戶設置計算的利用率分析設備的功耗，評價設備的承載水平，得到實時反饋，對出現(xiàn)的問題進行實時分析并處理，提高準確性及安全性。

1.4 回收利用剩余熱能

大型數(shù)據(jù)中心有大量余熱通過空調系統(tǒng)散出，這些熱能約有九成來自消耗的電能，但是現(xiàn)在很多大型數(shù)據(jù)中心沒有利用這種多余熱能，充分利用余熱不僅節(jié)省了資源還可以顯著減少碳排放。

國內的大型數(shù)據(jù)中心正在研發(fā)余熱回收技術，主要將機房回收冷凍水的余熱通過熱泵機組二次升溫，轉為周圍社區(qū)或單位的供暖熱源，同時余熱回收也可以結合燃氣發(fā)電技術為數(shù)據(jù)中心供電，這樣既提高機房冷卻效果也減少了能耗。余熱回收技術也可以利用內外循環(huán)的冷熱空氣做冷熱交換，使用磁懸浮熱泵使余熱制冷等為大型數(shù)據(jù)中心降溫。國外對余熱的回收利用也進行了各種試驗，如加熱游泳池的池水、為植物園提供室內供暖、鍋爐給水預熱等。但總體來看，熱回收技術還需進一步改進，進而提升數(shù)據(jù)中心余熱回收效率。

1.5 助力數(shù)據(jù)中心儲能

國家政策鼓勵大型數(shù)據(jù)中心部署儲能設施，儲能技術成為大型數(shù)據(jù)中心低碳技術發(fā)展的重要方向。在儲能技術選擇上通常選用電化學儲能和機械儲能，過去電化學儲能通常使用鉛酸和鉛碳電池，而最新儲能技術研發(fā)的鋰離子電池可以代替這種電池并廣泛應用。轉換效率更高的燃料電池有望替代鋰離子電池，但成本過高。全釩液流電池也是一種新型環(huán)保儲能電源，在能量效率、使用壽命和充放電性能上表現(xiàn)優(yōu)秀。機械儲能目前也是受關注的儲能方式，例如常用的飛輪儲能技術，該技術是一種無電池技術，利用高速旋轉的磁懸浮飛輪鐵芯作為儲能介質，具有使用周期長、高效率、無污染等優(yōu)點。飛輪儲能技術也可以與不間斷電源設備結合成動態(tài)不間斷電源設備，降低運維成本。

我國大型數(shù)據(jù)中心市場正在上升階段，隨著相關政策的提出和低碳綠色的要求，大型數(shù)據(jù)中心低碳技術將在低成本、高效率、高性能、智能化的方向上不斷創(chuàng)新。

2 大型數(shù)據(jù)中心低碳解決方案分析

2.1 大型互聯(lián)網(wǎng)公司數(shù)據(jù)中心整體方案

以京東云為代表的大型互聯(lián)網(wǎng)公司，在廊坊數(shù)據(jù)中心實施低碳節(jié)能戰(zhàn)略。從規(guī)劃期開始，數(shù)據(jù)中心關注自然冷源和清潔能源的使用，對舊設備回收利用，注重低碳建筑設施布局，本著環(huán)保、可持續(xù)發(fā)展的原則，對數(shù)據(jù)中心整個系統(tǒng)進行調整和升級。同時利用當?shù)厣a(chǎn)和可回收材料，完成工廠訂單的低碳交付。

為了實現(xiàn)基礎設施的節(jié)能減排，在空調系統(tǒng)節(jié)能方面，大范圍使用液冷技術和廢熱回收技術加強冷卻，并使用高溫水系統(tǒng)對CPU降溫，全年碳排放量減少10%以上，PUE小于1.1，節(jié)省了30%的能耗[3]。在電氣系統(tǒng)節(jié)能方面，新一代數(shù)據(jù)中心使用了低碳安全的能源回收系統(tǒng)和清潔高效的分布式光伏發(fā)電系統(tǒng)。在綠色IT設備方面，京東云自研究軟硬一體虛擬化架構“京剛”，這種架構在完成虛擬化工作時，可以用硬件代替軟件，提高更多自研的可能性，這使得服務器的總體性能比原來提高了30%。在智能化運維方面，京東云建立運維管理平臺，通過物聯(lián)網(wǎng)和人工智能技術實現(xiàn)動態(tài)可控的運維管理，提升數(shù)據(jù)中心效率，監(jiān)控廢棄物回收和設備維護狀態(tài)。應用智能巡檢機器人，實現(xiàn)自動巡檢功能，發(fā)現(xiàn)故障點進行識別后發(fā)送定位并自動修復，可在全天無人條件下完成智能巡檢，減少人工成本。

2.2 運營商數(shù)據(jù)中心基礎設施低碳解決方案

在技術和管理的雙重支撐下，中國聯(lián)通重慶市水土數(shù)據(jù)中心落實“東數(shù)西算”工程基礎設施戰(zhàn)略，支持成渝樞紐經(jīng)濟地區(qū)健康穩(wěn)定發(fā)展。

在空調系統(tǒng)節(jié)能和綠色IT設備方面，數(shù)據(jù)中心的IT機房使用基于EC風扇的精密空調系統(tǒng)。這種空調系統(tǒng)可以在數(shù)據(jù)中心機房內實現(xiàn)氣流的良性循環(huán)，設備在運行時都能達到穩(wěn)定的冷卻值。數(shù)據(jù)中心配備蓄冷罐，在發(fā)生電網(wǎng)故障或冷水機組故障時，蓄冷罐可以不間斷地冷卻服務器。這使制冷系統(tǒng)保持穩(wěn)定狀態(tài)，防止冷水機在低負載條件下跳變難以運行。為了著重降溫機房服務器分布的地方，水土數(shù)據(jù)中心運用了封閉冷通道技術，在符合溫度標準的同時，又能節(jié)省電力。經(jīng)過一段時間使用后，2021年全年水土數(shù)據(jù)中心2號樓的PUE下降到平均1.35，節(jié)約60%以上的能耗，節(jié)約380萬度電量，節(jié)約3405噸水。后續(xù)數(shù)據(jù)中心可以采用封閉熱通道技術來加大節(jié)能，通過提高回風溫度、增大送回風溫差、貼近熱源制冷降低末端風機的輸送能耗。

在智能化運維方面，數(shù)據(jù)中心中控室的云端能效分析系統(tǒng)對能效、能耗率、溫濕度變化等進行智能對比，工作人員可以實時集中監(jiān)控數(shù)據(jù)中心冷源系統(tǒng)、機房環(huán)境系統(tǒng)和電力系統(tǒng)等。該系統(tǒng)保證能效分析的指導性、實時性和可操作性，實時協(xié)調運維策略，減少能源浪費。

2.3 ICT供應商下一代數(shù)據(jù)中心低碳解決方案

以華為為代表的ICT供應商對下一代數(shù)據(jù)中心[4]推出多個低碳解決方案。在建設期間采用預制模塊化技術完成全生命周期低碳環(huán)保。在建筑過程中，現(xiàn)場施工與工廠模塊制造協(xié)同工作，顯著提高效率，杜絕“三廢”。減少施工中碳排放，也減少垃圾和施工用水。在空調系統(tǒng)節(jié)能方面，使用間接蒸發(fā)冷卻系統(tǒng)，借助自然冷源，全面貫徹降低PUE的理念，節(jié)省了超過40%的水電。

在電氣系統(tǒng)節(jié)能和綠色IT設備方面，改造供配電系統(tǒng)架構，使用全鏈融合電力模塊和智能鋰電池，從分布式部件到融合供電，提高供電效率并節(jié)省供電面積。在智能化運維方面，華為提出智能運維iCooling解決方案，并應用在華為廊坊云數(shù)據(jù)中心的制冷優(yōu)化。這種能效優(yōu)化技術與大數(shù)據(jù)和人工智能相結合，可以找出使能效最優(yōu)的方式，針對不同區(qū)域需求自動調節(jié)參數(shù)使制冷更精準。該方案致力無人調節(jié)并可持續(xù)優(yōu)化，每年節(jié)省近3000萬度電量，將PUE降至1.26，實現(xiàn)碳排放減少1.3萬噸。

2.4 電力或其他數(shù)據(jù)密集型數(shù)據(jù)中心整體方案

電力系統(tǒng)也在全國各地部署了大量的數(shù)據(jù)中心，甘肅國網(wǎng)云數(shù)據(jù)中心是西北地區(qū)的國家電網(wǎng)公司中第一個獲得碳中和證書[5]的大型數(shù)據(jù)中心。甘肅國網(wǎng)云數(shù)據(jù)中心建設在蘭州新區(qū)，擁有海拔高氣溫低的優(yōu)勢。在空調系統(tǒng)節(jié)能方面，使用風冷與水冷技術共同制冷，同時應用冷源自控技術和熱管背板技術，達到全年有一半的自然冷卻時間。在電氣系統(tǒng)節(jié)能方面，使用三路市電結合UPS(ECO)模式的電力系統(tǒng)。數(shù)據(jù)中心進行綠色電力的市場交易，100%使用可再生清潔能源，其中80%的清潔能源為光伏、風電能源，剩余為水電能源。在智能化運維方面，甘肅國網(wǎng)云數(shù)據(jù)中心在“國網(wǎng)云”的架構基礎上對IT設備實施分布式和云化方式部署，實現(xiàn)智能數(shù)字化運維管理，節(jié)省超過35%的成本。

甘肅國網(wǎng)云數(shù)據(jù)中心為其他大型數(shù)據(jù)中心的低碳化建設提供經(jīng)驗，推進東數(shù)西算工程在甘肅樞紐甚至全國大型數(shù)據(jù)中心共同實現(xiàn)碳中和目標。

隨著數(shù)據(jù)中心機柜功率密度的增加，能耗也逐漸增多。表1是四種類型大型數(shù)據(jù)中心的解決方案，可以看出目前大型數(shù)據(jù)中心的解決方案主要集中在選址建設、空調系統(tǒng)節(jié)能、電氣系統(tǒng)節(jié)能、綠色IT設備使用和智能化運維幾個方面。在選址建設上大多數(shù)據(jù)中心采用綠色的建筑標準，在建設時就地減少碳排放。ICT供應商提供的預制模塊化技術目前運用在許多新建設的大型數(shù)據(jù)中心上。運營商的大型數(shù)據(jù)中心和電力或其他數(shù)據(jù)密集型數(shù)據(jù)中心近幾年根據(jù)“東數(shù)西算”工程布局在西部樞紐和集群地區(qū)發(fā)展建設。在空調系統(tǒng)節(jié)能方面，液冷技術是數(shù)據(jù)中心制冷節(jié)能領域的發(fā)展方向。電氣系統(tǒng)節(jié)能上注重更改供配電架構、能源回收以及新能源使用。綠色IT設備使用可以有效減少數(shù)據(jù)中心耗電，使得服務器等設備冷卻效果更好。智能化運維可以在滿足用戶需求和不同業(yè)務場景同時管理，有效降低數(shù)據(jù)中心的運維成本，安全有效低碳地為企業(yè)產(chǎn)生更多的經(jīng)濟效益。

表1 大型數(shù)據(jù)中心低碳解決方案案例

3 大型數(shù)據(jù)中心低碳解決方案發(fā)展趨勢

在政策方面，我國對數(shù)據(jù)中心政策在能效的評估指標上越來越嚴格，過去PUE是唯一的評價指標，而現(xiàn)在增加CUE、WUE和綠色低碳等各種新指標進行綜合評估。在未來更多新的能效指標也將被考慮在內，越來越多樣化的考核政策使行業(yè)全方面進步，促進低碳發(fā)展。大型數(shù)據(jù)中心是各行業(yè)數(shù)字化快速發(fā)展的重要支柱，綠色算力推動數(shù)字化轉型中的高效高質量生產(chǎn)和低碳發(fā)展。2020年“可再生能源消費保障機制”的發(fā)布為可再生能源保障加入省級能源市場提供機會。廣東、山東、京津冀等地方政府在收購綠色風電上出臺了相關政策，鼓勵利用數(shù)據(jù)中心屋頂和設施的開放空間建設互補的太陽能和風力發(fā)電系統(tǒng)，使太陽能及時發(fā)電可以被直接使用[6]。同時，內蒙古、貴州等地在能源、土地和稅收等方面出臺了優(yōu)惠政策，這使得數(shù)據(jù)中心的建設和運營成本減少，有助于擴大數(shù)據(jù)中心建設規(guī)模。特別是“東數(shù)西算”工程開始全面建設情況下，大型數(shù)據(jù)中心的布局可以根據(jù)工程的導向建設在相關算力樞紐和算力集群地區(qū)。

在技術方面，節(jié)能減排技術研發(fā)不斷創(chuàng)新，以致力于低碳優(yōu)化數(shù)據(jù)中心系統(tǒng)體系。具體低碳解決方案集中在模塊化建筑組裝、使用綠色IT設備、智能化管理平臺、供配電簡潔化技術和低碳制冷技術等。采用智能化管理系統(tǒng)和平臺可以不斷減少數(shù)據(jù)中心PUE和WUE，也省去人工管理的成本，信息反饋更及時可靠。數(shù)據(jù)中心供配電系統(tǒng)在設計上可以減少一些不實用能耗高占地面積大的元件，或因尺寸小容易發(fā)生能源限制的元件。改進制冷技術，可在數(shù)據(jù)中心建立自然冷源和余熱回收利用系統(tǒng)。自然冷源系統(tǒng)將外部冷空氣當作冷源使用，機房中的服務器可以使用多次過濾后的冷源，減少風冷服務器的使用能耗。

在行業(yè)實踐方面，數(shù)據(jù)中心低碳供應商持續(xù)提供冷卻新方案，氟化物泵、液體冷卻、間接蒸發(fā)等冷卻技術的發(fā)展使冷卻效率顯著提高，冷卻低碳解決方案仍是關注焦點。我國在綠色能源的研發(fā)與應用上仍在初步階段，目前多將研發(fā)基于光伏、風電、鋰電池等綠色電力的供配電技術，使綠色電力的應用達到最佳低碳效果。在推進數(shù)據(jù)中心部署和匹配上進行模塊化、專業(yè)化、裝配化，減少配電設施建設的復雜度，機房機電按照不同等級差異化建設[7]。同時大型數(shù)據(jù)中心在新建和改建的過程中要確保質量和安全的基本要求，倡導綠色施工，除了節(jié)約建設能源和資源，還有注意減少建筑垃圾影響周圍環(huán)境，加大施工中環(huán)境保護監(jiān)管力度[8]，積極承擔低碳發(fā)展的責任。

4 大型數(shù)據(jù)中心低碳解決方案相關建議

4.1 加速低碳算力網(wǎng)絡建設

在“東數(shù)西算”工程的背景下，大型數(shù)據(jù)中心建設規(guī)模不斷擴大，用戶對高質量低時延的算力服務需求的增加使大型數(shù)據(jù)中心產(chǎn)生極大的能耗。運營商在大型數(shù)據(jù)中心的建設上應該推動低碳算力網(wǎng)絡建設，提高網(wǎng)絡能力的同時降低大型數(shù)據(jù)中心的單位算力能耗。算力網(wǎng)絡技術需要不斷創(chuàng)新，在算力基礎設施上加快老舊高能耗設備退網(wǎng)并進行低碳化改造，發(fā)展算網(wǎng)融合服務。構建新型網(wǎng)絡調度和算力相匹配的算力調度體系實現(xiàn)云網(wǎng)一體和云邊協(xié)同。在算力測量上從單一節(jié)點度量用戶的算力轉為集成協(xié)同度量，滿足用戶的業(yè)務需求。

4.2 人工智能推動低碳發(fā)展

大型數(shù)據(jù)中心在存儲信息、安全保證、分析預測等多個方面可以加快智能化建設。隨著人工智能技術的算法不斷更新迭代，在基礎設備、多種傳感器和強大算力的支持下，收集負載、能耗、溫度等相關參數(shù)，利用深度學習神經(jīng)網(wǎng)絡生成模型，在算法學習過程中更新升級，達到超越人工管理運維的效果。特別是冷卻系統(tǒng)在長時間的參數(shù)調試和模型學習優(yōu)化中[9]，成本和耗能都有所減少。在網(wǎng)絡層面，人工智能算法可以預測數(shù)據(jù)中心的流量趨勢，多維度尋找最優(yōu)部分可關斷器件，降低網(wǎng)絡閑時能耗。

4.3 使用低碳節(jié)能新技術產(chǎn)品

在綠色低碳科技產(chǎn)品應用方面，大型數(shù)據(jù)中心應使用先進合理的創(chuàng)新低碳技術和相關節(jié)能產(chǎn)品。從綠色IT設備來看，各種綠色服務器如新型液冷服務器和新能源電源模塊的應用比較受歡迎。從空調系統(tǒng)節(jié)能技術來看，將間接蒸發(fā)式冷卻技術或者直流變頻空調等科技應用在制冷系統(tǒng)中有著很好的節(jié)能效果。從電力系統(tǒng)節(jié)能技術來看，目前大型數(shù)據(jù)中心采用HVDC技術或模塊化不間斷電源等技術，未來可以融合新能源電力的配電轉換系統(tǒng)架構進行升級。從智能化運維來看，可以應用智能檢測管理平臺[10]、自動照明系統(tǒng)等技術減少運維成本。

4.4 落實大型數(shù)據(jù)中心低碳相關標準

碳達峰和碳中和工作的相關標準已經(jīng)出臺并持續(xù)完善，大型數(shù)據(jù)中心的低碳檢測標準嚴格執(zhí)行有關政策，助力實現(xiàn)“雙碳”目標[11]。隨著科技高速發(fā)展，大型數(shù)據(jù)中心低碳相關標準應與時俱進，大型數(shù)據(jù)中心也要結合自身設施狀態(tài)和條件制定自己的低碳解決方案，明確低碳目標，分步驟完成低碳計劃，做到精細化準確化記錄碳排放情況，并系統(tǒng)地排查碳排放不合格項目，及時處理推進低碳中發(fā)現(xiàn)的問題。國家可以推廣符合低碳標準和通過測試的節(jié)能減排技術，對于條件困難的大型數(shù)據(jù)中心地區(qū)給予技術資助，對于綠色低碳符合標準的大型數(shù)據(jù)中心單位給予表揚，樹立行業(yè)模范和標桿，支持大型數(shù)據(jù)中心高質量全面發(fā)展。

5 結束語

大型數(shù)據(jù)中心低碳解決方案將在綠色IT基礎設備和低碳技術上持續(xù)創(chuàng)新，我國大型數(shù)據(jù)中心產(chǎn)業(yè)正在加快節(jié)能減排的步伐。大型數(shù)據(jù)中心作為算力服務中心，不僅是數(shù)字經(jīng)濟的支柱，也是數(shù)字化技術創(chuàng)新應用的實驗基地。新一代信息技術創(chuàng)新持續(xù)活躍，大型數(shù)據(jù)中心也將打破傳統(tǒng)機房運行模式的局限，未來產(chǎn)業(yè)發(fā)展正逐漸從資本主導轉向為創(chuàng)新主導。大型數(shù)據(jù)中心成功的低碳解決方案可以橫向遷移到其他產(chǎn)業(yè)應用，推動社會低碳發(fā)展。