上海地區實現超低能耗數據中心的技術路線研究與探討

鄭竺凌（上海建科建筑節能技術股份有限公司，上海 200032）

上海市在《上海市推進新一代信息基礎設施建設 助力提升城市能級和核心競爭力三年行動計劃（2018—2020 年）》中明確提出，建設網絡強國、數字中國、智慧社會，加快構建技術多樣、主體多元、模式創新的新一代信息基礎設施供給格局，打造“連接、樞紐、計算、感知”四大支柱體系，支撐經濟發展并服務社會民生。隨著上海國際經濟、金融、貿易、航運、科技創新“五個中心”建設的逐步推進，預計未來 10 年內，上海將建設累計超過 10 萬個機架的大型數據中心。

數據中心內部安裝了大量計算機以及配套的環境控制系統和輸配電系統，用能強度很高。經對上海地區 2 個典型互聯網數據中心的能耗統計，其用電強度平均達到 2 000 kWh/（m2·a），是普通公共建筑的約 20 倍，接近居住建筑的 70 倍。預計 10 萬個機架的大型數據中心的能耗增量在 200 萬 tce 左右。

本文從技術角度對上海地區實現超低能耗數據中心的技術路線進行了分析。

1 上海地區數據中心能耗現狀

1.1 樣本的選取

首先在上海地區選取 20 個數據中心進行了調研、現場踏勘、測試及數據分析。根據調研的信息，篩選去掉了機架數不多的及資料不全的 8 個數據中心，留下 12 個設計機架數超過 1 000 個的數據中心。這 12 個數據中心的設計機架數為 1 179～3 280 個，如圖 1 所示，與當前主流數據中心的規模或主流數據中心的單個模塊的規模吻合。

圖1 各數據中心的設計機架數

根據各數據中心所提供的數據，通過現場測試、數據校核等方式，對樣本數據中心的實際電源使用效率（Power Usage Eあectiveness，PUE）進行了計算、校核。計算的參考依據為 GB/T 32910.3—2016《數據中心資源利用第 3 部分：電能能效要求和測量方法》。計算校核得到各數據中心的年 PUE 值為 1.40～2.93，如圖 2 所示。其中，大部分處于 1.50～2.20 的范圍內。有 1 個數據中心 PUE＜1.50，1 個數據中心 PUE 在 2.20～2.50 之間，1 個數據中心 PUE 在 2.50～3.00 之間。

圖2 各數據中心的年 PUE 值

圖 2 中有 2 個點偏離較大。對 PUE 在 2.50～3.00 之間的數據中心進行現場踏勘和分析發現其 PUE 高的原因在于 3 個方面：① 數據中心的使用率過低，其使用率低于20%；② 其數據中心空調冷站兼顧辦公園區的冷量供應；③其數據中心設計了 3 套冷卻系統，較為龐大和復雜。對 PUE 在 2.00～2.50 之間的數據中心進行現場踏勘和分析發現其 PUE 高的原因在于 2 個方面：① 內部大量機房中有數量較多的運營商傳輸類特殊機房；② 數據中心空調冷站兼顧大樓內較多辦公場所的冷量供應。

踏勘結果表明，這兩個數據中心的情況較為特殊，不匯總研究。在去掉這兩個較為特殊的數據中心后，余下 10 個數據中心設定編號為 1～10 號，作為本課題研究的樣本。

1.2 能耗現狀數據分析

以各樣本的使用機架數除以設計機架數得到圖 3 的各樣本機架使用率，除 9 號數據中心未提供相關數據外，其他 9 個數據中心的機架使用率大多數在 80% 以上，有 1個為 69%，1 個為 79%。

圖3 各樣本的機架使用率

根據測試、校核后的數據，對樣本數據中心的每個機架的運行功率進行分析。由于無法獲取大量實時的每個機架的運行功率，考慮到數據中心運行相對穩定，以單個樣本的年總 IT 設備能耗除以機架數并計算到每個小時能耗的方式來替代每個機架的運行功率進行分析。

圖 4 為各樣本的平均每機架每小時能耗。按分母的不同分為按設計機架數計算的數值和按使用機架數計算的數值兩組數據。其中，9 號樣本未提供使用機架數數據。從圖 4 可見，各數據中心的單機架運行功率分布較散。從按使用機架數這組數據來看，1 kWh 以下有 1 個數據中心，在 1 ～2 kWh 區間有 5 個數據中心，在 3 kWh 以上也有 3 個數據中心。

圖4 各樣本的平均每機架每小時能耗值

進一步分析數據中心設計與運行的能耗差異。將設計時的單路電力容量值除以設計機架數，可得到設計時平均每個機架的電力容量值，即單機柜單電路電力容量。將此數據與平均每機架每小時能耗值進行簡單比較，如圖 5 所示。

圖5 各樣本的單柜小時能耗與電力容量的比較

從圖 5 中可見，5 號樣本所提供的兩個數據過于接近，不予采信。1 號樣本的兩個數據差值也較小，雖有一定可能性，也不納入后續分析。將圖 5 的電力容量除以每小時能耗值后得到的結果如圖 6。從圖 6 可見，這個系數的值基本都在 2 以上。但有 2 個樣本在 4 以上。若此數值為 4，則各變壓器的余量較大，實際運行中的負載率可能僅為 17% 左右。

圖6 單機柜的設計電力容量值除以按設計機架數每小時能耗的比值

通過現場測試和數據校核，得到各樣本的不間斷電源系統（Uninterruptible Power Supply System,UPS）的效率如圖 7 所示。由圖 7 可見，有較多樣本的 UPS 效率為 80.0%～90.0%。相對于當前 96.0% 以上的 UPS 系統而言，樣本 UPS 效率過低，電能損耗較大。外供的交流電通過不間斷電源系統的整流器轉換為直流電，再通過逆變器轉換為交流電供給給 IT 設備，而 IT 設備的電源再將交流電通過整流器等轉變為自用的直流電供給給內部部件。整流、逆變、整流 3 個過程的損耗較大。

圖7 各樣本的 UPS 效率

以 IT 設備全年能耗除以冷卻系統全年能耗作為冷卻系統全年效率值 COP，得到結果如圖 8 所示。各樣本的 COP 值較為集中在 1.50～2.50 范圍，但相對于常規空調系統 3.50 左右的 COP 值，其數值偏低。分析常規空調系統和數據中心冷卻系統差異可知：數據中心由于冬季也需要供冷，在此時室外溫度較低，制冷效率較高；由于數據中心的單位建筑面積發熱量大，供冷量密度遠大于常規空調系統，因此輸配系統損耗較高。

圖8 各樣本的冷卻系統全年效率值（COP）

2 上海地區數據中心實現超低能耗的路徑分析

根據上節的分析，上海地區要實現超低能耗數據中心，要通過以下幾個方面進行實現。

(1) 如何提高供配電系統的負載率，從而提升其能效。

(2) 如何降低不間斷電源系統中的交直流轉換。

(3) 如何提高室外冷源的利用。

(4) 如何降低輸配電能耗。

通過研究，提出了以下 4 條解決路徑。

2.1 高負載的供配電系統

供配電系統中，電能損耗分兩個部分：固定損耗和可變損耗。其中固定損耗是指在輸出電能變化時其變化不大的損耗，例如變壓器的鐵損、UPS 的蓄電池浮充損耗等。可變損耗是指隨著輸出電能的增大而增大的損耗，例如變壓器的銅損。

固定損耗可通過提升技術、用高質量電纜、用高效變壓器等方式解決，而且大多數數據中心選用的設備性能均較好。根據樣本數據，較多樣本的電能負載率較低。在此條件下，可變損耗的總量并沒增加，甚至略微下降。但可變損耗在總電耗中的占比大幅度增加。

通過數據中心模塊化設計可實現數據中心內部部分區域的高負載運行，提高該區域的供配電能效。通過采用模塊化不間斷電源系統，也可利用設備內部運行調整，實現投入運行的不間斷電源系統的高負載率，從而提高效率。

2.2 少變換的不間斷電源系統

不間斷電源系統由于需要保障 IT 設備的供電，往往采用在線式運行，因此，需要“整流-逆變-整流”的 3 個過程。從對這 3 個過程的分析即可知，若能去掉一個“整流”及一個“逆變”過程，可滿足供電需求且減少耗能過程實現節能。

若去掉前面兩個過程，則可采用市電旁通的不間斷電源系統。外供電直接跳過整流器和逆變器供給 IT 設備，可大幅度提高供電效率，如圖 9 所示。但此技術存在一個風險點，即當外市電斷電時，如何在最短時間恢復蓄電池向 IT 設備供電。華為公司在一次課題組交流時給出了一個可大幅度縮短恢復供電時間的鎖相技術，使得此技術路線可行。

圖9 市電旁通的不間斷電源系統示意圖

若去掉后面兩個過程，則可采用高壓直流的不間斷電源系統。外供電通過整流器轉為高壓直流電，直接供給 IT 設備。這時，若市電停電，由于蓄電池一直在線，可不間斷地向 IT 設備供給高壓直流電。此項技術的應用，則需要 IT 設備內部電源采用高壓直流電源，但受數據中心客戶的影響較多。

2.3 小“火積”損的換熱過程

江億院士在論壇報告中指出：數據中心的 IT 設備冷卻過程，是一個從芯片向室外傳熱的過程。在這個過程中，IT 設備的芯片溫度為 50～60℃，而上海地區室外溫度為 -4～37℃，是一個熱量向外傳遞的冷卻過程。而根據清華大學李震教授在論壇報告中提出的觀點：熱量自然向外傳遞的能量是其自身的“火積”，熱量的傳遞會產生“火積”損耗。若能降低換熱過程中的“火積”損耗，則可減少冷卻系統輸入的能量。

為減少“火積”損耗，需要降低傳熱時的溫差。在傳統冷卻系統的設計方案下，芯片溫度達到 60℃ 時，IT 設備出風溫度往往在 40℃ 以下，而專用空調回風溫度僅為 23～25 ℃，冷凍水回水溫度為 12～18℃。此時，冷凍水回水溫度往往低于室外干球溫度、濕球溫度，因此需要利用壓縮機提升至 40℃，再通過 34℃ 左右的冷卻水至冷卻塔散熱。與此同時，冷機制取 7～13℃ 的冷凍水，供給至專用空調后，以12～21℃ 的冷風送入機房，再混合形成 22～25℃ 的冷風進入 IT 設備。在此過程中，“火積”損耗較為嚴重。

若要減少“火積”損耗，可采用芯片冷卻的方式減少芯片至冷凍水的溫差，或采用背板冷卻、列間冷卻等方式減少IT 設備出風口至冷凍水的溫差。最終目標是完全利用芯片與室外的 20～50 K 的溫差，以熱量的自然傳熱大幅度減少外供能源。

2.4 大溫差的運行模式

減少傳熱的“火積”損耗，從冷卻系統設計而言，就是要盡可能實現進出 IT 設備的風溫差、進出專用空調的風溫差、進出專用空調的冷凍水溫差、進出冷機或板換的冷卻水溫差盡可能一致，或僅有不大的差值。

增大了溫差，在同等冷量條件下，降低了送風量、循環水量，可減少風機能耗和水泵能耗。增大了溫差，使得冷凍水回水溫度較高，在大部分時間段內超過上海地區室外濕球溫度，可直接利用低溫冷卻水散熱從而減少甚至避免需要冷機傳遞熱量，降低冷機能耗。

3 結 語

數據中心是上海地區大力發展的一類特殊的建筑，其能耗強度大、總量高。通過對上海地區機架數超過 1 000 個的 10 個現有數據中心的調研、測試和分析可知，當前數據中心機架使用率尚可，大部分在 80% 以上；運行 PUE 為 1.50～2.00；平均的每機架每小時能耗分布較散，數值在0.50～3.50 kWh 之間；各數據中心的電力冗余依然較大；UPS 效率為 80.0%～90.0% 居多；大部分冷卻系統 COP 為 1.50～3.00 。通過對現有情況的分析，提出了采用高負載的供配電系統、少變換的不間斷電源系統、小“火積”損的換熱過程、大溫差的運行模式這 4 個設計及運行建議。采用這 4 個技術路線，是實現上海地區超低能耗數據中心的重要途徑。