大型數據中心規劃之電力先行

郭利群， 胡建軍

(中國建筑設計研究院有限公司，北京 100044)

0 引言

自2008年以來，國內現代化的大型數據中心建設逐漸興起，隨著GB 50174-2008《電子信息系統機房設計規范》的發布及TIA-942、Uptime等國際標準的引入，國內數據中心建設開始走向規范化、標準化發展。

據Synergy Research的調研報告，2017年全球超大規模數據中心已超過390個。按國家劃分，美國占全球44%的大型數據中心；其次是中國、日本和英國，合起來占總數的20%；澳大利亞、德國、新加坡、加拿大、印度和巴西分別占3%～5%。

隨著云計算、物聯網、大數據等新技術的興起，數據中心的建設呈現向大型化發展的趨勢，而大型數據中心的電力消耗巨大，2016年國內數據中心能耗約為1 100億kWh，占整個國民用電的2%左右，預計到2026年會占到整個國民總耗電量的8%。

根據工信部發布的《全國數據中心應用發展指引(2017)》，在用的數據中心數量為1 641個、標準機架124.4萬，在建的數據中心數量為437個、標準機架125萬。按此趨勢，超大型數據中心的數量會逐年遞增，小型的IDC將不復存在或者被整體出售。因此，在大型數據中心規劃時，其電力資源能否有效、經濟的利用，備用電源是否安全可靠均成為數據中心項目成敗的關鍵指標。

1 數據中心保障等級的影響

眾所周知，國標GB 50174的A級是與TIA942、Uptime的T3/T4(Tier III/IV)保障等級相對應的，在數據中心規劃初期，數據中心保障等級的確定，則與電力資源的申請、項目投資額息息相關。

從GB 50174-2017中A、B、C級的要求可以看出，保障等級越高，需要投入的基礎設施越多，采取的保障措施越嚴格(詳見表1)。

設計人員需要分析客戶對計劃內關機和計劃外故障的容忍度，并且要引導客戶理解信息中斷的后果、了解未來的業務發展，從而確定客戶對業務連續性的要求，根據業務特點合理選擇數據中心的系統類型和保障等級。

已知的諸如金融用戶受銀監會、保監會的監管要求，其建立的“兩地三中心”(即同城生產中心、同城災備中心和異地災備中心)數據中心均需滿足GB 50174的A級要求；自有數據中心用戶的大型、超大型數據中心往往是要求達到A級要求，一些中型數據中心由于是中小型用戶的總部級數據中心也要求達到A級；對于出租型數據中心，在早期建設時曾經有混合建設的要求，如一部分A級、一部分B級，經過幾年的發展后由于建設規模不斷擴大，數量在3 000個標準機架以上規模的數據中心基本上不存在B級和C級需求。

GB 50174-2017對A、B、C級的供電要求 表1

這里需要說明的是，根據工信部《關于數據中心建設布局的指導意見》，以功率2.5kW為一個標準機架，超大型數據中心規模≥10 000個標準機架，大型數據中心規模≥3 000個、<10 000個標準機架，中小型數據中心規模<3 000個標準機架。

2 單機柜功率的影響

基于IT設備技術變化的影響，服務器的應用場景已經發生了顯著變化，小型計算機開始被機架式服務器所取代。早期數據中心的機架式服務器高度一般是3～5U(“U”在服務器領域中特指機架式服務器厚度，1U=4.45cm)，現代數據中心內采用的服務器高度一般是2U或者1U，隨著服務器高度降低，單機柜耗電量飆升。

一個標準的42U機柜留給服務器的空間大概是36U，通常2U服務器的滿載功耗大概是在350W左右，那么支撐約18臺2U服務器的單機柜供電量需要達到6kW，而換成部署36臺1U服務器的時候，供電量就要達到12kW。但日常使用中，服務器一般不會滿負載運轉，單臺服務器的功耗往往低于300W，這種情況下，機柜電量最多利用70%。因此，有經驗的IDC租戶在上架時都會對服務器標稱電量，以期符合租用時約定的單機柜耗電量，避免租金損失。

根據長期工作經驗，目前市場上單機柜功率：金融保險及政企用戶約為3.5～4kW，云計算用戶約為5kW，BAT企業采用自有標準達到7kW以上，此外還有一些零散自有用戶維持在3kW以下。

需要注意的是，隨著單機柜功率密度的加大，會增加對于數據中心電源可靠性的要求。以往的低密度數據中心甚至可以利用主機房的整體空間作為備用冷池，單機柜功率密度3kW的數據中心，其房間冷池可以保證空調系統斷電停機以后480s的制冷量，而10kW的數據中心在240s后就會熱保護停機。不同功率密度下冷卻失效的機房溫度統計詳見表2。

不同功率密度下冷卻失效后的機房溫度/℃ 表2

由表2可知，隨著單機柜功率密度增加，為保證數據中心連續可靠運行，持續制冷要求空調的電源需要UPS提供，數據中心用于散熱和冷卻的成本會加大，用于保障這些新增空調設備的運營費用會增加，發生停機中斷的風險也會增大。

3 節能政策的影響

從數據中心對電力的需求來看，數據中心已經成為重要的高耗能產業而非“無煙工業”，數據中心領域的技術創新與節能工作刻不容緩。《工業和信息化部關于加強“十三五”信息通信業節能減排工作的指導意見》中明確指出，到2020年實現單位電信業務總量綜合能耗較2015年底下降10%。國務院發布的《“十三五”控制溫室氣體排放工作方案》要求到2020年單位國內生產總值二氧化碳排放比2015年下降18%。

北上廣深各自發布的《能源發展“十三五”規劃》中均提到了“到2020年各自能源消費總量”(參見表3)，以萬噸標準煤計算。

依照《國家節能中心節能評審評價指標》要求，固定資產投資項目對所在地完成節能目標影響評價指標如表4所示。

北上廣深“十三五”期間能源消費總量及年增長率 表3

注：每萬度電=1.229噸標煤，每噸煤=8316.7度電。

固定資產投資項目對所在地(省市、地市) 完成節能目標影響評價指標表 表4

依據以往經驗，當m>1，也即達到“一定影響”的程度時，項目評審通過難度很大。如此形勢嚴峻的節能環保政策必然迫使數據中心的節能措施升級，并開始考慮采用可再生能源方案。根據筆者所在單位的實踐經驗，已經有項目因為碳排放量超標或用電量超標造成數據中心建設項目遇阻的情況。

4 電力規劃的影響

以國網北京市電力公司為例，“十三五”期間共規劃建設1座500kV變電站、8座220kV變電站、27座110kV變電站。其中，行政辦公區內共規劃建設7座變電站，包括2座220kV變電站、5座110kV變電站，分兩批陸續投運。可見每座110kV變配電站的建設均需要經過電網五年計劃的規劃，且每個站的出線間隔有限，故供電部門非常重視間隔利用率。

每座大型數據中心建設過程中最重要的環節就是供電報裝。難點在于是否能夠取得足夠的進線回路和容量、是否能夠取得兩路來自不同110kV站的線路，此外，在建筑物內兩路市電電源能否設置在不同電氣房間、備自投裝置是否允許自動運行也是需要與供電部門溝通的關鍵因素。

對于10kV出線，一般300mm2中壓電纜允許帶 10 000kVA容量，或400mm2中壓電纜允許帶 10 000kW容量。從表5可以簡單估算，在最大限度使用市電線路容量下，單路10kV線路最大可負擔機柜數量。需要注意的是，表5中的PUE值是考慮了極端天氣的裕量，不是節能政策的目標值。

5 重視備用電源

數據中心的設計中，柴油發電機作為自備應急電源應該引起設計師的重點關注。如何為高級別的數據中心提供穩定可靠的電力供應一直是數據中心建設規劃工作的重中之重，持續穩定高質量的供電是柴發的職責。

國標GB/T 2820-2009《往復式內燃機驅動的交流發電機組》定義了柴油發電機組按照負荷率和使用時間的長短可以標定成不同的4種功率：COP、PRP、LTP和ESP，其中持續功率(COP)和基本功率(PRP)是滿足機組長期不限時運行的功率標定。需要注意的是，在GB/T 2820中規定PRP功率的使用條件是“在24h周期內的允許平均輸出功率應不大于PRP的70%”。

對應不同單機柜功率密度、PUE值及中壓線路容量的機柜數量估算表 表5

由于我國電網是國家電網，其可靠性遠超過私人電網，且電費遠低于柴油發電機組的發電費率，因此我國大型數據中心的主電源都采用市電，柴發僅作為備用電源。在這種前提下，數據中心建設在一定程度上不太重視柴油發電機組。對此筆者提醒各位設計同行和用戶不要忽略了數據中心建設的鐵律：“風險自主可控。”

據了解，2013年杭州、西安等地都出現了數據中心被限電的情況。2018年北京亦莊電力公司對泰河變電站、博興變電站和科創街變電站進行改造，其中泰河變電站、博興變電站改造期為6月1日至15日，科創街變電站為6月15日至6月30日，共計30天時間。在改造期間，電力公司表示用電單位務必將平日用電負荷減少、限制25%，大批位于亦莊的數據中心開始采用柴發帶載。

隨著國家對民生的關注，限電保電的過程中，數據中心這類耗電大戶被限電的可能性越來越大，此次北京亦莊限電僅開始不到10天已經出現兩起柴發事故，一起是機組著火，另一起是機組運行超溫停機，都造成了重大損失。本該作為保險措施的柴發機組，在設計階段就可能因為投資因素被打折，或者是提高PRP平均輸出功率到大于70%，或者是不重視機房的進排風措施，或者是兩棟機房共用一組備用柴發這類“聰明”做法，都造成了危機真正來臨時起不到保障作用。

6 結束語