數據中心配電設計探討

賈橋龍，崔國利，柴 龍，郭 松，臧國秀

（北京中油瑞飛信息技術有限責任公司，北京 102200）

1 數據中心配電設計相關標準

數據中心標準可以分為國家標準，代碼GB；行業標準，代碼DL（電力行業），YD（郵電行業）等；地方標準，代碼DB；企業標準，代碼QB。其中，國家標準擁有最高權威，是通用性標準，企業標準的權威性最低，因地制宜地加入了企業內部的規范條款，相對提高了標準寬度。數據中心配電設計不僅要遵循數據中心的直接標準，還要遵循間接電氣設計標準。這些直接標準和間接標準有很多部，如GB 50174—2017《數據中心設計規范》、GB50057—2010《建筑物防雷設計規范》、GB 50055—2011《通用用電設備配電設計規范》、GB 51348—2019《民用建筑電氣設計標準》、GB 50052—2009《供配電系統設計規范》、GB 50053—2013《20 kV及以下變電所設計規范》、GB 50054—2011《低壓配電設計規范》、GB 50034—2013《建筑照明設計標準》及GB 50217—2018《電力工程電纜設計標準》等。

2 數據中心常見的電氣架構

數據中心常見電氣架構有傳統配電架構、微模塊架構、一體化架構及預制模塊化架構。

2.1 傳統配電架構

市電和后備電源被引入總配電變電所，并通過高壓配電設備進行互投，每個模塊機房就近配備一個模塊變電所，模塊變電所內設置變壓器、低壓配電柜及不間斷電源設備，通過機房內的配電設備（精密配電柜或配電母線）供給機柜內的IT設備不間斷電源。這種架構適合大多數及大型數據中心。

2.2 微模塊架構

與傳統配電架構相比，微模塊是將模塊變電所和機房配電集成到了一套裝置內，裝置內包括了電源模塊、降溫裝置、消防設施、安防系統及IT設備機柜等各個系統的設備。微模塊可以在工廠內進行預制和測試，然后運輸到數據中心進行安裝投運，可縮短數據中心建設周期，方便快捷地部署應用系統。

2.3 一體化架構

一體化架構與傳統配電架構的區別在模塊變電所，一體化配電架構是將模塊變電內所將變壓器、低壓配電設備及不間斷電源等設備集合成一套裝置，輸入高壓市電（通常為10 kV），就可以直接輸出220/380 V交流不間斷電源或直流不間斷電源，再通過機房內的配電設備（精密配電柜或配電母線）供給機柜內的IT設備不間斷電源。一體化配電模式大大節省了設備占用面積，降低了配電柜及線纜的投資成本，是近年來興起的新型配電形式，大型IDC企業已經開始實踐一體化配電形式。

2.4 預制模塊化

預制模塊化架構是根據需求做好數據中心設計后，在工廠內部完成數據中心基礎設施各個系統的有機組合，經驗證測試合格后，將預制化模塊運輸到數據中心現場重新組合，組合完成后即可投入使用的形式。預制模塊化形式有效改善了數據中心建設周期長、靈活性差、維護不便的缺點。

3 A級數據中心配電設計

3.1 市 電

A級數據中心應由兩路電源供電，兩路電源互為備用，且要引自不同地理位置、互不影響、相互獨立的兩個變電站。

引入數據中心的兩路市電電壓等級通常為10 kV，10 kV電壓等級的市電不可用時，可以采用35 kV電壓等級的市電。當數據中心需要多路市電或10 kV市電容量不夠時，可以配建110 kV變電站，同時市電電源的可靠性也隨著電壓等級的提高而提高。

引入A級數據中心總配電室的市電應2N配置，兩個市電路徑互為備用，正常情況下兩個市電路徑均投用，當其中一個市電路徑失效時，可由另一個市電路徑供給數據中心全部用電設備；當引入數據中心的兩個市電路徑均失效時，就要靠備用電源路徑帶數據中心全部用電負荷。

3.2 后備電源

后備電源配置是數據中心配電不可或缺的一環，后備電源通常有發電機和專用饋電線路兩種形式，發電機又分為柴油發電機和燃氣發電機[1]。專用饋電線路雖然和數據中心市電線路保持相對獨立，故障因素大大減少，但是和數據中心市電線路來自同一個供電網絡，存在同時失效的可能，在審批、費用等方面也比較麻煩。柴油發動機可以和數據中心市電線路保持相互獨立，而且在應急響應速度和加載能力上優于燃氣發電機，因此柴油發動機在各類數據中心得到廣泛應用。大型數據中心常采用中壓發電機組（電壓等級10 kV），多臺發電機并機運行，但是要注意禁止發電機組和數據中心市電電源并網運行[2]。

A級數據中心后備電源容量要不低于數據中心最大用電容量，發電機組容量配置至少為（N+1）冗余，且能夠不限時的連續運轉，需近配置不少于12 h燃油儲儲量，性能要達到國標G3級的要求，柴油發電機啟動至達到最大加載能力，頻率降變化低于±7%，瞬態電壓偏差低于-15%[3]。

3.3 模塊變電所

為模塊機房供電的變電所應2N配置，即每一個模塊機房配置一個模塊變電所，每兩個模塊變電所互為備用，各自引入一路市電電源。正常情況下，一個模塊變電所為一個模塊機房供電，當其中一個模塊變電所故障或檢修時，由另一個模塊變電所單獨為兩個模塊機房供電。

模塊變電所內配置變壓器和低壓配電柜，將高壓電源轉換為低壓電源后，經過不間斷電源設備為IT負載供電（傳統配電架構下）。每個模塊變電所配置一臺干式變壓器，兩個模塊變電所內的兩臺干式變壓器2N架構配置，兩個變壓器路徑均有效情況下，兩臺變壓器分別運行，各自承擔本模塊內的用電負荷，負載率控制在50%以下，當其中一個變壓器路徑失效時，由另一個變壓器路徑單獨為兩個模塊機房供電。

配電柜、變壓器是成熟的標準化電氣產品，可根據實際需要選擇規格型號，高壓開關柜常采用KYN系列，即戶內金屬鎧裝中置移開式。變壓器常采用干式變壓器，干式變壓器型號中SCB后面的數字表示產品性能水平代號，該代號數值越大，代表干式變壓器的能效越高。低壓配電柜常采用MNS系列的組合式開關設備，配置可抽出形式的抽屜或開關。

3.4 不間斷電源

數據中心IT設備用不間斷電源有兩種形式，一種是交流不間斷電源（整流-逆變-輸出），另一種是直流不間斷電源（整流-輸出）。

3.4.1 交流不間斷電源

數據中心早期采用工頻UPS，因效率低下，體積大等問題，正在逐漸淘汰。工頻UPS之后出現傳統高頻UPS，因其效率高、功耗小、體積小、重量輕、對電網適應能力強及幷機環流衰減等優勢得到廣泛應用。傳統高頻UPS之后發展出模塊化高頻UPS，因其功率模塊可熱插拔、可靠性高、并聯冗余性好、易擴容、低負載下效率高及易維護等優勢也受到廣大數據中心用戶的歡迎。

3.4.2 直流不間斷電源

直流不間斷電源被稱為高壓直流（HVDC），高壓直流（HVDC）設備整流后，不再進行逆變，直接供給IT設備直流電能，效率更高。備用電池直接掛在輸出母線上，市電失電或故障時，電池可用直接對IT設備供電，真正實現IT設備的不間斷供電。高壓直流（HVDC）也采用模塊化設計，同樣具備可靠性高、易擴容、效率高及易維護等優點[4]，目前在互聯網、電信等數據中心得到大規模應用。

3.4.3 不間斷電源配置

服務器等IT設備、精密空調、冷水機組末端冷凍水泵、安防及消防設施屬于一級負荷中的特別重要負荷，應采用雙電源+雙回路的供電方式，滿足進線電源無單點故障的要求，同時采用不間斷電源系統進行不間斷供電，以保證正常電源失電或故障時仍然可用。

不間斷電源配電結構有三種形式，第一種為2N結構，第二種為2（N+1）結構，第三種為一路市電直供+一路不間斷電源結構。高可靠性角度考慮，選擇第一、二種結構，綠色環保角度考慮，宜選第三種結構。

2N結構：每組不間斷電源設備按照N配置，每兩組互為備用。2（N+1）結構：每組不間斷電源設備按照N+1冗余配置，幷機運行，每兩組不間斷電源互為備用。一路市電直供+一路不間斷電源結構：一路市電電源為一組，一路不間斷電源為一組，兩組電源互為備用。三種結構形式，正常運行時每組電源設備只負擔一半負荷，負載率控制在50%以下，當其中一組電源設備失效時，另一組電源設備負擔全部負荷[1]。

3.5 電池組

不間斷電源系統應配置蓄電池組，在雙路市電停電或故障后，后備電源啟動前，為IT設備等重要負荷供電。目前，鉛酸蓄電池在各類數據中心得到廣泛應用，但鉛酸蓄電池存在壽命短、體積大及有污染等諸多缺點。隨著鋰電池在數據中心的應用，鉛酸蓄電池的缺點得到有效改善[5]。鋰電池性能具有多方面的優點，如具有更高的額定電壓、對環境溫度要求低、體積小、重量輕、充放電次數多、充放電速度快、新舊電池可以混合使用及不需要定期充放電試驗等優勢。但是鋰電池的價格比較貴，不過隨著鋰電池應用的擴展，鋰電池的價格會降下來，因此鋰進鉛退是大勢所趨[6]。

柴油發電機作為備用電源時的后備時間應不少于15 min，電池室應設置空調降溫系統，溫度應控制在20～30 ℃[3]；電池監控系統或電力監控系統應能全面檢測電池運行狀態，在電池參數異常時，發出告警信號。電池充放電試驗時，放電時間要滿足設計放電時間要求，電池放電截止電壓值要大于電池最低電壓值要求

3.6 機房配電設備

A級數據中心機柜前端配電設備常采用精密配電柜和配電母線。精密配電柜應2N配置，A/B精密配電柜配電獨立，開關可以正常操作，負載可以切換；采用專用配電母線供電時，專用配電母線要具有靈活性、易擴展性。

配電母線形式相對精密配電柜具有減少地面使用空間、易擴容、可靠性高、運維成本低及線路免維護等優勢，但是投資成本高。

4 數據中心幾個配電誤區

4.1 零地電壓

零地電壓限值是早期IBM工程師為確認數據中心接地系統是否牢靠采取的簡便方法，如果新建數據中心投運前的零地電壓很高，說明接地電阻高，接地不牢靠。但實際上零地電壓不高于10 V，可認為零地電壓不會對設備運行造成不良影響。在數據中心，零地電壓偏高的原因有三相負載不平衡、零線規格不夠及非線性負載諧波影響等，降低零地電壓的措施有選擇合適的零線、重復接地及加裝隔離變壓器等。

4.2 隔離變壓器

工頻機或者精密配電柜中隔離變壓器有兩個主要作用——隔離和變壓，但不具備抗干擾、濾波、緩沖作用，同時隔離變壓器運行中向外散發熱量，降低了UPS等設備的散熱效率，損傷了設備的可靠性。

4.3 后備發電機組容量

對于發電機組容量不低于（N+1）冗余配置的要求，考慮到柴油發電機組不擅長帶容性負載及發電機功率因數和負載功率因數的較大差別，有必要提高發電機組數量的配置，加大輸出功率，防止發電機組帶不動數據中心的全部用電負荷。

4.4 高壓直流（HVDC）應用

高壓直流（HVDC）在節能上具備獨特優勢，在互聯網及電信數據中心得到廣泛應用，但在金融、政企等數據中心應用比較少。這一方面是因為市場上主流IT設備電源模塊為交流制式，采用直流電源后，面臨設備壽命受影響、廠商不再支持售后維保的困擾；另一方面部分設備必須使用交流電源，不支持直流電源，就需要再增加直流-交流轉換設備，降低了可用性。

4.5 節能與可用

在很多數據中心從業者認知中，追求節能就意味著降低了數據中心設備的可用性，但實際并非如此。節能并不等于可用性的降低，采用合理的管理方法及新技術新應用，節能是可以和可用性的提高相輔相成的。

5 TIA數據中心等級劃分

TIA-942-B—2017《數據中心電信基礎設施標準》中將數據中心電信（T）、暖通（M）、建筑和結構（A）、電氣（E）四個發面各劃分為4個等級。

5.1 E1級數據中心-基礎

為數據中心提供滿足電力負荷要求的最低配電水平，沒有冗余。電氣系統為單路徑，只有單個組件，配電路徑的組件或部分故障或維護將導致部分或全部IT設備供電中斷。

發電機和不間斷電源僅需滿足基本容量要求，不需要冗余，但是為了保證不間斷電源故障或維護期間IT設備正常供電，應為不間斷電源配置維護旁路。電力和暖通系統監控是可選的。

5.2 E2級數據中心-有冗余部件的

2級數據中心在1級數據中心基礎上，配置N+1冗余不間斷電源，發電機和其他配電設備不需要冗余，但是要考慮燃油存儲的冗余和隔離，以確保燃油系統故障不會影響整個發電機系統。2級數據中心配電是單一路徑，但是每個機柜應有兩路單獨的電源。

5.3 E3級數據中心-不間斷維護的

3級數據中心應有兩路市電供電，但可以來自同一變電站，發電機組容量可以N+1配置，其他配電設備要2N配置，從市電到IT設備均為雙路徑，互為備用，互為備用的兩個路徑至少一個路徑處于投運狀態。每條路徑的設備應進行物理隔離，以便一條路徑的任何維護或災難性故障不會導致另一條路徑的中斷。所有設備采用2N結構電源供電，如果無法滿足雙2N結構電源供電要求，則可以配置雙電源，在電源末端設置互投裝置。應設置電力、暖通等監控系統，以監控所有的主要電氣設備，進行異常告警。

3級數據中心在任何情況下有計劃的操作或維護基礎設施，都不會影響IT設備的正常運行。

5.4 E4級數據中心-容錯

4級數據中心應有兩路市電供電，兩路市電必須來自不同位置相互獨立的兩個變電站，發電機組及其他系統組件至少2N配置，互為備用，且均應在投運狀態，以便一個路徑出現問題時，自動切換到另一個路徑工作。每條路徑的設備應進行物理隔離，以便一條路徑的任何維護或災難性故障不會導致另一條路徑的中斷。

所有設備采用2N結構電源供電，如果無法滿足雙2N結構電源供電要求，則可以配置雙電源，在電源末端設置互投裝置。監控系統中應設置電池監控系統，用于檢測每一個電池的溫度、電壓、內阻及電池組的電壓和溫度，電池即將發生異常時發出警報。

4級數據中心除了可以不間斷操作和維護外，任何一個單一故障的發生都不會影響IT設備的正常運行。

6 結 論

本文介紹了數據中心配電設計相關標準、配電架構、配電設計、配電誤區、TIA942數據中心等級劃分。未來數據中心的發展趨勢是邊緣云計算[6]、綠色化、智能化、高密化、模塊化、集約化及鋰進鉛退等，數據中心的配電設計也需跟隨這些趨勢發展。