淺析數(shù)據(jù)中心高可用供配電系統(tǒng)

晁懷頗

(世源科技工程有限公司，北京 100142)

0 引言

近年來，國家信息化發(fā)展戰(zhàn)略的貫徹落實，不僅推動了互聯(lián)網、物聯(lián)網、大數(shù)據(jù)、云計算的蓬勃發(fā)展，也同時推動了數(shù)據(jù)中心的快速發(fā)展。作為一種為集中放置的電子信息設備提供運行環(huán)境的建筑場所，數(shù)據(jù)中心已成為現(xiàn)代信息社會的重要基礎設施，國內已建成或正在建設的數(shù)據(jù)中心數(shù)以萬計。

供配電系統(tǒng)是數(shù)據(jù)中心基礎設施的重要組成部分，負責為電子信息設備、制冷、空調、監(jiān)控、安防、照明等所有系統(tǒng)(設備)供電。在數(shù)據(jù)中心宕機事故中，超過半數(shù)是因為供配電系統(tǒng)故障或操作不當導致，因此，選擇一個高可用的供配電系統(tǒng)已成為數(shù)據(jù)中心建設的基本要求。

本文將針對一個建筑面積約10 000m2、布置 1 200 個5kW機柜的數(shù)據(jù)中心工程展開論述，分別介紹適用于數(shù)據(jù)中心的高可用供配電系統(tǒng)的三種常用形式，并從可用度、建設和運行成本、運維等角度進行分析和比較。

1 系統(tǒng)構架

數(shù)據(jù)中心高可用供配電系統(tǒng)有三種常用形式，分別為2N系統(tǒng)、DR系統(tǒng)和RR系統(tǒng)。下文將在市電配置和發(fā)電機配置相同的前提下，就三種系統(tǒng)展開討論。其中，市電電源系統(tǒng)中，接入雙路10kV市電電源，雙路電源同時工作、互為備用，設置兩段10kV市電配電母線，兩段母線采用分段單母的接線方式。發(fā)電機電源系統(tǒng)中，配置8臺10.5kV柴油發(fā)電機組，8臺機組按(7+1)冗余配置，采用單母線并機系統(tǒng)。

1.1 2N系統(tǒng)

2N系統(tǒng)由2個供配電單元組成，每個供配電單元均能滿足負載的用電要求，且2個供配電單元同時工作、互為備用。正常運行時，每個單元向負載提供50%電能，當一個單元故障停止運行時，另一個單元向負載提供100%電能。系統(tǒng)構架如圖1所示，共配置8臺2 500kVA變壓器，兩兩一組，共4組，同組2臺變壓器同時工作、互為備用，其中T1～T6為IT設備供電，T7、T8為輔助和支持設備供電。每組為IT設備供電的變壓器下配置兩組按2N配置的UPS，N=3×(1×500kVA)。

圖1 2N系統(tǒng)構架圖

1.2 DR系統(tǒng)

DR(Distribution Redundancy，分布冗余)系統(tǒng)由N個配置相同的供配電單元組成，N個單元同時工作、互為備用(N≥3)；將負載均勻分為N組，每組負載再細分為N-1個負載單元；第一個供配電系統(tǒng)為第一組負載內N-1個負載單元提供第A路電源，另外N-1個供配電單元為第一組負載內的N-1個負載單元分別提供一路電源，作為負載單元的B路電源，依此類推。當一組供配電系統(tǒng)故障時，其對應組負載內N-1個負載單元失去A路供電，B路電源則分別由未故障的N-1個供配電系統(tǒng)繼續(xù)供電。

本文所述DR系統(tǒng)中供配電單元的數(shù)量為3。系統(tǒng)構架如圖2所示，共配置9臺1 600kVA變壓器，其中6臺變壓器為IT設備供電，3臺為輔助和支持設備供電。

圖2 DR系統(tǒng)構架圖

一臺1 600kVA變壓器和兩組2×500kVA UPS組成一個供配電單元，共6個供電配單元，每3個供配電單元為一組，同組3個供電單元按DR配置。另外3臺為輔助和支持設備供電的變壓器也按DR配置。

1.3 RR系統(tǒng)

RR(Reserve Redundanc，后備冗余)系統(tǒng)需設置多個供配電單元，其中一個單元作為其他使用單元的備用。當一個使用單元故障時，通過電源切換裝置，備用單元繼續(xù)向故障單元下的負載供電。系統(tǒng)構架如圖3所示，共配置5臺2 500kVA變壓器，按4+1冗余配置，其中T1、T2、T3為IT設備供電，T4為輔助和支持設備供電，T5為冗余變壓器。T1～T3、T5變壓器下各設置兩組(3×500kVA)UPS，T5變壓器下UPS為T1～T3下UPS的備用，組成3+1冗余系統(tǒng)，通過STS實現(xiàn)切換，確保IT設備供電的連續(xù)性。

2 系統(tǒng)可用度分析

根據(jù)國家標準GB/T 2900.13-2008《電工術語 可信性和服務質量》規(guī)定，可用性為在所要求的外部資源得到提供的情況下，產品在給定的條件下、給定的時刻或時間區(qū)間內，能處于完成要求的功能狀態(tài)的能力。可用度為在給定的時間區(qū)間內能處于完成要求的功能狀態(tài)的概率，可表示為平均可用時間同平均可用時間與平均不可用時間的和之比。

圖3 RR系統(tǒng)構架圖

可用度A可表示為MTBF/(MTBF+MTTR)，MTBF為平均失效間隔工作時間，MTTR為平均修復時間。

2.1 分析方法

本文采用軟件ETAP 16分別進行三種系統(tǒng)可用度的計算，計算方法為：N個系統(tǒng)串聯(lián)可用度AN=A1×A2×……×AN；2個系統(tǒng)并聯(lián)可用度A=[1-(1-A1)×(1-A2)]；N+1冗余可用度A=[1-(1-A1)2](N+1)×N/2。

2.2 分析依據(jù)

本文采用軟件ETAP 16提供的可用度數(shù)據(jù)進行計算，該軟件內數(shù)據(jù)依據(jù)IEEE Std493 1997，具體數(shù)值參見表1。

2.3 分析模型和結果

三種供配電系統(tǒng)可用度分析模型圖分別如圖4～6所示。

由于篇幅限制，本文不對計算過程展開討論，僅對在相同計算方法、相同計算輸入數(shù)據(jù)前提下得出結論進行討論。三類不同供配電系統(tǒng)末端雙電源IT設備的可用度計算結果見表2。

供配電系統(tǒng)各環(huán)節(jié)可用度數(shù)據(jù)表 表1

注1：軟件ETAP 16未提供系統(tǒng)可用度數(shù)據(jù)，平均無故障時間按照15年(131 400 h)輸入；平局修復時間按照24 h輸入。
注2：軟件ETAP 16未提供系統(tǒng)可用度數(shù)據(jù)，平均無故障時間按照5年(43 800 h)輸入；平局修復時間按照24 h輸入。
注3：軟件ETAP 16未提供系統(tǒng)可用度數(shù)據(jù)，平均無故障時間按照10年(87 600 h)輸入；平局修復時間按照8 h輸入。
注4：軟件ETAP 16未提供系統(tǒng)可用度數(shù)據(jù)，平均無故障時間按照10年(87 600 h)輸入；平局修復時間按照12 h輸入。

圖4 2N系統(tǒng)可用度計算模型框圖

圖5 DR系統(tǒng)可用度計算模型框圖

圖6 RR系統(tǒng)可用度計算模型框圖

2N、DR、RR系統(tǒng)末端雙電源IT設備可用度分析結果表 表2

由表2數(shù)據(jù)可知，可用度由高到低分別為2N系統(tǒng)、DR系統(tǒng)、RR系統(tǒng)。究其原因，三類系統(tǒng)的冗余均可視作N+1配置，按N+1配置的環(huán)節(jié)中，故障數(shù)量超過1時，系統(tǒng)將失效；N越小冗余設備越多，可用度越高。三類系統(tǒng)中各環(huán)節(jié)視作N+1時的配置見表3。

2N、DR、RR系統(tǒng)各環(huán)節(jié)N+1冗余配置表 表3

本文雖然提供了三類系統(tǒng)可用度分析的具體數(shù)值，但系統(tǒng)中各環(huán)節(jié)可用度輸入數(shù)值、各環(huán)節(jié)設備配置(如UPS并機數(shù)量)等的變化，都會對具體數(shù)值造成影響。因此，具體數(shù)值僅供各位讀者做定性分析參考之用。另外，需要注意的是，可用度計算無法體現(xiàn)由于人為操作失誤、設備安裝和調試不當、運維不當?shù)纫蛩卦斐上到y(tǒng)可用度降低的影響。

3 成本

除了可用度，成本也是數(shù)據(jù)中心規(guī)劃、建設和運維關注的重點，下文將就上述的三類系統(tǒng)的建設和運行成本展開討論。

3.1 建設成本

依照上文所述的各系統(tǒng)構架對各環(huán)節(jié)設備進行配置。但是基于各環(huán)節(jié)設備單價僅是來源于筆者的項目經驗，不能完全適用于不同地區(qū)、不同行業(yè)數(shù)據(jù)中心建設，也不能完全適應不同品牌、不同類型的設備單價，故本文中定性給出的各系統(tǒng)造價差異，僅供比價參考。

其中，三個系統(tǒng)中設置的末端配電箱、ATS、變頻器等配置基本相同、造價占比較小、對整體造價的影響小，未納入設備配置表和造價估算進行比較；線纜、橋架、接地等材料成本占比較小，未進行比較；市電進線電纜的采購、敷設及測試成本，以及供電部門高可靠性收費等成本不確定性較大，未進行比較。

如表4～6所示，分別為2N系統(tǒng)、DR系統(tǒng)、RR系統(tǒng)主要設備配置及造價估算清單。

2N系統(tǒng)主要設備配置及造價估算表 表4

DR系統(tǒng)主要設備配置及造價估算表 表5

RR系統(tǒng)主要設備配置及造價估算表 表6

經過比較可知，2N系統(tǒng)設備造價高，DR和RR系統(tǒng)造價相當，較之2N系統(tǒng)造價低9%左右。

3.2 運行成本

折舊成本、運維人工和材料成本，未進行比較。線路和高低壓開關柜損耗占比較小，未進行比較。

(1)電度電價

運行成本從項目達產后供配電系統(tǒng)內設備消耗的電能進行比較。供配電系統(tǒng)中主要能耗設備為變壓器和UPS。

依據(jù)IT設備實際耗電功率6 000kW，變壓器和UPS年消耗電能估算見表7。

變壓器和UPS年耗電估算表 表7

注1：表中變壓器損耗數(shù)據(jù)是來自國內某合資品牌SCB11系列產品。
注2：表中UPS效率數(shù)據(jù)來自國內某品牌高頻機產品。

由表7數(shù)據(jù)可知，在相同用電設備耗電的情況下，不同負荷率下變壓器和UPS自身的能耗差別越來越小，原因一是節(jié)能變壓器的應用，二是采用了30%～100%負載率下效率都很高、效率隨負載率變化不明顯的UPS。

對于本文舉例的年耗電近7 000萬kWh的項目，不同供配電系統(tǒng)自身設備耗電差19.1萬kWh，占整個項目年耗電不足0.3%；平均電費按1元/kWh繳納時，年電費差19萬元左右。

綜上，隨著節(jié)能供配電設備的應用，負載率不同導致不同供配電系統(tǒng)自身能耗的差異不斷縮小，一般負載率大于30%時，基本可忽略此部分電度電價的差異。

(2)基本電價

項目采用兩部制電價時，除了電度電價外，還會按變壓器裝設容量收取基本電價，基本電價以35元/kVA·月繳納時，三類系統(tǒng)基本電費差異見表8。

2N、DR、RR系統(tǒng)基本電費統(tǒng)計表 表8

2N系統(tǒng)變壓器裝設容量最多，RR系統(tǒng)變壓器裝設最少，2N系統(tǒng)基本電費是RR系統(tǒng)基本電費的1.6倍，2N系統(tǒng)比RR系統(tǒng)每年多繳納315萬元基本電費，多繳納的基本電費約占項目年用電費用(包括電度電費和基本電費之和)的4.3%左右。

因此，建議數(shù)據(jù)中心規(guī)劃者、建設者根據(jù)數(shù)據(jù)中心規(guī)模、負荷增長速度等選擇電費繳納形式、選擇供配電系統(tǒng)形式。

4 其他

4.1 運維難度

數(shù)據(jù)中心工程可以說是“三分建設、七分維護”，基礎設施的運行維護對數(shù)據(jù)中心項目安全運行至關重要。系統(tǒng)構架簡單、維護便捷、運維難度小是數(shù)據(jù)中心供配電系統(tǒng)規(guī)劃階段就應該關注的要點，且運維難度和供配電系統(tǒng)構架的復雜程度密切相關，系統(tǒng)中環(huán)節(jié)越少、電源切換關系越簡單、閉鎖越少的系統(tǒng)運維難度越低。

2N系統(tǒng)構架簡單，是國內最常用的供配電系統(tǒng)，小到樓堂會所、大到百萬平方米級別的大型工廠的10kV及以下配電系統(tǒng)中都有最廣泛的應用。該系統(tǒng)環(huán)節(jié)少，僅市電和發(fā)電電源、10kV母聯(lián)備自投、0.4kV母聯(lián)備自投、末端設置的ATS存在電源切換，切換環(huán)節(jié)的閉鎖也多為廣大電氣運維人員所熟知的備自投或ATS。簡單的構架、廣泛應用所積累的運行維護經驗都降低了2N系統(tǒng)的運行維護難度，使其成為本文討論的三類供配電系統(tǒng)中運維難度最低的、運維最為便捷的系統(tǒng)。

DR系統(tǒng)較2N系統(tǒng)稍復雜，系統(tǒng)是3套供配電單元間的切換，增加了每臺變壓器前兩路10kV電源的切換環(huán)節(jié)和閉鎖要求，減去了變壓器低壓側母聯(lián)的備自投功能和閉鎖要求。

RR系統(tǒng)最為復雜，較之2N系統(tǒng)，增加了每臺變壓器前兩路10kV電源的切換環(huán)節(jié)和閉鎖要求；末端配電處增加了STS環(huán)節(jié)，增加了當一組STS切換至備用電源供電時由此備用源供電的其他STS需關閉自動切換功能的閉鎖要求；增加備用變壓器僅能為一臺使用變壓器提供備用電源的閉鎖要求；上述閉鎖功能復雜、接線點分散，需設置冗余的PLC實現(xiàn)此功能，但PLC的出現(xiàn)也間接增加了建設成本和運維難度。

如上，運維難度由低到高依此為2N系統(tǒng)、DR系統(tǒng)、RR系統(tǒng)。較之2N系統(tǒng)，DR系統(tǒng)運維難度稍高，RR系統(tǒng)運維難度則有很大的增加。

4.2 一次故障下的供電配電系統(tǒng)

(1)故障影響的范圍

供配電系統(tǒng)內部最容易發(fā)生故障的環(huán)節(jié)為電源轉換的環(huán)節(jié)，如UPS、變壓器。

2N系統(tǒng)中，10kV以下共設置4個供電單元，任何一個供電單元內的UPS、變壓器等環(huán)節(jié)故障時，僅故障單元受到影響，影響范圍小。就IT設備而言，一次故障影響1/3的IT設備的供電系統(tǒng)，且其他未故障系統(tǒng)不受此故障的影響和制約。

DR系統(tǒng)中，10kV以下共設置3個供電單元，單元內故障不影響、不制約其他兩個未故障的供電單元。就IT設備而言，一次故障影響1/2的IT設備的供電系統(tǒng)。

RR系統(tǒng)中，10kV以下為1個N+1配置的供電單元，任意一點故障時，整個供電系統(tǒng)都會受到影響。如一臺變壓器故障時，備用變壓器投入運行、替代故障變壓器繼續(xù)向負載供電，單其他未故障環(huán)節(jié)均需進行閉鎖，以避免二次故障時事故擴大。

(2)故障造成設備狀態(tài)變化程度

設備狀態(tài)變化越大，對設備造成的沖擊越大，變化帶來的沖擊會降低設備的可用度。

以UPS為例，當一組UPS故障時，處于冗余狀態(tài)的UPS負載率的變化如下：2N系統(tǒng)中，UPS負載率由37%增加至74%；DR系統(tǒng)中，UPS負載率由55.6%增加至83.4%；RR系統(tǒng)中，UPS負載率由0%增加至74%。

(3)故障后系統(tǒng)的可用度

2N系統(tǒng)10kV以下一次故障后，1/4負載可用度降低為單路供電狀態(tài)，3/4負載仍具備原有的高可用度。

DR系統(tǒng)10kV以下一次故障后，1/3負載可用度降低為單路供電狀態(tài)，2/3負載仍具備原有的高可用度。

RR系統(tǒng)10kV以下一次故障后，所有負載負載可用度降低為單路供電狀態(tài)。

(4)應對多重故障的能力

2N系統(tǒng)10kV以下共設置4個供電單元，最多能應對4個分布在不同供電單元的故障。

DR系統(tǒng)10kV以下共設置3個供電單元，最多能應對3個分布在不同供電單元的故障。

RR系統(tǒng)10kV以下為1個N+1配置的供電單元，僅能應對一次故障。

如上，從故障影響范圍、未故障的冗余設備替代故障設備繼續(xù)供電時的風險、故障后的可用度和應對多重故障的能力角度考慮，2N系統(tǒng)最優(yōu)，RR系統(tǒng)最差。

5 結束語

數(shù)據(jù)中心常用高可用供配電系統(tǒng)包括2N、DR、RR三種。其中，2N系統(tǒng)具有高可用度、結構簡單、運維便捷等特點，但其建設和基本電費的支出偏高。DR系統(tǒng)可用度、結構復雜程度、運維難度、基本電費支出等在三個系統(tǒng)中均處于中間水平，其還具有建設成本低、系統(tǒng)運行損耗小等優(yōu)點，但其系統(tǒng)在負載分配、設備和線路物理位置冗余等方面需要在數(shù)據(jù)中心規(guī)劃和設計階段重點考慮。RR系統(tǒng)造價較低，但其可用度、維護便捷性、抗災能力方面也相對較低。