鄭旭輝
(上海郵電設計咨詢研究院有限公司,上海 200092)
近年來,隨著通信技術的迅猛發展,云計算、大數據等熱點概念逐步形成,傳統的通信行業正面臨著業務轉型、升級換代的挑戰。目前,大規模數據中心的建設已成為一種趨勢,而隨著云計算、大數據的成熟應用,其影響范圍早已超出傳統通信行業的范疇,輻射至多個高新行業與周邊領域。隨著數據中心的規模不斷擴大,運營、維護成本也在不斷增高,為確保其安全、可靠的運行,與之相關的設備,乃至整個系統可靠性要求也在不斷提高。電源系統作為數據中心的重要基建設施之一,穩定、可靠的能源供給已成為業界關心的核心問題,提高電源系統的整體可靠性亦為供電保障的關鍵問題。本文將通過電源設備配置的變化,計算出各類系統組成的可用性及建議匹配的機房等級,以供參考。
可靠性是指元件、產品、系統在一定時間內、在一定條件下無故障地執行指定功能的能力或可能性。可通過可靠度、失效率、平均無故障間隔等來評價產品的可靠性。可靠性是衡量系統和設備的一項重要的綜合性質量指標,而電源系統的可靠性是衡量數據中心電源系統和組成系統各設備的一項綜合性質量指標。
電源系統的可靠性通常采用可用性指標來表征,電源系統的可用性通常定義為“系統在使用過程中(尤其在不間斷連續使用的條件下),平均無故障時間與平均無故障時間和平均維修時間之和的比值”,即
式中:A(t)為可用性;MTBF為平均無故障時間;MTTR為平均維修時間。
從式(1)上可以看出,可用性是關于系統可正常使用時間的一個數學量的表述與體現。可用性既包括系統設備的可靠性、可管理性和可維護性等問題,又有整個系統架構搭建的設備合理配置問題。可用性高不僅意味著設備故障頻率低,還意味著出現故障后的維修時間很短,能有更多正常使用的時間。
電源系統作為一個可維修的系統,采用可用性指標更能全面衡量系統的綜合質量。可用性的高低取決于平均無故障時間與平均維修時間2 個因素,平均無故障時間越大或平均維修時間越短則可用性就越大。在實際工程設計中,平均無故障時間受限于設備廠商技術,產品性能等因素,往往是不能改變或較難改變的。而平均維修時間則有維護、管理及系統配置組成等幾部分決定,通過在設計方案優化系統設備的組成,提高設備和系統冗余、容錯的性能,可以有效提高電源系統的可用性。
《通信局(站)電源系統總技術要求》 10.2.3 ~10.2.5 條文中對通信局(站)電源系統的不可用度指標給出了明確的規定。
(1)一類局站電源系統的不可用度應不大于5×10-7。即平均20 年時間內,每個電源系統故障的累計時間應不大于5 min,即可用性不小于0.999 999 5。
(2)二類局站電源系統的不可用度應不大于1×10-6。即平均20 年時間內,每個電源系統故障的累計時間應不大于10 min,即可用性不小于0.999 999。
(3)三類局站電源系統的不可用度應不大于5×10-6。即平均20 年時間內,每個電源系統故障的累計時間應不大于50 min,即可用性不小于0.999 995。
同時,《通信局(站)電源系統總技術要求》還對電源系統主要設備的可靠性指標給出了規定,此處不再一一列舉。本文以《通信局(站)電源系統總技術要求》中各條文對設備或系統平均失效間隔時間(MTBF)的相關規定為依據進行可用性數據的計算[2]。為簡便計算,此處平均維修時間(MTTR)均取2 h。此外,關于電源設備的可用性數據,相關資料已做詳細整理,本文將引用其中相關設備的可用性數據作為計算依據,各設備的可用性數值參見表1[3]。
電源系統是一個廣義的系統,實際上由基礎電源系統和保障電源系統2 大部分組成。標準的基礎電源系統又包含市電、油機、變壓器、交流配電系統等設備或子系統。而保障電源系統隨著技術的發展,需求的多樣化,設備的更新換代,則呈多樣化發展的趨勢。目前,大規模成熟應用的有-48 V 直流系統、240 V直流系統、各類不間斷電源(Uninterruptible Power Supply,UPS)系統等,但其共同特點是為末端設備提供不間斷電源保障,故統稱保障電源系統,本文僅以UPS 系統為例對保障電源系統的配置進行探討。
如前文所述,基礎電源系統主要由市電、油機、變壓器、交流配電系統等幾大部分組成,其供電系統架構如圖1 所示。

圖1 基礎電源系統架構
局站引入兩路一類外市電,分別經甲、乙兩路高壓配電設備、變壓器及低壓配電設備后至兩路市電切換柜內,由靜態轉換開關自動切換后與柴油發電機組的電源再次切換,輸出的即為切換后的交流供電系統電源。
其中,兩路市電切換后電源的可用性計算式為
再次與柴油發電機組電源切換后的交流供電系統電源的可用性計算式為
經計算,A1為0.999 942 264、A2為0.999 943 780。顯然,此處交流供電系統電源的可用性數值并不能滿足《通信局(站)電源系統總技術要求》(YD/T 1051—2010)中相關條文對局站電源可用性的要求。因此直接采用市電、油機電切換后的電源不能很好地保障設備供電的可靠性,值得注意的是,基礎電源系統的可用性并不是一成不變的,而是隨系統的設備配置、接線方式的改變而變動。但是,現實條件往往受限于建設標準、現場條件、投資性價比等因素,繼續通過增加市電、油機的冗余數量來提高電源系統可用性的方式并不理想,也不可行。為此,需要在后端配置保障電源系統來進一步提高整個電源系統的可用性。
為了進一步提高電源系統的可用性,以期達到規范中的要求,在此引入了保障電源系統。對保障電源系統來說,交流供電系統電源可用性(A2)即為輸入電源的可用性。加入了保障電源系統后,對于電源系統的可用性,本文選用UPS 系統進行建模、計算、比較和分析。
UPS 系統的配置按功能定義可分為基本型、冗余型與容錯型,不同配置的UPS 系統適用的機房等級不同,可用性與經濟性亦大相徑庭。現行《數據中心設計規范》規定常用UPS 系統的配置通常可分為“N”“N+1”“2N”及“M(N+1)”4 種,具體要求見表2[1]。

表2 數據中心設計規范附表
下文將對各種UPS 系統配置的可用性進行簡單的計算、比較和分析。
3.2.1 “N”系統
“N”系統通常由1 臺UPS 主機或多臺UPS 主機并機組成,作為1 套單機或并機系統,系統供電容量滿足基本需求,沒有冗余。以單機系統為例,系統正常運行時,該臺UPS 主機承載全部負載,沒有冗余備份。當UPS 主機發生故障時,該系統將限于癱瘓。其系統架構如圖2 所示。

圖2 “N”系統架構
UPS 主機輸入電源的可用性計算式為
設備端輸入電源的可用性計算式為
經計算,A3為0.999 999 998、A4為0.999 943 339。可以看到,在加入了UPS 系統后UPS 的輸入電源可用性(A3)較之前級交流供電系統電源可用性(A2)有了質的飛躍,可用性直接提升了4 個等級。但是由于單機系統的局限,缺少冗余備份的組件,UPS 系統本身的可用性并不高。不能滿足《通信局(站)電源系統總技術要求》(YD/T 1051—2010)對UPS 系統可用性不低于0.999 995 的要求,因此設備端輸入電源的可用性(A4)仍然不高。
總的來說,“N”系統配置簡單、設備利用率高、成本低廉、經濟性好,但是可用性有限,一般較多應用于C 級機房。
3.2.2 “N+X”系統
“N+X”系統通常由N+X臺型號規格相同且具備并機功能的UPS 主機,組成1 套N+X的并聯冗余系統,系統總容量為N臺UPS 主機的容量之和,并配備X臺主機作為系統的冗余。冗余是重復配置系統的一些部件,當系統中某些部件發生故障時,冗余配置的部件介入并承擔故障部件的工作,由此減少系統的故障時間。系統除滿足基本需求外,增加了X臺UPS 主機,任何X臺UPS 主機的故障或維護不會導致系統運行的中斷(X=1 ~N)。但當X+1 臺UPS主機同時出現故障時,系統不能滿足滿載負荷的供電需求,將限于癱瘓。系統發生該種故障的組合數量為
在實際工程設計中,UPS 系統的設計供電能力一般按系統額定供電能力的80%考慮,以“2+1”并聯冗余UPS 系統為例,系統正常運行時3 臺UPS 主機均攤負載,滿載時每臺主機的負載率約53%。當其中1 臺主機出現故障,需脫離退出系統時,另外2臺主機均攤全部負載,每臺主機負載率約80%,此時系統仍能正常運行,相當于并機單線系統,但沒有冗余部分。當系統同時有2 臺主機出現故障時,系統將限于癱瘓。“N+X”系統的框圖如圖3 所示。

圖3 “N+X”系統架構
每臺UPS 主機輸入電源的可用性計算式為
以單臺UPS 主機的可用性為Au,則“N+X” UPS系統的可用性計算式為
設備輸入電源的可用性計算式為
不同配置的“N+X” UPS 系統的可用性計算數值見表3。

表3 “N+X”系統可用性計算表
從表3 可以看出,隨著冗余設備數量的增加,UPS 系統的可用性顯著提高,滿足規范中對UPS 系統可用性不低于0.999 995 的要求,但是對設備輸入端電源的可用性提升確不大。因此,在UPS 系統可用性滿足要求的前提下,盲目追求UPS 系統的高可用性而增加冗余設備的數量并不合適。而且隨著并機數量的增加,整個系統的控制、維護、管理的難度都在增加,在實際應用中,系統的可用性往往并不能達到期望的效果,所以《數據中心設計規范》修編后已將原“N+X”配置改為“N+1”配置。
同時,從數據上看,在冗余設備數量相同的情況下,系統設備總數的增加對可用性的影響不大,而相對的設備利用率確明顯提高。但是“N+X”系統作為一條單總線的冗余系統,在很多配電環節都存在單點故障瓶頸。因此,在配置“N+X”系統時不建議將其規模建設的過大,以避免發生故障時事故范圍的擴大。在設備負荷需求不大時,可按設備負荷總容量配置1 套“N+X”系統,在設備負荷較大或近期有新增設備負荷的情況下,一般將設備負荷總容量分拆由幾套“N+X”系統分別提供電源。在實際工程設計中,常用的“N+X”系統配置一般有“1+1”“2+1”這2種并聯冗余系統配置方式,需要結合場地、投資等其他因素按實際情況選用、配置。
總的來說,“N+X”系統有冗余備份、UPS 系統可用性高,但是較“N”系統經濟性差、設備利用率低、占地面積廣,且同樣存在配電環節單點故障瓶頸,一般較多應用于B 級機房。
3.2.3 “2N”及“M(N+1)”系統
“2N”及“M(N+1)”系統通常由2 套或2 套以上UPS 系統各按多機并聯方式組成,從低壓配電到機架用電設備全程采用雙UPS 系統冗余、雙系統總線配電的方式,系統總容量為N臺UPS 主機的容量之和,并視需要配置1 臺主機作為冗余備份或不配置。2 條總線相互獨立具備容錯性,容錯系統是具有2 套或2 套以上相同配置的系統,在同一時刻,至少有2套系統在工作,每套系統是(N+M,M=0 ~N)結構。按容錯系統配置的場地設備,至少能經受住1 次嚴重的突發設備故障或人為操作失誤事件而不影響系統的運行。
以單機雙總線UPS 系統為例,2 條電源總線自低壓配電到機架用電設備全程獨立、相互冗余,正常運行時每條總線的UPS 各承擔50%負載,單條總線UPS 系統不配置冗余設備。當1 臺UPS 主機出現故障時,后端負載將全部切換到另一條總線的UPS 主機,對于單電源設備來說,為實現2 條總線的相互冗余,需在設備前端配置1 套機架式靜態轉換開關[4]。只有在2 條總線同時出現故障時,系統才會限于癱瘓,當然這種故障在非災害造成的事故中概率較低。在工程設計中出于經濟性及占地面積等多方面因素的考慮,往往在系統冗余、容錯性的設計中不會考慮雙點故障的影響。“2N”系統架構如圖4 所示。

圖4 “2N”系統架構框圖
則UPS 主機輸入電源的可用性計算式為
設備輸入電源的可用性計算式為
不同配置的“2N”及“M(N+1)” UPS 系統的可用性見表4。

表4 “2N”系統可用性計算表
從表4 可以看出,與“N+X”系統相同,單條總線UPS 系統的可用性隨著冗余設備數量的增加而增加,配置1 臺設備作為冗余備份后,即可滿足規范中對UPS 系統可用性不低于0.999 995 的要求。但是設備輸入端電源的可用性受限于市電、油機、配電等設備的可用性仍然提升不大。同樣,在UPS 系統可用性滿足要求的前提下,不必為盲目追求UPS 系統的高可用性而增加冗余設備的數量。“2N”及“M(N+1)”系統的優勢再于其2 條總線相互獨立的供電方式,突破了單線供電系統的瓶頸,使2 套獨立的系統間具備了相互容錯的性能。
以單機雙總線系統為例,該系統較之“1+1”并聯冗余系統而言,系統配置、投資規模、占地面積等相差不多,但是其系統自身雙總線的供電方式克服了并聯冗余系統中諸多配電環節的單點故障瓶頸,有效提高了系統的容錯能力及可靠性。
總的來說,“2N”或“M(N+1)”系統由于擁有2 條或多條供電總線,多總線間系統具備容錯能力,在實際應用中其可用性明顯高于“N”“N+X”系統,一般應用于A 級機房。
3.2.4 “N+AC”系統
“N+AC”系統是“2N”系統的一種變種,是近年來在國家節能減排、減配增效指導方針下,隨著國家電網建設齊全,市電供電質量日益提升背景下催生的一種產物。系統結構上是由1 路保障電源系統和1路市電組成的不對稱“2N”系統,與“2N”系統相似,從低壓配電到機架用電設備全程采用雙總線配電的方式進行供電,只不過其中1 條總線由市電電源直接對服務器設備進行供電,市電總線與保障電源系統總線相互獨立,容量互為備用,具備容錯性[5]。系統抗干擾性上,至少能經受住1 次嚴重的突發設備故障或人為操作失誤事件而不影響系統的運行,只有市電與保障電源系統同時受損時,系統才會陷于宕機狀態,這種故障與“2N”系統類似,工程中一般不予考慮,此處不再敖述。
“N+AC”系統架構如圖5 所示。UPS 主機輸入電源的可用性計算式為

圖5 “N+AC”系統架構
設備輸入電源的可用性計算式為
不同配置的“N+AC”系統的可用性見表5。

表5 “N+AC”系統可用性計算表
通過表3、表4、表5 的縱向對比發現,“N+AC”系統的可用性與“2N”系統的可用性基本相當,遠優于“N+X”系統的可用性。這與其系統結構和“2N”系統一致的關系密不可分,說明整個電源系統的可用性不僅取決于電源設備自身的可用性,還與系統的結構密切相關。在工程設計中,設備自身的可用性往往是一個固定的數值,而系統結構則是作為設計者可控的重要一環,因此確定機房等級、設計相應的系統結構是確保系統可用性達標的主要措施。
“N+AC”系統由于結構與“2N”系統相同,可用性與其相近,在主設備能夠承受市電直供的條件下,可以一定程度上替代后者,且節省了一半的設備投資與占地面積,經濟性上優于“2N”系統,但在高端數據中心應用領域,“2N”系統仍是保障電源系統的首選,相比較省下的設備投資與宕機引起的損失,投資者仍傾向于選擇可用性更高的“2N”系統。而“N+AC”系統實際上更多的是用于替代“N+X”系統,與后者相比,系統結構上的優異性一覽無余,可用性遠高于后者,投資造價上,兩者也基本相當,因此將其應用于B 級或B+級定制機房也是一種不錯的選擇。
通過上文的計算、比較和分析,影響整個電源系統可用性的主要因素還是保障電源系統。基礎電源系統雖然重要,但是初期建設完畢后,后期如需要進行改造,難度較大,不易調整,且對于單個電源系統內不同等級機房可用性要求的調整空間不大。而對保障電源系統來說,其可用性主要受控于系統搭建的結構,因此對于不同等級機房,如何在兼顧經濟性與可用性之間搭建一個合適的系統結構才是設計者需要考慮的問題。