某容錯級數(shù)據(jù)中心的供配電方案

張 瑋

（蘇州供電公司，江蘇 蘇州 215004）

現(xiàn)代社會是信息化的社會，而所有的信息化應用，都要以基礎數(shù)據(jù)庫為中心。公共的數(shù)據(jù)中心和云計算為用戶的數(shù)據(jù)存儲、傳輸提供了便捷高效的第三方數(shù)據(jù)服務。

近年來，全國數(shù)據(jù)中心產業(yè)蓬勃發(fā)展，江蘇蘇州地區(qū)也陸續(xù)建設了多個大型數(shù)據(jù)中心，且規(guī)模、等級、先進性等指標居于國內領先水平，特別是位于蘇州工業(yè)園區(qū)的某座數(shù)據(jù)中心，更是亞洲唯一一座容錯級（最高等級）的數(shù)據(jù)中心。蘇州供電公司相關部門全程參與了該類大型數(shù)據(jù)中心的項目前期方案論證、工程設計、項目施工、驗收投運等工作，并根據(jù)國內外的技術資料和地區(qū)的實際特點，對大型數(shù)據(jù)中心的供配電系統(tǒng)進行了開創(chuàng)性的探索和創(chuàng)新。

1 數(shù)據(jù)中心的分類和容錯級標準

目前，國際中通用的數(shù)據(jù)中心分類參照美國電信工業(yè)協(xié)會（TIA）頒布的《數(shù)據(jù)中心電信基礎設施標準》，該標準將數(shù)據(jù)中心分為4類：基礎級、冗余級、并行維護級、容錯級。其中等級最高的容錯級標準為：“數(shù)據(jù)中心基礎設施的性能和能力可以保證任何計劃性維護都不會引起關鍵負載的中斷，它的容錯能力也使得基礎設施能夠忍受至少一次最糟糕的情況——非計劃性故障或非關鍵性負載時間的沖擊。需要同時運行2條路徑，通常是雙系統(tǒng)2（S）的配置。從電力角度來說，需要2個獨立的（N+1）UPS系統(tǒng)，可用性為99.995%?！?/p>

容錯級標準中涉及到電力系統(tǒng)的技術指標如表1所示。

表1 容錯級數(shù)據(jù)中心相關電力系統(tǒng)技術指標

2 容錯級數(shù)據(jù)中心供配電系統(tǒng)分析

2.1 數(shù)據(jù)中心負荷等級分類原則

常規(guī)照明用電：普通辦公、生活區(qū)用電，負荷等級為三級負荷。由于容錯級標準中規(guī)定數(shù)據(jù)中心全部負荷均應能由發(fā)電機提供，則其容量應計入發(fā)電機保障容量中。

機房計算機用電：主要為單純的計算機類負載，如：系統(tǒng)服務器、存儲設備、終端設備、網絡通信設備等。其電源負載條件較為單純，對電源質量要求較高，有多種類型供電需求保障要求，對上級供電系統(tǒng)無不良的影響。負荷等級為一級負荷中的特別重要負荷，采用雙總線UPS供電，設備末端切換，能延時供電達到15 min，單路UPS前端采用市電+柴油機供電。

機房空調系統(tǒng)用電：由于機房內計算機設備不間斷運行，設備發(fā)熱量較大，設備對機房環(huán)境溫濕度要求較高，因而對機房精密空調系統(tǒng)運行保障等級要求較高。故負荷等級為一級，由市電+柴油機供電，設備末端切換。

消防系統(tǒng)、應急照明、運行監(jiān)控系統(tǒng)用電：主要為消防設備用電、報警監(jiān)控系統(tǒng)用電、應急廣播照明用電等。負荷等級為一級，由市電+柴油機供電，設備末端切換，并采用EPS供電。

2.2 容錯級數(shù)據(jù)中心供配電系統(tǒng)設計原則

（1）高可靠性

容錯級數(shù)據(jù)中心整體可靠性系數(shù)平均被定為99.995%，計算機系統(tǒng)設備的供配電系統(tǒng)服務等級可靠性系數(shù)應等同于99.995%的標準，整體方可匹配。電力系統(tǒng)等級達到容錯級，按照規(guī)定，平均每年電力事故引起的宕機時間為0.4 h。

根據(jù)容錯級中的相關標準，數(shù)據(jù)中心機房的供配電系統(tǒng)的設備全部采用雙系統(tǒng)（S+S）的配置，即同一套用電設備，均存在2套獨立全容量的變壓器、發(fā)電機、UPS供電。對計算機設備用電需求進行統(tǒng)計分析，對供配電系統(tǒng)中的設備作如下分析說明。

第一級：“變壓器A”與“變壓器B”之間電源完全獨立，同時運行，互相備供，即2臺變壓器電源來自不同上級變電站，通過不同路徑進入變電所內，由不同高壓母線供電。

第二級：“柴油發(fā)電機組-A組”與“柴油發(fā)電機組-B組”，柴油發(fā)電機組采用2（S）方式。

第三級：“UPS-A組”與“UPS-B組”。A組、B組各自內部還可分為不同的模塊式小容量UPS組合。UPS系統(tǒng)采用2（S）熱備用方式。

第四級：從UPS輸出母排，到樓層級配電柜，均為雙路，并有多路分支供到不同區(qū)間配電間。

第五級：從樓層級配電柜到各區(qū)域級配電柜，均為雙路，并根據(jù)計算機設備用電需求特性，將分為雙電源配電柜、單電源配電柜。

第六級：在機柜級單電源配電柜進線前端，將2路供電通過“機柜內靜態(tài)切換開關（即STS）”控制，供給某些機柜特別的單電源設備。

第七級：對于雙電源設備，從區(qū)域級、末端配電柜到末端設備的全程，均保持雙路供電，并為完全獨立敷設的線路。

綜合以上7級供電可靠性設計原則，可得出如下數(shù)據(jù)中心機房供配電系統(tǒng)邏輯關系圖（圖1）。

此系統(tǒng)邏輯也是計算機設備供配電系統(tǒng)的規(guī)劃架構，包括了高低壓變配電、柴油發(fā)電機和UPS應急保障系統(tǒng)和低壓輸出配電系統(tǒng)的總體規(guī)劃架構。

（2）高智能化

對于如此高可靠性、高復雜度的數(shù)據(jù)中心變配電系統(tǒng)，如何管理也同樣面臨嚴酷的挑戰(zhàn)。變配電系統(tǒng)不僅僅包括末端的低壓機柜和變電所內的高低壓設備，還包括樓層配電柜、總配電柜等，這些配電柜都必須納入整個電力系統(tǒng)監(jiān)控范圍，通過電量儀、開關輔助觸點等手段對其運行狀態(tài)實現(xiàn)監(jiān)控。新一代變配電系統(tǒng)就是利用數(shù)字化監(jiān)測手段，將機房內各個配電開關通過網絡通信技術，使管理人員可遠距離監(jiān)控配電柜的工作狀態(tài)。通過利用此項技術，在電力智能化管理系統(tǒng)中，可輕松實現(xiàn)各級配電的能源管理，從容掌控機房的資源管理。

3 容錯級數(shù)據(jù)中心供配電系統(tǒng)方案實例

3.1 用戶背景資料

鑒于保密要求，用戶背景資料中部分數(shù)據(jù)做了修改。

蘇州地區(qū)某座容錯級標準的數(shù)據(jù)中心主體建筑為一座6層建筑，地下室、一層為辦公、設備用房等，2～6層為機房，消防、監(jiān)控等。按照容錯級標準，單個機柜UPS供電量達到4 kW，機柜總用電需要8 000 kW。

3.2 負荷等級分類及設備容量配置

辦公用電屬于三級負荷，機房空調屬于一級負荷，滿載負荷容量為3 400 kW，需用變壓器容量為4 000 kVA，滿載負荷率85%。需用發(fā)電機容量為4 000 kW。

機房、監(jiān)控用電負荷等級屬于一級負荷中特別重要負荷，根據(jù)標準，在滿足0.9N的基礎上增加一定量的冗余度，配置10 000 kVA的UPS（設定80%輸出下），則需用5組UPS，每組2 000 kVA，分樓層供配電。每2組UPS合供1 600 kW負荷。需用變壓器容量為10 000 kVA，滿載負荷率80%。需用發(fā)電機容量為10 000 kW。

按照2S（雙系統(tǒng)）原則，則配置變壓器容量28 000 kVA，每臺2 000 kVA，共14臺；發(fā)電機容量28 000 kW，每臺2 000 kW，共14臺；UPS容量為20 000 kVA，每組2 000 kVA，共10組，并且每組UPS內分為5組模塊式小容量UPS，每小組400 kVA。

圖1 數(shù)據(jù)中心機房供配電系統(tǒng)邏輯關系圖

3.3 供配電方案的設計

（1）高壓供電電源方案

該戶的實際用電負荷為11 400 kW，根據(jù)2S（雙系統(tǒng)）原則，所需變壓器裝機總容量為28 000 kVA，2路電源供電，每路電源14 000 kVA，2路電源同時運行，可互為備供。平時每路電源的負載率為40%，一旦發(fā)生一路電源失電的情況，由另一路電源供全部負荷，最大負載率為80%。

該戶處在區(qū)域具備20 kV電源供電條件，可采用2路20 kV電源供電，即能滿足用戶的2S要求。但因為考慮到該戶的重要程度特別高，在一路電源故障或長時間檢修時，由一路電源供電還是存在一定的不安全因素，故建議用戶在原有2路主供電源的基礎上，再增設一路外部電源，作為緊急聯(lián)絡備用。

三路電源引自上級110 kV變電站不同主變低壓側，其中至少有一路電源與其余2路電源不從同一變電所引出。3路電源經不同路徑（電纜）引至數(shù)據(jù)中心地塊內2座開關站內。從上級變電站分布、供電電源的數(shù)目、電纜路徑、開關站的冗余度分析，都能達到N+2，符合標準要求。見圖2。

圖2 高壓供電電源方案例圖

（2）變電所高低壓系統(tǒng)接線方案

高低壓配電系統(tǒng)采用2（S）方式配置，故變電所內采用雙電源、雙母線供電，高壓不聯(lián)絡，低壓側聯(lián)絡。每臺變壓器低壓側與一臺同容量的發(fā)電機聯(lián)絡，經聯(lián)絡切換后對負荷供電。

對于變壓器、低壓總開關進行冗余度分析，若其故障情況下，導致一路市電失電，則其對應的發(fā)電機自啟動，經自動開關（ATS）切換后繼續(xù)對UPS供電，達到N+2要求。若低壓母線ATS開關故障，將導致一路低壓母線失電，無法達到要求，故采用帶有維護旁路的ATS，在其主回路ATS發(fā)生故障的情況下，可切換至維護旁路繼續(xù)供電，而主回路ATS開關抽出維修、更換。低壓母線聯(lián)絡開關或低壓聯(lián)絡母線故障，可能影響到低壓母線失電，故聯(lián)絡母線采用雙側開關，滿足標準要求。

變電所高低壓系統(tǒng)接線方案見圖3、圖4。

圖3 高壓系統(tǒng)接線方案

圖4 低壓系統(tǒng)接線方案

（3）柴油發(fā)電機系統(tǒng)配置方案

本方案中，數(shù)據(jù)中心配置14臺2 000 kW柴油發(fā)電機，分為A組和B組，分別一一相對應于1號、2號電源所供變壓器。

10臺發(fā)電機供應UPS，單臺容量2 000 kW，每臺柴油機對應1臺2 000 kVA變壓器。10臺機組分為A、B共2路，每路5臺。4臺發(fā)電機供應數(shù)據(jù)中心辦公、消防、空調等，單臺容量2 000 kW。該4臺機組分為A、B共2路，每路2臺并機，并機容量為4 000 kW。

柴油發(fā)電機房設置在地下室一層，分獨立2個房間放置，2組系統(tǒng)獨立配置室外埋地油庫，油庫距離建筑大于15 m，通過輸油管路送到柴油發(fā)電機房。其中A組7臺柴油機運行96 h所需地下儲油罐容積為360 m3（參照康明斯2 000 kW機組耗油量計算）。B組7臺柴油機油罐獨立設置，不得與A組油罐混用，且保持15 m以上安全距離。

4 結束語

在該數(shù)據(jù)中心項目實施過程中，因為沒有先例可以借鑒，眾多設計方案細節(jié)均是通過多次比較、分析、論證的結果，也有一些需要在實際運行中檢驗?，F(xiàn)將這些討論總結如下：

（1）外部電源的數(shù)量問題：客戶的電力工程師認為其內部已經配置了2S的發(fā)電機和UPS，外部電源也按照要求配置2路電源即可。而供電公司考慮到其所處區(qū)域內存在新建項目多、道路施工多等不穩(wěn)定因素，堅持認為應該多設置一條備用線路。事實證明，在后來的道路施工中，一路主供電纜遷移需要停電2天，經過供電公司運行調整，投入備用電源，保證了用戶安全運行，增加了可靠系數(shù)，減少了用戶的發(fā)電機油料支出。

（2）高低壓配電系統(tǒng)采用2（S）方式配置，變電所內采用雙電源、雙母線供電，沒有采用三電源及三母線方式。主要考慮：①已有系統(tǒng)中的子系統(tǒng)均采用2（S）方式，電源冗余度足夠；②3路電源與2路發(fā)電機之間的系統(tǒng)過于復雜，閉鎖繁雜，反而可能存在系統(tǒng)邏輯程序錯誤或則運行人員誤操作，從而影響到系統(tǒng)可靠性。

（3）2路電源聯(lián)絡方式采用高壓不聯(lián)絡，每2臺對應的變壓器在低壓側聯(lián)絡。主要是考慮高壓聯(lián)絡開關一旦發(fā)生故障的情況下，可能影響到2路市電均需停電處理，引起故障的擴大化，降低了系統(tǒng)的可靠性，而低壓聯(lián)絡已能夠達到設計要求，故本次不設置高壓聯(lián)絡。

（4）低壓母線ATS切換開關的選擇至關重要，若其故障，將導致一路低壓母線失電，無法保證安全運行。故采用帶有維護旁路的ATS，在其主回路ATS發(fā)生故障的情況下，可切換至維護旁路繼續(xù)供電，而主回路ATS開關可抽出維修、更換。