數據中心“雙路市電”的必要性淺析

劉水旺 阿里巴巴 數據中心基礎架構專家，注冊電氣工程師

沈燁燁阿里巴巴數據中心系統工程師

數據中心“雙路市電”的必要性淺析

劉水旺 阿里巴巴 數據中心基礎架構專家，注冊電氣工程師

沈燁燁阿里巴巴數據中心系統工程師

隨著中國電力自動化技術應用和電網改造升級，在多數大城市區域電網供電可用性進一步提高。與此同時，數據中心規模越來越大，單個數據中心市電引入容量也越來越大。如此大規模的市電容量的需求，如果依然按照2N的市電來設計建設，對于數據中心的選址和建設運營都帶來很大挑戰。基于此，本文對數據中心“雙路市電”的必要性進行了研究和分析。

數據中心；市電；柴油發電機組；成本；可靠性

1 引言

國內大多數互聯網、電信、金融類數據中心對于供電的配置大多采用2N市電+N柴油發電機組的電源方式（或N+1柴油發電機組），這種方式來源于Uptime和GB50174規范中對于數據中心可靠性等級的相關建議和規定。經過多年的實際運行來看，這種供電方式可以為數據中心提供相對可靠的電能。采用2N市電+柴油發電機組的配置相對比較籠統，只提出了對市電電源數量和柴油發電機組數量的配置要求，并沒有考慮到市電電源的質量和柴油發電機組的技術指標和接入方式等，所以并不能很好地適應多數數據中心場景。

近年來，隨著中國電力自動化技術的應用和電網的改造升級，在多數大城市區域電網供電可用性得到進一步提高。根據近年來在北京、上海、杭州、深圳等城市多個數據中心的運行數據和經驗，市電有計劃停電和意外中斷次數明顯減少。在這些城市多數數據中心平均每年單路市電中斷時間少于幾小時。大多數2N市電配置的數據中心一年運行下來從來沒有出現過兩路完全同時中斷的情況，大量備用的柴油發電機組“無用武之地”。

與此同時，隨著互聯網的發展和云計算的興起，數據中心規模越來越大，單個數據中心市電引入容量也越來越大，從早期的幾千千伏安到目前幾萬千伏安，甚至十幾萬千伏安。如此大規模的市電容量的需求，如果依然按照2N的市電來設計建設，對于數據中心的選址和建設運營都帶來很大挑戰。以一個5萬臺服務器的數據中心為例，如果按照2N市電+（N+1）油機的配電方式，那么基本的配置包括主備各3萬千伏安的市電引入和大約4萬千瓦備用柴油發電機組的配置。這些資源的建設成本大約需要1.2～1.5億元，大約占數據中心基礎設施成本的25%～30%。高額的建設成本只是一方面，更嚴重的是能滿足主備各3萬千伏安市電引入資源的區域非常稀缺，可選址范圍受到很大限制。另外，在運營費用方面，2N的市電引入隨之帶來的是與其配套2N的變壓器配置，這樣會產生每個月數百萬元的基礎電費，造成變壓器利用率極低。

2 數據中心是否必須要配置雙路市電

高昂的建設運營成本，越來越難獲得的市電資源和極低的市電利用率，讓我們不得不思考應該如何去改變。問題很簡單，2N市電+油機的配置方式，要減配要么減少市電要么減少油機。

國內目前最普遍的做法是減少油機的數量，或者更準確的說法是油機配置容量不足。例如，設計1萬千瓦的負載，很多數據中心只配置1萬千瓦（備用或主用功率）的柴油發電機組。這種減配的設計方式在負載率比較低或負載率遠小于設計負載時候發電機組可以滿足負載使用要求，在負載率進一步提高時就面臨巨大風險，因為按照設計負載柴油發電機組是無法承擔或只能極短時間承擔的，這樣配置的收益在于大概減少了20%～30%的發電機投資，另外表面上看可以稱為是2N市電+油機的配置方式給人高可用的假象。但是這種減配方式，被認為是得不償失的，目前可以存在的原因是因為多數數據中心運行負載率遠沒有達到設計負載率。它所節省的成本有限，但是由此帶來的負載率的限制和過負載風險很大。

根據建設和運營實踐經驗，筆者認為對于數據中心來說，市電屬于外部不可控資源，即使多路市電理論可靠性可以非常高，但是因為市電來源均為電網，也不能因此不配置或減少配置柴油發電機組，如歷史上的美國東部大停電和中國2008年的雪災停電。但是對于外市電資源，筆者認為可以根據實際情況適當減少做N或N+1?？紤]市電減配的原因在于一方面市電減配帶來的建設成本和運營費用節約比較多，如市電側投資會減少30%～50%，運營基礎電費會隨之大幅減少；另一方面從目前數據中心運營數據來看，供電可用性的短板并不是市電而是柴油發電機組。也就是說增加一路或多路市電帶來的可用性提高與提高柴油發電機組系統可靠性來比是不對等的。因為市電均來自電網，即使很多路市電來自完全不同的高等級的變電站，這些市電相互也不具備完全獨立性，另外市電也不可避免地受到外部條件的影響和制約。但是對于柴油發電機組，如果采用合理的設計和選型則可以大幅提高整個數據中心供電的可靠性。

從目前電源不可用的情況來分析，國家電網統計目前大城市單路市電可用率遠超過99.9%，我們要竭盡全力去解決這不可用的0.1%的市電中斷時間。而為了解決這0.1%的市電中斷時間，目前國內數據中心的做法往往是增加了一倍的市電引入，并且再配置不同冗余數量的柴油發電機組。也就是說，即使多花了一倍的市電引入成本，仍舊需要為應對不可控因素配置柴油發電機組。這個時候，是否可以考慮將市電看成是一個低成本、高效益、不可控的電源，另外建設一個由柴油發電機組構成的高可靠、高保障的電源來完全作為備用，應對極少數市電不可用的情況和災害情況。這樣市電電源和柴油發電機組電源是相互獨立的，如果需要高可靠的供電等級，只需要不斷提高柴油發電機組供電系統的可靠性即可。對于市電系統，按照現有常規系統進行設計，平時由市電進行供電。對于柴油發電機組根據應用等級的需求按照不同的高可靠方案設計。對于柴油發電機組的建設需要考慮柴油發電機組自身的可靠性，柴油發電機組輸出配電環節的可靠性和柴油發電機組機房設計的可靠性和可維護性及維護策略。

對于可用性要求比較高的數據中心，減少部分市電采用N或N+1市電配置建議應當做到以下幾點：

（1）柴油發電機組選擇有實力合格的廠家的產品。

（2）柴油發電機組應當按照可以長期運行（至少1周）的負荷率進行設計。

（3）柴油發電機組至少做N+1冗余，必要時候做N+2，N的數量要有合理的控制。

（4）柴油發電機組配電輸出至用電設備整個環節應當考慮沒有單點故障點。

（5）柴油發電機組機房和附屬設施應當能夠滿足柴油發電機組長期運行的條件。

（6）嚴格遵守發電機組制造商約定的定期維護維保。

在滿足以上幾點的前提下，在目前國內市電質量比較好的大城市數據中心采用N或者N+X市電來取代現有2N的市電是具有可行性的。

3 各種方案對比分析

對于目前存在的數據中心常用的幾種市電和油機供電方案及建議，從可靠性、建設成本、運營成本等方面進行簡單對比。首先，選取目前常用的2N市電+（N+1）油機、2N市電+N油機、2N市電+N+1油機（配置不足）的方案與建議的（N+1）市電+（N+1）油機，N市電+（N+2）油機方案，以5萬臺服務器數據中心為單位進行簡單對比（見表1）。

（1）假設單路市電供電可靠性99.9%，3+1市電可靠性是99.95%，2N市電供電可靠性99.99%（因為雙路市電相互并不完全獨立）。單臺油機供電系統可靠性99%，則各種方案供電理論可靠性依次約為：99.99999%，99.9999%，99.99%，99.9999%，99.9999%。

（2）建設成本按以下指標簡單估算：發電機組還配套按照400萬每套；高壓配電按照100萬元每套；市電引入按照1000萬每路10000KVA；低壓配電按照200萬每套（含1臺變壓器）低壓配電按照240萬每套（含2臺變壓器）。

（3）基礎電費按照40%變壓器容量，40元每千伏安每月估算。

（4）成本對比只考慮建設成本和基礎電費。不考慮低負載率造成的效率損失、制冷成本、空間占用等其他因素對成本的影響。

表1 以5萬臺服務器數據中心為單位進行對比

綜上認為，2N市電+（N+1）油機適用于可靠性非常高的數據中心，但是建設成本和運營費用都比較高，并不適合大規模的數據中心建設和應用；2N市電+（N）油機可靠性比較高，建設成本也比較高，但是應對意外災害能力比較差；2N市電+（N）油機配置不足這種方式是一種不合理的配置方式，為了保證可靠性，不得不限制數據中心的利用率，最終造成單位建設和運營成本大幅提高；在市電穩定性比較高的區域采用（N+1）市電+（N+X）油機，N市電+（N+X）油機方案，能取得比較好的可靠性和比較低的建設成本，這種方式適合可靠性要求比較高的大型數據中心。

4 結束語

隨著互聯網和云計算應用的不斷推廣，數據中心規模和數量不斷增加，數據中心對于資源的占用急劇膨脹。如果仍舊按照傳統的方式繼續建設和運營數據中心，一方面高成本低可用性的數據中心會帶來大量的資源占用和資源浪費；另一方面數據中心的數量和質量也將會成為互聯網和云計算產業的瓶頸。因此，不得不重新思考如何采用更低的成本和更有效的方式來改善數據中心的供電架構。目前，常用的傳統的“2N”市電的架構簡單粗暴，是數據中心粗獷型發展的代表。在建設和運營大量數據中心總結積累的數據基礎上，在配電環節對于低故障率的環節采用N+X取代傳統的2N有著非常重要的意義，2N市電配置的降低只是其中一環，另外還包括變壓器、低壓配電母線、UPS等。隨著電網供電技術和管理水平的不斷提高，供電可靠率的不斷上升，對于未來數據中心特別是供電發達區域數據中心對于“雙路市電”的依賴性將會不斷降低。

2014-09-12）