蘇州工業(yè)園區(qū)TierIV標(biāo)準(zhǔn)數(shù)據(jù)中心供配電系統(tǒng)設(shè)計(jì)

傅衛(wèi)東 / 張 淵（蘇州工業(yè)園區(qū)設(shè)計(jì)研究院, 江蘇 蘇州 215021）

1 項(xiàng)目及建設(shè)標(biāo)準(zhǔn)簡介

近日位于蘇州工業(yè)園區(qū)獨(dú)墅湖畔的蘇州工業(yè)園區(qū)綜合數(shù)據(jù)中心正式投入運(yùn)營，成為工業(yè)園區(qū)重要的公共技術(shù)服務(wù)平臺，填補(bǔ)了工業(yè)園區(qū)數(shù)據(jù)中心增值業(yè)務(wù)的空白。該數(shù)據(jù)中心建筑面積約4.2萬m2，分兩期進(jìn)行建設(shè)。第一期建筑面積1.8萬m2，其中機(jī)房區(qū)域1.08萬m2，設(shè)施配套區(qū)域7200 m2，最大可配置標(biāo)準(zhǔn)機(jī)柜1694個(gè)。

難能可貴的是該綜合數(shù)據(jù)中心投運(yùn)之前已經(jīng)順利通過由國際正常運(yùn)行時(shí)間協(xié)會(The uptime institute,UI)組織的關(guān)于數(shù)據(jù)中心的設(shè)計(jì)等級認(rèn)證，據(jù)報(bào)道該中心是亞洲首個(gè)獲得TierIV級別設(shè)計(jì)等級認(rèn)證證書的數(shù)據(jù)中心。

Tier標(biāo)準(zhǔn)指的是《ANSI/TIA-942-2005數(shù)據(jù)中心用遠(yuǎn)程通信基礎(chǔ)設(shè)施標(biāo)準(zhǔn)》，該標(biāo)準(zhǔn)是世界上第一部較為全面地以數(shù)據(jù)中心為對象的技術(shù)標(biāo)準(zhǔn)。標(biāo)準(zhǔn)中以數(shù)據(jù)中心基礎(chǔ)設(shè)施的“可用性(Availability)”和“安全性(Security)”為主要指標(biāo)，將數(shù)據(jù)中心由高到低分為以下4 個(gè)等級，分別為TierIV，III，II，I。其中的TierIV標(biāo)準(zhǔn)相當(dāng)于國內(nèi)的GB50174-2008 《電子信息系統(tǒng)機(jī)房設(shè)計(jì)規(guī)范》內(nèi)的最高標(biāo)準(zhǔn)的A級機(jī)房標(biāo)準(zhǔn)，而且在某些方面要求更加嚴(yán)格。

數(shù)據(jù)中心等級認(rèn)證級別越高，標(biāo)志著數(shù)據(jù)中心成熟度越高，能夠提供的服務(wù)也就越安全穩(wěn)定，當(dāng)然單位面積的造價(jià)也就越昂貴。正是由于TierIV級別在基礎(chǔ)設(shè)施建造上的高要求和高成本投入，全世界能夠成功通過該級別標(biāo)準(zhǔn)的企業(yè)不足10家。在這一點(diǎn)上蘇州工業(yè)園區(qū)綜合數(shù)據(jù)中心實(shí)現(xiàn)了我國數(shù)據(jù)中心的一個(gè)新突破。作為建設(shè)方聘請的顧問公司和機(jī)房區(qū)的承包方，某國際知名IT企業(yè)的全球服務(wù)部全程參與了該項(xiàng)目，而作為項(xiàng)目的設(shè)計(jì)方筆者所在的蘇州工業(yè)園區(qū)設(shè)計(jì)院完成了除機(jī)房以外的所有區(qū)域包括變電所、發(fā)電機(jī)房的設(shè)計(jì)。在此僅將設(shè)計(jì)中的一些體會寫下來供大家參考。

2 TierIV 標(biāo)準(zhǔn)的電氣供電一般要求

TierⅣ認(rèn)證的數(shù)據(jù)中心要求具有容錯(cuò)結(jié)構(gòu)，系統(tǒng)設(shè)計(jì)需要避免出現(xiàn)單點(diǎn)故障，所有電力系統(tǒng)，包括備用電源都是全冗余的。允許對重要負(fù)荷進(jìn)行有計(jì)劃（不會中斷系統(tǒng)）的操作。容錯(cuò)功能需要至少能經(jīng)受住一次最重要的意外事故（操作失誤、設(shè)備故障、外電源中斷、維護(hù)和檢修等）而不會中斷電子信息系統(tǒng)的運(yùn)行，能提供99.995%的可用性。具體來說對于電氣系統(tǒng)的要求一般有以下幾項(xiàng)：

1） 市電接入兩路主供

2）變壓器容量配置 2N，即全冗余

3）備用柴油發(fā)電機(jī)配置不低于N +1

4）發(fā)電機(jī)燃料儲量 不小于 96h

5）電氣系統(tǒng)允許并行檢修

6）單位面積供電密度不小于 1.5kW/m2

7）UPS系統(tǒng)容量配置 2N，即全冗余

8）獨(dú)立雙電源路徑至PDU

9）空調(diào)設(shè)備供電2N，即全冗余

10）冷水主機(jī)配置不低于N +1

11）精密空調(diào)末端配電不低于 N+1

12）自動化配電集中監(jiān)視系統(tǒng)

以上要求的后6項(xiàng)屬于機(jī)房區(qū)域的工作范圍，一般由專業(yè)公司來完成，這里僅重點(diǎn)介紹一般需要由設(shè)計(jì)院完成的前6項(xiàng)。

3 數(shù)據(jù)中心供電設(shè)計(jì)方案

3.1 負(fù)荷分析及UPS配置情況

按照機(jī)房區(qū)設(shè)計(jì)方IT公司提出的要求，一期工程中安裝的網(wǎng)絡(luò)機(jī)柜及服務(wù)器機(jī)柜總用電量為6314kW，考慮到80%的負(fù)載率及0.8的功率因數(shù)，IT公司選擇的為機(jī)柜服務(wù)的UPS的實(shí)際需要容量為10000kVA，UPS按照2N的原則配置，即總配置容量為20000kVA。為機(jī)房區(qū)服務(wù)的冷凍機(jī)、冷凍水循環(huán)泵、冷卻塔、冷卻水循環(huán)泵、機(jī)房空調(diào)箱、機(jī)房精密空調(diào)等設(shè)備的總負(fù)荷為2385kW，其中冷凍水循環(huán)泵、機(jī)房空調(diào)箱、機(jī)房精密空調(diào)設(shè)備由于與機(jī)房溫度密切相關(guān)，一旦停止工作將因機(jī)房內(nèi)1500多臺服務(wù)器機(jī)柜的巨大散熱導(dǎo)致機(jī)房溫度迅速上升，并很快即會超過服務(wù)器的臨界工作溫度從而間接導(dǎo)致系統(tǒng)中斷運(yùn)行。所以IT公司也要求配置UPS供電，其負(fù)荷為643kW。為了降低啟動電流，這部分負(fù)荷里所有風(fēng)機(jī)及水泵均采用變頻或軟啟動，同樣考慮到80%的負(fù)載率及0.8的功率因數(shù)，按照2N原則需要為該部分負(fù)荷配置2×1000kVA UPS。UPS電池供電時(shí)間均按照15min考慮。其他負(fù)荷包括機(jī)房區(qū)域照明及機(jī)房以外的辦公區(qū)空調(diào)、照明、風(fēng)機(jī)、防排煙設(shè)備及消防水泵等設(shè)備，該部分負(fù)荷容量約為1600kW。

3.2 變壓器配置

考慮到UPS的性價(jià)比，IT公司最終選擇了500kVA/臺的UPS來搭建整個(gè)UPS供電系統(tǒng)，為機(jī)柜區(qū)服務(wù)的20000kVA UPS按照2000kVA一組分成了10組，10組里又按照100%冗余原則分為A、B兩路，每路五組共10000kVA。因?yàn)樵谶x擇UPS時(shí)已經(jīng)考慮了負(fù)載率，因此在選擇變壓器時(shí)容量不再放大，每組UPS由1臺2000kVA的變壓器供電，為機(jī)柜區(qū)服務(wù)的變壓器總共為10×2000kVA。 接下來是為數(shù)據(jù)中心服務(wù)的輔助設(shè)備供電，經(jīng)過計(jì)算2N或2（N+1）配置的冷凍機(jī)、冷卻塔、冷卻水泵每組運(yùn)行負(fù)荷為1780kW，每組由1臺2000kVA變壓器供電。2N或2（N+1）配置的冷凍水循環(huán)泵、機(jī)房空調(diào)箱、機(jī)房精密空調(diào)設(shè)備再加上其他負(fù)荷每組由1臺2500kVA的變壓器供電。這樣我們得到了總的變壓器安裝功率為10×2000kVA+2×2000k VA+2×2500kVA=29000kVA，14臺變壓器和UPS機(jī)組一樣分成100%冗余的A、B兩路，每路7臺，安裝容量為14500kVA。

3.3 發(fā)電機(jī)選擇及配置

按照本文第二節(jié)里提到的TierIV標(biāo)準(zhǔn)里對發(fā)電機(jī)配置的要求是不低于N+1，事實(shí)上經(jīng)數(shù)據(jù)中心建設(shè)方的要求，最后是按照2N的標(biāo)準(zhǔn)來進(jìn)行設(shè)計(jì)和土建預(yù)留的。發(fā)電機(jī)和變壓器一一對應(yīng)，一樣分成了100%

冗余的A、B兩路，每路7臺。由于發(fā)電機(jī)需要100%地承擔(dān)相對應(yīng)的變壓器的荷載，因此每臺按照常用功率

2000kVA(備用功率2000kW)來選擇。只不過項(xiàng)目初期考慮到造價(jià)的因素，只配了A路的7臺發(fā)電機(jī)，B路的7臺發(fā)電機(jī)電源配出屏本期才安裝到位，通過聯(lián)絡(luò)母線與A路相應(yīng)發(fā)電機(jī)組聯(lián)絡(luò)，并從本路的發(fā)電機(jī)電源配出屏向B路負(fù)荷供電。將來需要時(shí)可以在最短的時(shí)間內(nèi)迅速安裝B路的7臺發(fā)電機(jī)組。因?yàn)榻ㄖ臻g的限制，發(fā)電機(jī)房只能布置在地下一層，考慮到發(fā)電機(jī)組散熱時(shí)需要的巨大風(fēng)量不可能通過自然進(jìn)風(fēng)來解決，故采用發(fā)電機(jī)散熱器遠(yuǎn)置的方案。散熱器均安裝在四層屋面上，通過閉路的冷卻水管路來進(jìn)行循環(huán)散熱，而地下室發(fā)電機(jī)房內(nèi)進(jìn)風(fēng)量僅需要考慮發(fā)電機(jī)燃燒時(shí)的新風(fēng)量及少量的機(jī)組輻射熱即可。

3.4 發(fā)電機(jī)儲油量計(jì)算及室外油罐配置

查閱各大柴油機(jī)廠家提供的資料，2000kW備用功率的柴油發(fā)電機(jī)每小時(shí)的耗油量約為500L，A路7臺備用發(fā)電機(jī)48h的耗油量總和約16.8萬L，因此需要在室外為A路發(fā)電機(jī)建造180m3的地下儲油罐。B路7臺備用發(fā)電機(jī)同樣需要180m3的地下儲油罐，并且與A路發(fā)電機(jī)的油罐埋地距離保持15m以上的安全距離。因?yàn)槊柯钒l(fā)電機(jī)的室外油罐均能滿足100%的負(fù)荷運(yùn)行48h的要求，故兩個(gè)室外油罐的總儲量可以滿足TierIV 標(biāo)準(zhǔn)里的發(fā)電機(jī)96h運(yùn)行的要求。

3.5 20kV市電接入設(shè)計(jì)

按照TierIV 標(biāo)準(zhǔn)要求應(yīng)從兩個(gè)獨(dú)立的電網(wǎng)變電所的專用輸出回路上分別引入一路市電電源，以專線方式沿不同的敷設(shè)路由引接至數(shù)據(jù)中心。每一路市電電源的供電容量應(yīng)能滿足全部負(fù)荷的需求，即應(yīng)為全冗余，并且兩路市電應(yīng)同時(shí)供電運(yùn)行。 本項(xiàng)目一期安裝了14臺變壓器，兩路市電每路需要連接7臺變壓器，安裝容量14500kVA。當(dāng)然由于在變壓器的配置上已經(jīng)采用了2N的形式，故高壓側(cè)不再需要聯(lián)絡(luò)。

14500kVA的變壓器裝機(jī)容量已經(jīng)超過了常規(guī)10kV 系統(tǒng)單路供電的上限，對于這樣的供電容量在國內(nèi)絕大多數(shù)地區(qū)是需要以35kV及以上電壓供電的，大多數(shù)情況下均需要建造一所35kV或110kV降壓站。然而幸運(yùn)的是本項(xiàng)目建設(shè)地點(diǎn)正好位于蘇州工業(yè)園區(qū)的核心區(qū)內(nèi)，而該園區(qū)自1994年開始開發(fā)建設(shè)以來一直采用20kV中壓系統(tǒng)進(jìn)行供電。對于20kV系統(tǒng)而言，單路專線供電的上限為16000kVA，14500kVA正好處于單路供電的上限以下，因此兩路20kV專線即輕松地解決了供電的問題。不過為了滿足從兩個(gè)獨(dú)立的電網(wǎng)變電所引來專用輸出回路的要求，雖然數(shù)百米之外的一座供電局110kV降壓站內(nèi)兩段不同20kV母線上可以分別提供一路20kV專線，但是經(jīng)過權(quán)衡最終還是只從該降壓站引來了一路20kV專線，另一路20kV專線則是多花了數(shù)百萬投資由數(shù)公里之外的另一座220kV降壓站里引來的。至于數(shù)據(jù)中心的二期供電問題，存在兩種可能，一是極有可能在工業(yè)園區(qū)政府的大力支持下，二期再由供電局的兩個(gè)不同的降壓站引來兩路 20kV專線，但前提是每路容量不超過16000kVA。二是一旦二期的專線容量超過單路供電上限，在二期再建設(shè)數(shù)據(jù)中心專用的110kV/20kV降壓站，由降壓站的20kV 母線上分別向一期二期的變電所供電。即使是按照最壞的打算最后仍然避免不了110kV 降壓站的建設(shè)，但是畢竟是為數(shù)據(jù)中心的建設(shè)方贏得了寶貴的經(jīng)營時(shí)間和極大地節(jié)約了初期的建設(shè)投資,這也從一個(gè)側(cè)面體現(xiàn)了蘇州工業(yè)園區(qū)20kV中壓配電系統(tǒng)的優(yōu)越性。

4 供電設(shè)計(jì)具體分析

數(shù)據(jù)中心整體供電的系統(tǒng)框架圖如圖1所示。

從圖1中可以看到，所有電氣設(shè)備按照100%冗余的原則分為互相對稱的A、B兩路，其中T1～T10是為服務(wù)器機(jī)柜UPS 服務(wù)的變壓器，每臺變壓器容量2000kVA，各帶2000kVA 的UPS。T11、T12 是為數(shù)據(jù)中心服務(wù)的冷凍水循環(huán)泵、機(jī)房空調(diào)箱、機(jī)房精密空調(diào)設(shè)備及其他輔助用房及建筑物消防負(fù)荷服務(wù)的變壓器，每臺容量2500kVA 。T13、T14是為數(shù)據(jù)中心服務(wù)的冷凍機(jī)、冷卻塔、冷卻水泵供電的變壓器，每臺容量2000kVA。發(fā)電機(jī)組目前是先裝備了A路的7臺，其中1#、3#、5#、7#、9# 發(fā)電機(jī)為服務(wù)器機(jī)柜UPS 服務(wù)，11#、13#發(fā)電機(jī)為數(shù)據(jù)中心配套及消防負(fù)荷服務(wù)，并且需要并列運(yùn)行。

下面以T1、T2變壓器為例，對系統(tǒng)的設(shè)計(jì)進(jìn)行具體分析。

從圖2我們可以看到T1、T2變壓器分屬不同的設(shè)備組別A、B，互為備用，各帶一組4×500kVA 的UPS，UPS同時(shí)也互為備用。T1、T2一一對應(yīng)發(fā)電機(jī)組1#、2#，（2#發(fā)電機(jī)暫不安裝）。變壓器間設(shè)低壓聯(lián)絡(luò)，發(fā)電機(jī)間也設(shè)低壓聯(lián)絡(luò)，發(fā)電機(jī)和對應(yīng)的變壓器間通過自動切換開關(guān)連接。為了消除單點(diǎn)電氣故障，滿足Tier IV標(biāo)準(zhǔn)中電氣系統(tǒng)允許并行檢修的要求，采取了以下的措施： 1）為了在兩臺變壓器同時(shí)帶電的情況下檢修和測試聯(lián)絡(luò)母線，在變壓器聯(lián)絡(luò)母線的兩端均需要安裝斷路器，而不像常規(guī)設(shè)計(jì)那樣僅在聯(lián)絡(luò)母線的一端設(shè)斷路器，而發(fā)電機(jī)的聯(lián)絡(luò)母線因?yàn)榘l(fā)電機(jī)平時(shí)不帶電故僅在一端設(shè)斷路器即可。 2）發(fā)電機(jī)和變壓器之間的ATS需要采用帶旁路維修功能的自動切換開關(guān)，該類切換開關(guān)除了滿足當(dāng)市電斷電時(shí)自動切換至柴油發(fā)電機(jī)供電的功能外，還可以做到在自動切換開關(guān)處于抽出狀態(tài)維修及維護(hù)時(shí),仍然可以通過內(nèi)置的旁路隔離開關(guān)的手動選擇來實(shí)現(xiàn)正常供電及發(fā)電機(jī)供電的功能，從而使ATS維護(hù)時(shí)不間斷供電成為可能。3）UPS需要設(shè)計(jì)維修旁路，并且主回路、旁路應(yīng)由不同母線專用供電。因此設(shè)計(jì)中選用了兩條母線同時(shí)供電至UPS并聯(lián)機(jī)組前后的兩段母線上，以滿足旁路開關(guān)合上后可以不停電進(jìn)行檢修及維護(hù)UPS機(jī)組的要求。

最后結(jié)合變電所的平面布置，簡述對土建設(shè)計(jì)上的要求。

從圖3可以看到A、B兩路高低壓設(shè)備需要嚴(yán)格分開，中間必須設(shè)防火墻及防火門隔開，變電所設(shè)在地面1層，以成品架空地板向上抬高了1m。發(fā)電機(jī)設(shè)在地下1層，由發(fā)電機(jī)引至ATS的母線及A、B兩路變壓器間的聯(lián)絡(luò)母線均在1m的架空地板下敷設(shè)，而引至UPS機(jī)組的母線及旁路母線均從柜頂出線，從而有效地減少了管線的交叉。由于使用了大量的UPS，盡管各大UPS廠家均聲稱可以將波形畸變率THD%控制在5%以內(nèi)，考慮到將來一旦諧波超標(biāo)會帶來嚴(yán)重影響，故仍在變電所里預(yù)留了有源動態(tài)濾波裝置的安裝位置，一旦實(shí)測波形畸變率不能滿足系統(tǒng)正常運(yùn)行的要求，可以有補(bǔ)救的余地。 在整個(gè)建筑物里設(shè)備機(jī)房及管井的設(shè)置上，也依然按照A、B兩路完全分開的原則設(shè)置各自獨(dú)立的UPS間、電池間、UPS 配電豎井、強(qiáng)電井、電信接入室、網(wǎng)絡(luò)管井，甚至是各自獨(dú)立的水管井、氣體消防管井、樓層新風(fēng)管井…

5 供電母線及電纜的選擇

鑒于本工程里為數(shù)據(jù)機(jī)房服務(wù)的UPS電池間及制冷機(jī)房等均位于地下室，且與位于1層的變電所并不貼鄰布置，故由變電所引至上述機(jī)房的大電流母線在地下室敷設(shè)時(shí)有相當(dāng)長的一段距離是安裝在機(jī)房以外沒有防火防護(hù)的空間里的，而3150A的電流是幾乎沒有可能用防火電纜來進(jìn)行傳輸?shù)?。在以往的設(shè)計(jì)中往往也只能選用普通的母線來配電，因?yàn)槭袌錾蠜]有這樣大容量的防火母線。為此這里也往往成為整個(gè)配電系統(tǒng)設(shè)計(jì)里最為薄弱的環(huán)節(jié)，一旦地下室發(fā)生火災(zāi)，就有可能因?yàn)槟妇€故障造成整個(gè)供電系統(tǒng)的完全崩潰，從而使之前在電力系統(tǒng)里設(shè)計(jì)的多重冗余統(tǒng)統(tǒng)失效。 那么這個(gè)問題究竟有沒有更好地解決方案呢？筆者在設(shè)計(jì)階段通過多方尋找及實(shí)地考察后了解到某知名國際母線公司剛剛由國外引進(jìn)了一條LR環(huán)氧澆注式母線生產(chǎn)線，該母線采用環(huán)氧樹脂和定量特選的礦石混合材料相混合，制成高效絕緣材料將銅導(dǎo)體直接澆注密封，根據(jù)GA537-2005 “ 母線干線系統(tǒng)（母線槽）阻燃防火耐火性能的試驗(yàn)方法”測試，在溫度達(dá)到1000℃時(shí)，可繼續(xù)供電約60min，同時(shí)因?yàn)榻^緣材料里不含鹵素，即使燃燒也不會發(fā)出有毒、有害的氣體。因此本工程的2500m母線全部采用了該型母線。除了解決了防火的問題，在母線安裝完畢以后時(shí)值蘇州六月份的黃梅天。還發(fā)現(xiàn)了一個(gè)意想不到的好處，因?yàn)樵撔湍妇€是完全密閉的澆注母線，防護(hù)等級達(dá)到了IP68，因此可以絲毫不擔(dān)心黃梅天地下室里正常通風(fēng)系統(tǒng)尚未運(yùn)行時(shí)的潮氣，哪怕是母線表面上已經(jīng)有密密麻麻的一層結(jié)露，也絕不用擔(dān)心母線的絕緣性能受到影響。

數(shù)據(jù)中心里其他重要設(shè)備的配電干線電纜大部分采用了礦物絕緣電纜，總的安裝長度超過了3萬m。礦物絕緣電纜的防火能力是目前電纜里最高級別的，大量地在干線系統(tǒng)上的使用給予了整個(gè)電力傳輸系統(tǒng)以極高的可靠性。不過這里需要指出的是上述兩種母線和電纜的敷設(shè)難度要較常規(guī)的母線和電纜大得多，施工前需要有足夠的思想準(zhǔn)備。

6 小結(jié)

該數(shù)據(jù)中心項(xiàng)目于2008年6月完成設(shè)計(jì)，2010年8月正式投入運(yùn)營。一期工程僅1.8萬m2的建筑面積造價(jià)即達(dá)到了4.5億，這還是在一半發(fā)電機(jī)組和部分樓層UPS機(jī)組及服務(wù)器機(jī)柜尚未安裝到位的情況下的造價(jià)。盡管如此，單位面積的造價(jià)也達(dá)到了2.5萬元/m2, 單位面積的供電密度是1.61kVA/m2。這確實(shí)是一個(gè)高投入的產(chǎn)業(yè)，需要有絕對實(shí)力的公司來建設(shè)。不過考慮到它將產(chǎn)生的巨大社會效應(yīng)以及在數(shù)據(jù)應(yīng)用、數(shù)據(jù)備份及災(zāi)難恢復(fù)等多方面產(chǎn)生的作用，這些投入又是值得的。近年來越來越多的地方在興建各種不同規(guī)模和等級的數(shù)據(jù)中心，也印證了數(shù)據(jù)中心需求的旺盛。本文對TierIV數(shù)據(jù)中心的供配電設(shè)計(jì)的簡單介紹，也是希望能對今后類似的設(shè)計(jì)有所幫助。

[1] ANSI. ANSI/TIA-942-2005數(shù)據(jù)中心用遠(yuǎn)程通信基礎(chǔ)設(shè)施標(biāo)準(zhǔn)[S].

[2] 中華人民共和國工業(yè)和信息化部. GB50174-2008電子信息系統(tǒng)機(jī)房設(shè)計(jì)規(guī)范[S].北京: 人民出版社, 2009.