數(shù)據(jù)中心電氣設(shè)計(jì)概述

劉 劍（華東建筑設(shè)計(jì)研究院有限公司，上海 200002）

近幾年來(lái)，隨著電腦網(wǎng)絡(luò)的發(fā)展及銀行數(shù)據(jù)中心建設(shè)力度的加大，企業(yè)、學(xué)校、高新技術(shù)園區(qū)也在積極籌備各種目的與功能的數(shù)據(jù)中心。當(dāng)看到越來(lái)越多的數(shù)據(jù)中心建成，我們不由得回過(guò)頭來(lái)審視：我們以前所做的數(shù)據(jù)中心設(shè)計(jì)是否完善？

1 供配電系統(tǒng)

數(shù)據(jù)中心的供配電系統(tǒng)設(shè)計(jì)是一個(gè)非常大的課題，其市電的系統(tǒng)具有以下特點(diǎn)：

1) 容量巨大

列舉一些實(shí)例，以供大家參考：2006～2007年設(shè)計(jì)的上海銀行張江數(shù)據(jù)中心，信息機(jī)房總面積4791m2，業(yè)主要求設(shè)計(jì)裝機(jī)容量4237kW, 功率密度為885W/m2，機(jī)房空調(diào)用電3211kW,功率密度670W/ m2，綜合起來(lái)用電為1.555kW/m2。2009 年設(shè)計(jì)杭州華為數(shù)據(jù)中心時(shí)，提出了云計(jì)算概念。600m2的機(jī)房,機(jī)房區(qū)面積為200 m2，用電設(shè)備裝機(jī)容量2788kW，平均用電2.32kW/m2。2011年，上海銀行正式實(shí)施的電氣系統(tǒng)，將數(shù)據(jù)中心的用電量提升至中心機(jī)房服務(wù)器容量2kW/m2，加上空調(diào)容量，預(yù)計(jì)容量將會(huì)達(dá)到3.5kW/m2。容量的增大會(huì)帶來(lái)很多設(shè)計(jì)上的難點(diǎn)：

(1) 進(jìn)線(xiàn)容量遠(yuǎn)遠(yuǎn)超出我們平時(shí)設(shè)計(jì)的普通項(xiàng)目。由于可靠性要求高，單路負(fù)荷就必需能負(fù)擔(dān)起整個(gè)機(jī)房的服務(wù)器容量、機(jī)房照明、通訊用電等所組成的UPS（算UPS時(shí)要除上功率因數(shù)0.8），還要包括冷凍機(jī)、冷卻塔、冷卻水泵、冷凍水泵、精密空調(diào)等所組成的機(jī)房空調(diào)容量。兩路市電都必須滿(mǎn)足以上要求，僅此就需要申請(qǐng)2路16000kVA容量的35kV進(jìn)線(xiàn)。以上論述的數(shù)據(jù)中心還是采用水冷的精密空調(diào)，如采用風(fēng)冷的精密空調(diào)，則容量更大。

（2）電腦設(shè)備的發(fā)展速度遠(yuǎn)遠(yuǎn)快于建設(shè)速度。往往一個(gè)土建項(xiàng)目建設(shè)周期為3～5年，但計(jì)算機(jī)的運(yùn)算速度卻可能在這幾年中已經(jīng)翻了幾倍。往往數(shù)據(jù)中心的建設(shè)還沒(méi)完，就需要改造。所以在開(kāi)始設(shè)計(jì)時(shí)，一定要多了解計(jì)算機(jī)，尤其是服務(wù)器行業(yè)的發(fā)展動(dòng)向,預(yù)估出一定的設(shè)備發(fā)展空間。有時(shí)在項(xiàng)目建設(shè)初期由于想節(jié)約項(xiàng)目投資，就壓縮系統(tǒng)容量，而當(dāng)市場(chǎng)上主流服務(wù)器負(fù)載發(fā)生變化后，卻因線(xiàn)路已達(dá)上限而無(wú)法改造，只能采用另建或加建的方式來(lái)處理,增加不必要的麻煩。故此設(shè)計(jì)之初雖沒(méi)有必要增加很多的備用容量，但必須留出足夠的空間以供發(fā)展。

2)可靠性要求高

數(shù)據(jù)中心的斷電，會(huì)帶來(lái)非常大的損失。為了滿(mǎn)足對(duì)數(shù)據(jù)中心高可靠性的要求，設(shè)計(jì)中一般都會(huì)配備多路進(jìn)線(xiàn)、柴油發(fā)電機(jī)和UPS設(shè)備。但這么多的后備電源，就一定萬(wàn)無(wú)一失了嗎？答案是否定的，一個(gè)不完善的配電系統(tǒng)，即使配備了眾多的后備電源，還是會(huì)有弱點(diǎn)。

木桶定律：一只木桶盛水的多少，并不取決于桶壁上最高的那塊木塊，而恰恰取決于桶壁上最短的那塊木塊。這就決定了數(shù)據(jù)中心供電系統(tǒng)的可靠性有如下三個(gè)特點(diǎn)：

(1) 只有供配電所有環(huán)節(jié)均采用一樣的級(jí)別的配置，才能說(shuō)數(shù)據(jù)中心的配電達(dá)到這一級(jí)別。只要有一個(gè)部位標(biāo)準(zhǔn)略有降低，整個(gè)配電系統(tǒng)的標(biāo)準(zhǔn)就會(huì)隨之降低。

(2) 比最低配置環(huán)節(jié)所高出的所有環(huán)節(jié)均是沒(méi)有意義的，高出越多、浪費(fèi)越多。

(3) 要想提高整個(gè)系統(tǒng)的可靠性，就應(yīng)該設(shè)法找到最薄弱環(huán)節(jié)并加以提高。

我們對(duì)于一級(jí)中特別重要負(fù)荷的要求是兩路獨(dú)立電源，加上柴油發(fā)電機(jī)作為后備電源。（見(jiàn)圖1）

這個(gè)系統(tǒng)是國(guó)內(nèi)數(shù)據(jù)中心設(shè)計(jì)中相當(dāng)流行的雙母排結(jié)構(gòu)的配電系統(tǒng)，即每路電源均可負(fù)擔(dān)100%的UPS負(fù)荷。當(dāng)1#市電失電時(shí)，ATS2即使故障也可通過(guò)ATS3繼續(xù)供電，ATS3故障時(shí)也相同。系統(tǒng)中的柴油機(jī)、柴油機(jī)與市電切換點(diǎn)為單點(diǎn)故障點(diǎn)，即當(dāng)1#市電失電，當(dāng)2#市電也失電時(shí)，柴油發(fā)電機(jī)故障、ATS1故障會(huì)造成系統(tǒng)無(wú)可補(bǔ)救的失電。而柴油發(fā)電機(jī)、ATS設(shè)備均為平時(shí)不常使用的設(shè)備，設(shè)備故障率遠(yuǎn)高于斷路器。故此，國(guó)家標(biāo)準(zhǔn)GB50174-2008中規(guī)定了柴油發(fā)電機(jī)必須有備用，柴油發(fā)電機(jī)與市電切換的開(kāi)關(guān)必須帶手動(dòng)旁路。從個(gè)人理解而言，我認(rèn)為ATS1與ATS2、ATS3都需帶手動(dòng)旁路開(kāi)關(guān)。必須指出的是，手動(dòng)旁路開(kāi)關(guān)設(shè)備龐大而且貴。我們應(yīng)該查好設(shè)備樣本，以避免配電房面積不夠，還要在擴(kuò)初時(shí)提醒概算造價(jià)公司注意，一個(gè)4000A帶旁路的ATS開(kāi)關(guān)造價(jià)可能高達(dá)70多萬(wàn)。

TIA/EIA-942中推薦采用圖2的主接線(xiàn)方式，區(qū)別主要在柴油發(fā)電機(jī)。TIA推薦方案要求設(shè)置兩組柴油機(jī)，與兩路市電分別切換。其中柴油發(fā)電機(jī)容量G1=G2=G。這樣保證了任意一組柴油發(fā)電機(jī)組或切換設(shè)備或線(xiàn)路發(fā)生問(wèn)題時(shí)，另一組還是能夠堅(jiān)持工作，其可靠性最高，但造價(jià)也非常昂貴。尤其在大型數(shù)據(jù)中心項(xiàng)目中，數(shù)據(jù)中心用電容量非常大，需要多臺(tái)的柴油發(fā)電機(jī)并聯(lián)發(fā)電才能滿(mǎn)足其用電量。這樣2N形式的柴油機(jī)備用方式是我們現(xiàn)有財(cái)力難以負(fù)擔(dān)的。

經(jīng)過(guò)長(zhǎng)時(shí)間的研究探討發(fā)現(xiàn)，可以采用折中的方式來(lái)解決這個(gè)問(wèn)題。即柴油機(jī)為圖1的N+1方式，但分兩路分別引至兩路市電進(jìn)行切換，既解決了單ATS開(kāi)關(guān)的故障點(diǎn)，也比圖2方案降低了造價(jià)，不失為可靠性高于現(xiàn)行規(guī)范，造價(jià)卻不高的一種選擇。

如有條件，在當(dāng)?shù)厣暾?qǐng)三路以上電源時(shí)，可以考慮3母線(xiàn)形式。即每路市電分別承擔(dān)總電量的1/3，每路的UPS負(fù)荷率為66.7%。柴油機(jī)負(fù)荷可以參照?qǐng)D3的接線(xiàn)思路，只需把兩路改成三路，每路可帶100%負(fù)荷改成66.7%負(fù)荷。由于UPS的最佳負(fù)載率在66.7%，故此這個(gè)方案就電氣角度來(lái)說(shuō)，是最節(jié)能的方案。

3） 無(wú)功補(bǔ)償

圖1 早期數(shù)據(jù)中心設(shè)計(jì)配電系統(tǒng)圖

圖2 TIA推薦采用配電系統(tǒng)圖

圖3 改進(jìn)后實(shí)際采用的數(shù)據(jù)中心配電系統(tǒng)圖

由于UPS設(shè)備是整流設(shè)備，當(dāng)正常運(yùn)行時(shí)，UPS設(shè)備處于負(fù)載率小于50%的工作狀態(tài)下，UPS高頻機(jī)對(duì)于電網(wǎng)來(lái)說(shuō)，系統(tǒng)功率因數(shù)非常高。而當(dāng)采用工頻機(jī)時(shí)，由于系統(tǒng)中加入隔離變壓器，功率因數(shù)會(huì)低一些。但目前一些UPS設(shè)備樣本上會(huì)標(biāo)注功率因數(shù)0.85，是加上了機(jī)器效率因素的。所以目前的大型UPS設(shè)備一般不需要功率因數(shù)補(bǔ)償。曾經(jīng)有相當(dāng)多的業(yè)主反映，帶UPS負(fù)載的變壓器主回路中的無(wú)功補(bǔ)償不能投入，一投入就會(huì)造成母排電壓升高。分析其原因就是過(guò)度補(bǔ)償造成功率因數(shù)超前。當(dāng)供電部門(mén)要求30%的補(bǔ)償量時(shí)，一定要根據(jù)實(shí)際情況，向供電部門(mén)解釋清楚，不要造成不必要的浪費(fèi)。當(dāng)供電部門(mén)不能同意減少補(bǔ)償量時(shí)，就要確定好控制器，設(shè)定好補(bǔ)償步長(zhǎng)，以免過(guò)補(bǔ)償情況的發(fā)生。

2 空調(diào)設(shè)備配電

在數(shù)據(jù)中心的設(shè)計(jì)中，隨著節(jié)能呼聲的提高，直接風(fēng)冷的精密空調(diào)已經(jīng)越來(lái)越少，本文討論水冷精密空調(diào)配電。水冷空調(diào)是利用水帶走機(jī)房?jī)?nèi)的熱量。和風(fēng)冷系統(tǒng)不同，水循環(huán)系統(tǒng)給整個(gè)系統(tǒng)帶來(lái)不少變數(shù)。為了可靠，數(shù)據(jù)中心的精密空調(diào)可采用利用冷凍循環(huán)水的盤(pán)管和利用冷卻循環(huán)水的壓縮機(jī)相結(jié)合的形式。隨著空調(diào)技術(shù)的發(fā)展，很多的技術(shù)可以運(yùn)用到數(shù)據(jù)中心的設(shè)計(jì)中，以增加可靠性并符合節(jié)能發(fā)展，如冰蓄冷，但這些只能增加提高可靠性的可能性。作為備用手段，但不能作為主要手段。這里讓我們分析一下空調(diào)主要設(shè)備的電氣特性，就會(huì)發(fā)現(xiàn)其供電有許多不同于服務(wù)器設(shè)備的地方。

2.1 冷凍機(jī)負(fù)載

冷凍機(jī)是壓縮機(jī)負(fù)載，在斷電后，會(huì)停機(jī)保護(hù)，其保護(hù)時(shí)間長(zhǎng)達(dá)30min左右，而要讓冷凍機(jī)保持不斷電，其成本顯然過(guò)高，太不經(jīng)濟(jì)。當(dāng)冷凍機(jī)停機(jī)時(shí)，冷凍水還可以循環(huán)，直到溫度過(guò)高還有一段時(shí)間。一般數(shù)據(jù)中心用冷凍機(jī)需要設(shè)置備用以增加設(shè)備可靠性，例如：三用一備；那我們就采用交叉供電，即兩臺(tái)用市電A，另兩臺(tái)用市電B。這樣帶來(lái)一個(gè)好處，當(dāng)一路市電失電的情況下，總有兩臺(tái)設(shè)備在使用。另一路由于設(shè)備保護(hù)，即使使用了ATS設(shè)備，也因?yàn)閿噙^(guò)了電，冷凍機(jī)還是停機(jī)了，在停機(jī)保護(hù)的時(shí)間內(nèi)，還是來(lái)得及通過(guò)低壓聯(lián)絡(luò)開(kāi)關(guān)供上電源。從這個(gè)角度來(lái)說(shuō)，冷凍機(jī)電源不論采用還是不采用ATS設(shè)備，冷凍機(jī)的停機(jī)時(shí)間是相同的，不同的只是管理模式而已。

2.2 冷凍水泵

冷凍水泵負(fù)責(zé)冷凍水循環(huán)，在冷凍機(jī)不工作時(shí)，保持冷凍水循環(huán)還能保持盤(pán)管工作一段時(shí)間。故此，冷凍水泵要比冷凍機(jī)負(fù)荷的電源要求高。我們要盡量延長(zhǎng)冷凍水泵工作時(shí)間，水泵負(fù)荷在發(fā)生電源閃斷時(shí)，勵(lì)磁需要一定的時(shí)間。換言之，就是當(dāng)ATS切換以后，水泵還是需要一定的時(shí)間才能恢復(fù)正常運(yùn)行，除非采用特殊的ATS產(chǎn)品。在冷凍水泵的供電上，盡管采用了ATS自動(dòng)切換，還是要盡量將常用電源分在兩路市電上交叉供電，以避免冷凍水短時(shí)停止循環(huán)。

2.3 冷卻水泵及冷卻塔

冷卻水泵及冷卻塔是作為備用的最后一道防線(xiàn)，重要性就顯得尤其突出。整個(gè)冷卻系統(tǒng)的供電應(yīng)該是同一級(jí)別的，尤其是容易忽視的冷卻水補(bǔ)水裝置。其供電重要性等同于精密空調(diào)的供電，應(yīng)采用柴油機(jī)作為市電的后備電源。根據(jù)水管路由的不同，為供電設(shè)備分組。供電方式同冷凍水泵的供電方式，分由兩路市電交叉供電，再取另一路電源作為備用電源，在設(shè)備機(jī)房?jī)?nèi)作ATS切換，以保證設(shè)備電源可靠。

3柴 油機(jī)設(shè)置

A級(jí)機(jī)房的UPS設(shè)備和空調(diào)設(shè)備都必須有柴油機(jī)作為備用，而且按照規(guī)范規(guī)定，還必須有設(shè)備冗余，柴油發(fā)電機(jī)的容量往往達(dá)到上萬(wàn)kW。因此，當(dāng)設(shè)計(jì)到大型數(shù)據(jù)機(jī)房時(shí)，由于400V配電柜的水平母排最大做到8000A，低壓框架開(kāi)關(guān)最大6300A，遠(yuǎn)遠(yuǎn)無(wú)法解決匯流問(wèn)題，只能采用設(shè)備分組的方式解決。而規(guī)范要求柴油機(jī)按組設(shè)置冗余，這樣如采用400V柴油發(fā)電機(jī)組，雖單臺(tái)設(shè)備價(jià)錢(qián)便宜，但系統(tǒng)成本昂貴，壓降和可靠性也不同（10kV柴油發(fā)電機(jī)組可實(shí)行并機(jī)后匯流,可靠性高），所以應(yīng)盡量考慮采用高壓柴油機(jī)組。但采用10kV機(jī)組后，應(yīng)注意以下幾個(gè)問(wèn)題：

1) 短路電流：當(dāng)采用10kV系統(tǒng)后，由于線(xiàn)路非常短，系統(tǒng)阻抗小，故此短路電流不小。采用高壓配電設(shè)備提高短路耐受電流的方式不是根本上解決問(wèn)題的好方式。應(yīng)該要求柴油機(jī)生產(chǎn)廠(chǎng)商按照配電系統(tǒng)短路電流配置發(fā)電機(jī)輸出阻抗或短路電流實(shí)測(cè)數(shù)據(jù)后，校驗(yàn)一下配電設(shè)備的短路耐受性能。

2) 考慮假負(fù)載的測(cè)試位置和路由：銀聯(lián)對(duì)銀行數(shù)據(jù)中心管理有測(cè)試演練要求，提到采用帶負(fù)載切換，但實(shí)際使用中均不會(huì)真正地采用UPS負(fù)荷和精密空調(diào)負(fù)荷來(lái)做切換演練。那么就會(huì)采用假負(fù)載。所以我們?cè)O(shè)計(jì)中，即使沒(méi)有假負(fù)載，也要預(yù)留負(fù)載切換演練的配電柜和假負(fù)載設(shè)備電纜出線(xiàn)的路由，以備將來(lái)使用。

3) 柴油機(jī)設(shè)備的供電：由于柴油發(fā)電機(jī)是整個(gè)數(shù)據(jù)中心的電源后備，故此電源設(shè)計(jì)不能掉以輕心。建議采用以上冷卻水系統(tǒng)的配電方式，控制系統(tǒng)和機(jī)房照明的供電應(yīng)盡量采用UPS供電，以確保市電失電的瞬間，整個(gè)系統(tǒng)失電時(shí)，控制系統(tǒng)不能斷電，能夠確保柴油機(jī)可靠啟動(dòng)。直接風(fēng)冷的冷卻系統(tǒng)由柴油機(jī)直接帶動(dòng)，而遠(yuǎn)置式風(fēng)冷的二次循環(huán)、冷卻系統(tǒng)不是由柴油機(jī)直接帶動(dòng)的，低壓發(fā)電機(jī)時(shí)，可用柴油機(jī)發(fā)出的電力帶動(dòng)。但當(dāng)使用多臺(tái)10kV發(fā)電機(jī)組的時(shí)候，必需采用變壓器或從400V系統(tǒng)中取電。情況比較復(fù)雜，但一定要保障在一次水循環(huán)溫度超出工作溫度前供上冷卻系統(tǒng)電源，一般不應(yīng)該超過(guò)30s。

4 接地

我們以前的設(shè)計(jì)中，接地一直不太受重視。以為只要做好公用接地，就萬(wàn)無(wú)一失了。其實(shí)這個(gè)想法非常錯(cuò)誤，很可能會(huì)引起很大的損失。因?yàn)榻拥馗删€(xiàn)大多隨建筑預(yù)埋，如果沒(méi)有預(yù)留好足夠的接地裝置，很可能就會(huì)造成數(shù)據(jù)中心不能正常工作。提幾點(diǎn)需要注意的地方：

1) UPS設(shè)備需要接地，其接地最好要和放置于數(shù)據(jù)機(jī)房?jī)?nèi)的PDU箱共用接地。雖然規(guī)范要求零地電壓小于2V，但是很多業(yè)主都要求小于1V，請(qǐng)?jiān)谠O(shè)計(jì)中一定要和業(yè)主充分交流，確定并控制好零地電壓。我們一直關(guān)注的諧波控制就是控制零地電壓的關(guān)鍵技術(shù)要點(diǎn)。盡量采用諧波控制和波形控制好的UPS對(duì)系統(tǒng)的穩(wěn)定也是至關(guān)重要的。

2) 在機(jī)房?jī)?nèi)設(shè)置兩個(gè)以上的等電位接地箱。機(jī)房?jī)?nèi)所有設(shè)備的金屬外殼，金屬管道，金屬線(xiàn)槽建筑物金屬結(jié)構(gòu)等必須進(jìn)行等電位聯(lián)結(jié)并接地。等電位聯(lián)結(jié)網(wǎng)格應(yīng)采用截面不小于25mm2的銅帶或裸銅線(xiàn)，在防靜電地板下構(gòu)成邊長(zhǎng)為0.6～3m的矩形網(wǎng)格。

5 結(jié)語(yǔ)

以上是多年數(shù)據(jù)中心設(shè)計(jì)的一點(diǎn)體會(huì)，數(shù)據(jù)中心的設(shè)計(jì)正隨著電腦網(wǎng)絡(luò)的發(fā)展有著日新月異的變化，隨時(shí)注意新的動(dòng)向，不斷地學(xué)習(xí)、完善，才能使我們的設(shè)計(jì)跟得上建設(shè)的發(fā)展。