王好為(上海郵電設(shè)計(jì)咨詢研究院有限公司,上海 200092)
信息化是當(dāng)今時(shí)代發(fā)展的大趨勢,數(shù)據(jù)中心建設(shè)也在國內(nèi)遍地開花,行業(yè)競爭日趨激烈。為了提高行業(yè)知名度,進(jìn)一步吸引高端用戶,國內(nèi)越來越多的數(shù)據(jù)中心運(yùn)營商開始著力于建造Uptime Tier III或Tier IV數(shù)據(jù)中心。部分高端用戶會在數(shù)據(jù)中心招標(biāo)的要求中提出,機(jī)房需參照Uptime Tier III或Tier IV標(biāo)準(zhǔn)建設(shè)。
Uptime Institute成立于1993年,是全球公認(rèn)的數(shù)據(jù)中心標(biāo)準(zhǔn)組織和第三方認(rèn)證機(jī)構(gòu)。對于數(shù)據(jù)中心的等級認(rèn)證,主要基于《Data Center Site Infrastructure Tier Standard: Topology》[1]和《Data Center Site Infrastructure Tier Standard: Operational Sustainability》兩個(gè)標(biāo)準(zhǔn)。這兩個(gè)標(biāo)準(zhǔn)由Uptime Institute根據(jù)數(shù)年來對數(shù)據(jù)中心的研究經(jīng)驗(yàn)與其終端用戶的運(yùn)營知識逐年更新積累發(fā)展而成,是目前數(shù)據(jù)中心業(yè)界最知名、權(quán)威的認(rèn)證,在全球范圍得到了高度認(rèn)可。
每個(gè)運(yùn)營商可根據(jù)具體需求向Uptime Institute申請對其建造的數(shù)據(jù)中心進(jìn)行Tier等級認(rèn)證。認(rèn)證過程分為以下三個(gè)階段:
(1)設(shè)計(jì)認(rèn)證Tier Certif i cations of Design Documents(TCDD);
(2)建造認(rèn)證Tier Certif i cations of Constructed Facility(TCCF);
(3)運(yùn)維認(rèn)證Tier Certif i cations of Operational Sustainability(TCOS)。
運(yùn)營商只有在完成數(shù)據(jù)中心設(shè)計(jì)認(rèn)證的基礎(chǔ)上,才能進(jìn)行建造認(rèn)證;完成建造認(rèn)證后,方可對建成的機(jī)房進(jìn)行運(yùn)維認(rèn)證。其中,最基礎(chǔ)的設(shè)計(jì)認(rèn)證僅有2年認(rèn)證年限,2年后該數(shù)據(jù)中心如沒有繼續(xù)完成建造認(rèn)證,設(shè)計(jì)認(rèn)證將無效。
由于Tier IV等級數(shù)據(jù)中心的設(shè)計(jì)難度較高,國內(nèi)部分?jǐn)?shù)據(jù)中心為滿足設(shè)計(jì)認(rèn)證要求,設(shè)計(jì)方案往往無法滿足后期機(jī)房建設(shè)的可行性要求,導(dǎo)致目前國內(nèi)數(shù)據(jù)中心完成設(shè)計(jì)認(rèn)證及建造認(rèn)證的只有一家,且沒有數(shù)據(jù)中心完成以上三個(gè)階段的全部認(rèn)證。
在Uptime認(rèn)證標(biāo)準(zhǔn)中,將數(shù)據(jù)中心機(jī)房基礎(chǔ)設(shè)施Tier分為4個(gè)等級,定義及具體要求如下。
1.2.1 Tier I
Tier I,基本的現(xiàn)場基礎(chǔ)設(shè)施,建設(shè)要求如下:
(1)Tier I基本的數(shù)據(jù)中心沒有冗余容量組件,且只有一個(gè)單一的非冗余分配路徑來為關(guān)鍵環(huán)境提供服務(wù)。Tier I基礎(chǔ)設(shè)施包括:1個(gè)IT系統(tǒng)的專用空間、1套不間斷電源系統(tǒng)(UPS)用來濾除輸入功率尖峰、電壓驟降和瞬間電力中斷的影響;專用供冷設(shè)備;1避免IT功能受長期斷電影響的現(xiàn)場發(fā)電系統(tǒng),如引擎式發(fā)電機(jī)、燃料電池等。
(2)用于現(xiàn)場發(fā)電(如引擎式發(fā)電機(jī)、燃料電池)的12 h現(xiàn)場燃料儲存。
1.2.2 Tier II
Tier II,冗余的現(xiàn)場基礎(chǔ)設(shè)施容量組件,建設(shè)要求如下:
(1)Tier II數(shù)據(jù)中心擁有冗余容量組件,以及單一的非冗余分配路徑來為關(guān)鍵環(huán)境提供服務(wù)。冗余組件是指額外的現(xiàn)場發(fā)電系統(tǒng)(如引擎式發(fā)電機(jī)、燃料電池)、不間斷電源(UPS)模塊和能力儲存、冷水機(jī)組、排熱設(shè)備、泵、冷卻裝置和燃料儲存罐。
(2)支持“N”容量的12 h現(xiàn)場燃料儲存。
1.2.3 Tier III
Tier III,可并行維護(hù)的機(jī)房基礎(chǔ)設(shè)施,建設(shè)要求如下:
(1)一個(gè)可同時(shí)維護(hù)的數(shù)據(jù)中心擁有冗余容量組件,以及多個(gè)獨(dú)立分配路徑來為關(guān)鍵系統(tǒng)提供服務(wù)。對于電力中樞和機(jī)械分配路徑,只需要一個(gè)分配路徑為關(guān)鍵環(huán)境服務(wù)。電力中樞指從現(xiàn)場發(fā)電系統(tǒng)(如引擎式發(fā)電機(jī)、燃料電池)的輸出到IT用不間斷電源(UPS)輸入端的電力分配路徑,以及為關(guān)鍵機(jī)械設(shè)備供電用的電力分配路徑。機(jī)械分配路徑指將熱量從關(guān)鍵空間移除到室外環(huán)境的分配路徑,如冷凍水管路、冷卻水管路以及制冷劑管路等。
(2)所有IT設(shè)備均為雙電源供電且合理安裝,與現(xiàn)場架構(gòu)的拓?fù)湎嗥ヅ洹H绻粷M足該要求,則須使用轉(zhuǎn)換裝置如小型機(jī)架式轉(zhuǎn)換開關(guān)。
(3)支持“N”容量的12 h現(xiàn)場燃料儲存。
1.2.4 Tier IV
Tier IV,容錯(cuò)的現(xiàn)場基礎(chǔ)設(shè)施,建設(shè)要求如下:
(1)一個(gè)容錯(cuò)的數(shù)據(jù)中心同時(shí)具有多個(gè)、獨(dú)立的、物理隔離的系統(tǒng)來提供冗余容量組件,以及多個(gè)獨(dú)立的、不同的、主用的分配路徑同時(shí)為關(guān)鍵環(huán)境服務(wù)。冗余容量組件和多種不同的分配路徑的配置應(yīng)使“N”容量在任何基礎(chǔ)設(shè)施故障后能繼續(xù)為關(guān)鍵環(huán)境提供電力和冷卻。
(2)所有IT設(shè)備都具有雙電源,裝置內(nèi)部帶有容錯(cuò)電力設(shè)計(jì)且正確安裝,與現(xiàn)場架構(gòu)的拓?fù)湎嗥ヅ洹H绻粷M足該要求,則須使用轉(zhuǎn)換裝置如小型機(jī)架式轉(zhuǎn)換開關(guān)。
(3)互為備份的系統(tǒng)和分配路徑相互之間必須進(jìn)行物理隔離(分隔),以防止任意單一事件同時(shí)對兩套系統(tǒng)或兩路分配路徑造成影響。
(4)要求連續(xù)供冷。連續(xù)供冷依據(jù)《數(shù)據(jù)處理環(huán)境傳熱指南(第三版)》為所有關(guān)鍵空間提供一個(gè)滿足IT設(shè)備ASHREA最大溫度變化范圍的穩(wěn)定環(huán)境工況。另外,連續(xù)供冷的持續(xù)時(shí)間應(yīng)該能保證持續(xù)供冷至機(jī)械系統(tǒng)恢復(fù)在極端環(huán)境條件下運(yùn)行所提供的額定制冷量。
(5)支持“N”容量的12 h現(xiàn)場燃料儲存。
以上4個(gè)等級的定義與要求詳見《Data Center Site Infrastructure Tier Standard: Topology》(2009-2018版本)。需要注意,Uptime設(shè)計(jì)認(rèn)證只有以上4個(gè)等級,并不存在Tier III+之類的模糊定義。
根據(jù)以上內(nèi)容,歸納各認(rèn)證等級需求如表1所示。
從表1可見,Tier I~Tier IV的每一個(gè)等級需求逐步遞進(jìn)。Tier III~Tier IV中,還要求每一個(gè)冗余組件和分配路徑都要符合要求。
以某家申請進(jìn)行Tier IV認(rèn)證的機(jī)房設(shè)計(jì)認(rèn)證為例:數(shù)據(jù)中心內(nèi)UPS系統(tǒng)、水冷主機(jī)的配置已滿足Tier IV的要求,但由于末端空調(diào)配置無法滿足連續(xù)制冷這一要求,則認(rèn)證人員會判斷該機(jī)房無法評定為Tier IV,只能滿足Tier III要求;之后又發(fā)現(xiàn),它的發(fā)電機(jī)組方案由于配電路徑無法滿足可并行維護(hù),則判斷該機(jī)房無法評定為Tier III,只滿足Tier II要求;最后,由于該數(shù)據(jù)中心油罐沒有考慮冗余配置,則判斷該機(jī)房無法評定為Tier II,只滿足Tier I要求。于是,整個(gè)數(shù)據(jù)中心最終只能評定為Tier I等級。
Uptime認(rèn)證標(biāo)準(zhǔn)并不會像其他數(shù)據(jù)中心設(shè)計(jì)規(guī)范制定條條框框和具體量化要求,僅對機(jī)房建設(shè)提出概念化建設(shè)需求。每個(gè)數(shù)據(jù)中心可以通過各種方式滿足需求,只要達(dá)到相應(yīng)等級的建設(shè)需求,便可通過相應(yīng)的等級認(rèn)證。
在Uptime認(rèn)證學(xué)習(xí)及設(shè)計(jì)認(rèn)證的參與過程中,與以往國內(nèi)數(shù)據(jù)中心建設(shè)的要求及理解有所不同。
目前,國內(nèi)通信設(shè)計(jì)規(guī)范中對公共市政資源的使用有一定要求。例如,《通信電源設(shè)備安裝工程設(shè)計(jì)規(guī)范》[3](GB 51194-2016)中將市電供電分為四類。根據(jù)引入市電的數(shù)量、引入市電是否相互獨(dú)立、市電穩(wěn)定供電時(shí)間和平均故障時(shí)間等因素,結(jié)合通信局站的等級需求確定機(jī)房需配置的供電系統(tǒng)及備用發(fā)電機(jī)組方案。又如,《數(shù)據(jù)中心設(shè)計(jì)規(guī)范》(GB 50174-2017)中對供電電源有要求,如表2所示。

表2 供電電源要求
由以上兩個(gè)規(guī)范可見,國內(nèi)重要的數(shù)據(jù)中心至少需要引入兩路相互獨(dú)立的市電,并在此基礎(chǔ)上配置備用電源。引入市政用電的數(shù)量及冗余模式,對數(shù)據(jù)中心的等級評定是一個(gè)重要的考核指標(biāo)。但在Uptime認(rèn)證中,各等級數(shù)據(jù)機(jī)房對公共市政資源沒有具體要求。也就是說,一個(gè)沒有市政用電引入的數(shù)據(jù)中心,也有可能可以通過Tier IV機(jī)房的認(rèn)證。對Uptime Institute來說,公共市政資源(包括供電及供水等)都是不可靠的服務(wù)供應(yīng),是數(shù)據(jù)中心日常運(yùn)營時(shí)為節(jié)約運(yùn)營成本而采用的經(jīng)濟(jì)性替代。數(shù)據(jù)中心配置的發(fā)電機(jī)組等備用電源才是評定Tier等級的重要指標(biāo)。

表1 認(rèn)證等級需求
國內(nèi)通信行業(yè)對發(fā)電機(jī)組的輸出功率的常用定義有以下幾種:
(1)備用功率:在商定運(yùn)行條件下,按制造商規(guī)定的維修間隔和方法實(shí)施維護(hù)保養(yǎng),發(fā)電機(jī)組平均每12 h內(nèi)能滿負(fù)載運(yùn)行1 h的最大功率。
(2)主用功率:在商定運(yùn)行條件下,按制造商規(guī)定的維修間隔和方法實(shí)施維護(hù)保養(yǎng),發(fā)電機(jī)組能以此功率連續(xù)運(yùn)行24 h以上,且每12 h內(nèi)應(yīng)能過載10%連續(xù)運(yùn)行1 h;當(dāng)連續(xù)運(yùn)行超過24 h,其輸出功率不低于該功率的90%。發(fā)電機(jī)組每年允許的累計(jì)運(yùn)行時(shí)間不低于500 h。
(3)持續(xù)功率:在商定運(yùn)行條件下,按制造商規(guī)定的維修間隔和方法實(shí)施維護(hù)保養(yǎng),發(fā)電機(jī)組每年運(yùn)行時(shí)間不受限制地為恒定負(fù)載持續(xù)供電的最大功率。
配置發(fā)電機(jī)時(shí),機(jī)組輸出功率具體采用以上哪種定義并沒有具體規(guī)定,一般根據(jù)機(jī)組的使用工況、運(yùn)行時(shí)長等選擇具體的發(fā)電機(jī)型號。比如,在三類、四類市電故障時(shí)間高且市電質(zhì)量低的情況下,會按主用功率或持續(xù)功率選擇發(fā)電機(jī);而一二級城市,市電故障率低且穩(wěn)定性高的情況下,會按主用功率或備用功率選擇發(fā)電機(jī)。
但在Uptime認(rèn)證中,明確規(guī)定Tier III~Tier IV機(jī)房必須使用持續(xù)功率作為對發(fā)電機(jī)組輸出功率的選型標(biāo)準(zhǔn)。該數(shù)據(jù)可由發(fā)電機(jī)制造商提供不限小時(shí)數(shù)連續(xù)運(yùn)行容量證明,或按發(fā)電機(jī)主用功率的70%作為持續(xù)功率的參考值。
歸納各認(rèn)證等級發(fā)電機(jī)組輸出功率要求如表3所示。
《數(shù)據(jù)中心設(shè)計(jì)規(guī)范》[2](GB 50174-2017)中對備用發(fā)電機(jī)組的供電及供油系統(tǒng)的配置要求,如表4所示。
可見,不同等級機(jī)房主要對發(fā)電機(jī)的數(shù)量、冗余度、燃油存儲時(shí)間有一定要求外,并沒有其他具體要求。但Uptime認(rèn)證中,發(fā)電機(jī)及油罐作為容量組件都有冗余(Tier II)、可在線維護(hù)(Tier III)和容錯(cuò)(Tier IV)的要求。而從油罐到各臺發(fā)電機(jī)組的供、回油管道,發(fā)電機(jī)組的輸出并機(jī)柜(或油機(jī)配電柜)、配電線路等作為分配路徑也有冗余(Tier II)、可在線維護(hù)(Tier III)和容錯(cuò)(Tier IV)的要求。
按《數(shù)據(jù)中心設(shè)計(jì)規(guī)范》[2](GB 50174-2017),A類機(jī)房要求建設(shè)備用發(fā)電機(jī)組供電及供油系統(tǒng)(3臺發(fā)電機(jī)組構(gòu)成2+1并機(jī)冗余系統(tǒng))如圖1所示,稱為方案1。
根據(jù)Uptime的認(rèn)證標(biāo)準(zhǔn),由于方案1油罐缺少冗余只符合Tier I的標(biāo)準(zhǔn)。

表3 各認(rèn)證等級發(fā)電機(jī)組輸出功率要求

表4 備用發(fā)電機(jī)組的供電及供油系統(tǒng)的配置要求

圖1 方案1
同樣,由3臺發(fā)電機(jī)組構(gòu)成2+1并機(jī)冗余系統(tǒng),按Tier III或Tier IV要求建設(shè)備用發(fā)電機(jī)組供電及供油系統(tǒng)結(jié)構(gòu),如圖2所示,稱為方案2。
上述兩個(gè)方案可以明顯看到,方案2同樣將發(fā)電機(jī)按N+1冗余配置,其配套的油罐也需要在N滿足2臺發(fā)電機(jī)組12 h供油時(shí)間的基礎(chǔ)上進(jìn)行冗余。同時(shí),在供油管路及供電線路上也需要進(jìn)行相應(yīng)冗余,以滿足Tier III可并行維護(hù)的要求。
當(dāng)然,多數(shù)申請進(jìn)行Tier IV認(rèn)證的數(shù)據(jù)中心,在滿足同樣供電容量發(fā)電機(jī)配置(44 00 kW)要求下,會采用2N的模式,如圖3所示,稱為方案3。
比較方案2和方案3可見,方案3供電系統(tǒng)結(jié)構(gòu)較方案2清晰,在Tier IV認(rèn)證時(shí),更便于實(shí)現(xiàn)系統(tǒng)自動響應(yīng)的建設(shè)。但是,由于增加了1臺油機(jī),對數(shù)據(jù)中心機(jī)房場地面積要求更大,建設(shè)投資和維護(hù)成本也會相應(yīng)增多。可見,兩種方案各有利弊,實(shí)際設(shè)計(jì)過程中建議結(jié)合機(jī)房場地條件、機(jī)房建設(shè)規(guī)模、投資規(guī)劃及經(jīng)濟(jì)評估等各項(xiàng)因素選擇合適的方案進(jìn)行設(shè)計(jì)。
方案2和方案3都是單線圖,從供油及供電系統(tǒng)結(jié)構(gòu)來說,都已滿足Tier III及Tier IV的要求,但實(shí)際認(rèn)證時(shí)還需要提供其他圖紙,明確方案中各臺發(fā)電機(jī)、各套油罐、并機(jī)控制系統(tǒng)、各套供電線路、供油管路是否均需滿足Tier IV的容錯(cuò),以及防沖撞、自動響應(yīng)等要求。

圖2 方案2

圖3 方案3
《數(shù)據(jù)中心設(shè)計(jì)規(guī)范》[2](GB 50174-2017)中,對不間斷供電系統(tǒng)的配置要求如表5所示。
可見,一般A類機(jī)房都采用2N的方式建設(shè)不間斷供電系統(tǒng),對供電系統(tǒng)輸出線路的走向沒有特別要求。部分行業(yè)規(guī)范會對輸出電纜有隔離或分橋架布置的需求。
在Uptime設(shè)計(jì)認(rèn)證中,只要不間斷供電系統(tǒng)及其輸入輸出分配路徑的建設(shè)均可滿足冗余及可并行維護(hù)等相關(guān)要求,即使將系統(tǒng)按N+X(X=1)建設(shè),仍可認(rèn)證成為Tier III。當(dāng)然,不間斷供電系統(tǒng)如采用N+X的冗余方案,要滿足Tier IV的容錯(cuò)要求困難會較大。Tier IV要求對每X套系統(tǒng)及其供電分配徑也需要考慮容錯(cuò),X的數(shù)字越小,容錯(cuò)要求越高,對機(jī)房建筑物本身的建設(shè)條件要求苛刻。一般要在大樓建設(shè)時(shí),考慮此要求來規(guī)劃建筑物配電房、機(jī)房和走道的布局。一般由普通民用建筑改造的機(jī)房,在滿足當(dāng)?shù)叵酪?guī)范的基礎(chǔ)上,較難滿足Uptime Tier IV的容錯(cuò)要求。
通過學(xué)習(xí)及參與設(shè)計(jì)認(rèn)證,筆者認(rèn)為數(shù)據(jù)中心的不間斷供電系統(tǒng)若又要滿足A類機(jī)房標(biāo)準(zhǔn)又要滿足Tier IV的認(rèn)證要求,采用2N的方案較好。這樣不僅滿足國內(nèi)規(guī)范的標(biāo)準(zhǔn),而且2N系統(tǒng)滿足Tier IV容錯(cuò)要求的可行性更高,一般對稱建設(shè)的建筑有機(jī)會實(shí)現(xiàn)容錯(cuò)要求。
《數(shù)據(jù)中心設(shè)計(jì)規(guī)范》[2](GB 50174-2017)中,對機(jī)房水冷系統(tǒng)冷機(jī)及末端空調(diào)的配置要求如表6所示。

表5 不間斷供電系統(tǒng)的配置要求

表6 機(jī)房水冷系統(tǒng)冷機(jī)及末端空調(diào)的配置要求
在Uptime設(shè)計(jì)認(rèn)證中,只要確保IT機(jī)房及不間斷供電系統(tǒng)等關(guān)鍵區(qū)域的持續(xù)供冷即可滿足Tier IV的要求。其中,最核心的要求是機(jī)房15 min內(nèi)溫度變化不超過5 ℃。
數(shù)據(jù)中心空調(diào)系統(tǒng)種類繁多,滿足以上要求的系統(tǒng)多種多樣,這里用較簡單的風(fēng)冷空調(diào)為例:數(shù)據(jù)中心末端空調(diào)一般按N+X(X<N)冗余配置,此時(shí)如需滿足機(jī)房持續(xù)制冷的要求,則每X末端空調(diào)需配置ATS切換裝置,其前級需來自2套相互獨(dú)立的不間斷供電系統(tǒng)。其中,若1套不間斷系統(tǒng)發(fā)生故障,機(jī)房內(nèi)會有部分末端空調(diào)的ATS切換裝置發(fā)生動作,導(dǎo)致部分末端空調(diào)壓縮機(jī)在短時(shí)間內(nèi)停機(jī)重啟。此時(shí),要求證明在空調(diào)壓縮機(jī)停機(jī)到其重啟并穩(wěn)定運(yùn)行的時(shí)間內(nèi),機(jī)房中每15 min溫度變化不超過5 ℃。這對前級配電系統(tǒng)、配電路由、空調(diào)管道路由分布等有很高的冗余、可維護(hù)及容錯(cuò)要求。X數(shù)值越小,容錯(cuò)難度越高。因此,部分?jǐn)?shù)據(jù)中心為滿足這一要求往往采用最簡單方式將機(jī)房內(nèi)末端空調(diào)按2N配置,以便于前級配電系統(tǒng)及分配路徑等方案的設(shè)計(jì)。但是,這樣的配置會增加空調(diào)數(shù)量,且由于機(jī)房面積有限,機(jī)房單機(jī)架功耗被降低。投資增加但機(jī)房經(jīng)濟(jì)回報(bào)過低,導(dǎo)致后期數(shù)據(jù)中心無法按Tier IV的設(shè)計(jì)完成建造認(rèn)證。如何在滿足機(jī)房現(xiàn)有條件的基礎(chǔ)上合理配置空調(diào)數(shù)量及冗余方案,有效利用ATS切換裝置,按需求規(guī)劃配電路由及空調(diào)管道等分配路徑,是日后設(shè)計(jì)Tier IV機(jī)房時(shí)需要重點(diǎn)注意的地方。
在Tier IV設(shè)計(jì)認(rèn)證中,一部分重要要求是需要系統(tǒng)自動檢測故障情況,將故障自動隔離,避免造成二次故障影響機(jī)房正常運(yùn)行。這要求涵蓋數(shù)據(jù)中心每一個(gè)關(guān)鍵設(shè)備,包括配電屏、斷路器、發(fā)電機(jī)、油罐、閥門、油泵以及控制系統(tǒng)等。設(shè)計(jì)認(rèn)證過程中除提供設(shè)計(jì)圖紙外,還需另行編制一套數(shù)據(jù)中心各類事故自動響應(yīng)操作序列。數(shù)據(jù)中心事故主要包括:發(fā)電機(jī)組如何自啟動控制、啟動失敗后的故障如何自動隔離、各套冷機(jī)系統(tǒng)如何切換、單套水管閥門故障后如何自動隔離、水管或油管發(fā)生泄漏后如何自動檢測及自動響應(yīng)。認(rèn)證方要求對各類故障一一列舉并闡明系統(tǒng)自動響應(yīng)的操作序列,確保數(shù)據(jù)中心的設(shè)計(jì)滿足Tier IV的要求。
基于Uptime認(rèn)證培訓(xùn)及參與Tier IV數(shù)據(jù)中心設(shè)計(jì)認(rèn)證的過程,針對幾個(gè)設(shè)計(jì)難點(diǎn)進(jìn)行了對比和案例分析。此外,數(shù)據(jù)中心的負(fù)荷統(tǒng)計(jì)、供電分配路徑及空調(diào)管道的建設(shè)方案等,也是Tier IV數(shù)據(jù)中心設(shè)計(jì)認(rèn)證中需要重視的部分。