從基礎(chǔ)設(shè)施的角度探討數(shù)據(jù)中心容量規(guī)劃

文｜艾默生網(wǎng)絡(luò)能源有限公司 曹 播

如何規(guī)劃數(shù)據(jù)中心基礎(chǔ)設(shè)施的容量一直是困擾數(shù)據(jù)中心管理者和從業(yè)者的一個(gè)重大問題。當(dāng)數(shù)據(jù)中心的建設(shè)意向提出之后，數(shù)據(jù)中心的建設(shè)容量到底是多大？到底該按照哪些因素去規(guī)劃數(shù)據(jù)中心的容量？立項(xiàng)的數(shù)據(jù)中心到底該按照何種方式去建設(shè)？如何使將要建設(shè)的數(shù)據(jù)中心能夠面臨以后10年的業(yè)務(wù)增長？如何使數(shù)據(jù)中心保持可靠性、經(jīng)濟(jì)性和節(jié)能環(huán)保的有機(jī)統(tǒng)一？

1 新一代數(shù)據(jù)中心容量規(guī)劃制約模型

1.1 IT規(guī)劃

IT規(guī)劃是以整體發(fā)展目標(biāo)和戰(zhàn)略以及各部門的目標(biāo)與功能為基礎(chǔ)，結(jié)合所屬行業(yè)信息化的實(shí)踐結(jié)果和信息技術(shù)的發(fā)展趨勢，提出信息化的遠(yuǎn)景、目標(biāo)和戰(zhàn)略，制定信息化的系統(tǒng)架構(gòu)、確定信息系統(tǒng)各部分的邏輯關(guān)系，以及信息系統(tǒng)的架構(gòu)設(shè)計(jì)、選型和實(shí)施策略，通過對信息化目標(biāo)和內(nèi)容進(jìn)行整體規(guī)劃，以全面系統(tǒng)地指導(dǎo)企業(yè)信息化的進(jìn)程和信息技術(shù)的應(yīng)用。

IT規(guī)劃是信息化建設(shè)的基本綱領(lǐng)和總體指向，核心內(nèi)容是要從組織目標(biāo)和信息化戰(zhàn)略中抽取信息需求和功能需求，形成組織總體的信息化框架和系統(tǒng)整體模型。通過信息化，使信息技術(shù)手段應(yīng)用到組織生產(chǎn)、運(yùn)營和管理中，利用信息技術(shù)來改造和提升組織的綜合能力。

由IT規(guī)劃而產(chǎn)生的組織信息資源規(guī)劃，將明確限定在（近期與遠(yuǎn)期）一定時(shí)期內(nèi)，對IT系統(tǒng)的整體需求計(jì)劃，包括為實(shí)現(xiàn)信息化目標(biāo)所確定的IT系統(tǒng)定位、IT系統(tǒng)規(guī)模、IT系統(tǒng)架構(gòu)、IT系統(tǒng)配置。其中，IT系統(tǒng)定位決定了數(shù)據(jù)中心的建設(shè)等級(jí)；IT系統(tǒng)規(guī)模決定了數(shù)據(jù)中心的建筑空間；IT系統(tǒng)架構(gòu)決定了數(shù)據(jù)中心的信息路由；IT系統(tǒng)配置決定了數(shù)據(jù)中心的場地布局。由此可見， IT規(guī)劃是企業(yè)數(shù)據(jù)中心建設(shè)的前提和依據(jù)。

但問題主要集中在兩個(gè)方面：

（1）數(shù)據(jù)中心業(yè)主往往沒有辦法對業(yè)務(wù)的發(fā)展做出清晰的預(yù)測。

無論是電信、金融行業(yè)還是政府、企業(yè)級(jí)數(shù)據(jù)中心，其業(yè)務(wù)的發(fā)展呈現(xiàn)出快速卻又不規(guī)則的發(fā)展模式。增長率在一段時(shí)間會(huì)非常高，但在一段時(shí)間之內(nèi)又有可能停滯，基本上很難直接呈現(xiàn)出一種相對穩(wěn)定的發(fā)展趨勢，這當(dāng)然是和如今的經(jīng)濟(jì)形勢密切相關(guān)的。近年來全球經(jīng)濟(jì)形勢的大起大落必然會(huì)在各個(gè)行業(yè)中體現(xiàn)出來，而這種業(yè)務(wù)的大起大落給數(shù)據(jù)中心的規(guī)劃者造成了相當(dāng)大的困擾。

（2）邊界限制因素越來越多。

數(shù)據(jù)中心規(guī)模越來越大，對數(shù)據(jù)中心的選址、區(qū)域劃分、土建、承重、裝飾裝修、供電、制冷、強(qiáng)電、弱電、綜合布線、照明、防雷接地、消防、監(jiān)控與門禁等各個(gè)不同的角度提出了新的建設(shè)要求。但總的來說，數(shù)據(jù)中心最重要的三個(gè)制約條件是：供電、制冷、占地面積（空間制約），如圖1所示。

這三個(gè)關(guān)鍵因素對于數(shù)據(jù)中心容量規(guī)劃的影響既相對獨(dú)立，又相互滲透，互為表里。

圖1 數(shù)據(jù)中心容量三維限制模型

1.2 供電

以前呈現(xiàn)出“海量”供應(yīng)的供電容量是目前數(shù)據(jù)中心容量規(guī)劃的重要邊際制約。筆者在近幾年建設(shè)實(shí)踐中遇到的以供電容量確定數(shù)據(jù)中心容量的案例不在少數(shù)。

不同電壓等級(jí)線路由于受制于線路種類和供電距離，其送電的能力也各不相同，如表1所示。

表1 各級(jí)電壓線路送電能力（數(shù)據(jù)來源：《工業(yè)與民用配電設(shè)計(jì)手冊》，第三版）

事實(shí)上10kV系統(tǒng)是當(dāng)前數(shù)據(jù)中心接觸到最多的高壓變配電系統(tǒng)，相對而言很少見到6kV系統(tǒng)，主要是因?yàn)椋?/p>

（1）10kV系統(tǒng)相比較于6kV系統(tǒng)能夠提供更大的負(fù)荷容量。

（2）在配電線路方面，在同樣的輸送功率和輸送距離的條件下，配電電壓越高，線路電流越小，因而線路所采用的導(dǎo)線或電纜截面積越小，從而可降低線路的初期投資和金屬消耗量，且可減少線路的電能損耗和電壓損耗。

（3）在開關(guān)設(shè)備的投資方面，實(shí)際使用的6kV開關(guān)設(shè)備的型號(hào)規(guī)格與10kV的基本相同，因此在這方面10kV方案不會(huì)比6kV方案增加多少。

（4）在供電的安全性和可靠性方面，采用6kV系統(tǒng)和10kV系統(tǒng)差別不大。

（5）在適應(yīng)性方面，10kV系統(tǒng)優(yōu)于6kV系統(tǒng)。

此 外，GB/T 156-2007特 別 強(qiáng) 調(diào)3kV～6kV不得用于公共配電系統(tǒng)。

隨著城市經(jīng)濟(jì)的迅速發(fā)展，電力負(fù)荷大幅增加，城市電力負(fù)荷密度隨之增大，供電范圍也不斷擴(kuò)大。因此，增大配電網(wǎng)容量是目前城市電網(wǎng)的突出問題。在城市電網(wǎng)建設(shè)方面，采取了提高和簡化城市電網(wǎng)電壓等級(jí)，根據(jù)地區(qū)用電特點(diǎn)選擇合適的電壓等級(jí)等重要措施。對高壓配電電壓，全國各個(gè)大、中城市根據(jù)自身特點(diǎn)，選擇自己的高壓配電等級(jí)。北京在城區(qū)逐步取消35kV的電壓等級(jí)，保留110kV電壓等級(jí)的方案；天津則逐步取消110kV，保留35kV；上海保留了35kV和110kV電壓等級(jí)，要求不同區(qū)域因地制宜選用兩電壓等級(jí)之一。此外，在我國，20kV配電電壓也正式列入GB/T 156-2007標(biāo)準(zhǔn)中。

無論是哪種新的配電電壓，對于數(shù)據(jù)中心而言都是正面的因素。隨著配電電壓的提高，勢必為數(shù)據(jù)中心提供更多的容量支持，且更為環(huán)保節(jié)能。

1.3 制冷

數(shù)據(jù)中心各設(shè)備的散熱特性十分復(fù)雜，如圖2所示。

圖2至少揭示了兩個(gè)重要的問題：

（1）數(shù)據(jù)中心各類型的設(shè)備具有不同的發(fā)熱密度，這就意味著針對不同的設(shè)備應(yīng)該有不同的制冷解決方案。

（2）數(shù)據(jù)中心各類型的設(shè)備本身的發(fā)熱密度在不同的階段有著不同的熱密度（一般是越來越熱）。

圖2 數(shù)據(jù)中心各設(shè)備熱密度發(fā)展趨勢圖

因此，制冷對于數(shù)據(jù)中心的限制主要體現(xiàn)在以下幾個(gè)方面：

（1）設(shè)計(jì)的制冷系統(tǒng)能夠滿足不同設(shè)備在不同階段的制冷要求，從而能夠使得數(shù)據(jù)中心初期規(guī)劃的電資源和空間資源能夠得到充分的、合理的使用，如圖3所示。

圖3 機(jī)柜空間利用增長示意圖

需要針對不同的功率密度（熱密度）做出不同的制冷方案規(guī)劃，如圖4所示。

圖4 不同功率密度對應(yīng)不同機(jī)房制冷方案

（2）數(shù)據(jù)中心制冷系統(tǒng)的建設(shè)是一個(gè)系統(tǒng)工程，除了機(jī)房空調(diào)主機(jī)之外，還會(huì)和建筑結(jié)構(gòu)產(chǎn)生廣泛且深刻的聯(lián)系。

①機(jī)房樓層的凈空高會(huì)直接影響送風(fēng)方式的選擇。能否采用靜電地板，靜電的高度是否直接占用太多高度以至于影響上走線槽道的布置或者照明期間的分布？當(dāng)然，采用風(fēng)道上送風(fēng)也有同樣的擔(dān)心。數(shù)據(jù)中心凈空高必須考慮如下因素：靜電地板高度（或者上送風(fēng)風(fēng)道高度）、機(jī)柜高度、兩層上走線槽道高度、照明高度、天花上回風(fēng)高度等。實(shí)際經(jīng)驗(yàn)表明，新一代數(shù)據(jù)中心機(jī)房凈空高一般大于等于4.5m為宜。

②室內(nèi)機(jī)、室外機(jī)的距離會(huì)直接影響冷卻方式的選擇。一般來講，當(dāng)室外機(jī)高于室內(nèi)機(jī)時(shí)，建議垂直最大距離為25m；當(dāng)室外機(jī)低于室內(nèi)機(jī)時(shí)，建議垂直最大距離為5m。建議管道總長不超過60m，超過上述限制，就不再推薦采用風(fēng)冷的機(jī)組。

③房間的建筑形狀也直接關(guān)系到機(jī)房的氣流組織。機(jī)房空調(diào)的送風(fēng)距離一般是15m，如果超過這個(gè)距離，就建議采用對吹的方式。因此，對數(shù)據(jù)中心房間做區(qū)域分割時(shí)，一般會(huì)建議一個(gè)子機(jī)房的距離不超過30m。

（3）數(shù)據(jù)中心對能量的需求最終體現(xiàn)在對于電能的需求上。空調(diào)系統(tǒng)是數(shù)據(jù)中心機(jī)房能耗的第二大戶，因此，合理的設(shè)計(jì)制冷系統(tǒng)能夠確保在滿足數(shù)據(jù)中心制冷需求的基礎(chǔ)上盡量減少對于電能的需求。

1.4 空間（占地面積）

數(shù)據(jù)中心所使用的占地是一個(gè)不可再生的資源，始終是困擾IT經(jīng)理人的一個(gè)重要的問題。在當(dāng)前流行的主流IT技術(shù)（刀片服務(wù)器，虛擬化等）的背后都有“減少占地面積”的原因。

數(shù)據(jù)中心的面積始終是數(shù)據(jù)中心建設(shè)者、管理者最為關(guān)注的因素之一。

數(shù)據(jù)中心對于選址有著嚴(yán)格的要求，選擇合適的地點(diǎn)建設(shè)合適規(guī)模的數(shù)據(jù)中心需要付出昂貴的代價(jià)。

數(shù)據(jù)中心空間的制約主要體現(xiàn)在兩個(gè)方面：初始的建筑面積制約和運(yùn)行后擴(kuò)容空間的制約。

2 新一代數(shù)據(jù)中心需求成長模型

上部分內(nèi)容力圖從宏觀的角度顯示數(shù)據(jù)中心容量和三個(gè)關(guān)鍵的制約條件之間定性的關(guān)系，描述的是總量的關(guān)系。至于單個(gè)制約條件的供需成長關(guān)系，如圖5所示。

詳細(xì)解讀如下：

（1）IT設(shè)備針對系統(tǒng)需求的增長速度步幅最小，頻度最高，這和IT設(shè)備本身的物理特性密切相關(guān)，當(dāng)有新業(yè)務(wù)需求時(shí)，在機(jī)柜中增加IT設(shè)備即可，基本上對供電、制冷以及占地面積的沖擊不會(huì)太大，因此會(huì)呈現(xiàn)相對平滑的特性。

（2）在數(shù)據(jù)中心規(guī)劃時(shí)，會(huì)根據(jù)業(yè)務(wù)增長的狀況對面積進(jìn)行分區(qū)，同時(shí)也會(huì)為每一期所使用的面積預(yù)留合適的裕量。因此，面積的增長首先是一種小步幅的增長，突破臨界點(diǎn)（分期界限）之后，會(huì)有新的大面積空間投入使用。

（3）機(jī)房空調(diào)的增長速度也相對平滑，在前期的基礎(chǔ)設(shè)施（比如水管，送回風(fēng)設(shè)施等）準(zhǔn)備預(yù)留妥當(dāng)?shù)那闆r下，面對機(jī)房熱負(fù)荷的不斷提高，可通過階段遞進(jìn)增加終端的制冷單元即可實(shí)現(xiàn)。

（4）供電系統(tǒng)的增長就會(huì)顯得相對緩慢，呈現(xiàn)的步幅頻率低，步幅大。為什么供電設(shè)備沒有采取類似于IT設(shè)備和機(jī)房空調(diào)一樣的隨著業(yè)務(wù)增長而頻繁進(jìn)步的模型？為什么供電系統(tǒng)沒有采用小容量、多模塊的建設(shè)方式？

主要是交流供電系統(tǒng)的模塊化和可靠性存在著復(fù)雜的關(guān)系，核心是隨著供電模塊數(shù)的提高，系統(tǒng)的可靠性呈現(xiàn)出下降的趨勢。因此，在進(jìn)行建設(shè)新一代數(shù)據(jù)中心供電系統(tǒng)時(shí)，必須在可擴(kuò)容性（通過模塊化來支持）和可靠性之間取得一定的平衡。

目前主流的建設(shè)方式主要是采取2（N+1），N≤3的方式，隨著業(yè)務(wù)增長，N會(huì)逐漸增大。如果當(dāng)前系統(tǒng)N達(dá)到3之后，就會(huì)考慮新建系統(tǒng)。因此，體現(xiàn)在供電的供需增長關(guān)系上，就會(huì)有頻率低、步幅大的特點(diǎn)，如圖6所示。

3 新一代數(shù)據(jù)中心容量規(guī)劃關(guān)鍵支點(diǎn)

新一代數(shù)據(jù)中心容量規(guī)劃的支點(diǎn)多種多樣，見仁見智。通行的做法不一而足，但基本上可從以下四個(gè)支點(diǎn)加以解析：

（1）可用性支點(diǎn)

面對承載不同業(yè)務(wù)類型的數(shù)據(jù)中心，其可用性的要求必然不同。數(shù)據(jù)中心可用度等級(jí)的劃分基本上可以參照TIA 942及UPTIME對其的定義，如圖7所示。

圖5 單個(gè)制約條件(面積，供電和空調(diào))供需增長關(guān)系

圖6 并聯(lián)系統(tǒng)可靠性比較

圖7 數(shù)據(jù)中心可靠性等級(jí)的分類

數(shù)據(jù)中心總的可用性是由IT和Facility兩個(gè)平臺(tái)所決定的，如圖8所示。

IT網(wǎng)絡(luò)的可用性≈IT可用性×Facility可用性

因此，數(shù)據(jù)中心從業(yè)者在考慮整個(gè)數(shù)據(jù)中心可用性時(shí)，需要將IT和Facility綜合考慮。

（2）成本支點(diǎn)

成本始終是最受關(guān)注的維度之一。但是數(shù)據(jù)中心的成本不但是由建設(shè)成本（CAPEX）構(gòu)成，同時(shí)也包含運(yùn)營成本（OPEX）。而且，在數(shù)據(jù)中心整個(gè)生命周期之內(nèi)，僅僅是電費(fèi)的支出就會(huì)超出初始建設(shè)所有設(shè)備成本的總和。因此，針對數(shù)據(jù)中心這樣的OPEX大大超過CAPEX的實(shí)體，如何將成本與技術(shù)及產(chǎn)品方案完美地結(jié)合起來，做到TCO最低，始終是一個(gè)很大的挑戰(zhàn)。

（3）綠色節(jié)能支點(diǎn)

目前對數(shù)據(jù)中心綠色節(jié)能，業(yè)界有著相對成熟的計(jì)量指標(biāo)，即PUE和DCiE。

PUE：Power Usage Effectiveness（ 能量使用效率）

基本上，這兩個(gè)指標(biāo)被用來評價(jià)數(shù)據(jù)中心的能效利用率，即每瓦IT設(shè)備能耗需要消耗多少總輸入能耗。但是如果我們換一個(gè)角度，就能夠預(yù)先知道數(shù)據(jù)中心總能耗（初始設(shè)計(jì)時(shí)基本上這個(gè)指標(biāo)往往被用來表征數(shù)據(jù)中心最大供電能力），而PUE值業(yè)界也有相對合理和流行的工程值（目前為1.6～ 2.0之間），那我們就能大致估算出IT設(shè)備能耗，從而也就能夠算出數(shù)據(jù)中心機(jī)架的功率密度，從而可以預(yù)估關(guān)鍵子系統(tǒng)的建設(shè)模式。

PUE概念的引入為數(shù)據(jù)中心能耗評估提供了一個(gè)可量化的指標(biāo)評價(jià)體系，但是在能耗總量（電量）評估、測量點(diǎn)、能量維度、可操作性等多個(gè)方面有欠缺，因此在2010年7月份，TGG提出了對PUE進(jìn)行分類定義。TGG將PUE分為四類，分別是PUE Category0（PUE0）、PUE Category1（PUE1）、PUE Category2（PUE2）和 PUE Category3（PUE3）。其中，PUE0和2007年定義基本一樣（分子和分母均為功率），PUE1、PUE2和PUE3均引入了能量參數(shù)（分子和分母均為電量），只不過是對IT設(shè)備耗電量的測量點(diǎn)界定不同，如表2所示。

PUE0在設(shè)計(jì)階段意義明顯，因?yàn)樵O(shè)計(jì)階段可以精確系統(tǒng)容量（kW）。

PUE Category1、PUE Category2、PUECategory3均是電量的比值，其區(qū)別在于IT Power的測量點(diǎn)不一致。PUE的定義中引入能量（kWh比值）的比值，使得PUE在實(shí)際工程中的操作更加有意義（因?yàn)閗Wh遠(yuǎn)比kW穩(wěn)態(tài)并易于測量）。

表2 PUE分類定義

舉個(gè)例子，比如某場地在初始給定如下：

基礎(chǔ)背景：總面積15000m2；機(jī)柜1200個(gè)；總供電20000kW。

建設(shè)愿景：Tier IV&GB 50174 Class A；10年IT設(shè)備發(fā)展；分期分批，模塊化。

開始客戶不太清楚某些關(guān)鍵系統(tǒng)（供電、制冷）的建設(shè)方式。

假 定PUE取2.0， 即：PUE=Total Power/IT Power=20000kW/IT Power=2。

則IT Power=10000kW，而機(jī)柜1200個(gè)。

因此，單個(gè)機(jī)柜功率密度為IT Power=10000kW/機(jī)柜個(gè)數(shù)1200個(gè)=8kW。

知道了IT Power，就可以大致核定出供電系統(tǒng)容量；知道了單個(gè)機(jī)柜功率密度，就可以核定供電系統(tǒng)終端配電設(shè)計(jì)，也可以同時(shí)理清制冷系統(tǒng)設(shè)計(jì)的最為關(guān)鍵的容量指標(biāo)。

總而言之，特別是在系統(tǒng)初始評估時(shí)，PUE指標(biāo)不單可以作為數(shù)據(jù)中心節(jié)能與否的計(jì)量指標(biāo)，也可以作為數(shù)據(jù)中心容量評估的一個(gè)有效支點(diǎn)。

（4）功率密度支點(diǎn)

上述三個(gè)維度基本上是從宏觀的層面去規(guī)劃數(shù)據(jù)中心的容量，具體到可操作的層面，到底該如何規(guī)劃新一代數(shù)據(jù)中心的容量？到底如何去規(guī)劃關(guān)鍵子系統(tǒng)的建設(shè)？

業(yè)界關(guān)于數(shù)據(jù)中心容量的可操作性規(guī)劃基本上有三種思路：

第一，以業(yè)務(wù)為支點(diǎn)。業(yè)界一線供應(yīng)商基本上推出針對不同規(guī)模客戶群的指導(dǎo)性的解決方案。以電信行業(yè)供電系統(tǒng)建設(shè)為例，比如對于省級(jí)機(jī)房、地市級(jí)機(jī)房等均有不同的方案模板。

第二，以面積為支點(diǎn)。不同面積的機(jī)房有不同的解決方案。比如100m2的機(jī)房該如何建設(shè)，1000m2的機(jī)房該如何建設(shè)等在各專業(yè)廠家的宣傳文案就更多了。

但上述兩種思路往往對數(shù)據(jù)中心的建設(shè)過于空泛，以面積支點(diǎn)為例，100m2的機(jī)房筆者在建設(shè)實(shí)踐中有遇到只需要承載100kW的能量，也有需要承載1250kW能量的案例。而同樣是100m2的機(jī)房，兩個(gè)案例建設(shè)的方法、思路、成本等完全不一樣。

因此，業(yè)界慢慢找到一種新思路（第三），即同時(shí)考慮業(yè)務(wù)和面積的做法。確定功率密度為數(shù)據(jù)中心容量規(guī)劃的可操作性支點(diǎn)，基本上可以理解為：功率密度=業(yè)務(wù)（體現(xiàn)為服務(wù)器功耗）/面積。

但是，功率密度有多種表征方式，如表3所示。

在具體的實(shí)踐中，目前機(jī)架的功率密度使用也最為廣泛。

表3