數(shù)據(jù)中心節(jié)能設(shè)計(jì)分析

王德慷，孫玉龍，王東柱

（浪潮軟件集團(tuán)有限公司，山東 濟(jì)南 250101）

0 引 言

隨著大數(shù)據(jù)、云計(jì)算、人工智能（Artificial Intelligence，AI）等技術(shù)的發(fā)展，人們對(duì)運(yùn)算密度的需求日益提高，對(duì)數(shù)據(jù)中心基礎(chǔ)設(shè)施的需求也空前增長，要求數(shù)據(jù)中心提供更多的計(jì)算和存儲(chǔ)能力。數(shù)據(jù)中心機(jī)房功率密度由傳統(tǒng)的每個(gè)機(jī)柜3 ～5 kW 升至每個(gè)機(jī)柜10 kW，導(dǎo)致機(jī)房的局部發(fā)熱量顯著增加，嚴(yán)重威脅設(shè)備的安全運(yùn)行[1]。數(shù)據(jù)中心作為能源消耗的主要場所，通常具有設(shè)備發(fā)熱量大、電力能耗高的特點(diǎn)。隨著運(yùn)算密度的增大，數(shù)據(jù)中心的能耗不斷攀升。在規(guī)劃立項(xiàng)時(shí)，節(jié)能評(píng)審是數(shù)據(jù)中心建設(shè)的關(guān)鍵環(huán)節(jié)，重點(diǎn)審查與節(jié)能相關(guān)的設(shè)計(jì)。若電源使用效率（Power Usage Effectiveness，PUE）不滿足要求，數(shù)據(jù)中心將無法完成立項(xiàng)建設(shè)。因此，在建設(shè)數(shù)據(jù)中心的過程中要重點(diǎn)關(guān)注節(jié)能設(shè)計(jì)，以降低PUE 值，即數(shù)據(jù)中心總設(shè)備能耗與信息技術(shù)（Information Technology，IT）設(shè)備能耗的比值。

1 數(shù)據(jù)中心機(jī)房能耗情況

1.1 數(shù)據(jù)中心的能耗評(píng)估指標(biāo)

在評(píng)估數(shù)據(jù)中心能耗時(shí)，一般選用PUE 值作為評(píng)價(jià)數(shù)據(jù)中心能源效率的指標(biāo)。PUE 值，越接近1 表明非IT設(shè)備的能耗越少，即數(shù)據(jù)中心的節(jié)能水平越好。傳統(tǒng)數(shù)據(jù)中心的PUE 值為2，而應(yīng)用新技術(shù)的數(shù)據(jù)中心PUE 值能達(dá)到1.25[2]。

1.2 數(shù)據(jù)中心機(jī)房能耗的組成

數(shù)據(jù)中心總能耗包括IT設(shè)備能耗、制冷設(shè)備能耗、配電設(shè)備能耗、照明設(shè)備能耗及其他設(shè)備能耗。其中，IT 設(shè)備能耗約占總能耗的40%，制冷設(shè)備能耗約占總能耗的40%，供配電系統(tǒng)能耗約占總能耗的10%，照明設(shè)備能耗約占總能耗的5%，其他設(shè)備能耗約占總能耗的5%[3]。由于IT 設(shè)備與數(shù)據(jù)中心的核心業(yè)務(wù)相關(guān)，在不調(diào)整核心業(yè)務(wù)的前提下，實(shí)現(xiàn)IT 設(shè)備的節(jié)能是相當(dāng)困難的，只能依托IT設(shè)備廠家的技術(shù)更新。因此，需要在建設(shè)數(shù)據(jù)中心時(shí)盡量減少制冷設(shè)備、供配電設(shè)備、照明設(shè)備的能耗，以降低PUE 值，達(dá)到節(jié)能的效果。

2 數(shù)據(jù)中心設(shè)計(jì)過程中面臨的節(jié)能挑戰(zhàn)

2.1 布局和設(shè)備布置不合理

數(shù)據(jù)中心空間布局是數(shù)據(jù)中心設(shè)計(jì)的核心，在前期規(guī)劃設(shè)計(jì)階段既要確保數(shù)據(jù)中心的物理安全，又要合理利用數(shù)據(jù)中心在建筑中的位置和內(nèi)部空間布局，以減少能源浪費(fèi)。例如，數(shù)據(jù)中心靠外墻或位于建筑南側(cè)陽光充足之處，會(huì)造成額外的能耗支出[4]。

2.2 傳統(tǒng)制冷方式制冷效率低

數(shù)據(jù)中心內(nèi)的機(jī)柜通常采用統(tǒng)一朝向布置，容易出現(xiàn)級(jí)聯(lián)加熱現(xiàn)象，導(dǎo)致冷熱不均。這種冷熱不均現(xiàn)象很容易引發(fā)局部過熱，進(jìn)而導(dǎo)致設(shè)備宕機(jī)，并造成能源的浪費(fèi)。

2.3 電能傳輸損耗大

供配電系統(tǒng)在為設(shè)備提供所需電源的同時(shí)，其設(shè)備與傳輸電纜在工作時(shí)也會(huì)產(chǎn)生相應(yīng)的電能損耗。雖然這部分電能損耗在整個(gè)數(shù)據(jù)中心的總能耗中所占比例不大，但也不能忽視。因此，在設(shè)計(jì)數(shù)據(jù)中心時(shí)，需要采取相應(yīng)的措施降低電能損耗。

2.4 管理效率低、運(yùn)維體驗(yàn)差

傳統(tǒng)數(shù)據(jù)中心存在監(jiān)控與管理脫節(jié)的問題，監(jiān)控集成度較低，部分?jǐn)?shù)據(jù)中心甚至沒有監(jiān)控，因此不能根據(jù)監(jiān)控狀態(tài)對(duì)設(shè)備進(jìn)行及時(shí)有效的運(yùn)維管理。一旦出現(xiàn)故障，難以迅速定位故障，導(dǎo)致設(shè)備帶故障運(yùn)行，產(chǎn)生部分能耗。此外，故障的解除通常需要人工進(jìn)行干預(yù)，無法實(shí)現(xiàn)自動(dòng)管理，運(yùn)維體驗(yàn)感差。

3 數(shù)據(jù)中心中的節(jié)能措施

3.1 規(guī)劃選址的節(jié)能設(shè)計(jì)

在規(guī)劃選址階段，需要在建筑物內(nèi)選擇合適的數(shù)據(jù)中心安裝地址。最佳方案是將數(shù)據(jù)中心及其配套設(shè)施設(shè)置在建筑物的較低層，這里保溫效果好，樓板荷載也更容易滿足要求。同時(shí)，要確保供電容易且排布線路短，并避開電磁干擾、水源和噪聲源。主機(jī)房應(yīng)盡量利用大空間、大跨度結(jié)構(gòu)柱的區(qū)域，以提高設(shè)備擺放的利用率。此外，設(shè)備布置要緊湊合理，提前規(guī)劃好設(shè)備走線，以提高設(shè)備的利用率。

需要注意的是，為避免太陽直射導(dǎo)致空調(diào)資源浪費(fèi)，無人值守的主機(jī)房不能設(shè)置在建筑內(nèi)日照直射的區(qū)域[5]。而在有人值守的區(qū)域，應(yīng)充分利用自然光、窗戶自然通風(fēng)等天然優(yōu)勢，以降低照明、空調(diào)通風(fēng)等能源損耗。

3.2 機(jī)房布局的節(jié)能設(shè)計(jì)

傳統(tǒng)的數(shù)據(jù)機(jī)房是將IT 機(jī)柜、不間斷電源（Uninterruptable Power Supply，UPS）蓄電池、制冷空調(diào)分房間設(shè)置。后來逐漸演化為給IT 機(jī)柜增設(shè)封閉通道門，以形成冷熱通道。近年來，模塊化數(shù)據(jù)中心逐漸流行，主要分為2 種類型，一種是行級(jí)空調(diào)封閉在微模塊內(nèi)，另一種是行級(jí)空調(diào)和模塊化UPS 均封閉在微模塊內(nèi)。通過改變數(shù)據(jù)機(jī)房的布局，機(jī)房的PUE 值從2.0 逐漸降低至1.25，節(jié)能效果得到顯著提升。

微模塊數(shù)據(jù)中心改變了傳統(tǒng)數(shù)據(jù)中心的部署模式，其集成了機(jī)柜、精密空調(diào)、UPS、蓄電池、消防系統(tǒng)以及動(dòng)環(huán)監(jiān)控系統(tǒng)等，能夠顯著提高運(yùn)營效率[6]。與傳統(tǒng)建設(shè)模式相比，模塊化數(shù)據(jù)中心的建設(shè)周期縮短了50%以上。其模塊化的結(jié)構(gòu)使分期部署變得更為便捷，無須一次性完成全部投資，因此降低了30%的初始投資。同時(shí)，模塊化數(shù)據(jù)中心采用密封通道、行級(jí)制冷空調(diào)、高效UPS等技術(shù)，能夠顯著降低PUE值。此外，該類數(shù)據(jù)中心還配置動(dòng)環(huán)監(jiān)控智能運(yùn)維管理系統(tǒng)，實(shí)時(shí)監(jiān)測設(shè)備狀態(tài)并進(jìn)行反向控制，能夠有效降低人工維護(hù)成本。

3.3 制冷方式的節(jié)能設(shè)計(jì)

數(shù)據(jù)中心是耗能大戶，其空調(diào)能耗占數(shù)據(jù)中心總能耗的40%。而空調(diào)系統(tǒng)的制冷效果與所處環(huán)境關(guān)系密切，室外環(huán)境溫度越高，空調(diào)的制冷效果越差。因此，大型數(shù)據(jù)中心的空調(diào)系統(tǒng)的制冷量通常基于夏季最熱時(shí)的條件進(jìn)行設(shè)計(jì)，導(dǎo)致在全年絕大部分時(shí)間段內(nèi)，空調(diào)系統(tǒng)都處于負(fù)荷不飽和的狀態(tài)。為降低數(shù)據(jù)中心的能耗，在設(shè)計(jì)空調(diào)系統(tǒng)時(shí)，可以考慮采用變頻空調(diào)，即在冬季時(shí)關(guān)停一部分機(jī)組，利用室外自然冷氣進(jìn)行降溫，以降低數(shù)據(jù)中心能耗。

傳統(tǒng)的數(shù)據(jù)中心多采用風(fēng)冷技術(shù)，在設(shè)計(jì)數(shù)據(jù)中心空調(diào)時(shí)，需結(jié)合機(jī)房的布局來選定合適的安裝位置。在機(jī)房設(shè)備布置時(shí)，通常采用面對(duì)面或背靠背的布置方式，將機(jī)房內(nèi)部劃分為冷通道和熱通道，并對(duì)2 個(gè)通道進(jìn)行物理分隔，以加強(qiáng)冷卻效果，減少空調(diào)運(yùn)行費(fèi)用。此外，為實(shí)現(xiàn)更高的制冷效率，一般要求制冷設(shè)備緊靠熱源，并采取行間空調(diào)的方式，快速冷卻機(jī)房內(nèi)的散熱設(shè)備，以達(dá)到快速降溫的效果。

在中低密度的數(shù)據(jù)中心，可利用地板下送風(fēng)方式，將空調(diào)送風(fēng)口布置于冷通道下方，對(duì)服務(wù)器進(jìn)行冷卻[7]。在高密度的數(shù)據(jù)中心，采用地板下送風(fēng)的同時(shí)增設(shè)獨(dú)立冷源的冷卻空調(diào)，并在冷通道上部或機(jī)柜頂部設(shè)置空調(diào)末端，回風(fēng)口設(shè)置在熱通道的上部或機(jī)架內(nèi)部，直接對(duì)熱設(shè)備進(jìn)行降溫冷卻。

模塊化數(shù)據(jù)中心整體規(guī)劃布局如圖1 所示，即將模塊化行級(jí)空調(diào)布置成對(duì)吹和錯(cuò)吹2 種形式，利用計(jì)算流體動(dòng)力學(xué)（Computational Fluid Dynamics，CFD）流線仿真技術(shù)模擬制冷效果。空調(diào)對(duì)吹CFD仿真結(jié)果如圖2 所示，氣流分布比較均勻。空調(diào)錯(cuò)吹CFD 仿真結(jié)果如圖3 所示，進(jìn)入機(jī)柜的氣流不均勻。在空調(diào)出風(fēng)方向?qū)?yīng)的機(jī)柜流量明顯較大，容易形成氣流短路。氣流短路會(huì)使其他機(jī)柜的氣流量不足，導(dǎo)致?lián)Q熱不充分，因此需要更大制冷量的空調(diào)來滿足制冷需求。這不僅會(huì)造成能耗的浪費(fèi)，且錯(cuò)吹的布置方式會(huì)影響設(shè)備的安全運(yùn)行。

圖1 模塊化數(shù)據(jù)中心整體規(guī)劃布局

圖2 空調(diào)對(duì)吹CFD 仿真結(jié)果

圖3 空調(diào)錯(cuò)吹CFD 仿真結(jié)果

在超高密度數(shù)據(jù)機(jī)房中，可采用直接冷卻機(jī)架，將冷媒管設(shè)置在抗靜電地板下方，以連接機(jī)柜內(nèi)空氣，并控制機(jī)架內(nèi)的空調(diào)風(fēng)扇的轉(zhuǎn)速和冷媒介質(zhì)的流量，以達(dá)到控制制冷效果的目的。

隨著5G、云計(jì)算、大數(shù)據(jù)以及AI 等技術(shù)的發(fā)展，服務(wù)器的運(yùn)算量越來越大，計(jì)算效率越來越高，導(dǎo)致數(shù)據(jù)中心的功率密度增加，對(duì)制冷設(shè)備和制冷技術(shù)提出了更高的要求。傳統(tǒng)的風(fēng)冷技術(shù)在應(yīng)對(duì)高性能服務(wù)器時(shí)，散熱效率降低，無法滿足散熱需求。而液冷技術(shù)具有低能耗、高散熱、低噪聲的特點(diǎn)，逐漸應(yīng)用于服務(wù)器的冷卻。液冷技術(shù)用液體代替空氣，帶走中央處理器（Central Processing Unit，CPU）、內(nèi)存等IT設(shè)備的熱量，對(duì)服務(wù)器進(jìn)行冷卻降溫。常見的服務(wù)器液冷方式及其特點(diǎn)如表1 所示[8]。

表1 常見的服務(wù)器液冷實(shí)現(xiàn)方式及其特點(diǎn)

3.4 供配電系統(tǒng)的節(jié)能設(shè)計(jì)

在設(shè)計(jì)數(shù)據(jù)中心的供配電系統(tǒng)時(shí)，需要重點(diǎn)考慮的節(jié)能設(shè)備是UPS 相關(guān)的電源。例如，采用傳統(tǒng)UPS 電源的能效僅有85%，而采用動(dòng)態(tài)UPS 的平均能效可達(dá)96%～98%。配置蓄電池不僅可以有效降低UPS 電源轉(zhuǎn)化過程中的能源損耗，還能提高UPS系統(tǒng)的可靠性[9]。

傳統(tǒng)的數(shù)據(jù)中心多利用配電列頭柜為每列IT 機(jī)柜提供1 根電纜進(jìn)行配電。由于列頭柜需要占用1 個(gè)機(jī)柜的空間，且電纜數(shù)量多、長度長，中間能量損耗較大。因此，可以采用智能小母線的方式，即利用1根母線為所有機(jī)柜進(jìn)行配電。通過取消列頭柜來增加機(jī)架數(shù)量，提高機(jī)房利用率，并采用模塊化設(shè)計(jì)使插口和插接箱能夠靈活配電，隨取隨用。雖然這種方式會(huì)增加電纜成本，但能夠縮短安裝工期，減少人工成本，并降低接線的差錯(cuò)率。在后期運(yùn)維時(shí)，線路檢查變得更簡單，優(yōu)化了機(jī)房的外觀和運(yùn)行環(huán)境。

在設(shè)計(jì)數(shù)據(jù)中心配電時(shí)，應(yīng)合理規(guī)劃配電設(shè)備的位置，使變配電室配電柜、后備發(fā)電機(jī)、各級(jí)配電箱、UPS 系統(tǒng)、蓄電池以及配電柜等位于同一流線，減少相互之間的反復(fù)連接，縮短供電線路，以降低電能傳輸過程中的損耗。

3.5 照明系統(tǒng)的節(jié)能設(shè)計(jì)

在設(shè)計(jì)照明系統(tǒng)時(shí)，應(yīng)嚴(yán)格按照相關(guān)規(guī)范的照度要求，合理設(shè)計(jì)機(jī)房不同區(qū)域的照度[10]。以機(jī)房內(nèi)部照明設(shè)計(jì)為例，主機(jī)房的照度應(yīng)控制在500 Lux以上，機(jī)房輔助區(qū)域的照度也應(yīng)大于300 Lux。在滿足機(jī)房照度的同時(shí)，采用節(jié)能燈具控制機(jī)房區(qū)域照明的照明功率密度（Lighting Power Density，LPD）值，應(yīng)將主機(jī)房的LPD 值控制在15 W/m2，輔助區(qū)域的LPD 值控制在9 W/m2。

3.6 運(yùn)維管控系統(tǒng)的節(jié)能設(shè)計(jì)

傳統(tǒng)數(shù)據(jù)機(jī)房通常不會(huì)對(duì)空調(diào)、配電等設(shè)備進(jìn)行監(jiān)控，這些設(shè)備在設(shè)置好后會(huì)按照設(shè)定值持續(xù)運(yùn)行。當(dāng)機(jī)房環(huán)境發(fā)生變化時(shí)，設(shè)備的運(yùn)行狀態(tài)并不會(huì)隨著環(huán)境的變化而做出相應(yīng)的調(diào)整，因此會(huì)出現(xiàn)過度制冷的情況，造成不必要的能耗浪費(fèi)。

動(dòng)態(tài)環(huán)境監(jiān)控系統(tǒng)由現(xiàn)場環(huán)境采集設(shè)備、傳感器、控制設(shè)備、傳輸設(shè)備及管理平臺(tái)組成，能夠采集機(jī)房環(huán)境、空調(diào)、UPS、蓄電池以及配電設(shè)備的狀態(tài)數(shù)據(jù)，并將其傳輸至運(yùn)維辦公室的管理平臺(tái)[11]。平臺(tái)會(huì)根據(jù)機(jī)房的負(fù)荷運(yùn)行狀態(tài)，動(dòng)態(tài)調(diào)整用電設(shè)備的供電和空調(diào)制冷量，確保設(shè)備穩(wěn)定可靠運(yùn)行，同時(shí)以最低的能耗獲得最優(yōu)的PUE 值。在夜間，由于室外溫度降低，管理平臺(tái)會(huì)匯總各項(xiàng)狀態(tài)數(shù)據(jù)，對(duì)部分供電設(shè)備、制冷空調(diào)和房間照明設(shè)備進(jìn)行斷電，以降低用電能耗，延長設(shè)備使用壽命。此外，平臺(tái)還具備在線運(yùn)維功能，可以監(jiān)控機(jī)房環(huán)境、動(dòng)力配電設(shè)備、UPS 蓄電池、安防系統(tǒng)、消防系統(tǒng)及IT 設(shè)備的狀態(tài)，實(shí)現(xiàn)本地或遠(yuǎn)程的可視化管理，從而提高運(yùn)維管理的實(shí)用性和便利性。

4 結(jié) 論

隨著大數(shù)據(jù)時(shí)代的到來，對(duì)數(shù)據(jù)運(yùn)算基礎(chǔ)設(shè)施的需求急劇增長，業(yè)務(wù)量的突增催生了高計(jì)算、高存儲(chǔ)密度的數(shù)據(jù)中心。數(shù)據(jù)中心的能耗持續(xù)攀升，給節(jié)能工作帶來了壓力，因此在建設(shè)數(shù)據(jù)中心的過程中要降低PUE 值。文章重點(diǎn)研究數(shù)據(jù)中心能耗的組成，并分析能耗產(chǎn)生的原因。同時(shí)，從規(guī)劃選址、機(jī)房布局、制冷方式、供配電系統(tǒng)、照明系統(tǒng)以及運(yùn)維管理等方面，提出了針對(duì)性的節(jié)能措施，以降低PUE 值，為后續(xù)數(shù)據(jù)中心的設(shè)計(jì)提供借鑒。