模塊化DC艙在老舊數(shù)據(jù)中心改造項(xiàng)目中的應(yīng)用研究

楊子靖，林武雋，張 淵，劉永彬

（中國(guó)電信股份有限公司北京分公司，北京 100032）

0 引 言

近日，北京市經(jīng)信局正式發(fā)布《北京市數(shù)據(jù)中心統(tǒng)籌發(fā)展實(shí)施方案（2021-2023年）》。今后3年，北京將按照“四個(gè)一批”總體思路，以集約化、綠色化、智能化為目標(biāo)，打造世界領(lǐng)先的高端數(shù)據(jù)中心發(fā)展集群。方案要求，積極推進(jìn)綠色數(shù)據(jù)中心建設(shè)。強(qiáng)化綠色設(shè)計(jì)，鼓勵(lì)采用氫能源、液冷、分布式供電、模塊化機(jī)房等高效系統(tǒng)設(shè)計(jì)方案，實(shí)現(xiàn)節(jié)能、節(jié)水、節(jié)地、節(jié)材和環(huán)境保護(hù)[1]。

作為方案中推薦的綠色技術(shù)產(chǎn)品，如何科學(xué)合理地選擇模塊化機(jī)房方案，實(shí)現(xiàn)數(shù)據(jù)中心的綠色建設(shè)，廣受關(guān)注。本文針對(duì)老舊數(shù)據(jù)中心機(jī)房改造項(xiàng)目中使用的模塊化DC艙建設(shè)方案進(jìn)行分析，為類似項(xiàng)目提供參考。

1 模塊化DC艙介紹

在中國(guó)電信企業(yè)標(biāo)準(zhǔn)《中國(guó)電信模塊化DC艙技術(shù)要求》中定義模塊化DC艙是按照機(jī)房條件和業(yè)務(wù)需求定制的，由網(wǎng)絡(luò)機(jī)柜、配電系統(tǒng)、監(jiān)控系統(tǒng)、供電系統(tǒng)（可選）、空調(diào)系統(tǒng)（可選）以及綜合布線、消安防系統(tǒng)等輔助設(shè)施組成的封閉冷（熱）通道的IT設(shè)備艙。模塊化DC艙為艙內(nèi)各類通信網(wǎng)絡(luò)設(shè)備提供高質(zhì)量的供電、溫度和濕度環(huán)境保障，如圖1所示。

圖1 典型DC艙結(jié)構(gòu)

一般來(lái)說(shuō)，模塊化DC艙多采用密閉冷通道設(shè)計(jì)，冷熱氣流隔離，防止冷熱氣流組織混合，形成良好的氣流組織，從而提高機(jī)房制冷效果。模塊化DC艙供冷方式靈活，除了可以采用機(jī)房級(jí)精密空調(diào)，還可采用列間空調(diào)，實(shí)現(xiàn)近端制冷，大大節(jié)約能源[2]。

相對(duì)于傳統(tǒng)數(shù)據(jù)中心建設(shè)，模塊化DC艙采用模塊化、標(biāo)準(zhǔn)化和高整合設(shè)計(jì)，使得整個(gè)系統(tǒng)穩(wěn)定度高。艙內(nèi)各子系統(tǒng)、組件均可根據(jù)設(shè)計(jì)目標(biāo)批量生產(chǎn)、調(diào)試，現(xiàn)場(chǎng)快速組裝后即可投入使用。傳統(tǒng)數(shù)據(jù)中心實(shí)施階段需要7～8月，而采用模塊化DC艙2～3個(gè)月即可建設(shè)完成。

模塊化DC艙之間極少或者沒有物理關(guān)聯(lián)，可實(shí)現(xiàn)大規(guī)模數(shù)據(jù)中心的模塊化分步部署和按需建設(shè)，顯著降低了數(shù)據(jù)中心在使用壽命期間的成本，同時(shí)降低運(yùn)營(yíng)壓力[3]。

另外，模塊化DC艙一般配置有智能管理系統(tǒng)，實(shí)現(xiàn)DC艙內(nèi)多層級(jí)、精細(xì)化的安全和能耗管理，通過(guò)多種報(bào)表精確定位故障點(diǎn)以及能源使用情況。同時(shí)還可以制定設(shè)備的日常維護(hù)計(jì)劃，努力實(shí)現(xiàn)主動(dòng)預(yù)警，同時(shí)可通過(guò)與DCIM等系統(tǒng)的對(duì)接，構(gòu)建最佳的設(shè)備維護(hù)管理功能。

2 機(jī)房情況

2.1 機(jī)房現(xiàn)狀

北京電信某數(shù)據(jù)中心為全國(guó)較早建設(shè)的大型數(shù)據(jù)中心，建筑面積約20 000㎡，共32間IDC機(jī)房和3間網(wǎng)絡(luò)，可裝機(jī)架超過(guò)4 500架。該數(shù)據(jù)中心利用原有廠房建設(shè)，已經(jīng)開通運(yùn)行超過(guò)15年。現(xiàn)有6路10 kV高壓外市電，總?cè)萘繛?0 800 kVA，制冷系統(tǒng)主要采用風(fēng)冷精密空調(diào)系統(tǒng)，部分機(jī)房采用水冷精密空調(diào)制冷。

2.2 存在問(wèn)題

該數(shù)據(jù)中心由于建設(shè)時(shí)間早，存在設(shè)備、管線老舊，氣流組織混亂等問(wèn)題，造成能耗利用效率低下，實(shí)際使用空調(diào)制冷能力遠(yuǎn)大于計(jì)算冷負(fù)荷[4]。同時(shí)機(jī)房現(xiàn)場(chǎng)條件復(fù)雜，存在大量托盤式機(jī)架，機(jī)房?jī)?nèi)冷凍水機(jī)房空調(diào)、風(fēng)冷機(jī)房空調(diào)并存，是較難改造的老舊大型數(shù)據(jù)中心的典型代表，如圖2所示。

圖2 改造前機(jī)房?jī)?nèi)部

目前主要存在的問(wèn)題如下文所述。

（1）機(jī)架資源閑置：機(jī)架設(shè)備老舊，機(jī)房整體環(huán)境較差，部分機(jī)架設(shè)計(jì)容量?jī)H為10 A，無(wú)法適應(yīng)業(yè)務(wù)發(fā)展和新客戶需求，機(jī)架利用率為61.63%。

（2）空調(diào)設(shè)備容量配置不合理：末端空調(diào)設(shè)備總冷量冗余過(guò)大，部分熱量集中區(qū)域空調(diào)冷量不足，末端空調(diào)制冷效率低。室外機(jī)平臺(tái)和空調(diào)槽道已基本占滿，多數(shù)室外機(jī)分布于樓側(cè)，維護(hù)難度大，無(wú)新增擴(kuò)容空調(diào)室外機(jī)擺放位置。

（3）氣流組織混亂：機(jī)房?jī)?nèi)氣流組織混亂、送回風(fēng)不平衡；風(fēng)冷精密空調(diào)室外機(jī)過(guò)度集中，散熱氣流組織不暢。

3 機(jī)房建設(shè)方案及分析

為盤活該數(shù)據(jù)中心資源，增加公司IDC收入，按照市場(chǎng)需求并結(jié)合公司中長(zhǎng)期規(guī)劃，采用模塊化DC艙結(jié)合集中式冷凝器等相關(guān)技術(shù)對(duì)該數(shù)據(jù)中心閑置的IDC機(jī)房和網(wǎng)絡(luò)機(jī)房進(jìn)行整體改造。

3.1 機(jī)房建設(shè)方案

本次改造在保證機(jī)房安全的前提下,綜合評(píng)估論證改造需求和改造成本后，確定具體方案如下文所述。

（1）用模塊化DC艙的方式對(duì)現(xiàn)有7個(gè)IDC機(jī)房進(jìn)行改造，共建設(shè)32套雙排模塊化DC艙。將原有10 A機(jī)柜改造成20 A及25 A機(jī)柜，改造后共設(shè)計(jì)機(jī)柜數(shù)量為751個(gè)，機(jī)柜總耗電量為3 380.3 kW，空調(diào)數(shù)量為135臺(tái)（新增列間空調(diào)131臺(tái), 利舊4臺(tái)水冷空調(diào)），空調(diào)耗電量為1 521.14 kW，總耗電量為4 901.4 kW。其2-3機(jī)房的設(shè)計(jì)圖如圖3所示。

圖3 2-3機(jī)房模塊化DC艙設(shè)計(jì)圖紙

（2）模塊化DC艙采用前送風(fēng)背回風(fēng)的方式封閉冷通道，實(shí)現(xiàn)冷熱氣流隔離，防止冷熱氣流組織混合，并且采用列間空調(diào)，近端制冷按需供冷，避免了氣流遠(yuǎn)距離送風(fēng)中的損耗，提升制冷效率，如圖4所示。

圖4 模塊化DC艙氣流組織示意

（3）采用集中式冷凝器技術(shù)改造優(yōu)化樓頂室外機(jī)平臺(tái)的C區(qū)、D區(qū)、F區(qū)、G區(qū)，并將部分樓側(cè)的室外機(jī)移至樓頂，騰出來(lái)的空間供列間空調(diào)的室外機(jī)使用，如圖5所示。根據(jù)設(shè)計(jì)圖紙，改造后樓頂平面F區(qū)將足夠容納新增列間空調(diào)的室外機(jī)，同時(shí)C區(qū)、D區(qū)和G區(qū)占地面積將減少50%。

圖5 室外機(jī)改造后樓頂平面設(shè)計(jì)

通過(guò)計(jì)算機(jī)CFD散熱仿真分析，總結(jié)氣流組織及溫度分布規(guī)律，建立了室外機(jī)平臺(tái)氣流組織3D模型進(jìn)而得到集中式冷凝器在平臺(tái)不同位置下的氣流組織及溫度分布情況，從而確定了相對(duì)最優(yōu)的平臺(tái)改造方案。通過(guò)圖6可以看出，進(jìn)風(fēng)環(huán)境溫度為35 ℃，冷凝器排風(fēng)區(qū)域溫度為47 ℃，進(jìn)風(fēng)和排風(fēng)氣流組織良好，沒有出現(xiàn)氣流短路現(xiàn)象，集中式冷凝器布局合理、占地面積小，滿足散熱要求。

圖6 氣流組織模擬

3.2 建設(shè)方案效果測(cè)試分析

在項(xiàng)目改造完成整體驗(yàn)收前，由第三方檢測(cè)機(jī)構(gòu)針對(duì)項(xiàng)目特點(diǎn)，配置滿負(fù)荷的機(jī)架式假負(fù)載，模擬數(shù)據(jù)中心機(jī)房未來(lái)運(yùn)行的情況，按照相關(guān)國(guó)家標(biāo)準(zhǔn)和設(shè)計(jì)要求進(jìn)行全面的驗(yàn)證測(cè)試，以此發(fā)現(xiàn)系統(tǒng)中可能存在的故障和隱患。測(cè)試驗(yàn)證不同于傳統(tǒng)的機(jī)房驗(yàn)收，是模擬數(shù)據(jù)中心真實(shí)帶載運(yùn)行狀況下對(duì)數(shù)中心的功能、性能、壓力等多方面加以測(cè)試驗(yàn)證，預(yù)先暴露可能存在的風(fēng)險(xiǎn)，為以后的運(yùn)行維護(hù)提供較好的基礎(chǔ)[5]。

3.2.1 改造建成完工圖

本次共建設(shè)32套雙排模塊化DC艙，機(jī)架功率密度從2.2 kW提升至4.4 kW和5.5 kW，并根據(jù)需求設(shè)置了少量7 kW機(jī)柜。機(jī)房采用模塊化DC艙技術(shù)改造后，效果如圖7所示。

圖7 模塊化DC艙建成完工

室外機(jī)平臺(tái)改造共涉及11間機(jī)房，涉及改造的空調(diào)室外機(jī)63臺(tái)，替換老舊的空調(diào)內(nèi)機(jī)和新增的空調(diào)內(nèi)機(jī)數(shù)量總計(jì)21臺(tái)，如圖8所示。

圖8 集中式冷凝器改造后的室外機(jī)平臺(tái)D區(qū)

3.2.2 DC艙溫濕度及極限溫升測(cè)試

測(cè)試時(shí)，將溫濕度測(cè)量模塊記錄儀平均分配安裝在模塊化DC艙的冷熱通道內(nèi)（機(jī)房冷通道前、中、后均勻選取3個(gè)機(jī)柜作為測(cè)量點(diǎn)；熱通道均勻布置 3個(gè)記錄儀），按照測(cè)試步驟記錄機(jī)房穩(wěn)定運(yùn)行狀態(tài)下各點(diǎn)位的溫度變化及變化曲線并查看溫度曲線是否正常，根據(jù)設(shè)計(jì)說(shuō)明查看溫度值是否在合格范圍內(nèi)。

以2-3機(jī)房為例，測(cè)試步驟見表1。

表1 測(cè)試方法

改造后，DC艙冷通道的空調(diào)穩(wěn)態(tài)及極限溫升的測(cè)試結(jié)果見圖9。

圖9 冷通道溫濕度及極限溫升測(cè)試結(jié)果

由圖9可見，機(jī)房滿載條件下，DC艙內(nèi)的空調(diào)在設(shè)計(jì)冗余條件下，冷通道溫度滿足設(shè)計(jì)要求（18～27 ℃）冷通道相對(duì)濕度滿足要求（20%～80%），無(wú)局部熱點(diǎn)。所有列間空調(diào)均斷電的極限條件下，冷通道在4 min內(nèi)將由25 ℃上升至30℃。

3.2.3 改造后機(jī)房PUE測(cè)試

根據(jù)第三方測(cè)試結(jié)果，在100%負(fù)載情況下，改造前后機(jī)房PUE變化對(duì)比如表2所示。

由表2可看出,在模塊化DC艙改造后，機(jī)房的PUE水平得到明顯的提升,由改造前的平均值1.614降低為改造后的1.27。

表2 改造前后機(jī)房PUE變化

同時(shí),改造機(jī)房所承載的IT設(shè)備用電將由2 365 kW提升至3 380.3 kW,提升了42.93%，有效支撐了公司業(yè)務(wù)發(fā)展。同時(shí),通過(guò)列間空調(diào)近端制冷，空調(diào)系統(tǒng)的能耗由1 361.34 kW降低至893.09 kW，空調(diào)用電負(fù)荷降低了52.43%,顯著地提高了能源利用效率。

4 結(jié) 論

針對(duì)當(dāng)前通信運(yùn)營(yíng)商老舊數(shù)據(jù)中心機(jī)樓面臨資源無(wú)法有效利用、能效水平低下等困局。本文分析了北京電信某老舊數(shù)據(jù)中心存在的問(wèn)題，介紹了該數(shù)據(jù)中心通過(guò)模塊化DC艙和集中式冷凝器等技術(shù)的綜合應(yīng)用，提升了機(jī)房的基礎(chǔ)設(shè)施水平，使機(jī)樓資源得以盤活，并實(shí)現(xiàn)綠色高效和節(jié)能減排。

目前，北京電信在現(xiàn)有技術(shù)應(yīng)用的基礎(chǔ)上做了進(jìn)一步的推廣，針對(duì)尚具有節(jié)能潛力的局所進(jìn)行現(xiàn)場(chǎng)勘查論證，同樣以節(jié)能技術(shù)創(chuàng)新的模式進(jìn)行節(jié)能減排，在降低公司運(yùn)營(yíng)成本的同時(shí)，積極響應(yīng)國(guó)家“碳中和”的號(hào)召，支撐公司的高質(zhì)量發(fā)展。