張春朋 岳 晨 楊曉平
1.中國移動通信集團(tuán)江蘇有限公司南京分公司;2.南京航空航天大學(xué);3.中數(shù)智慧(北京)信息技術(shù)研究院
對于數(shù)據(jù)中心而言,空調(diào)系統(tǒng)是為降低服務(wù)器CPU溫度的必配系統(tǒng),若空調(diào)系統(tǒng)供冷中斷,則數(shù)據(jù)機(jī)房送風(fēng)溫度將急劇升高,造成服務(wù)器高溫宕機(jī),影響業(yè)務(wù)安全。除此之外,根據(jù)Uptime報告,全球大型數(shù)據(jù)中心年均PUE為1.59,暖通能耗占比為30%。因此,空調(diào)系統(tǒng)能耗是制約數(shù)據(jù)中心PUE值的關(guān)鍵因素。
常見的數(shù)據(jù)中心服務(wù)器CPU冷卻形式多為風(fēng)冷形式,風(fēng)冷服務(wù)器的優(yōu)點是散熱器與基板(CPU)的裝配具有標(biāo)準(zhǔn)化特征,雖然散熱器的種類和形式各異,但在組裝方法上基本可以做到標(biāo)準(zhǔn)化和規(guī)范化,有利于大規(guī)模生產(chǎn)。因此,為風(fēng)冷服務(wù)器供冷的機(jī)房空調(diào)對數(shù)據(jù)中心能耗的影響逐漸受到重視。
常見的水冷空調(diào)末端布置形式主要有:房間級地板下送風(fēng)、行列間冷/熱通道封閉、熱管背板空調(diào)。對于風(fēng)冷型服務(wù)器而言,不同的空調(diào)末端布置形式不僅影響了服務(wù)器的散熱效果,也對空調(diào)能效產(chǎn)生了較大影響。
部分?jǐn)?shù)據(jù)中心使用房間級地板下送風(fēng)空調(diào),房間級地板下送風(fēng)空調(diào)一般集中布置在空調(diào)間內(nèi),通過架空地板形成靜壓箱,冷空氣通過架空地板上吹后,經(jīng)過服務(wù)器將CPU降溫后回到空調(diào)回風(fēng)口。
房間級下送風(fēng)空調(diào)因輸送距離較長,且在輸送風(fēng)路上個點靜壓不同,呈先小后大再小的形勢(如圖1所示),因此容易造成機(jī)房局部熱點的產(chǎn)生。因此,在使用過程中常將房間級空調(diào)的風(fēng)機(jī)轉(zhuǎn)速調(diào)大,溫度調(diào)低,減少局部熱點的產(chǎn)生,往往造成能耗浪費。

圖1 地板下靜壓分布示意圖
房間級地板下送風(fēng)空調(diào)氣流組織受架空地板高度影響。未做封閉冷熱通道的回風(fēng)會造成冷熱風(fēng)混合,影響機(jī)房氣流組織。因此,對于房間級地板下送風(fēng)空調(diào)而言,在規(guī)劃建設(shè)階段,建議地板高度不低于600mm,且送風(fēng)口應(yīng)選擇為可調(diào)地板,在后期機(jī)房投運后可根據(jù)實際機(jī)柜負(fù)載情況調(diào)整地板開度進(jìn)行送風(fēng)量調(diào)整,保證各點送風(fēng)均勻。
新建的數(shù)據(jù)機(jī)房大多采用行列間空調(diào)冷通道封閉的形式。與房間級下送風(fēng)空調(diào)相比,采用行列間空調(diào)冷通道封閉的形式可以使冷量更加集中,氣流組織更加均勻,從而獲得較高的空調(diào)能效比。
對于行列間空調(diào),機(jī)柜的布局方式對氣流組織有較大影響,近年也有很多專家通過CFD模擬對機(jī)柜的布置形式對氣流組織的影響做了研究。如邱玉英等對比了列間空調(diào)冷通道未封閉和冷通道封閉的氣流組織,發(fā)現(xiàn)冷通道封閉后氣流組織更均勻,冷通道溫度相對于未封閉前有所下降。除列間空調(diào)的布置形式對氣流組織有所影響外,在空調(diào)投運后,空調(diào)設(shè)備本身的設(shè)置參數(shù)也極大影響了機(jī)房的空調(diào)能耗和機(jī)房故障,經(jīng)對機(jī)房封閉冷通道列間空調(diào)參數(shù)調(diào)整前后對比發(fā)現(xiàn),有效的參數(shù)調(diào)整可以使冷通道氣流組織更加均勻,大幅度降低機(jī)房故障率,并且有效降低空調(diào)能耗。因此在建設(shè)期應(yīng)合理選取列間空調(diào)類型,選擇可具備送回風(fēng)溫度分開設(shè)立功能的列間空調(diào),并且在設(shè)計階段應(yīng)采用CFD模擬等手段合理布置列間空調(diào)位置,使機(jī)房氣流組織更加均勻,便于后期運維階段進(jìn)行節(jié)能參數(shù)調(diào)整。
熱管背板空調(diào)是一種機(jī)柜級的冷卻方案,利用熱管高密度換熱的原理,將熱管蒸發(fā)器安裝在機(jī)柜排風(fēng)側(cè),熱管背板蒸發(fā)器的冷媒吸收機(jī)柜內(nèi)IT設(shè)備散發(fā)的熱量;冷媒吸熱后氣化,氣化的冷媒依靠壓差經(jīng)連接管路流向室外熱管中間換熱器;冷媒蒸氣在熱管中間換熱器內(nèi)被來自冷源系統(tǒng)的冷媒冷卻,由氣態(tài)冷凝為液態(tài);液態(tài)制冷劑借助重力回流至室內(nèi)末端中的熱管換熱器中,完成冷量輸送循環(huán)。
熱管背板空調(diào)安裝于每臺機(jī)架的排風(fēng)側(cè),根據(jù)機(jī)房實際需求實現(xiàn)機(jī)柜按需供冷,因此單機(jī)柜功率量大,機(jī)房內(nèi)無局部熱點,空間利用率高,節(jié)能效果顯著。但其初始投資較大,空調(diào)設(shè)備需根據(jù)機(jī)柜尺寸定制。但是,對于多臺并聯(lián)的重力式熱管背板空調(diào),在規(guī)劃建設(shè)過程中應(yīng)注意機(jī)柜并聯(lián)數(shù)量不宜過多,否則在后期機(jī)柜負(fù)載率較高時,可能會導(dǎo)致制冷劑分配不均,造成布局熱點的產(chǎn)生。
通過采集數(shù)據(jù)中心地板下送風(fēng)空調(diào)、列間空調(diào)(冷通道封閉)及熱管背板空調(diào)機(jī)房IT設(shè)備運行耗電量及機(jī)房空調(diào)運行耗電量對比發(fā)現(xiàn),地板下送風(fēng)空調(diào)平均COP(COP=機(jī)房IT設(shè)備耗電量/空調(diào)末端耗電量)最低,為9.36。列間空調(diào)(冷通道封閉)平均COP為31.84,熱管背板空調(diào)平均COP最高,為33.29。風(fēng)冷服務(wù)器機(jī)房空調(diào)能效分析表見表1。

表1 風(fēng)機(jī)服務(wù)器機(jī)房空調(diào)運行能效表

空調(diào)形式 機(jī)房編號 3月IT設(shè)備總電量/kWh 3月機(jī)房空調(diào)總電量/kWh機(jī)房IT設(shè)備負(fù)載率/%末端COP=IT設(shè)備耗電量/空調(diào)末端耗電量列間空調(diào)(冷通道封閉)4-4 428744.97 12537.95 47% 34.2 4-2 327977.86 9872.42 34% 33.22 4-1 505599.31 16128.27 53% 31.35 4-3 511726.62 17890.10 53% 28.6熱管背板s4-3 410335.34 10723.40 28% 38.27 s2-3 554152.14 15570.74 38% 35.59 s2-4 493253.54 15460.90 34% 31.9 s4-4 441201.38 16110.20 30% 27.39
以南京移動及江蘇廣電某數(shù)據(jù)中心房間級空調(diào)地板下送風(fēng)無冷熱通道封閉的機(jī)房為測試對象,在空調(diào)控制參數(shù)為回風(fēng)22℃時,對包間IT設(shè)備運行耗電量及空調(diào)末端耗電量數(shù)據(jù)進(jìn)行一個月的采集,對測試數(shù)據(jù)進(jìn)行計算發(fā)現(xiàn)此種機(jī)房送風(fēng)模式空調(diào)末端平均COP僅為9.36。機(jī)房布置示意圖見圖2,測試數(shù)據(jù)見表1。究其原因是房間級空調(diào)送風(fēng)距離過長,且冷熱空氣因無封閉通道隔離產(chǎn)生混流現(xiàn)象。因此,為避免機(jī)房冷通道局部熱點的產(chǎn)生,房間級空調(diào)風(fēng)機(jī)轉(zhuǎn)速會設(shè)置偏大,機(jī)房溫度設(shè)置相對較低。而對于水冷空調(diào)末端而言,空調(diào)末端的耗能主要集中在空調(diào)風(fēng)機(jī)。因此,較高的EC風(fēng)機(jī)轉(zhuǎn)速導(dǎo)致了空調(diào)末端能耗的增大,從而降低了地板下送風(fēng)空調(diào)的能效。

圖2 江蘇廣電某數(shù)據(jù)中心水冷房間級地板下送風(fēng)空調(diào)機(jī)房布置示意圖
對南京移動某數(shù)據(jù)中心B棟機(jī)房樓冷通道封閉水冷列間空調(diào)機(jī)房IT設(shè)備運行耗電量及空調(diào)末端耗電量數(shù)據(jù)進(jìn)行一個月的采集,該數(shù)據(jù)機(jī)樓列間空調(diào)采用交叉布置,機(jī)房列間空調(diào)風(fēng)機(jī)控制為送風(fēng)溫度25℃,水閥控制為送風(fēng)溫度20℃,機(jī)房布置示意圖見圖3。經(jīng)統(tǒng)計發(fā)現(xiàn)該冷通道封閉空調(diào)平均COP為31.84。相對于地板下送風(fēng)的房間級空調(diào)而言,冷通道封閉的列間空調(diào)形式冷量更加集中,輸風(fēng)距離更短,因此能效更高。但列間空調(diào)機(jī)房氣流組織受空調(diào)布置形式、機(jī)柜上架率、盲板封堵情況等因素影響,若設(shè)置不合理將產(chǎn)生微模塊氣流組織雜亂、冷熱通道串流等問題,從而造成部分能源的浪費。如列間空調(diào)呈對角形式分布相對與空調(diào)對立布置氣流組織更雜亂。又如在機(jī)柜上架率較高時,冷通道壓力可能會低于熱通道壓力,造成熱通道內(nèi)高溫空氣經(jīng)過服務(wù)器間縫隙反吹至冷通道造成冷通道局部熱點,從而導(dǎo)致維護(hù)人員需增大空調(diào)送風(fēng)量,保證冷通道正壓,造成空調(diào)能耗增大,導(dǎo)致能源浪費。因此,在建設(shè)規(guī)劃階段應(yīng)合理布置列間空調(diào)位置,并配置相應(yīng)數(shù)量的機(jī)柜盲板,避免后期運行過程中因局部熱點問題導(dǎo)致的能源浪費。

圖3 南京移動某數(shù)據(jù)中心列間空調(diào)機(jī)房布置示意圖
對蘇州移動某數(shù)據(jù)中心熱管背板空調(diào)機(jī)房IT設(shè)備運行耗電量及空調(diào)末端耗電量數(shù)據(jù)進(jìn)行一個月的采集,該數(shù)據(jù)空調(diào)末端布置示意圖見圖4,經(jīng)計算熱管背板空調(diào)平均COP為33.29。經(jīng)現(xiàn)場數(shù)據(jù)采集,部分背板空調(diào)設(shè)置出風(fēng)溫度為24度,實際出風(fēng)溫度為18度,即在熱管背板風(fēng)機(jī)最低轉(zhuǎn)速下(最低轉(zhuǎn)速為20%),冷量供給遠(yuǎn)大于機(jī)房需冷量,這也是在低負(fù)載狀態(tài)下熱管背板空調(diào)僅略高于列間空調(diào)的原因。因此,對未上架的機(jī)柜背板空調(diào)可暫時關(guān)閉,降低空調(diào)運行能耗。熱管背板空調(diào)相對與列間空調(diào)而言,與機(jī)柜一一對應(yīng),熱空氣直接經(jīng)過熱管盤后被降溫,供冷效率最高,幾乎沒有局部熱點,也無需考慮熱空氣串流問題。熱管背板在建設(shè)規(guī)劃階段,應(yīng)注意背板空調(diào)并聯(lián)臺數(shù),若并聯(lián)數(shù)量過多,在機(jī)柜高負(fù)載情況下,可能會因制冷劑蒸發(fā)量差異、沿程阻力、局部阻力等因素的影響,造成制冷劑分配不均,導(dǎo)致局部熱點產(chǎn)生。

圖4 蘇州移動某數(shù)據(jù)中心熱管背板空調(diào)機(jī)房布置示意圖
以一個IT運行功率600kW的機(jī)房包間為例,根據(jù)公式“空調(diào)末端年用電量=IT功率×(1/COP)×365d×24h”,得出房間級空調(diào)年用電量56.15萬kWh,列間空調(diào)冷通道封閉和熱管背板空調(diào)用電量分別為16.51萬kWh、15.79萬kWh,列間空調(diào)冷通道封閉耗電量僅是房間級空調(diào)地板下送風(fēng)耗電量的29.4%;低、中負(fù)載階段,列間空調(diào)能效接近熱管背板空調(diào)。建議在新建數(shù)據(jù)中心優(yōu)先采用列間空調(diào)冷/熱通道封閉或熱管背板的空調(diào)末端供冷形式;對于列間空調(diào),建議優(yōu)先采用空調(diào)對立布置的形式,有利于冷通道氣流組織的均勻分布,給運維階段的空調(diào)參數(shù)調(diào)整提供更大的可操作空間。另外,為降低數(shù)據(jù)中心整體能耗,不僅要注重空調(diào)系統(tǒng)本身能耗,還需要關(guān)注空調(diào)末端送風(fēng)情況對IT設(shè)備運行功率的影響,以期獲得二者之間的最優(yōu)值,從而實現(xiàn)數(shù)據(jù)中心整體節(jié)能。