陳石魯 張小松 趙善國
(1 東南大學能源與環境學院 南京 210096;2 江蘇海事職業技術學院輪機電氣與智能工程學院 南京 211170)
云計算、區塊鏈、5G等信息技術爆發式發展應用,數字化社會信息數據的傳輸速度和數量迅速增長。數據中心為傳遞、計算和存儲數據的IT應用系統提供安全穩定的運行環境,數據需求急劇加大導致數據中心規模和數量日益擴增[1-3]。過去5年全球超大規模數據中心數量增長一倍多;至2022年中期我國在用數據中心機架總規模達590萬標準機架[4]。數據中心擴增帶來嚴重的能耗問題,2020年我國數據中心耗電量突破2 000億kW·h,約占社會總用電量的2.71%[5],非IT設施中制冷系統能耗占比最大,約達38%[6]。單機柜功率密度增加造成單機熱流密度提升,機房散熱要求提高,傳統房間級空調無法有效制冷散熱。因此,數據中心亟需節能高效的制冷系統,面臨兩大挑戰:降低能耗和保障散熱冷卻,即優化冷源系統和末端設備[7]。
蒸發冷卻主要以水為冷卻介質,利用“干空氣能”,通過水蒸發吸熱進行冷卻空氣或水[8-10]。江億等[11-12]開發了間接蒸發冷卻冷水機組,黃翔等[13-15]研究了風側、水側蒸發冷卻技術。目前,風側蒸發冷卻在干燥寒冷地區應用較廣,水側蒸發冷卻由于產生的冷水溫度受氣候條件限制,應用受到制約[16-17]。田振武等[18]實測了干燥地區蒸發冷卻冷水機組性能變化,分析其運行模式和切換條件。郭志成等[19]在新疆地區設計了復合乙二醇的單、雙面進風蒸發冷卻冷水機組,測試結果表明雙面型制冷效果更好。常健佩等[20]實驗測試并對比分析了臥管、立管、板管、露點等間接蒸發冷卻器的效率和性能。E. Sofia等[21]探討了直接蒸發冷卻、間接蒸發冷卻和聯合蒸發冷卻三種蒸發冷卻方式的研究結果。潘振皓等[22]探索蒸發冷卻技術在極端熱濕氣候中具有1.5~6.4 ℃冷卻效益潛力。Xuan Y. M. 等[23]闡述了蒸發冷卻的環境影響和節能潛力,分析了水處理、自動控制策略等與蒸發冷卻實際應用密切相關因素。
熱管背板空調是基于分離式熱管的數據機房制冷設備,緊貼機柜后門安裝,直接冷卻通過機柜的高溫排風,適用于高熱密度的服務器機房[24-26]。羅銘等[27]研究了熱管背板性能受回風溫度、風量的影響,提出可提高正常工作背板風量暫時應對部分背板出現故障的極端情況。陳文婷等[28]分析得到背板換熱量對過熱度和過冷度較敏感,同時受水溫、水量等影響。劉瑩等[29]分析表明熱管背板空調氣流組織最優,能夠提高機房空間利用率。劉再德等[30]對215個機架改造安裝熱管背板測試分析,改造后PUE(電能使用效率,power usage effectiveness)由2.32降至1.6。何其振等[31]得出重力熱管背板空調采用制冷劑液體從下進,吸熱蒸發后制冷劑氣體從上出的方式時,整體的制冷效果更好。
現有文獻主要針對蒸發冷卻技術和熱管背板末端分別進行研究,尚無搭建蒸發冷卻冷源和熱管背板末端的整體數據中心制冷系統研究。本文創新性提出利用間接-直接蒸發冷卻冷水機組耦合熱管背板空調系統應用于高濕度地區數據中心全年不間斷制冷,冷源部分充分利用自然冷源降低能耗,末端貼近熱源優化散熱。首先介紹系統組成和工作原理,然后進行全工況運行策略和性能分析,結合數學模型和實驗測試數據計算系統制冷能力和節能效果,最后通過實驗數據分析影響熱管背板空調性能的相關因素,為數據中心低碳高效制冷設計提供綠色可行方案。
基于蒸發冷卻的熱管背板制冷系統主要分為冷源主機和室內末端部分,如圖1所示。冷水機組設計蒸發冷卻冷凝器,并增加水-水板式換熱器,蒸發冷卻填料塔制取的冷卻水可用于室外溫度較高時開啟壓縮機制冷循環的冷凝器冷卻,也可通過板換預冷或完全冷卻室內末端回水,減少壓縮機運行功率和運行時間。機房內背板末端低溫制冷劑液體從背板底部管道分配進入熱管換熱器銅管,吸收服務器機柜的熱量相變成氣體從頂部管道返回CDU(冷量分配單元,coolant distribution unit),與冷源供給冷水換熱,冷卻為液體依靠重力重復循環。服務器機柜內熱空氣經過熱管背板換熱器被制冷劑冷卻降溫后由背板風機吹出,營造機房內冷環境,冷空氣進入機柜吸熱循環。
蒸發冷卻冷凝器制取冷卻水過程如圖2所示,填料塔進風兩側設空氣-水換熱器和立管間接蒸發預冷器,獲取更低溫度的冷卻水。通過填料塔降溫的冷卻水,大部分用于冷卻冷凝器和板式換熱器,小部分流入空氣-水換熱器預冷室外進風,室外空氣經過換熱器第一次預冷后分開流入立管間接蒸發冷卻器管內濕通道和管外干通道,濕通道內空氣和噴淋水接觸蒸發,間接冷卻干通道空氣。室外空氣第二次預冷后流入填料塔與噴淋水接觸直接蒸發冷卻,噴淋水溫度降低流入填料塔底部循環供水。
GB 50174—2017《數據中心設計規范》[32]要求的機房環境如表1所示,機房內全年24 h制冷,為延長高濕度地區蒸發冷卻利用自然冷源時間,結合冷水機組與熱管背板的制冷特點,本系統設計3組不同冷源供回水溫度研究全工況主機和末端運行可行性和機組性能,分別為10 ℃/16 ℃、15 ℃/21 ℃、20 ℃/26 ℃。

表1 數據中心設計規范要求
對室外空氣進行預冷的蒸發冷卻冷水機組耦合熱管背板空調系統,全工況運行共4種模式,每種模式各關鍵部件開閉情況如表2所示。

表2 運行4種模式的關鍵部件開閉狀態
模式1:直接蒸發冷卻完全自然冷源模式。室外環境溫度很低時,室外空氣直接與填料噴淋水接觸蒸發,制取冷卻水滿足將背板末端回水降溫至要求的供水溫度,壓縮機制冷循環關閉,該模式僅利用低溫室外空氣可提供數據中心機房所需全部冷源。當室外氣溫低于0 ℃時,該模式添加使用乙二醇溶液進行制冷循環,防止冷凍結冰。
模式2:間接-直接蒸發冷卻完全自然冷源模式。室外環境溫度較低時,開啟間接蒸發冷卻器,經過二次預冷的室外空氣與填料噴淋水接觸蒸發制取的冷卻水能夠完全冷卻末端回水達到室內末端換熱要求,壓縮機制冷循環仍關閉,該模式也可利用室外自然冷源提供機房所需全部冷量。
模式3:間接-直接蒸發冷卻部分自然冷源模式。室外環境溫度較高時,開啟空氣-水換熱器和立管間接蒸發冷卻器,經二次預冷的室外空氣與填料噴淋水接觸制取冷卻水不能完全冷卻末端回水至供水溫度,但可以一定程度降低回水溫度,經過預冷的回水流入蒸發器內通過開啟壓縮機制冷循環進一步降溫至供水溫度,壓縮機制冷量減小,功率減小。
模式4:壓縮機機械制冷模式。室外環境溫度很高時,蒸發冷卻冷凝器制備冷卻水溫度等于或高于機房回水溫度,開啟壓縮機制冷循環,冷卻水吸收壓縮機制冷循環中冷凝器散發的熱量。
傳統開式冷卻塔冷水機組廣泛應用于數據中心,開式冷卻塔利用直接蒸發冷卻原理,室外空氣與噴淋水在填料直接接觸,冷卻水冷卻冷凝器高溫高壓制冷劑,完成壓縮機制冷循環。實驗主要測試開式冷卻塔的制冷性能,在焓差實驗室內安裝冷卻塔冷水機組,開啟壓縮機制冷循環模式,測試開式冷卻塔在高濕度地區典型室外工況的制冷效果,圖3所示為提供不同溫度的冷凍水時冷卻塔制取冷卻水的溫度變化。

圖3 不同溫度冷水機組冷卻塔水溫測試
目前數據中心冷卻塔冷水機組供回水溫度設置為7 ℃/12 ℃、10 ℃/16 ℃、15 ℃/21 ℃的工況較普遍。實驗數據表明隨著室外空氣干球溫度從35 ℃逐漸降至11 ℃,相對濕度約為65%,傳統冷卻塔冷卻水的供回水溫度均同步降低。調節壓縮機制冷量不變,冷卻水循環量固定,冷凝溫度從約40 ℃降至約26 ℃,壓縮機運行功率降低。分析測試數據,冷卻水進出水溫差范圍為1.63~2.27 ℃,且冷卻水的供水溫度高于空氣濕球溫度2.13 ℃以上。
使用MATLAB軟件參考相關文獻模型建立蒸發冷卻冷凝器數學模型[33-34],模擬對室外空氣預冷的蒸發冷卻換熱效果,結果如圖4所示。室外空氣先經過空氣-水換熱器,與冷卻水供水換熱預冷,再通過立管間接蒸發冷卻二次預冷。預冷后空氣濕球溫度降低1.06~1.98 ℃,在填料塔與冷卻水回水接觸直接蒸發冷卻,制取冷卻水供水溫度更低,接近室外空氣的濕球溫度。冷卻水供回水平均溫差為4.46 ℃,大于傳統冷卻塔。
蒸發冷卻冷水機組耦合熱管背板空調系統在高濕度地區應用的可行性及能效分析,關鍵在于冷水機組制取冷水的溫度、自然冷源利用時長。蒸發冷卻冷凝器冷卻水的極限溫度是經過預冷后的空氣濕球溫度。室外空氣先通過空氣-水換熱器被冷卻水減焓降溫,然后被立管內空氣和噴淋水間接蒸發冷卻,此時空氣濕度保持不變,干球溫度與濕球溫度均降低。冷卻后的空氣從填料塔底部經過填料吸收水膜表面蒸發的水分子,機組回水從填料塔頂部噴淋,填料表面水分子與空氣接觸,由于溫差存在發生顯熱交換,水蒸氣分壓力差促使發生潛熱交換,回水沿飽和相對濕度曲線降低溫度。
濕球溫度效率通過式(1)計算,表示二次預冷對室外空氣濕球溫度的降低程度[13,35]:
(1)
式中:ηIEC,a為蒸發冷卻冷凝器室外空氣預冷濕球溫度效率;twb,a1為室外空氣的濕球溫度,℃;twb,a2為預冷后空氣的濕球溫度,℃;tdp,a1為室外空氣的露點溫度,℃。
蒸發冷卻冷凝器淋水填料水側冷卻效率表示淋水填料對回水的冷卻效率[13,35],如式(2)所示:
(2)
式中:ηDEC,w為蒸發冷卻冷凝器淋水填料水側冷卻效率;tw,h為冷卻水回水溫度,℃;tw,g為冷卻水供水溫度,℃。
填料塔風側冷卻效率ηDEC,a,表示預冷后室外空氣與噴淋水換熱效率[13,35],如式(3)所示:
(3)
由式(1)和式(3)推出蒸發冷卻冷凝器的冷卻水供水溫度表達式:
(4)
根據建模及實驗測試,依據不同室外空氣參數設定高濕度地區濕球溫度效率為62%,淋水填料水側冷卻效率為80%,當背板末端供回水溫為10 ℃/16 ℃時,板式換熱器處冷卻水供水比末端冷凍水供水低1 ℃,室外濕球溫度低于8.1 ℃,冷水機組運行直接蒸發冷卻完全自然冷源模式,室外氣溫<0 ℃時,使用乙二醇溶液防凍;8.1 ℃<室外濕球溫度≤10.7 ℃時,冷水機組運行模式為間接-直接蒸發冷卻完全自然冷源;10.7 ℃<室外濕球溫度≤16.7 ℃時,機組運行部分自然冷源模式;當室外濕球溫度>16.7 ℃時運行壓縮機制冷模式。當末端供回水溫為15 ℃/21 ℃時,室外濕球溫度≤13.1 ℃,冷水機組運行直接蒸發冷卻完全自然冷源模式;室外濕球溫度≤21.5 ℃時,冷水機組可利用自然冷源。當末端供回水溫為20 ℃/26 ℃時,室外濕球溫度≤18.1 ℃,冷水機組運行直接蒸發冷卻完全自然冷源模式,室外濕球溫度>26.5 ℃,運行壓縮機機械制冷模式。
查找氣象數據集中南京地區典型年份室外氣候數據,分別統計不同供回水溫工況下蒸發冷卻冷水機組在南京數據中心的運行時間,結果如圖5所示。供回水溫度為10 ℃/16 ℃時,全年可利用自然冷源的時間占59.9%,完全自然冷源時間占42.6%;供回水溫度為15 ℃/21 ℃時,全年可利用自然冷源的時間占77.1%,完全自然冷源時間占57.0%;供回水溫度為20 ℃/26 ℃時,全年可利用自然冷源的時間占94.7%,完全自然冷源時間占73.5%。因此對室外空氣進行預冷的蒸發冷卻冷水機組在高濕度地區數據中心節能效果顯著,具有可觀的應用前景。

圖5 間接-直接蒸發冷卻冷水機組全年運行時長統計
空調末端的換熱特性對機房內環境至關重要,也會影響整個制冷系統能耗,是研究數據中心制冷系統必不可少的一部分,蒸發冷卻冷水機組耦合熱管背板制冷系統中,影響背板性能的因素包括冷源供回水溫度、CDU安裝高度差、熱管換熱器銅管管徑、制冷劑充注量和制冷劑種類等,本研究通過實驗詳細測試了前三項對背板的影響,并分析各因素影響程度。實驗選取某品牌額定制冷量為5 kW的熱管背板在焓差實驗室內模擬數據中心機房環境,進行單一變量對比測試實驗,下面詳述實驗測試數據及分析結果。
熱管背板緊貼機柜換熱,在保證機房內環境溫度滿足要求的前提下,適當提高供回水溫度可以提高蒸發冷卻冷水機組的能效和延長自然冷源的利用時間,從而降低能耗減小數據中心PUE值。結合蒸發冷卻冷水機組的制冷特性及高濕度地區氣候條件,設定3組供回水溫度進行實驗研究,分別為10 ℃/16 ℃,15 ℃/21 ℃,20 ℃/26 ℃。室內回風干球溫度為35 ℃,熱管背板測試機1、2制冷劑R410A充注量、風機轉速、CDU安裝高差等參數均保持一致,并排安裝在實驗室內,測試兩組背板在不同供回水溫的性能參數以獲取準確的實驗數據。圖6所示為測試機1、2在3組不同供回水溫的制冷量和性能系數(性能系數為設備制冷量與輸入功率的比值,熱管背板末端輸入功率為風機總功率)、風量和送風溫度。

圖6 不同供回水溫度對熱管背板換熱性能的影響
風機轉速設定不變,風量變化很小,隨著供回水溫10 ℃/16 ℃、15 ℃/21 ℃、20 ℃/26 ℃依次提高,制冷量和性能系數明顯降低,測試機1的制冷量由7.75 kW減小25.21%、55.11%,測試機2制冷量由7.84 kW減小29.84%、57.30%,20 ℃/26 ℃工況下制冷量低于額定制冷量。同時送風溫度明顯升高,10 ℃/16 ℃、15 ℃/21 ℃工況滿足機房送風溫度要求,20 ℃/26 ℃工況下送風溫度已高達28.12 ℃。由此可知,冷源供回水對熱管背板末端制冷性能影響顯著,10 ℃/16 ℃、15 ℃/21 ℃的供回水既能夠延長蒸發冷卻自然冷源利用時長又能夠滿足機房內環境溫度要求;20 ℃/26 ℃供回水可用于機房部分負載工作未達到滿負荷的工況,延長蒸發冷卻自然冷源利用時長。
重力型熱管背板制冷劑依靠自身重力完成蒸發冷凝循環,熱管背板換熱器與CDU安裝需要滿足一定的高度差,理論上安裝高度差越大循環動力越大,數據中心機房高度有限,安裝高度會影響管路布置,實際工程中安裝高差通常大于800 mm,本研究通過實驗測試高度差對熱管背板換熱性能的影響,實驗結果如圖7所示。

圖7 不同CDU高度差對熱管背板換熱性能的影響
實驗設置4種高度差:300、500、700、900 mm,室內回風溫度為35 ℃,測試機1冷源供回水溫為10 ℃/16 ℃,測試機2供回水溫為15 ℃/21 ℃,其他配置保持一致,風機轉速不變。測試數據顯示,安裝高差從300 mm增至900 mm,兩臺背板的制冷量和性能系數隨高度差的增大有小幅提升,制冷量增幅不超過5%,均滿足額定制冷量要求;送風風量幾乎不變,送風溫度隨高差增大略有下降,降幅不大于2%,均滿足送風溫度要求。
實驗測試其他機組在相同工況下仍滿足上述變化規律,實驗還發現300 mm高差熱管背板啟動相對困難,說明300 mm高差已經滿足單臺熱管背板制冷劑循環動力要求,CDU與熱管背板安裝高差僅需滿足制冷劑循環的動力要求,對熱管背板的性能影響較小,在安裝條件允許下適當加大高差有利于熱管背板快速啟動,且可以小幅提高換熱性能。實際工程應用中,機房內多臺熱管背板并聯供液和回氣管道,多臺背板回氣管路在同一CDU冷凝換熱,因此對CDU安裝高度差要求會更高,高差對多臺并聯使用的熱管背板性能影響更大。
熱管背板換熱器為銅管鋁翅片形式,銅管管徑變化會改變制冷劑流態和換熱特性,從而影響整個背板換熱性能,實驗研究兩組銅管鋁翅片換熱器螺紋銅管的尺寸分別為Φ7 mm×0.25 mm×0.1 mm,Φ5 mm×0.2 mm×0.15 mm,管長均為1 700 mm;其他參數均保持一致:開窗翅片長為380 mm,寬為33 mm,片距為1.8 mm。圖8所示為不同換熱器管徑對熱管背板換熱性能的影響,對比了兩組銅管管徑的熱管背板在不同供回水溫工況下的制冷量、性能系數、風量和送風溫度等參數。
實驗數據表明5 mm管徑換熱器換熱性能整體優于7 mm管徑。在相同工況下,5 mm管徑的換熱器背板制冷量和性能系數大于7 mm管徑,供回水溫10 ℃/16 ℃、15 ℃/21 ℃、20 ℃/26 ℃依次變化,5 mm管徑的換熱器背板制冷量相比7 mm管徑分別增加13.87%、12.46%、8.46%。同時,5 mm管徑背板風量相比7 mm提高約16%,送風溫度變化不顯著。風機轉速不變的情況下,換熱器銅管管徑減小管道數量并未變化,因此增加換熱器的通風面積減小送風阻力,導致風量增大,制冷效果提升。
本文通過數學模型和實驗測試研究了應用于高濕度地區數據中心的基于蒸發冷卻的熱管背板空調系統,得到如下結論:
1)間接-直接蒸發冷卻冷水機組在高濕度地區的節能潛力很大。與傳統開式冷卻塔相比,對室外空氣預冷的蒸發冷卻冷凝器能夠制取溫度更低的冷卻水;間接-直接蒸發冷卻冷水機組全年4種運行模式不間斷制冷,以南京為例,供回水溫度為10 ℃/16 ℃時,全年可利用自然冷源的時間占59.9%,完全自然冷源時間占42.6%;供回水溫度提高,可利用自然冷源的時間延長。
2)蒸發冷卻冷水機組耦合熱管背板系統適用于數據中心制冷。熱管背板制冷量和性能系數隨冷水機組供水溫度的提高顯著降低,10 ℃/16 ℃、15 ℃/21 ℃的供回水溫既能夠延長蒸發冷卻自然冷源利用時長又能夠滿足機房內環境溫度要求;CDU與熱管背板安裝高差300、500、700、900 mm,單臺背板的制冷量和性能系數隨高度差增大有小幅提升,均滿足額定制冷量要求;5 mm管徑的換熱器背板換熱性能整體優于7 mm管徑的熱管背板。
綜上所述,間接-直接蒸發冷卻冷水機組耦合熱管背板空調系統可在高濕度地區推廣使用,為數據中心提供節能高效的制冷方案。同時,蒸發冷卻冷凝器風側冷卻效率、水側冷卻效率及影響因素等需要進一步研究分析;數據中心機房內熱管背板熱負荷與冷水機組制冷能力、蒸發冷卻冷凝器換熱能力等匹配特性也需要進一步研究。