蒸發冷卻技術在數據中心液冷系統中的應用探討

田哲寧 黃 翔 屈名勛

（西安工程大學 西安 710048）

0 引言

隨著大數據和云計算時代的進一步到來，信息產業蓬勃發展。尤其在2020年初疫情來襲，給人們出行工作帶來極大不便，大多數人選擇在線上辦公，這對數據信息的硬件承載者數據中心有了更高一步的要求。在除了滿足高能效型、安全性之外，另一方面數據中心能源消耗和運行成本也越來越受到人們關注。根據相關統計數據，數據中心的能耗約占我國全社會總能耗的2%，占總建筑能耗的10%，且呈上升趨勢。而在2019年2月，工信部、國家機關事務管理局、國家能源局出臺《關于加強綠色數據中心建設的指導意見》，要求到2022年，數據中心平均能耗基本達到國際先進水平，新建大型、超大型數據中心的PUE 降到1.4 以下。

在中國市場，現階段大多數據中心仍采用風冷，而國外數據中心則進入到了液冷時代。由于液體的比熱遠大于空氣，液冷服務器將供水溫度提升至35℃，從而無需壓縮機制冷，全年采用自然冷源，使數據中心基礎設施制冷系統的運行能耗降低30%-40%，同時，由于提高了功率密度，數據中心所需的機房面積可減少10%，或機房利用率提高10%，使得數據中心的能耗指標（PUE）可降低至1.2 甚至更低，服務器的CPU 可實現超頻運行，計算性能提高12%。不難看出液冷服務器使節能降耗帶來了變革性的創新，實現數據中心整體提升制冷能效[1]。

蒸發冷卻空調技術是人類利用自然條件改善生存質量的一種降溫方式，制冷的驅動力是使用豐富的干空氣能。該空調技術和傳統空調技術相比，不使用壓縮機，耗電設備僅為風機和水泵，因此，其節電效果顯著；以水為制冷劑，不使用氟利昂，對空氣友好，并且對空氣中的一些顆粒物如PM2.5和PM10 有一定的過濾作用。所以蒸發冷卻技術是一項節能、低碳、經濟、健康、環保技術，具有非常好的發展前景術[2]。

論文通過提出傳統冷卻塔與液冷技術結合的形式的不足，進一步探討利用間接預冷式蒸發冷卻冷水機組代替冷卻塔與液冷技術結合的可行性，并進行展望。

1 液體冷卻

液冷就是將某種液體作為導熱介質，通過液體將數據中心內服務器、CPU、內存條等器件在運行時產生的熱量帶走。由于近年來數據中心發展迅猛，單機架功率快速提升，單機架用電規模從標準單機架功率4kW 朝著20-30kW 甚至更高規模發展。導致數據中心單機架及整體散熱大幅度上升。傳統風冷或水冷技術已不能完全滿足數據中心所需，液冷技術的重要性越來顯現出來。液體冷卻根據冷卻液體與數據中心發熱設備是否直接接觸可以分為兩大類，一類是直接接觸式液體冷卻，一種是間接接觸式液體冷卻。還可根據冷卻液體在冷卻過程中是否產生相變分為單相液冷及相變液冷。現今直接接觸式液體冷卻可分為浸沒式與噴淋式兩種形式，而間接接觸式液體冷卻主要體現為冷板式這種形式[3,4]。

1.1 浸沒式液體冷卻

圖1 浸沒式液冷數據通信設備Fig.1 Immersion liquid-cooled data communication equipment

浸沒式液體冷卻是將數據中心的發熱設備直接浸入冷卻液體的一種冷卻方式，此形式可以使冷卻液體與發熱設備直接接觸，由于冷卻液體與發熱設備直接接觸使其具有較低的對流熱阻，傳熱系數高，運行溫度變化較小等特點。且不需要配備風扇，帶來了噪音低的特點。使其成為機柜熱流密度大，需要綠色環保的超大型數據中心的絕佳之選。

但由于浸沒式液體冷卻技術對數據中心整體要求較高，對液冷機柜間及機柜內冷卻液如何均勻分配，使得各電子信息設備獲得均勻冷量。這方面需要采用同程環路供回液設計，機柜間需要設置平衡管，機柜內需要采用均流板供液。而如何降低主要熱源CPU 與冷卻液換熱熱阻，以避免通過增大換熱溫差來實現散熱過程，增大換熱溫差會降低利用自然冷源的可行性，從而增加系統能耗。這方面，需要選擇合適熱界面材料及CPU 散熱器。目前在國內外并無使用該技術的大型數據中心出現，在如今國內數據中心若使用浸沒式液體冷卻多數需要在原有的基礎上進行較大改造，初投資及運營維護成本也較大，使用技術難度也較大，雖然其具有優勢，不過也會帶來更大的技術挑戰。

1.2 噴淋式液體冷卻

圖2 噴淋式液冷數據通信設備Fig.2 Spray-type liquid-cooled data communication equipment

將冷卻液體通過噴淋器件噴淋在數據中心發熱設備表面使其熱量被直接或間接的帶走，降低設備溫度這種冷卻方式被稱作噴淋式液體冷卻。這種方式相較于浸沒式液體冷卻節省了液體，也可獲得較好的靜音效果。由于在噴淋式液體冷卻中冷卻液也可直接的與發熱設備接觸，進而也可獲得較強的散熱效率。是解決大功耗機柜在數據中心機房部署以及降低IT 系統制冷費用，提升能效，降低PUE的有效手段之一[5]。

但在噴淋時需要精準噴淋流量設計，對液體的兼容性要求較高，在整體流量的控制上不易達到精準，在噴淋時也會造成噴淋覆蓋面對發熱元件不能整體覆蓋的問題。還需對冷卻液體頻繁補充，服務器頻繁維護，且對原有數據中心改動較大，初投資較高，運營維護成本也較大。

1.3 冷板式液體冷卻

冷板式液體冷卻如圖3所示，冷板與CPU 等核心發熱元件直接接觸吸收熱量，通過直接在冷板內通入冷卻液體或通過熱傳導等間接的方式對冷板進行降溫。這種冷卻方式對機房、機柜、服務器改造較小，且服務器的維護與常規風冷一致，方案成熟，雖然初投資較高，但運維成本低。

圖3 冷板式液冷數據通信設備Fig.3 Cold plate liquid cooled data communication equipment

此種方式水冷板會有泄露風險，對機柜內部造成損傷。需要漏液監測及預警系統輔助，對整個數據中心機房還需要風冷補償才能達到對機房整體溫度的控制[6]。

2 液冷在數據中心實際應用及問題。

2.1 數據中心用液氣雙通道散熱系統

數據中心用液冷服務器散熱系統架構如圖4所示利用液冷技術將CPU 等高熱流密度元器件的熱量導出，使其形成液冷散熱通道。利用液冷技術帶走數據中心大部分熱量后，再通過房間級氣冷、行級氣冷、機柜氣冷這三種空氣散熱的形式，構成氣冷散熱通道，將數據中心機房內其余熱量帶走。關于液冷散熱通道這里主要介紹如圖5所示，冷板直接接觸式液冷數據通信設備由熱沉直接接觸核心發熱部件再由冷卻板進行熱量循環的形式。熱沉與發熱部件直接接觸，熱沉充分吸收發熱部件的熱量后，將熱量傳遞給熱管，熱管內部通過毛細作用力實現熱傳導。將熱量傳遞給冷卻板，通過冷卻板內的冷卻水循環將熱管熱端的熱量帶走。通常采用冷卻塔制取高溫冷水通入冷卻板，來進行冷卻水的循環。

圖4 液/氣雙通道散熱系統的架構Fig.4 Architecture of liquid/gas dual channel cooling system

圖5 冷板直接接觸式液冷數據通信設備Fig.5 Direct contact liquid cooling data communication equipment of cold plate

2.2 冷卻塔的不足

冷卻塔制取冷水的過程可以近似看作直接蒸發冷卻制取冷水的過程。如圖6 焓濕圖所示，當從用戶回來的狀態E循環水噴淋到填料形成水膜與空氣進行熱濕處理時，部分水分蒸發從空氣和水中吸收顯熱，轉為汽化潛熱，進入到空氣中，水溫被降到狀態G，空氣實際情況下發生增焓降溫過程，從狀態A降溫增焓到狀態C，液態水發生降溫冷卻過程。從而實現對循環水的降溫，最終獲得的冷水溫度高于進口空氣狀態點A的濕球溫度。冷卻塔出水溫度與濕球溫度的差值稱為逼近度。逼近度并非定值，在設計濕球溫度28℃時通常為3～5℃。一般選取5℃為冷卻塔最不利出水溫度。在如今實際工程應用中考慮到通過管道將制取的高溫冷水送到冷板時還會產生一定的溫升，所以大都要求冷水機組出水溫度不宜超過35℃，而隨著單機架功率的上升，CPU 等核心元件發熱量逐步攀升，必將對供水溫度有更高要求。而通過實際計算繪制分區地圖發現利用冷卻塔制取出的高溫冷水在我國并非對所有地區都可直接滿足對數據中心液冷技術進行降溫的條件，在有些區域單憑冷卻塔供冷制取的高溫冷水是無法滿足液冷技術所需條件[7,8]。

圖6 冷卻塔制取冷水的焓濕圖Fig.6 Enthalpy and humidity diagram of cold water produced by cooling tower

2.3 間接預冷式蒸發冷卻冷水機組

在冷卻塔不能完全滿足液冷技術所需時，利用間接預冷式蒸發冷卻冷水機組產出的冷水將液冷冷水板的熱量帶走。如圖7 焓濕圖所示，狀態E的噴淋水首先在填料處與狀態D的空氣進行熱濕交換，狀態E的噴淋水被冷卻到狀態F。狀態F的淋水繼續往下流動，在填料上往下流動的過程中再被冷卻，最后聚集在水箱，變成狀態G的冷水。最終制取的冷水溫度低于狀態A點的濕球溫度，高于B點濕球溫度，高于A點的露點溫度。間接預冷式蒸發冷卻冷水機組供水溫度可達到濕球溫度和露點溫度之間的亞濕球溫度。如圖8所示間接預冷式蒸發冷卻冷水機組的預冷換熱器主要有外冷式和內冷式，外冷式換熱器主要為表冷器，內冷式預冷的間接蒸發冷卻器主要有臥管式、立管式、板管式、露點式，通常會采用內外冷相結合的預冷形式。作為進風預冷將進風空氣的濕球溫度進一步降低，使得蒸發冷卻的驅動力“干濕球溫差”進一步加大，進而滿足在機組填料段可以使得空氣與水充分的換熱，使得水溫有更大的降溫幅度[8]。

圖7 間接預冷式蒸發冷卻冷水機組制取冷水的焓濕圖Fig.7 Enthalpy and humidity diagram of cold water produced by indirect precooled evaporative cooling chiller

圖8 立管與露點式間接預冷式蒸發冷卻冷水機組Fig.8 Riser pipe and dew-point indirect precooling evaporative cooling chiller

在最不利氣象條件下間接預冷式蒸發冷卻冷水機組也可將出水水溫降低到濕球溫度下2℃。且間接預冷式蒸發冷卻冷水機組擁有更良好的節水性，噪音低，更加節電。對預冷段的是否開啟可以進行控制，有兩種運行模式，使用起來更加靈活便捷[9]。

3 分區地圖

3.1 陜西省分區地圖

根據上述對冷卻塔及間接預冷式蒸發冷卻冷水機組最不利出水溫度的預測，結合陜西省各市區全年逐時8760 小時濕球溫度做出折線圖，并分別繪制出典型年出水溫度最高可達溫度范圍分區地圖。

3.1.1 陜西省部分市區冷卻塔典型年逐時最不利出水溫度折線圖

圖9 西安市冷卻塔典型年逐時最不利出水溫度Fig.9 Typical annual most unfavorable hourly outlet temperature of cooling tower in Xi'an

圖10 榆林市冷卻塔典型年逐時最不利出水溫度Fig.10 Typical annual most unfavorable hourly outlet temperature of cooling tower in Yu'lin

圖11 延安市冷卻塔典型年逐時最不利出水溫度Fig.11 Typical annual most unfavorable hourly outlet temperature of cooling tower in Yan'an

3.1.2 陜西省各市區典型年冷卻塔出水溫度最高可達溫度范圍

圖12 陜西省典型年冷卻塔出水溫度最高可達溫度范圍分區地圖Fig.12 Zonal map of the maximum reaching temperature range of outlet water temperature of cooling tower in typical years in Shaanxi Province

通過上述繪制的陜西省各市區典型年冷卻塔出水溫度最高可達溫度范圍圖可直觀地看出陜西省十個市區內，僅有榆林市冷卻塔出水溫度可以滿足30℃以下，保證數據中心全年安全運行。榆林市相較于其他市區，緯度較高。通過典型年逐時氣象參數也可看出榆林市干濕球溫差較大，干空氣能富足，蒸發冷卻效率高。而冷卻塔內發生的熱濕交換過程又可近似的看作直接蒸發冷卻過程，故導致了這一結果。

3.1.3 陜西省部分市區間接預冷式蒸發冷卻冷水機組典型年逐時最不利出水溫度折線圖

圖13 西安市間接預冷式蒸發冷卻冷水機組典型年逐時最不利出水溫度Fig.13 Typical annual most unfavorable hourly effluent temperature of indirect precooled evaporative chillers in Xi'an

圖14 榆林市間接預冷式蒸發冷卻冷水機組典型年逐時最不利出水溫度Fig.14 Typical annual most unfavorable hourly effluent temperature of indirect precooled evaporative chillers in Yu'lin

圖15 延安市間接預冷式蒸發冷卻冷水機組典型年逐時最不利出水溫度Fig.15 Typical annual most unfavorable hourly effluent temperature of indirect precooled evaporative chillers in Yan'an

3.1.4 陜西省各市區典型年間接預冷式蒸發冷卻冷水機組出水溫度最高可達溫度范圍

圖16 陜西省典型年間接預冷式蒸發冷卻冷水機組出水溫度最高可達溫度范圍分區地圖Fig.16 Zoning map of the maximum effluent temperature range of indirect precooled evaporative chillers in typical years in Shaanxi Province

使用間接預冷式蒸發冷卻冷水機組替代冷卻塔后，從分區地圖中直觀的可以看出陜西省全省范圍內間接預冷式蒸發冷卻冷水機組出水溫度皆可達到30℃以下，滿足數據中心全年安全運行所需。

3.2 全國分區地圖

上述冷卻塔與間接預冷式蒸發冷卻冷水機組在相同氣象條件下出現的出水溫度不同的情況，根據各城市省會城市為代表，選取典型年氣象參數制作了以出水溫度為區分的分區地圖。

3.2.1 典型年冷卻塔出水溫度最高可達溫度范圍

圖17 全國典型年冷卻塔出水溫度最高可達溫度范圍分區地圖Fig.17 Regional map of the maximum outlet water temperature of cooling tower in a typical year in China

由于冷卻塔處出水溫度一般在濕球溫度之上的3～5℃，而數據中心的特點是要求全年不間斷運行，且需要考慮最不利情況，隨意選取各省市省會城市典型年氣候參數中濕球溫度進行計算，得出典型年冷卻塔出水溫度最高可達溫度范圍?？梢钥闯鲈谌珖秶鷥扔写蟛糠謪^域都會有超過30℃的情況，這對于液冷技術是不利的，而還有八個地區超過了35℃，不能滿足液冷技術所需，隨著技術的不斷發展，單機架功率的不斷上升，數據中心發熱量勢必也會提高，對液冷技術的要求也會有更高的要求，不難看出冷卻塔已無法滿足全國各地區所需。

3.2.2 典型年間接預冷式蒸發冷卻冷水機組出水溫度最高可達溫度范圍

圖18 全國典型年間接預冷式蒸發冷卻冷水機組出水溫度最高可達溫度范圍分區地圖Fig.18 Regional map of the maximum effluent temperature of indirect precooled evaporative chillers in China in typical years

在使用了間接預冷式蒸發冷卻冷水機組后從全國地圖上可以明顯的看出冷水機組出水溫度顯著下降，全國33 個省區都可控制在30℃以內，完全可以滿足現階段液冷技術的需要。在江西地區溫度超過了30℃，在此地區極端氣候條件下，可以在間接預冷式蒸發冷卻冷水機組內增加表冷器，進行入口空氣的預冷，使冷水機組出水溫度降得更低，最終達到需求。

4 結語

通過對液冷技術各形式的分析，同時總結了直接接觸式液冷數據通信設備可與蒸發冷卻技術緊密結合的液冷形式，通過繪制出的全國分區地圖可清晰看出冷卻塔在某些極端情況下不能滿足數據中心全年安全運行的要求，利用間接預冷式蒸發冷卻冷水機組后，可以滿足數據中心全年安全運行要求。故利用間接預冷式蒸發冷卻冷水機組取代原有的冷卻塔供冷模式是未來數據中心冷卻方式發展的其中一種趨勢。這種數據中心冷卻方式將很好的滿足數據中心向著高密度發展的同時，也滿足高效、綠色、低碳發展的目標要求[10]。