液冷技術在數據中心的應用

周 婷 王 瑋 常傳源 張 恬

（1.江蘇建筑職業技術學院，江蘇 徐州 221000；2.同圓設計集團有限公司，山東 濟南 250000；3.中通服咨詢設計研究院有限公司，江蘇 南京 210000）

0 引言

隨著雙碳目標的提出，東數西算工程也全面啟動，數據中心趨于集約化、規模化和綠色化。作為碳排放“大戶”，中國數據中心年碳排放量已超過3 300 萬輛汽車。在數據中心能耗占比中，制冷系統用電量已與IT設備相當，占總用電量的比例高達43%，優化制冷系統已成為數據中心提高能源使用效率的重要環節。近年來，國家相繼出臺一系列與數據中心建設相關的政策，對電能利用效率（Power Usage Effectiveness，PUE）提出明確的規定，要求到2025 年，全國新建大型數據中心的PUE 要降到1.3以下［1］。與風冷相比，液冷能更好地支持高功耗芯片的解散熱，保持芯片低溫運行，減少服務器散熱熱點。通過有效利用自然冷源進行冷卻，液冷技術能有效降低數據中心的PUE，從而促進數據中心減少碳排放。因此，“液冷”將會成為新型數據中心的重要技術方向。

1 數據中心常規冷卻技術

1.1 常規數據中心冷卻

在早期的數據中心中，多使用風冷型直接蒸發式空調系統。該系統采用制冷劑冷媒作為傳熱介質，制冷劑吸收室內的熱量后，通過制冷循環將熱量輸送到室外。制冷劑一般為氟利昂，單機制冷量為10～120 kW［2］。這種空調系統由室內機、室外機、冷媒管及相關閥門附件組成，結構簡單，生產廠家較多，在使用時安裝維修方便。

隨著機房容量的增大，冷凍水型機房空調系統的應用也逐漸增多，其能滿足30～150 kW 制冷量的需求。該系統和公共建筑空調系統一樣，由冷水機組、冷卻塔、膨脹水箱、循環水泵、末端設備、管道、閥門附件等組成。為了提高能源的利用效率，可將冷凍水型機房空調冷凍水的供水溫度提高到12 ℃、回水溫度為18 ℃。冷凍水溫度的提高、溫差的增大，在減少輸送能耗的同時，機房內也較少產生冷凝水。該類型空調系統設計和生產技術成熟，在大型數據中心得到廣泛應用。

1.2 數據中心自然冷卻

目前，主流的自然冷卻技術有空氣側自然冷卻和水側自然冷卻［3］。自然冷卻可分為不同形式，詳見表1。

表1 數據中心自然冷卻方式

1.2.1 空氣側采用自然冷卻。Facebook 在美國普林維爾建造的大數據中心采用的是空氣側自然冷卻技術，室外空氣通過噴淋的方式與水大面積接觸，在這個過程中，水吸收了汽化潛熱，空氣的溫度降低，被處理后符合標準規定溫度濕度要求的空氣被送入數據中心，對機房空間進行冷卻［4］。這種系統屬全新風直接蒸發冷卻空調系統，使用時要控制空氣濕度。與直接蒸發冷卻相對的是間接蒸發自然冷卻，室外空氣經表面式換熱器與被水噴淋的空氣進行換熱，從而被冷卻，在使用上分為干模式、濕模式和混合模式，國外的蒙特和國內的騰訊、華為等均采用該種冷卻方式的數據中心產品。帶風冷冷水機組是在傳統風冷冷水機組的基礎上，通過并聯自然冷卻盤管，在過渡季節采用自然冷卻盤管進行供冷，并根據室外氣象條件調整運行模式，在氣候溫度較低時采用自然冷卻，在室外溫度較高時采用機械冷卻，常用于常規的數據中心。

1.2.2 水側自然冷卻。國內采用湖水自然冷卻的有浙江千島湖數據中心、湖南東江湖大數據中心一期。采用湖水作為數據中心自然冷卻的冷源，湖水溫度穩定，能有效減少電量的使用，有較好的節能效果。但該方式受環境保護的制約，其技術性與環境安全性還要進一步研究。冷卻塔自然冷卻是指在室外溫度較低時利用冷卻塔來制備冷水，與風冷冷水機組類似，可替代一部分機械制冷，從而提高能源利用效率。冷卻塔供冷分為直接供冷、間接供冷，直接供冷的冷卻水直接進入空調末端，在水質不佳時較少使用；間接供冷采用板式換熱器，在室外溫度降低到一定值時，采用冷卻塔作為冷源，通過板式換熱器進行熱量交換，來降低冷凍水溫度。

2 數據中心液冷技術

目前，數據中心液冷有冷板式、浸沒式、噴淋式3種部署方式。冷板式是間接液冷方式，浸沒式、噴淋式則是直接液冷方式。液冷是通過液體代替空氣，把服務器發熱器件產生的熱量帶走。從冷媒來看，標況下空氣的定壓比熱容為1.004 kJ/（kg·k），水的比熱容為4.2 kJ/（kg·k），用于阿里浸沒式液冷的氟化液比熱容和汽化潛熱分別為1 110 kJ/（kg·k）和88 kJ/kg，液體冷卻能提供更好的換熱效果，從而滿足數據中心高功率、高密部署、低PUE 的使用需求［5］。以國外CPU 巨頭英特爾為例，作為基礎芯片和算力的提供方，英特爾在數據中心領域參與程度較深，擁有CPU、GPU、閃存和FPGA 等產品線，涉及數據的計算、存儲和網絡傳輸等環節，目前仍與產業鏈上下游合作，進行配套的標準制定。在國內，包括浪潮、曙光、華為等服務器巨頭，以及網宿科技旗下的綠色云圖、高瀾股份等解決方案提供商，都紛紛加大對液冷技術研究的投入。

2.1 冷板式液冷

冷板式液冷將熱量傳遞給循環管道中的冷卻液體，冷板式液冷多為單相冷卻，通過冷卻液的溫升將服務器產生的熱量帶走，無效損失較小，冷卻效率高，能大幅度降低數據中心的能耗［5］。換熱冷板材質一般為高導熱系數的材料，冷板表面溫度均勻，通過間接換熱能帶走大量的集中熱量［6］。由于服務器芯片等發熱器件只用通過冷板的強迫對流換熱，不用直接接觸液體，所以該系統不用對整套機房設備重新進行改造設計，可操作性更強，應用更廣泛。

2.2 噴淋式液冷

噴淋式液冷是將冷卻液直接噴淋到服務器發熱器件（如CPU、存儲）表面，液體吸收發熱器件的熱量，升溫后的冷卻液通過管道、換熱器等與外部冷源進行熱交換。廣東合一公司自主研發了“芯片級精準噴淋液冷技術”，設計的噴淋式液冷系統有專門的液冷服務器和液冷機柜，液冷機柜包括管路、液體循環系統、PDU等。2020年，中國長城推出我國首臺國產化噴淋式液冷服務器，該服務器采用絕緣導熱液體材料作為冷卻液，可使芯片降溫幅度比傳統風冷服務器低20～30 ℃，單機架功耗提升到56 kW 以上。在保證高性能的同時，服務器在噴淋液冷環境下的穩定工作壽命可有效延長0.5倍［7］。噴淋液冷服務器的結構圖見圖1。

圖1 噴淋液冷服務器結構

2.3 浸沒式液冷

浸沒式液冷以液體作為傳熱介質，將發熱電子元件直接浸沒于冷卻液中，通過冷卻液與電子元件直接接觸進行熱交換，從而帶走熱量，是一種新型高效、綠色節能的數據中心制冷解決方案。根據冷卻液是否發生相變，浸沒式液冷分為相變浸沒式液冷和單相浸沒式液冷。嚴遜等［8］根據浸沒式液冷試驗得出上海市數據中心全年運行制冷PUE 值為1.060，使用浸沒式液冷的數據中心，其冷卻系統能耗僅為使用傳統精密空調的10%。國內液冷技術方案提供商綠色云圖液所提供的浸沒式液冷解決方案，使散熱能耗降低90%～95%，PUE低至1.049。

相變浸沒式液冷利用冷卻液沸點低、可發生沸騰相變的特性，在機柜內將熱量從電子部件傳遞到氟化液中，并引起液體沸騰產生蒸汽，從而帶走熱量。蒸汽在機柜內的熱交換器（冷凝器）上冷凝，將熱量傳遞給在數據中心中循環流動的設施冷卻用水。

單相浸沒式液冷技術是指將電子設備完全浸沒在冷卻液中進行直接冷卻，從而形成封閉的導熱回路。電子部件直接浸沒到電介質特性的氟化液中，而液體置于密封但便于操作的機柜中，熱量從電子部件傳遞到液體，再使用循環泵將升溫后的氟化液循環到換熱器，在換熱器中冷卻并回到機柜中［8］。圖2、圖3分別為單相和相變浸沒式液冷原理圖［9］。

圖2 單相浸沒液冷原理圖

圖3 相變浸沒液冷原理圖

3 數據中心液冷技術關鍵技術探討

3.1 缺乏標準支持

以往液體冷卻在行業內沒有形成趨勢，缺乏大規模的應用案例，相關國家或行業標準也處于空缺狀態［10］。目前，由中國信通院牽頭制定了首批數據中心液冷系列的行業標準，該系列標準明確了目前主流的冷板式和浸沒式等冷卻方式的技術要求，對液冷技術PUE的測定方法、冷卻液的使用要求也做了詳細的闡述，能有效填補當前國內外數據中心液冷行業標準的空白。

3.2 成本較高

使用液體冷卻技術的數據中心的設計方式與使用空氣冷卻的傳統數據中心不同。例如，樓梯的承載力、機房的高度等。如果貿然更換冷卻方式，除了會影響空間利用率外，人員維護和重建成本也將是一筆大的支出。

3.3 冷卻液問題

在數據中心冷媒上，可采用水、礦物油和氟化物。然而冷卻水是導電的，礦物油和氟化物與空氣接觸時會被其他物質污染，對服務器等設備造成腐蝕。冷卻液作為熱量傳遞的重要媒介，在使用時要考慮材料的兼容性與可靠性，以及能否大面積推廣。為保證設備能正常運行，在服務器信號傳輸中，介電常數也是一個重要參數，研發設計人員要慎重考慮［9］。因此，必須根據相關標準加大對冷卻液的檢測和評估力度，包括材料的兼容性、腐蝕性、擴散損失率。

4 結語

目前，全國大型數據中心單機柜的密度在不斷增大，根據相關研究，在抽樣調查中，數據中心平均機架功率為8.5 kW/h。隨著機柜高密度服務器及單機柜密度的演進，對傳統風冷散熱來說，容易出現局部熱點，要不斷降低送風溫度，增大送風風量，制冷能耗較大。在探究液冷技術時，應結合服務器部署和PUE要求選擇適宜的冷卻方式，對成本管控與設計標準的提升有一定的積極意義。