數據中心水冷空調末端的CFD模擬及應用分析

賴柏年 張劍麟 陳 文 尹 進 陳文勝 張 萌 楊劍峰

?

數據中心水冷空調末端的CFD模擬及應用分析

賴柏年1張劍麟1陳 文1尹 進1陳文勝1張 萌2楊劍峰2

（1.中國移動通信集團廣東有限公司 廣州 510623； 2.江蘇省郵電規劃設計院有限責任公司 南京 210001）

以數據中心空調水系統的機房空調末端為研究對象，結合實際工程，對傳統下送風機房專用空調和三種新型末端（熱管背板、水冷前門、列間空調）進行了不同機房功耗下的CFD模擬分析并對比其他項目上實測的機房熱環境數據，評價4種末端的制冷效果和氣流組織的合理性。并結合CFD模擬結果從節能性、安全性、經濟性以及運維便利性等多方面對4種末端的工程應用進行綜合分析，為數據中心機房空調末端的設計選型提供一定參考和依據。

數據中心；水冷；空調末端；CFD模擬

0 引言

隨著移動互聯網、云計算的發展，數據中心正呈現出規模日益升級、單機架平均功耗逐步上升的特點。“冷水型空調系統”因其適用廣泛、節能效果突出，目前已被各大中型數據中心廣泛采用，相應的水冷型空調末端近幾年也發展迅速，除傳統的下送風機房空調外，又發展出多種新型空調末端，包括熱管背板、水冷前門、列間空調等[1]。

多種新型空調末端的出現，主要是由于服務器機架功耗的不斷攀升，為了實現服務器機架近制冷，機房空調氣流組織合理化，降低末端運行能耗而產生的[2]。本文以我國南方某數據中心項目為例，通過對其標準機房在不同應用場景（4種水冷空調末端×高中低3種機房功耗）下的溫度場和流場進行CFD模擬計算，并結合節能性、安全性、經濟性以及運維便利性等多方面因素綜合分析了幾種水冷空調末端在實際工程中應用的情況。

1 項目概況

數據中心地處夏熱冬暖地區，總建筑面積約33500平方米，地上8層，共規劃IT機架3944架，單機架功耗主要按6.6kW、5.5kW、3.5kW三檔劃分，采用集中式冷水空調系統。

冷源采用大小冷水主機搭配的方案—3臺1200RT高壓主機+2臺600RT低壓變頻主機，考慮到數據中心運營初期負荷較低，2臺小機一用一備使用；后期滿負荷時，3臺大機主用，2臺小機備用。

空調冷凍水管采用雙路由，末端管路采用環路設計，冷凍水水溫為12/17℃。

數據機房的空調末端形式主要有：下送風機房專用空調、熱管背板、水冷前門和列間空調。

2 應用場景分析和CFD建模

2.1 應用場景幾何結構模型

該數據中心標準機房尺寸為：28m（長）×18m（寬）×5.4m（層高），可規劃約12列標準機架（機架間距1.2m），總共約140個標準IT機架。本文選取了其中一個標準機房作為研究對象，采用不同空調末端時的機房設備平面如圖1所示，每個平面布置圖分別對應3種單機架功耗，所以，一共需要進行12個應用場景的CFD模擬。

根據該標準機房、機架服務器的幾何結構以及空調末端的形式，采用Gambit建立不同機房的全尺寸三維模型，然后導入Fluent進行溫度場和速度場的計算。為了提高計算準確性，采用結構化網格，局部（進、出口）網格加密處理，流場求解采用了RNG-湍流模型，并設置流動殘差0.001及能量殘差1×10-6作為計算的收斂條件。

圖1 四種空調末端下的標準機房設備平面

2.2 模擬計算條件參數

（1）空調末端參數

根據該標準機房的12個應用場景，結合4種空調末端目前主流的技術參數，對每個應用場景進行機房冷負荷和空調末端設備配置分析，得到了4種空調末端分別應用在高、中、低功耗標準機房時的配置數量和送風量等參數，詳見表1。

表1 四種空調末端配置表

（2）機房熱環境條件

IT服務器一般都有相應的最佳溫度、相對濕度工作范圍，溫濕度過高或過低均會對服務器的運行產生嚴重影響[3]。因此很多國家（或服務器廠家）都會制定用于控制數據機房環境的標準或規范，如表2[4]所示。

表2 不同國家各機構和廠家的數據中心環境標準

本文依據我國《電子信息系統機房設計規范》（GB 50174-2008）和美國《數據中心通信基礎設施標準》（TIA-942-2005）的規范要求，設定：IT機架進風溫度20～25℃，進風相對濕度40～55%；熱通道回風溫度不高于32℃。

3 CFD模擬結果及分析

3.1 熱管背板

考慮到氣流組織的合理性，采用熱管背板的機房，每列機架間一般采取順排的方式布置[5]，機房模型圖見圖2，黑色區域為機架及熱管背板區，灰色長條為柱子。

圖2 熱管背板機房模型

熱管背板空調末端與IT機架是一對一匹配的，對于不同功耗的機房，當熱管背板制冷量和機架功耗一致時，CFD模擬結果也基本一致，所以本節僅列舉單機架功耗為5.5kW的機房的模擬結果。

（1）溫度場分析

通過計算得到機房在人行高度處（=1.5m）的溫度分布，如圖3所示，機房溫度分布均勻，并且穩定在25℃左右，可以保證每個IT機架的進風溫度均在規范要求的范圍內。

圖3 熱管背板機房溫度場（H=1.5m）

（2）氣流組織分析

圖4和圖5所示機房剖面和水平方向的速度場分布，可見機房中氣流組織形式為前排機架吸入外部空氣，氣流在機架內部制冷升溫后流經熱管背板末端降溫，并吹向后排機架，如此反復，氣流穩定有序。

由于柱子阻擋，部分空間風速較小，但在服務器風扇及熱管背板風扇抽吸作用下，柱子與機架前門區域形成負壓，依然可以保證外部冷空氣進入此部分機架。

圖4 熱管背板機房速度場剖面

圖5 熱管背板機房速度場（H=1.5m）

3.2 水冷前門

與熱管背板類似，一般采用水冷前門空調末端的機房，其每列機架間也采取順排的方式，機房模型如圖6所示。并且水冷前門末端與IT機架也是一對一匹配的，不同功耗的機房CFD模擬的結果基本一致，本節僅列舉單機架功耗為5.5kW的機房的模擬結果。

圖6 水冷前門機房模型圖

（1）溫度場分析

通過計算得到機房在人行高度處（=1.5m）的溫度分布，如圖7所示，機房溫度場分布均勻，平均溫度約27℃。但沿氣流方向，從第一排至最后一排機架進風溫度有小幅溫升，分析原因為：

機房初始環境溫度為25℃（設計溫度），在水冷前門末端風扇壓力作用下，前排機架的排風還未能與環境空氣充分混合即被后排機架吸入，導致后排機架進風溫度略高于前排機架，以此類推，各排機架影響疊加，導致最后一排機架進風溫度略高于第一排，但仍在可接受范圍。

圖7 水冷前門機房溫度場（H=1.5m）

（2）氣流組織分析

圖8所示為機房水平方向的速度場分布，可見機房內氣流組織穩定有序，不存在無風區及旋渦區（柱子所在區域除外），各機架內通風狀況均良好。

圖8 水冷前門機房速度場（H=1.5m）

3.3列間空調

列間空調末端布置在機架列間，通過前側出風、水平吹向機架，經過機架前門進風、后門出風再回風至空調后部進行制冷。為了防止送、回風短路，提高制冷效率，列間空調一般與冷通道封閉相結合[1]，機房模型如圖9所示。本節以單機架功耗為3.5kW、5.5kW、6.6kW的列間空調數據機房為例，通過模擬計算，得到機房人行高度處（=1.5m）的溫度場和速度場分布。

圖9 列間空調機房模型圖

（1）溫度場分析

如圖10～12所示，單機架功耗為3.5～5.5kW時，機房平均溫度約為31℃，機架內部不存在過熱點，最高溫度約為35～37℃；當單機架功耗提升到6.6kW時，房間平均溫度約為34.5℃，機架內部存在過熱點，最高溫度約為44℃。

圖10 單機架功耗3.5kW機房溫度場（H=1.5m）

圖11 單機架功耗5.5kW機房溫度場（H=1.5m）

圖12 單機架功耗6.6kW機房溫度場（H=1.5m）

（2）氣流組織分析

如圖13～15所示，可見無論單機架功耗高低，采用列間空調的機房內氣流組織穩定有序，不存在無風區（柱子所在區域除外），各機架內通風狀況均良好。區別主要是各機房氣流平均流速不同，因為單機架功耗較低的機房所配置的列間空調送風量較小；單機架功耗較高時，配置的列間空調送風量也較大。

圖13 單機架功耗3.5kW機房速度場（H=1.5m）

圖14 單機架功耗5.5kW機房速度場（H=1.5m）

圖15 單機架功耗6.6kW機房速度場（H=1.5m）

3.4 下送風機房專用空調

下送風機房專用空調屬于房間級空調末端，需要在機房鋪設一定架空高度（一般為600～1000mm）的防靜電地板來保證一定的送風截面積，且為了防止送、回風短路，提高制冷效率，下送風機房專用空調一般與冷通道封閉相結合[6]，機房模型如圖16所示，圖中橫長條為機架，豎長條為柱子，下部空間為架空地板，機房兩側為回風口。本節以單機架功耗為3.5kW、5.5kW、6.6kW的采用下送風機房專用空調的數據機房為例，通過模擬計算，得到機房人行高度處（=1.5m）的溫度場和機架上部速度場分布。

圖16 下送風機房模型圖

（1）溫度場分析

下送風機房專用空調通過靜壓箱和架空地板自下而上輸送冷風，配合服務器設備前進風、后出風的散熱形式，在機架正面形成冷通道送風、背面形成熱通道回風[6]。

如圖17～19所示，單機架功耗為3.5kW時，機架最高出風溫度約36.5℃，不存在熱點及熱區；單機架功耗為5.5kW時，機房存在部分熱區，熱區溫度約39.25℃；單機架功耗為6.6kW時，機房有較大面積的局部熱區，熱區溫度約為42℃。

圖17 單機架功耗3.5kW機房溫度場圖（H=1.5m）

圖18 單機架功耗5.5kW機房溫度場圖（H=1.5m）

圖19 單機架功耗6.6kW機房溫度場圖（H=1.5m）

（2）氣流組織分析

下送風機房氣流流向為地板下送風，機架上部回風，不同單機架功耗的機房的氣流流場分布基本一致，區別主要是氣流流速不同，本節僅列舉5.5kW機房的流場模擬結果。

從機架上部速度場矢量圖（圖20）可見機架區域整體速度場分布均勻，除柱子所在部位外，不存在無風區和漩渦區。此外，從機架中部平面及機架正面速度場矢量圖（圖21～22）可見在熱通道氣流交匯區域兩端存在渦旋，但由于渦旋不在機架區域，因此不影響機架散熱。

圖20 機架上部速度場矢量圖

圖21 機架中部（Z=1.2m）速度場矢量平面圖

圖22 機架正面速度場矢量圖

4 工程案例實測

由于本項目各數據機房暫無熱環境實測數據，本文選取了若干其他項目的機房熱環境實測數據來驗證上文CFD模擬的分析結果。

4.1 熱管背板空調案例實測

該機房共108個機架，配置108臺熱管背板末端，單機架平均額定功耗5kW，單臺末端制冷量8kW。服務器實測功率為496.8kW，空調實測功率為12.9kW，空調PUE為1.026。

本機房為改造機房，單機架功耗差別較大，但采用熱管背板后，機房環境溫度分布均勻，基本維持在26℃左右，詳見圖23。實測結果與上文中關于中等功耗機房應用熱管背板空調時的CFD模擬結果基本一致。

圖23 熱管背板機房實測溫度分布

4.2 水冷前門空調案例實測

該機房共84個機架，配置84臺水冷前門末端，單機架平均額定功耗8kW，單臺末端制冷量8kW。服務器實測功率為673.5kW，空調實測功率為8.85kW，空調PUE為1.013。

如圖24所示，該水冷前門機房機架進風溫度基本保持在26～28℃，空氣經過前門降溫至15～19℃，再經過機架升溫至25～27℃后排至機房。實測結果與上文采用水冷前門的高功耗機房的CFD模擬結果基本一致。

圖24 水冷前門機房實測溫度分布

4.3 列間空調案例實測

該機房共72個機架，單機架平均額定功耗5kW，單臺空調制冷量20kW，列間空調數量為24臺（18用6備），采用冷通道封閉形式。服務器實測功率為358.2kW，空調實測功率為17.4kW，空調PUE為1.048。

圖25 列間空調機房實測溫度分布

如圖25所示，該列間空調機房采用冷通道封閉，冷通道內溫度較低，基本在20℃左右，熱通道溫度較高，約29～34℃，此結果與上文采用列間空調的中等功耗機房的CFD模擬結果基本一致。

4.4 下送風機房專用空調案例實測

該機房共88個機架，單機架平均額定功耗5kW，單臺空調制冷量90kW，空調數量為8臺（6用2備），采用冷通道封閉形式。服務器實測功率為334.4kW，空調實測功率為38.4kW，空調末端PUE為1.11。

如圖26所示，該下送風機房熱通道局部溫度較高，原因主要是機架功耗分布不均勻，個別機架功耗達到了5kW以上，制冷不均，與上文采用下送風機房專用空調的中等功耗機房的CFD模擬結果基本一致。

5 工程應用分析

實際工程中機房空調末端的選擇是一個綜合比選的過程，不僅要考慮機房功耗，還要權衡運行安全級別（客戶接受度）、服務器裝機率、經濟性、快速部署能力以及運維便利性等多方面因素[7]。本節基于之前的CFD模擬結果和案例實測數據，對幾種機房空調末端的實際工程應用進行了綜合分析。

5.1 應用廣泛性與節能性

制冷能力方面，三種新型空調末端（熱管背板、水冷前門、列間空調）相比下送風機房專用空調具有更廣的適應性，特別是機架級制冷的熱管背板和水冷前門，還能靈活應用在單機架功耗相差較大的混合型機房。

此外，由于采用就近制冷，新型末端貼近發熱設備，幾乎沒有輸送損耗，可以一定程度上提高冷凍水水溫，提高主機能效，降低冷源側能耗，在寒冷地區還可以延長自然冷源利用時間，節能意義重大。并且，就近制冷時末端所需風壓小，再配合EC風機的使用，使新型空調末端比下送風機房專用空調取得更好的節能效果，并且機房功耗越高，節能效果越好。

5.2 運行安全性

采用下送風機房專用空調時，設備及管路布置在空調區（有隔墻或擋水圍堰），水不進入機房區，安全性較高。

采用列間空調（水冷）和水冷前門時，水進入機房區。兩種技術均需在機房防靜電地板下布置管路，管路布置區兩側需要設置擋水措施，其中，水冷前門還需要冷凍水進入每個機架前門內[8]，實際運行時有一定安全隱患。

采用熱管背板時，機房內僅布置冷媒管，水管及閥門布置在空調區。

綜上所述，下送風機房專用空調安全性最高，其次是熱管背板，然后是列間空調（列間），最后是水冷前門。

5.3 服務器裝機率

不同空調末端所需的土建安裝條件不同，因此會對機房的最大服務器裝機量產生影響，表3列出了同一標準機房條件下，不同空調末端的服務器和空調設備裝機量。

可見，采用水冷前門時服務器裝機率最高（約0.34機架/m2），其他幾種技術裝機率差不多（約0.29機架/m2），列間空調在中高功耗機房的裝機率略低（約0.28機架/m2），分析原因主要是：采用水冷前門時，機房區空調不占用機架位置，且空調區僅走水管，所需面積較小；采用下送風空調和熱管背板時，機房區空調不占用機架位置，但空調區要布置設備和走水管，所需面積較大；采用列間空調時，空調區僅走水管，所需面積不大，但機房區要布置設備，占用一定數量機架位置，并且隨著機房功耗增加，占用的機架位置也會增加。

表3 同一標準機房中服務器和空調裝機量對比表

5.4 經濟性分析

在同一標準機房中，不同機房功耗在應用不同空調末端時，末端初投資、運行費用會有較大差別。如表4所示，折算成單機架的數值來對比，則下送風機房專用空調初投資最小，新型末端中列間空調初投資最小，水冷前門和熱管背板基本相同；年運行電費方面，三種新型末端均遠小于下送風機房專用空調，其中列間空調略高，水冷前門和熱管背板基本相同。

表4 新型空調末端經濟性指標對比表

備注：1.上表計算參數依據“表1”； 2.各種空調末端PUE值按實測案例數據作為參考，暫不考慮不同功耗機架下的PUE差異；3.為了簡化計算，上表中電價設定為1元/kWh。

對比下送風空調的初投資和運行費用，可以分別計算三種新型末端的相對投資回收期。如表4所示，機房功耗一定的前提下三種新型末端的投資回收期差別不大，當單機架功耗低于6.6kW時，列間空調的投資回收期最小，但是，隨著機房功耗的提高，三種新型末端的投資回收期均呈現逐漸降低的規律，這也印證了上文中關于新型空調末端“隨著機房功耗增加，節能效果越好”的結論。

5.5 快速部署能力

在施工安裝方面，幾種空調末端均需要預留足夠的空調區面積和架空地板高度（熱管背板無需架空地板）。下送風機房專用空調施工僅在空調區進行，可以與機房區同步施工；水冷前門和熱管背板如果采用“空調+機架”一體化采購，則空調和機架可同時落位安裝；列間空調在安裝時需要和機架配合，如果先安裝機架則需預留空調位置，如果先安裝空調則需預留機架位置[8]。

綜合起來，水冷前門和列間空調需要預留架空地板，且地板下水管安裝稍復雜；熱管背板為機架頂部安裝冷媒管，需要避讓其他專業的走線架，但銅管安裝稍容易。所以，一體化采購的熱管背板快速部署能力較高。

5.6 運維安全性和便利性

下送風機房專用空調的日常運維僅在空調區進行，無需進入機房區，運維方便，機房運維安全級別高；三種新型空調末端的日常運維均需進入機房區，運維安全級別稍低。

6 結論

本文通過選取南方某數據中心某一標準機房建立CFD計算模型，首先利用Fluent計算得出該機房不同應用場景（不同機房功耗，不同空調末端）下的溫度場和速度場分布，通過對比其他項目中三種新型末端的機房環境實測數據，表明在目前數據中心單機架功耗越來越高的背景下，新型空調末端相比傳統下送風機房專用空調更具優勢：

（1）對于中、高功耗機房，下送風機房專用空調容易產生制冷不均的問題，會導致機房局部過熱，并且受機房空調區面積限制，高功耗機房中下送風機房專用空調的安裝位置十分緊張。

（2）對于高、中、低功耗的機房，三種新型空調末端（熱管背板、水冷前門、列間空調）均能滿足制冷要求且氣流組織良好，對比下送風機房專用空調均有較好的節能效果，并且機房功耗越高，節能效果越好，但需要限定機架服務器為前進風、后出風的氣流組織形式。

（3）熱管背板和水冷前門可以保持機房整體環境溫度在26℃左右，為機房或設備運維人員提供了良好的操作環境；列間空調僅保持機房封閉冷通道溫度在26℃左右，熱通道溫度較高，運維人員在熱通道的操作環境較差。

此外，本文基于CFD模擬結果和案例實測數據，通過對幾種機房空調末端的工程應用進行了全面分析后發現：低功耗機房推薦采用下送風機房專用空調：投資少、安全級別高、安裝和運維方便，機房環境溫度亦可滿足；對于中、高功耗機房則宜優先考慮新型末端，雖然投資高，但是制冷效率高，運行費用少，并且制冷效果也較好，如果同時需要較高的運行安全性（水不進機房），則熱管背板最佳。

[1] 羅海亮,婁小軍.數據中心冷水系統空調末端分析[J].暖通空調,2016,46(10):38-41.

[2] 劉成,陳樂天,王穎.通信機房空調氣流組織合理化研究[J].建筑熱能通風空調,2010,29(5):80-84.

[3] 錢曉棟,李震.數據中心空調系統節能研究[J].暖通空調,2012,42(3):91-96.

[4] 鐘景華.新一代綠色數據中心的規劃與設計[M].北京:電子工業出版社,2010．

[5] 陳文婷,陳華,謝春輝,等.數據中心背板空調換熱特性分析[J].制冷與空調,2015,15(1):27-30.

[6] 高彩鳳,于震,吳劍林.典型數據機房熱環境分析及氣流組織優化[J].暖通空調,2013,43(9):101-106.

[7] 陳延鈞.高熱密度數據中心水冷解決方案[J].智能建筑與城市信息,2008,(7):23-26.

[8] 安真.某高密度數據機房解決方案淺析[J].暖通空調,2014,(10):38-40.

Analysis on a Variety of Air-conditioning Terminals Based on Computational Fluid Dynamics(CFD) in Data Center

Lai Bonian1Zhang Jianlin1Chen Wen1Yin Jin1Chen Wensheng1Zhang Meng2Yang Jianfeng2

( 1.China Mobile Group Guangdong Company Limited, Guangzhou, 510623; 2.Jiangsu post and Telecommunications Planning and Designing Institute Co., Ltd, Nanjing, 210001 )

Taking air-conditioning terminal of chilled water system in data center as the study object. Combination of practical projects, using CFD simulation method to model and simulate the 4 air-conditioning terminals which is applied to a standard computer room. Furthermore the 4 air-conditioning terminals were discussed comprehensively in practical project application from the points of energy-conservation, safety, economic, maintenance convenience, in order to provide basis for designing the air-conditioning terminal in data center.

data center; Chilled water; air-conditioning terminal; CFD simulation

1671-6612（2017）06-565-11

TU831

A

賴柏年（1976.02-），男，研究生，E-mail：liter@139.com

楊劍峰（1986.01-），男，碩士，工程師，E-mail：yangjianfeng@jsptpd.com

2017-03-30