數據機房機架式服務器空氣流動的數值模擬

朱鑫姝，殷 勇，鄧佩剛

武漢工程大學光電信息與能源工程學院，湖北 武漢 430205

在信息發展迅速的時代，需要利用信息設備來儲存及處理信息，而數據中心則是用來存放成百上千臺信息設備的場所，人們日常生活或國家經濟發展都離不開數據的儲存。但數據中心內存放和管理著大量的信息設備以及一些其他的設備，且這些設備為了保證正常處理信息，需要一直運行，甚至在信息量大的時候需要超負荷運轉，這不僅帶來了大量的電力消耗，還會產生很大的熱量，需要空調系統幫助散熱。目前1臺1U服務器額定功率大約400 W，單個機架的發熱量約4 kW以上，整個機房的發熱量可達上百千瓦以上［1-2］。要想對數據中心提出合理化的節能建議，需要對數據機房進行合理建模，以便更好地模擬機房內部的流場和溫度場。

為了解決這一問題，前人做了許多研究。馬欣宇等［3］以南京某數據機房為模型，分析了幾種變工況情況下數據機房內熱環境的瞬態變化的過程，研究發現當服務器發熱量增加后，機架的平均出口溫度隨時間呈指數增長，在空調停止制冷時，機架的平均出口溫度隨時間線性增長。Cho等［4］以某高熱流密度數據機房為研究對象，研究了安裝簡單擋板是否能改善冷熱氣流的混合情況，研究表明未安裝隔斷墻時，IT服務器所在高度的高低溫差最大可達15℃，安裝通道隔斷墻時，高、低溫差小于10℃，且防止氣流再循環使IT服務器室回風格柵所在位置的平均溫度降低約1.4℃［5］。逢書帆［6］以上海某數據中心為模型，針對機房內出現的氣流分布不均等問題提出建議，結果表明當靜壓箱的高度為0.8～0.9 m，地板開孔率為40%～50%時，氣流組織效果最好，機房內熱環境也能被有效改善。張振國等［7］以北京某數據機房為例，研究了靜壓箱的不同高度對機房環境的影響，結果表明當靜壓箱的高度選擇為0.4 m時，靜壓箱內的電纜和橫梁對機房內整體的氣流組織影響不大。李俊［8］等針對重慶某數據中心園區進行研究，結果發現采用冷凍水回水余熱利用方案可減少38.5%的能源消耗，且投資成本更小，經濟效益也更顯著。Fulpagare等［9］主要研究了靜壓箱內的障礙物對機房熱環境的影響，對7種不同布局的模型進行計算流體力學（computational fluid dynamics，CFD）仿真模擬，研究發現靜壓箱內的障礙物會影響機房內空氣流量的下降，最高可達80%，而空氣流量下降則會導致機房內出現更多的局部熱點。Nada等［10］對不同配置的CRAC機組和冷熱通道分離情況下的數據中心進行CFD仿真模擬，研究發現機房空調（computer room air conditioners，CRACs）機組的布局對兩側和中間機架的熱環境影響很大，且采用冷通道封閉的方法能有效改善機房內的熱環境。Ling等［11］采用CFD方法研究了氣流通過一個具有矩形圓柱陣列的孔板，并給出一個壓力損失系數的擬合計算公式，該公式通過驗證對數據中心中最常用的孔板進行壓力損失系數的計算效果更好。樊亞男［12］對3種不同的地板送風方式進行CFD仿真模擬，研究發現從地板出風是否均勻和冷量利用的效率兩方面來判斷，地板雙側送風并在靜壓箱內加豎直擋板比地板單、雙側送風效果更好。

通過對前人研究成果的總結，發現人們對機房的節能研究主要側重于服務器排列方式、機架布局的優化、靜壓箱內的送風方式優化和格柵開孔率對氣流組織的影響等方面，但對機柜內服務器的優化模擬方法的研究還相對較少。針對該問題，課題組針對實際運營的多個機房展開了應用研究。現在的大部分數據機房都包含上百個機柜，其中每個機柜又包含不同數量的服務器，且服務器擺放位置也不一致，如果在前期建模過程中將每個機柜內的服務器都還原出來的話，將會導致巨大的工作量和計算量，因此課題組對機柜內服務器的簡化做了一些研究［13-14］，由于服務器的尺寸相較于整個機房來說較小，所以前期建模時對服務器設置的節點較少，在以整體機房為研究對象時，這種處理方法是可行的，計算得到冷熱通道送回風處的溫度、風速等也與實驗測量數據吻合。之后課題組研究發現，當需要研究服務器進出口處的流場而對服務器進行節點加密時，服務器進入的氣流會產生回流，從而導致服務器出口氣流溫度差距過大，這與實際運行情況不符。通過文獻調研，為了避免回流，人們會盡可能還原機架式服務器的物理模型［15］，但這樣處理會像上述所說帶來巨大的計算量，并且對機架式服務器進行處理是為了得到更準確的數據機房內部的氣流組織及熱環境情況，而非關心服務器內部情況，后者屬于服務器級的模擬而非機房級的模擬。為解決這一問題，本文提出一種優化模型，用多孔介質區域模型模擬服務器內部流場情況，這一改進將更加符合服務器內部流動規律，使模擬結果更貼近實際運行情況，而又不會增加太大的計算開銷。在本課題組前期的精密空調模型研究中，多孔介質區域模型已經成功應用［16］。

本文以單塊孔板上方的冷通道區域及其相鄰機柜內的服務器作為研究對象，建立3種CFD計算模型：一是能還原出該機柜內每臺服務器的實體模型（real geometrical model），該模型能體現空氣流過該機柜每個服務器的真實情況；二是原始模型（original model），按照實體模型將服務器簡化成上、中、下3個高度為8U的區域，出口面設置多孔階躍模型模擬氣流通過服務器產生的壓力損失；三是優化模型（optimal model），即在保持原始模型幾何簡單的優勢下，采用多孔介質加風扇模型的方法避免了回流情況的出現。為了對比3種模型的準確性和高效性，即對比模擬得到的各模型中的流場溫度場與實驗測量數據是否吻合，以及對比各模型計算的開銷，對3種模型進行實驗和模擬研究。研究中采用在該機房實地測量的實驗數據作為上述3種模型的邊界條件進行模擬計算及結果分析，并將冷熱通道內的空氣流速與溫度的模擬結果與測量值進行了比較。

1 模型計算

1.1 機房及模型概述

該機房的冷通道內部分布如圖1（a）所示，冷通道左右兩列的機柜內部IT設備的分布如圖1（b）所示，冷通道內熱成像儀圖如圖1（c）所示。機房其圍護結構均具有良好的隔熱措施，內部使用架空地板送風、無管道自由回風的氣流組織形式。單個機柜深1 m，寬0.6 m，高2.2 m。

截取圖1（a）中單個孔板上方冷通道及其相鄰機柜內服務器的區域，如圖2（a）所示，作為建模對象示意圖，考慮到該機柜內部的服務器是沿著高度方向兩兩相鄰，不相鄰的服務器之間在進風口側存在擋板，流體只會從服務器的進風口進入內部，且本文關注的研究范圍是送風地板以上的流場和溫度場，所以在CFD模擬時省去靜壓箱和擋板后面空氣無法流過的部分。由于選取的機架的布置具有對稱性，利用其對稱面，設置空氣進口面和上頂面為wall，其余3個側面為對稱面。

圖1 機房內部：（a）冷通道，（b）服務器，（c）冷通道熱成像儀圖Fig.1 Images of data center room：（a）cold aisle，（b）IT equipment，（c）thermal infrared image of cold aisle

本文將比較研究3種不同建模方法的計算結果，圖2（b）是完全還原服務器的布置方式的實體模型圖。圖2（c）是原始模型和優化模型的計算模型圖，這兩種模型對機柜內的服務器做了不同的簡化。3種模型冷通道進風口的邊界條件和服務器發熱功率相同，因此使用測量值作為它們的邊界條件。研究中采用Testo400多功能測量儀來測量風速及其溫度，其測量精度分別為±0.1 m/s和±0.1 K；采用Fluke TiX640紅外熱成像儀獲取通道內的溫度場及機柜表面溫度，其測量精度為±1.5 K。在該機柜相鄰的孔板上方10 cm區域內任取3點分別測3組速度值和溫度值，得到平均速度1.33 m/s，溫度293.35 K；另根據所測電流計算出單個機柜發熱量為4 857 W，該機柜內的服務器運行中已做負載均衡處理，各服務器運行電流差別不大，本研究中設置服務器的體積熱源為7 580 W/m3。

1.2 模型的建立與處理

1.2.1 實體模型根據選取的機柜內服務器擺放的真實情況繪制CFD計算模型［圖2（b）］。另外在服務器進口設置平面風扇模型；將服務器簡化為體積熱源，服務器出口設置成壓力出口，其壓力為0 Pa。

圖2 研究對象模型圖：（a）機房送風通道，（b）實體模型，（c）原始模型和優化模型Fig.2 Models of research objects：（a）air supply channel，（b）real geometrical model，（c）original/optimal model

1.2.2 原始模型在節點取的比較少的情況下建立原始模型如圖2（c）所示，即將3個8U的服務器布置在機架上、中、下3個區域。另外服務器進口設置為平面線形風扇模型，將服務器簡化為體體積熱源，服務器出口設置多孔階躍模型模擬氣體流經服務器產生的壓降，具體參數如下：α為1.76×106m2，阻力系數為9 865 m-1，孔板厚度為3 mm。

1.2.3 優化模型本文提出的優化模型是對原始模型［圖2（c）］的改進，依然采用3個8 U的服務器布置在機架上、中、下3個區域的模型，但采用多孔介質方法和體積熱源來模擬服務器內部的流動和換熱情況。服務器進口設置為平面線形風扇模型，出口面設置成壓力出口，出口壓力為0 Pa。采用多孔區域模型設置X、Y、Z3個方向上的阻力，保證與實際流場情況一致，避免產生回流。

多孔區域內流場分析所需的粘性阻力系數和慣性阻力系數可由下列公式得到：

其中，μ是空氣的層流黏度，α是介質的滲透率，u是空氣的速度，ρ是流體的密度，Du取值為212 154。多孔區域內能量方程采用平衡態進行計算：

其中，Ef是總流體能量，Es是固體介質總能量，ρf是流體密度，ρs是固體介質密度，γ是介質孔隙率，Keff是介質的有效導熱系數，Shf是流體焓源項。介質的有效導熱系數由公式（4）得出：

其中，Kf是流體導熱率，Ks是固體導熱率。本模擬計算中γ取值為0.5。

2 CFD模擬計算結果

以1.1中Testo400多功能測量儀所測出的進口處氣流速度和溫度的平均值作為模擬邊界條件，通過軟件FLUENT仿真得到3種模型的計算結果。因機柜擺放具有對稱性，在Y軸上的不同截面速度和溫度分布比較相似。為了便于比較，根據圖2（b）中的坐標軸，截取3種模型在Y=0.3 m平面上的速度矢量圖如圖3所示，溫度云圖如圖4所示。

圖3 速度矢量圖：（a）實體模型，（b）原始模型，（c）優化模型Fig.3 Vector graphs of velocities：（a）real geometrical model，（b）original model，（c）optimal model

圖4 溫度云圖：（a）實體模型，（b）原始模型，（c）優化模型Fig.4 Temperature contours plots：（a）real geometrical model，（b）original model，（c）optimal model

原始模型和優化模型對機架里的服務器進行了不同方法的簡化處理，3個模型的速度矢量圖如圖3所示。可以看出實體模型在每個服務器內的氣流分布都比較均勻平穩，能夠與每個服務器都進行良好的換熱。原始模型中最上方的服務器區域比較符合現實情況，但最下面服務器內部的氣流會產生回流，從而導致服務器區域部分溫度過高，出口溫度差距過大，這與實體模型中對應的服務器內部流動情況差別太大。圖3（c）為優化模型的計算結果，其整體的速度分布相較于原始模型更加均勻平穩，符合現實情況中服務器內部氣體流動情況，也更貼近實體模型的速度分布。

圖4為3種模型的溫度云圖，可以看到優化模型的溫度變化趨勢與實體模型非常接近，原始模型與實體模型存在很大的差異。在實體模型和優化模型的溫度云圖中，每臺服務器內部溫度變化趨勢都比較一致，是因為該機柜中12臺服務器的負載均衡的原因，在現實情況中每臺服務器發熱量相差不大時，內部風扇會根據該服務器自身散熱情況調整轉速，以便更好散熱。由于模擬中進口面的氣流方向垂直向上，所以大部分冷空氣進入靠近上方的服務器，因此利用風扇模型調整每臺服務器內部進風量的大小，保證每臺服務器的散熱情況相對一致。原始模型和優化模型中關于風扇模型的設置是一樣的，但由于原始模型中的服務器內部會產生回流，其溫度云圖與實體模型差別較大。且實體模型與優化模型的溫度云圖中可以看到在冷通道內的氣流溫度在293.3 K，出口溫度在303.3 K左右，與圖1（c）冷通道熱成像儀圖中展示的溫度接近。

為了更好的定量比較，在沿著服務器深度的方向即沿著X軸方向選取A、B、C、D共4個點（見圖4），在這4個點的垂直方向上即Y軸方向選取12個服務器對應的高度中心點，讀取3種模型在各個點對應的溫度值，繪制成圖5。可以看到實體模型中12個服務器在同一位置的溫度幾乎保持一致［圖5（a）中，溫度都在295 K左右］，與上面分析的情況一致。通過對比，發現優化模型的曲線與實體模型的曲線非常吻合，溫差最大相差1 K，誤差在0.3%以內，而原始模型的曲線則與另外兩條曲線差距較大，尤其在圖5（c）和圖5（d）中，原始模型的最高和最低溫度都偏離另外兩種模型的溫度，出現這種情況的原因是原始模型中的氣流產生了回流，大部分的冷空氣集中在服務器上方區域，所以導致在接近出口的位置中下方的氣流溫度過高，而上方的氣流溫度卻很低。

圖5 四點溫度對比：（a）A點，（b）B點，（c）C點，（d）D點Fig.5 Temperature comparisons of four points：（a）point A，（b）point B，（c）point C，（d）point D

在從下往上第1、4、7、10個服務器的高度中心點位置分別沿著氣流流動即X軸方向選取若干個點，讀取3種模型在各個點對應的溫度值繪制成圖6。可以看到實體模型和優化模型中空氣的溫度沿著X軸方向而逐漸升高，這符合冷空氣在服務器內部進行換熱的情況。并且通過圖6的對比，可以看出優化模型的曲線與實體模型的曲線非常吻合，溫差最大只有0.8 K，誤差在0.3%以內，而原始模型在有些區域的溫度變化比較貼合實體模型，但在大部分區域，原始模型的曲線與另外兩條曲線差距較大。

圖6 沿氣流方向服務器內部溫度對比：（a）服務器1，（b）服務器4，（c）服務器7，（d）服務器10Fig.6 Air temperatures along flow direction in servers：（a）server 1，（b）server 4，（c）server 7，（d）server 10

最后為了驗證3種模型的結果是否正確，將3種模型的模擬結果與實驗測量數據進行對比，本研究中冷通道內的實驗測量數據包括在地板正中間（X=0.3 m、Y=0.3 m）的位置上，高度每隔0.3 m測一組速度值和溫度值，總共測6組。每組數據測3次后取其平均值作為實驗測量數據，并與差值最大的數據相比算出實驗測量數據的誤差值。在模擬結果中同樣選取冷通道內X=0.3 m、Y=0.3 m的位置，在該點的高度上每隔0.3 m讀取一次速度值和溫度值，由于實測中在高度為1.5 m和1.8 m處的流速已經很低，超過了所用測量儀器的范圍，所以這2個點沒有計算在內。

將所測4個高度點的測量值進行對比并繪制圖7（a）和圖7（b），結果顯示在這3種模型中，冷通道內沿著高度方向的速度和溫度與實驗測量數據相吻合，速度最大誤差為4%，溫度最大誤差為0.03%，其中優化模型的冷通道內速度和溫度與實驗測量數據的最大誤差分別為3.7%和0.03%。除了冷通道的數據測量，還進行了熱通道內的溫度測量，即在熱通道內沿高度每隔0.3 m測一次溫度值，總共測6組，每組數據也同樣測3次后算出其平均值作為實驗測量數據。在模擬結果中讀取服務器出口面上各個高度點的溫度值，由于高度為0.3 m的點在模擬結果中無法測得（第一臺服務器高度為0.35 m），所以能夠使用的實驗測量數據只有5組，這些點的相對位置見圖2（b）和圖2（c）中P1-P5所示。將計算模擬溫度值與實測值進行比較繪制成圖7（c）。結果可以看出優化模型的出口溫度與實驗測量數據最為接近，溫度最大相差為2 K，誤差在0.6%以內；實體模型與實驗測量數據最大溫差為2.5 K，誤差在0.8%以內；而原始模型的溫度值出現較大跳躍，這是因為原始模型中產生了回流情況，導致出口面上各點的溫度值差距過大，這也與現實情況不符。

圖7 模擬結果對比：（a）冷通道內速度，（b）冷通道內溫度，（c）服務器出口面溫度Fig.7 Comparisons of simulated and measured results：（a）air velocities in cold aisle，（b）air temperatures in cold aisle，（c）air temperatures at outlet surface of server

最后對3種模型的計算成本進行比較，發現相比于實體模型，原始模型和優化模型均能節約計算時間，分別節省了20%和58%。在同樣的CFD計算模型的條件下，原始模型的時間成本更高，是由于模型內部產生氣體回流導致計算更復雜，時間也更長。

3 結論

本文針對機架式服務器的數值模擬提出了一種優化模型的計算方法，該模型利用多孔介質的方法模擬了氣流均勻通過服務器的過程，防止服務器內部產生回流導致出口溫度差距過大。在模擬過程中建立了3種模型進行對比研究，計算結果表明：相比于能還原出服務器擺放實況的實體模型，原始模型和優化模型不同的處理方法能夠分別減少20%和58%的計算時間，但對比3種模型的溫度云圖，發現原始模型與實體模型的溫度場最大誤差高達6.6%，而優化模型與實體模型的溫度場最大誤差為0.3%，且優化模型與實驗測量數據相比，其速度場和溫度場的最大誤差分別為3.7%和0.6%，因此優化模型是一種計算開銷小的數據機房的優化計算模型。