制冷：數據中心節能的關鍵

在數據中心里制冷是耗電大頭，高效制冷是數據中心高效節能的關鍵。

一直以來，降低數據中心的電能消耗、提升能源利用效率都是數據中心的核心需求之一。根據有關機構的統計，用電成本占數據中心整體運營成本的40%，4年的電費就可以重建一個數據中心，而在數據中心的電力消耗中制冷又是大戶，占30%，與IT設備用電相當。

因此，降低制冷用電量對降低數據中心的電能消耗至關重要，特別是如今數據中心正在朝著規模化、大型化發展，對供電部門而言，保障這些巨型數據中心的電力供應存在不小挑戰，而在國家大力推進節能減排政策的背景下，這一需求就更加凸顯。

根據長期從事空調系統設計的中訊郵電咨詢設計院建筑設計部高級工程師李紅霞教授的設計經驗，在一個典型的T3級數據中心中，空調用電基本接近IT設備，由于IT設備用電屬于剛性需求，因此數據中心節能很大程度上依靠空調系統。不僅如此，在數據中心的各種投資構成中，空調配電系統占比也超過20%。

“可以說，空調系統既是數據中心的基礎保證，又是建設中的主要成本，而且是運營成本的關鍵指標，所以合理設計和選擇空調系統對數據中心非常關鍵。”李紅霞表示。

節能的自然風冷卻

鑒于在常規數據中心中，空調系統無論是其構建成本還是用電成本都是數據中心的各項成本構成中的重要部分。因此，一個很自然的想法就是去掉空調。其中，最為常見的就是利用自然風，特別是在一些高海拔和高寒地區，這一想法得到了很好的實踐。

Google在比利時的圣吉蘭（Saint Ghislain）數據中心就根本沒有冷卻裝置，完全依靠純自然冷卻，即用室外的新鮮空氣來為數據中心降溫。此外，Google還透過“蒸發冷卻”的方式來降低空調冷卻的費用。Google位于俄勒岡州的數據中心，其冷卻水塔采用蒸發冷卻的方式，即先將數據中心所產生的熱用冷卻水來降溫，這些熱水再通過冷卻水塔與外界的冷空氣進行熱交換，來達到冷卻的目的，這就不需要額外負擔電費來將熱水降溫了，通過這種“免費的冷卻模式”來降低數據中心空調的電費。

Oracle公司在美國猶他州鹽湖城的數據中心也是利用自然冷源來對數據中心進行降溫的范例。鹽湖城在夏季的平均溫度低于33度，白天平均溫度只有22度。Oracle鹽湖城的數據中心全年有近6800小時可以直接利用室外新風來降溫，這使得該數據中心整體能耗保持在較低水平，PUE值約為1.3～1.5，直接降低了整個數據中心的電力成本和運營成本。

位于瑞典、有Facebook最高效和最可持續的數據中心之稱的“呂勒奧2號”，其一個獨特之處也是采用了無空調設計，從而實現了低于1.5的PUE值。

不過，有業內專家指出，自然風冷卻受限于自然條件。這里的自然條件不只是當地是否寒冷，還與其他環境因素相關。比如，有人曾在中國東北嘗試過自然風冷卻，但由于我國空氣中含有硫等有腐蝕性物質較多，影響了服務器等IT設備的使用壽命，實驗結果并不太理想。因此，目前完全的自然風冷卻在我國的應用并不廣泛。

混合制冷

如上所述，相對于傳統的風冷空調需要耗電來降低數據中心內部溫度，而把新風作為自然冷源就少了這個過程，因而可以帶來明顯的節能效果，進而降低PUE值。但新風制冷有很大局限性。比如，受自然條件影響大，而且初期投資高，需要專人維護，因此，應用范圍有限，通常只能作為輔助的制冷方法。很長時間以來，研究人員一直在探索如何擴大其應用范圍以盡可能發揮自然冷卻的節能特性。辦法之一就是在有條件時采用自然冷卻，其他時候采用常規空調制冷的混合制冷模式。

五年前，艾默生網絡能源在這方面取得突破，在傳統風冷空調系統中加入制冷劑，在同一套制冷系統中實現常規制冷、節能系統制冷兩套循環系統高度一體化，這就是艾默生網絡能源的第一代智慧雙循環節能空調SDC：在室外溫度低于10℃時，泵工作，采用自然冷卻；如果室外溫度高于10℃，壓縮機工作，采用風冷空調系統制冷。

應該說，在空調原有壓縮機系統上增加一套節能泵系統，不是簡單地疊加或者改動，這是一個非常大的創新，這其中涉及很多技術問題，包括泵的選型、如何控制等。

相對于傳統風冷空調，SDC在室外溫度低于攝氏零度時采用自然冷卻，達到了一定節能效果，但低于攝氏零度時才能應用限制了其實際效果。為擴大利用自然冷風的溫度范圍，2015年5月正式推出第二代智慧雙循環節能空調SDC2。

新一代SDC2擁有機械壓縮制冷、混合制冷、自然冷節能三種制冷運行模式。與第一代在攝氏零度以下才能開啟自然風冷方式不同，它在室外溫度低于20℃時能開啟混合制冷模式，從而大大延長了混合制冷時間，給數據中心帶來最高40%的節能效果，以及更低的PUE。

風冷與液冷

在數據中心的節能上研究人員除了在利用冷源上進行探索外，也在冷媒方面投入很多精力，即采用水或者其他冷媒直接對IT設備進行制冷。

很長時間以來，風冷一直是數據中心管理的首選，因為風冷對基礎設施的要求相對低一些，管理上也相對簡單。不過，液冷這幾年異軍突起，特別是隨著虛擬化和云計算的大量應用，數據中心走向大型化，高熱密度成為這些大型和超大型數據中心的常態。對于高熱密度，風冷效率不高的問題開始顯現出來。

液冷的出現就是要克服風冷在應用過程中的瓶頸，特別是對于那些高計算密度的數據中心，高計算密度帶來的高熱密度，在一些場景采用常規的風冷已經無法解決問題，而液冷的效果要比風冷好得多。液冷由此得到應用。

所謂液冷，是指通過某種液體，比如水、氟化液或是某種特殊的不導電的油，來替代空氣，把CPU、內存條、芯片組、存儲介質等器件在運行時所產生的熱量帶走。最常用的液體冷卻技術稱為緊耦合制冷，需要用管道將冷凍液（通常為水或乙二醇）輸送到高架地板之上或者直接把冷凍液輸送到機柜內部，然后通過風和冷凍液之間的熱交換達到給機柜內部降溫的目的。而其工作方式大致可以分為兩種，一種是間接接觸式，即冷板方式，設備本身不直接接觸液體，而是先把熱量傳輸給裝有液體的銅制冷板，再通過液體循環帶出設備，由于冷板只能覆蓋部分發熱元件，其他元件的熱量仍然需要風扇來將熱量帶出去；另一種是直接接觸式，即浸沒方式，即把設備甚至是整機直接浸沒在液體中，再通過液體循環把熱量帶出去。

實際上，為了解決高熱密度機柜中的熱點問題，一些數據中心已經開始轉向到液體冷卻了。據報道，谷歌現有的36個數據中心中絕大部分數據中心都是采用水冷卻裝置。

“一般而言，如果機柜設計功率超過6KW以上，就應該考慮液冷。設計得當，液冷與風冷相比，效率會提高38%以上?！蓖D電子機械技術（上海）有限公司產品經理李晟告訴本報記者。

對于用戶對液冷前期投資成本大的擔心，李晟表示，液冷在基礎設施上的投資的確會高于風冷，但這種投入會在后期的運維上得到回報，更何況對于很多高熱密度機房，液冷幾乎是唯一的選擇。“比如，在一些超算中心，機柜功率可以達到20KW，最高可以達到55KW，對于如此之高的功率密度，風冷是很難滿足要求的。”

他介紹說，液冷技術這幾年也在不斷發展和完善，努力降低投資，并進一步提高制冷效率。比如，威圖通過多年的研究，將液冷的進口溫度從過去的7攝氏度提高到15攝氏度，通過這一提升可以大幅提高制冷效率。

從半液冷到全浸沒式液冷

相對于風冷，液冷涉及到對數據中心的改造，還涉及到用戶的使用習慣（最常見的擔心是怕液體出現遺漏），當然，還有很多復雜的技術細節，比如凝露問題的解決，這些都妨礙了其普及。因而在普及過程也出現了一些混合模式的產品。記者注意到，在日前舉行的曙光技術創新大會上就展出了曙光的液冷服務器TC4600E-LP，其設計為采用液冷+風冷的組合冷卻方式，來實現服務器熱量的有效轉移。具體而言，它在服務器最重要的設備上也是主要的耗能器件——CPU上實現了液冷，而其他器件依然采用了常規的風冷模式，這在一定程度上解決了高熱密度的問題，同時又無需對數據中心進行大的改造。

不過，要真正徹底解決機柜中的高熱密度問題，還得靠像惠普的Apollo 8000這樣的設備。Apollo 8000是惠普去年年中發布的一款高性能計算機，也是首款采用100%水冷設計的超級計算機。Apollo 8000直接用水對CPU、存儲、內存進行冷卻。相比而言這種水冷方式本身消耗功耗更低，散熱也更加直接。Apollo 8000的所有熱傳導都是通過接觸式的傳熱組件來實現的，也就是采用熱管直接接觸散熱配件，中間不存在從水冷到氣冷的轉換，所以它的能效會更好。

目前，研究人員還在研究更為高效的制冷來應對一些最為嚴苛的環境。曙光公司數據中心產品事業部總經理沈衛東介紹，終極的制冷方式應該是全浸沒式制冷，即把所有耗能設備直接浸沒在液體中，這才是一種革命性的變革。不過，技術的復雜性也要高很多，目前還處于研究階段。沈衛東透露，曙光公司已經在著手進行相關的研究，在國外這也是制冷技術中的研究熱點。

提升IT設備工作的標準溫度

對數據中心而言，無論是采用風冷還是液冷，最終目的都是為了確保機房內的IT設備能正常工作。從這個角度說，如果機房里的IT設備即使在高溫環境下也能正常工作，同時也不會影響設備的可靠性和壽命，無疑會大大降低對制冷系統的要求。相關研究顯示，數據中心設備的溫度每上升一度，就會節約4%的電能。實際上，提高IT設備的標準工作溫度也正是當下研究人員的工作方向之一。

目前，IT設備的設計工作溫度一般是20-25°C，同時對濕度和粉塵都有一定要求，為了符合這樣要求，數據中心需要部署空調系統，對入口空氣進行過濾，對濕度進行調節。

其實，IT設備的適應能力要比這好得多。英特爾公司曾做過11個月的對比試驗，讓一部分服務器放在傳統機房環境，另外一些放到開放的環境中。研究人員發現，盡管具有灰塵、有不受控制的濕度以及較大的溫度波動，這些處于室外條件的設備故障率與前者相比只高出了2%，卻節省能耗67%。

實際上，很多著名的互聯網公司，包括Google、Facebook、雅虎等已經在做這方面的嘗試。根據國外媒體報道， 谷歌就將數據中心設備溫度提高到26.6℃運行。Facebook 2011年曾嘗試提高每臺服務器進風溫度，從26.6℃提高到29.4℃，能降低40%的制冷相關成本。值得一提的是，Facebook和谷歌的數據中心為了降低成本，提高了溫度，但它們使用的都是定制的服務器，這意味著它們可以設計服務器的冷卻系統，在較高的溫度下有效運行。實際上，普通服務器也可以在更高溫度下正常工作，雅虎數據中心的工作溫度都接近26.6℃，它們使用的也是普通商用服務器。

不過，相對前面提到的提高制冷效能的各種辦法，提升機房工作溫度一直接受程度不高。因為用戶對這一辦法心存疑慮，特別是擔心對設備的可靠性和故障率產生影響，而這些是很難在短時間里顯現的，因此需要提供權威的第三方認證的證據來讓用戶信服。另外，即使服務器廠商也對此持保留態度，出于保守的目的，它們也不建議用戶這么做。這也在一定程度上了影響了這一方面的普及。

“歸根結底，是因為數據中心是復雜的生態系統，提高機房內的標準工作溫度需要的不僅是在調溫器上的設置，還需要各方面、各環節的配套?！睒I內人士指出。