大型數據中心節能設計實例分析

文｜國網信息通信有限公司 郭向東

1 引言

目前，國內大型數據中心如雨后春筍般層出不窮，數據中心面積越來越大，從幾百平方米到幾千平方米，甚至上萬平方米的數據中心越建越多。如此大規模的數據中心對電力的需求也呈現出爆炸式增長的趨勢，因此，節能成為大型數據中心在設計和運行時要考慮的首要問題之一。

據全球最具權威的IT研究與顧問咨詢公司——Gartner（高德納）公司統計，隨著能耗和能源成本的節節攀升，能源支出已成為全球70%數據中心的第二大運營支出項目，僅次于人力成本。鑒于國內的人力成本較低，國內數據中心的能源支出要遠遠超過人力成本。從各大數據中心對電力的需求來看，數據中心已經成為重要的高耗能產業而非“無煙工業”，建設綠色、節能的數據中心急需從概念走向實際。

2 數據中心節能的必要性

按照Tier3或Tier4的標準，數據中心電力應按照1.0～1.6kW/m2的需求進行配置。很多國外數據中心的電力配置更高，例如，美國“圣地亞哥超級計算機中心（SDSC）”的數據中心按照1.42kW/m2配置電力；馬里蘭州畢士大（Bethesda）的“美國國家環境預報中心（NCEP）”的數據中心電力配置達到1.85kW/m2。目前國內新建數據中心的電力配置也基本滿足Tier3或Tier4的要求。根據對國內數據中心的調查統計，面積為1000m2的機房，每年的用電量多在500～700萬度左右，因此節能十分重要。

隨著數據中心的不斷變大，綠色節能數據中心已經由概念走向實際。衡量數據中心節能的指標通常用PUE（Power Usage Effectiveness）值表示，簡單來說PUE=機房總耗電量/IT設備耗電量，PUE越低，說明機房越節能。當PUE=1時，說明機房所消耗的電量全部用來維持IT設備運行，其他設備如空調、照明等沒有消耗任何電力，在理論上是最節能的機房。當然，這在實際中是不可能的，但追求更低的PUE值已經成為數據中心設計的首要目標。例如，微軟公司建在都柏林的數據中心是數據中心設計的里程碑，其PUE值為1.25。據最新報道，Google公司現在已經有部分數據中心的PUE值降低到1.11。

而我國目前數據中心的PUE平均值基本在1.8～2.0，中小規模機房的PUE值更高，大都在2.5以上。這表明國內數據中心在前期規劃及設計時沒有充分考慮節能問題，在數據中心選址、機房裝修、空調制冷、UPS、照明等影響節能的因素上存在設計缺陷，導致PUE值偏高。然而，不切實際的追求過低的PUE值同樣是不可取的，過度追求更低的PUE值通常情況下都需在建設初期投入大量的資金，這對國內的企業是個兩難的選擇。

3 綠色節能數據中心的設計理念

3.1 國外綠色節能數據中心簡介

大型數據中心的建設應以安全、綠色、節能為首要目標，從數據中心的選址、建筑結構、設備選型到機房裝修、空調制冷方案都應充分考慮綠色節能的因素。

國外在這方面有很多案例值得借鑒，例如惠普公司將數據中心建在靠近海邊的溫耶德，將涼爽的海風進行預處理后直接送入機房作為免費冷源。溫耶德數據中心是惠普公司能源使用效率最高的數據中心，據估算滿負荷運行時，該數據中心的PUE值僅為1.16。此外雅虎公司的紐約數據中心、微軟公司的都柏林數據中心等也都采用了冷空氣作為免費冷源的制冷方式，省去了空調制冷設備，取得了非常低的PUE值，提高了電能利用效率。

3.2 節能設計的理念

數據中心節能設計涵蓋多個方面，主要因素當然是空調制冷系統，但UPS、機房裝修、照明等因素同樣影響著PUE值，甚至變壓器、母線等選型也影響著PUE值。對于UPS而言，根據IT設備的實際負荷選擇合理的UPS容量，避免因UPS效率過低而產生較大的自身損耗。同時，選擇更加節能的高頻機、優化UPS拓撲結構都可起到節能的效果。將IT設備專用變壓器布置在靠近服務器機房的地方，可減少母線長度，節約母線的投資，同時在運行時也減少了線損，節約了電費。

在機房裝修方面，對墻、頂、地采用保溫材料也可以取得很好的節能效果。盡量加大架空地板的高度，使風口地板出風更加均勻，提高精密空調制冷效率，同樣有利于機房節能。根據實驗分析，架空地板高度為1200mm比較理想，考慮到其他因素，一般建議取900mm～1000mm為宜。機房內最好采用冷熱通道封閉設計，并利用盲板封堵未安裝服務器的機柜，避免冷氣流“短路”，將極大地提高精密空調的制冷效率。

據美國采暖制冷與空調工程師學會（ASHRAE）技術委員會9.9（簡稱TC9.9）統計報告顯示，數據中心各部分用電量比例如圖1所示。

從圖1可以看出，空調制冷占數據中心總電量的近三分之一，是降低PUE值的關鍵指標。將外界冷空氣進行過濾、加濕后直接送入機房，進而取消空調設備，固然是個很節能的方案，但對國內的空氣質量而言，其用在空氣過濾及加濕上的費用及人工費用恐怕要遠高于電力費用，不具有大規模的使用價值。

筆者近年來參與了多個數據中心的建設和運維工作，其中用到了“自然冷卻”這個技術，取得了很好的節能效果。根據數據中心設計和運行時出現的問題，談一下筆者的心得，供讀者參考。

4 綠色節能數據中心的建設實例

4.1 項目背景

該項目位于北京地區，數據中心建筑面積約2萬平方米，其中機房面積約1萬平方米，由若干個機房模塊組成，服務器機房的IT設備熱負荷及環境熱負荷達到1.4萬千瓦。面對如此巨大的發熱量，采用傳統的風冷式精密空調顯然不適于本項目。在進行前期制冷方案論證時，根據北京地區冬季時間長、氣溫低的特點，決定采用空調冷水機組+板式換熱器相結合的“自然冷卻”制冷方案，在機房內通過冷凍水型精密空調向IT服務器提供冷源。

采用冷凍水制冷方式比傳統的風冷制冷方式更加節能，這種系統在機房內采用低溫冷凍水對IT設備降溫，再將機房內的熱量輸送到戶外，采取水蒸發的方式進行散熱。由于采用了高效率的大型冷水機組及散熱冷卻塔，再加上對水系統采取嚴密的控制措施，可以使冷卻效果得到更好的保證。

4.2 實施方案簡介

“自然冷卻”即“FREE-COOLING”技術是一個非常廣泛的概念，簡單來說只要利用外界自然條件減少耗電制冷的技術都可稱之為“自然冷卻”。本項目中制冷系統在冬季和夏季采用不同的運行模式實現節能。在冬季及過渡季節，當外界濕球溫度小于4℃時，采用FREE-COOLING運行模式，即冷水機組停止運行，經冷卻塔散熱后的冷卻水和從精密空調來的冷凍水在板式換熱器內進行熱交換，將機房內的熱量帶走，此時冷卻塔起到冷水機組的作用。在此過程中僅冷卻塔的風扇、水泵及精密空調等設備在耗電，而冷水機組完全沒有耗電。在夏季及過渡季節，當外界濕球溫度高于4℃時，FREECOOLING運行模式已無法滿足數據中心制冷需求，此時冷水機組開始制冷，回到傳統的空調壓縮機制冷模式運行。

4.3 技術要點

4.3.1 數據中心制冷系統設計

作為數據中心的關鍵基礎設施，冷凍站的設計是最重要環節。本項目設置兩個相對獨立的制冷機房，每個冷凍機房有兩臺3500kW（合1000RT）的離心式冷水機組，三用一備。冷凍水供回水溫度設定為11℃/17℃。考慮前期負荷較小，為避免離心式冷水機組在低負荷時發生“喘振”現象，系統配置兩臺400RT的螺桿式冷水機組。板式換熱器按冷凍水11℃/17℃ ，冷卻水 9℃/14℃進行設計。

為實現制冷系統的不同運行模式，冷凍水泵選擇了兩種不同揚程的變頻水泵以適應FREE-COOLING運行模式和冷水機組制冷模式。

4.3.2 空調水系統設計

為避免空調水系統的單點故障，空調冷凍水系統采用環狀管網加按模塊組設枝狀管網的方式。各模塊組內空調管網上的閥門配置原則應滿足：當一組閥門發生故障時，受影響的負荷不大于30%的模塊負荷。冷卻水主環管道設置在室外冷卻塔下，為平衡各管道的壓降，在所有回水主管設置平衡閥。

鑒于數據中心全年不間斷運行的特點，要求空調水系統也應具備全年不間斷。因此設計空調水系統時必須充分考慮安全可靠性和可在線維護性。空調水系統一旦發生泄漏，將造成毀滅性的事故，需要采取特殊的措施加以防范，在保證數據中心運行的同時，實現安全更換閥門、管件等設備。

4.3.3 空調系統控制邏輯

在制定空調系統控制邏輯時，首先基于冷水機組、水泵、冷卻塔的能耗數據及北京地區的氣象條件，提出了合理的節能系統流程圖，并與假定冷水機組全年運行的能耗數據進行比較，在理論上做出節能運行分析。

其次，為了保證空調系統安全、節能運行，本項目中控制邏輯分為夏季和冬季兩種模式。在由冷水機組轉換到自然冷卻時，為了避免冷水機組發生低溫保護，必須首先開啟冷卻水管道的旁通閥，將冷卻水水溫提高，以便順利開啟冷水機組。

冬季自然冷卻時，冷卻塔處于低溫環境，而冷卻塔又必須供應低于冷凍水溫的冷卻水（比如6℃～8℃的冷卻水），控制邏輯必須防止冷卻塔結冰現象的發生。

控制邏輯還需采取必要的措施以應對極端情況，如傳感器失靈、斷電重啟等。在本項目中為了減少斷電重啟所需的時間，本系統中所有電動閥門由UPS供電。

4.4 節能方案所取得的效果

根據實際運行經驗，本數據中心最遲從每年的12月中旬就可啟用FREE-COOLING運行模式，一直可持續到第二年的3月底至4月中旬，每年至少可使用3.5～4個月的免費冷源，節能效果非常顯著。

表1是我國北方某數據中心的2010年7月份至12月份的用電量統計及相應的PUE值，該數據中心所采用的空調制冷方案與本文數據中心所采用的方案完全相同。

從表1可知，8月份 IT設備的負荷比7月份有所增加，因此8月份的PUE值比7月份略有降低。9、10月份平均氣溫低，此時冷卻水溫度較低，冷水機組效率得以提高，因此9、10月份的PUE值比7、8月份PUE值明顯偏低。因當年11、12月份的氣溫較低，該系統已完全具備FREE-COOLING運行模式所需的條件，冷水機組壓縮機已停止工作不再耗電。因此，此時雖然UPS的用電量在逐步加大，但空調的用電量卻比7、8、9、10月份的用電量還要低，PUE值從1.76降低到1.33，節能效果非常明顯。

4.5 尚需完善的環節

本項目中采用的冷卻塔+板式換熱器模式與冷水機組運行模式是并聯的關系，在同一時間只能有一種模式在運行，兩種模式不可同時運行，即在冷卻塔+板式換熱器模式運行時冷機是無法運行的。然而，更加節能的方式是冷卻塔+板式換熱器模式與冷水機組模式進行所謂的“串并聯”運行。即在春、秋過渡季節，當氣溫稍低，但又不具備FREE-COOLING運行條件時，可以采用冷卻塔+板式換熱器模式+冷水機組運行模式，使冷水機組工作在部分負荷下，即冷凍水首先通過冷卻塔+板式換熱器先進行降溫，降溫后的冷凍水在冷機開啟的情況下可以達到更進一步的節能，這種空調制冷方案可以更充分地利用空氣自然冷卻，在北方地區每年從10月初開始至次年的5月初，每年有近7個月可以使用免費冷源，節能效果非常明顯。

5 對數據中心節能的簡單思考

綠色數據中心已經不再是一個概念，任何大型數據中心的設計必須優先考慮節能問題，數據中心已經成為高耗能的產業。以北京亦莊經濟技術開發區來看，其轄區所建的幾個數據中心的耗電量均排在前列。數據中心節能不僅是設計階段的任務，同時更是運行階段的主要目標之一，國際上有越來越多的數據中心設計和管理人員在討論現有的數據中心運行溫度是否太低，認為應該設置到81華氏度（27.2℃），甚至有人建議達到95華氏度（35℃）。據了解，國外某些機房就是按照這個溫度運行，效果很好。據有關報道，制冷參數變化1℃，可能會產生5%～10%能耗變化。

我國現行的機房標準對溫度設定過低，不利于機房節能。提高機房溫度所帶來的最大益處是可以延長自然冷卻的使用時間，提高精密空調送風溫度和提高冷凍水出水溫度。

表1