數據中心節能管理與PUE運營

張順杰

【摘要】 本文通過分析現階段國內數據中心發展現狀及能耗水平，闡述了數據中心節能的必要性；通過引入數據中心能效指標PUE，并分析影響該數值的關鍵因素，提出了數據中心的節能對策—全生命周期節能管理；通過數據中心節能管理實例，從建筑、電力、空調、IT部署等方面闡述了節能降耗的途徑，以期提升數據中心的節能管理水平。

【關鍵詞】 數據中心 PUE 節能

一、數據中心能耗分析

近年來，隨著我國數據中心建設的高速發展，數據中心整體規模與能耗不斷提升，截至2014年12月，國內數據中心總量已超過40萬個，年耗電量超過全社會用電量1.5%，達700億千瓦時。而到了2016年，預計我國數據中心能耗將相當于三峽電站一年的發電量。

數據中心作為終端海量數據的承載與傳輸的關鍵物理設施，存在著巨大的能源消耗。數據中心的能耗主要來源于數據中心內部大量的IT 設備，如服務器、存儲設備、網絡設備等IT類負載，以及為IT設備服務的物理基礎設施，如開關電源、不間斷電源、冷水機組、精密空調、照明系統、消防系統等配套類負載。

一個數據中心的能耗高低，一般使用PUE（Power Usage Effectiveness）來衡量。PUE=數據中心總體設備能耗/IT設備能耗，它是一個比值，基準是2，越接近1表明能效水平越好。如今，PUE值已經成為國際上通行的數據中心能源使用效率的衡量指標。

目前，國內數據中心平均PUE在2.2左右，與發達國家的1.6水平相比，有較大差距。對此，工業和信息化部在《工業節能“十二五”規劃》提出，“到2015年，數據中心PUE值需下降8%”的目標。

二、數據中心節能對策

數據中心作為一個微型生態環境，其基礎IT設備能耗由服務器、存儲、網絡等設備能耗組成。空調系統能耗主要是為降低IT設備用電所散發的熱量所產生的耗電量。供配電系統能耗由UPS轉化能源效率、供電單元等構成。其他系統能耗由照明、新風系統以及門禁、消防、視頻監控等弱電系統能源消耗組成。要想降低PUE值，降低數據中心能耗，空調系統節能、供配電系統節能、IT設備節能成為關鍵。

既然數據中心整體能耗水平與構成數據中心各個系統的基礎設施息息相關，那么，要做好數據中心的能耗管理，就必須從數據中心全生命周期的各個環節入手，以合理的規劃設計為前提、以精準的建設為保障、以精細的運營為落實，以持續的優化作改進，多管齊下，才能真正達成數據中心的節能管理。

數據中心規劃階段，是一個數據中心從無到有過程中踏出的第一步。數據中心基礎設施規劃，主要涉及機房的建筑結構、整體布局、供電架構、供冷架構等等，在這個階段，看似離IT系統部署還相當遙遠，但卻息息相關。因為目前 IT系統部署的標準，主要參照國標GB50174《電子信息系統機房設計規范》，或美國國家標準學會TIA-942《數據中心電信基礎設施標準》，國標和美標中，都將IT部署根據可靠性的層級進行了劃分，不同層級的部署需求，對基礎設施的要求也有較大的區別，如TIA-942中，對TIER-1級（基本級）數據中心的配電/制冷架構要求為“單一的路徑提供給電源和冷卻分布”；但對TIER-4級（容災級）數據中心的配電/制冷架構要求則為“多個工作的電源和冷卻分布路徑”。可見，高等級的IT部署需求對基礎設施架構的冗余性有著更高的需求，而更高的冗余性需求則意味著更高的建設投入與更高的運營能耗。因此，在規劃階段，務必對數據中心投入使用后的IT部署需求有所掌控，從而給出與IT部署需求相匹配的規劃方案，避免基礎設施的非必要性冗余，從而也減少這部分非必要冗余設施在后續運營中額外產生的能耗。另一方面，數據中心規劃設計階段，數據中心的配電架構、制冷架構，也應與未來IT部署相匹配，針對不同規模、不同密度的IT負載，進行相對應的架構設計。如針對中大型數據中心，制冷方式宜采用水冷系統；而對于小型數據中心，則采用風冷系統能效比更高。

數據中心建設階段，是一個數據中心實體化的具體過程，在該階段，主要對數據中心進行深化設計，并進行工程實施。數據中心建設包括建筑、結構、電力、制冷、工藝、消防、弱電、智能化等多個專業，各個專業都必須在專業設計中兼顧考慮節能問題。如供配電專業，可以在供電模式、設備選型、設備安裝方式、線纜路由長度等方向進行節能深化；制冷專業，可以在冷源選擇、精密空調選型、群控系統、冗余管路規劃等放行進行節能深化；工藝專業，可以在機房布局、氣流組織、機柜微環境等方向進行節能深化；等等。 同時，在此階段，必須對IT部署有精準的估算，通過較為可靠的單機柜功率密度統計，結合機房CFD模擬，往往能夠給出最佳的各系統配置方案與參數。

數據中心運營階段，是一個數據中心真正啟用后的漫長進程，在該階段，數據中心開始迎接IT設備的入駐，即IT部署正式開始。雖然該階段所有的數據中心基礎設施已全部安裝完畢，已沒有多少調整的空間，但該階段的節能管理卻同樣重要。因為無論是配電系統，還是制冷系統，都存在一個與實際IT負載匹配、調優的過程，所謂的節能管理與PUE運營，都是建立在大量的機房運行實時數據采集、計算、診斷、優化、評估的系列過程之上的。同時，數據中心的IT部署，也并不是一步到位后就保持穩定不變的，而是往往與該IT系統所承載的業務或應用的發展存在高相關性，一般都是遵循從低密度向高密度逐步發展的規律；因此，根據IT系統所處在的不同階段，也應制定不同的機房運營管理策略，如機柜微環境調整策略、配電參數調整策略、水系統參數調整策略、精密空調參數調整策略等等。

三、數據中心節能實踐

上海移動NQ數據中心自2012年底開建，2014年初首批機房投入使用；數據中心項目組自立項伊始，就始終把數據中心節能作為一項重點工作分階段落實，可以說，節能管理貫穿了NQ數據中心自規劃設計、到建設交付、再到運營優化的整個生命周期。數據中心運行至今，經過各方不懈的努力，數據中心能源效率指標（PUE）也確實達到了令人滿意的數值。

上海移動NQ數據中心整體建筑面積20000平方米，主體按GB50174中級別最高的A類機房標準設計，共規劃機房模塊7個，19英寸標準機柜1950個，單機柜功率密度2-5KW。

3.1NQ數據中心

3.1.1 NQ數據中心節能規劃

在數據中心規劃階段，考慮NQ數據中心由大型廠房改建而來，就針對建筑建筑節能問題進行了充分的考慮，規劃建筑總體窗墻比低于0.3，玻璃的可見光透射比小于0.4；建筑外墻及屋頂裝飾，采用淺色外飾面（ρ<0.6），建筑外墻裝飾采用聚苯顆粒保溫漿料；同時在裝修工程時，在機房內墻設置保溫墻體，避免冷量散失；在分隔墻體內均設置保溫巖棉，達到節能隔音的效果；在架空地板下采用橡塑保溫板，形成良好的空調靜壓箱體。

同時，在數據中心規劃階段，就對后期IT部署進行了充分調研，最終采用分層分級的模式，根據三種不同的配電架構（AC+HVDC、2N UPS、N+1 UPS），對7個機房模塊進行了準確定位。此外，在樓層平面布局中，對主機房和電力室、空調室等配套機房均采取模塊化設計，縮短相關線纜、管道的路由，減少能耗損失。

3.2 NQ數據中心節能創新

在基礎設施建設階段，NQ數據中心進行了多維度的節能創新。

關于機房供配電，傳統數據中心常用的不間斷電源一般為UPS系統，供電效率較低，其自身損耗往往就占到數據中心PUE的10%左右。而NQ數據中心，60%以上的供電系統采用了全新的架構，即“市電直供+高壓直流”雙路供電架構。市電直供的供電效率接近100%，高壓直流系統相比傳統UPS減少了逆變器的損耗，供電效率較UPS有顯著提高。根據實際運營統計得出，高壓直流轉換能效達94%以上，在典型的20%-40%負載段內，節能5%-10%。同時，NQ數據中心樓內配置的通信電源設備在滿足IT設備負荷的前提下，也盡量貼近其負荷值，以提高主機的負載率，從而提高主機的效率，降低能源損耗。

關于機房制冷，NQ數據中心在制冷模式設計中，兼顧機房整體節能性與安全性，采用了冷凍水+風冷的制冷架構。其中，考慮到大中型數據中心往往需要一個較長的IT部署過程才能達到較高的負荷率，為了提高在中低負荷狀態下的冷機COP值，選擇了變頻式機組，最終安裝的為4臺離心式冷水機組，采用三級壓縮技術，轉速低，能效比高；各級水泵也采取變頻器控制，可根據具體情況調節水泵轉速；同時結合低溫冷卻水利用、高位水箱定壓、提高冷凍水供回水溫度等措施，進一步提高節能效果；精密空調側采用直流EC風機，更高效節能；三通水閥采用專利設計整流碟，使得調節閥流量特性與冷/熱盤管出力特性相匹配，保證在各種負荷條件下，冷/熱盤管的精確溫度控制和均勻出力，相較柱塞閥，可以達到更好的線性控制。

同時，針對上海的氣候特點，寧橋IDC在冷源側也部署了自由冷卻系統。春秋季，開啟自然冷卻預冷冷凍水。冬季，完全采用自然冷卻冷卻冷凍水，完全無壓縮機功耗部分，僅有少量風扇電耗。同時在不使用季節，自由冷卻冷卻塔可與主機配備的冷卻塔合并使用，以此降低冷卻水溫，提高主機COP值。

關于IT機房側，NQ數據中心各IT機房模塊采用面對面的機柜布局方式，機柜排列采用冷熱通道隔離的方案，即相鄰兩排設備機架的擺放方向為“面對面、背靠背”，自然形成相互間隔的冷熱通道。冷空氣從開孔地板進入冷通道，設備采用“正面進背面出”的方式通風，熱空氣再從熱通道回到空調回風口。這種方式既能有效避免冷熱空氣混合，也利用了熱空氣較輕自然上浮的物理特性，形成了合理的氣流分布，有利于提高冷卻效率。同時，在冷熱通道隔離的基礎上，進一步采用了封閉冷通道的節能方案，根據實驗環境的研究表明，封閉冷通道后室內風機送風量可減少約30%，室內風機可省電約2/3。

同時，IT機房架空地板高度設計達到800mm，結合通孔率70%以上的導向送風地板及智能氣流推送單元，形成更佳的氣流場；對高功耗設備區域，則采用了列間空調，進一步縮短送風距離。科學的氣流布置，相比傳統數據機房節能10%以上。

通過數據中心規劃、設計、建設階段在供配電、制冷、IT等影響數據中心能源效率PUE的幾個關鍵因素上進行節能管理，能帶來的總體能耗降低已頗為可觀。

3.1.3 NQ數據中心PUE運營

PUE運營，是指在數據中心正式啟用，IT設備開始部署后，在保持現有基礎設施架構不變的基礎上，對各系統配置進行優化、對運行參數進行調整，最終反映在機房能效指標PUE不斷下降的管理過程。考慮數據中心能源效率會隨IT負荷變化而變化，因此，PUE運營是一個長期而持續的過程。

首先，對于NQ數據中心的IT部署規劃，就已經已大量運用虛擬化技術與節能型設備為前提。虛擬化技術，即在硬件之上構建一個虛擬化平臺，通過時分復用、邏輯綁定等多種調度形式，實現對硬件資源的更高效復用，減少閑置服務器造成的能源浪費。而節能型設備，則是指服務器具備支持休眠和降頻功能的CPU、大顆粒的內存顆粒、支持休眠功能的硬盤等等。

其次，是NQ數據中心的節能管理手段與制度。NQ數據中心創新部署了可視化機房監控系統，于傳統數據中心不同，在集成數據中心級PUE算法的基礎上，還集成了基于流量統計的機房模塊級PUE算法，能夠實時直觀展現每一個機房模塊的動態PUE數值，為PUE優化提供了精確的計量手段。

再就是節能管理制度的引入，如根據IT負載的變化情況，建立以周為單位的運營日志管理體系，一方面根據機房運營狀況進行實時調整，另一方面根據每周數據分析差異以及能耗變化原因，及時固化節能措施，從而實現PUE不斷提升。

3. 2 上海移動NQ數據中心節能效果

3.2.1NQ數據中心PUE算法

NQ數據中心供電架構為35KV-10KV-0.4KV，兩路35KV高壓進線供電配有供電局安裝的計量柜；低配室內16套變壓器、各組不間斷電源都能采集電壓、電量、功率等。

根據供電系統圖，定義35KV計量讀數為市電1/2，16套2000KVA變壓器計量讀數為TM1-16，為IT負載供電的高壓直流系統計量讀數為G，UPS系統計量讀數為U、市電直供計量讀數為AC；F%為該機房模塊冷凍水流量占全系統流量百分比。

根據采集到的各級能耗數據，結合數據中心標準PUE算法，給出NQ數據中心整體及機房模塊PUE算法為。

3.2.2 NQ數據中心PUE實測數據

以合理規劃為前提、以精準建設為保障、以精細運營為管理，NQ數據中心的能效指標PUE始終保持在一個較佳的水平，已啟用機房的平均PUE=1.50，相較國內大型數據中心PUE=1.7-1.8的均值，節能約15%，月節電在50萬度以上。

四、總結

數據中心的節能管理是一項系統工程，需要綜合考慮節能措施對安全、投資、建設、運維模式帶來的影響，因此，數據中心的節能必然是貫穿全生命周期的管理過程，在每一個階段都需要確定目標，評審具體方案措施，把控成效。

同時，數據中心節能管理涉及建筑、結構、消防、智能化、供配電、暖通等多個專業多個條線，需要各部門通力配合，如果一個數據中心能取得良好的節能效果，必然是跨專業協作的結果。

近日，工業和信息化部、國家機關事務管理局、國家能源局數據中心聯合下發《國家綠色數據中心試點工作方案的通知》，要求技術與管理并行，提升國內數據中心能效水平，提速節能型綠色數據中心的推進工作。該通知進一步明確了作為耗能大戶的數據中心實施節能管理的必要性和緊迫性。

后續，隨著數據中心的新增能耗指標，如WUE（Water Use Efficiency）水分利用效率、PUE-c基于CPU運算量的能源利用效率等的不斷引入，數據中心的節能管理將更趨于全面化、合理化、科學化。而隨著數據中心微模塊系統、三聯供架構等新興技術的不斷涌現，相信能源效率的進一步提升也值得期待。

數據中心節能管理是精于規劃、勤于運營、勇于創新的循環過程。在數據中心向高密度、高可靠性發展的同時，高效率也必然成為數據中心發展的另一個方向。讓我們在構建數據中心綠色、可持續發展生態環境的道路上共同前行。