新一代綠色數據中心（機房）先進節能技術

文/彭和平（凌云綠洲數據科技（北京）有限公司）

新一代綠色數據中心（機房）先進節能技術

文/彭和平（凌云綠洲數據科技（北京）有限公司）

綠色環保數據中心建設的必要性

全球數據中心建設在大數據時代增長不斷加快，年增長為50%~140%。除服務器市場容量不斷擴大外，能源成為數據中心建設和運維的主要消耗成本，達到30%以上；而當今受到環境制約和大數據業務的快速增長，出現了對大數據不可持續支撐的“能源墻”問題，必須優化傳統的數據中心能源供電、儲電、用電方式，才能適應大數據時代的長遠發展要求。

近年來，國際上數據中心機房的整體綠色能源效能研究成為熱點，并取得了長足進步，以Google為例，已近達到1.12的電力使用效率PUE（PUE為1時代表最理想值，表示數據中心所有的電力為信息系統100%使用）。

目前，全世界主流數據中心是III級數據中心。我國整體上和歐美國家存在差距，比起金磚國家巴西來說也并不領先。具體來說，美國累計獲得Uptime Institute認證的有79個：8個達到綠色認證，7個四級，61個三級；巴西累計獲得25個：1個達到綠色認證，2個為四級，22個為三級；中國累計只有15個：0個達到綠色認證，3個為四級，11個為三級。在我國，僅香港就占了三分之一的高等級數據中心份額。中國目前獲得認證的最高等級數據中心有蘇州國科數據中心、國泰君安上海數據中心等?？梢钥闯?，中國發展高效能綠色可持續的數據中心任重而道遠！

數據中心機房整體架構分析

數據中心機房基礎設施主要包括3大部分。

（1）電力供配系統。數據中心機房依靠配電房供電才能運行，核心部件包括電源分配單元PDU，非易失性電源UPS，以及自動電力切換開關ATS等。傳統的配電房不論采取1條通路還是冗余通路，都是采用中央式供電方式，各個大型的電力部件牽一發而動全身，難以擴展，而且中央式UPS因為AC/DC雙重轉換原因能效很低。

（2）空調制冷系統。傳統數據中心一般是開放式制冷，采取穿孔地磚/通氣式地板，CRAC空調是關鍵單元，提供冷風。開放式機房存在的問題主要是冷熱氣流缺乏管理，再循環空氣導致制冷效率下降，尤其是在機柜頂端和邊緣會出現不均衡制冷。通過降低送風溫度可以使熱通道溫度大幅下降，達到建議的服務器溫度值，但這種方法非常浪費。另外，升降式地板的運維成本也很高，建設周期長。

（3）網絡電信設備。數據中心另一個重要部分是電信系統。從電信通信角度來看，其布局至少包括一個主要分布區（MDA），一個或者多個水平分布區，以及一個或多個設備分布區。主要分布區是數據中心線纜基礎設施的中心。計算機機房中心路由器、中心局域網（LAN）開關、中心存儲區域網絡（SAN）等經常位于主要分布區。主要分布區的線纜往往會在不同樓層間垂直走線。相對于主要分布區，水平分布區的電纜則用來連接某一數據中心水平區域的各個設備。

整體來說，目前主流的數據中心布局體現為電力線纜、網絡線纜及送風通道貫穿機房，層次化的供電、網絡、制冷設備分布于機柜間，而大型供電設備和制冷機組一般都在機房外配有額外空間。提升能效降低成本是布局的關鍵。

Google數據中心（圖片來源自網絡）

國際前沿數據中心建設典型案例分析

建設高效能數據中心僅僅有一流設備是不夠的，國際前沿數據中心的建設大都重視設計和管理。這也是我國發展高效能數據中心所必需借鑒的。

（1）案例A：雅虎“雞籠”式數據中心 YCC（上榜理由——最優PUE示范項目）

雅虎YCC數據中心是自主設計的數據中心，被美國能源部作為示范性項目，屬于大型數據中心，其PUE能效也非常高。該數據中心位于紐約州Lockport市，設計規模9MW，PUE僅1.08。相比而言Facebook的美國俄勒岡數據中心達到1.07, 蘋果位于北開羅來納的數據中心為1.1，谷歌在得克薩斯的數據中心（部分風能）為1.12，這些都使用或購買可再生能源。而傳統數據中心一般在2.5以上。雅虎通過5年的時間逐步摸索，采取了一系列改進措施（水冷制冷塔，室外風處理，模塊化設備，通風管理等），才得到如今的極佳PUE。雞籠式設計的最大亮點在于百葉窗能夠管理進入機房的氣流，此外該數據中心還利用風扇控制由穹頂排放的空氣，并且調節再循環空氣的溫度。

（2）案例B：Equinix商用數據中心IBX（上榜理由——規模最大、技術最全面）

Equinix（Nasdaq: EQIX）成立于1998年，在數據中心規模和收入等方面均處于世界領先, 目前在美洲、亞太、歐洲及中東14 個國家和地區的31 個市場運營著94個國際業務交換數據中心（International Business Exchange?）。他們首先提出了以其數據中心群為平臺形成的行業生態系統的概念，將網絡運營商、互聯網內容、數字媒體、金融企業、云計算和IT服務商等行業客戶吸引到其數據中心內。目前，Equinix采取了多種多樣的設計方式，比如阿姆斯特丹的AM3 IBX數據中心使用地下水制冷ATES技術，多倫多的TR1 IBX數據中心使用深層湖水制冷系統，新加坡的SG1 IBX則率先采用細粒度溫度監控，可提升PUE值15%等。

（3）案例C：Google和Facebook的設計概述（上榜理由——IT行業領導者）

在IT行業，Google和Facebook是數據中心的領導者。Facebook近年來提出了開源硬件設計OCP社區，以及一系列先進高效的機房設計技術，比如分布式電池、模塊化高密度機柜三元組等。他們也采取了比如冷熱通道隔離、LED采光等傳統技術來進一步提升數據中心整體能效。

（4）案例D：TelecityGroup和GIB數據中心（上榜理由——歐洲最具創意設計）

歐洲人重視設計和浪漫。法國TelecityGroup數據中心被稱為歐洲技術最領先和最綠色的數據中心之一，它采用自然風制冷，使用白色屋頂減少吸熱，其中1個亮點在于使用廢氣熱源來培養熱帶植物（和法國國家農業研究所INRA合作）。瑞士GIB數據中心的亮點是回收熱源為泳池加熱，據統計該設計每年能節省150t碳，相當于50萬輛轎車行駛1.6km。

（5）案例E：百度，騰迅，阿里數據中心（上榜理由——國內重要數據中心運營商）

百度核心業務在搜索方面，因此在數據中心方面并無特別突破，屬于走設備一流型建設方式。百度2013年建成的南京云數據中心的亮點在于“自我定制”，但由于缺乏一流的設計和管理，其PUE并不是最突出的，僅1.37（而谷歌2008年就達到1.22了）。騰迅第三代數據中心TDMC，在建造上走在前列，率先采取模塊化設計，采用高效能的供電設備，但是騰迅在制冷和新能源方面邁出的步伐有限。阿里云, 其軟件系統層面的“異地雙活”等容災技術是主要優勢，得以支撐每年的雙11購物。雖然阿里對管理峰值負載有一定經驗，但在設計高效能綠色數據中心方面還在摸索。主要宣揚的技術也僅僅是國外于2008年起就出現的設計，也就是簡單的新能源電力集成，以及普通風冷水冷技術。

凌云綠洲綠色能源集成與混合式供電的數據中心節能建設方案

凌云綠洲數據科技有限公司，是專門針對大數據中心進行能源智能優化與管理的公司，在利用再生能源的高性能計算領域進行了世界首創性的工作，技術處于國際領先行列，成果在HPCA 2011的227篇提交的學術論文中排名第1，并獲最佳論文。通過該項技術，可使數據中心能耗降低20%~30%。

（1）技術優勢和亮點

我們的“凌云綠洲”系列新一代數據中心設計經過過去5年的發展，實現了一系列技術突破。該方案簡單而言可以概括為自頂向下的設計：首先，在頂層采用一種全局體系架構，并在此基礎上發展出一套綜合管控系統，在該系統中融合3項硬件實施技術（用電、供電、備電）；最后，采用一個基礎設計單元來具體實施。

首先，我們設計的全局體系架構，指的是模塊化的混合供電架構，這種架構使得我們能夠同時采取兩種新能源融合方式：細粒度的模塊化直連；粗粒度的模塊化并網。這種方式被證明是最經濟有效的，能夠適合于各種不同的設計目標和動態擴張需要。

其次，我們在此架構上同時設計了一套全局管控軟件系統，該系統中包含了監控層、應用層、內核層，以及接口層。這里接口層是系統的基礎，提供必要的通信和控制手段，而我們的技術創新主要體現在應用層和內核層。

具體來說，在應用層我們完成了3項硬件實施技術。首先是服務器計算技術（用電技術），該技術能夠助力大數據計算環境下服務器設備的高效運行。與之類似的服務器系統已經被諾基亞和施奈德等公司采用，但他們并不具備我們的相關技術。此外，我們還同時研發了異構式電力削峰技術（供電技術），該技術支持經濟高效的機房供電，能夠借助高效的負載削峰可提升設備壽命達5倍，并提升40%的能效。

最后，我們還實現了數據中心分布式儲能備份技術（備電技術），從而能夠支持高可用性云系統對可用性的需求，分布式電池目前已經被微軟、Facebook、惠普等多家IT公司所采用，我們的技術能夠有效地實現綠色數據中心對大規模分布式電池設備的備電管理，從而極大提升云數據中心的整體可用性。

以上技術最終的實施方式是一個協同設計的基礎單元，稱之為綠洲節點。該節點實現了“儲能-配電-用電”的協同優化，便于在綠色數據中心中實施。

（2）具體實施內容和先進性

除去以上針對綠色數據中心的創新型技術，我們的建設和實施方案還將包含目前各個領域的主流前沿技術，具體體現在9個方面。

①電信設備具有前瞻性。服務器節點的更新比較容易，而對網絡設施的改造就相對困難。電信機房內的主要分布區和水平分布區都需要考慮未來數據通信量的爆發和服務器節電的拓展，否則極易造成擁堵。雖然目前以10G以太網為主流，但在大數據爆發時代，應瞄準40G和100G網絡設備。

②服務器采取異構集群。這使得我們能夠提供多樣化的服務。為此設計了5類標準化的服務器節點，并建設了3大類集群：前段集群、服務器集群、后端集群。不同的集群具有不同的處理器和存儲設備性能。

③精準管控設備利用率。服務器的利用率嚴重影響數據中心的整體運營成本。利用率越高則數據中心的利潤率越大。因此，我們針對服務器電源負載和電池充放電進行了優化。

④環境全局實時監控。采用智能配電檢測單元、網絡通信監測單元、電池監測模塊、電力切換控制器，智能環境監測單元等，這不僅能提升服務器和網絡的安全性，還能極大降低超載和溫度失控等問題的發生。

⑤選擇模塊化設備。對于目前國際上一流數據中心設計來說，其供電設備一個主要特點是分布式和模塊化。模塊化預定制的供電設備便于系統擴張，安裝調試方便，能避免單點錯誤。

⑥混合多模式制冷。多模式運行即為結合外部環境情況來實現經濟高效的制冷運行。比如在冬季，直接借助室外冷空氣的交換；在夏季，利用水蒸氣蒸發散熱；只有在極端請情況下，才利用比較耗電的壓縮機主動降溫。另外，降低對水資源的要求是中西部地區設計數據中心的一個關鍵，多模式運行能夠節省水資源，每兆瓦僅需要1000m3。

⑦新能源熱電聯產。這使得我們能夠進一步優化綜合供能。熱電聯產模式下的制冷機本身可以不再需要額外電力。據目前估算，回收的這部分熱能生產的冷卻水剛好能夠滿足所供服務器的制冷需求。

⑧縝密的冗余設計。這對于提升數據中心可用性非常重要。除了一般的電力設備冗余外，其他一些關鍵設備也不能忽視。比如選擇具有雙風扇的服務器刀片，可避免因內部風扇故障而產生的致冷失效。借助冗余設計以及有效的負載平衡，往往可以避免數據中心接入層的單點錯誤，

⑨規范化布局建設。關于布線等細節的規范化建設對于打造一流數據中心非常重要。這包括機柜內部的橫縱走線管理，機柜頂部的橫縱走線管理，標簽命名方式，以及線纜的顏色標定等，并提供高精準度機房、布局、走線三維建模和物理智能運維支持，使得任何故障能實時定位和維護輔助支持，大大減緩大數據中心運維難度、排除故障的實時性和故障預測。

總結

總而言之，供電設備、制冷設備、網絡設備是目前機房建設的三大部分，一般以結構化和模塊化為特點，注重容量的可擴展性和核心設備的可用性，從多方面提升供電與用電效率。前沿設計無不善用“光、風、水”來為數據中心提供環保及可持續的供電、散熱、制冷。國內機房建設還徘徊在國外5年前的狀況，具備一流硬件，但缺乏一流設計和管理。我公司的“1種架構+1套系統+3項實施技術+1個基礎單元（1131）”設計方案幫助綠色數據中心高效利用本地新能源，在保證性能、能效、可靠性的同時，實現可管理、可優化、可擴展，從而最終實現可持續；多項設計已被業界（如facebook）采用。實踐表明，我們的大數據中心設計技術，能夠將儲能電池壽命延長70%，整體節能達到20%~30%。該核心技術的應用，將為我國智慧城市大數據中心、行業大數據中心的建設帶來質的改變，大幅提升大數據中心能源利用效率，顯著降低大數據中心建設和運營成本，推動我國“互聯網+”和物聯網產業的綠色和可持續發展！