大型數據中心機房基礎設施的發展趨勢

覃建國（中國移動通信集團設計院有限公司，北京 100080）

大型數據中心機房基礎設施的發展趨勢

覃建國
（中國移動通信集團設計院有限公司，北京 100080）

摘 要云計算、大數據的興起和發展，帶來了大型數據中心的建設熱潮，數據中心機房基礎設施的建設也發生了巨大的變化。本文闡述了國內外數據中心的發展趨勢，總結了數據中心機房基礎設施的發展特點。

關鍵詞數據中心； 機房； 基礎設施； 趨勢

覃建國 1986年畢業于清華大學，高級工程師，現任中國移動通信集團設計院建筑所總工程師。自參加工作以來，主要從事通信建筑設計和研究工作。在近30年的工作中，作為總負責人完成了多項通信建筑標準化設計，主持編寫了多項中國移動企業標準，完成了多項大型工程的咨詢設計，多次獲得省部級優秀工程設計獎。

1　引言

近年來，隨著我國互聯網、云計算和大數據產業的加速發展，數據中心機房基礎設施進入了大規模的建設階段。據報道，2014年中國數據中心總面積約為13 km2，預計到2020年，中國數據中心總面積將超過30 km2，各地謀劃建設的數據中心眾多，大型數據中心將成為主流。

數據中心機房基礎設施是信息技術和電信網絡賴以生存的基礎，主要包括土建機房、空調系統、電源系統、智能化管理系統等。數據中心機房基礎設施的建設技術上既要滿足IT設備的相關需求，也要兼顧未來的技術發展趨勢。滿足綠色節能要求；具有高度的靈活性、適應性；高效率和易管理，全生命周期的造價最低已成為數據中心發展的共識。

2　數據中心機房基礎設施的發展趨勢

2.1可用性規劃

數據中心機房基礎設施的宏觀規劃核心是“可用性等級”和“單機架功耗”。根據GB50174—2008《電子信息系統機房設計規范》，機房可用性等級由高到低分為A級、B級、C級。越來越多的證據顯示，新建的數據中心機房基礎設施的可用性等級不再一味定位在高等

級上，這是因為災備系統日益完善，通過在異地建立和維護備份存儲系統，利用地理上的分離來保證系統和數據對災難性事件的抵御能力；經過技術經濟論證，在數據中心機房基礎設施的可用性等級上片面追高是不劃算的。一個典型的例子是eBay，eBay由原來所有數據中心Tier4級別轉變為20%的Tier4和80%的Tier2，建設成本和運維成本減半，依然可滿足業務發展所需。國內數據中心可用性等級的確定大多以B級為基本等級，20%～30%機房通過提高電源和空調的配置，可以達到A級，這種配置既可以滿足客戶對不同等級需求，同時又兼顧了數據中心的經濟性。

隨著IT設備的發展，計算機日趨小型化，電子元件的排列越來越密集，計算機散熱量也越來越大。國外資料顯示，近10年來，服務器功耗增加了15倍；機架的供電密度也提高了10倍。過去一個機架功耗為2～3 kW，現在往往高達20～30 kW。無論是數據中心運營商還是客戶，單機架功耗越高，能夠為他們提供的利潤也就越大，主要原因是擴大了機架的可用空間，省去構建新的數據中心的費用。單機架功耗呈增加的趨勢，已經是一個不爭的事實，基礎設施設計在空調、供電能力及冗余備份上應對此有足夠的應對措施。

2.2數據中心選址

數據中心的選址一般主要考慮自然地理條件、資源狀況、配套設施、周邊環境。

對應空調系統來說，要降低PUE，主要的途徑是利用自然冷源，如果沒有利用自然冷源，通信機房PUE值很難低于1.5。根據氣候分區的不同采用合理的免費制冷方案，通信機房制冷系統全年能耗通常能節約10%～50%，甚至有可能更高。數據中心是能耗、用電大戶，要想降低能耗和運維費用，電價也是需要考慮的重要因素。表1為一個6 000機架單機功耗3 kW/架的數據中心，當不同電價、不同PUE值所對應的節電的費用。可以看出，當PUE=1.4時，0.5元/度的電價較0.75元/度的電價20年共節約電費為11.04億元，數量是非常巨大的。

從以上數據不難看出，數據中心建設，選址在自然冷源豐富的高緯度地區、電價便宜地區對數據中心的能耗降低、提高數據中心的能源效率，降低運營成本具有舉足輕重的作用。

表1　不同電價、不同PUE數據中心電費比較

2.3數據中心機房

2.3.1 靈活性

數據中心機樓的建設是基本建設，建設周期長，一般一個鋼筋混凝土框架結構的2 km2的數據中心機房樓從開始建設到投入使用大約需要1.5～2年的時間，建成后改造起來難度很大。業主在開始建設數據中心時的條件，在市場需求、機電技術、目標客戶等與建成后往往有很大不同。數據中心建設在強調保持可用性、高效安全地運營的同時；又要使數據中心具備靈活的應變能力，以應對多變的業務需求及未來的不確定因素。為了解決上述問題，目前數據中心機房樓普遍采用標準化設計，數據中心園區采取統一規劃、分布實施的策略。

標準化數據中心機房樓一般采用整體設計理念，空調采用能效比高的大中型容量冷水機組，充分利用自然冷源；電源采用高壓直流和市電直供系統；選擇價格適宜的建筑材料；選用成熟的結構形式，設備選型考慮廠家較多的區段，降低采購成本。圖1為某數據中心機房標準層平面。

圖1　某數據中心機房標準層平面

標準化方案布局緊湊、合理，裝機效率高。采用標準化方案能夠減少建造時間，方便維護管理，提高裝機率，使機房樓的成本控制在合理的范圍內。

數據中心園區建設采用統一規劃，分步實施的策

略，這是一種邊成長邊投資的策略，這種策略降低了資金一次性投入的壓力，減少了固定資產折舊造成的損失，最大程度規避市場起伏造成的風險。圖2為某數據中心分期總平面圖。

圖2　某數據中心分期總平面圖

大多數數據中心園區都采用分期建設的方式，整個園區分成2～3期進行建設，每期建設2～4棟機房樓，分期時應注意每期地塊與總體規劃的關系，每期地塊能自成系統，配套齊全，可以獨立運行，同時注意減少后期建設對前期已建成設施的不利影響。

2.3.2 數據中心機房的柱網、層高、荷載

機房的整體設計考慮不同使用性質的房間組合，滿足IT設備、機電設備、空調管路、電纜橋架等管線路由對建筑空間的要求，符合IT工藝、配套設施對各類空間組織的要求，盡量增加可裝機面積。建筑的柱網、層高、樓板的承重等均需經過精心核算，既要滿足現有設備的使用要求，同時保留一定的富余量，為未來設備的使用留出改造空間。

機房柱網尺寸以8.4 m×7.2 m，8.4 m×8.4 m為主，同時有向更大尺寸發展的趨勢，如6 m×12 m，通過加大柱網，可優化機架排列，減少柱子對機房內設備的影響，柱子不占機位，增加裝機數量。機房的樓面荷載具有通用性，各類房間布局不再受樓面核載的牽制，使機房后續改造更加靈活。目前已經出現了樓面荷載全部按照16 kN/m2設計的機房樓。機房的層高是架空地板高度、工藝安裝凈高、上部回風空間、氣體滅火管線高度、建筑構件高度之和，目前取值在4.6～5.4 m之間。隨著微模塊等模塊化設計的廣泛使用，數據機房的層高還有加高的趨勢。

微模塊機房也是發展趨勢之一，微模塊機房是集機柜、供配電、制冷、安防與消防、布線為一體的獨立的數據中心運行單元，可工廠預制，快速組裝，能夠實現數據中心的快速部署、擴容及標準化建設。微模塊機房對局房的土建要求較為簡單。微模塊安裝盡量避免柱子的影響，減少因柱網帶來的現場改造以及非標定制，放置微模塊的柱網間距要求至少是9 m以上。

2.4空調系統

2005年前互聯網企業的IT機房多采用風冷精密空

調，2005～2009年由于風冷精密空調固有的缺點，逐漸被可以大幅降低運行能耗的冷凍水系統取代。2010年以來，節能已成為數據中心的重要發展方向，自然冷卻技術由于應用范圍廣、高效節能、環境污染小、運行穩定可靠以及運行費用低而逐漸被應用到數據中心空調系統中。自然冷卻分為水側自然冷卻和風側自然冷卻，國內通常采用水側自然冷卻。水側自然冷卻系統應用在大型數據中心項目中的節能效果顯著，已經成為數據中心的主流空調系統。

在冷源側系統不斷演進發展的同時，空調末端形式也在迅速演進。在冷凍水型精密空調的基礎上，各廠商提出的空調末端解決方案通常可以分為行級空調和機柜級空調兩種形式，行級空調通常是列間空調和頂置式空調，常常與封閉冷通道或熱通道配合實施，該種空調末端送風距離短，利于預制化；機柜級空調通常有水冷冷門或熱管背板等，直接對機柜進行冷卻，空調送風距離更短，節能性更好。

與水側自然冷卻系統相比，自然新風冷卻系統減少了能量轉換和傳遞環節，節能效果更加直接和顯著。目前在美國、歐洲等地區均建設有直接風側自然冷卻數據中心，完全不設置機械制冷設備，PUE可實現接近1.07。從趨勢上講，自然新風冷卻也是國內數據中心發展的一個選擇。風側自然冷卻依賴于高溫耐腐蝕服務器的發展和應用，同時要注意自然新風冷卻的環境要求；建筑方案上要配合全新風制冷特點設計建筑的剖面和平面。

利用數據中心余熱向辦公、生活用房提供采暖和生活熱水，也是一種新型的免費制冷方式。設置集中冷凍水空調系統的數據中心，根據數據中心所在區域的熱源狀況、供熱需求，設置機房余熱回收裝置，利用機房余熱向辦公、生活用房提供采暖和生活熱水，可提高能源的綜合利用率。

數據中心的發展趨勢決定了制冷空調系統的發展方向。優化空調系統參數，最大程度利用自然冷源，合理優化氣流組織，靈活可擴展的模塊化冷卻系統、高密度制冷等技術勢必會成為數據中心空調發展的趨勢。圖3為國際著名數據中心PUE值。

圖3　國際著名數據中心PUE值

2.5電源系統

隨著通信網絡及電源技術的發展，打造低成本、低能耗的供電系統是通信電源系統的發展趨勢。從節能角度及通信設備發展現狀，數據中心供電系統將向著簡單化、高效化發展。

高壓外市電引入電源主要有10 kV、35 kV、110 kV 3種電壓等級。采用更高的電壓等級引入，具有減少線路損耗、降低電纜投資及施工難度、節省有色金屬用量、合理供電距離長等特點。大型數據中心一般以引入110 kV市電并自建110 kV/10 kV變電站為主，個別項目電源引入方案為多路35 kV或10 kV市電。

發電機組一般有高壓發電機組和低壓發電機組，電壓等級的選擇要結合供電系統的結構、油機房布局、用電設備電壓等級、供電系統容量設置等因素綜合考慮。10kV高壓發電機組具有以下特點：發電機組可集中設置，遠離負荷中心，適合長距離傳輸電能；可多臺并機，根據負荷大小自動投入適當的機組數量，避免大功率機組小負荷運行，實現錯峰控制，減少燃油、機油浪費；并機系統容量大，可承受較大負荷變化的沖擊；降低線路損耗、減小電纜截面、降低電纜投資及施工難度；能有效抑制非線性負載啟動時產生的諧波對發電組的影響，提高發電機組的效率；與0.4 kV發電機組價格接近。

大型數據中心的發電機組一般均選用10 kV高壓發電機組，多臺并聯運行供電。

336V高壓直流電源是中國移動提出的面向未來的供電模式。336 V直流電源是一種集中了UPS供電系統和-48 V直流供電系統的優點為一體的新型供電系統，具有電路簡單、可靠性高、效率高、易于擴容等優點。336 V直流/市電混供技術是ICT設備由兩路電源供電，一路為336 V直流電源，另一路為交流220 V市電，兩路電源互為備用。當市電電源滿足要求時主要由市電供電，當市電電源出現故障或電源質量不滿足要求時，由336 V直流電源供電，由此最大限度的降低電源系統損耗。48 V開關電源高效率整流模塊與普效整流模塊相比，采用了創新的高能效技術、全新的高效拓撲結構、低壓降的功率器件以及更低阻抗更低能耗的材料，效率可達95%以上，并且，高效率整流模塊可以在較寬負載率下均具有較高的效率點，也能夠獲得較好的節能效果。采用高效整流模塊所節省的電量可在2～3年內收回高出的成本。相對工頻UPS， 高頻UPS具有體積小、 重量輕、輸入輸出功率因素高、輸入諧波分量小、效率高等特點。經過近幾年的發展，高頻UPS的大部分技術指標已經超過了工頻UPS。圖4為市電直供或混供方案示意圖。

圖4　市電直供或混供方案示意圖

目前，主流UPS生產廠商均生產全系列高頻UPS，高頻UPS正逐步取代工頻UPS。大型數據中心內的通信電源系統建設趨勢正朝著推動相關設備集采，推廣336V高壓直流系統、48V高效整流模塊、高頻UPS設備的應用方向演進。

大型數據中心內市電油機一般采用自動切換方式，電源系統電池后備時間15 min，滿足主用電源和備用電源切換要求；對于散熱量高的機房配置UPS供電保障的蓄冷設備。滿足市電停電后油機啟動前，機房不停電、不過溫的要求。電池方面還要關注2 V/12 V的高功率鉛酸蓄電池的設備采購和應用，提升設備性能，減少資金投入。

磷酸鐵鋰電池相比普通鉛酸電池具有重量輕、體積小、大電流充放電、循環壽命好等優點。目前磷酸鐵鋰電池產品形式多樣，電芯有卷繞、疊片兩種類型，殼體封裝形式主要有金屬殼、鋁塑膜軟包裝、塑料殼三種形式，單體容量從幾安時至幾百安時不等。從國際市場來看，國外通信運營商鋰電池使用較少。鋰電池技術目前仍在快速發展之中，從最近幾年測試情況來看，磷酸鐵鋰電池的一致性、低溫性能和高溫性能在持續的改進之中，大型數據中心應持續關注該產品的試用情況和成熟度。

2.6智能化管理

目前我國數據中心建設數量多，規模大，但是數據中心的使用效率還有待提高。數據中心使用效率不高的重要原因之一是機房基礎設施的管理出現了各自為政，操作離散化、能耗加劇化的現象。如何打破管理孤島，發揮綜合管理的集成效應和倍增效應，提高數據中心的

節能能力，為管理人員提供一個高效易用、智能化管理系統成為迫切需要解決的問題。

數據中心基礎設施管理系統（DCIM）的興起，是為了解決關鍵動力設備和基礎設施一體化管理，實現數據中心機房基礎設施動態優化。DCIM的手段是通過一整套硬件設施、從所有系統收集數據，實現機房基礎設施的容量規劃、集中監控、準確處置、智能管理、預測模型、成本控制等管理目標。

DCIM系統通過數據中心各類監控系統及被監控設備提供的接口，實現統一機房監控報警策略及報警等級，通過短信平臺統一報警或將報警信息發送至監控平臺；通過機柜內部加裝傳感器，實現對機柜級溫濕度監控，實現機房溫濕度環境精細化管理，并生成實時機房內溫濕度云圖；同時依靠機柜電力監控數據，結合機柜內溫濕度檢測提供運維數據支持。

依托2D/3D可視化管理平臺，DCIM系統可以對數據中心所在園區、樓層及機房進行全元素三維展示，還可根據機房CAD圖紙等文件導入或制作生成機房圖紙，并按照電力、空調系統繪制動態監控視圖；結合設備管理的定位功能及機房圖紙布局，按照實際安裝位置顯示每臺機柜內設備，并可顯示該設備詳細信息及連線信息；同時通過精準識別定位的硬件設備，實現對機房內設備進行管理，解決傳統手工運維與信息盤點的效率低下問題。

DCIM系統將數據中心各項基礎設施資源量化處理，可按照空間、冷量、電力、承重等多種條件篩選，快速定位可用區域及設備；通過持續記錄資源消耗量及分析增長模式，使數據中心管理人員能夠更加準確地預測哪種資源將被耗盡，能夠更為高效地管理各項關鍵資源。維護人員遠程接入DCIM云服務平臺，實施各種運維操作，采用遠程巡檢的方式，可在短期內對多地數據中心完成巡檢工作，以提高效率，減小維護成本。

3　結束語

隨著信息化的持續發展，數據中心已經逐漸成為一個專門的建筑類別，大型數據中心的建設在全球各地都是一個嶄新的課題。把握數據中心基礎設施的發展趨勢，建設綠色數據中心機電系統，必須從實際需求出發、認真細致地進行規劃設計、把握好安全可靠性、重視節能環保、維護管理方便、降低建設成本。

參考文獻

[1] 孫景毅，吳辰，于艷芳. 數據中心布局研究[J]. 通信電源技術， 2014(1).

Development trend of large data center infrastructure

QIN Jian-guo
(China Mobile Group Design Institute Co., Ltd., Beijing 100080, China)

AbstractThe rising and accelerated development of cloud computing and big data have brought the construction upsurge of large-scaledata centre, while the construction of basic facilities of data centre rooms has changed a lot. The paper expounds the development tendency of data centre at home and abroad, and summarizes the development characteristics of basic facilities of data centre rooms.

Keywordstrend； data center； equipment； room； infrastructure

收稿日期：2015-10-26

中圖分類號TN915

文獻標識碼A

文章編號1008-5599（2015）11-0001-06