高樓層數據中心機房建設研究與實踐

樊冠群，葉閩軍

（清華大學 信息化技術中心，北京 100084）

隨著信息化的飛速發展，對于全面支撐信息系統運行和業務連續性的數據中心越來越受到關注［1-2］，國內外各高等學校、各大企業都將數據中心建設作為信息化發展重要基礎設施來建設，因此，數據中心建設在過去幾年中得到了飛速的發展。以電信、金融、高等學校以及大型國企為代表的我國大量企事業單位，都將數據中心建設作為其業務信息化建設的重點項目［3-7］。

1 數據中心建設選址問題

數據中心（IDC）建設涉及多學科綜合，建筑和信息專業交叉［1］，對基于老式建筑進行的數據中心建設，從某種程度上說難度更大，因為需要對傳統的建筑進行大量的改造。2000年前后新建的建筑，雖然一定程度上考慮了網絡布線等基本的需求，但在這樣的建筑中進行數據中心建設仍然是一個巨大的挑戰。

理論上說，數據中心建設的第一件事情就是選址。數據中心選址是一項比較復雜而困難的工作，涉及因素較多［8-10］。國際上的通常做法是將選址工作分為技術評估和商業評估兩大部分。如果從純技術角度來評估，考慮到安全、制冷及供電等因素［11-12］，數據中心的選擇應該盡量避免高層建筑，但對于一些企業的數據中心建設來說，選址的自由度往往不大，只能根據現實情況尋求次優解。

賽爾網絡有限公司的數據中心機房（以下簡稱賽爾網絡數據中心）就建在清華科技園的賽爾大廈15層，應該屬于很高的樓層了。該建設項目于2007年9月設計，2007年10月開始建設，2008年5月加電試運行。該數據中心建設樓層高，建設難度大，與以往的數據中心機房建設相比需要考慮的問題更多。目前該數據中心機房已安全運行6年，運行正常，并且成為賽爾網絡對外參觀展示的一個窗口。

2 賽爾網絡數據中心簡介

賽爾網絡數據中心是根據賽爾網絡發展的長遠戰略，并圍繞賽爾網絡的工作中心和信息化建設要求，體現“面向未來”的設計思想，建設一個布局合理、功能完備、安全可靠、設施先進，綠色環保、投資節省的現代化A級數據中心機房，同時還要考慮容集各方面的問題，具體就是要機柜數量最大化。這無疑對機房布局、電力、空調方面提出了更高的要求。

機房根據功能需求需有如下幾個區域（見圖1）：機房區（包括公共托管區、VIP區）、監控室、測試室、網絡機房、配電室（UPS主機、電池、配電柜等，該區域對地面承重有較高要求，至少在1 000kg／m2以上）、鋼瓶間（消防要求必須獨立于機房區外）、會議室，同時有關方面也提出了方便客戶參觀的要求。機房的建設在整個布局方面，體現了從實際情況出發、因地制宜設計的要求。

圖1 賽爾網絡數據中心平面結構示意圖

15層的整個結構是環形的，中間有核心筒近300 m2，因此整個可用面積只有984m2，在滿足以上條件的情況下機柜擺放最大化是需要精心設計的。后幾經更改設計，根據實際情況采取環形的參觀走廊，公共區機柜的擺放在滿足通風的冷熱通道標準的情況下，盡可能地密集，而在VIP區則采取了放棄設置多個小的VIP區的想法，只設計4個大的VIP區，這樣就可以多放置一些機柜，最終機柜數量從220個左右增加到274個。實踐證明，這樣的設計是能夠滿足規范和實際需要的。當然，機柜數量的增加帶來了另外2個方面的問題，那就是電力負載的增加以及空調制冷量的增加。

3 供配電系統設計

供配電系統設計相對比較成熟，國際上有ANSI／TIA-942標準以及Uptime的供電系統架構的可用性等級作為指導，國內以國標GB50174—2008機房分級標準中對供電系統的規范要求以及GB50052—2008供配電系統設計規范等相關規范作為指導。隨著多年數據中心建設實踐，總結出了許多最佳實踐體會，如高低壓變配電站靠近負荷中心的節能設計理念、冗余供配電系統物理隔離的高可用設計理念等。企業可以根據選擇的可用性等級，按照Uptime建議的供配電系統架構進行設計。

但是由于每個企業信息系統部署的需求有各自的特點，特別是數據中心機房建設在高層之上（如賽爾網絡數據中心建在15層），因此在供電系統設計中仍然有一些方面需要仔細地考慮和選擇。根據需求，該數據中心機房單機柜負載需求為15A，這就需要在供配電系統中解決整個數據中心的供電量、供配電的冗余以及后備電源的問題。

一方面，要確保供電量是足夠的，且能保證未來業務量的適當擴展；另一方面也要考慮未來節能設備的選用可能會使同樣設備占用空間的用電量需求下降，要做到不能冗余過度。經過認真論證，綜合大樓物業、柴油發電機廠家、UPS廠家、機房設計方與施工方等方面的意見，以及我們以往在數據機房建設方面的經驗，最終設計了以下的供電方案，包括電力總容量、UPS的供電模式、柴油發電機的選型等。

3.1 電力總容量設計

電力總容量的設計原則是必須要將設備供電和空調制冷供電分開，且在容量上有一定的冗余性；同時，必須要做到多路冗余供電。具體要求是：

（1）大樓物業確保提供900kVA UPS供電，以及600kVA的空調負載；

（2）大樓物業提供IDC供電取自2組變壓器；

（3）為確保供電安全，2個變壓器中任何一個出現故障，都會中斷對機房的供電，由機房的柴油發電機負擔機房的電力負載。

3.2 UPS方案設計

（1）UPS保持2N模式，6臺300kVA，總輸出容量為720kW／900kVA；

（2）UPS系統配備12脈沖整流器，在柴油發電機電壓畸變小于2%的情況下，實現單臺滿載情況下輸入諧波分量＜5%、單臺UPS負載50%情況下輸入諧波分量＜7.5%、單臺UPS負載25%情況下輸入諧波分量＜8.8%的技術要求；

（3）確保能夠在市電故障情況下（2個變壓器之一發生故障），能夠延遲順序加載UPS負載到柴油發電機組，并且能夠中斷對UPS系統電池的充電負荷。

3.3 柴油發電機組設計

將柴油發電機組型號THLM1470的ABB發電機單元增容至主用功率1 800kW，并且采用永磁型發電機。在滿足下面技術條件下，可以在機房滿載時，保證賽爾大廈IDC機房6臺300kVA UPS系統的正常啟動及帶載運行，并且可以在UPS順序啟動成功后，帶載機房專用空調。具體技術條件如下：

（1）柴油發電機組需配濾波器，減少諧波干擾。

（2）在市電失電時6臺300kVA UPS必須順序啟動。

（3）6臺300kVA UPS系統總輸出功率不得超過720kW／900kVA。

（4）UPS系統配備12脈沖整流器，在柴油發電機確保電壓畸變小于2%的情況下，實現單臺滿載情況下輸入諧波分量＜5%、單臺UPS50%負載情況下輸入諧波分量＜7.5%、單臺UPS負載25%情況下輸入諧波分量＜8.8%的技術要求。

（5）柴油發電機組輸出功率不帶UPS系統電池充電負荷。

（6）在UPS系統正常啟動成功后，可以順序啟動機房專用空調。機房空調可以部分設置為手動模式，具體需要加載的數量根據電力負載情況進行調整以充分保證機房的安全運行。

（7）要求柴油發電機在變壓器斷電狀態下啟動，啟動信號取自變壓器系統。

3.4 供配方案的2個重要方面

供配方案中，有2個方面是很重要的：

（1）對柴油發電機組發電機單元的改進。將柴油發電機組型號THLM1470的發電機單元增容至主用功率1 800kW，并且采用永磁型發電機。這在以前是沒有實施過的，在該項目中，我們提出該建議，經設計方及柴油發電機廠家認證，并最終實施。

（2）對整個供配電系統供電質量優化的最大化。變壓器雙路引入、UPS內部配置隔離變壓器、配備12脈沖整流器，并設置為在市電失電順序加載到后備電源上，柴油發電機配有源濾波器，在最大限度上提高供電質量，減少諧波干擾，提高電力運行的安全系數，特別是后備電源安全啟動的可靠性。

以上方案經設計方論證認可實施，現經過近6年的安全運行，證明該方案的確是安全、可靠、經濟的。

4 制冷系統設計

制冷系統是數據中心的關鍵子系統，不僅關系到數據中心穩定運行，同時也是實現數據中心節能降耗、建設綠色數據中心的重要環節。由于制冷系統的能耗約占數據中心整體能耗的2／5，降低能耗的潛力很大。

制冷技術對于建筑行業來說是一個相對成熟的技術，但為數據中心的網絡和服務器設備制冷與為建筑物內的人員制冷相比，還是存在較大的差異，因此，在制冷系統的設計理念以及實現技術方面都存在較大的不同。在數據中心規劃設計階段，許多影響制冷系統設計的因素都需要企業根據數據中心所在地理位置的氣候條件、數據中心可用性等級、網絡及服務器設備的功率密度特點、數據中心具體物理位置的限制以及擬達到的節能指標等多種因素綜合考慮，并做出合理的選擇。

4.1 數據中心機房環境特點

（1）設備的功耗大、發熱量大。設備的運行過程中，機柜的散熱量大且集中，熱負荷強度高。

（2）機房濕熱比高、散濕量小。濕熱比通常高達0.85～0.95；總散濕量約在8～16g／m2。

（3）溫濕度控制精度要求高且穩定。

（4）需要全年持續、穩定的恒溫運行。

（5）送風量大，送、回風溫差小。

（6）潔凈度要求較高。

（7）空調系統應具有高可靠性。

4.2 風冷與水冷相結合、分期實施方案

根據機房的供電負荷，設計方根據規范設計了20臺空調，確保機房的恒溫恒濕，但由于機房處在15層，提供安裝室外風機的16層不能滿足20臺風冷空調室外機的空間，同時對比了風冷與水冷特點，最終根據實際情況，采取了風冷與水冷相結合、分期實施的方案。這主要出于以下幾個方面的考慮：

（1）解決16層陽臺風冷空調室外風機安裝位置不足的問題。

（2）機房的電力負載是逐步上升的，分期施工可以減少初期的一次性投資。在第一次施工中預留下二次施工可能需要安裝的設備空間，同時也可根據實際的電力負載，對二期增加的空調數量進行調整。

（3）水冷機組雖然一次投入比風冷高，但水冷機組有其自身的優點：每臺水冷空調為一個獨立的系統，不存在公共的故障點，安全性非常好；不會發生大面積停機的情況，與風冷系統的安全性基本相同；最重要的是水冷機組的散熱條件好，冬季和春秋季運行時電費節省比較明顯；空調冷凝溫度較低且波動小，不會隨室外溫度升高出現高壓報警現象；維護工作量少。

目前二期水冷空調已經實施完畢，風冷、水冷共18臺，比設計中的20臺減少了2臺，這是根據實際電力負載情況進行調整的結果，目前運行安全穩定，能夠保證機房恒溫恒濕的運行環境。

5 結束語

數據中心機房的建設是一個復雜的工程項目，涉及的工種較多，專業技術性強，規范要求高，施工難度大。本文針對賽爾網絡數據中心的規劃設計和建設中面臨的技術和非技術問題的抉擇等進行了梳理與總結。在數據中心機房建設過程中，雖然不存在千篇一律的標準范式，但也還是有一些通行的法則值得后來者參考的，我們將之歸納為：安全實用原則、靈活多變原則、經濟實惠原則。

（

）

［1］趙明清，李捷，柴永財，等.企業數據中心建設實踐之規劃設計要點淺談（一）［J］.信息系統工程，2012（9）：47-49.

［2］趙明清，李捷，柴永財，等.企業數據中心建設實踐之規劃設計要點淺談（二）［J］.信息系統工程，2012（10）：29-31.

［3］李峰.政府數據中心建設誤區及建設方法淺析［J］.電子政務，2008（2）：97-102.

［4］趙俊三，尹鴻瑜，陶本藻，等.省級國土資源數據中心建設相關技術問題研究［J］.武漢大學學報：信息科學版，2005，30（5）：426-430.

［5］賈紅龍.論煙草行業數據中心建設中的數據質量管理［J］.信息技術與信息化雜志，2009（6）：33-38.

［6］陸疆.電力企業數據中心建設之我見［J］.電力技術資訊，2013（10）：105-106.

［7］莫潔.水利數據中心建設數據質量控制方案研究［J］.水利信息化，2012，10（5）：20-24.

［8］張小榮，章志國.校園數據中心建設項目生命周期探討［J］.現代計算機，2013（12）：54-56.

［9］王德才.高校數據中心建設方案與體會［J］.中國教育信息化，2008（13）：42-43.

［10］邵永春，鄧曉華，蘇志文，等.分布式空間數據中心建設研究［J］.微計算機信息，2008，24（1）：233-234，211

［11］何曉梅，馮梅，李捷，等.企業數據中心建設實踐之供配電系統設計要點淺談［J］.信息系統工程，2013（6）：31-33.

［12］何曉梅，馮梅，李捷，等.企業數據中心建設實踐之制冷系統設計要點淺談［J］.信息系統工程，2013（3）：51-54.