高校數據中心機房建設研究與實踐

文/魯學亮　陳平

高校數據中心機房建設研究與實踐

文/魯學亮陳平

圖1　機房平面圖

隨著高校信息化建設的不斷深入以及云計算、大數據、虛擬化的快速應用，對IT基礎設施提出了更高的要求，尤其在數據的安全性、可靠性方面，因此建設一個安全、綠色、智能、高效的數據中心成為了高校信息化發展的重中之重。本文以北京師范大學IDC機房建設為例，探討高校IDC機房建設存在的問題，總結經驗教訓。

高校IDC機房服務于學校信息化建設中各種IT設備的托管，與商業IDC相比，高校IDC不以盈利為目的，投入少，運維人員不足。在信息化建設過程中，大多數高校沒有建設專業化的IDC機房，而是采用與樓宇網絡設備共用的方式，這樣就造成了眾多小機房的出現，單一機房里容納包括網絡設備、服務器、存儲等眾多IT設備，這些機房規模不大，但承擔的任務眾多。同時這些機房在安全與節能方案幾乎未做規劃，供電、制冷等關鍵系統都沒有做冗余配置，管理維護非常困難。

隨著大數據、云計算、科研計算快速發展和應用，對IT基礎設施的要求也越來越高，這種建設模式已經嚴重阻礙了信息化的發展。由于信息化需求和技術的多變性，因此在建設前要充分做好規劃。高校數據中心投入資金普遍有限，應采用模塊化的設計，做好充足資源預留。

模塊化、區域分級設計

鑒于學校數據中心各種業務需求的不斷發展與變化，各種新技術也在不斷出現，故在機房設計時需考慮這些變化對資源需求的改變，以確保整個系統可靈活的擴展。考慮到未來不斷發展的需要及投資效益，在機房面積、電力供應、空調容量、通信點數等各個方面都應預留合理的余量及可擴充的靈活性，使計算機機房的投資及今后的發展都得到可靠的保障。因此本次選用的UPS、配電系統、網絡系統、制冷系統等都采用模塊化，在資金有限的前提下，為以后的擴展做好充分的準備。同時根據不同IT設備對配電和制冷量的需求，機房在建設時采用分區分級的設計模式，分為高密區、中密區、低密區三個區域，分別設計單機柜配電為15kW、6kW、3kW。高密區面向高性能計算、刀片柜等高用電量IT設備。中密區面向虛擬化、存儲等設備。低密區面向網絡設備、框架式服務器、安全設備等。中低密區PUE控制在1.8以內，高密區PUE控制在1.5以內。

機房子系統設計

北京師范大學2014年啟動新IDC機房建設，以安全、綠色、高效、智能為設計理念，2015年全面投入使用。機房總建筑面積約465平方米，分為主機房區、監控區、配電室、消防室等功能區，如圖1所示。機房設計定位為學校教學、科研服務器托管，要求建設一個布局合理、功能完備、設施先進、運行穩定、使用靈活同時又能體現工藝精湛、美觀大方、綠色環保的符合國家相關機房標準的現代化計算機中心機房，反映出高性能綜合機房所有系統的安全性、功能性、先進性、穩定性、開放性和可管理性。

電氣子系統

北京師范大學IDC機房配電系統采用國家A級機房建設標準，配電系統由大樓配電室引兩路市電電源至機房配電室，電源容量為每路800kW，機房配電柜總開關采用1600A，配電室安裝兩臺400kVA UPS設備組成2N系統提供機房的電力保障。配電系統采用雙回路配電結構，一臺列頭配電柜引自UPS1輸出配電柜，另一臺列頭柜引自UPS2輸出配電柜。兩臺列頭柜內的兩個獨立電氣單元分別通過工業連接器連接至機柜內的PUD。每個配電回路均能滿足計算機機柜100%的用電負荷，任何一路空開或線路的故障均不影響另一路電源的正常使用。機房每個機柜的用電都經過詳細測算，根據不同需求設計用電配制。設備配電表如表1所示。

UPS主要為網絡設備、計算機設備、監控、門禁和應急照明系統等提供電源。UPS系統能夠在任何市電故障、應急發電機未啟動之前，保證為計算機負荷設備等重要設備提供不間斷的供電，同時做到穩壓改善供電質量的作用。本工程設計采用2臺400kVA 模塊化UPS，電池按照系統滿載后備時間0.5小時配置。UPS主機、輸入輸出配電柜、蓄電池系統放置于數據中心配電室。UPS電源電纜采用專用屏蔽電力電纜沿機柜上的金屬橋架敷設到位，這種布線方式具有靈活方便、加線、改線、便于維修等功能，是機房內最為理想的一種布線方式。配電柜由自動空氣開關控制，設置過負荷、短路保護等功能，可實現遠程對電壓、電流監控功能。

數據處理中心供配電系統是機房安全運行動力保證，本項目采用數據中心專用配電柜來規范數據中心供配電系統，根據實際用電情況合理設計配電系統并配置相應輸入輸出配電柜，保證數據中心供配電系統的安全、合理。在機房供配電系統中，采用熱插拔式開關柜，減少由于調整變更帶來的不利影響。配電柜所設計的供電路數，能足夠提供主機和外部設備的使用，各配電柜均預留有一定數量的備用開關，其中UPS輸出配電柜及主機房內UPS區域配電柜各規格的備用輸出開關均不少于15%；

表1　設備配電計算表

制冷子系統

數據中心機房A區共安裝53臺設備機柜，其中16臺高密度機柜，采用風冷冷凍水系統和行級精密空調，剩余為中低密度機柜，精密空調地板下送風的制冷方式。B區機房安裝22臺設備機柜，采用精密空調地板下送風的制冷方式。A區高密區采用兩臺風冷冷凍水系統（1主1備），中低密區采用4臺精密空調（3主1備），B區采用4臺精密空調。

數據中心機房中低密區采用地板下送風的方式，地板高度為450mm，地板下作為靜壓箱，通過機柜前的開孔地板送風，從而實現空調對機柜的冷卻。機柜布局雖然為冷熱通道方式，但還是會出現冷風無效冷卻，而直接與熱風混合的現象，因此把兩排機柜中間的冷通道進行封閉，空調機組送出的冷風可以直接送到冷通道內而進入服務器機柜，所有機柜排出的熱風被空調機組吸回。從而提高空調機組的回風溫度，提高空調機組的制冷能力，還可提高解決機柜更高功率密度的制冷能力。

高密區每機柜采用15kW的配電，對制冷要求極高，因此高密區采用冷通道封閉技術，制冷方式采用風冷冷水機組和機柜行級空調，從而有效降低了冷熱風的混合，優化了氣流組織，機柜級空調的回風溫度可由23℃提升到28℃甚至更高，而每提升1℃回風溫度，空調散熱量約提高3%～5%，在提升5℃的回風溫度下，空調制冷量將提升15%以上。

弱電子系統

本工程采用六類非屏蔽模塊化布線加多模光纖解決方案。綜合布線系統采用模塊化設計，機房均設置弱電列頭柜和網絡機柜，弱電列頭柜敷設銅纜和光纖至網絡機柜。數據中心機房共安裝有75臺設備機柜，其中9臺弱電列頭機柜和網絡機柜，其余66臺為服務器機柜，參考設備布置，設計線槽及信息點如下：普通服務器區每臺機柜設置36個銅纜信息點，其中24個網絡接口，12個KVM接口，匯集到弱電列頭柜。弱電列頭柜匯聚到本機房的網絡機柜。機房區域內弱電線路采用機柜上走線方式，采用開放式線槽。每排機柜配置48芯多模光纖至核心交換機機柜。網絡設備采用兩臺數據中心級三層交換機虛擬成一臺，其余二層換交機按照每排機柜進行堆疊提高管理效率。二層交換機采用雙萬兆上連核心交換機，核心交換機雙萬兆上聯校園網核心交換機。為便于學校各單位遠程管理托管的IT設備，IDC機房配套了KVM系統，使得每臺服務器可遠程安裝系統、開關機等操作，減少現場人員的運維成本。

智能監控運維子系統

為保證數據中心機房安全穩定工作，電氣系統、環境系統、制冷系統、安防系統等各子系統必須時時刻刻穩定協調運行。如果機房動力及環境設備出現故障，輕則影響業務系統的正常運行，重則造成機房IT設備損壞、報廢，使系統陷入癱瘓，后果不堪設想，因此對IDC機房的各系統進行實時集中的監控極其必要。機房環境及動力設備監控系統主要是對機房設備，如配電系統、UPS電源、空調、消防系統、安防系統等的運行狀態、溫濕度、供電電壓電流等的狀態進行實時監控并記錄歷史數據，實現對機房遙測、遙控的管理功能，為機房高效、智能的管理和安全運營提供有力的保證。本項目使用智能監控運維系統將傳統的應用監控系統與環境動力監控系統進行整合，實現對服務器、交換機、存儲、UPS設備、空調、溫濕度、視頻、門禁、漏水等的實時監控，大大減少了人員的工作量。

北京師范大學IDC機房以綠色、安全、智能、高效為設計理念，配電、機柜等設施采用模塊化設計，便于擴展，同時進行了區域分級建設，引入智能監控系統，IDC機房的建成很好地滿足了學校教學、科研對IT基礎設施的需求。接下來學校將進一步對IDC機房進行節能方面進行優化。

為北京師范大學信息網絡中心 )