模塊化機房建設實踐

中國人民銀行益陽市中心支行科技科 馬國勝

隨著IT 基礎架構的轉型，以數據集中為重要標志的信息化建設，雖然提高了業務處理的效率，提升了IT 架構的可靠性，降低了運維成本，但對數據中心機房的快速部署、靈活擴容、穩定運行提出了更高的要求。筆者所在的單位運用模塊化機房建設方案，使用近3 年的時間，分別對市縣兩級機構的機房統一實施標準化更新改造，建成規范標準、安全可靠，運維便捷、綠色節能的機房，為業務運行提供了安全可靠的IT 基礎設施環境。

圖1 模塊化機房組成

什么是模塊化機房

模塊化機房如圖1 所示,是指將IT 機柜、配電柜、精密空調、冷通道、UPS 主機、電池柜、動環監控系統等設備和設施按功能分類，通過工廠預制的方式生產成相應的功能模塊和組件，在現場以搭積木的方式組合成整體的機房。模塊化機房有以下明顯優點。

1.組件標準，整體具備高可靠性。組件采用模塊化、標準化和高可靠性設計，核心設備可以根據需求，靈活實現N+1、N+X、2N 等冗余備份方案，整個系統穩定度高，安全可靠。

2.集成簡化，建設周期有效縮短。所有的功能模塊采用批量生產、預先測試、現場集成的方式供貨和部署，對基礎環境，供水供電等外部環境保障接口統一，甚至基礎設施和IT 設備能一體化交付，機房規劃設計、建設實施、聯調驗收等環節的工作量大幅減少。

3.分期建設，按需靈活拓展部署。模塊化機房按末端制冷、末端配電、末端布線的理念,按需部署組件，通過預留外部接口的方式，與機房基礎設施建設解藕，在降低初始投資的基礎上，可以通過靈活擴展供配電和制冷等組件，適應未來需求。

4.綠色節能，運行成本大量節省。模塊化機房采用密封通道技術，隔離冷熱氣流，制冷系統的容量與負載需求匹配更精準，制冷效率更高，電能轉換率能高達95%，整體PUE 可≤1.5，能節省運行費用。

5.智能管理，運行風險精準防控。所有組件自帶運行狀況內部監控功能，能獨立對組件進行可視化化管理，支持通過標準的RS485、SNMP 協議與機房整體環境監控系統集成，配合3D 虛擬展示技術，能實時集中提供設備和設施運行狀態顯示，故障告警等功能。

圖2 市級機構模塊化機房布局圖

模塊化機房建設實踐

筆者所在單位包含1 個市級機構和4 個縣級機構，5 家機構根據本單位業務需要，均設計建設了機房。隨著信息技術的更新和制度規范的修訂，5 家機構原來的機房暴露出安全隱患，并存在不符合新標準的情形。

市級機構原有的機房建成于2004 年，占用建筑面積約370 平米，存在設備超期服役老化造成故障頻發；空間規劃不合理和利用率低造成耗能偏大；各子系統獨立運行造成應急能力差等問題，且整體能效偏低，PUE 值>2.2。市級機構的機房更新改造必要性、緊迫性突顯。改造工作列為全系統信息化“十三五”發展規劃的省級重點信息化建設項目。

4 家縣級機構原有的機房分別占用建筑面積為25-50 平米，但因為建設時無統一標準、經費緊張的原因，遺留下選址不合理使基礎環境無法達標，設備老舊和型號不一使運維困難，未配備安防監控設施造成機房運行和管理存在風險等問題。

1.市級機構模塊化機房建設

（1）整體方案

市級機構模塊化機房建設參照上級單位發布的《計算機機房規范化工作指引》（以下稱“指引”）,主要性能指標按指引中的C 類計算機機房設計和國家2 星級綠色數據中心標準設計，部分關建和重要設備參照《電子信息系統機房設計規范》（GB50174-2008）中B 級機房標準配備，整體面積107 平方米，分主機房、辦公網機房、監控操作室、電池室、新風室，其中電池室在辦公大樓負一樓，其他分區在原機房位置改建。主機房采用雙排單通道的布局部署一套模塊化機房，其中1 臺一體化智能配電柜，1 個綜合布線柜，2 個網絡機柜，2 個運營商機柜，6 個服務器機柜，2 臺行間精密空調。在通道加裝網孔隔斷門，將模塊化機房劃分為運營商設備區和核心業務區，并使用門禁控制實現分區之間單向出入，如圖2 所示。

（2）主要設備部署情況

市級機構模塊化機房共部署供配電系統、UPS 系統、照明系統、防雷接地系統、靜電防護系統、空調制冷系統、新風與排氣系統、自動消防系統、門禁系統、視頻監控、入侵報警系統、動力環境監控系統、機柜與冷通道系統、綜合布線系統、集中遠程管理系統等15 個子系統，如圖3 所示。

供配電系統設計負荷100KW，分別在大樓配電間市電和發電機輸出開關引入2 路供電線路，經智能配電柜中的ATS 開關，提供3 路UPS 和多路動力設備供電，并配備210KW 的應急發電機作為后備供電系統，用于應急制冷。

UPS 系統分為IT 應急配電和輔助應急配電兩部分，IT 應急配電使用2 臺機架式20KW 主機和80 節容量為100Ah 的電池，按2N 冗余模式運行，為服務器機柜中的設備進行雙回路供電，輔助應急配電使用1 臺機架式6KW 主機和16 節容量為100Ah 的電池，為門禁系統、視頻監控等輔助系統供電。

照明系統由工作照明，應急照明和疏散照明組成，均采用LED 綠色光源。

防雷接地系統采用三級防雷設計，在配電柜市電總輸出端設置二級防雷，在UPS輸出端安裝的C 類防雷產品。接地采用聯合接地方式，使用銅排在地板下構成等電位聯結網格，機柜、線路、金屬管槽、墻面龍骨架、吊頂龍骨架、地板支架接地全部連接到網格中，銅排連接處使用熔錫工藝，進行防氧化處理，并使用螺桿加固連接。

圖3 市級機構模塊化機房配電柜系統圖

空調制冷系統配備2 臺25KW 制冷量的恒溫恒濕水平送風行間精密空調，按2N 冗余模式運行，并設置成自動輪巡模式。

新風與排氣系統為整個機房提供空氣正壓和緊急情況下的排煙功能，新風量達到2500 立方/小時，排氣量達到3000 立方/小時。

自動消防系統采用無管網氣體自動滅火系統及消防報警系統，配有機房專用空氣呼吸器，具備與供電系統聯動功能，并與大樓消防報警系統集成。

門禁系統采用雙向門禁模式，分別在房間進出門、通道兩端和隔離門等位置安裝支持國密算法IC 卡技術的讀卡器。

視頻監控采用數字網絡型監控設備，布放10 個高清攝像頭和1 臺硬盤錄像機，對所有分區實無死角和全天候的監控，并與大樓安全保衛管理系統集成。

動力環境監控系統在接入全省統一機房監控平臺的基礎上，通過智能接口卡采集配電系統、空調系統、UPS 系統和新風與排氣系統等數據，監測漏水情況，顯示在監控大屏上，并通過短信和電話對非法入侵、設備運行異常等情況進行實時告警。

綜合布線系統采用支持萬兆傳輸速率的超六類雙絞線和多模光纖，在所有的運營商、網絡、IT 設備柜中分別布放24 口網口和光纖配線架，所有線纜采用上走線和金屬線槽敷設的方式全部接入到綜合布線柜中統一進行配線。

集中遠程管理系統分別采用采用1 臺32 口KVMover-IP 交換機和1 臺16 口Serial-over-IP 交換機,對機房中所有服務器和網絡設備進行集中管理。

（3）建設周期

項目于2017 年4 月立項后啟動設計工作，同年7 月設計方案獲得上級單位批復，10 月完成項目采購。項目建設于2017 年12 月正式開工，2018 年2 月竣工，工期62 天。2018 年6 月 項目通過初驗，模塊化機房投入試運行，并于同年10月通過上級單位的終驗。

2.縣級機構模塊化機房建設

（1）整體方案

縣級機構的機房更新改造按照裝修標準、選址合理、配電規范、標識清晰、規范達標的原則，以實現機房建設、運行和管理標準化為主要需求，參照上級單位發布的《電子信息系統機房建設規范》（以下稱“規范”），按規范中IV 級機房標準設計，部分設備參照國標C 級機房標準配備。4 家縣級機構分別選用位于辦公樓2、3 樓的20-30平米全封閉房間作為機房場地，對原機房進行遷址建設，采用單排單通道的布局配備1 套模塊化機房，其中2 個IT 機柜、1 臺列間精密空調，1 臺精密配電柜，并預留1 個IT 柜的位置。

（2）主要設備部署情況

縣級機構的模塊化機房，部署了與市級機構機房功能相同的15 個子系統，但根據實際情況，對部分部署的子系統進行減配，消防系統改為手動滅火器結合火災自動報警方式，綜合布線系統不設專門的布線柜，改為超五類網線直接接入IT 設備柜的方式，如圖4 所示。

圖4 縣級機構模塊化機房布局圖

供配電系統負荷30KW，市電和發電機供電經大樓配電間ATS 開關后，通過1 路供電線路接入一體化配電柜。柜電柜集成市配電、UPS主機和電池電源，按上下位置劃分成3 個區域，上部安裝配電模塊，模塊中包含UPS輸入輸出配電，空調配電及6路IT 設備配電，安裝有B、C級防雷器；中部采用導軌方式安裝UPS 主機，并采用電池入列的方式將電池擺放在配電柜下方。

UPS 系統使用1 臺機架式6KW 主機和16 節容量為65Ah 的電池，為網絡設備、服務器、監控和門禁系統等重要設備提供應急電源。

空調制冷系統配備1 臺12.5KW 制冷量的恒溫恒濕水平送風列間精密空調，所有機柜頂部配備4組應急制冷風扇，在緊急情況下用于機柜內冷熱空氣對流。

綜合布線系統采用支持千兆傳輸速率的超五類雙絞線，在2 個IT 設備柜底部分別布放48 口網口架，采用先上后下走線和金屬線槽敷設的方式連接信息點。

動力環境監控系統采用統一的機房監控平臺，按集中監控，分級告警的模式，將各子系統的運行狀態實時顯示在設在市級機構機房內的監控大屏上，統一設定閥值后，系統會根據異常情況發生位置向所在單位的管理人員實時告警。

（3）建設周期

為控制好機房建設標準，4 家縣級機構機房更新改造工作整合成統一的縣級機構模塊化機房項目進行建設。項目在2018 年10 月立項后啟動設計工作，同年12 月完成項目采購。項目采用“建成一個，驗收一家”分步建設的方式實施，2019 年3 月首家縣級機構模塊化機房開工建設，至8 月所有縣級機構的模塊化機房完成驗收，建設周期160 天。

實踐效果

1.技術更新，提升安全可靠性能

使用模塊化機房技術的完成兩級機構機房更新改造后，徹底化解了原來大量關鍵設備和設施超期服役帶來的風險隱患，建成了綠色節能環保的IT 基礎平臺，為業務業務連續性運行提供了安全可靠的基礎平臺。改造后，機房電源由一體化精密配電系統供電，消除了大樓內線路和原配電設備老化的問題，使IT 設備運行的供電保障有了數量級提升。

2.綠色節能，提升整體經濟效益

統計數據表明，相比改造前，模塊化機房的投運后，地市級機構機房運行消耗的電能減少了18 萬度/年，PUE值達到1.2，縣級機構機房運行消耗的電能減少30%，PUE值為1.1。

3.標準規范，提升運維管理質效

建設的標準統一、配置統一、監控統一和運維統一的模塊化機房，使設備、設施和線纜標識規范清晰，運行狀態可視化，提高了運維工作的效率，并為推廣集中統一運維模式和統一監控無人值守模式提供了基礎條件。