淺談微模塊數據中心的建設與發展

The Construction and Development of Micro Module Data Center

閆偉

YAN Wei

（江蘇省郵電規劃設計院有限責任公司）

?

淺談微模塊數據中心的建設與發展

The Construction and Development of Micro Module Data Center

閆偉

YAN Wei

（江蘇省郵電規劃設計院有限責任公司）

1 微模塊數據中心概念

微模塊數據中心系統是集成化、產品化、模塊化、標準化的機柜系統，它是將傳統機房的機架、空調、消防、布線、配電、監控、照明等系統集成為一體化的綜合產品方案，具有快速、靈活、簡便、可預測等明顯優點。它是以若干機架為基本單位，包含制冷模塊、供配電模塊、后備電源以及網絡、布線、監控、消防等系統在內的獨立的運行單元。該模塊全部組件可在工廠預制，并可方便拆卸，快速組裝，以實現系統的快速、靈活部署，這不僅可以大幅降低建設成本，而且能夠大幅縮短數據中心的建設周期。如圖1所示。

1.1 傳統機房存在的問題

傳統機房建設由于技術的限制，以及以前對于機房管理需求的不同，存在以下諸多問題。

圖1　微模塊數據中心結構示意

1) 投入大，見效慢，可擴展性差

傳統數據中心基礎設施設計容量一步到位而IT負荷逐年增加，一次性投入巨大，大量投入多年不能產生效益；更為重要的是可擴展性差。

2) 建設與業務脫節

數據中心建設周期長，跟不上業務發展速度，機房建設時間少則半年，多則2年。

3) 能耗高

機房能耗大，能源利用效率低；房間級制冷，大量無效空間浪費了冷量；冷流短路，降低了制冷效率；國內大部分數據中心的PUE值在2.6以上。

4) 機房利用率低

單位建筑面積承載的計算能力有限，基礎建設投入利用率不高；機柜功率容量低，無法放置高密度服務器；傳統數據中心單機柜功率不到2kW。

5) 資產管理難

數以萬計的IT資產盤點困難，更不清楚什么設備在什么位置；資產人工盤點，開銷大、效率低、易出錯。

6) IT設備空轉

經過一段時間運行的傳統數據中心存在大量幽靈（空轉）服務器，數量可達15%以上。浪費能源，浪費機房容量。

7) 設備部署或變更的煩惱、設計容量浪費

一次規模部署或變更，事前花大量人力確定方案；什么設備放在什么位置，空間、電源、冷量、網口夠嗎？如果不小心錯誤部署或變更，則會引發事故；非智能設備部署導致設計容量浪費。

1.2 微模塊機房與傳統機房對比的優勢

1）快速

模塊化結構可以大大減少與設計、安裝、調試有關的時間，進而更快地部署數據中心，總體來說可以縮短整體部署時間的50%（見表1）。

表1　部署時間對比

2）靈活

模塊化結構使得客戶可以在很短的時間內選擇不同的基礎設施組合，把它們放置在普通房間內，就構建成了數據中心。另外，我們還可以利用模塊化方式對現有數據中心非常容易地進行改造、擴容，且可以節省大量的初期投資成本（分期部署時）。部署的靈活性對比如表2所示。

表2　部署的靈活性對比

3）簡單

模塊化結構在工廠經過預設計和調試，在現場可以簡單地部署，所需要的建設規模和復雜程度是最小的，設計時預留了供配電接口、制冷接口、網絡接口等，因此可以做到即插即用。這種預生產、標準化、外觀的統一性便于客戶非常簡便地采購、部署和調試（見表3）。

表3　部署的簡便性對比

4）可預測

模塊化結構可以強化數據中心建設的可預測性，大大降低了數據中心建設中的風險。由于模塊化結構是預設計、預測試、預安裝的系統，預先要經過工廠驗證，預先調試到其最佳性能，因此具有很好的質量保障，而且交付期也非常短，一般為7～8周（見表4）。

表4　部署的可預測性對比

5）節能

兩種部署方式的節能效果如表5所示。

表5　節能效果對比

微模塊機房相對于傳統的機房具有的優勢和特點如表6所示。

表6　兩種機房的優劣對比

2 微模塊中心機房的建設

2.1 微模塊整體組成

該微模塊由底座、服務器機柜、電源柜、電池柜、列間空調、天窗、頂部線槽和端門等部件組成。從系統來看，可劃分為結構系統、供配電系統、制冷系統、消防系統、監控系統、綜合布線系統等子系統。結構系統采用雙排機柜冷通道密封形式，提供1.2m寬的冷通道空間；采用若干定制機柜，單機柜提供42U安裝空間，可分別提供3kW功率支持。供配電系統采用雙路市電輸入方案。對于服務器機柜內的IT負載，提供雙UPS電源供電。制冷系統采用列間精密空調，靠近機柜設備進行制冷。消防系統主要由煙感、天窗磁力鎖和消防門禁控制箱等組成，需要依賴于數據中心機房內已有的消防系統完成消防滅火動作。綜合布線系統采用機柜上走線，實現強弱電分離；監控系統實現動環監控、動態能耗顯示、資產自動檢測、實時容量檢測等多種功能，并與上層云管理服務系統智能聯動。同時提供門禁、紅外入侵、視頻監控、水浸、機柜門磁、聲光報警、煙感等全面保護。

2.2 微模塊電氣系統

2.2.1 配電系統

為了保證微模塊的高可用性，配電系統采用雙路市電輸入方案，經ATS自動切換后到UPS，再經過UPS后到IT機柜；另外引一路市電直接到IT機柜。

所有服務器機柜內的IT負載，提供1路UPS電源供電,1路市電保證其供電需求。

為了保證微模塊的高可用性和高節能性，不間斷電源采用模塊化UPS配置。

為了保證監控及安防、消防系統各種傳感器不間斷工作，可單獨配備一臺小型UPS為其供電。

精密配電柜系統配備智能電量儀，將采集的運行數據（包括但不限于總電壓、總電流、總功率、用電量、功率因數、諧波、各支路電壓、各支路電流、告警信息等）納入到監控系統中。

精密配電柜系統對所有空開、電池維護開關的開關狀態進行監測，配置防雷模塊與維修開關。防雷模塊為C級防雷以上。市電直供交流配電的交流輸入配置防電壓浪涌器。

2.2.2 PDU

PDU安裝在服務器機柜內，為IT負載進行供電。一般配置3kW功率段的PDU，每個服務器配機柜交流PDU 2個。

交流PDU外觀如圖2所示。

圖2　交流PDU外觀

2.2.3 接地微模塊接地系統滿足人身安全及運營設備正常運行的要求。微模塊內電源、列間空調等設備的金屬導體、底座、柜體、天窗等金屬結構部件均做等電位聯結。

微模塊對外接地時，其底座接地點與機房接地分匯集排之間，用16mm2黃綠相間色單芯絕緣阻燃軟電纜可靠連接。

機柜內所有電纜均符合YD/T 1173的要求。電纜和母線的絕緣層或外護套顏色符合GB 7947的要求。

2.2.4 照明及維護插座

微模塊內安裝有平板LED照明燈具，安裝于冷通道內頂部。照明系統照度達到500lx以上，并實現人員進出時的燈光自動控制。

2.3 微模塊制冷系統

2.3.1 氣流組織

微模塊內，空調同微模塊結構系統、電源柜以及UPS柜，共同組成密閉的冷通道，實現冷熱空氣隔離，微模塊采用水平送風的列間空調進行制冷。列間空調采用前部雙側送風，正面送風方向小于90°，冷空氣直接靠近熱源，送風距離大大縮短，減少了氣流沿程壓力損失和冷空氣的泄漏量，冷空氣利用率提高15%～20%。

微模塊的氣流循環示意圖如圖3所示，空調將服務器排出的熱風從空調后部吸入進行冷卻，然后從空調前部吹出，冷空氣在冷通道內擴散后，再被服務器吸入、排出，如此反復。

圖3　微模塊氣流循環圖

2.3.2 列間空調

列間空調滿足如下特性：

1) 空調正面水平送風，背面回風；正面送風方向小于90°，雙側送風；

2) 背面安裝便于更換的G4等級過濾器；

3) 可采用送風/回風溫度控制方式；

4) 配置獨立控制器，支持多行中文顯示，可顯示機組狀態、進出風溫度、風量、進出水溫度等參數；

5) 具備掉電記憶功能，異常掉電后，來電可自啟動，可恢復掉電前運行狀態；

6) 具有組網功能，可實現微模塊內多臺空調群控運行，實現休眠、輪巡等群組功能；每臺機組配置相同控制器，均可作為主機運行；標配RS-485通訊接口；

7) 風冷型列間空調支持交流雙電源供電；

8) 提供必要的告警信息，包括但不限于回風高溫、高濕、異常掉電、通信故障、氣流丟失、風機過載、進水高溫等；

9) 采用R410A環保制冷劑的直流變頻EC壓縮機，動態制冷，適應快速變化的機房負荷；可大大降低壓縮機啟停次數，提高系統可靠性；

10) 采用EC技術的可調速風機，風機在出風口均勻布放，按制冷需求或風壓自動調整風機轉速；風機N+1冗余配置；任意風機故障，仍可確保全風量運行；

11) 采用電子膨脹閥，平滑調節節流開度，與變容量壓縮機配合實現節能；調節范圍寬，降低過熱度，提高能效比。

2.4 微模塊消防系統

微模塊消防系統主要實現火災探測、天窗和設備聯動、消防告警等功能。消防系統主要由煙感、天窗磁力鎖和消防門禁控制箱等組成。密閉冷通道內頂部安裝有煙感；在活動天窗上安裝有天窗磁力鎖；在微模塊頂部安裝一個消防門禁控制箱，內置天窗電磁鎖控制模塊；外接消防24V控制電源及220V交流電源，由數據中心機房總的消防控制器提供的干接點信號進行聯動控制。

當某個微模塊的煙感偵測到煙霧，向數據中心機房消防控制器上報告警信號；消防控制器控制該微模塊的消防門禁控制箱進行動作。消防門禁控制箱向該微模塊的監控系統輸出報警信號，微模塊產生聲光報警；切斷天窗磁力鎖電源，打開活動天窗；關閉列間空調。數據中心機房消防控制器，控制消防噴頭噴出消防氣體進行滅火。

微模塊消防系統和數據中心機房消防控制器聯動原理如圖4所示。

圖4　消防聯動原理圖

微模塊對數據中心消防系統的要求如下：

1) 機房內的消防采用房間級的氣體消防系統，由業主完成；

2) 多個微模塊集中部署時，采用集中式滅火系統。并與數據中心消防系統配合；

3) 消防系統的選型首先必須符合數據中心所在地消防局的相關規定并得到其認可。

2.5 微模塊系統綜合布線

微模塊采用上走線的布線系統，在頂部安裝線槽，實現線纜的有序管理。

布線系統特性如下：

1) 微模塊頂部實現強電線槽和弱電線槽分離，分別用于電源線和信號線走線。紅色標簽線槽走強電，藍色標簽線槽走弱電；

2) 微模塊頂部提供橫向線槽和縱向線槽。橫向線槽位于微模塊每列機柜頂部，實現橫向走線；縱向線槽連通微模塊兩列機柜；

3) 微模塊頂部線槽內有清晰的強弱電標識；

4) 每個機柜內后部左側安裝弱電線槽，右側安裝兩條豎裝的交流PDU和直流PDU；

5) 兩個微模塊之間通過機房走線架進行連接，走線架分為電源線走線架和信號線走線架。

2.6 微模塊智能管理系統

微模塊內設置24小時不間斷運行的智能管理系統。

系統對機房微模塊內的動力設備、環境設備、安防設備統一監控，并實現對微模塊能耗、資產、容量等統一運維管理，最終達到對微模塊基礎設施智能化監控管理的要求。

系統體現“高科技、智能化、綠色節能”的建設理念。

圖5　微模塊監控系統架構圖

微模塊監控系統作為云管理服務系統中的一個組成部分，通過交換機，將每個微模塊的信息統一與上層的云管理服務系統進行互聯互通。微模塊監控系統架構如圖5所示。

各部分的主要作用如下。

現場設備：由各種智能設備、傳感器、I/O采集模塊，通訊轉換模塊等組成；現場設備是監控數據的根源，現場設備的數據通過通訊轉換模塊或者直接接入現場監控層。

處理層：由數據采集處理單元（GU）組成，負責收集與處理由現場設備發送上來的數據。數據采集處理單元內置在微模塊中，其具有數據采集、數據處理、協議轉換、聯動控制、報警管理、視頻集成等功能，內嵌WEB服務，支持遠程IE訪問。該數據采集處理單元，可采集管理微模塊內的各種動力設備、環境參數和安防系統以及IT設備參數。提供友好的人機界面，滿足用戶個性化需求。內置WEB服務為系統管理人員提供遠程設置、遠程監控、遠程維護及遠程報警等專業管理功能。網絡中斷時仍可獨立運行、存儲數據及聯動控制。

當機房僅有一個模塊時，微模塊內置的監控系統可以獨立完成該模塊的基礎設施監控能力，通過顯示層的各種展示終端和報警發送設備組成系統，實現微模塊監控與用戶的人機交互。

在由多個微模塊組成的數據中心中，微模塊內置的數據采集處理單元，將采集的數據和處理后的結果、報警信息等上傳至上級云管理服務系統。

3 微模塊中心機房的發展趨勢

在IT行業中，舉足輕重的政企市場正在快步進入云計算時代，一方面，越來越多的中小企業，從自建小微數據中心轉而向成熟的云計算服務提供商購買云服務；另一方面，政府也開始嘗試與專業IT廠商合作建立市級、省級的云計算數據中心，為二級單位提供云服務，云計算已經從前幾年的概念炒作發展到今天在政企市場中的實用階段。數據中心作為支撐云計算服務的基礎單元，隨著云計算的快速發展，勢必會呈現集中化、大型化、專業化的趨勢，微模塊數據中心正是在這種背景下出現的一種新型數據中心部署形式。

云計算的重要特征之一就是彈性擴容，而實現數據中心的彈性化部署則是其中尤為關鍵的一環。IT界的新技術往往最早出自更具創新力的互聯網企業，在建設彈性數據中心的探索中，由于對數據中心的需求量更大，規模更集中，又更加看重成本，國內外的大型互聯網企業又一次走在了行業前列。以Google的比利時數據中心為例，配電和制冷分別位于機房兩側，采用類似集裝箱的模塊化單元，機房內部也采用了冷、熱通道隔離的微模塊單元，成為真正的模塊化數據中心。但國外的成功經驗并不一定適用于國內，在土地資源尤其緊張的中國，容積率超低的單層廠房式數據中心無疑是奢侈的，所以更加適合多層數據中心的室內微模塊，慢慢成為國內彈性數據中心探索的主要方向。

參考文獻

[1]郭亮.淺析微模塊數據中心的關鍵技術[J].信息通信技術, 2013（01）.

[2]陳廣成.中興微模塊數據中心 顛覆傳統的IDC新模式[R].中興通訊云數據中心峰會，2014.

【摘要】要 】微模塊數據中心是將傳統機房的機架、空調、消防、布線、配電、監控、照明等系統集成為一體化的產品，充分發揮了模塊化設計的優勢，可以實現系統的快速、靈活部署，這不僅可以大幅降低建設成本，而且能夠大幅縮短數據中心的建設周期。微模塊數據中心建設對機房的空間環境沒有特殊要求，不需抬高地板和其他機房的專門裝修。微模塊數據中心提高了數據中心的整體效率，既提高數據中心內IT設備的效率，也提高能源的使用效率，它擁有先進的列間空調制冷和冷熱通道隔離技術，實現數據中心的綠色化。

(Jiangsu Province Post and Telecommunications Planning & Design Institute Co., Ltd.)

【Abstract】Micro Module Data Center is a integrated product. It contains the framework, air-conditioning, fire-fighting equipment, connection-up, power distribution, monitor, lighting and so on. It plays the advantage of the modular design sufficiently to implement the fast flexible deployment. It is not only for reducing expense, but also for shortening the construction period. Micro Module Data Center construction has no special requirement to the space environment of the computer room. It is not necessary to raise the special decoration of the floor and other rooms. Micro Module data center improves the efficiency of the data center, which includes the efficiency of IT equipment in the data center and the efficiency of energy. It has an advanced inter - column air conditioning refrigeration and hot-cold channel isolation technology which is useful for afforestation of data center.

【關鍵詞】微模塊；氣流組織；列間空調；冷熱通道隔離

【Keywords】micro module; air-flow organization; inter column air conditioning; hot and cold channel isolation