關于模塊化數據中心發展的思考

胡 燕

（中國電信股份有限公司上海分公司 上海 200120）

1 引言

模塊化數據中心是一種新興的數據中心建設模式，將整個數據中心分為若干個獨立區域，各區域的規模、功率負載、配置等均按照統一標準進行設計，隨著業務需求的變化，不斷增加獨立模塊，從而實現快速建設。

伴隨全球超大型IT數據中心的出現，模塊化數據中心的建設理念在微軟芝加哥數據中心、谷歌比利時數據中心、Facebook俄勒岡州數據中心得以具體實踐，有效地降低了數據中心的建設周期及運營成本。

從技術發展看，數據中心基礎設施的關鍵設備逐步趨向模塊化與小型化，尤其是精密空調CRAC（computer room air conditioning）和 UPS（uninterruptible power system，不間斷電源系統）技術，完全可集成到機柜中，從而在技術上為實現真正完全獨立的模塊化數據中心提供了可能。

2 傳統數據中心面臨的主要問題

對于傳統的數據中心，模塊化的特征并不明顯，僅在物理基礎架構上將空調、UPS、機柜進行組合配置，而且需要共用架空地板下的空間，共用UPS，因此在兼容性、擴展性及建設周期等方面存在諸多問題，主要表現為以下3個方面。

2.1 空調系統

傳統數據中心的氣流組織設計采用地板下送風的方案，機柜采用冷熱通道擺放設計，以形成合理的氣流組織路徑，從而可以大大提高整個機房的氣流循環效率，有效減少熱死點出現。該方案工程初期投資較低，噪音較小，整個機房的美觀性較好。

但隨著云計算、高熱密度的發展，單機柜發熱量不斷增大，為了提高出風量，必須不斷提高地板下靜壓，因此地板高度需要抬升。而空氣也是一種流體，其本身存在黏度，當地板下的氣流增大到一定量之后，表征其黏度的無量綱數——雷諾數會超過某一限值，因此其氣流紊流會呈幾何性增大，此時地板下送風方案的效率會大大下降。

在功率密度為10 kW/機柜的送風制冷實驗中，為了有效帶走熱量，每臺機柜需要1600～1800 m3/h風量（進出風溫差為15℃），而遠程的地板下送風空調則需要達到2900～3000 m3/h風量，此時風機系統能量損失高達40%。這些能量損失又會引起自身的冷量消耗，從而使效率進一步下降。在數據中心機房中，由于機組數量較多，風機系統能耗能達到上百千瓦，而風機系統是24 h全年不停歇運轉的，因此一年中無謂的能量消耗會達到幾十萬千瓦·時，在15年的機組設計壽命內則會多耗能上百萬千瓦·時，而且由于其從地板下送風供冷，機柜中下方的服務器得到的冷量較多，而上部的服務器容易運行在高溫環境，從而發生故障。這種設計方案只適合單機柜發熱量不超過5 kW的應用場景。當機柜發熱量繼續增大時，除了需要加大地板的架空高度和機柜間的間距外，整個制冷系統的效率也會顯著下降。

2.2 UPS

在機房建成初期，傳統的UPS設計往往出現由于系統容量配置過大而處于低負載率情況，低載運行則導致UPS效率低下。而如果UPS配置容量過小，又不能滿足業務發展的需求，將導致后期擴容困難，尤其當前IT需求正處于上升期，數據中心業務發展增速飛快，但又具有不確定性，故在UPS方面重復建設和投資的浪費較大。另外單獨建設UPS房、電池房，并設置相應的空調制冷，也是一筆不小的投資。

因此，UPS建設需求逐漸向模塊化、可熱插拔的方向發展，在中小型數據中心中，尤其成為首選的解決方案。模塊化的UPS產品，尺寸和標準服務器機架一致，可放在機柜行間，又集成了多路智能配電，可滿足單個模塊內的供電、監控電量等需求。目前市場上主流的模塊化UPS，不但可靈活擴容，而且效率高達95%，在低負載率情況下，節能更加顯著，真正實現了UPS的高效性、節能性和可靠性。

2.3 機柜系統

傳統機柜系統的設計只關注其承重、供電性能，而忽略了其他機柜應該具有的性能，如通孔率、接地、美觀、線纜管理、能耗管理等。

為了提高制冷效率，機柜的通孔率要求盡可能高，以減小氣流阻礙作用，提高散熱能力，從空調系統利用上來說，機柜系統有更高的設計和工藝要求。

機柜接地也是非常值得注意卻容易被忽略的問題，機房由于發熱量很大，靠近服務器的機柜區域溫度較高，其相對濕度較低，從而可能會形成較高的靜電電壓，如果不能通過有效途徑接地，會造成靜電危險。因此現在的機柜必須配置接地線纜或者接地銅排。

在中小型數據中心中，往往不會配置完備的監控設備。要實現機柜內的供電管理，可通過在機柜內配備智能的PDU（power distribution unit，電源分配單元）實現。對機柜內的各路配電進行監控，獲知機柜負載的分配平衡度，預知過熱機柜、過載點，并可實施遠程關控設備。這也是智能機柜需要具備的功能。

對于機柜的兼容性，機柜不但需要考慮自身的兼容性，還需要考慮諸如并柜、封閉冷通道、行間空調等的外觀、尺寸匹配問題，這對廠商的要求非常高，只有熟悉數據中心基礎設施全產品的供應商，才能從全局出發，設計出對各個系統的兼容性都很高的產品。

3 模塊化數據中心實施的關鍵技術

模塊化數據中心主要包括采用模塊化設計的四大部分:不間斷電源系統、制冷系統、機架和遠程監測系統，通過簡單的接口將相關模塊進行組合，從而形成一個完整的數據中心。無論是電信運營商還是互聯網企業，都可以按照自己的需求定制模塊化數據中心，并可伴隨業務發展需求，逐步擴張數據中心規模，以應對更多的IT需求。這意味著企業可以在未來擁有數倍計算能力，而不會對現有數據中心的功能或者設計帶來任何影響。

相對于傳統的數據中心，模塊化數據中心使用如下關鍵技術。

（1）統一的基礎架構設計

模塊化數據中心的構思精巧，但在實施過程中會遇到很多意想不到的問題，如各個部件的尺寸不完全協調一致、各部件的供配電需求不能匹配、顏色無法協調一致、走線孔未預留充足等，因此要避免多種產品拼接的模塊化數據中心出現漏風、配電不足、顏色參差不齊、無處走線等尷尬問題，需要廠商具有多產品線統一開發、統一銷售、統一安裝、統一調試、統一服務的能力，從而為用戶提供模塊化數據中心基礎架構的完美解決方案。

（2）封閉冷通道

封閉冷通道可有效規范氣流組織，減少對整個房間的無謂制冷，從而降低對建筑熱負荷的制冷壓力；同時可有效隔絕冷熱風交叉混合，提高空調回風溫度，從而提高其蒸發器溫度，進而提高制冷效率。經測試，采用封閉冷通道解決方案可節約機房4%的耗電量。在封閉冷通道這件貌似技術含量不高的產品上，實際有很多工藝方面的要求，真正實現細節上的大成，無論是材料的隔熱性、強度、頂板透光率，還是走線孔的設計、縫隙的保密性，都需要十分到位。

（3）定制化的電池機架

定制化的電池機架主要配合模塊化UPS使用，為模塊化UPS提供更長時延、后備時間的選擇，承重能力強、外觀協調、安裝維護簡便，可實現電池的模塊化安裝及電池監控。

（4）模塊化 UPS

安裝在標準機柜中的模塊化UPS，其功率單模塊可隨負載增減實現熱插拔，并可大幅度減少UPS的占用空間及共用制冷需求，大大降低傳統UPS需求的占地面積及額外的空調能耗。

（5）環境控制系統

通常選用精密空調對數據中心的每個模塊進行環境調節，確保服務器等IT設備的運行環境。對于發熱量大的服務器等IT設備，通常選用高通孔率（一般大于70%）網孔門的機柜，以提高機柜進出風量；將機柜面對面、背對背布置，在機房內形成冷熱隔離的風道，以提高制冷效率。在某些功率密度特別高的場合（發熱量超過5 kW/機柜），往往容易產生局部熱點，形成故障隱患。為消除局部熱點，需要采用相應的高熱密度解決方案，如在局部熱點發生處加裝制冷終端，加強局部制冷能力；也可將特高功率密度設備放置在封閉機柜內，通過機柜內制冷循環，實現高效率制冷散熱。

（6）智能監控系統

監控系統是機房安全運行的重要保障，智能監控系統可對數據中心模塊內的配電、環境、安防、消防等設備進行全方位監控，完成對設備數據的采集、分析、告警、展示甚至自動控制。由于云計算的高熱密度、虛擬化需求，可變冷量、UPS模塊休眠等功能需要更高效的控制，因此模塊內的制冷控制、電能分析成為模塊化運營的關鍵點。

另一方面，為了適應模塊化數據中心快速建設、快速復制的特點，監控系統方案也需要能夠快速建設，并且以模塊為單位獨立運轉，互不影響。

4 推廣模塊化數據中心的舉措與建議

（1）產品的標準化和系列化

工業革命成功的最重要因素，就是將生產流水制度、標準化部件制度推廣開來，從而大大提高了生產效率，開創了人類新的高峰。在當今社會，不管是企業管理還是生產、建設等環節，都要求實現標準化、規范化，而傳統數據中心建設由于對現場的設計施工依賴度高，建設周期緩慢、建設難度大，建設效果無法預期，后期擴容無法適應。

因此，需要進一步完善模塊化數據中心的系列標準，并形成相應的系列產品，根據客戶的IT需求、建筑空間，為客戶提供模塊化的建設方案，保證數據中心的高可靠性、靈活性、可維護性及高效節能，并能夠最大化地提高交付速度。

（2）設計的前瞻性和可復制性

模塊化數據中心的設計必須具有一定的前瞻性，充分考慮企業數據中心長期發展的影響因素，并兼顧機械和電氣系統等，避免造成數據中心運營管理的不可控。

為了實現真正的分批建設，模塊化數據中心的設計方案應該是可復制的，而且不單是方案上的復制，還可以延展到采購流程、安裝流程、維護流程等，既可以減少用戶的初期投資，也便于后續數據中心的運營管理。

（3）方案的靈活簡便性及整體性

模塊化數據中心之所以能夠實現快速建設，空調系統的革命性設計起了主導作用。傳統的數據中心采用靜壓箱送風，需要專業的設計單位根據建筑結構進行相應的設計，再經過和各個廠商的研討及分析，設計周期往往需要3個月甚至半年以上，時間浪費嚴重，超大型的數據中心甚至需要1年以上，后期的安裝需要配合土建、裝修等系統，協調、互相配合等工作也需要浪費大量的時間，這在IT系統每3年運算速度翻新一倍的高速時代，建設完成時數據中心的指標可能已經落伍了，經濟效果嚴重滯后。

模塊化數據中心設立以機柜為中心的行間制冷系統，縮短了氣流組織路徑，取消了對靜壓箱、風管的依賴，減少了工程量，從而可直接減少甚至取消設計環節，由用戶到廠商直接獲取端到端服務，從而大大縮短建設周期；同時由于是同一廠商提供整體解決方案，其工程安裝、后期服務都可實現最大化的提速。

（4）運行的安全性及高效化

傳統的數據中心空調系統采用靜壓箱設計，氣流循環路徑長達幾十米，氣流阻力很大，風機能耗浪費嚴重，需要額外冷卻整個數據中心的空氣，能量浪費嚴重。后期擴容時，由于后期增加的空調改變了整個靜壓箱的氣流、冷量等參數，從而會直接影響數據中心的制冷效果，反而會起到反作用。

模塊化數據中心建設實際上是一個不斷成長的過程，其設計思路保證了制冷、供電都以區域機柜為中心，其氣流組織、供電配置都以區域為中心，對其余區域毫無影響，因此可最大化地解決擴容互相影響的問題。在逐步擴展的模塊化數據中心中，各模塊的獨立安全高效運行成為必然。

（5）運營的簡便與低成本

標準化的模塊化數據中心，由于采用端到端服務，可為用戶節省可觀的設計費，可以縮短資金的占用周期，可提高運營效率，減少日常運行費用，縮短投資回報期，最大化地提高用戶的資金使用率。

在工程環節，由于采用模塊化設計思路，其發貨、安裝都由同一廠商實施，而且由于減少了對靜壓箱、風管的依賴，可直接進場，減少了對裝修、建筑的特殊要求，不但可以節省費用，而且可以減少和土建等部門的配合施工，從而大幅度減少工程成本。

在后期的維護方面，由同一廠商統一維護，不管是備件還是服務，都可以得到原廠最優的保障，機房維護人員可最大化地精簡，維護界面清晰，最大化地減少用戶的負擔。

5 結束語

模塊化數據中心是新興的數據中心建設理念，也是數據中心的必然發展方向，具有建設快速、易復制、高效等特點，目前在我國已廣泛應用于集裝箱、電信、醫療、科研機構、廣電等行業，并呈現出快速增長的趨勢。在不久的將來，將帶來數據中心行業的巨大變革，不僅將制冷、配電集中到行間級，同時也能將電池、配電柜集成到一體，甚至將整個模塊按照用戶需求做成一個整體，不再區分機柜、空調、供電系統。客戶只需將模塊運抵現場，配電配水，按指導接管即可，無需做靜電地板、無需專業設計、無需專業規劃，甚至無需機房裝修，從而將機房模塊化的優勢擴大到極致。

從更遠的發展方向看，未來融合服務器、交換機、基礎架構的整體模塊也是發展的趨勢，用戶使用數據中心模塊只需要按照說明書接入寬帶、電源和水源，即可得到高效的信息服務，從而更加有利于用戶業務的快速發展。相信在不遠的未來，模塊化數據中心將在IT、動力環境基礎架構上下游廠商的合作推動下獲得長足的發展，為人類的信息化進程提供更加綠色低碳、可靠的支持。