集裝箱式數據中心的產業化

文｜深圳市騰訊計算機系統有限公司 朱 華

1 前言和概要

數據中心行業最近幾年的發展速度和進步超越了過去的很多年，Google數據中心的創新引領了數據中心的一個新的發展方向，并代表了未來的一些行業發展趨勢，用一句中國俗語“敢為天下先”，準確地描述了Google對于數據中心行業的深遠影響。2005年，Google率先使用的集裝箱式數據中心，再次引發了數據中心行業的“震動”，讓許多用戶、廠商和行業專家開始了對集裝箱式數據中心的前景、意義和產業發展進行了思考，嘗試和進一步的創新以及產品化。經歷過幾年的探索和發展，數據中心行業人士認同和總結了關鍵的幾點因素，正如集裝箱的著作中所描述的一樣，集裝箱式數據中心的出現，使得數據中心更標準化、靈活、快捷、迅速甚至對整個數據中心的經濟發展也將產生革命性的影響。

2 集裝箱式數據中心的起源與發展

在論述集裝箱式數據中心的起源之前，我們不妨先關注下集裝箱，因為是集裝箱式數據中心，集裝箱是其表現形式，其核心還是數據中心，因此，在這里，我們有必要花點篇幅來回顧一下集裝箱的起源和發展。

集裝箱的起源和發展：為了紀念集裝箱化50周年，美國普林斯頓大學出版社2006年出版了美國著名經濟學家Mark Levinson先生的著作《THE BOX：How the shipping container Make the World Smaller and the World Economy Bigger》。這本書講述了集裝箱的由來、為開辟海運市場而經歷的斗爭、標準化進程、在世界范圍內的廣泛應用和未來的發展。集裝箱的出現，使全球的貨物運輸成本更低，更加方便快捷。集裝箱化對國際物流乃至全球的經濟發展產生了革命性的影響。

集裝箱的典型特點和數據中心的結合點，換一句話說，為什么數據中心會采用集裝箱，因為集裝箱本身有些特點是符合下一代數據中心的發展思路和應用的。我們總結歸納一下，主要有以下幾個關鍵的特點吸引了數據中心的用戶和人士。

（1）標準化：這一點和集裝箱發展過程中的思路是一樣的，標準化意味著更廣泛的通用性和適用性。這一點，集裝箱數據中心發展的思路是一致的，甚至和整個IT行業的發展也是一致的。

（2）靈活性：集裝箱的出現，對于物流行業而言，意味著最大的靈活性，可以把物品通過陸地、海運運輸到全世界各地，無論是輪船，還是卡車，集裝箱都是可適應的，因為大家都遵循了這個標準，從而運輸變得很方便。

（3）快速：有了集裝箱，運輸很方便，都是按照集裝箱的尺寸來安排貨運，縮短了時間，對于數據中心行業而言，我們也希望可以實現快速部署。

3 國外集裝箱式數據中心的發展

Google集裝箱式數據中心的出現，在過去的幾年中，主要經歷了以下幾個關鍵階段和里程碑：

（1）Google集裝箱數據中心的出現。

（2）在2005年之后，許多IT廠商如IBM的 PMDC（Portable Modular Data Centre），HP 的 POD，DELL、SUN 的“BlackBox”，SGI（Rackable）的ICE CUBE等陸續開始嘗試推出自己的集裝箱產品，并且針對集裝箱式數據中心的標準、特點、性能、測試、應用場景等開始進行研究和探索。在這個階段，尚屬于產品走向產品化、市場化的初級階段，尚未達到成熟階段，比較典型的特點是，各個IT廠商的集裝箱式數據中心產品并沒有取得一定規模的訂單，市場上的最終客戶，還是相對謹慎和保守的來看待這個“BOX”。市場上大部分客戶還處于觀望期。

（3）近兩年，數據中心基礎設施的設備廠商也開始陸續推出了自己的集裝箱產品，如APC、EMERSON、Active Power等公司，這些原本為數據中心提供電力、UPS、發電機、制冷等的廠商也開始涉足，并將集裝箱式數據中心的概念進一步推廣，和自己原有的產品進行了結合，在這一階段，集裝箱式數據中心的應用范圍進一步擴大和發展，如集裝箱柴油發電機、集裝箱UPS、集裝箱的各種產品組合，進而更大的演變為集裝箱式數據中心的概念、體系和應用。

（4）里程碑：Microsoft在自己的一個數據中心采用了大規模集裝箱式數據中心，進一步推動了集裝箱式數據中心的應用發展。

思考：一些國外用戶，在近兩年，也在嘗試采用集裝箱式數據中心，如果我們回顧集裝箱的發展歷程，發現了兩者的相似點，集裝箱在1956年誕生了，但是真正繁榮是在1965年，而當時的繁榮是有外力的介入，即用今天IT行業的名詞——業務驅動。從集裝箱式數據中心的這幾年發展來看，尤其是這兩年云計算的發展也必將從業務驅動來促進集裝箱式數據中心的繁榮，即在未來2～3年，集裝箱式數據中心可能會到達一個繁榮階段。

4 國內集裝箱式數據中心的現狀和發展

國內集裝箱的發展，從過去幾年的發展歷程來看，也分為以下幾個階段：

階段一：簡單模仿階段，基本屬于實驗性質，尚處于早期的嘗試，市場基本沒有反應，大家只是抱著對新鮮事物的關注來看待這個新興產品，只是關注而已。而中國市場的用戶也沒有購買集裝箱式數據中心，無論是國內自己生產的，還是購買國外廠商生產的集裝箱。

階段二：主要是近一年，全國各地，包括市場上的一些通信和IT企業開始進行試制，并陸續宣布自己的集裝箱式數據中心產品的誕生。

里程碑：在今年四月北京舉行的英特爾開發者論壇，英特爾和富士康展出了一個集裝箱的樣品，在這個時間點上，也恰巧是中國數據中心行業發展的一個新的時期，“一石激起千層浪”，市場被點燃了，無論是服務器生產廠商、通信廠商，還是電信運營商，開始加大研發，實驗生產。與此同時，以互聯網用戶為代表的一些行業用戶，都在開始深入探討、研究、嘗試集裝箱式數據中心的部署。

5 國內傳統數據中心面臨的挑戰

在國內，大多數傳統數據中心在構建時旨在滿足當時的需求，如今已變得陳舊老化，面臨著電力和空間嚴重不足的問題。因此，這類數據中心很難繼續支持不斷增加的電源密度和空間需求。特別是云計算這種浪潮席卷大地的時候，面臨著爆發性的云計算數據中心擴大需求，許多公司不得不花費巨額的成本和漫長的研制周期來構建全新的數據中心空間。

另外設計傳統的數據中心時，需要對未來業務擴展做出準確的預測和規劃，這將迫使構建的數據中心容量遠遠超過當前所需的容量，將造成巨大的人力和財力的浪費，即便如此，傳統的數據中心的建設速度仍然無法滿足云計算時代對數據中心訪問日益快速發展的需求。

6 國內集裝箱數據中心的瓶頸和問題所在

正如前面所論述的中國集裝箱式數據中心發展的一樣，我們目前到了一個即將產業化的前夜，曙光就在明天，而從目前，我們所研究的國內生產或者處于設計階段的集裝箱式數據中心來看，都存在很多缺陷和需要解決的問題。典型存在的問題如下：

（1）標準化：雖然各個廠商推出了自己的集裝箱式數據中心的產品，但是架構、思路都不相同，甚至有的是大相徑庭，差距很大。部分廠家追求高密度，部分廠家單純追求某一個指標，集裝箱式數據中心的設計等級也不相同，因此，對于用戶而言，很難將不同廠家的產品放在一起共同運行。

（2）制造成本：我們不難發現，目前而言，他們的建造成本還很高，甚至有點昂貴，當我們的用戶對比單位計算單元的建造成本的時候，不難發現，遠高于傳統數據中心。

（3）產品化和產業化：目前，還很難說這些集裝箱數據中心是否可以作為真正的商品，包括產品專利、商標、產品認證、測試等都還不成熟。而對于生產廠家而言，其產品配套的上下游供應鏈，也遠遠沒到成熟階段，產品也還沒有達到產品系列化。

7 國內對集裝箱式數據中心的理解誤區

下面是目前國內對集裝箱式數據中心優勢的總結，這里筆者做了一些剖析：

（1）高密度：可容納高密度計算設備，相同空間內可容納六倍于傳統數據中心的機柜數量；這個看法我們反對，在實際的工程實施中，也可以在傳統建筑中以同樣水平的密度部署存儲和服務器。

（2）低PUE：由于采用了全封閉、冷熱通道分離，減少了冷空氣的消耗，令電力使用率大大提高；這個看法我們反對，在傳統數據中心也可以利用這些制冷技術。

（3）快速部署：集裝箱式數據中心不需要企業再經過空間租用、土地申請、機房建設、硬件部署等周期，可大大縮短部署周期；這個看法需要一分為二的看待，目前集裝箱放置的土地、建筑、配電站依然需要政府審批，流程一樣也不能少，倒是服務器機房建設、硬件部署可產品化，的確可以大大縮短。

（4）按需部署：一個模塊可以安裝400至2000臺服務器，這些服務器都是預先安裝并經過測試的，可以在幾個小時內投入運行，因為所有這些測試和聯網工作都是在出廠前完成的。這個看法我們是支持的，集裝箱式數據中心的確可以在工廠里進行預裝和調試。

（5）即插即用：模塊的安裝非常容易，只需提供電源連接、水源連接（用于冷卻）和數據連接即可。這個看法我們是全部支持的，集裝箱式數據中心提供標準接口，基礎設施建設時可以設立接駁站。

（6）將成本的投入時間從前期投資推遲到服務器部署：模塊化數據中心的一大優勢是，模塊將電源、冷卻設備和IT設備集成在一起，客戶付費后即可使用。這不但推遲了資本成本的投入時間，而且由于數據中心能夠滿負荷運行，還消除了未使用計算能力，顯著的節約了成本。這個看法我們支持的，集裝箱是模塊化的一種形式，階梯型增長，顆粒度小。

（7）節約成本：具有大量空調甚至活動地板和天花板的傳統數據中心相比，集裝箱數據中心在設計和建造上要便宜30%？這個看法我們是反對的，目前沒有標準化，完全產品化，成本上沒有優勢。

（8）移動性：便于移動，部署靈活？這個看法我們也是反對的，數據中心既定需求，互聯網數據中心為什么要移動？

下面為目前集裝箱式數據中心的一些劣勢的分析：

（1）受到空間的限制，不能兼容所有的廠商的服務器或者網絡設備。這個看法是支持的，因為需求不一，集裝箱的規格比較單一，即使你貨比三家，可能也只有兩三種規格。集裝箱的規格嚴格限制了集裝箱式數據中心的計算能力。

（2）集裝箱式數據中心內部機架之間的空間狹窄，極不便于技術人員來回走動工作。這個看法是支持的，因此集裝箱的運維難度，本身設施的冗余不夠，出現故障，不易在線維護。

8 國內集裝箱數據中心產業化發展機遇和急需解決的問題

在這個非常時期，我們雖然面臨著很多困難和瓶頸，但是我們也看到了很多發展機遇和切入點。概括來說，主要有以下幾個方面：

（1）服務器生產廠商：無論是Google，或是Facebook，他們的服務器都不是一個市場標準的服務器，其初衷都是降低一次性購買成本，同時降低運行成本。針對集裝箱式數據中心而言，涉及到定制，而國外的服務器廠商很難根據中國用戶的節奏和期望來設計和制造最符合用戶需求的服務器，這就給了中國國內的本土服務器制造廠商一個巨大的機遇。針對集裝箱式數據中心，來生產適應集裝箱式數據中心的服務器，甚至可以建立集裝箱服務器的標準，對于民族產業的振興，自主研發提供了一個千載難逢的機遇。

（2）機柜廠商：傳統的基于工業標準的42U標準機柜不再適應集裝箱式數據中心，洋品牌的機柜生產廠商不會輕易根據這個需求改變設計，或者特定設計，而這也是國內機柜生產廠家的一個機會，也是其銷售市場的一個重要延伸。

（3）電源廠商：傳統數據中心中，無論是UPS，或者電源配電柜等，都是洋品牌占據主導，針對集裝箱式數據中心而言，也面臨同樣的定制和適應的問題（包括高壓直流），同樣也給了國內生產廠家一個機會，無論是品牌的升華，或是研發的升級，都是難得的市場機會。

（4）集裝箱生產：雖然我們國家有很多生產集裝箱的廠家，但是特種集裝箱生產廠家很少，而對于集裝箱式數據中心而言，必須有配套的下游可生產特種集裝箱的生產廠家來做配套。由于研制階段，產量低、成本高，其生產質量、標準、工藝、公差等都存在問題。

9 集裝箱標準化和產品化的示范案例

怎么來解決標準化和產品化的問題？站在業務的高度去注意歸納和總結，嘗試把握其中的規律，結合云計算的四大基本業務需求：

（1）搜索業務：CPU要求高；內存要求高；存儲要求低。

（2）數據挖掘：CPU要求高；內存要求低；存儲要求高。

（3）數據存儲：CPU要求低；內存要求低；存儲要求高。

（4）虛擬機：CPU要求多；內存要求高；存儲要求高。

我們可以抽取其中的數據挖掘業務舉例，服務器硬件：標準1U機架式服務器，Intel Tylersberg-EP平臺，雙路Nehalem或Westmere處理器，6英寸×3.5英寸2T容量硬盤，12英寸×13英寸主板，12V直流供電，針對數據挖掘這樣的業務需求，硬件的單機功耗確定在250W的標準，確定數據中心最小單元規格后，集裝箱式數據中心依據此可以做如下標準設計：采用45尺高柜，所有的供電制冷設備加上1200臺服務器全部放置在一個集裝箱內。機柜共30臺，每臺機柜尺寸（寬500×深550×高2300），共50U空間，每臺機柜耗電10kW。總服務器空間：30×40=1200U。電源采用380AC/280VDC直流供電方案，280VDC@15分鐘電池，占地水平空間2400。機柜內電源280VDC/12VDC：總共為40～43臺服務器按峰值功率10kW，正常工況功率9000W設計。

對于接口做如下標準規定：每個集裝箱留有兩個冷凍水進水管和兩個冷凍水出水管，水管的位置位于集裝箱兩側靠近底部的位置，集裝箱上安裝防護裝置，水管尺寸為DN80，采用法蘭連接。電氣接口箱內置2×250A 3P開關，三線五線。

所有設計經過CFD模擬驗證后，理論計算PUE＝1.2，這樣的一個應用數據挖掘業務的集裝箱占地不足32m2，卻可以提供1200臺服務器的裝載能力，其服務器配置、尺寸、機柜尺寸、密度、高壓直流UPS、PSU、行間冷卻盤管、消防、監控皆可作為一種產品標準（針對數據挖掘業務）確定下來。整個集裝箱可以等同于一臺具備超大能力的服務器型號，與此相關的內部設備及配件涉及的生產廠家形成一套完整的產品鏈、配套鏈。

就此類推，未來數據中心的規劃建設將依據未來可以提供的業務，最小建設單元將是集裝箱式模塊，數據中心的前期規劃建設就如同飛機場，設計好許多的停靠諸元而已。

10 結束語

集裝箱式數據中心的發展歷程如同集裝箱產品本身的歷程相似，除特種行業（如石油勘探），目前在國內還未見大規模的應用，存在很多認識上的誤區，集裝箱式數據中心的優勢不需要很多，兩點足以使之應用普及：一是快速生產部署；二是價格低廉。要彰顯這兩點，集裝箱式數據中心必須標準化、產品化，所幸運的是，國內風起云涌的云計算產業勢頭將帶來集裝箱式數據中心發展的契機和環境。對此，還有一段路需要共同努力，前景充滿期待。