Facebook數據中心建設模式分析

文｜安真

Facebook數據中心建設模式分析

文｜安真

F a c e b o o k于 2011年發起開放計算項目（OCP，Open Compute Project），并不斷更新其版本，試圖讓其定制的服務器、服務器電源形式以及三聯柜模組能夠成為市場主流的標準產品，并相應更改傳統數據中心的供電供冷架構，推動服務器行業和基礎設施行業的產業鏈發生巨大調整，從而改變現有的市場格局。

Facebook如此行為的動機和意義何在？他推行的數據中心會不會成為數據中心建設的典范和趨勢？應該如何評價OCP的價值？本文圍繞Facebook數據中心場地基礎設施的架構，系統梳理分析了OCP的特點，發現Facebook的數據中心簡單實用，具有很多獨到之處，值得研習。

一、通過服務器的定制和變革簡化供配電系統。

（一）Facebook定制服務器的配電架構簡介

Facebook的數據中心沒有使用市場在售的標準服務器，而是定制了特殊的服務器。這種服務器的電源形式與傳統服務器存在一些差別，這是其開放數據中心的基礎，也是其配電系統改革的支撐。

Facebook的服務器的供配電系統更簡單，傳統配電系統原有的UPS（包括整流、逆變等多項功能）及其相關的開關、電池、旁路等復雜的電氣架構和控制系統統統不見了，供配電系統只剩下市政電源、柴油發電機、變壓器和連接線纜了。很明顯，這種電氣系統大大減少了電力輸配路徑的多次交直流轉換，減少了系統的組件、降低了系統的復雜程度，在大大降低成本的同時，也減少了電氣損耗，為節能做出了一定貢獻。

（二）Facebook定制服務器配電架構的可靠性分析

這讓天天討論可靠性的電氣工程師們大吃了一驚，這種系統，可靠性能有保證嗎？可是，我們研究一下Facebook的公開材料，就會發現Facebook并不承認他的供電架構會降低可靠性，其提供的可靠性計算見下圖：

在Facebook公開的計算書中，我們可以看到，在基礎數據基本相同的情況下，傳統數據中心是4個9，OCP則是6個9，OCP的可靠性明顯高于傳統機房。這個計算結果引起了不少從業人員的懷疑。果真如此的話，傳統的UPS不是白設了嗎？是他的計算有問題，還是他不會算，抑或是算錯了嗎？

理論上，他的可靠性計算是沒有問題的，可靠性計算原理和方法都是正確的，其對比也沿用了數據中心常規的對比方法，即只比較了場地基礎設施電氣系統的可靠性。這種對比是針對傳統機房的，對比計算中不涉及服務器等硬件設備，因為在傳統算法里大家默認使用的是同樣的、可靠性相同的標準服務器。的確，當服務器的可靠性對結果的影響是相同的時候，我們確實只需要對比基礎設施側的系統架構，這會讓問題變得簡單一些。

但是，我們需要關注的是Facebook的服務器改變了，供電架構中的電池以串聯的形式出現在系統的最后一級配電中。也就是說電氣系統里最容易出故障的電池，被他組合在服務器里了，電池沒有在他的供電系統內出現，也不屬于上述供電系統可靠性的計算范圍，所以，在他的計算過程中，沒有體現出類似電池這種本應降低他的可靠性的組件。而傳統方案里很多隔離電池、防止電池故障擴大到服務器的技術措施在計算中反而成了降低可靠性的復雜組件。

針對這種場景，只對比場地基礎設施供電系統的可靠性，而不考慮電子信息系統的硬件設備的電源系統就顯然不公平了。事實上，傳統方案中，電池故障通常不會引起服務器或配電系統的中斷，因為后一級的交直流轉換、ups旁路、電氣開關等組件都可以將故障的電池從系統中隔離出來，供配電系統很少會因為電池故障而中斷。但Facebook特制服務器則不同，電池直接掛在最后一級的配電系統上，電池故障很容易擴展到服務器，導致服務器故障甚至宕機。眾所周知，數據中心電氣設備里最容易出故障的組件是電池，數據中心的很多故障都是因為電池故障出問題才引發的。綜上，我們可以推斷，Facebook服務器的真實故障率應該會高于傳統數據中心。

（三）Facebook定制服務器配電架構的技術支撐分析

當然，Facebook的技術專家也不是不知道OCP的風險，但是，Facebook為什么還要堅持使用和推進呢？原因很簡單，這么做，便宜。

的確，OCP的電氣架構簡單、高效、經濟，可以大大降低建設成本和運維費用。Facebook又擁有強大的軟件能力和領先的IT技術，有信心彌補其在可靠性方面的不足。也就是說Facebook的IT技術，特別是軟件方面的高水平足以掩蓋場地基礎設施和IT基礎設施的不足。服務器故障率高，并不意味著他的業務中斷率高，其強大的IT技術保障，完全可以做到業務的快速轉移，幾臺服務器的宕機，一兩個模塊的宕機，甚至失去一個數據中心，都不會大范圍地影響其業務的行進，IT技術有能力迅速將業務從有故障的設備遷移到正常的設備上，甚至從一個DC轉移到另一個DC中。站在客戶體驗的角度，客戶甚至不知道他的業務曾經中斷和遷移，不知道為他服務的IT設備已經從瑞典遷移到了美國。

同國外先進的數據中心相比，國內數據中心的IT技術能力特別是軟件能力還有一定差距。我們從不斷曝光的挖掘機挖斷光纜，設施被雷電擊中等事故導致長時間的服務中斷都可以推斷出，國內這些所謂的互聯網巨頭，并沒有足夠先進的技術能力，能夠讓業務及時從故障點遷移，因此局部故障往往會引發業務的中斷，給企業帶來巨大的負面影響。為了減少和避免類似事件的發生，數據中心只能在基礎設施層面加大配置，用來提高可靠性。盡管企業需要為這些復雜的設施增加很多擁有成本，但也不敢輕易減配。

此外，某些金融行業和重要企業的總部級數據中心，業務重要程度很高，數據中心的運營不會把降低成本作為優先戰略，他們不會采用這種服務器，也不會采用這種基礎設施架構，國內如此，國外同樣如此。

（四）Facebook定制服務器對行業的影響

Facebook的這種革新，固然能夠降低自己的成本，但是顯然不符合IT制造商的利益，對傳統的生態鏈是有一定沖擊的，小規模的訂單是不足以讓服務器供應商放棄標準服務器的生產，而接受這種非標產品的研發和定制。即使接受非標訂單，價格也不會有優勢。這也是Facebook愿意和廣大企業分享他們創新的動力所在，他們希望能夠有更龐大的訂單，讓更多的服務器制造商參與進來，讓這種服務器價格降低，有點類似團購的性質。Facebook甚至希望這種服務器成為標準服務器，讓盡可能多的服務器制造商充分競爭，以便獲得更多的利益。

Facebook的服務器做法在業內也不算獨創，google的做法也很類似，國外也還有很多運營商和互聯網的機房，都在嘗試這種做法。國內ODCC制定的天蝎計劃也在嘗試這樣的套路。大家思路類似，細節各有千秋，都在嘗試讓數據中心變得更簡單更經濟。

總之，Facebook通過服務器的變更，讓場地基礎設施可以接受更簡單的配置，讓定制型服務器具備了實現標準化、模塊化的基礎；在業內大力推進OCP，渴望他們的服務器能夠做為行業標準固定下來，并被更多的企業所接受。這種供配電的架構背后是需要有強大的IT技術做支撐的。

二、直通風自由冷卻技術，讓風機跨界為墻

Facebook對業界的另一個貢獻就是大膽使用風側自由冷卻，率先在大規模數據中心里放棄風管送風，將空調系統與建筑隔墻實現了完全融合。

（一）傳統風側自由冷卻技術說明

直接風側自由冷卻是數據中心能耗最低的冷卻方案，它對節能的貢獻也是公認的。冷卻方式與PUE的對應關系如下圖所示（下圖數據僅供參考，具體項目尚需重新計算）：

盡管直接風側自由冷卻（直通風）并不是什么高新技術，但使用這種技術的數據中心客戶并不多，主要原因有兩個，一是環境難以精確控制，二是建設條件受限。室外的高溫高濕會給服務器帶來更多的故障，也會影響服務器的使用壽命，要想做到送風穩定、均勻和精確，就需要配置過濾系統、機械制冷系統和復雜的控制系統，這樣會增加很多擁有成本。建設條件引發的困難就更難對付了，建筑場地、風管尺寸、風閥設置、產品采購等問題，都可能成為具體項目無法推進的理由。這些困難給很多試圖采用直通風冷卻的客戶帶來了巨大的挑戰。

我們來看看傳統的風側自由冷卻，大體布局是這樣的：

圖中的方案是以直通風AHU為主，水冷冷水機組為輔的風側自由冷卻方案。圖中只畫了一套AHU作為示意，事實上，一套完整解決方案需要一大堆定制的AHU，每臺AHU都需要繁雜的風管系統，并配有新風閥、回風閥，閥門開度需要嚴格的自控協調才能實現送風的精確控制（大面積的風閥控制很難做到精準）。為了風管的實施，還需要在墻上開啟無數的孔洞。這些可能漏風的孔洞又會給冷卻效果和運營維護帶來很多麻煩。當數據中心面積較大時，這么多的風管就更難布置了，有些時候，靠近中心區域的冷風引入和熱風排除的路徑都很難找到。此外，風側自由冷卻和氣體消防也存在很多不兼容的地方，如果采用氣體消防，風管穿越保護區域的時候，就不得不采用大量的防火閥，無疑會加大數據中心的投資和操作風險。在中國，還有空氣質量的問題，比如嚴重超標的PM2.5和含硫量，也會引起初投資和運維費用的增加。

（二）Facebook風側自由冷卻技術說明

復雜龐大的設備和技術風險，讓傳統的直通風自由冷卻技術變得很難推廣。一向不肯在基礎設施上投錢的Facebook當然不愿采用。既想有風側自由冷卻的節能效果，又想降低擁有成本，還不能太復雜，面對這些問題，Facebook是怎么做的呢？

Facebook通過調整服務器內部的布局、高度以及CPU數量，提升了IT服務器的功能，同時通過改善空氣流通路徑以降低風阻，可以讓服務器安裝直徑更大的風扇，以提高通風量和風扇效率，這些技術措施盡可能的優化了其服務器自身的散熱能力。當然，Facebook的數據中心選址也會盡量避免炎熱的低緯度地區。

從服務器的角度來看，為了讓自己的數據中心徹底告別機械制冷（Facebook的數據中心只有一個配備了DX冷卻盤管），能做的好像也只有這么多了。每年的炎熱季節，Facebook只能放寬進風條件，靠蒸發冷卻進行適當的降溫，然后讓自己的服務器接受考驗了。

建設條件的問題，怎么解決呢？Facebook采用了一個新穎大膽的創新方案，他拋棄了所有的AHU，采用無風管型通風系統，通過設置風墻，讓風扇和建筑隔墻融為一體，其過濾、噴淋設施也和建筑隔墻融為一體，巨大的建筑走廊取代了風管。換句話說，定制的框架型風扇、濕膜冷卻、過濾器像磚塊一樣，被砌筑在隔墻里，成了建筑隔墻的一部分。這樣，他的系統不再出現麻煩的AHU、風管、風閥、孔洞；墻體不需要那么多磚塊，空調系統也不需要鈑金外殼，可謂節材到了極致；建設工序也變得更簡單了。

同電氣系統類似，Facebook的空調系統簡單而又實用，不需要風管風閥、也不需要AHU，AHU的各個功能段被演進放大成了由一個個框架組成的墻體，這種形式不但投資低廉，而且施工簡單，不需要砌墻然后再開孔，不需要排布風管，不需要特別精確的控制，調試也變得很簡單，建設速度當然會更快捷。

（三）Facebook風側自由冷卻技術存在的問題

凡事有利必有弊，這種做法帶來的麻煩就是，沒有精確控制的送風，導致環境溫濕度很容易失控。據說Facebook的數據中心確實因為濕度過高，出現過云雨的現象，導致大量服務器出現故障。此外，經常處于高溫高濕下的服務器，即使沒有馬上發生故障，也會影響其使用壽命。鑒于互聯網公司配置的服務器往往為經濟型產品，更換周期也比一般企業要短，且隨著IT產業的進步，服務器更迭換代速度很快，成本持續走低，因此服務器的壽命和故障就變得不是硬傷所在了。

這種方案的另一個弱點就是龐大的通風設施無法把IT區域分隔成若干個小房間，整個IT區域好像大型倉庫一樣，沒有門，沒有走廊。這種做法看起來很省錢，但會給管理造成很多麻煩，比如，人流、物流、IT運維、機電運維的路由交叉如何避免，比如局部事故如何避免擴散到整個機房等。此外，如此巨大的空間，是無法使用潔凈氣體進行消防的，一旦失火，其影響力度和面積都會很大。

總之，Facebook采用無風管的風側自由冷卻技術，在業內算是極大規模的應用，在數據中心冷卻行業的確是一種大膽創新。這種方式最大的特色是建筑和冷卻融合的一種新方式，而不是采用了某些革命性的新產品。直接風側自由冷卻的能耗很低，無風管系統的經濟性也是顯而易見的，但是，系統會帶來一定的可靠性問題。同電氣系統類似，這些問題在Facebook眼中，是可以依靠強大的IT系統去彌補的，他們有把握讓基礎設施簡化引發的所有問題最終不會影響業務的連續性。這對于絕大多數成本優先的數據中心來說，IT技術還沒有強大到這種程度，因此也不具備這種方案的實施條件。對于那些安全優先的數據中心就更沒有必要采用這種方案了。

三、Facebook數據中心部署快速

理論上，對任何一個工程來說，快速部署都不是問題，想要快，只要肯投入，一定是可以解決的，無論是工程方式還是產品方式都有很多成熟可行的技術措施。Facebook通過簡單的基礎設施架構、相對適宜的建設地點，重復的建設方案，讓快速部署不需要投入太多就能實現。

（一）采用簡單的基礎設施架構，實現快速安裝

Facebook數據中心部署速度之快在業內是出名的。數萬平米的數據中心，十來個月就可以試運行了。Facebook數據中心能夠快速上線投產的最重要的原因就是簡單。

建筑本身沒有傳統的數據中心繁復，沒有太多的隔墻，不需要結構降板，不需要架空地板，也沒設置復雜的綜合管架。

機電設施也比傳統數據中心簡單很多，其配電和制冷系統需要安裝的組件，特別是只能現場制作的復雜組件，遠遠少于傳統的數據中心。比如不需要冷機、UPS，空調機組等設備，也就沒有連接的管路、閥門、線纜等工程內容。即使是那些需要安裝的設備也屬于重復性非常高、安裝要求相對簡單的設施（如定制的框架式風扇、濕膜加濕模塊、框架式過濾模塊等），這樣就更容易實現工廠定制和快速安裝。

瑞典的lulea是Facebook第一個不在本土的數據中心，建造管理相對困難，加之氣候寒冷，可施工的季節短暫，數據中心可以快速部署的優勢就顯得更為重要。為此，Facebook定制了大量的預制組件，包括土建設施，機電設施，這些部件采用現場拼裝的方式進行建設，大大提升了建設速度，取得了不錯的效果。

（二）選擇適宜的建設地點，實現快速建造

Facebook選址特意避開了土地資源相對匱乏的地區，這樣可以采用經濟性更好的單層鋼結構的形式（盡管土地利用率較低），這在地廣人稀的海外是非常多見的，是大規模廠房最簡單最常用的土建模式，這樣的建設方式的另一個好處就是它讓施工作業面變得非常寬，無疑給部署速度帶來了很多靈活性。

國內很多數據中心往往建在地價很高的城市，因為用地條件受限，只能采用多層建筑，投資會增加，方案選擇也會受到一定局限。加之系統復雜，從設計到服務器上線往往高達24個月以上。有些建設甚至長達好幾年，的確會限制企業的IT發展。很多企業也會因此放棄自建數據中心，而是采用隨用隨租的方式，利用第三方的數據中心完成自己的IT業務。

（三）采用基本類似的建設模式，實現快速復制

Facebook已經建成了四個數據中心，并投入使用，現在正在建設和規劃其他的數據中心。

重復建設類似的工程，當然容易建得又快又好。Facebook的幾個數據中心建造模式就基本雷同，都采用了定制的服務器設備、三聯柜模組和供電模塊，也配備了基本相同的供電供冷架構。他們都放棄了UPS，放棄了冷機，采用了直通風自由冷卻這種散熱方式。這給設計實施、產品采購、運維管理帶來了極大的方便。先前工程的所有經驗和教訓都可以借鑒，確保越做越好。作為會多次采購的大客戶，更容易獲得性價比較高的商品；此外，對運維的好處則更是發揮到極致，數個數據中心的運維管理非常相似，運維機制可以完全照搬，運維演練流程，常見故障處理和判斷，如何改進，如何評比都可以借鑒。

四、Facebook數據中心建設模式帶來的啟示

仔細研讀Facebook的數據中心，我們可以得到如下啟示：

（一）Facebook數據中心的可靠性保障更多依賴IT層的技術優勢，而不是局限在場地基礎設施。

數據中心業務的最大特點就是不能中斷，一旦中斷會造成重大損失。對絕大多數企業來說，基礎設施是其可靠性的第一道防線，他們需要復雜可靠的基礎設施來實現IT不宕機、業務不中斷的需求。

反觀Facebook，其數據中心的基礎設施簡單粗放，價格低廉，如果去做uptime認證，只能達到T1或T2的級別。但是，Facebook通過IT技術的管理和運用，彌補了基礎設施方面的很多不足，數據中心整體功能還是能夠滿足其業務需要的。數據中心的性價比明顯提高了。

關于性價比的另一話題就是傳統的兩地三中心和新興的異地多活模式。為了保證業務的連續性，重要的數據中心必須考慮災害發生時的業務轉移，從一主一備兩中心到兩地三中心，再到異地多活多中心，這幾種方式各有千秋，目前大型數據中心采用最多的就是兩地三中心和異地多活。兩地三中心的架構，相當于一套數據承載在三個數據中心之上，數據的備份相當于1+2,即3N配置，可靠性當然高，但投資也會很龐大。異地多活的架構，相當于讓N+1個數據中心承載全部生產任務，當某一個數據中心發生故障時，其他的數據中心可以自動接管全部業務，從而保證業務的連續性，整個數據的備份相當于采用了N+1的架構。這種架構從經濟上看當然更劃算，但對業務遷移和資源配置的能力，特別是遠距離的執行能力是一個巨大的挑戰。如何選擇，肯定要根據業務特點、業務規模、業務的重要程度、IT軟硬件的架構等多因素平衡決策，絕不會全憑成本。

企業的戰略方向不同，關注要點也不同，決策機制和結論也會有很大差異，數據中心完全仿效Facebook的模式進行建設顯然是不現實的。盡管如此，我們還是要看到，當IT技術進步到了一定程度，對基礎設施的依賴就會降低，所以未來的數據中心基礎設施的可靠性要求應該會持續走低。

（二）Facebook的開源和簡約風格，讓數據中心建設變得更快更省，運維也更簡單更高效，這些舉措逼迫傳統的基礎設施供應商必須重新思考應變策略。

Facebook的數據中心取消了UPS和機械制冷，讓供電供冷系統變得非常簡潔，只剩下油機、變壓器、風扇、冷卻濕膜和風口等簡單設施。基礎設施的投資規模、運行費用、運行管理難度都會大大下降。這樣的數據中心，業主自身的話語權很強，建設方案很明確，對產品的需求很清晰，幾乎不需要花費額外的時間做研討。作為傳統基礎設施的供應商，在這種項目里，不能使用標準產品，沒有引導能力，沒有技術門檻，產品功能又簡單，要想參與，那就只能做他們的加工廠，采用非標定制的方式，降低利潤訴求了。

基礎設施的要求越簡單，供應商的引導能力就越弱。隨著IT行業的不斷進步，未來的數據中心很有可能會進一步降低對可靠性的要求，對環境的要求也會進一步放寬。當Facebook的數據中心完全放棄常規的供冷供電產品，想要為他服務的基礎設施供應商就必須重新定位，重新深挖自身價值了。

（三）Facebook的建設方案不能適合所有的項目，特別是他的空調方案不能適合全球。

雖然能夠滿足他自己的業務需求，但是Facebook的建設方案需要很多特定條件，但很多項目是沒有辦法完全照搬的，比如：未來不確定的項目不適合（供電架構只能針對定制服務器）；需要分期建設的項目不適合（大空間無風管送風，分期困難）；服務器昂貴且環境要求高的場景不適合（直接風側自由冷卻，無風管送風，無機械制冷，控制難以精確，濕熱季節無法避免送風條件超標）；采用標準服務器的項目不適合（供電架構只能針對定制服務器）；改造的項目不適合（Facebook的空調方式決定必須要建筑先行）；建筑面積受限的項目不適合（需要大空間送回風，空間利用率不可能太好）；炎熱地區不適合（無法實現全年無機械制冷）；干旱地區不適合（沒有水源，無法采用蒸發冷卻）；土地昂貴地區不適合（需要大空間送風，不宜采用多層建筑）；室外空氣質量不好地方不適合（含塵、含硫等）。事實上，瑞典lulea究竟適不適合也很有爭議，因為離海邊太近，空氣中含有的Cl離子，據說已經對服務器有影響了

了解了Facebook的數據中心，如果你是數據中心的使用者，看到又便宜又簡單的基礎設施建設方案，卻不敢學，不敢用，內心或許會很焦灼，怎么辦呢？只能從頂層設計做起，改善IT能力才是王道。

如果你是場地設施從業者，看到復雜的數據中心已經成為一個粗糙的大工廠，可能會擔心滿腹經綸無用武之地了。的確，那些平時侃侃而談的容錯、在線維護、分布式冗余，模塊化UPS、連續制冷等，在風墻面前好像都是洗剪吹了。沒辦法，這個世界唯一不變的就是變化。好在，IT的進步不是一朝一夕的事，絕大多數的非互聯網企業也暫時不會考慮這種極端的建設方式，我們還有時間來思考我們的未來。

最后，總結一句，Facebook的數據中心建設方案，真的很快很便宜，但絕大多數數據中心是很難采用的。正是因為如此，我們無法完全照搬Facebook的建設模式，我們還是需要繼續探討更適合我國國情和現狀的數據中心建設方案和模式。

作者單位：華為技術有限公司