百度：面對(duì)海量數(shù)據(jù)的綠巨人

互聯(lián)網(wǎng)時(shí)代是一個(gè)巨人涌現(xiàn)的時(shí)代，如果要對(duì)中國的互聯(lián)網(wǎng)企業(yè)做一個(gè)嚴(yán)謹(jǐn)?shù)呐袛啵敲窗俣冉^對(duì)可以說已經(jīng)成長為一個(gè)巨人。百度的活力，既表現(xiàn)在其內(nèi)部活力彌久的創(chuàng)新能力，也在于其對(duì)外界強(qiáng)大的滲透能力。作為全球最大的中文搜索引擎，百度每天響應(yīng)來自138個(gè)國家和地區(qū)的數(shù)十億次請(qǐng)求，百度每日新增數(shù)據(jù)10TB，要處理超過100PB（1PB=1024TB）的數(shù)據(jù)，從浩如煙海的信息中精確抓取約10億網(wǎng)頁，同時(shí)索引庫還擁有千億級(jí)在線索引能力，以幫助用戶完成搜索過程。過去10年，百度網(wǎng)頁搜索庫已從500萬猛增到了500億。

百度新首頁上線一年以來，已經(jīng)累積用戶1.2億，增長速度達(dá)到400%。那么，面對(duì)如此巨大的數(shù)據(jù)處理量，百度是如何通過綠色高效數(shù)據(jù)中心在大數(shù)據(jù)時(shí)代應(yīng)對(duì)節(jié)能環(huán)保的要求的呢？

M1云數(shù)據(jù)中心：PUE第一如何取得？

2013年4月，在云計(jì)算發(fā)展與政策論壇召開的第三次高端會(huì)議上，百度M1云數(shù)據(jù)中心以PUE（數(shù)據(jù)中心的能耗指標(biāo)） 2012年平均PUE達(dá)1.37，近12個(gè)月平均PUE為1.36，最佳PUE達(dá)到1.18，取得了國內(nèi)PUE第一的最佳成績（PUE越接近1越好，業(yè)界的平均PUE為2.5）。該評(píng)估由工業(yè)和信息化部電信研究院聯(lián)合國內(nèi)的主流電信運(yùn)營商、互聯(lián)網(wǎng)服務(wù)提供商和設(shè)備制造商及有關(guān)科研院所共同發(fā)起，代表著國內(nèi)數(shù)據(jù)中心評(píng)估工作的最高水平。那么，M1云數(shù)據(jù)中心的PUE值國內(nèi)第一是如何取得的呢？

M1云數(shù)據(jù)中心位于朝陽區(qū)酒仙橋北路9號(hào)，原建筑為北京松下彩管廠區(qū)301號(hào)建筑，后由北京捷通公司改建而成。在向記者展示的幻燈片中，可以看到M1云數(shù)據(jù)中心的主體結(jié)構(gòu)：M1數(shù)據(jù)中心總面積為6320平米，一層面積為5370平米，包括機(jī)房及動(dòng)力、配電等輔助區(qū)域；二層面積為878平米，包括辦公用房；地下一層水泵房面積為72平米。

百度云首席架構(gòu)師林仕鼎說，百度云數(shù)據(jù)中心計(jì)算的主要技術(shù)領(lǐng)域涵蓋了數(shù)據(jù)中心體系結(jié)構(gòu)、存儲(chǔ)、計(jì)算 、超大規(guī)模系統(tǒng)等。

M1數(shù)據(jù)中心由廠房改造而成，在改造過程中，采用外墻保溫技術(shù)，最大限度減少室內(nèi)外溫度傳導(dǎo)。在機(jī)房平面布局時(shí)，設(shè)置環(huán)形走廊，將機(jī)房區(qū)域設(shè)置在建筑環(huán)廊內(nèi)區(qū)，最大程度減少冷量損失；外沿為走廊區(qū)域，充分利用自然條件，減少空調(diào)開啟時(shí)間，實(shí)現(xiàn)節(jié)能運(yùn)行。

在軟件架構(gòu)優(yōu)化方面，百度M1數(shù)據(jù)中心，部署了百度自主開發(fā)的在線離線業(yè)務(wù)混布系統(tǒng)，以及自主研發(fā)的服務(wù)器流量調(diào)度系統(tǒng)，在大幅提高在線機(jī)器的利用率的同時(shí)，極大限度地降低業(yè)務(wù)為應(yīng)對(duì)突發(fā)事件而預(yù)留的冗余服務(wù)器資源，大大提高了能效。

在硬件方面，服務(wù)器的能耗是數(shù)據(jù)中心能耗的主要部分。M1數(shù)據(jù)中心采用了綠色節(jié)能部件定制、固態(tài)硬盤（SSD）應(yīng)用、電源效率優(yōu)化、主板改造、去除冗余、與IDC環(huán)境結(jié)合的風(fēng)扇優(yōu)化策略等多個(gè)手段，使單節(jié)點(diǎn)降低能耗25%，整個(gè)數(shù)據(jù)中心的計(jì)算及處理能力大幅提升。此外，數(shù)據(jù)中心還率先使用了ARM采用精簡指令集（RISC）的解決方案，使每臺(tái)服務(wù)器的CPU功耗降低到原來的十分之一。

在針對(duì)另外一塊主要的能耗——空調(diào)系統(tǒng)的改造中，M1數(shù)據(jù)中心采用高效的冷凍水空調(diào)系統(tǒng)，并結(jié)合一系列先進(jìn)技術(shù)以提高制冷及空調(diào)系統(tǒng)能效。例如，采用水側(cè)Freecooling系統(tǒng)設(shè)計(jì)，充分利用室外自然冷源，盡量減少冷水機(jī)組運(yùn)行負(fù)荷和時(shí)間，大大降低了數(shù)據(jù)中心能耗。另外，M1數(shù)據(jù)中心項(xiàng)目中引入先進(jìn)的氣流優(yōu)化設(shè)計(jì)手段，采用CFD （Computational Fluid Dynamics）輔助進(jìn)行機(jī)房氣流組織方案設(shè)計(jì)，優(yōu)化機(jī)房設(shè)備布局、細(xì)部規(guī)格尺寸、參數(shù)設(shè)置和維護(hù)維修策略等。在市電供電架構(gòu)方面，M1數(shù)據(jù)中心提出簡化供電系統(tǒng)結(jié)構(gòu)大膽構(gòu)想，在國內(nèi)首次大規(guī)模采用市電主供，冗余電源作備份的新型供電架構(gòu)，UPS系統(tǒng)整體損耗降低近10%。

自行設(shè)計(jì)，打造綠色之路

目前，百度已經(jīng)在多個(gè)領(lǐng)域展開了基于公共數(shù)據(jù)的搜索服務(wù)。2013年2月，國家藥監(jiān)局三大數(shù)據(jù)庫向百度開放，包括具有18萬余種國產(chǎn)和進(jìn)口藥品信息的藥品數(shù)據(jù)庫，6000余種非處方藥（OTC）化學(xué)藥品說明書范本及中藥說明書范本的藥品說明書范本數(shù)據(jù)庫，以及經(jīng)過認(rèn)證的可向個(gè)人售藥的網(wǎng)站的數(shù)據(jù)庫信息。

2013年4月末，百度知道推出了知識(shí)搜索服務(wù)，針對(duì)相關(guān)領(lǐng)域的關(guān)鍵詞檢索提供滿足用戶需求的特型展示，目前已上線的有口碑搜索、醫(yī)療搜索、答案聚合及數(shù)據(jù)圖譜等功能，并同時(shí)覆蓋到PC端與無線端。

在百度已相繼引入國家藥監(jiān)局、中國家電維修協(xié)會(huì)、中國航空協(xié)會(huì)、中國銀行業(yè)協(xié)會(huì)、北京市衛(wèi)生局等權(quán)威機(jī)構(gòu)的核心數(shù)據(jù)后，2013年5月，全國組織機(jī)構(gòu)代碼管理中心又和百度公司達(dá)成戰(zhàn)略合作，以便為社會(huì)提供安全、準(zhǔn)確的搜索結(jié)果。網(wǎng)友在百度搜索“組織機(jī)構(gòu)代碼查詢”可以進(jìn)入專業(yè)核查工具，只要輸入組織機(jī)構(gòu)名稱、代碼、登記證號(hào)中的任意一項(xiàng)，就可以了解機(jī)構(gòu)類型、地址、有效期、頒發(fā)單位等重要信息，迅速判斷這家組織機(jī)構(gòu)是否真實(shí)、可靠。

那么，這些海量的數(shù)據(jù)，在云時(shí)代的背景下，百度如何通過有效的組織管理以及在設(shè)計(jì)理念上來實(shí)現(xiàn)幾十座數(shù)據(jù)中心的節(jié)能呢？在走訪中記者逐漸了解到，百度除了采用一系列節(jié)能的方法和技術(shù)，比如優(yōu)化電源結(jié)構(gòu)、引入變頻技術(shù)，優(yōu)化服務(wù)器的氣流式冷水機(jī)組及使用CFD軟件等方式來實(shí)現(xiàn)服務(wù)器技術(shù)的優(yōu)化外，更通過一系列定制化、高效的部件方面的自我的創(chuàng)新來建立中國最節(jié)能高效的云計(jì)算數(shù)據(jù)中心。

自建綠色高效數(shù)據(jù)中心

“數(shù)據(jù)中心是百度業(yè)務(wù)的載體，它支撐著海量數(shù)據(jù)存儲(chǔ)、云平臺(tái)和搜索社區(qū)等，所以百度更加關(guān)注建設(shè)云數(shù)據(jù)中心，用云的核心驅(qū)動(dòng)力來支撐業(yè)務(wù)規(guī)模發(fā)展。”百度公司技術(shù)委員會(huì)理事長陳尚義介紹說，“百度的單體十萬臺(tái)服務(wù)器的數(shù)據(jù)中心，PUE每降低0.1，一年就可為百度節(jié)省上千萬的成本，所以，打造自我的綠色高效數(shù)據(jù)中心，在大數(shù)據(jù)時(shí)代將能很好應(yīng)對(duì)節(jié)能環(huán)保、低碳的要求。”

目前，面對(duì)海量的大數(shù)據(jù)，百度正在通過自建數(shù)據(jù)中心，開發(fā)了自己的大數(shù)據(jù)存儲(chǔ)系統(tǒng)，并使用了多項(xiàng)新技術(shù)。目前，計(jì)劃投資47.08億元的百度云計(jì)算（陽泉）中心已于2012年8月奠基，該項(xiàng)目預(yù)計(jì)2015年完工。建成后的百度云計(jì)算（陽泉）中心數(shù)據(jù)存儲(chǔ)量將超過4000PB，可存儲(chǔ)的信息量相當(dāng)于20多萬個(gè)中國國家圖書館的藏書總量。2013年4月15日，成都市高新區(qū)與百度云簽署協(xié)議，中國最大的云開發(fā)服務(wù)平臺(tái)——“成都百度云開發(fā)者技術(shù)中心”正式入駐成都高新區(qū)移動(dòng)互聯(lián)網(wǎng)大廈。此外，南京、廣州、天津的百度云數(shù)據(jù)中心也都在建設(shè)之中。

陳尚義介紹說，百度數(shù)據(jù)中心從設(shè)計(jì)之初就開始體現(xiàn)綠色節(jié)能的理念。在解決設(shè)備散熱問題中，百度數(shù)據(jù)中心采用集中散熱、集中供電、高效部件等方法來降低能耗；在解決服務(wù)器能耗問題中，采用SSD解決服務(wù)器的瓶頸，降低服務(wù)器數(shù)量等方式來節(jié)約服務(wù)器耗電量。此外，一些數(shù)據(jù)中心采取白天以商業(yè)業(yè)務(wù)為主、數(shù)據(jù)處理為輔，夜晚側(cè)重?cái)?shù)據(jù)處理為主的原則，來很好分配大數(shù)據(jù)量的工作時(shí)間，進(jìn)而實(shí)現(xiàn)了節(jié)能高效。

除了這些技術(shù)，百度最讓人嘆服的還有數(shù)量眾多的“看家本領(lǐng)”，更顯示其“自制”的能力。

能力1：自制固態(tài)硬盤（SSD）。據(jù)估計(jì)，百度的數(shù)據(jù)中心存儲(chǔ)了數(shù)百PB的數(shù)據(jù)，其日常的數(shù)據(jù)處理能力達(dá)到數(shù)十個(gè)PB。為了解決海量數(shù)據(jù)實(shí)時(shí)存儲(chǔ)的巨大挑戰(zhàn)，百度自行開發(fā)了SSD產(chǎn)品，其研發(fā)的SSD的性能比SATA SSD要好六倍，而且其成本只是它的10%。在南京的云計(jì)算數(shù)據(jù)中心也進(jìn)行了大規(guī)模的行業(yè)內(nèi)的固態(tài)硬盤（SSD）部署。

能力2：自行設(shè)計(jì)10Gb TOR交換機(jī)。百度自2011年開始研究和開發(fā)TOR交換機(jī)的設(shè)計(jì)，并于2012年推出第一代10Gb的TOR交換機(jī)。通過使用自行設(shè)計(jì)的硬件和軟件，設(shè)計(jì)制造模塊，以及DAC（直接連接電纜），百度的10Gb TOR的成本只相當(dāng)于同樣的1GB TOR商業(yè)交換機(jī)。目前百度的10Gb TOR交換機(jī)能承載超過5000臺(tái)的服務(wù)器，部署在其云計(jì)算數(shù)據(jù)中心里。

能力3：定制機(jī)架服務(wù)器。百度正在與Facebook合作，促進(jìn)和優(yōu)化開源的機(jī)架服務(wù)器的探索，這也是中國自主設(shè)計(jì)機(jī)架服務(wù)器的開源項(xiàng)目。定制的機(jī)架式服務(wù)器解決了百度許多問題，如傳統(tǒng)的主機(jī)托管數(shù)據(jù)中心空間和功率密度的限制，電纜的混亂和部署的效率低下，有助于提高智能化管理和資產(chǎn)精度。在南京的云計(jì)算數(shù)據(jù)中心，百度大規(guī)模部署了ARM服務(wù)器。據(jù)百度說，基于ARM的服務(wù)器使數(shù)據(jù)中心的總擁有成本（TCO）降低了25%，提高存儲(chǔ)密度70%。百度已經(jīng)獲得開發(fā)基于ARM的服務(wù)器的10項(xiàng)專利。ARM服務(wù)器的應(yīng)用，使南京的云計(jì)算數(shù)據(jù)中心能夠降低服務(wù)器總體擁有成本的10%，業(yè)務(wù)高峰時(shí)運(yùn)轉(zhuǎn)效率提高近10倍。

如今，百度已經(jīng)成為中國最具價(jià)值的品牌之一，英國《金融時(shí)報(bào)》將百度列為“中國十大世界級(jí)品牌”。目前百度已經(jīng)面向開發(fā)者全面開放了包括云存儲(chǔ)、大數(shù)據(jù)智能和云計(jì)算在內(nèi)的核心云能力，為開發(fā)者提供強(qiáng)大的技術(shù)運(yùn)營支持與推廣變現(xiàn)保障。作為互聯(lián)網(wǎng)搜索的入口，百度承載著數(shù)億網(wǎng)民檢索需求，滿足海量計(jì)算的數(shù)據(jù)中心規(guī)模將日益龐大。百度從軟件架構(gòu)、IT設(shè)備、數(shù)據(jù)管理效率等多方面入手，致力于綠色I(xiàn)T建設(shè)，將對(duì)產(chǎn)業(yè)鏈上下游的參與起到良好的示范和帶動(dòng)作用。