云計算創(chuàng)新,讓生活更精彩

摘要:市場驅(qū)動了云計算的發(fā)展，催生了平臺即服務(wù)(PaaS)、基礎(chǔ)設(shè)施即服務(wù)(IaaS)和軟件即服務(wù)(SaaS)等的云計算模式。云計算的關(guān)鍵技術(shù)包括:海量分布式存儲技術(shù)、并行編程模式、數(shù)據(jù)管理技術(shù)、分布式資源管理技術(shù)、云計算平臺管理技術(shù)、綠色節(jié)能技術(shù)。中國移動將云計算確定為公司發(fā)展戰(zhàn)略的重要方向之一，正積極推廣和應(yīng)用。

[關(guān)鍵詞]云計算;開放組織Hadoop;海量分布式存儲

Abstract: Market forces have driven the development of cloud computing， giving rise to Platform as a Service (PaaS)， Infrastructure as a Service (IaaS)， and Software as a Service (SaaS)， as well as other cloud computing models. Key technologies include the hyper distribution file system， the parallel programming model， data management technology， distributed resource management technology， cloud computing platform management， and green energy technology. China Mobile actively promotes and applies cloud computing and considers it an important strategy for the company’s development.

Key words: cloud computing; open source hadoop; hyper distribution file system

蘋果公司正改變著美國人民的生活習(xí)慣。iPad上市不到一個月，人們競相購買，更有學(xué)校為入學(xué)新生人手購置一臺作為教學(xué)用具。iPad的創(chuàng)新在于:沒有光驅(qū)、沒有USB、沒有火線接口，其存儲容量也就是區(qū)區(qū)16G、32G、63G。人們不禁詫異，在信息爆炸的社會里，如何讀取、存儲文件呢?這些最先購買iPad的美國人告訴我們，他們使用iPad可以隨意地看電影、看書、玩游戲、發(fā)郵件、辦公。原因很簡單，一切的資源由自互聯(lián)網(wǎng)的云計算服務(wù)提供，一切的信息亦存儲在互聯(lián)網(wǎng)的云服務(wù)平臺。提供這些服務(wù)的包括Search engine、Itube、Itunes、Mobileme、Salesforce.com、Facebook，以及能夠提供存儲和文檔服務(wù)的Citrax等。iPad無疑是云計算最忠實的擁躉和粉絲，而它的后面，則是全世界上億的蘋果的擁躉和粉絲。當美國人僅僅花半個星期的工資就能買到一個iPad并從容地使用云計算服務(wù)的時候，我們相信離全球云計算服務(wù)爆發(fā)的日子不遠了。或許過不了多少時日，你就能看到地鐵里人手一個iPad，人們在云計算的陽光下，快樂生活。

小朋友超級喜歡玩一個互聯(lián)網(wǎng)游戲，叫做“摩爾莊園”。平時小朋友們登陸，在線人數(shù)少，游戲運行還在用戶體驗度承受范圍內(nèi)。可是一到周六晚上，當大量的小朋友們寫完作業(yè)開始涌入摩爾莊園過他們幸福周末的時候，游戲速度就像烏龜爬了，特別是場景轉(zhuǎn)換的時候，用戶體驗度很差。運營摩爾莊園的淘米公司要改變這一局面，那就得再買更多的服務(wù)器。這筆花銷只是為了每周滿足小朋友周六或者周日一兩天的高峰時段的需求而付出，其他的時候這些服務(wù)器成為多余的負擔，不僅花費高額投資，而且還得支付服務(wù)器運行電費，運營成本會大大提高。這就是淘米公司的苦惱。同樣，美國互聯(lián)網(wǎng)游戲運營商Zygna也曾面臨這樣的煩惱，其開發(fā)的游戲Farmville在Facebook上大受歡迎，每天高峰時段有將近8 000萬人次樂此不疲，而有些時段則沒有多少人。成長的煩惱和彈性需求的特殊讓Zygna傷透了腦筋。最終，亞馬遜創(chuàng)新型的彈性云計算服務(wù)幫助了Zygna。Zygna可以按時段租用IT資源來運行他們的網(wǎng)絡(luò)游戲，既免去了一次性投資購買大量服務(wù)器的痛苦，更讓運行成本隨需而變。最關(guān)鍵的是可以讓眾多游戲玩家始終享受高體驗度的游戲，不會因為并發(fā)在線人數(shù)的增長而為速度痛苦不堪。這樣的云計算應(yīng)用創(chuàng)新案例在美國還有很多，在彈性計算云(EC2)云計算服務(wù)基礎(chǔ)上運行的其他游戲還有黑幫戰(zhàn)爭、咖啡世界、漁村、快樂水族館、寵物社會、寵物村、餐館城等。這些游戲每天的在線用戶都將近1億人次，使得像Zygna這樣的公司，如Crowdstra或Playfish，獲得了高速增長的收益，從而帶動了整個美國互聯(lián)網(wǎng)服務(wù)市場的快速增長。

淘米公司要解決他們目前面臨的問題，最佳方案就是使用亞馬遜的彈性云計算服務(wù)，但是亞馬遜并沒有在中國開展這一業(yè)務(wù)。中國目前尚沒有企業(yè)能夠提供云計算基礎(chǔ)設(shè)施即服務(wù)(IAAS)業(yè)務(wù)，這使得淘米公司的煩惱還會延續(xù)下去。有著同樣煩惱的還包括絕大多數(shù)中國的中小型互聯(lián)網(wǎng)運營商，他們在創(chuàng)業(yè)初期和高速成長期的運營成本居高不下，大大影響了他們聚集用戶的速度。長此以往，中國的互聯(lián)網(wǎng)運營行業(yè)將沒有力量和美國等世界先進的互聯(lián)網(wǎng)運營商抗衡。

最近，中國拒絕了某互聯(lián)網(wǎng)搜索服務(wù)商的要求，這對中國來說是一件好事。因為這給中國企業(yè)留下了一個巨大的云計算創(chuàng)新的商機，那就是創(chuàng)新地發(fā)展中國人自己的云計算架構(gòu)的搜索引擎服務(wù)。

這幾年國際上互聯(lián)網(wǎng)信息運營商都在玩的技術(shù)，無疑是基于云計算的搜索引擎技術(shù)。搜索是最成功的云計算實現(xiàn)，但它不僅僅是搜索，而且是信息計算，是從海量信息中經(jīng)過計算處理解決現(xiàn)實問題。由于它是面向大眾的互聯(lián)網(wǎng)體驗，所以在免費為大眾提供互聯(lián)網(wǎng)服務(wù)的同時，實際上也在聚集大眾的智慧，并把用戶的習(xí)慣、行為、思考等智慧進行徹底地數(shù)據(jù)挖掘。再下一步，它將可以在某個領(lǐng)域內(nèi)仿真某一個人的智慧，直至整個人類的智慧。云計算知道你是誰，你喜歡什么，你要什么，你想什么，甚至能知道你的潛意識!這是不是很厲害也很可怕?天呀!這將是一個可以生長和進化的計算系統(tǒng)!這對中國的計算機科學(xué)和互聯(lián)網(wǎng)產(chǎn)業(yè)無疑是一個巨大的挑戰(zhàn)。面對挑戰(zhàn)，中國IT科技界應(yīng)該何去何從?

我想，我們需要了解、研究、開發(fā)、創(chuàng)新。讓我們先從了解開始吧。

2008年11月，美國商業(yè)周刊發(fā)表了一篇著名的文章《Google及其云智慧》，開篇宣稱:“這項全新的遠大戰(zhàn)略旨在把強大得超乎想象的計算能力分布到眾人手中”。文章預(yù)示著云計算作為一種革命性的技術(shù)受到了產(chǎn)業(yè)界的普遍關(guān)注。

1 云計算的概念

根據(jù)Wikipedia的定義，云計算是一種動態(tài)的、易擴展的、通常是通過互聯(lián)網(wǎng)提供虛擬化的資源計算方式。用戶不需要了解云內(nèi)部的細節(jié)，也不必具有云內(nèi)部的專業(yè)知識，或直接控制基礎(chǔ)設(shè)施。云計算主要特點是能夠快速部署資源或獲得服務(wù)，能夠按需擴展和使用，能夠按使用量付費并通過互聯(lián)網(wǎng)提供服務(wù)。

中國移動研究院經(jīng)過實踐探索認為，云計算系統(tǒng)是一種把大量的低成本運算單元通過IP網(wǎng)絡(luò)相連而組成的超大型運算平臺，核心組成是云計算平臺和管理軟件。云計算發(fā)源于搜索引擎平臺，是互聯(lián)網(wǎng)企業(yè)在創(chuàng)業(yè)階段出于追求低成本高效能的考慮開發(fā)出的一種計算技術(shù)，具有高性能、低成本和通用性強的特征。

云計算目前已經(jīng)成為提供各種互聯(lián)網(wǎng)服務(wù)的重要平臺。隨著商用化進程加快，云計算的概念已延伸到提供各種運算服務(wù)，包括以虛擬化技術(shù)為基礎(chǔ)的IT資源整合服務(wù)。

2 云計算的發(fā)展歷程

云計算的發(fā)展歷程是一個經(jīng)典的市場驅(qū)動的案例。Google的創(chuàng)始者因為買不起昂貴的商用服務(wù)器來設(shè)計搜索引擎而采用了眾多廉價PC來提供搜索服務(wù)。他們成功地把這種PC集群做到比商用服務(wù)器更強大，而成本卻遠遠低于商用服務(wù)器的硬件和軟件，形成了所謂的云計算技術(shù)。Google的成功引發(fā)了產(chǎn)業(yè)對于云計算極大的關(guān)注，甚至把Google云計算中五大關(guān)鍵技術(shù)(包括大規(guī)模集群管理、分布式文件系統(tǒng)、并行數(shù)據(jù)處理、分布式數(shù)據(jù)庫、分布式資源管理)稱為“五大巫術(shù)”。

云計算技術(shù)為IT技術(shù)帶來了重大變革。云計算技術(shù)極大地降低了企業(yè)的IT建設(shè)及運營維護成本，降低了能源消耗，大大加快了企業(yè)信息化建設(shè)進程。云計算與互聯(lián)網(wǎng)的結(jié)合催生了IT商業(yè)模式的革命，促使越來越多的公司不再購買和維護軟硬件，而是從Amazon等公司租用計算、存儲、網(wǎng)絡(luò)資源以及IT服務(wù)，使得企業(yè)實現(xiàn)信息化變得像獲取自來水一樣方便、廉價。不僅如此，云計算技術(shù)以其本身在大容量存儲、超大規(guī)模計算能力方面的優(yōu)勢，使得云計算已成為科學(xué)研究不可缺少的助推器，成為推動著產(chǎn)、學(xué)、研、用緊密結(jié)合的新型創(chuàng)新模式。可以說，以云計算為代表的技術(shù)革命對現(xiàn)有信息產(chǎn)業(yè)及應(yīng)用模式產(chǎn)生了深遠的影響。

云計算已引起各行各業(yè)廣泛的關(guān)注，也引起了各國政府的高度重視。美國、日本、英國等國家都在大力開展國家級云計算項目，試圖在這場IT技術(shù)革命中搶占先機。

2.1 Google神話依賴于平臺即服務(wù)

回顧云計算的起步和發(fā)展軌跡，我們不得不談到Google在以搜索為核心的互聯(lián)網(wǎng)應(yīng)用方面的成功。

1997年，有兩個美國斯坦福大學(xué)的博士生做了個軟件作業(yè)叫做BackRub，這是一個實驗用的搜索引擎。在建立之初，BackRub只是針對1 000萬份具有錯綜復(fù)雜關(guān)系的網(wǎng)頁進行分析，后來他們發(fā)現(xiàn)斯坦福大學(xué)有上千人在使用這個軟件，于是他們決定繼續(xù)研發(fā)這個軟件。把搜索的網(wǎng)頁數(shù)目擴大，把搜索的效率提高，這就需要更高的計算性能，于是他們決定用多臺服務(wù)器來實現(xiàn)。起初他們在自己的宿舍里攢計算機，后來宿舍舍友有意見，就被迫挪到一個破車庫里攢，同時繼續(xù)完善他們的BackRub軟件。因為當時很窮，只能用最便宜的器件來攢這些服務(wù)器。于是他們就買別人淘汰的主板、過期的CPU、便宜的小容量硬盤，還有廉價的電源，并拿紙盒子做機箱，能省就省。為了節(jié)約顯卡、鍵盤什么的全都不要，就這樣一氣組裝了一堆服務(wù)器。1臺價格大約100多美金?？蛇@種廉價組裝的服務(wù)器很容易壞，不穩(wěn)定，怎么辦?這兩個學(xué)生決定靠寫完善的容災(zāi)軟件系統(tǒng)來克服這個毛病。就這樣，到了1999年或者2000年的時候，他們已有了幾千臺這樣的服務(wù)器。他們開始用網(wǎng)絡(luò)把這些服務(wù)器連接起來，在上面試著部署他們寫的軟件系統(tǒng)來進行文本搜索試驗。既然在這樣一個系統(tǒng)里面不可能用1臺機器實現(xiàn)高性能，他們就在軟件系統(tǒng)里研究了一套新型運算模式來實現(xiàn)高性能運算，這就是人們現(xiàn)在所稱的“云計算”。這兩個學(xué)生叫做布林和佩奇，他們在車庫里攢出來的公司就是現(xiàn)在鼎鼎有名的Google。

如今，他們已經(jīng)有了超過100萬臺服務(wù)器組成的云計算平臺，并依賴這樣的云計算平臺提供其著名的互聯(lián)網(wǎng)搜索服務(wù)、Gmail服務(wù)以及Google MAP和新型的Google WAVE和Google VOICE等互聯(lián)網(wǎng)服務(wù)。

依靠云計算平臺，他們的網(wǎng)絡(luò)爬蟲爬遍了全世界，包括中國的超過400億個網(wǎng)頁。依靠云計算平臺，他們還在進行著大量的數(shù)據(jù)挖掘和分析，以形成豐富的知識和經(jīng)驗庫，從而構(gòu)建一個人工智能的識別和決策系統(tǒng)。依靠云計算平臺提供的應(yīng)用編程接口和開發(fā)環(huán)境，全世界所有的軟件程序員都可以開發(fā)自己的應(yīng)用并在平臺上運行驗證，從而使得基于云計算平臺的應(yīng)用豐富多彩。

Google的云計算平臺能支持很強的容災(zāi)性，能支持應(yīng)用的快速部署和任務(wù)調(diào)度，能提供多并發(fā)用戶的高性能感受，而最最關(guān)鍵的是，他們做到了每用戶訪問的最低運營成本。Google中國區(qū)的總經(jīng)理說，如果沒有云計算技術(shù)，Google每年購買設(shè)備的資金將高達640億美元，而采用云計算后則僅為16億美元。也就是說，云計算使得Google的成本比他的競爭對手低40倍!這就從運營成本角度強有力地支持著Google的商業(yè)模式:前向提供高感受度互聯(lián)網(wǎng)服務(wù)，吸聚人氣，后向廣告收費。Google用云計算平臺構(gòu)造了世界上最大的1臺超級計算機。它很便宜又具有很高的性能，并且很難被復(fù)制，從而逐漸發(fā)展成為平臺即服務(wù)(PaaS)的商業(yè)模式。

2003—2006年期間，Google發(fā)表了4篇關(guān)于分布式文件系統(tǒng)(GFS)、并行計算(MapReduce)、數(shù)據(jù)管理(BigTable)和分布式資源管理(Chubby)的文章，成為云計算發(fā)展的關(guān)鍵。依靠這些文章，開源組織Hadoop逐步復(fù)制Google的云計算系統(tǒng)，從此開始了Hadoop云計算平臺的發(fā)展。目前Yahoo、Facebook等互聯(lián)網(wǎng)公司也在使用Hadoop軟件構(gòu)建自己的云計算平臺，提供互聯(lián)網(wǎng)服務(wù)。

2.2 Amazon開創(chuàng)了基礎(chǔ)設(shè)施即服務(wù)

的云計算模式

云計算的發(fā)展歷史上的第二個里程碑一定屬于Amazon。在七八年前，這是一家隨著B2B和B2C浪潮興起的網(wǎng)上賣書和網(wǎng)上購物的公司。為了支撐其龐大用戶數(shù)量的網(wǎng)上購物業(yè)務(wù)，尤其是為了理論上支持在圣誕等熱銷季節(jié)龐大的并發(fā)用戶數(shù)量的訪問和交易，Amazon部署了大冗余的IT計算和存儲資源。后來他們發(fā)現(xiàn)自己的IT支撐資源在絕大部分時間里都是空閑的，于是為了充分利用閑置IT資源，Amazon將自己的彈性計算云建立起來并對外提供效能計算和存儲租用服務(wù)。用戶僅需要為自己所使用的計算平臺實際使用量付費。這樣的因需而定的付費，相比企業(yè)自己部署相應(yīng)的IT硬件資源以及軟件資源要便宜很多。這就是以云計算基礎(chǔ)架構(gòu)作為服務(wù)的典型——基礎(chǔ)設(shè)施即服務(wù)(IaaS)，是典型的因技術(shù)創(chuàng)新而帶動的商業(yè)模式的成功案例。

眾多的科技創(chuàng)新公司利用Amazon提供的IaaS，在不必購買IT基礎(chǔ)設(shè)施及操作系統(tǒng)的前提下，通過即付即用的租用模式，在Amazon云計算平臺上快速搭建和發(fā)布自己豐富多彩的云服務(wù)。其意義在于極大地降低了云服務(wù)商的行業(yè)進入門檻，改變了傳統(tǒng)的IT基礎(chǔ)設(shè)施的購買和交付模式，把中小企業(yè)很難負擔的固定資產(chǎn)投資轉(zhuǎn)化為與業(yè)務(wù)量相關(guān)的運營成本。在硅谷，每天都有幾個大學(xué)生利用Amazon云計算IaaS來發(fā)布自己的云服務(wù)，從而賺了大錢的案列。風(fēng)靡了整個美國的微博客服務(wù)Twitter，正是利用Amazon EC2構(gòu)建的成功的互聯(lián)網(wǎng)應(yīng)用，被美國國防部長蓋茨稱為“美國巨大戰(zhàn)略資產(chǎn)”。這樣的成功故事，每天都在發(fā)生。

2.3 SalesForce.com奠定了軟件

即服務(wù)的云計算模式

云計算發(fā)展過程中的第3個里程碑，一定屬于SalesForce.com。起初，這家公司想做自己的數(shù)據(jù)庫管理類軟件，并把它賣給企業(yè)用戶。可是他們發(fā)現(xiàn)，在數(shù)據(jù)庫管理類軟件領(lǐng)域，他們可能永遠打不過Oracle。但是他們發(fā)現(xiàn)Oracle的昂貴價格讓很多企業(yè)望而卻步，更有很多工業(yè)制造和物流行業(yè)的企業(yè)花大價錢買了Oracle產(chǎn)品后卻因為缺少專業(yè)知識而不能把它用好。于是他們決定利用新型的互聯(lián)網(wǎng)來提供軟件服務(wù)，從而和Oracle競爭。這家公司在1999年首次通過自己的互聯(lián)網(wǎng)站點向企業(yè)提供以客戶管理為中心的營銷支持服務(wù)軟件——客戶關(guān)系管理軟件(CRM)，使得企業(yè)不必再像以前那樣通過部署自己的計算機系統(tǒng)和軟件來進行客戶管理及營銷服務(wù)，而只需通過云端的軟件來管理，從而為軟件即服務(wù)(SaaS)奠定了基礎(chǔ)。這家位于舊金山的科技創(chuàng)新公司，通過向中小企業(yè)提供云服務(wù)而迅速壯大，他們的48 000個企業(yè)客戶遍布世界各地。這些中小型企業(yè)可以不用購買和安裝軟件來實現(xiàn)其企業(yè)信息化服務(wù)，且數(shù)據(jù)都存儲在云端，從而大大節(jié)省了成本，并能最大限度和最方便地實現(xiàn)信息共享和隨取。這些中小型企業(yè)使得SaaS供應(yīng)商SalesForce年營業(yè)額增速高達50%，成為目前納斯達克股市中的一家明星公司。SaaS模式的云服務(wù)可以幫助任何一個不懂IT技術(shù)的中小企業(yè)花很少的運營成本，快速并科學(xué)構(gòu)建適合其商業(yè)需求的企業(yè)信息化平臺，從而極大地推進了企業(yè)信息化進程，也加快了信息化和工業(yè)化的融合。

在云計算技術(shù)的驅(qū)動下，運算服務(wù)正從傳統(tǒng)的“高接觸、高成本、低承諾”的服務(wù)配置向“低接觸、低成本、高承諾”轉(zhuǎn)變。如今，包括IaaS、PaaS、SaaS等模式的云計算憑借其優(yōu)勢獲得了全球市場的廣泛認可。企業(yè)、政府、軍隊等各種重要部門都正在全力研發(fā)和部署云計算相關(guān)的軟件和服務(wù)。云計算已進入國計民生的重要行業(yè)。IBM和Google開始與一些大學(xué)合作進行大規(guī)模云計算理論研究項目。政府和軍隊的“私有云”正在悄然建設(shè)。許多新興的初創(chuàng)公司和大型企業(yè)正在全力研發(fā)和部署云計算相關(guān)的軟件和服務(wù)。與此同時風(fēng)險投資和技術(shù)買家的興趣也在迅速升溫。迎著朝陽前進，是IT技術(shù)發(fā)源地——美國硅谷對云計算目前發(fā)展狀態(tài)的定位。

3 云計算的發(fā)展前景

美國多家市場研究公司聯(lián)合預(yù)測，云計算市場將在未來幾年高速增長，IT廠商正以快于預(yù)期的速度轉(zhuǎn)向運用云技術(shù)。根據(jù)Gartner的調(diào)查結(jié)果，2009年全球云服務(wù)收入增長21%，從2008年的464億美元增至2009年的563億美元。2013年全球云服務(wù)收入會達到1 501億美元。

Gartner分析師認為，傳統(tǒng)的內(nèi)部IT服務(wù)和大量的新業(yè)務(wù)會持續(xù)遷移到云計算中。以云計算為基礎(chǔ)的業(yè)務(wù)流程是最大的云服務(wù)市場，其中包括廣告、電子商務(wù)、人力資源和支付處理。Google、Microsoft、Yahoo等公司云服務(wù)收入到2013年將是最大的組成部分。目前全球性的經(jīng)濟衰退和更嚴格的IT預(yù)算，也使運用云計算來托管應(yīng)用程序和服務(wù)更有吸引力。云計算是計算產(chǎn)業(yè)發(fā)展的高級階段和必然趨勢，目前已在國際市場得到了廣泛的認可。云計算使得企業(yè)(尤其是中小企業(yè))、個人用戶在幾乎沒有預(yù)付資金投入的情況下可以即時使用計算資源，不必再提前做IT資源計劃，將大幅削減運營和使用成本。云計算系統(tǒng)同時改善了業(yè)務(wù)流程。各行業(yè)和機構(gòu)可以把重點放在業(yè)務(wù)流程和邏輯組織上，而非IT設(shè)施的建設(shè)和維護上。

4 云計算的關(guān)鍵技術(shù)

云計算是以數(shù)據(jù)為中心的一種數(shù)據(jù)密集型的超級計算。在數(shù)據(jù)存儲、數(shù)據(jù)管理、編程模式、并發(fā)控制、系統(tǒng)管理等5個方面具有自身獨特的技術(shù)。

4.1 海量分布式存儲技術(shù)

為保證高可用、高可靠和經(jīng)濟性，云計算采用分布式存儲的方式來存儲數(shù)據(jù)，采用冗余存儲的方式來保證存儲數(shù)據(jù)的可靠性，以高可靠軟件來彌補硬件的不可靠，從而提供廉價可靠的系統(tǒng)。為了滿足大量用戶的需求，數(shù)據(jù)存儲技術(shù)必須具有高吞吐率和高傳輸率的特點。

云計算的數(shù)據(jù)存儲系統(tǒng)主要有Google GFS和Hadoop開發(fā)團隊開發(fā)的開源系統(tǒng)——Hadoop 分布式文件系統(tǒng)(HDFS)。大部分IT廠商，包括Yahoo、Intel的云計劃采用的都是HDFS的數(shù)據(jù)存儲技術(shù)。

4.2 并行編程模式

為了高效利用云計算的資源，使用戶能更輕松地享受云計算帶來的服務(wù)，云計算的編程模型必須保證后臺復(fù)雜的并行執(zhí)行和任務(wù)調(diào)度向用戶和編程人員透明。云計算采用MapReduce編程模式，將任務(wù)自動分成多個子任務(wù)，通過Map和Reduce兩步實現(xiàn)任務(wù)在大規(guī)模計算節(jié)點中的調(diào)度與分配。

4.3 數(shù)據(jù)管理技術(shù)

云計算系統(tǒng)對大數(shù)據(jù)集進行處理、分析，向用戶提供高效的服務(wù)，因此，數(shù)據(jù)管理技術(shù)必須能夠高效地管理大數(shù)據(jù)集。另外，如何在規(guī)模巨大的數(shù)據(jù)中找到特定的數(shù)據(jù)，也是云計算數(shù)據(jù)管理技術(shù)所必須解決的問題。云計算系統(tǒng)的數(shù)據(jù)管理往往采用列存儲的數(shù)據(jù)管理模式，保證海量數(shù)據(jù)存儲和分析性能。云計算的數(shù)據(jù)管理技術(shù)最著名的是Google的BigTable數(shù)據(jù)管理技術(shù)，同時Hadoop開發(fā)團隊也開發(fā)了類似BigTable的開源數(shù)據(jù)管理模塊HBase。

4.4 分布式資源管理技術(shù)

在多節(jié)點并發(fā)執(zhí)行環(huán)境，分布式資源管理系統(tǒng)是保證系統(tǒng)狀態(tài)正確的關(guān)鍵技術(shù)。系統(tǒng)狀態(tài)需要在多節(jié)點之間同步，關(guān)鍵節(jié)點出現(xiàn)故障時需要遷移服務(wù)。分布式資源管理技術(shù)通過“鎖”機制協(xié)調(diào)多任務(wù)對于資源的使用，從而保證數(shù)據(jù)操作的一致性。Google的Chubby是最著名的分布式資源管理系統(tǒng)。

4.5 云計算平臺管理技術(shù)

云計算資源規(guī)模龐大，一個系統(tǒng)的服務(wù)器數(shù)量可能會高達10萬臺并跨越幾個坐落于不同物理地點的數(shù)據(jù)中心，同時還運行成千上萬種應(yīng)用。如何有效地管理這些服務(wù)器，保證這些服務(wù)器組成的系統(tǒng)能夠提供7×24小時不間斷服務(wù)是一個巨大的挑戰(zhàn)。云計算系統(tǒng)管理技術(shù)是云計算的“神經(jīng)網(wǎng)絡(luò)”。云計算系統(tǒng)管理技術(shù)能使大量的服務(wù)器協(xié)同工作，方便地進行業(yè)務(wù)部署和開通，快速地發(fā)現(xiàn)和恢復(fù)系統(tǒng)故障，使云計算系統(tǒng)通過自動化、智能化的手段實現(xiàn)大規(guī)模的可運營、可管理。Google通過其卓越的云計算管理系統(tǒng)維持著全球上百萬臺PC服務(wù)器協(xié)同、高效地運行著，其云計算系統(tǒng)管理技術(shù)被作為企業(yè)核心機密至今沒有公布技術(shù)資料。

4.6 綠色節(jié)能技術(shù)

云計算技術(shù)降低了服務(wù)器的采購成本，從而使電源消耗所帶來的運營成本成為云計算中心的主要開支之一。為了進一步降低成本，云計算的開發(fā)者在綠色節(jié)能技術(shù)上進行了大量探索。

傳統(tǒng)數(shù)據(jù)中心空調(diào)冷卻的費用約占整體電費的30%～70%。為了節(jié)省能源，Google在比利時的數(shù)據(jù)中心降溫系統(tǒng)無需冷卻劑，而是采取室外空氣進行自然冷卻。根據(jù)比利時的氣候條件，每年只有7天左右無法使用自由冷卻方式。在比較炎熱的夏天，Google可以通過云計算管理系統(tǒng)將該數(shù)據(jù)中心的計算任務(wù)轉(zhuǎn)移到其他數(shù)據(jù)中心。

5 結(jié)束語

中國是個有著幾千年文明的古老國家，我們不能讓那些記載著我們的文明和智慧的數(shù)據(jù)都放在北美的服務(wù)器上!面對國際上先進的云計算技術(shù)，我們只有一個破解之法，那就是創(chuàng)新!我們也要有自己的足以與國際先進企業(yè)抗衡的云計算系統(tǒng)和相應(yīng)地搜索引擎等核心軟件(據(jù)悉，“十二五”規(guī)劃已經(jīng)把云計算及互聯(lián)網(wǎng)搜索引擎納入其中)。所以，我們一定得了解云計算，去研發(fā)和掌握云計算的關(guān)鍵技術(shù)，并且把云計算技術(shù)及其成功的商業(yè)模式加以實踐和應(yīng)用。

中國移動從2007年就開始進行云計算的研究和開發(fā)，是最早介入云計算研發(fā)和實踐的企業(yè)之一。中國移動在Hadoop開源軟件的基礎(chǔ)上自主開發(fā)了“大云(Big Cloud)”云計算系統(tǒng)，可實現(xiàn)分布式文件系統(tǒng)、海量數(shù)據(jù)庫、分布式計算框架、集群管理、虛擬機管理等關(guān)鍵功能，并已申請多項專利。為了盡快抓住產(chǎn)業(yè)發(fā)展契機，中國移動正式將云計算確定為公司發(fā)展戰(zhàn)略的重要方向之一，并積極推動云計算推廣和應(yīng)用。一方面，中國移動積極促成了產(chǎn)、學(xué)、研界對云計算的廣泛關(guān)注。2008年11月，中國移動戰(zhàn)略咨詢委員會名譽主任、前郵電部部長吳基傳，工程院院士李德毅、倪光南，中國移動研究院院長黃曉慶等專家牽頭的“中國云計算專委會”在中國移動研究院召開成立大會，向業(yè)界發(fā)出云計算研究的強勁信號。隨著云計算研討活動的頻繁開展，中國的產(chǎn)業(yè)界、學(xué)術(shù)界、科研機構(gòu)開始了對云計算的廣泛討論與合作。中國移動計劃將研發(fā)的云平臺和軟件向中國云計算專委會籌建的“中國云”示范和試驗平臺開放，以進一步促進聯(lián)合創(chuàng)新。另一方面，中國移動加緊推動云計算平臺的內(nèi)部試驗及推廣。不僅如此，中國移動還緊密關(guān)注國際云計算組織的動向，通過積極參與國際組織的工作，來引領(lǐng)云計算技術(shù)發(fā)展方向及國際標準。2009年6月，中國移動派出代表參加了云計算國際頂級會議——Hadoop Summit 2009，并在會上發(fā)表了題為《通信企業(yè)并行數(shù)據(jù)挖掘》(Parallel Data Mining in Telecom)的技術(shù)報告，引起業(yè)界的極大關(guān)注。

相信，在不遠的將來，在中國移動以及中國的一批極富創(chuàng)新精神的企業(yè)的帶動下，中國的云計算將有能力搶占世界信息科技制高點。創(chuàng)新的科學(xué)技術(shù)的進步，將幫助我們的民族企業(yè)實現(xiàn)跨越式發(fā)展。

收稿日期:2010-05-10

張為民，北京工業(yè)大學(xué)自動化專業(yè)學(xué)士、MBA，就職于中國移動通信研究院，從事云計算的研發(fā)及業(yè)務(wù)拓展工作，著有《云計算——深刻改變未來》一書。