云計(jì)算與云數(shù)據(jù)管理

周奇年 ，陳玲玲 ，李 革

（1.浙江理工大學(xué)信息電子學(xué)院 杭州 310018；2.浙江理工大學(xué)機(jī)械與控制學(xué)院 杭州 310018）

1 引言

近年來(lái)，由于數(shù)據(jù)的快速增長(zhǎng)以及用戶對(duì)計(jì)算機(jī)計(jì)算能力的要求越來(lái)越高，如何提高普通計(jì)算機(jī)快速處理復(fù)雜問(wèn)題的能力變成了一個(gè)極其重要的問(wèn)題，為此，云計(jì)算應(yīng)運(yùn)而生。云計(jì)算能夠改變普通用戶使用計(jì)算機(jī)的模式，為用戶提供按需分配的計(jì)算能力、存儲(chǔ)能力及應(yīng)用服務(wù)能力，目的是方便用戶，大大降低用戶的軟、硬件采購(gòu)費(fèi)用[1]。

云計(jì)算中的“云”就是指計(jì)算機(jī)群，每一個(gè)機(jī)群都包括幾十萬(wàn)臺(tái)甚至上百萬(wàn)臺(tái)計(jì)算機(jī)。在云計(jì)算中，用戶所處理的數(shù)據(jù)并不存儲(chǔ)在本地，而是存儲(chǔ)在“云端”，所需的應(yīng)用程序并不是運(yùn)行在個(gè)人計(jì)算機(jī)上，而是運(yùn)行在“云端”。用戶可以通過(guò)任意一臺(tái)連接到互聯(lián)網(wǎng)的終端來(lái)訪問(wèn) “云”中的數(shù)據(jù)以及使用“云”中的應(yīng)用軟件，而不必依賴某一臺(tái)特定的計(jì)算機(jī)來(lái)訪問(wèn)處理自己的數(shù)據(jù)。云計(jì)算的應(yīng)用無(wú)疑給我們的生活帶來(lái)了許多方便，我們不會(huì)再有由于硬盤壞損、斷電等造成資料丟失的困擾，也不用擔(dān)心計(jì)算機(jī)病毒，因?yàn)椤霸啤睍?huì)為我們存儲(chǔ)數(shù)據(jù)，并且將數(shù)據(jù)備份到不同的機(jī)架上，在“云”端有專業(yè)人員對(duì)應(yīng)用程序進(jìn)行維護(hù)升級(jí)。但是，由此帶來(lái)的一些信息安全問(wèn)題，我們也不能忽視，處理不好就會(huì)阻礙云計(jì)算的發(fā)展。

近年來(lái)，各知名IT企業(yè)都在大力開發(fā)和推進(jìn)云計(jì)算，如IBM推出的 “藍(lán)云”計(jì)劃，亞馬遜推出的彈性計(jì)算云（EC2）服務(wù)，Google推出Google Apps的企業(yè)服務(wù)平臺(tái)等。目前，初步的云計(jì)算產(chǎn)品已經(jīng)投入使用，但云計(jì)算還處在發(fā)展階段，各項(xiàng)技術(shù)還不夠成熟。

2 云計(jì)算的概念

云計(jì)算沒有統(tǒng)一的定義，不同的企業(yè)可根據(jù)自己強(qiáng)調(diào)的云計(jì)算服務(wù)模式而給出不同的定義，但是云計(jì)算的最終目的還是服務(wù)用戶。下面給出一種云計(jì)算的定義：云計(jì)算是由一系列可以動(dòng)態(tài)升級(jí)和被虛擬化的資源組成，這些資源被所有云計(jì)算的用戶共享，并且可以方便地通過(guò)網(wǎng)絡(luò)訪問(wèn)，用戶無(wú)需掌握云計(jì)算的技術(shù)，只需要按照個(gè)人或者團(tuán)體的需要租賃云計(jì)算的資源[2]。在云計(jì)算中，用戶通過(guò)虛擬平臺(tái)來(lái)使用網(wǎng)絡(luò)資源、計(jì)算資源以及存儲(chǔ)資源等，這就相當(dāng)于在操作自己的計(jì)算機(jī)。

云計(jì)算是對(duì)分布式處理、并行處理、網(wǎng)格計(jì)算及分布式數(shù)據(jù)庫(kù)的改進(jìn)處理，其前身是利用并行計(jì)算，解決大型文體的網(wǎng)格計(jì)算和將計(jì)算資源作為可計(jì)量的服務(wù)提供的功用計(jì)算，是在互聯(lián)網(wǎng)寬帶技術(shù)和虛擬化技術(shù)高速發(fā)展后萌生出來(lái)的[3]。云計(jì)算可為我們提供眾多的服務(wù)，如SaaS（軟件即服務(wù)）、PaaS（平臺(tái)即服務(wù)）以及 MSP（管理服務(wù)提供商）等，這些服務(wù)都可使得用戶更加專注于自己的創(chuàng)新，而不必?fù)?dān)心一些繁瑣的細(xì)節(jié)，極大地降低了成本。

3 兩種典型的云數(shù)據(jù)管理技術(shù)

云計(jì)算的特點(diǎn)是要求云數(shù)據(jù)管理技術(shù)必須能管理大數(shù)據(jù)集，使得云數(shù)據(jù)管理具有一些共同的特點(diǎn)，如：計(jì)算資源的可伸縮性、數(shù)據(jù)具有備份以及數(shù)據(jù)存儲(chǔ)在大量的分布節(jié)點(diǎn)上等。

3.1 BigTable技術(shù)

現(xiàn)行最著名的云數(shù)據(jù)管理技術(shù)是Google提出的BigTable技術(shù)。 BigTable是建立在GFS、Scheduler、LockService和MapReduce之上的一個(gè)大型的分布式數(shù)據(jù)庫(kù)，它將所有數(shù)據(jù)都作為對(duì)象來(lái)處理，形成一個(gè)巨大的表格，用來(lái)結(jié)構(gòu)化數(shù)據(jù)。Google給出了如下定義:“BigTable是一種為了管理結(jié)構(gòu)化數(shù)據(jù)而設(shè)計(jì)的分布式存儲(chǔ)系統(tǒng),這些數(shù)據(jù)可以擴(kuò)展到非常大的規(guī)模,例如在數(shù)千臺(tái)商用服務(wù)器上的達(dá)到PB (Petabytes)規(guī)模的數(shù)據(jù)[4]。”現(xiàn)在，有很多Google的應(yīng)用程序建立在BigTable之 上 ，例 如 Web Indexing、Personalized Search、Google Earth、Orkut和RSS 閱讀器等。

從結(jié)構(gòu)上看，BigTable是一個(gè)有序、稀疏、多維度的映射表，在設(shè)計(jì)上具備很好的伸縮性以及高可用性等特點(diǎn)。主要包含三個(gè)基本元素，即行（row）、列(column)和時(shí)間戳(timestamps)。行是劃分BigTable內(nèi)容的標(biāo)準(zhǔn)，同時(shí)將多個(gè)行組成一個(gè)小表，保存到某一個(gè)服務(wù)器節(jié)點(diǎn)中，這一個(gè)小表就被稱為Tablet；列名具有兩層結(jié)構(gòu)，即family:optional_qualifier,family是一個(gè)訪問(wèn)控制單元，與數(shù)據(jù)類型有關(guān)，為了增強(qiáng)可讀性，optional_qualifier是在有必要時(shí)增加的索引；時(shí)間戳用來(lái)存儲(chǔ)數(shù)據(jù)的不同版本。BigTable管理數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)為：(row:string，column:string，time:int64)→string。BigTable 中的數(shù)據(jù)模型如圖1所示。

BigTable的實(shí)現(xiàn)主要由3個(gè)部分組成，即一個(gè)鏈接到每個(gè)客戶端的庫(kù)、一個(gè)主服務(wù)器和多個(gè)Tablet服務(wù)器。主服務(wù)器主要負(fù)責(zé)給Tablet服務(wù)器分配任務(wù)并使其達(dá)到負(fù)載平衡，探測(cè)Tablet服務(wù)器的添加或終結(jié)狀態(tài)以及垃圾回收等。Tablet服務(wù)器可以被動(dòng)態(tài)地添加或刪除。每個(gè)Tablet服務(wù)器管理10到1 000個(gè)Tablet，它負(fù)責(zé)處理Tablet的讀寫請(qǐng)求，并將非常大的Tablet進(jìn)行分割，以滿足需要。在實(shí)現(xiàn)的過(guò)程中，客戶端數(shù)據(jù)并不通過(guò)主服務(wù)器，而是直接與Tablet服務(wù)器進(jìn)行交互。事實(shí)上，大部分的客戶端并不與主服務(wù)器進(jìn)行交互，而使得主服務(wù)器的負(fù)載很輕。

BigTable利用三層模型來(lái)存儲(chǔ)Tablet的位置信息，如圖2所示。

其中，Chubby中存儲(chǔ)著Root tablet的位置信息，Root table中存儲(chǔ)著Metadata tables中所有Tablet的位置信息，Root tablet是Metadata tables中的第一個(gè)表，且不會(huì)被分割，Metadata tables中存儲(chǔ)著許多User Table的位置信息。因此，當(dāng)用戶讀取數(shù)據(jù)時(shí)，需先從Chubby中讀取Root tablet的位置信息，然后逐層往下讀取，直至找到所需數(shù)據(jù)為止。

BigTable在執(zhí)行任務(wù)時(shí)，在任意時(shí)刻每個(gè)Tablet只被分配到一個(gè)Tablet服務(wù)器，主服務(wù)器對(duì)Tablet服務(wù)器的活動(dòng)狀態(tài)進(jìn)行監(jiān)控，及時(shí)處理出現(xiàn)故障的服務(wù)器，同時(shí)也對(duì)未分配任務(wù)的記錄板進(jìn)行監(jiān)控，并且清楚地知道當(dāng)前Tablet服務(wù)器對(duì)Tablet的分配情況，以調(diào)節(jié)Tablet服務(wù)器的負(fù)載平衡。

3.2 Hadoop技術(shù)

Hadoop主要包括兩個(gè)部分：Hadoop分布式文件系統(tǒng)（hadoop distributed file system，HDFS）和MapReduce編程模型。Hadoop設(shè)計(jì)時(shí)有以下幾點(diǎn)的假設(shè)：服務(wù)器失效是正常的，存儲(chǔ)和處理的數(shù)據(jù)是海量的，文件不會(huì)被頻繁寫入和修改，機(jī)柜內(nèi)的數(shù)據(jù)傳輸速度大于機(jī)柜間的數(shù)據(jù)傳輸速度，在海量數(shù)據(jù)的情況下移動(dòng)計(jì)算比移動(dòng)數(shù)據(jù)更有效[1]。Hadoop文件系統(tǒng)的整體結(jié)構(gòu)如圖3所示。

由圖3可知，HDFS是由一個(gè)Namenode（命名節(jié)點(diǎn)）和多個(gè)Datanode（數(shù)據(jù)節(jié)點(diǎn)）組成的。Namenode存儲(chǔ)著文件系統(tǒng)的元數(shù)據(jù)，它的作用就像是文件系統(tǒng)的總指揮，維護(hù)文件系統(tǒng)命名空間、規(guī)范客戶對(duì)于文件的存取和提供對(duì)于文件目錄的操作；Datanode中存儲(chǔ)著實(shí)際的數(shù)據(jù)，負(fù)責(zé)管理存儲(chǔ)結(jié)點(diǎn)上的存儲(chǔ)空間和來(lái)自客戶的讀寫請(qǐng)求。Datanode也執(zhí)行塊創(chuàng)建、刪除和來(lái)自Namenode的復(fù)制命令。

由于Hadoop將服務(wù)器失效看成是一種常態(tài)，因此，在大多數(shù)情況下，數(shù)據(jù)會(huì)有3個(gè)副本：HDFS采用的副本存放策略是將一個(gè)副本存儲(chǔ)在本地機(jī)架的一個(gè)節(jié)點(diǎn)上，一個(gè)副本存儲(chǔ)在同一機(jī)架的不同節(jié)點(diǎn)上，最后一個(gè)副本存儲(chǔ)在不同機(jī)架的一個(gè)節(jié)點(diǎn)上。由于機(jī)架的錯(cuò)誤遠(yuǎn)遠(yuǎn)比節(jié)點(diǎn)的錯(cuò)誤少，這個(gè)策略不會(huì)影響到數(shù)據(jù)的可靠性和有效性。三分之一的副本在一個(gè)節(jié)點(diǎn)上，三分之二在一個(gè)機(jī)架上，其他保存在剩下的機(jī)架中，這一策略最大限度地避免了數(shù)據(jù)丟失及在節(jié)點(diǎn)失效后的恢復(fù)。在執(zhí)行任務(wù)時(shí)，主節(jié)點(diǎn)會(huì)不斷地通過(guò)心跳檢測(cè)監(jiān)控子節(jié)點(diǎn)的狀態(tài)，并對(duì)子節(jié)點(diǎn)進(jìn)行管理。

Hadoop在對(duì)數(shù)據(jù)處理上采用的是計(jì)算向存儲(chǔ)遷移的策略，在Hadoop中由于有HDFS文件系統(tǒng)的支持，數(shù)據(jù)是分布存儲(chǔ)在各個(gè)節(jié)點(diǎn)的，計(jì)算時(shí)各節(jié)點(diǎn)讀取存儲(chǔ)在自己節(jié)點(diǎn)上的數(shù)據(jù)進(jìn)行處理，或?qū)⒂?jì)算遷移到距離數(shù)據(jù)更近的位置，而不是將數(shù)據(jù)移動(dòng)到應(yīng)用程序運(yùn)行的位置，從而避免了大量數(shù)據(jù)在網(wǎng)絡(luò)上的傳遞，實(shí)現(xiàn)了“計(jì)算向存儲(chǔ)遷移”。

4 云數(shù)據(jù)管理技術(shù)所要注意的問(wèn)題

在云計(jì)算中，數(shù)據(jù)首先遇到的是數(shù)據(jù)分類問(wèn)題，數(shù)據(jù)分類是將數(shù)據(jù)標(biāo)志為是否需要分割存儲(chǔ)的數(shù)據(jù)類型，如需分割，則將數(shù)據(jù)進(jìn)行分割存儲(chǔ)，分割信息存儲(chǔ)在一個(gè)表中，分割的小數(shù)據(jù)塊進(jìn)行復(fù)制，存儲(chǔ)在系統(tǒng)的不同地方。當(dāng)有任務(wù)時(shí)，將分割的數(shù)據(jù)塊進(jìn)行整合，且計(jì)算向存儲(chǔ)遷移，數(shù)據(jù)不需要在網(wǎng)絡(luò)中傳送，若正在執(zhí)行任務(wù)的數(shù)據(jù)塊的服務(wù)器損壞，則計(jì)算很快地被遷移到該數(shù)據(jù)塊副本所在的服務(wù)器，如此循環(huán)，直至完成任務(wù)，系統(tǒng)匯總后將計(jì)算結(jié)果反饋給用戶。具體過(guò)程如圖4所示。

由此可知，在云計(jì)算中，對(duì)數(shù)據(jù)的主要操作有分類、分塊、計(jì)算與存儲(chǔ)，下面分別介紹數(shù)據(jù)副本的存放策略、文件的分塊以及數(shù)據(jù)的隔離技術(shù)。

圖4 數(shù)據(jù)在云計(jì)算中的“旅程”

4.1 數(shù)據(jù)副本的存放策略

由于在同一個(gè)云計(jì)算系統(tǒng)中存在著不同類型的客戶（企業(yè)和個(gè)人）。不同用戶對(duì)數(shù)據(jù)安全性的要求不一樣，而且支付能力也不同，因此要求云計(jì)算系統(tǒng)能為不同用戶提供不同級(jí)別的數(shù)據(jù)安全保障。可將計(jì)算機(jī)文件的安全級(jí)別劃分為幾個(gè)等級(jí)，如單機(jī)級(jí)、跨服務(wù)器級(jí)、跨機(jī)柜級(jí)以及跨數(shù)據(jù)中心級(jí)[1]。對(duì)于未實(shí)行分塊存儲(chǔ)的小型文件，可以考慮采用安全級(jí)別不高的單機(jī)級(jí)存儲(chǔ)安全策略；而對(duì)于安全性要求高的文件，可以采用跨機(jī)柜級(jí)甚至是跨數(shù)據(jù)中心級(jí)的存儲(chǔ)安全策略。采用何種安全級(jí)別，需根據(jù)用戶對(duì)數(shù)據(jù)的不同要求而定，這體現(xiàn)了云計(jì)算按需服務(wù)的理念。

4.2 文件的分塊技術(shù)

何時(shí)該對(duì)文件進(jìn)行分塊存儲(chǔ)以及怎樣分塊，需由文件的上傳和下載速度決定。對(duì)于小文件以及頻繁存取的數(shù)據(jù)，我們可以不考慮分塊，因?yàn)榉謮K存儲(chǔ)后反而會(huì)使系統(tǒng)的效率大大降低。文件實(shí)現(xiàn)分塊存儲(chǔ)的原因主要是利用各硬盤的讀取速度，提高總體讀取數(shù)據(jù)的速度，減少讀取數(shù)據(jù)的時(shí)間。文件分塊運(yùn)算的地點(diǎn)是集群主服務(wù)器，由主服務(wù)器來(lái)維護(hù)文件的分塊策略。

4.3 數(shù)據(jù)的隔離技術(shù)

在云計(jì)算中，數(shù)據(jù)都處于共享的環(huán)境中，在同一時(shí)刻，可能有許多用戶在共享著同樣的資源，要使這些用戶在云計(jì)算平臺(tái)中獨(dú)立地運(yùn)行而不出現(xiàn)數(shù)據(jù)和計(jì)算的交叉，數(shù)據(jù)的隔離技術(shù)顯得至關(guān)重要。在云計(jì)算應(yīng)用中，采用一種目錄映射的單向指針?lè)謱佑脩舾綦x的方法，即通過(guò)設(shè)置文件目錄同一層和不同層節(jié)點(diǎn)的訪問(wèn)權(quán)限來(lái)達(dá)到數(shù)據(jù)隔離的目的。

5 云數(shù)據(jù)管理展望

在云計(jì)算這種新型的商業(yè)模式下，公司和個(gè)人都可以進(jìn)行存儲(chǔ)空間和計(jì)算能力的租借，只需要一個(gè)簡(jiǎn)單的終端，而不需耗費(fèi)大量的投資去構(gòu)造和準(zhǔn)備大規(guī)模的計(jì)算機(jī)設(shè)備。現(xiàn)有的存儲(chǔ)系統(tǒng)和數(shù)據(jù)庫(kù)系統(tǒng)都存在著缺陷，如擴(kuò)展性不好、成本高等，因此，如何有效地存儲(chǔ)和分析大規(guī)模的數(shù)據(jù)，如何在海量數(shù)據(jù)中找到特定的數(shù)據(jù)，變成了一個(gè)很有挑戰(zhàn)性的技術(shù)問(wèn)題，迫切需要新一代的云存儲(chǔ)和云數(shù)據(jù)管理系統(tǒng)。同時(shí)，由于云存儲(chǔ)和云數(shù)據(jù)管理通常要面臨多種不同的應(yīng)用，還需針對(duì)各種應(yīng)用分別做出優(yōu)化，可以說(shuō)，云計(jì)算和云數(shù)據(jù)管理技術(shù)還有很長(zhǎng)的路要走。

6 結(jié)束語(yǔ)

云計(jì)算具有廣闊的應(yīng)用前景、海量的存儲(chǔ)、高速的計(jì)算和數(shù)據(jù)安全等特點(diǎn)，這些也是云計(jì)算在今后的發(fā)展中需要努力的方向。云計(jì)算根據(jù)按需服務(wù)的理念而設(shè)計(jì)，必將得到更大的發(fā)展。

1 王鵬.云計(jì)算的關(guān)鍵技術(shù)與應(yīng)用示例.北京：人民郵電出版社，2010

2 云計(jì)算和云數(shù)據(jù)管理中面臨的挑戰(zhàn)，http://cloud.it168.com/a2010/0428/879/000000879838.shtml，2010

3 王鵬.走進(jìn)云計(jì)算.北京：人民郵電出版社，2009

4 陳全，鄧倩妮.云計(jì)算及其關(guān)鍵技術(shù).計(jì)算機(jī)應(yīng)用，2009，29（9）：2 562～2 567

5 Chang F，Dean J，Ghemawat S，et al.BigTable:a distributed storage system forstructured data.ACM Transactions on Computer Systems，2008，26（2）：1～26

6 Dean J，Ghemawat S.MapReduce： simplified data processing on large clusters.In：Proceedings of the 6th Symposium on Operating System Design and Imp Lementation.New York ACM Press，2004

7 Apache Hadoop，http://hadoop.apache.org，2009

8 曹強(qiáng)，黃建忠，萬(wàn)繼光等.海量網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)原理與設(shè)計(jì).武漢：華中科技大學(xué)出版社，2010

9 孫少陵，羅治國(guó)，徐萌等.云計(jì)算及應(yīng)用的研究與實(shí)現(xiàn).電信工程技術(shù)與標(biāo)準(zhǔn)化，2009（11）：2～7

10 葛慧.云計(jì)算的信息安全.硅谷，2009（2）：42～43