云存儲

[編者按]云存儲是隨著云計算的產生而發展，并逐漸成為研究熱點。云存儲是云計算的存儲部分，并且可以作為一種服務提供給用戶，任何經過授權的合法用戶都可以通過網絡訪問云存儲，享受云存儲帶來的便利。本講座將分3期對云存儲進行討論：第1期介紹云存儲的定義、與傳統存儲的區別、種類、結構模型及相關標準；第2期介紹云存儲的關鍵技術，包括存儲虛擬化技術、分布式存儲技術、對等存儲技術、存儲加密技術、重復數據刪除技術、內容分發技術、數據備份技術；第3期探討目前云存儲的成功案例以及云存儲的發展趨勢。

中圖分類號：TN91 文獻標志碼：A 文章編號：1009-6868 (2012) 03-0057-04

7 云存儲成功案例分析

云存儲[1-3]作為云計算[4]的重要組成部分，許多IT巨頭正在極力從事云存儲的研究與開發，他們通過多種技術相結合的方式，將傳統存儲提升到了云存儲的層次，并且對企業和個人提供了一系列的高質量服務。下面將對幾個目前比較典型的云存儲成功案例進行探討與分析。

7.1 Google GFS

Google除了擁有全球最強大的搜索業務外，還有Google Earth、Gmail、Google Map等其他業務。這些業務存在的共性問題是業務數據量巨大、業務訪問量巨大、需要面向全球的用戶提供實時服務。針對上述問題，Google研發出可以讓幾百萬臺廉價的計算機協同工作的技術，并且可以共同完成上述業務。

其中GFS[5]是Google研發的大型分布式文件系統，作為整個業務鏈底層的海量數據存儲支持。因為GFS并不是一個開源的系統，因此現在僅可以從Google提供的技術文檔和相關文章中獲取GFS的相關技術信息。其實，GFS最吸引人的地方就是簡單易用，并且將容錯機制交給文件系統完成，通過軟件的方法解決了系統可靠性問題，使存儲成本顯著的降低。另外，GFS將服務器可能產生的故障視為正常的情況，通過多種角度、多種方法、多種策略進行容錯處理，從而保證了數據存儲的安全性及系統的不間斷服務。

GFS的系統架構如圖4所示，GFS將系統的所有節點分為3類，即客戶端(Client)節點、主服務器(Master)節點、數據塊服務器(Chunk Server)節點。其中客戶端節點并沒有遵守可移植操作系統接口(POSIX)規范，而是采用了一組專用的接口。主服務器節點屬于GFS架構中的管理節點，主要負責整個存儲系統的管理工作，并且用于保存系統的元數據，主服務器節點在整個系統中只有一個。GFS的規模是通過數據塊服務器節點的個數而決定的，GFS將所有文件按照固定的大小進行分塊操作(默認大小為64 M)，并且為每個塊分配了一個對應的索引。

Google針對其應用的大規模、實時性等特點，從多個角度對GFS進行了優化，目的是能夠達到成本與性能的最優平衡。GFS主要有4個特點：

(1) 提供專用接口。傳統的分布式文件系統一般都會提供與POSIX規范兼容的接口，但是GFS為了面向Google的應用，采取了專用的訪問接口。即接口通過庫文件的形式與應用程序共同編譯，在應用程序訪問的時候會調用這些庫文件的應用程序編程接口(API)。GFS提供專用接口的目的是可以降低系統開發與實現的難度，對應用提供特殊支持，還可以通過和Client、Master、Chunk Server節點直接交互從而提高系統效率。

(2) 采取中心服務器的模式。GFS通過中心服務器的模式管理整個系統，由于GFS只設計了一個中心服務器，因此可以較好地解決數據一致性問題。

(3) 系統在用戶態下實現。GFS并沒有選擇傳統的內核態形式，而是選取了用戶態的形式實現系統。主要是因為在用戶態下不需深入了解操作系統的內核，降低了開發的難度。GFS的節點通過進程的方式運行，以方便系統的優化。

(4) 不需要緩存數據。GFS沒用采用緩存機制，主要是因為設計緩存機制需要耗費大量的精力，并且考慮到客戶端并不需要大量的、重復的讀寫操作。

除了上述特點外，GFS還通過集群安裝技術、節點動態加入技術、集群故障檢測技術、節能優化等技術提高了系統的高可用性與高可靠性。

7.2 Amazon S3

Amazon是通過強大的電子商務服務逐步走向成功的，隨著Amazon用戶數目的不斷增加，用戶數據、商品數據、服務數據呈爆炸性增長，Amazon憑借著非常先進的分布式技術很早就進入了云存儲領域，并且在云存儲方面一直處于世界的領先地位，非常具有代表性。

S3[6]被稱為簡單存儲服務，是Amazon推出的面向用戶的文件存儲服務。用戶可以通過S3的服務接口將任意類型的文件永久或臨時存放在S3服務器上面。S3的特點是系統可靠、接口易用、成本低廉。

但是S3設計之初的就是為了能夠使文件操作方式盡量簡便、高效、快捷，并且支持用戶重復的讀寫操作，但是傳統的關系型數據庫并不能夠滿足上述要求。S3的基本結構如圖5所示。S3并不是采取傳統的關系型數據庫作為存儲方式，而是通過系統設計的對象、鍵、桶來構建存儲系統。

對象是S3最基本的存儲單元，它由數據和元數據構成，數據可以是任何類型的文件，元數據是數據的描述性文件，元數據一般與數據聯合出現，并不會單獨在系統中存在。其中，元數據又分為系統元數據和用戶元數據，S3對用戶元數據的大小有限制，不能超過2 048 B。S3對對象的大小以及名稱大小也都有限制，對象被限制在5 GB以內，UTF-8編碼下的對象的名稱被限制在1 024 B。鍵是對象的唯一標識，S3規定每個對象必須制定一個鍵。桶的作用是用來存儲對象。Amazon對于每個用戶的限制為最多使用100個桶，但是每個桶的對象數量并不限制。

當然，作為商業服務的提供者，S3的安全措施也設計的非常完備。S3通過用戶身份認證和訪問控制列表提高了系統的安全性。

7.3 Microsoft Azure

Microsoft作為IT巨頭開創了PC時代，隨著云時代的來臨，Microsoft PDC2008大會上，Microsoft公布了Microsoft的云計算戰略計劃以及Microsoft云服務平臺Azure[7]。在Microsoft PDC2010大會上，Microsoft公布了Azure的最新版本。在該平臺上，允許用戶通過多種編程語言和框架進行開發，包括：C#、NET、PHP、Python、Java等多種語言。

Azure的存儲服務主要依靠Microsoft的數據中心來完成，用戶可以在任何時間、任何地點通過網絡訪問Azure，通過云端的應用程序存儲任意數量、任意時間的數據。目前Azure的存儲服務主要提供了3種數據存儲結構，分別是Blob類型、Table類型、Queue類型。

Blob主要用于存儲比較大型的數據對象，通過分層分塊的方式管理數據，主要目的是創建重量級、可擴展的應用。對于數據的安全性考慮，Blob提供了一套訪問控制機制，設置了公有讀取和私有兩種訪問修飾符，前者可以不經過任何授權就可以對數據進行訪問，后者只有經過授權后的合法用戶才能夠對數據進行訪問。

但是Blob有一個缺點，就是更適合存儲無結構的數據，對于結構性較強的數據不是特別適合。為此，Azure又提供了另一種存儲結構Table。Table不同于關系數據，它并不采用二維表，也不支持結構化查詢語言(SQL)查詢，但可以存儲結構性較強的數據。Table主要采取了具有層次結構的實體、屬性模式。Queue類型存儲結構主要是用來存儲一些交互數據。

7.4 VMware存儲

VMware已經成為了虛擬化技術的杰出代表，VMware也正是利用了自己虛擬化技術的優勢，提出了自己的云戰略，并且推出了面向集群服務器的虛擬機產品vSphere[8]。vSphere的推出對云存儲的發展起到了非常大的作用。

虛擬化技術對于云存儲來說非常重要，vSphere支持多種網絡存儲，包括基于iSCSI、NFS協議的網絡存儲和FC數據存儲等。

vSphere提出了虛擬機文件系統(VMFS)的概念，主要是針對高性能的集群文件系統，提供并發訪問服務。VMFS的功能主要包括3個方面：

(1) 故障一致性恢復機制。該機制可以快速定位故障的位置，迅速地識別故障原因的本質，從而幫助虛擬機或者系統恢復，主要涉及了故障一致性的虛擬機I/O定位技術、分布式的日志記錄技術和快照技術等。

(2) 磁盤鎖定機制。該機制將已經啟動的虛擬機磁盤進行鎖定，從而防止多臺服務器共同啟動一臺虛擬機而造成的故障。如果虛擬機下的物理主機出現故障，系統則會自動釋放該故障主機下的每個虛擬機的磁盤鎖。這些虛擬機可以進行遷移，并且可以從其他狀況良好的主機上重新啟動。

(3) 裸機映射機制。該機制可以使虛擬機直接訪問物理存儲中的邏輯單元號(LUN)。

表4對上述4種產品進行了分析、比較和總結。

目前在中國，云存儲的服務也越來越引起企業界的廣泛關注。例如：世紀互聯的CloudEx云存儲產品為企業和個人提供了安全、可靠的云存儲服務。以及其它公司相繼推出的云存儲服務，包括金山快盤、115網盤、QQ網盤、飛速RayFile、納米盤、新浪微盤、酷盤、360云盤、電信“e云”、盛大網盤等。

7.5 開源案例

云存儲發展至今，不斷有IT企業推出云存儲系統，但是大多數都是商業平臺。對于想要從事研究云存儲的個人、機構和企業來說，技術的不公開帶來了許多不便。但是現在有很多開源組織正在和廣大研究人員一起從事云計算、云存儲的研究。開源云平臺的出現，給云計算、云存儲的研究帶來了新的活力。文章僅對兩款比較受歡迎的開源云存儲系統進行簡要的介紹。

(1) Hadoop HDFS

Hadoop[9]是Apache開源組織設計的一個分布式計算框架，其核心技術HDFS、MapReduce、HBase分別是Google云平臺中GFS、MapReduce、Bigtable的開源實現。Hadoop可以在大量廉價的機器設備上運行。HDFS是Hadoop的分布式文件系統，其設計目標為：

?假設硬件出現錯誤屬于常態而不屬于異常

?數據采取流式訪問

?應用簡單的一致性模型

?支持異構平臺間的移植

?支持TB甚至是PB級的超大規模數據級處理

?移動數據的代價比移動計算代價要大

HDFS在可靠性方面也設計的比較充分，主要通過心跳檢測機制、冗余備份機制、數據完整性機制、副本存放機制、空間回收機制、快照機制、元數據副本存放機制等提高系統的安全性。

此外，HDFS為了支持大文件的處理而設計的，因此HDFS適合處理大數據集。HDFS具有高效率的數據存儲，采用智能化的副本選擇策略，選擇離用戶最近的副本來滿足用戶的需求；它也支持數據均衡策略，使系統達到負載均衡。客戶端的請求并不是直接到達處理中心，而是緩存到一個臨時文件，解決了網絡擁塞問題。客戶端在寫數據的過程中采取流水線復制策略。

(2) Eucalyptus

Eucalyptus[10]是Amazon云計算平臺的開源實現。隨著Eucalyptus研究的發展，從最初只支持Amazon EC2接口外，已經逐步擴展到支持S3等多種接口。

Eucalyptus的主要構件包括節點控制器、集群控制器和云控制器。節點控制器主要負責管理系統中的物理節點，每臺物理機器上只需運行一個虛擬的節點控制器即可。集群控制器運行在集群的服務器上，主要負責管理節點控制器，一個集群控制器可以管理多個節點控制器。集群控制器可以收集節點控制器的狀態信息，分配虛擬機。云控制器相當于整個系統的中樞，直接面對用戶，負責處理用戶發起的請求，做出系統高層決定。Eucalyptus的設計簡單、透明、擴展性好，是研究人員或者團體的不錯選擇。

除了上述兩種開源系統之外，還有很多開源云平臺，例如：Cassandra、VoltDB、Enomaly ECP、Nimbus、Sector and Sphere、abiCloud等。每種開源系統都有自己獨特的魅力，引領了開源云平臺的熱潮。

8 云存儲未來發展趨勢

存儲已經成為這個數據爆炸時代的最基本的需求。在IT業迅猛發展的今天，云存儲有著舉足輕重的地位和作用。目前普遍將云存儲稱為第三代存儲，以應對更多快速創新的應用、更多用戶的需求以及更高質量的服務。云存儲存在著以下一些發展趨勢：

(1) 虛擬化環境下的安全性將變得越發重要。隨著云存儲的不斷發展，存儲虛擬化技術也正在一步一步地全面應用。其中的安全性主要包括兩方面的問題：一是如何能在更短的時間內對數百甚至數千個虛擬機提供備份，并且需要進行恢復的時候如何能夠更快速地進行恢復操作；另一個問題是如何能夠保證用戶之間數據的絕對隔離，用戶將數據放到云存儲平臺上最擔心的一點就是數據的保密性，如何更有效地防范非授權人員進行惡意訪問成為研究的重點。

(2) 更深入地開展重復數據刪除技術的研究。早在2008年，重復數據刪除技術開始在世界上的一些國家引起普遍關注。2009年，EMC公司與NetApp公司針對重復數據刪除技術廠商的代表Data Domain展開激烈的競購，也讓整個IT界對重復數據刪除技術加倍關注；2010和2011年，全球知名的云存儲企業幾乎都采用了重復數據刪除技術，并且取得了廣大用戶的認可。但是，目前重復數據刪除通常只是應用在備份存儲上，所以未來的趨勢應該朝著主存上的重復數據刪除發展。

(3) 私有云存儲將大力開展。由于私有云存儲相對于公有云存儲而言，更具備安全性、高性能、可定制的特點，屬于端對端的服務。因此，對用戶而言，選擇私有云存儲會更加貼合實際，所以說私有云存儲將成為未來云存儲研究的一個熱點。

(4) 云存儲中數據的管理與挖掘將成為趨勢。根據目前信息化的現狀，如果只是簡單的將越來越多的數據存放到存儲系統里是沒有任何意義的，必須能對海量數據進行管有效地管理與挖掘，將數據轉換為信息。通過信息增加增值服務，提升數據價值，提高服務質量。因此，如何全面地對數據進行管理與挖掘也將成為未來的趨勢。

(5) 云存儲與社會化媒體更密切融合。隨著Web2.0的大潮席卷而來，社會化媒體會更加貼近用戶的生活，更加關注用戶的需求。既然云存儲的根本是服務，而社會化媒體更能促進用戶之間交流、互動，因此如何在提供云存儲服務的同時，增強用戶社交化的服務，也將會是未來的一個研究熱點。云存儲熱潮與社會化媒體熱潮的融合會引發下一代互聯網的革命。

9 結束語

經過對云存儲概念、原理、技術、案例分析、未來趨勢等方面的探討，我們發現云存儲并不是那么高不可攀。隨著互聯網技術的發展，云計算和云存儲的各種技術將成為應對各項新的應用和挑戰的利器。如何能夠更好地把握與掌控用戶，將成為云存儲技術未來的發展目標與動力。

(續完)

10 參考文獻

[1] SINA. Cloud Storage[EB/OL].(2011-08-01). http://www.sina.org/cloud

[2] ZENG W Y，ZHAO Y L，OU K R， et al. Research on Cloud Storage Architecture and Key Technologies[C]// Proceedings of the 2nd International Conference on Interaction Sciences: Information Technology， Culture and Human( ICIS '09)，Nov 24-26， 2009， Seoul， Republic of Korea .2009:1044-1048.

[3] ROCHWERGER B， BREITGAND D， LEVY E， et al. The Reservoir Model and Architecture for Open Federated Cloud Computing [J].IBM Journal of Research and Development， 2009， 53(4):1-17

[4] ARMBRUST M， FOX A， GRIFFITH R， et al. Above the Clouds: A Berkeley View of Cloud Computing[R]. UCB/EECS-2009-28.Berkeley，CA，USA: EECS Department， University of California， 2009.

[5] GHEMAWAT S， GOBIOFF H， LEUNG S T. The Google File System[C]// Proceedings of the 19th ACM SIGOPS Symposium on Operating Systems Principles (SOSP’03)， Oct 19 - 22， 2003， Bolton Landing， NY， USA. New York， NY， USA: ACM， 2003: 29-43.

[6] GARFINKEL S. An Evaluation of Amazon's Grid Computing Services: EC2， S3 and SQS， [R]. TR-08-07. Harvard，MA，USA: School for Engineering and Applied Sciences， Harvard University， 2007.

[7] Microsoft. Windows Azure Platform[EB/OL]. http://www.microsoft.com/azure/default.mspx

[8] VMware. vSphere[EB/OL]. http://www.vmware.com/products/vsphere/overview.html

[9] BORTHAKUR D. HDFS architecture guide[EB/OL]. http://hadoop.apache.org/common/docs/current/hdfs_design.html

[10] NURMI D， WOLSKI R， GRZEGORCZYK C， et al. The Eucalyptus Open-Source Cloud-Computing System[C]//Proceedings of the 9th IEEE/ACM International Symposium on Cluster Computing and the Grid(CCGRID’09)，May 18-21，2009，Shanghai，China. Piscataway，NJ， USA:IEEE，2009: 124-131.

收稿日期：2011-12-15

作者簡介

薛一波，中國科學院計算技術研究所博士畢業，現任清華大學信息技術研究院研究員、CPUSOC中心副主任；目前主要研究方向為網絡與信息安全、云計算及云安全、計算機體系結構等；承擔課題40余項，發表論文100多篇，申請發明專利20余項。

易成岐，哈爾濱理工大學計算機應用技術專業在讀博士；主要研究領域為網絡安全、云計算、社會計算等；參與過國家自然科學基金、“242項目”、國家農業部公益項目等多項科研項目。