云存儲

薛一波 易成岐

[編者按]云存儲是隨著云計算的產生而發展，并逐漸成為研究熱點。云存儲是云計算的存儲部分，并且可以作為一種服務提供給用戶，任何經過授權的合法用戶都可以通過網絡訪問云存儲，享受云存儲帶來的便利。本講座將分3期對云存儲進行討論：第1期介紹云存儲的定義、與傳統存儲的區別、種類、結構模型及相關標準；第2期介紹云存儲的關鍵技術，包括存儲虛擬化技術、分布式存儲技術、對等存儲技術、存儲加密技術、重復數據刪除技術、內容分發技術、數據備份技術；第3期探討目前云存儲的成功案例以及云存儲的發展趨勢。

中圖分類號：TN91文獻標志碼：A 文章編號：1009-6868 (2012) 02-0057-04

6 云存儲關鍵技術

隨著云存儲的不斷發展，云存儲產生了多種關鍵技術，包括存儲虛擬化技術、分布式存儲技術、對等存儲技術、存儲加密技術、重復數據刪除技術、內容分發技術、數據備份技術等等。云存儲通過融合多種云存儲技術，將存儲提升為一種服務，用戶可以對存儲資源進行任意訪問和管理。

6.1 存儲虛擬化技術

存儲虛擬化技術是云存儲的關鍵和核心技術，是指通過存儲虛擬化方法，將系統中各種異構的存儲設備映射為一個統一的存儲資源池，存儲資源池對用戶完全透明。存儲虛擬化技術既可以屏蔽存儲實體間的物理位置以及異構特性，又可以實現存儲資源的靈活調配，從而提升云存儲系統的資源利用率。

通過存儲虛擬化技術，可以實現不同廠商、不同型號、不同通信技術、不同類型的存儲設備之間的互聯。將存儲資源整合成一個統一的存儲資源池，既實現了資源的透明性，又降低了構建、管理、和維護成本。另外，通過存儲虛擬化可以對存儲資源進行統一的分配管理，能夠有效提升資源利用率。

根據全球網絡存儲工業協會(SNIA)的分類方法，存儲虛擬化技術分為：塊虛擬化、磁盤虛擬化、磁帶虛擬化、文件系統虛擬化、文件/記錄虛擬化等，如圖3所示。

(1) 塊虛擬化

塊虛擬化是指將塊級物理存儲設備進行虛擬化。塊虛擬化是將多個存儲設備虛擬成一個線性存儲空間，或者將一個物理存儲設備虛擬成多個獨立的邏輯塊，同時隱藏物理存儲設備的特征，給用戶提供一個統一的管理視圖。塊虛擬化主要是為了在不影響用戶及應用的前提下，克服塊級物理存儲設備的物理限制。

(2) 磁盤虛擬化

磁盤虛擬化是指將磁盤的柱面、磁頭、扇區等物理信息進行虛擬化。磁盤虛擬化技術已經被廣泛應用到幾乎所有的磁盤驅動器中。磁盤虛擬化的好處是可以將磁盤多種信息透明化。

(3) 磁帶虛擬化

磁帶虛擬化是指將磁帶介質、磁帶庫、磁帶驅動進行虛擬化。磁帶具有價格低廉和可靠性高的特點，通常被用作系統的備份介質。磁帶虛擬化可以使磁帶透明化，給用戶提供一個統一的磁帶空間。

(4) 文件系統虛擬化

文件系統虛擬化是指將系統底層的多種文件系統進行虛擬化。通過文件系統虛擬化技術，用戶在處理位于不同服務器上的多種類型的文件系統時，可以感覺像是在一個文件系統中處理。

(5) 文件/記錄虛擬化

文件虛擬化是指將任意數量的文件或者目錄虛擬成單個復合文件；記錄虛擬化是指將紀錄數據從不同的數據形式中進行抽取、虛擬化。文件/記錄虛擬化的好處是可以通過統一的視圖進行文件或者記錄的表示，為用戶提供層次化的管理。

(6) 基于主機的虛擬化存儲技術

基于主機的虛擬化存儲技術是指通過特定的軟件在主機服務器上完成虛擬化功能。經過基于主機虛擬化的存儲空間可以跨越多個異構的磁盤陣列。基于主機的虛擬化存儲技術的優點是不需要任何附加的硬件支持，很容易實現，并且能夠有效地降低硬件成本；缺點是會占用主機的處理時間，如果一個主機出現故障可能會影響整個存儲系統數據的完整性。

(7) 基于存儲設備的虛擬化存儲技術

基于存儲設備的虛擬化存儲技術是指在特定存儲設備上提供虛擬化存儲功能。該技術的優點是可以和某個特定的存儲提供商進行協調，相對來說會更容易管理；但是該技術具有較強的依賴關系，會依賴某種單獨存儲的供應商。所以該技術的缺點是缺乏足夠的軟件支持，難以增加新的解決方案。

(8) 基于網絡的虛擬化存儲技術

基于網絡的虛擬化存儲技術是指在服務器與存儲設備之間的網絡設備上提供存儲虛擬化功能。主要有兩種實現方式：一種是帶內虛擬化，即基于互聯網設備的虛擬化；另一種是帶外虛擬化，即基于元數據服務器的虛擬化。

帶內虛擬化模型中，會在交換機或者路由器中直接嵌入虛擬化層，使其同時具備虛擬化和交換的功能。這種模型的優點是可以不用在應用服務器上運行虛擬化軟件，有效減少負載，并且它可以通過設備管理和負載均衡機制減輕互連設備的負載。另外，當一個存儲設備出現故障時，模型能夠容易地進行故障設備替換。但是這種模型的缺點是擴展性較差。

帶外虛擬化模型中，應用服務器與存儲設備直接進行數據傳輸，由獨立于數據傳輸通路的存儲虛擬化服務器提供存儲資源的管理功能。

相比之下，帶內虛擬化模型存在由輸入/輸出(I/O)端口造成的性能瓶頸和單點故障等問題，它不能夠充分發揮單個存儲設備的I/O能力。但是通過對數據傳輸通路的有效管理，帶內虛擬化模型更易于實現數據遷移、快照等功能。帶外虛擬化模型使數據存儲與控制命令分別在兩條不同的通路運行，相比帶內虛擬化模型更具有擴展性。

6.2 分布式存儲技術

分布式存儲技術是指運用網絡存儲技術、分布式文件系統、網格存儲技術等多種技術，實現云存儲中的多種存儲設備、多種應用、多種服務的協同工作。

(1) 網絡存儲技術

網絡存儲技術將數據的存儲從傳統的服務器存儲轉移到網絡設備存儲。網絡存儲技術中比較典型的有：直接附屬存儲(DAS)、網絡附加存儲(NAS)、存儲區域網絡(SAN)和IP SAN，它們各有特色、各具特點，如表2所示。

(2) 分布式文件系統

分布式文件系統是指文件系統管理的物理存儲資源并不一定直接連接在本地節點上，而是通過網絡與網絡節點互聯。分布式文件系統可以將負載由單個節點轉移到多個節點，提高效率。分布式文件系統還可以避免由于單個節點失效而造成的整個系統崩潰。目前，比較典型的分布式文件系統有：Lustre、PanFS、Google文件系統(GFS)等。

Lustre文件系統是基于對象存儲的分布式文件系統，是一個開源的項目。1999年，Lustre項目在卡耐基梅隆大學啟動，現在已經發展成為最廣泛的分布式文件系統，目前已經用于核武器、分子動力學等相關的模擬。Lustre的集群組件包含了元數據服務器 (MDS)、元數據存儲節點 (MDT)、對象存儲服務器 (OSS)、對象存儲節點 (OST)、客戶端、以及連接所有組件的高速網絡。Lustre的性能和擴展性都很好，而且還擁有基于對象的智能化存儲、比較智能的容錯機制、相對安全的認證機制以及部分文件鎖機制。

PanFS文件系統是Panasas公司開發的，Panasas公司是卡耐基梅隆大學在1999年創建的。PanFS突出的特點是采用并行和冗余的方式進行對象的存取，使用了分布式元數據管理、一致性客戶管理、基于文件的冗余模式、文件鎖服務和集群管理等技術，為用戶提供了一個擴展性高、容錯能力強、性能優越的分布式文件系統。

GFS文件系統是Google公司為了滿足日益增長的數據處理需求而設計的一款分布式文件系統。其特點是可以運行在廉價的硬件存儲設備上，擁有較高的容錯功能。GFS支持海量數據的處理和多用戶的并發訪問，具有高吞吐率、高傳輸率等特點。GFS針對大文件更新的特點，采取“一次寫入，多次讀取”策略。

(3) 網格存儲技術

作為一種全新的數據存儲技術，網格存儲具備更高的容錯和冗余度，在負載出現波動的情況下可以保持高性能。網格存儲技術具備先進的異構性、透明訪問性、協同性、自助控制性、全生命周期性等特性，用戶在使用網格的時候，可以不用關心存儲容量、數據格式、數據安全性、數據讀取位置和數據是否會丟失等問題。網格技術的優越性體現在智能的資源管理、高速的數據傳輸機制、存儲副本的創建與動態備份、優秀的調度策略與遠程執行、以及較完善的安全機制。

6.3 對等存儲技術

對等(P2P)存儲技術也是近幾年云存儲相關技術研究的熱點之一。對等網絡是構建在現有物理網絡上面的一個虛擬層。它通過抽象出來的網絡，在無需改變已有網絡結構的前提下就能夠實現網絡的互聯以及資源的共享。對等存儲技術是指在對等網絡環境下，通過一種功能對等的方式將存儲節點組成一個存儲網絡，并且各個節點之間可以通過統一的路由協議進行通信。

對等存儲系統按照使用的環境可以分為封閉式系統與開放式系統。封閉式系統中的存儲節點相對來說比較穩定，并且系統有嚴格的中心認證、管理和審計等功能，從而使節點能夠持續的運行。如果系統出現了間歇性的錯誤，系統會及時進行修復，由于節點協同性非常好，不會隨意退出封閉式系統。與封閉式系統不同的是，開放式系統中的節點可以隨意地加入或者退出，開放式系統中的節點可以不必保證持續地提供服務，所以系統的臨時性錯誤和永久性錯誤相對于封閉系統來說會更加頻繁。由于開放式系統的動態性太強，目前成功部署的實例很少。

同傳統的存儲技術和分布式存儲系統相比，對等網絡存儲系統具有5方面的優勢。

(1) 低廉的構建成本。因為對等存儲系統只需要在物理網絡上面構建邏輯的拓撲，且用戶無需購買非常昂貴的服務器、路由器等網絡設備，只需利用現有的物理網絡資源即可建立邏輯連接，提供網絡存儲服務。

(2) 大容量的存儲。對等存儲系統的存儲容量是網絡中所有節點共享存儲空間的總和，而且存儲容量隨著節點的增加呈現線性的增長。

(3) 良好的服務性能。對等存儲系統中的每個節點分別承擔了服務器和客戶端兩種角色，每個節點只需承擔較少量的任務，便可實現非常好的負載均衡作用，而且網絡的變化對系統性能產生的影響也很小。

(4) 較高的可靠性。對等存儲系統通常會融合分片冗余、糾刪碼、文件復制等容錯技術，提高了系統的可靠性；查詢節點也可以就近訪問文件的副本，降低了網絡延遲，提高了訪問效率。

(5) 安全的匿名性。對等存儲系統可以通過多播、偽節點、標識哄騙、地址轉換等技術實現系統的匿名性。

對等存儲系統也有不足之處，如：封閉式系統不能夠及時檢測和管理對等節點的隨機進入和退出，同時開放式系統具有較大的網絡安全和網絡擁塞等問題。

6.4 存儲加密技術

目前云存儲中所涉及的存儲加密技術主要包括：全盤加密、虛擬磁盤加密、卷加密、文件與目錄加密。

全盤加密是指對所有數據進行加密；虛擬磁盤加密是指存放數據之前建立加密的磁盤空間，并通過加密磁盤空間對數據進行加密；卷加密是指對卷上的所有數據進行加密；文件/目錄加密是指對單個的文件或者目錄進行加密。4種存儲加密方法各有優劣，如表3所示。

6.5 重復數據刪除技術

隨著數據中重復數據的數據量不斷增加，如果不采取措施，則會導致重復的數據占用更多的空間。而重復數據刪除技術的目的就是增大可用的存儲空間，并且增加網絡傳輸中的有效數據量。

重復數據刪除是指通過刪除運算，消除冗余的文件、數據塊、或字節，以保證只有單一的數據存儲在系統中。重復數據刪除技術通分為文件級和數據塊級。

文件級重復數據刪除技術也稱為單實例存儲，根據索引檢查需要備份或歸檔文件的屬性，并且與已經存儲的文件進行比較。如果兩個文件相同，則新文件不被存儲。

塊級重復數據刪除技術會將文件分割成數據塊，并將多個數據塊寫入磁盤的相應區域。為了識別傳輸數據流中的數據塊是否重復，重復數據刪除技術會為每個數據塊創建一個數字簽名，并且創建簽名索引。如果通過數字簽名發現某一數據塊之前已經存儲過，則此數據塊不會再次存儲。

目前重復數據刪除技術還處于研究和發展階段，仍有許多待解決的問題。提升重復數據刪除性能方面的研究是目前重復數據刪除技術的研究熱點。因為重復數據刪除技術除了需要滿足存儲空間優化外，還必須滿足高速數據運算性能方面的要求。雖然可以通過一些技術提高重復數據的刪除效果，但是會引發時間開銷大的問題。目前比較典型的提升重復數據刪除性能方法主要有數據域文件系統(DDFS)技術以及稀疏索引技術。

6.6 內容分發網絡技術

CDN (內容分發網絡)技術主要是針對現有的Internet進行改造，并且添加一層新的網絡架構，通過智能化的分發策略，將數據服務器的數據內容分發到服務能力最好的邊緣節點以及距離用戶最近的節點。通過CDN技術添加的這層新的網絡架構既可以有效解決網絡擁塞情況，同時可以加快用戶訪問網站的響應速度。一般情況下，通過CDN技術來提高訪問效率主要是遵從了以下4個方面：

(1) 可靠性，將數據內容分發到多個邊緣節點，可以實現負載均衡的容錯網絡。

(2) 效率性，將數據內容分發到離用戶最近的節點，可以提高用戶的請求、響應時間。

(3) 突發性，當某個節點負載很大的時候，可以選擇離該節點比較相近的其他節點進行內容分發，以解決這個問題。

(4) 量化性，CDN技術包含了網絡設備信息、帶寬信息以及用戶信息，可以進行量化。

當然，CDN技術需要智能的分發策略，設計CDN分發策略需要重點考慮以下3個方面：

(1) 數據內容分布式存儲，并且將內容有效地分發到客戶端。

(2) 高效的數據內容管理機制，能夠區分數據的優先級和網絡性能的優化度。

(3) 通過本地數據內容的分發緩解網絡帶寬。

CDN技術通過智能的分發策略可以有效降低服務器和帶寬產生的資源消耗，從而提高服務品質。

6.7 數據備份技術

在“數據為王”的時代，數據的重要性可想而知，如何保護數據是一個永恒的話題，即便在云存儲系統，數據備份技術也非常重要。目前比較主流的數據備份技術主要包括：冷備份和熱備份技術、寫前拷貝技術、快照技術、鏡像技術、獨立冗余磁盤陣列(RAID)技術等。

(1) 冷備份和熱備份技術。冷備份又被稱為離線備份，主要是指當服務器執行備份指令時，不再接受用戶或者應用對數據的更新操作。冷備份的缺點是在實施備份的過程中不能及時響應用戶的其他需求，而且恢復時間較長；優點是投資較少。熱備份也被稱為在線備份，在用戶和應用更新數據的時候也可以進行備份操作。熱備份的缺點是資源占用較大，投資較大；優點也很明顯，可以有效實現同步備份，而且恢復的時間也非常短。

(2) 寫前拷貝技術。寫前拷貝的思想是當正在備份的數據發生變化時，會將磁盤上原有的數據拷貝到一個臨時的磁盤位置，并且對原有數據位置和臨時存儲的相對位置進行索引。寫前拷貝技術大多會在數據庫備份的環境下實現。

(3) 快照技術。快照技術分為硬件快照和軟件快照兩種類型。硬件快照是利用卷映像技術執行磁盤驅動器上的數據拷貝，軟件快照是通過內存作為緩沖區，通過軟件提供及時數據映像，通過緩沖區調度獲得完整的數據拷貝。

(4) 鏡像技術。鏡像技術分為同步鏡像、異步鏡像和半同步鏡像。同步鏡像需要接收同步確認信號，一旦發生數據丟失，存儲池將不可使用。異步鏡像雖然可以實現鏡像過程與本地寫操作分離，但是會導致數據一致性的危險。而半同步鏡像本質上屬于異步操作，鏡像的關系是在本地存儲與路由器之間。

(5) RAID技術。RAID是獨立冗余磁盤陣列，RAID技術支持自動檢測故障硬盤、重建磁盤軌道等功能。目前應用比較廣泛的是RAID 0、RAID 1、RAID 5、RAID 6、RAID 1-0，不同的RAID規范對于磁盤備份的側重點也不同。(待續)

收稿日期：2011-12-15

作者簡介

薛一波，中國科學院計算技術研究所博士畢業，現任清華大學信息技術研究院研究員、CPU&SOC中心副主任；目前主要研究方向為網絡與信息安全、云計算及云安全、計算機體系結構等；承擔課題40余項，發表論文100多篇，申請發明專利20余項。

易成岐，哈爾濱理工大學計算機應用技術專業在讀博士；主要研究領域為網絡安全、云計算、社會計算等；參與過國家自然科學基金、“242項目”、國家農業部公益項目等多項科研項目。