面向海量數據的云存儲技術研究

朱長江 郭 念

（河南大學計算中心 河南 開封 475004）

0 引言

當今社會發展的主題是經濟的快速發展，伴隨著Internet技術的快速推進，數據量更是呈現出爆炸式的增長。 隨著數據量的急劇增長，對所需的存儲系統有更高的要求——更大存儲容量、更強的性能、更高的安全性級別、進一步智能化等，傳統的SAN 或NAS 存儲技術面對PB 級甚至EB 級海量數據，存在容量、性能、擴展性和費用上的瓶頸，已經無法滿足新形勢下數據存儲要求。 因此，為了應對不斷變大的存儲容量、不斷加入的新型存儲設備、不斷擴展的存儲系統規模，云存儲作為一種全新的解決方案被提出，備受業界的認可和關愛。

1 云存儲概念

云存儲是在云計算概念上延伸和發展出來的一個新概念，專注于解決云計算中海量數據的存儲挑戰，它不但能夠給云計算服務提供專業的存儲解決方案，而且還可以獨立的發布存儲服務。 云存儲是指綜合分布式文件系統、集群應用和網格技術等技術， 通過應用軟件讓網絡中存在的大量的、不同類型的存儲設備協同工作，共同對外提供數據存儲和業務訪問功能的一個系統。

云存儲的本質是一種可擴展、高速、低成本的基于Web的特殊形式的實用型服務，是一種服務理念，而不是存儲，不是一些具體的設備，它提供了多個用戶通過互聯網連接訪問共享存儲池的能力。 用戶不需要了解系統是怎么構成的，也不需要了解怎么提供存儲，所有設備對用戶來說都是完全透明的，任何一個經授權的合法用戶無論在何方都可以通過網絡與云存儲連接，享用云服務。

2 云存儲的結構模型

云存儲是一個以存儲設備為核心，由多部分組成的復雜系統，通過一些應用軟件來對外提供服務。 其結構模型由以下四層組成。

2.1 存儲層

云存儲中最基礎的部分是存儲層， 位于云存儲的最底層。該層可有多種存儲設備供選擇使用，可以是IP 存儲設備，也可以是DAS 存儲設備，或者是光纖通道存儲設備。 云存儲中的存儲設備種類、數量眾多，并且分布在不同地理位置，它們之間通過互聯網、光纖通道網絡等各種網絡連接在一起。

2.2 基礎管理層

云存儲中比較難實現的部分是基礎管理層，也是云存儲中最核心的一層。 應用集群、分布式文件系統、網格計算等技術，通過基礎管理層來實現云存儲中多個存儲設備之間的協同工作，使得這些設備對外向用戶提供一致服務。 為了保護用戶數據的安全性和私密性， 云存儲使用了數據加密技術、內容分發技術、數據備份和容災技術等，使得用戶的數據不被竊取、泄密或丟失。

2.3 應用接口層

云存儲最靈活多變的部分是應用接口層。 云存儲服務商根據實際業務需求，可以開發遠程數據備份、視頻點播平臺等不同類型的服務接口，提供相應的應用服務。

2.4 訪問層

云存儲的要求是只有經過授權的用戶才可以通過標準的應用接口登陸系統，才能享用里面的各項服務，但是服務商所提供的訪問手段和訪問類型因采用的手段不同而不同。

3 云存儲關鍵技術

3.1 存儲虛擬化技術

存儲虛擬化技術是云存儲的核心技術。 通過存儲虛擬化方法，把不同廠商、不同型號、不同通信技術、不同類型的存儲設備的互聯起來，將系統中各種異構的存儲設備映射為一個統一的存儲資源池。 存儲虛擬化技術能夠對存儲資源進行統一分配管理，又可以屏蔽存儲實體間的物理位置以及異構特性，實現了資源對用戶的透明性，降低了構建、管理和維護資源的成本，從而提升云存儲系統的資源利用率。

3.2 分布式存儲技術

分布式存儲是通過網絡使用服務商提供的各個存儲設備上的存儲空間，并將這些分散的存儲資源構成一個虛擬的存儲設備，數據分散的存儲在各個存儲設備上。 它所涉及的主要技術有網絡存儲技術、分布式文件系統和網格存儲技術等，利用這些技術實現云存儲中不同存儲設備、不同應用、不同服務的協同工作。

3.3 重復數據刪除技術

隨著數據中重復數據的數據量不斷增加，會導致重復的數據占用更多的空間。 重復數據刪除技術一種非常高級的數據縮減技術，可以極大的減少備份數據的數量，通常用于基于磁盤的備份系統，通過刪除運算，消除冗余的文件、數據塊或字節，以保證只有單一的數據存儲在系統中。 其目的是減少存儲系統中使用的存儲容量，增大可用的存儲空間，增加網絡傳輸中的有效數據量。 然而重復刪除運算相當消耗運算資源，對存取能效會造成相當程度沖擊，要應用在對存取能效較敏感的網絡存儲設備上，將會面臨許多困難。

3.4 數據備份技術

在以數據為中心的時代，數據的重要性無可置否，如何保護數據是一個永恒的話題， 即便是現在的云存儲發展時代，數據備份技術也非常重要。 數據備份技術是將數據本身或者其中的部分在某一時間的狀態以特定的格式保存下來，以備原數據出現錯誤、被誤刪除、惡意加密等各種原因不可用時，可快速準確的將數據進行恢復的技術。 數據備份是容災的基礎， 是為防止突發事故而采取的一種數據保護措施，根本目的是數據資源重新利用和保護，核心的工作是數據恢復。

3.5 存儲加密技術

存儲加密是指當數據從前端服務器輸出，或在寫進存儲設備之前通過系統為數據加密，以保證存放在存儲設備上的數據只有授權用戶才能讀取。 目前云存儲中常用的存儲加密技術有以下幾種：全盤加密，全部存儲數據都是以密文形式書寫的；虛擬磁盤加密，存放數據之前建立加密的磁盤空間，并通過加密磁盤空間對數據進行加密；卷加密，所有用戶和系統文件都被加密；文件/目錄加密，對單個的文件或者目錄進行加密。

3.6 內容分發網絡技術

內容分發網絡是一種新型網絡構建模式，主要是針對現有的Internet 進行改造。 基本思想是盡量避開互聯網上由于網絡帶寬小、網點分布不均、用戶訪問量大等影響數據傳輸速度和穩定性的弊端，使數據傳輸的更快、更穩定。 通過在網絡各處放置節點服務器，在現有互聯網的基礎之上構成一層智能虛擬網絡，實時地根據網絡流量、各節點的連接和負載情況、響應時間、到用戶的距離等信息將用戶的請求重新導向離用戶最近的服務節點上。 目的是使用戶可就近取得所需內容，解決Internet 網絡擁擠的狀況，提高用戶訪問網站的速度。

4 結束語

隨著科技的快速發展，云存儲已經成為人們越來越關注的一個焦點，它可以在最大程度上為用戶節約成本，并且能夠提供安全、可靠的數據訪問服務，具有非常好的應用價值和研究前景。 本文主要研究了云存儲的關鍵技術，但對各項技術的具體研究不夠透徹，是今后努力的一個方向。S

［1］ 張旭東. 關于對云計算技術的研究與應用[J]. 信息系統工程,2012,4：148-149.

［2］楊麗婷.基于云計算數據存儲技術的研究[D].太原：中北大學,2011.

［3］錢益舟.基于云技術的分布式實時數據庫高性能數據存儲檢索機制的研究[D].浙江：浙江大學,2012.

［4］王彩亮.云存儲環境下數據副本管理策略研究[D].昆明：云南大學,2011.

［5］薛一波,易成岐.云存儲_2[J].中興通訊技術,2012,18（4）：57-60.