面向海量數(shù)據(jù)的云存儲技術(shù)研究

朱長江 郭 念

（河南大學(xué)計算中心 河南 開封 475004）

0 引言

當今社會發(fā)展的主題是經(jīng)濟的快速發(fā)展，伴隨著Internet技術(shù)的快速推進，數(shù)據(jù)量更是呈現(xiàn)出爆炸式的增長。 隨著數(shù)據(jù)量的急劇增長，對所需的存儲系統(tǒng)有更高的要求——更大存儲容量、更強的性能、更高的安全性級別、進一步智能化等，傳統(tǒng)的SAN 或NAS 存儲技術(shù)面對PB 級甚至EB 級海量數(shù)據(jù)，存在容量、性能、擴展性和費用上的瓶頸，已經(jīng)無法滿足新形勢下數(shù)據(jù)存儲要求。 因此，為了應(yīng)對不斷變大的存儲容量、不斷加入的新型存儲設(shè)備、不斷擴展的存儲系統(tǒng)規(guī)模，云存儲作為一種全新的解決方案被提出，備受業(yè)界的認可和關(guān)愛。

1 云存儲概念

云存儲是在云計算概念上延伸和發(fā)展出來的一個新概念，專注于解決云計算中海量數(shù)據(jù)的存儲挑戰(zhàn)，它不但能夠給云計算服務(wù)提供專業(yè)的存儲解決方案，而且還可以獨立的發(fā)布存儲服務(wù)。 云存儲是指綜合分布式文件系統(tǒng)、集群應(yīng)用和網(wǎng)格技術(shù)等技術(shù)， 通過應(yīng)用軟件讓網(wǎng)絡(luò)中存在的大量的、不同類型的存儲設(shè)備協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的一個系統(tǒng)。

云存儲的本質(zhì)是一種可擴展、高速、低成本的基于Web的特殊形式的實用型服務(wù)，是一種服務(wù)理念，而不是存儲，不是一些具體的設(shè)備，它提供了多個用戶通過互聯(lián)網(wǎng)連接訪問共享存儲池的能力。 用戶不需要了解系統(tǒng)是怎么構(gòu)成的，也不需要了解怎么提供存儲，所有設(shè)備對用戶來說都是完全透明的，任何一個經(jīng)授權(quán)的合法用戶無論在何方都可以通過網(wǎng)絡(luò)與云存儲連接，享用云服務(wù)。

2 云存儲的結(jié)構(gòu)模型

云存儲是一個以存儲設(shè)備為核心，由多部分組成的復(fù)雜系統(tǒng)，通過一些應(yīng)用軟件來對外提供服務(wù)。 其結(jié)構(gòu)模型由以下四層組成。

2.1 存儲層

云存儲中最基礎(chǔ)的部分是存儲層， 位于云存儲的最底層。該層可有多種存儲設(shè)備供選擇使用，可以是IP 存儲設(shè)備，也可以是DAS 存儲設(shè)備，或者是光纖通道存儲設(shè)備。 云存儲中的存儲設(shè)備種類、數(shù)量眾多，并且分布在不同地理位置，它們之間通過互聯(lián)網(wǎng)、光纖通道網(wǎng)絡(luò)等各種網(wǎng)絡(luò)連接在一起。

2.2 基礎(chǔ)管理層

云存儲中比較難實現(xiàn)的部分是基礎(chǔ)管理層，也是云存儲中最核心的一層。 應(yīng)用集群、分布式文件系統(tǒng)、網(wǎng)格計算等技術(shù)，通過基礎(chǔ)管理層來實現(xiàn)云存儲中多個存儲設(shè)備之間的協(xié)同工作，使得這些設(shè)備對外向用戶提供一致服務(wù)。 為了保護用戶數(shù)據(jù)的安全性和私密性， 云存儲使用了數(shù)據(jù)加密技術(shù)、內(nèi)容分發(fā)技術(shù)、數(shù)據(jù)備份和容災(zāi)技術(shù)等，使得用戶的數(shù)據(jù)不被竊取、泄密或丟失。

2.3 應(yīng)用接口層

云存儲最靈活多變的部分是應(yīng)用接口層。 云存儲服務(wù)商根據(jù)實際業(yè)務(wù)需求，可以開發(fā)遠程數(shù)據(jù)備份、視頻點播平臺等不同類型的服務(wù)接口，提供相應(yīng)的應(yīng)用服務(wù)。

2.4 訪問層

云存儲的要求是只有經(jīng)過授權(quán)的用戶才可以通過標準的應(yīng)用接口登陸系統(tǒng)，才能享用里面的各項服務(wù)，但是服務(wù)商所提供的訪問手段和訪問類型因采用的手段不同而不同。

3 云存儲關(guān)鍵技術(shù)

3.1 存儲虛擬化技術(shù)

存儲虛擬化技術(shù)是云存儲的核心技術(shù)。 通過存儲虛擬化方法，把不同廠商、不同型號、不同通信技術(shù)、不同類型的存儲設(shè)備的互聯(lián)起來，將系統(tǒng)中各種異構(gòu)的存儲設(shè)備映射為一個統(tǒng)一的存儲資源池。 存儲虛擬化技術(shù)能夠?qū)Υ鎯Y源進行統(tǒng)一分配管理，又可以屏蔽存儲實體間的物理位置以及異構(gòu)特性，實現(xiàn)了資源對用戶的透明性，降低了構(gòu)建、管理和維護資源的成本，從而提升云存儲系統(tǒng)的資源利用率。

3.2 分布式存儲技術(shù)

分布式存儲是通過網(wǎng)絡(luò)使用服務(wù)商提供的各個存儲設(shè)備上的存儲空間，并將這些分散的存儲資源構(gòu)成一個虛擬的存儲設(shè)備，數(shù)據(jù)分散的存儲在各個存儲設(shè)備上。 它所涉及的主要技術(shù)有網(wǎng)絡(luò)存儲技術(shù)、分布式文件系統(tǒng)和網(wǎng)格存儲技術(shù)等，利用這些技術(shù)實現(xiàn)云存儲中不同存儲設(shè)備、不同應(yīng)用、不同服務(wù)的協(xié)同工作。

3.3 重復(fù)數(shù)據(jù)刪除技術(shù)

隨著數(shù)據(jù)中重復(fù)數(shù)據(jù)的數(shù)據(jù)量不斷增加，會導(dǎo)致重復(fù)的數(shù)據(jù)占用更多的空間。 重復(fù)數(shù)據(jù)刪除技術(shù)一種非常高級的數(shù)據(jù)縮減技術(shù)，可以極大的減少備份數(shù)據(jù)的數(shù)量，通常用于基于磁盤的備份系統(tǒng)，通過刪除運算，消除冗余的文件、數(shù)據(jù)塊或字節(jié)，以保證只有單一的數(shù)據(jù)存儲在系統(tǒng)中。 其目的是減少存儲系統(tǒng)中使用的存儲容量，增大可用的存儲空間，增加網(wǎng)絡(luò)傳輸中的有效數(shù)據(jù)量。 然而重復(fù)刪除運算相當消耗運算資源，對存取能效會造成相當程度沖擊，要應(yīng)用在對存取能效較敏感的網(wǎng)絡(luò)存儲設(shè)備上，將會面臨許多困難。

3.4 數(shù)據(jù)備份技術(shù)

在以數(shù)據(jù)為中心的時代，數(shù)據(jù)的重要性無可置否，如何保護數(shù)據(jù)是一個永恒的話題， 即便是現(xiàn)在的云存儲發(fā)展時代，數(shù)據(jù)備份技術(shù)也非常重要。 數(shù)據(jù)備份技術(shù)是將數(shù)據(jù)本身或者其中的部分在某一時間的狀態(tài)以特定的格式保存下來，以備原數(shù)據(jù)出現(xiàn)錯誤、被誤刪除、惡意加密等各種原因不可用時，可快速準確的將數(shù)據(jù)進行恢復(fù)的技術(shù)。 數(shù)據(jù)備份是容災(zāi)的基礎(chǔ)， 是為防止突發(fā)事故而采取的一種數(shù)據(jù)保護措施，根本目的是數(shù)據(jù)資源重新利用和保護，核心的工作是數(shù)據(jù)恢復(fù)。

3.5 存儲加密技術(shù)

存儲加密是指當數(shù)據(jù)從前端服務(wù)器輸出，或在寫進存儲設(shè)備之前通過系統(tǒng)為數(shù)據(jù)加密，以保證存放在存儲設(shè)備上的數(shù)據(jù)只有授權(quán)用戶才能讀取。 目前云存儲中常用的存儲加密技術(shù)有以下幾種：全盤加密，全部存儲數(shù)據(jù)都是以密文形式書寫的；虛擬磁盤加密，存放數(shù)據(jù)之前建立加密的磁盤空間，并通過加密磁盤空間對數(shù)據(jù)進行加密；卷加密，所有用戶和系統(tǒng)文件都被加密；文件/目錄加密，對單個的文件或者目錄進行加密。

3.6 內(nèi)容分發(fā)網(wǎng)絡(luò)技術(shù)

內(nèi)容分發(fā)網(wǎng)絡(luò)是一種新型網(wǎng)絡(luò)構(gòu)建模式，主要是針對現(xiàn)有的Internet 進行改造。 基本思想是盡量避開互聯(lián)網(wǎng)上由于網(wǎng)絡(luò)帶寬小、網(wǎng)點分布不均、用戶訪問量大等影響數(shù)據(jù)傳輸速度和穩(wěn)定性的弊端，使數(shù)據(jù)傳輸?shù)母?、更穩(wěn)定。 通過在網(wǎng)絡(luò)各處放置節(jié)點服務(wù)器，在現(xiàn)有互聯(lián)網(wǎng)的基礎(chǔ)之上構(gòu)成一層智能虛擬網(wǎng)絡(luò)，實時地根據(jù)網(wǎng)絡(luò)流量、各節(jié)點的連接和負載情況、響應(yīng)時間、到用戶的距離等信息將用戶的請求重新導(dǎo)向離用戶最近的服務(wù)節(jié)點上。 目的是使用戶可就近取得所需內(nèi)容，解決Internet 網(wǎng)絡(luò)擁擠的狀況，提高用戶訪問網(wǎng)站的速度。

4 結(jié)束語

隨著科技的快速發(fā)展，云存儲已經(jīng)成為人們越來越關(guān)注的一個焦點，它可以在最大程度上為用戶節(jié)約成本，并且能夠提供安全、可靠的數(shù)據(jù)訪問服務(wù)，具有非常好的應(yīng)用價值和研究前景。 本文主要研究了云存儲的關(guān)鍵技術(shù)，但對各項技術(shù)的具體研究不夠透徹，是今后努力的一個方向。S

［1］ 張旭東. 關(guān)于對云計算技術(shù)的研究與應(yīng)用[J]. 信息系統(tǒng)工程,2012,4：148-149.

［2］楊麗婷.基于云計算數(shù)據(jù)存儲技術(shù)的研究[D].太原：中北大學(xué),2011.

［3］錢益舟.基于云技術(shù)的分布式實時數(shù)據(jù)庫高性能數(shù)據(jù)存儲檢索機制的研究[D].浙江：浙江大學(xué),2012.

［4］王彩亮.云存儲環(huán)境下數(shù)據(jù)副本管理策略研究[D].昆明：云南大學(xué),2011.

［5］薛一波,易成岐.云存儲_2[J].中興通訊技術(shù),2012,18（4）：57-60.