云存儲技術在支撐系統(tǒng)中的應用

閆德生 佟敏

【摘要】 近年來，隨著云計算和軟件即服務（SaaS）的興起，云存儲成為信息存儲領域的一個研究熱點。云存儲提供的是存儲服務，存儲服務通過網(wǎng)絡將本地數(shù)據(jù)存放在存儲服務提供商（SSP）提供的在線存儲空間，從而避免了存儲平臺的重復建設，節(jié)約了昂貴的軟硬件基礎設施投資。本文對電信運營商現(xiàn)有云存儲的相關技術進行分析與研究，為云存儲技術在支撐系統(tǒng)的應用提供借鑒和參考。

【關鍵詞】 云存儲 虛擬化 CMDI SaaS

一、前言

云存儲是在云計算概念上延伸和發(fā)展出來的，通過集群應用、網(wǎng)格技術或分布式文件系統(tǒng)等功能，將網(wǎng)絡中各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務訪問功能。云存儲是一種實用型服務，利用現(xiàn)有的存儲虛擬化、集群存儲以及SAN+NAS等技術[缺少賓語，利用這些技術做什么，請補充]來實現(xiàn)。云存儲借助存儲虛擬化技術構建龐大的存儲池，屏蔽底層存儲差異，對外提供一致的服務。云存儲提供的服務與SaaS有些類似，其提供的是存儲管理和服務。云存儲池可靈活調(diào)整，擴展方便，能根據(jù)客戶需求定制。

二、云存儲標準CDMI規(guī)范分析

存儲行業(yè)標準組織SNIA公布的關于云存儲的CDMI（Cloud Data Management Interface）標準，使大多數(shù)舊的非云存儲產(chǎn)品訪問演進成云存儲訪問方式，提供了訪問云存儲和管理云存儲數(shù)據(jù)的方式，同時支持塊存儲和文件存儲客戶端。CDMI規(guī)范可以抽象為簡單的表存儲空間，將對象看作是可以通過URI（統(tǒng)一資源ID）來訪問的唯一項目，還可用于行政管理和管理型應用程序，以便管理封裝器、賬號、安全訪問和監(jiān)視/賬單信息。CDMI規(guī)范的不足之處在于并沒有提供通過可靠性和質(zhì)量來衡量云存儲提供商所提供數(shù)據(jù)質(zhì)量的方式，所以不能絕對防止數(shù)據(jù)丟失風險。

三、云存儲與傳統(tǒng)存儲的比較

（1）傳統(tǒng)的存儲容量從10TB級到300TB級，最多可擴展到PB級；云存儲支持海量數(shù)據(jù)的存儲，可以實現(xiàn)存儲容量從PB級到EB級的平滑擴容，支持的文件數(shù)目最多可達上百億個，滿足支撐系統(tǒng)中大量數(shù)據(jù)存儲的要求。

（2）傳統(tǒng)存儲以級聯(lián)方式進行容量擴容，且級聯(lián)數(shù)目一般不超過4個；云存儲支持SCALE OUT方式擴展，具有極好的擴展性，性能和容量隨著節(jié)點數(shù)目成正比。

（3）傳統(tǒng)存儲采用FC磁盤保障數(shù)據(jù)可靠性，在保障利用率的同時，最多可容忍2塊位于不同硬盤組的硬盤故障而不造成數(shù)據(jù)損壞；云存儲具有良好的可靠性，最多可能同時容忍44塊位于不同硬盤組的硬盤故障，能充分保證支撐系統(tǒng)的有效運營。

（4）傳統(tǒng)存儲中陣列的控制器是整個系統(tǒng)的瓶頸，系統(tǒng)性能受制于控制器和CACHE大小；云存儲系統(tǒng)有多個元數(shù)據(jù)節(jié)點和多個數(shù)據(jù)節(jié)點，管理通道和數(shù)據(jù)通道相互分離，消除了系統(tǒng)瓶頸，具有很高的讀寫性能、IOPS和并發(fā)訪問能力。

（5）傳統(tǒng)存儲支持的接口類型有限，而云存儲支持多種類型的文件存儲和對象存儲接口。

（6）傳統(tǒng)的存儲系統(tǒng)升級時，將舊存儲設備文件備份后停機換上新存儲設備，這將導致服務的停止；云存儲并不單獨依賴一臺存儲服務器，系統(tǒng)將舊存儲服務器上的文件遷移到其他存儲服務器，待新存儲服務器上線后，文件會重新遷移回新服務器，因此存儲服務器硬件的更新、升級并不會影響存儲服務的提供。

（7）傳統(tǒng)的存儲采用串行擴容，受到存儲容量的限制；云存儲采取的架構是并行擴容，擴容時只要采購新的存儲服務器即可。

（8）傳統(tǒng)的存儲管理非常復雜，不同存儲廠商有不同的管理界面；對云存儲而言，再多的存儲服務器都會被視為一臺存儲，都可以在一個管理界面上進行管理操控。

四、云存儲結(jié)構模型與實現(xiàn)前提

4.1 云存儲結(jié)構模型層次

云存儲系統(tǒng)根據(jù)完成功能不同，可分為四個層次，從下到上依次為：數(shù)據(jù)存儲層、數(shù)據(jù)管理層、數(shù)據(jù)服務層和用戶訪問層，如圖1所示。

（1）數(shù)據(jù)存儲層

云存儲的數(shù)據(jù)存儲層將不同類型的存儲設備互連起來，實現(xiàn)海量數(shù)據(jù)的統(tǒng)一管理，同時實現(xiàn)對存儲設備的集中管理、狀態(tài)監(jiān)控以及容量的動態(tài)擴展，其實質(zhì)是一種面向服務的分布式存儲系統(tǒng)。

（2）數(shù)據(jù)管理層

數(shù)據(jù)管理層為上層提供不同服務間公共管理的統(tǒng)一視圖。通過設計統(tǒng)一的用戶管理、安全管理、副本管理及策略管理等公共數(shù)據(jù)管理功能，將底層存儲及上層應用無縫銜接起來，實現(xiàn)多存儲設備之間的協(xié)同工作。

（3）數(shù)據(jù)服務層

數(shù)據(jù)服務層是云存儲平臺中可以靈活擴展的、直接面向用戶的部分。根據(jù)用戶需求，可以開發(fā)出不同的應用接口，如數(shù)據(jù)存儲服務、空間租賃服務、公共資源服務、多用戶數(shù)據(jù)共享服務、數(shù)據(jù)備份服務等。

（4）用戶訪問層

通過用戶訪問層，任何一個授權用戶都可以在任何地方，使用一臺聯(lián)網(wǎng)的終端設備，按照標準的公用應用接口來登錄云存儲平臺，享受云存儲服務。

4.2 云存儲實現(xiàn)前提

云存儲系統(tǒng)是一個多設備、多應用、多服務協(xié)同工作的集合體，它的實現(xiàn)要以多種技術的發(fā)展為前提。

（1）寬帶網(wǎng)絡的發(fā)展

真正的云存儲系統(tǒng)是一個多區(qū)域分布、遍布全國[缺少賓語，請補充]，甚至于遍布更龐大的公用系統(tǒng)，使用者需要通過ADSL、DDN等寬帶接入設備來連接云存儲。寬帶網(wǎng)絡得到充足的發(fā)展，使用者才能獲得足夠大的數(shù)據(jù)傳輸帶寬，實現(xiàn)大容量數(shù)據(jù)的傳輸。

（2）WEB2.0技術

Web2.0技術的核心是分享。通過Web2.0技術，云存儲的使用者能通過PC、手機、移動多媒體等多種設備，實現(xiàn)數(shù)據(jù)、文檔、圖片和視頻、音頻等內(nèi)容的集中存儲和資料共享。Web2.0技術的發(fā)展使應用方式和服務更加靈活和多樣。

（3）應用存儲的發(fā)展

應用存儲是一種在存儲設備中集成了應用軟件功能的存儲設備，它不僅具有數(shù)據(jù)存儲功能，還具有應用軟件功能，是服務器和存儲設備的集合體。應用存儲技術的發(fā)展可以大量減少云存儲中服務器的數(shù)據(jù)，降低系統(tǒng)建設成本，減少系統(tǒng)中由服務器造成的單點故障和性能瓶頸，減少數(shù)據(jù)傳輸環(huán)節(jié)，提高系統(tǒng)性能和效率，保證整體系統(tǒng)的高效穩(wěn)定運行。

（4）集群技術和分布式文件系統(tǒng)

云存儲系統(tǒng)是一個多存儲設備、多應用、多服務協(xié)同工作的集合體，不同存儲設備之間需要通過集群技術、分布式文件系統(tǒng)和網(wǎng)格計算等技術，實現(xiàn)存儲設備之間的協(xié)同工作，使多個存儲設備可以對外提供同一種服務，并提供更強大的數(shù)據(jù)訪問性能。

（5）CDN[第一次出現(xiàn)英文縮寫，請給出英文全稱]（Content Delivery Network）內(nèi)容分發(fā)和數(shù)據(jù)加密技術

CDN內(nèi)容分發(fā)系統(tǒng)和數(shù)據(jù)加密技術保證云存儲中的數(shù)據(jù)不會被未授權的用戶訪問。同時，通過各種數(shù)據(jù)備份和容災技術保證云存儲中的數(shù)據(jù)不會丟失，保證云存儲自身的安全和穩(wěn)定。

五、支撐系統(tǒng)中云存儲的應用方向

支撐系統(tǒng)中，按照存儲系統(tǒng)外部接口的差異，國際標準化機構SNIA將云存儲系統(tǒng)分為塊存儲、文件存儲、對象存儲和表存儲四類。其中，塊存儲向應用數(shù)據(jù)庫或文件系統(tǒng)直接提供原始存儲塊空間，以標準的Intel/Linux硬件組件作為基本存儲單元，組件之間通過千兆以太網(wǎng)采用任意點對點拓撲技術相互連接；文件存儲以標準文件系統(tǒng)接口形式向應用系統(tǒng)提供海量非結(jié)構化數(shù)據(jù)存儲空間，通過NAS虛擬化或基于X86硬件集群和分布式文件系統(tǒng)集成在一起，實現(xiàn)少量非結(jié)構化數(shù)據(jù)處理能力；對象存儲是基于X86集群為海量非結(jié)構化數(shù)據(jù)提供key-value鍵值查找數(shù)據(jù)文件的存儲模式；表存儲向應用系統(tǒng)提供高可擴展的表存儲空間，包括交易型數(shù)據(jù)庫和分析型數(shù)據(jù)庫（日志詳單存儲和NoSQL），適合存儲海量結(jié)構化或半結(jié)構化數(shù)據(jù)[1]。

根據(jù)數(shù)據(jù)存儲方式，在支撐系統(tǒng)中建議采用如下的數(shù)據(jù)存取和調(diào)用方式：

（1）對于非結(jié)構化數(shù)據(jù)的存儲，可采用分布式文件系統(tǒng)，基于POSIX/CIFS/NFS等標準文件系統(tǒng)接口協(xié)議進行數(shù)據(jù)存取，適用于傳統(tǒng)NAS應用，可隨機讀寫，完成文件在線備份和共享；

（2）對于高速數(shù)據(jù)存儲需求的結(jié)構化、非結(jié)構化數(shù)據(jù)，可采用塊存儲方式，如直接使用裸卷的數(shù)據(jù)庫，通過FC、iSCSI等標準接口進行數(shù)據(jù)存取；

（3）對于HTTP相關內(nèi)容的存儲宜采用對象存儲方式，其適合于面向web的海量只讀性數(shù)據(jù)的存儲；

表存儲服務主要存儲需要進行查詢、分析的非結(jié)構化數(shù)據(jù)和結(jié)構化數(shù)據(jù)，可存儲在日志詳單類數(shù)據(jù)存儲系統(tǒng)中，依賴于數(shù)據(jù)表組織數(shù)據(jù)的數(shù)據(jù)庫，能共享高并發(fā)訪問的應用。其中，非結(jié)構化數(shù)據(jù)通過HDFS接口進行數(shù)據(jù)存取，利用MR接口進行數(shù)據(jù)查詢、分析；結(jié)構化數(shù)據(jù)通過命令行、FTP接口進行數(shù)據(jù)存取，利用JDBC/SQL、MR接口進行數(shù)據(jù)查詢、分析。

NoSQL數(shù)據(jù)庫也以表存儲服務方式存儲，適用于不需要復雜系統(tǒng)查詢，但要求查詢速度快、存放數(shù)據(jù)量大的高并發(fā)訪問應用[2]。

六、結(jié)束語

本文闡述了支撐系統(tǒng)中各種數(shù)據(jù)類型和場景適用的云存儲技術。對于支撐系統(tǒng)應用[不通順，對于支撐系統(tǒng)應用在做什么話沒說完，建議補充]，面對各類生產(chǎn)系統(tǒng)的存儲要求，要求云存儲系統(tǒng)按需提供不同空間容量、不同性能的存儲資源，應積極采用虛擬化技術整合現(xiàn)有FC SAN資源，挖掘設備潛力，建立分級存儲機制，使數(shù)據(jù)合理分布。在海量非結(jié)構化數(shù)據(jù)處理、日志詳單處理、經(jīng)營分析領域等積極實驗和試點分布式存儲解決方案。

參 考 文 獻

[1] 云存儲技術及其應用《中興通訊技術》2010，16（4）

[2] 一種對等結(jié)構的云存儲系統(tǒng)研究《電子學報 》2010年05期

[3] 基于HDFS的云存儲服務系統(tǒng)研究《大連海事大學》2010年