云存儲技術探討

張龍立

（國脈通信規劃設計有限公司 哈爾濱 150040）

1 引言

全球數據量的猛增使得數據存儲日益成為各企業關注的專業問題，持續增長的數據存儲壓力帶動了整個存儲市場的快速發展。企業的存儲設備越來越多，對管理和維護的投入也越來越大。為了保證數據安全和業務的連續性，我們需要建立相應的數據備份系統和容災系統。除此之外，對存儲設備進行定期的狀態監控和維護，軟、硬件的更新和升級也是必須的，這些都需要專業的技術人員，增加了企業數據維護、升級和管理費用。

2 云計算與云存儲

云計算是分布式處理(distributed computing)、并行處理(parallel computing)和網格計算(grid computing)的發展，是透過網絡將龐大的計算處理程序自動分拆成無數個較小的子程序，再交由多臺服務器所組成的龐大系統經計算、分析后，將處理結果回傳給用戶。通過云計算技術，網絡服務提供者可以在數秒之內，處理數以千萬計甚至億計的信息，達到和“超級計算機”同樣強大的網絡服務功能。

云計算的設計實施方向是將在不同地域和情況下各種臺式機、單一服務器及個人計算資源，通過虛擬化方式統一到龐大的計算資源“云”系統中來。云系統統一調配、協調、處理來自不同客戶的運算需求，通過云系統計算后對外輸出運算結果。從整體來看，云計算系統可以認為是以數據處理、數據運算為中心的系統。

云計算系統不但能對數據進行處理和運算，系統中還有大量的存儲陣列設備，以實現對計算數據的保存和管理。在云計算系統中配置相應的存儲設備，該計算系統即擁有了云存儲系統功能。由此可以理解，云存儲是以數據存儲和數據管理為中心的云計算系統。

云存儲系統通過集群應用、網格技術或分布式文件系統等功能，將網絡中大量不同類型的存儲設備通過應用軟件集合起來協同工作，共同對外提供數據存儲和業務訪問功能。云存儲是云計算系統的延伸，可理解為是配置了大容量存儲空間的云計算系統。從三層模型分析，云計算和云存儲的訪問層、接口層相同，在基礎層方面，云存儲增加了數據管理和數據安全的部分功能。

圖1 云存儲系統的結構模型

3 云存儲架構模型

云存儲系統的結構模型由4層組成，如圖1所示。

（1）存儲層

存儲層是云存儲最基礎的部分。存儲設備可以是FC光纖通道存儲設備、NAS和iSCSI等IP存儲設備，也可以是SCSI或SAS等DAS存儲設備。數量龐大的云存儲設備分布在不同地域，彼此之間通過廣域網、互聯網或者FC光纖通道網絡連接。各存儲設備上都安裝有統一的存儲設備管理系統，可以實現存儲設備的邏輯虛擬化管理、集中管理、多鏈路冗余管理以及硬件設備的狀態監控和維護升級等。

（2）基礎管理層

基礎管理層是云存儲最核心的部分，也是云存儲中最難以實現的部分。應用接口層通過集群系統、分布式文件系統和網格計算等技術，實現云存儲中多個存儲設備之間的協同工作，使多個的存儲設備可以對外提供同一種服務，并提供更大、更強、更好的數據訪問性能。

云存儲系統通過集群文件OS實現后端存儲設備的集群工作，并通過系統的控制單元和管理單元實現整個系統的管理，數據的分發、處理，處理結果的反饋?？衫肅DN內容分發系統、P2P數據傳輸技術和數據壓縮技術等保證云存儲中的數據可以更有效地存儲，使用和占用更少的空間以及更低的傳輸帶寬，從而對外提供更高效的服務。

數據加密技術實現了數據存儲和傳輸過程中的安全性。數據備份和容災技術可保證云存儲中的數據多份保存不會丟失，保證云存儲數據自身的安全和穩定。

（3）應用接口層

應用接口層是云存儲最靈活多變的部分。不同的云存儲運營單位可以根據實際業務類型，開發不同的應用服務接口，提供不同的應用服務。任何一個授權用戶通過網絡接入、用戶認證和權限管理接口的方式來登入云存儲系統，都可以享受云存儲服務。

（4）訪問層

云存儲運營單位不同，提供的訪問類型和訪問手段也不同。云存儲使用者采用的應用軟件客戶端不同，享受到的服務類型也不同，比如個人空間租賃服務、運營商空間租賃服務、數據遠程容災和遠程備份、視頻監控應用平臺、IPTV和視頻點播應用平臺、網絡硬盤引用平臺，遠程數據備份應用平臺等。

4 云存儲系統拓撲

根據云存儲架構的特點，云存儲系統應用拓撲如圖2所示。

云存儲系統的核心由云存儲控制服務器和后端存儲設備兩大部分組成。

（1）云存儲控制節點

云存儲控制器負責整個系統元數據和實際數據的管理和索引，提供超大容量管理，實現后端存儲設備的高性能并發訪問和數據冗余等功能。云存儲控制服務器是整個系統的統一管理平臺，管理員可以在其中監視系統運行情況、管理系統中用戶和各項策略等。

（2）存儲節點

云存儲系統采用高性能應用存儲設備，可內嵌云存儲系統訪問協議包、存儲節點認證許可等。設備采用高密度磁盤陣列設備，每套設備通過網絡接入到云存儲系統中，進入云存儲存儲池后進行分配。對數據存儲可實現多副本、多物理設備分別保存，當容量或帶寬需要擴展時，通過增加存儲節點來實現，根據實際需要靈活擴張，在系統運行中進行在線的容量和性能增加。

5 云存儲的技術優勢

IDC研究表明，從2006年到2010年，全球信息總量增長了6倍以上，隨著技術的發展，現有傳統磁盤陣列中已經普遍采用了750 GB或1 TB的SATA硬盤。但在面對PB級的海量存儲需求時，傳統的SAN或NAS在容量和性能的擴展上存在瓶頸，已經不能滿足新形勢下對數據保存高性能、高容量、易擴展的需求。云計算的服務模式也帶來云存儲的蓬勃發展，對于低成本，但需大容量、高帶寬需求下的應用，云存儲系統不僅輕松突破了SAN的性能瓶頸，而且可以實現性能與容量的線性擴展。相比于傳統的集中存儲方式，高效集群的云存儲系統具有以下幾點優勢。

（1）更容易擴容(包括帶寬)

當客戶需要增加容量時,可按照需求采購(容量或是帶寬)服務器，簡單增加即可實現容量或者帶寬的擴展。如，當需要擴展容量時，采購大容量的存儲設備即可；當需要擴展帶寬時，采購計算能力較強的服務器設備即可。擴容過程將變得簡單：新設備僅需安裝操作系統及云存儲軟件后，打開電源接上網絡，云存儲系統便能自動識別，自動把容量加入存儲池中完成擴展。相比傳統的存儲擴容，云存儲架構采用的是并行擴容方式，即當容量不夠時，采購新的存儲服務器即可，擴容環節無任何限制。

（2）更易于管理

在以往的存儲系統管理中，管理人員需要面對不同的存儲設備，不同廠商的設備均有不同的管理界面，使得管理人員要了解每個存儲的使用狀況（容量、負載等）的工作復雜而繁重。而且，傳統的存儲在硬盤或是存儲服務器損壞時，讀寫效能會降低很多，而且數據很可能丟失，而云存儲沒有這個困擾，硬盤壞掉，數據會自動遷移到別的硬盤，不需要立即更換硬盤，大大減輕了管理人員的工作負擔。

對云存儲來說，再多的存儲服務器，在管理人員眼中也只是一臺存儲器，管理人員只要在整體硬盤容量快用完時，采購服務器即可，每臺存儲服務器的使用狀況，通過一個統一管理界面監控，使得維護變得簡單和易操作。

（3）成本更低廉

云存儲系統中所采用的存儲及服務器設備均是性價比較高的設備。可實現長久合作關系下，設備商采購的穩定渠道，便于實現對成本及服務質量的控制。

傳統的存儲系統對硬盤的一致性要求近乎苛刻，必須同廠牌、同容量、同型號，否則系統很容易出問題。面對升級換代較快的IT產業，硬盤在使用2～3年后很難找到同型號產品更換。使用云存儲沒有這個問題，云存儲系統對存儲設備、服務器設備、硬盤等產品的一致性沒有要求，不同介質、容量、廠牌、型號的硬盤，都可以一起工作，既可以實現原有硬件的利舊保護投入，又可以實現新技術、新設備的快速更新，合理搭配、優化選擇、可持續發展。

（4）數據更安全，服務不中斷

傳統存儲系統會因為硬件損壞而導致服務停止，如硬盤、主板、電源、網卡等，雖然對此可以設計全冗余的環境（電源、網絡、盤陣等），但成本相對太高且工作繁雜。

云存儲系統則不同，它可透過將文件和數據保存在不同的存儲節點，避免了單一硬件損壞帶來的數據不可用。云存儲系統知道文件存放的位置，在硬件發生損壞時，云存儲系統會自動將讀寫指令導向存放在另一臺存儲服務器上的文件，保持服務的繼續。

傳統存儲系統在升級時，往往需要把舊的存儲設備文件備份出來后，停機換上新的存儲設備，這通常會導致服務的短暫停止。

云存儲并不單獨依賴一臺存儲服務器，因此存儲服務器硬件的更新、升級并不會影響存儲服務的提供，系統會將舊存儲服務器上的文件遷移到別的存儲服務器，等新的存儲服務器上線后，文件會再遷移回來。

6 云存儲未來發展趨勢

云存儲已經成為未來存儲發展的一種趨勢。隨著云存儲技術的發展，各家廠商正積極將各類搜索、應用技術和云存儲相結合，以便能夠向企業提供一系列的數據服務。但從未來云存儲的發展趨勢來看，云存儲系統主要還需從安全性、便攜性及數據訪問等角度進行改進。

（1）安全性

從云計算誕生，安全性一直是企業實施云計算首要考慮的問題之一。同樣在云存儲方面，安全仍是首要考慮的問題，對于想要進行云存儲的客戶來說，安全性通常是首要的商業考慮和技術考慮。但是許多用戶對云存儲的安全要求甚至高于它們自己的架構所能提供的安全水平。既便如此，面對如此高的不現實的安全要求，許多大型、可信賴的云存儲廠商也在努力滿足它們的要求，構建比多數企業數據中心安全得多的數據中心?，F在用戶可以發現，云存儲具有更少的安全漏洞和更高的安全環節，云存儲所能提供的安全性水平要比用戶自己的數據中心所能提供的安全水平還要高。

（2）便攜性

一些用戶在托管存儲的時候還要考慮數據的便攜性。一般情況下這是有保證的，一些大型服務提供商所提供的解決方案承諾其數據便攜性可媲美最好的傳統本地存儲。有的云存儲結合了強大的便攜功能，可以將整個數據集傳送到你所選擇的任何媒介，甚至是專門的存儲設備。

（3）性能和可用性

過去的一些托管存儲和遠程存儲總是存在著延遲時間過長的問題。同樣地，互聯網本身的特性就嚴重威脅服務的可用性。最新一代云存儲有突破性的成就，體現在客戶端或本地設備高速緩存上，將經常使用的數據保持在本地，從而有效地緩解互聯網延遲問題。通過本地高速緩存，即使面臨最嚴重的網絡中斷，這些設備也可以緩解延遲性問題。這些設備還可以讓經常使用的數據像本地存儲那樣快速反應。通過一個本地NAS網關，云存儲甚至可以模仿終端NAS設備的可用性、性能和可視性，同時將數據予以遠程保護。隨著云存儲技術的不斷發展，各廠商仍將繼續努力實現容量優化和WAN(廣域網)優化，從而盡量減少數據傳輸的延遲性。

（4）數據訪問

現有對云存儲技術的疑慮還在于，如果執行大規模數據請求或數據恢復操作，那么云存儲是否可提供足夠的訪問性。在未來的技術條件下，此點大可不必擔心，現有的廠商可以將大量數據傳輸到任何類型的媒介，可將數據直接傳送給企業，且其速度之快相當于復制、粘貼操作。另外，云存儲廠商還可以提供一套組件，在完全本地化的系統上模仿云地址，讓本地NAS網關設備繼續正常運行而無需重新設置。未來，如果大型廠商構建了更多的地區性設施，那么數據傳輸將更加迅捷。如此一來，即便是客戶本地數據發生了災難性的損失，云存儲廠商也可以將數據重新快速傳輸給客戶數據中心。