高端磁盤陣列體系結構分析

武衛國 潘清 王霄軍 莊澤南裝備指揮技術學院 北京 101416

0 引言

伴隨著社會信息化程度的不斷提高，需要管理的數據呈現了“指數級”增長，高端磁盤陣列作為存儲海量數據的解決方案被廣泛使用，人們對其可用性的要求也越來越高。在金融、軍隊、安全等領域中，一旦海量存儲陣列發生故障，將會造成大量數據丟失、許多重要業務停頓，其損失是難以估量的。

本文對高端磁盤陣列體系結構進行了分析，主要介紹了EMC公司的Symmetric V-Max和IBM DS8700高端存儲服務器的特性架構以及他們典型的功能特點，對他們進行了比較，最后總結了高端磁盤陣列采用技術和未來發展趨勢。

1 高端磁盤陣列硬件架構

1.1 EMC Symmetric V-Max

EMC Symmetric V-Max是EMC的第一個基于虛擬矩陣架構的高端存儲服務器。V-Max(圖 1)的核心部件是 V-Max Engine。通過在線增加 Engine的數量，最多可以連接 8個Engine，最大1TB全局緩存，以及最高192GB/S系統帶寬。

每個 Engine 包含一對高可用性控制器、前端與主機連接的端口、后端與磁盤連接的端口和連接矩陣的接口。每個控制器包含兩個2.33GHZ Intel Xeon 4核處理器，高達64GB的全局緩存。單個Engine支持16個后端端口，16個前端端口，24GB/S帶寬。優化的硬件邏輯和數據保護編碼通過通道自動故障切換確保端到端的數據完整性，最大限度地實現了可用性和負載平衡。V-Max最多可以裝載2400個驅動器。

虛擬互連矩陣(Virtual Matrix)提供兩個非阻塞的RapidIO私有網絡作為內部節點來進行互連。所有的控制器都可以通過有冗余的內部Ethernet來管理矩陣路徑初始化、選擇、容錯和隔離錯誤以及其他配置。

V-Max所有的關鍵部件都是完全冗余的，包括V-Max控制器，虛擬矩陣數據通道，電源供給部件，備用電源和所有的光纖通道后端組件。

Symmetrix V-Max 系統支持所有常用的硬件和操作系統平臺、存儲區域網絡 (SAN) 和高可用性群集環境。

圖1 EMC Symmetric V-Max

1.2 IBM DS8700

IBM DS8700 為IBM公司最新的高端存儲服務器。IBM聲稱DS8700提供了芯片技術、架構技術以及安全技術與存儲系統的完美結合達到了99.999%的高可用性。

DS8700(圖 2)采用了高達 4.7GHz的頻率 POWER6 (eClipz L4服務器)。每個控制器處理器單元擁有雙處理器卡，每個處理器卡支持最多兩個處理器，使得每個控制器處理器單元能夠容納最多4個POWER6處理器。用戶最初可以選擇2路處理器，隨后可以在不中斷系統運行的情況下升級到4路。

在POWER6中，IBM加入了恢復單元功能，該技術可以記憶CPU歷史信息，處理器出現錯誤時，可以根據歷史信息恢復到出錯前狀態。

圖2 IBM DS8700

DS8700的POWER6服務器與IO模塊之間改變了之前系列所采用的RapidIO連接，取而代之的是采用點到點、雙單工的PCIe連接，最高達到了2Gb/s傳輸速度。但連接兩個POWER6控制器處理器單元的連接仍然采用RapidIO，以完成同步和控制兩個控制器單元的目的。PCIe通過自我修復以及接收器溢出校驗、流量控制錯誤校驗、端對端CRC(ECRC)、崩潰TLP等技術，提供了極好的可靠性。

DS8700的I/O模塊數量可以靈活配置，最初可以選擇兩個IO模塊，之后按需增加IO模塊。最多可以支持到8個IO模塊和5個機柜。由于采用了PCIe連接，I/O模塊的安裝只需要將電纜與 PCIe接口連接即可。DS8700最多可以支持1024塊磁盤，最高384GB緩存。

2 EMC V-Max 與DS8700典型軟件功能介紹

（1）自動分層存儲優化

EMC V-Max與IBM DS8700均支持閃存、光纖通道和SATA等驅動器類型。同時，V-Max與DS8700均提供了智能數據分層存儲功能，V-Max為FAST技術，IBM為Smart Data Placement 技術。下面以V-Max的FAST技術為例介紹自動分層存儲技術。

V-Max的自動存儲分層(FAST)技術可以根據業務策略、預測模型和實時訪問情況把一個LUN的數據或者一個LUN當中的某一個熱點數據塊的數據在閃存盤、光纖通道或者SATA硬盤之間遷移，從而充分發揮企業級閃存驅動器的性能，并利用SATA硬盤驅動器在容量和成本上的優勢。LUN數據遷移允許在線遷移存儲在不同設備以及不同RAID保護類型上的數據，可以遷移單個設備、群組設備或者整個存儲組。Symmetrix VLUN 遷移是在矩陣里完成的，不會消耗CPU或I/O周期，不會給服務器造成任何附加負擔(圖3)。

圖3 分層存儲

（2）Thin Provision

V-Max與DS8700均支持Thin Porvision(在V-Max中叫做Virtual Porvision)。Thin Provision通過展現比實際可用物理空間更大的存儲空間，顯著的改善資源利用率。傳統的方法如果程序請求2TB空間，服務器分配2TB實際空間，而通過Thin Provision服務器只給使用的卷分配實際空間，按需擴展，既增加了靈活性，也避免了潛在的資源浪費。尤其是程序宕機的時候，只需要恢復實際使用的空間，而不是2TB(圖4)。

圖4 Thin Provision

2.1 數據安全技術

高端磁盤陣列對數據安全性越來越重視，V-Max與DS8700均提供了相應的數據安全解決方案。V-Max的數據安全技術主要采用基于RSA算法的PowerPath軟件加密實現，安全控制策略包括日志記錄、訪問授權、 數據擦除等。而IBM DS8700采用了全磁盤自動加密技術，并結合軟件管理密鑰方式。下面介紹IBM DS8700的數據安全解決方案：

DS8700采用的是基于IBM全磁盤加密技術的希捷全加密硬盤，每個磁盤的驅動器都內嵌了加密/解密固件引擎，引擎采用對稱加密算法AES，結合256位的加密密鑰，在數據寫入磁盤時全速實時加密，讀出磁盤時全速實時解密，對上層應用完全透明，并且對系統性能基本無影響。

TKLM(IBM Tivoli Key Lifecycle Manager)則為包括DS8700在內的 IBM 加密存儲設備提供安全有效的密鑰服務，如提供、保護、存儲以及維護密鑰等特性和功能。

同時，DS8700擁有的分組加密技術則實現了對存儲資源的有效管理，“加密組”概念的引入使得數據的刪除和加密解密形成了封閉的鏈條，從而保證了數據不會被任意刪除。TKLM、分組加密技術和IBM全磁盤加密技術的有機結合，形成了DS8700解決靜態數據安全性問題的完整方案。

2.2 業務持續性解決方案

V-Max與DS8700均提供了以本地復制和遠程復制為基礎的業務持續性解決方案。

（1）本地復制：EMC的TimeFineder系列軟件，IBM的FlashCopy 和FlashCopy SE。

（2）遠程復制：EMC的SRDF系列軟件。相應的IBM的遠程鏡像和復制功能軟件為：Metro Mirror，Global Copy，Global Mirror和Metro/Global Mirror等。

此外，兩者均提供了 Three-site備份方案，EMC為SRDF/Star，IBM為Metro/Global Mirror。

下面以IBM DS8700為例，介紹業務持續性解決方案。

FlashCopy 和FlashCopy SE，提供了邏輯卷的時間點復制功能，原卷和目的卷可以立即訪問，對應用程序沒有或者很小影響。

FlashCopy典型的應用是生產數據備份，僅需要幾秒鐘即可建立FlashCopy源卷和目的卷的成對關系，創建必要的控制位圖，然后可以對源卷與目的卷進行讀寫，好像所有的數據已經復制完成(圖5)。

如果FlashCopy在后臺運行時，I/O請求到達，FlashCopy操作如下：

① 讀源卷請求：直接從源卷讀取數據。

② 讀目的卷請求：FlashCopy檢查控制位圖，如果數據已經復制到目的卷，從目的卷讀取；如果數據還沒有復制完成，從源卷讀取。

③ 寫源卷請求：數據暫時存入“寫緩存”頁，當相應寫緩存頁被換出時，FlashCopy檢查位圖，如果數據已經復制到目的卷，執行寫入源卷；如果沒有復制到目的卷，同步地復制到目的卷，然后寫入源卷。

④ 寫目的卷請求：寫入目的卷，更新位圖，確保源卷不會重新改寫直接寫入目的卷的數據。

圖5 FlashCopy

FlashCopy SE 為虛擬的時間點的復制卷，僅復制改變的數據。可以創建多個恢復點，只需要幾分鐘即可完成。FlashCopy SE大大減少了需要傳輸的數據量(圖6)。

圖6 FlashCopy SE

Metro Mirror，提供了同步的端到端邏輯卷的實時鏡像，在備份完成之前，對源卷的寫操作同時在副本上完成，兩個站點距離可達300km。

Global Mirror，兩站點的遠程異步鏡像技術，主機寫到本地存儲單元的數據異步鏡像到遠程站點存儲單元，支持的距離僅受限于網絡的能力和通道擴展技術。

Metro/Global Mirror是一個三站點、多目的復制解決方案。B站點作為Metro Mirror的目的端和Global Mirror的源端(圖7)。

圖7 Metro/Global Mirror

A站點與B站點備份采用Metro Mirror技術，為同步鏡像，由于B站點與本地站點距離較近，提供了高可用性、高性能和快速恢復能力。

B站點與C站點采用Global Mirror技術，為異步鏡像，距離僅受限于網絡的能力和通道擴展技術。通過恢復點目標，3到5秒內即可提供可恢復的、可重啟的 、一致性鏡像。

3 V-Max與 DS8700比較

（1）系統架構

V-Max采用Engine為服務單元，向分布式集合體方向發展，支持橫向擴展和縱向擴展。Engine結構的大小適中，可以減少能源和降熱的需求，因為大機柜需要復雜的風扇、電源、電池組件。但是V-Max基于Engine的設計表明，如果增加處理器、緩存或者需要多于 16個主機接口時，不能夠單獨配置，必須以Engine為單位配置。

DS8700采用SMP對稱處理器，所有任務在處理器之間分享，各處理器的能力得到充分使用，但是進一步擴展受到物理限制，擴展能力比V-Max弱。

DS8700存儲單元為全局管理模式，V-Max的存儲單元為分布管理模式。對于后者，一個 Engine失效將導致其他Engine無法訪問其數據。

V-Max采用RapidIO技術互連Engine，1Gb/s傳輸速率。Ds8700采用PCIe連接I/O模塊與控制器，2Gb/s傳輸速率，而兩個POWER6控制器處理器單元的連接采用RapidIO，以完成同步和控制兩個控制器單元的目的。PCIe為點到點的連接，錯誤定位準確。

V-Max最高提供1TB全局緩存，DS8700最高提供384GB緩存；V-Max對“讀寫”均提供緩存功能，DS8700僅對“寫”提供緩存功能。V-Max將緩存分成 64KB頁大小，DS8700分為4KB頁大小；DS8700采用一系列高級緩存算法，算法效率較高。

（2）容量

V-Max通過配置 600GB FC驅動器容量最高可達1440TB，通過配置 1TB SATA驅動器容量可達 2400TB；DS8700通過配置450GB FC驅動器容量最高達460.8TB，通過配置1TB SATA驅動器最多可達1024TB。

（3）安全性

DS8700支持全盤加密技術，磁盤驅動器自帶加密解密引擎，對上層應用完全透明，并且對系統性能基本無影響。V-Max不支持自加密驅動器技術，采用基于 RSA算法的PowerPath加密，效率較硬件加解密低，給處理器造成負擔。

（4）可恢復性

V-Max與DS8700 均提供了遠程實時復制和恢復的健壯方案。V-Max解決方案包括SRDF系列軟件，IBM提供了Global Mirror and Metro Mirror 軟件。兩者均提供了Three-site備份方案，EMC為SRDF/Star ，IBM 為Metro/Global Mirror。

（5）智能數據分層存儲

V-Max與 DS8700均提供了智能數據分層存儲功能，V-Max為FAST技術，IBM為Smart Data Placement 技術。通過自動分層存儲技術可以識別“熱點”數據并自動將其遷移到或者遷移出固態盤和光纖通道驅動器以實現價格和性能的優化。

4 總結

本文分析了EMC V-Max與IBM DS8700高端存儲系統的體系結構以及典型軟件功能，并對兩者進行了對比。可以看出，高端存儲系統在各個方面采用多種設計來提高系統的性能。系統架構上，采用了多個高主頻的多核處理器以及大容量緩存，并在部分硬件加入了自動查錯糾錯功能。I/O通道采用了高速互連技術，如RapidIO技術、PCIe等技術。支持不同的驅動器類型和主機接口，以滿足不同需求，并且有效降低成本。同時關鍵部件全部冗余的策略，提高了容錯性和可靠性。值得注意的是，VM AX 的虛擬矩陣互連，是一種全新的陣列架構，突破了物理限制，能夠同時支持橫向擴展和縱向擴展。

軟件功能上，提供了大量的性能優化軟件和管理軟件。自動分層存儲軟件，可以識別“熱”數據并自動將其在固態盤、光纖通道、SATA磁盤之間遷移，以實現價格和性能的最優化。本地復制和遠程復制為基礎的多數據中心解決方案，可以有效防止例如地震、大規模停電等自然災害的發生，快速進行災難恢復，提供了最高的業務持續性。

高端磁盤陣列對數據安全性更加重視，IBM采用的全磁盤自動加密技術，結合軟件管理密鑰方式，效率高、安全性好。未來，高端磁盤陣列應當會繼續沿著自動分層存儲技術、可擴展技術、資源自動分配技術以及數據安全技術方向發展。

[1]IBM System Storage DS8700 Architecture and Implementation. http://www.redbooks.ibm.com/redbooks/pdfs/sg248786.pdf.

[2]Brian Garrett.Tony Palmer.Mark Peters:EMC Symmetrix V-Max 24xForever Storage for Virtualized Data Centers.2009.