高端磁盤陣列體系結(jié)構(gòu)分析

武衛(wèi)國 潘清 王霄軍 莊澤南裝備指揮技術(shù)學院 北京 101416

0 引言

伴隨著社會信息化程度的不斷提高，需要管理的數(shù)據(jù)呈現(xiàn)了“指數(shù)級”增長，高端磁盤陣列作為存儲海量數(shù)據(jù)的解決方案被廣泛使用，人們對其可用性的要求也越來越高。在金融、軍隊、安全等領(lǐng)域中，一旦海量存儲陣列發(fā)生故障，將會造成大量數(shù)據(jù)丟失、許多重要業(yè)務停頓，其損失是難以估量的。

本文對高端磁盤陣列體系結(jié)構(gòu)進行了分析，主要介紹了EMC公司的Symmetric V-Max和IBM DS8700高端存儲服務器的特性架構(gòu)以及他們典型的功能特點，對他們進行了比較，最后總結(jié)了高端磁盤陣列采用技術(shù)和未來發(fā)展趨勢。

1 高端磁盤陣列硬件架構(gòu)

1.1 EMC Symmetric V-Max

EMC Symmetric V-Max是EMC的第一個基于虛擬矩陣架構(gòu)的高端存儲服務器。V-Max(圖 1)的核心部件是 V-Max Engine。通過在線增加 Engine的數(shù)量，最多可以連接 8個Engine，最大1TB全局緩存，以及最高192GB/S系統(tǒng)帶寬。

每個 Engine 包含一對高可用性控制器、前端與主機連接的端口、后端與磁盤連接的端口和連接矩陣的接口。每個控制器包含兩個2.33GHZ Intel Xeon 4核處理器，高達64GB的全局緩存。單個Engine支持16個后端端口，16個前端端口，24GB/S帶寬。優(yōu)化的硬件邏輯和數(shù)據(jù)保護編碼通過通道自動故障切換確保端到端的數(shù)據(jù)完整性，最大限度地實現(xiàn)了可用性和負載平衡。V-Max最多可以裝載2400個驅(qū)動器。

虛擬互連矩陣(Virtual Matrix)提供兩個非阻塞的RapidIO私有網(wǎng)絡作為內(nèi)部節(jié)點來進行互連。所有的控制器都可以通過有冗余的內(nèi)部Ethernet來管理矩陣路徑初始化、選擇、容錯和隔離錯誤以及其他配置。

V-Max所有的關(guān)鍵部件都是完全冗余的，包括V-Max控制器，虛擬矩陣數(shù)據(jù)通道，電源供給部件，備用電源和所有的光纖通道后端組件。

Symmetrix V-Max 系統(tǒng)支持所有常用的硬件和操作系統(tǒng)平臺、存儲區(qū)域網(wǎng)絡 (SAN) 和高可用性群集環(huán)境。

圖1 EMC Symmetric V-Max

1.2 IBM DS8700

IBM DS8700 為IBM公司最新的高端存儲服務器。IBM聲稱DS8700提供了芯片技術(shù)、架構(gòu)技術(shù)以及安全技術(shù)與存儲系統(tǒng)的完美結(jié)合達到了99.999%的高可用性。

DS8700(圖 2)采用了高達 4.7GHz的頻率 POWER6 (eClipz L4服務器)。每個控制器處理器單元擁有雙處理器卡，每個處理器卡支持最多兩個處理器，使得每個控制器處理器單元能夠容納最多4個POWER6處理器。用戶最初可以選擇2路處理器，隨后可以在不中斷系統(tǒng)運行的情況下升級到4路。

在POWER6中，IBM加入了恢復單元功能，該技術(shù)可以記憶CPU歷史信息，處理器出現(xiàn)錯誤時，可以根據(jù)歷史信息恢復到出錯前狀態(tài)。

圖2 IBM DS8700

DS8700的POWER6服務器與IO模塊之間改變了之前系列所采用的RapidIO連接，取而代之的是采用點到點、雙單工的PCIe連接，最高達到了2Gb/s傳輸速度。但連接兩個POWER6控制器處理器單元的連接仍然采用RapidIO，以完成同步和控制兩個控制器單元的目的。PCIe通過自我修復以及接收器溢出校驗、流量控制錯誤校驗、端對端CRC(ECRC)、崩潰TLP等技術(shù)，提供了極好的可靠性。

DS8700的I/O模塊數(shù)量可以靈活配置，最初可以選擇兩個IO模塊，之后按需增加IO模塊。最多可以支持到8個IO模塊和5個機柜。由于采用了PCIe連接，I/O模塊的安裝只需要將電纜與 PCIe接口連接即可。DS8700最多可以支持1024塊磁盤，最高384GB緩存。

2 EMC V-Max 與DS8700典型軟件功能介紹

（1）自動分層存儲優(yōu)化

EMC V-Max與IBM DS8700均支持閃存、光纖通道和SATA等驅(qū)動器類型。同時，V-Max與DS8700均提供了智能數(shù)據(jù)分層存儲功能，V-Max為FAST技術(shù)，IBM為Smart Data Placement 技術(shù)。下面以V-Max的FAST技術(shù)為例介紹自動分層存儲技術(shù)。

V-Max的自動存儲分層(FAST)技術(shù)可以根據(jù)業(yè)務策略、預測模型和實時訪問情況把一個LUN的數(shù)據(jù)或者一個LUN當中的某一個熱點數(shù)據(jù)塊的數(shù)據(jù)在閃存盤、光纖通道或者SATA硬盤之間遷移，從而充分發(fā)揮企業(yè)級閃存驅(qū)動器的性能，并利用SATA硬盤驅(qū)動器在容量和成本上的優(yōu)勢。LUN數(shù)據(jù)遷移允許在線遷移存儲在不同設備以及不同RAID保護類型上的數(shù)據(jù)，可以遷移單個設備、群組設備或者整個存儲組。Symmetrix VLUN 遷移是在矩陣里完成的，不會消耗CPU或I/O周期，不會給服務器造成任何附加負擔(圖3)。

圖3 分層存儲

（2）Thin Provision

V-Max與DS8700均支持Thin Porvision(在V-Max中叫做Virtual Porvision)。Thin Provision通過展現(xiàn)比實際可用物理空間更大的存儲空間，顯著的改善資源利用率。傳統(tǒng)的方法如果程序請求2TB空間，服務器分配2TB實際空間，而通過Thin Provision服務器只給使用的卷分配實際空間，按需擴展，既增加了靈活性，也避免了潛在的資源浪費。尤其是程序宕機的時候，只需要恢復實際使用的空間，而不是2TB(圖4)。

圖4 Thin Provision

2.1 數(shù)據(jù)安全技術(shù)

高端磁盤陣列對數(shù)據(jù)安全性越來越重視，V-Max與DS8700均提供了相應的數(shù)據(jù)安全解決方案。V-Max的數(shù)據(jù)安全技術(shù)主要采用基于RSA算法的PowerPath軟件加密實現(xiàn)，安全控制策略包括日志記錄、訪問授權(quán)、 數(shù)據(jù)擦除等。而IBM DS8700采用了全磁盤自動加密技術(shù)，并結(jié)合軟件管理密鑰方式。下面介紹IBM DS8700的數(shù)據(jù)安全解決方案：

DS8700采用的是基于IBM全磁盤加密技術(shù)的希捷全加密硬盤，每個磁盤的驅(qū)動器都內(nèi)嵌了加密/解密固件引擎，引擎采用對稱加密算法AES，結(jié)合256位的加密密鑰，在數(shù)據(jù)寫入磁盤時全速實時加密，讀出磁盤時全速實時解密，對上層應用完全透明，并且對系統(tǒng)性能基本無影響。

TKLM(IBM Tivoli Key Lifecycle Manager)則為包括DS8700在內(nèi)的 IBM 加密存儲設備提供安全有效的密鑰服務，如提供、保護、存儲以及維護密鑰等特性和功能。

同時，DS8700擁有的分組加密技術(shù)則實現(xiàn)了對存儲資源的有效管理，“加密組”概念的引入使得數(shù)據(jù)的刪除和加密解密形成了封閉的鏈條，從而保證了數(shù)據(jù)不會被任意刪除。TKLM、分組加密技術(shù)和IBM全磁盤加密技術(shù)的有機結(jié)合，形成了DS8700解決靜態(tài)數(shù)據(jù)安全性問題的完整方案。

2.2 業(yè)務持續(xù)性解決方案

V-Max與DS8700均提供了以本地復制和遠程復制為基礎的業(yè)務持續(xù)性解決方案。

（1）本地復制：EMC的TimeFineder系列軟件，IBM的FlashCopy 和FlashCopy SE。

（2）遠程復制：EMC的SRDF系列軟件。相應的IBM的遠程鏡像和復制功能軟件為：Metro Mirror，Global Copy，Global Mirror和Metro/Global Mirror等。

此外，兩者均提供了 Three-site備份方案，EMC為SRDF/Star，IBM為Metro/Global Mirror。

下面以IBM DS8700為例，介紹業(yè)務持續(xù)性解決方案。

FlashCopy 和FlashCopy SE，提供了邏輯卷的時間點復制功能，原卷和目的卷可以立即訪問，對應用程序沒有或者很小影響。

FlashCopy典型的應用是生產(chǎn)數(shù)據(jù)備份，僅需要幾秒鐘即可建立FlashCopy源卷和目的卷的成對關(guān)系，創(chuàng)建必要的控制位圖，然后可以對源卷與目的卷進行讀寫，好像所有的數(shù)據(jù)已經(jīng)復制完成(圖5)。

如果FlashCopy在后臺運行時，I/O請求到達，F(xiàn)lashCopy操作如下：

① 讀源卷請求：直接從源卷讀取數(shù)據(jù)。

② 讀目的卷請求：FlashCopy檢查控制位圖，如果數(shù)據(jù)已經(jīng)復制到目的卷，從目的卷讀??；如果數(shù)據(jù)還沒有復制完成，從源卷讀取。

③ 寫源卷請求：數(shù)據(jù)暫時存入“寫緩存”頁，當相應寫緩存頁被換出時，F(xiàn)lashCopy檢查位圖，如果數(shù)據(jù)已經(jīng)復制到目的卷，執(zhí)行寫入源卷；如果沒有復制到目的卷，同步地復制到目的卷，然后寫入源卷。

④ 寫目的卷請求：寫入目的卷，更新位圖，確保源卷不會重新改寫直接寫入目的卷的數(shù)據(jù)。

圖5 FlashCopy

FlashCopy SE 為虛擬的時間點的復制卷，僅復制改變的數(shù)據(jù)?？梢詣?chuàng)建多個恢復點，只需要幾分鐘即可完成。FlashCopy SE大大減少了需要傳輸?shù)臄?shù)據(jù)量(圖6)。

圖6 FlashCopy SE

Metro Mirror，提供了同步的端到端邏輯卷的實時鏡像，在備份完成之前，對源卷的寫操作同時在副本上完成，兩個站點距離可達300km。

Global Mirror，兩站點的遠程異步鏡像技術(shù)，主機寫到本地存儲單元的數(shù)據(jù)異步鏡像到遠程站點存儲單元，支持的距離僅受限于網(wǎng)絡的能力和通道擴展技術(shù)。

Metro/Global Mirror是一個三站點、多目的復制解決方案。B站點作為Metro Mirror的目的端和Global Mirror的源端(圖7)。

圖7 Metro/Global Mirror

A站點與B站點備份采用Metro Mirror技術(shù)，為同步鏡像，由于B站點與本地站點距離較近，提供了高可用性、高性能和快速恢復能力。

B站點與C站點采用Global Mirror技術(shù)，為異步鏡像，距離僅受限于網(wǎng)絡的能力和通道擴展技術(shù)。通過恢復點目標，3到5秒內(nèi)即可提供可恢復的、可重啟的 、一致性鏡像。

3 V-Max與 DS8700比較

（1）系統(tǒng)架構(gòu)

V-Max采用Engine為服務單元，向分布式集合體方向發(fā)展，支持橫向擴展和縱向擴展。Engine結(jié)構(gòu)的大小適中，可以減少能源和降熱的需求，因為大機柜需要復雜的風扇、電源、電池組件。但是V-Max基于Engine的設計表明，如果增加處理器、緩存或者需要多于 16個主機接口時，不能夠單獨配置，必須以Engine為單位配置。

DS8700采用SMP對稱處理器，所有任務在處理器之間分享，各處理器的能力得到充分使用，但是進一步擴展受到物理限制，擴展能力比V-Max弱。

DS8700存儲單元為全局管理模式，V-Max的存儲單元為分布管理模式。對于后者，一個 Engine失效將導致其他Engine無法訪問其數(shù)據(jù)。

V-Max采用RapidIO技術(shù)互連Engine，1Gb/s傳輸速率。Ds8700采用PCIe連接I/O模塊與控制器，2Gb/s傳輸速率，而兩個POWER6控制器處理器單元的連接采用RapidIO，以完成同步和控制兩個控制器單元的目的。PCIe為點到點的連接，錯誤定位準確。

V-Max最高提供1TB全局緩存，DS8700最高提供384GB緩存；V-Max對“讀寫”均提供緩存功能，DS8700僅對“寫”提供緩存功能。V-Max將緩存分成 64KB頁大小，DS8700分為4KB頁大?。籇S8700采用一系列高級緩存算法，算法效率較高。

（2）容量

V-Max通過配置 600GB FC驅(qū)動器容量最高可達1440TB，通過配置 1TB SATA驅(qū)動器容量可達 2400TB；DS8700通過配置450GB FC驅(qū)動器容量最高達460.8TB，通過配置1TB SATA驅(qū)動器最多可達1024TB。

（3）安全性

DS8700支持全盤加密技術(shù)，磁盤驅(qū)動器自帶加密解密引擎，對上層應用完全透明，并且對系統(tǒng)性能基本無影響。V-Max不支持自加密驅(qū)動器技術(shù)，采用基于 RSA算法的PowerPath加密，效率較硬件加解密低，給處理器造成負擔。

（4）可恢復性

V-Max與DS8700 均提供了遠程實時復制和恢復的健壯方案。V-Max解決方案包括SRDF系列軟件，IBM提供了Global Mirror and Metro Mirror 軟件。兩者均提供了Three-site備份方案，EMC為SRDF/Star ，IBM 為Metro/Global Mirror。

（5）智能數(shù)據(jù)分層存儲

V-Max與 DS8700均提供了智能數(shù)據(jù)分層存儲功能，V-Max為FAST技術(shù)，IBM為Smart Data Placement 技術(shù)。通過自動分層存儲技術(shù)可以識別“熱點”數(shù)據(jù)并自動將其遷移到或者遷移出固態(tài)盤和光纖通道驅(qū)動器以實現(xiàn)價格和性能的優(yōu)化。

4 總結(jié)

本文分析了EMC V-Max與IBM DS8700高端存儲系統(tǒng)的體系結(jié)構(gòu)以及典型軟件功能，并對兩者進行了對比?？梢钥闯觯叨舜鎯ο到y(tǒng)在各個方面采用多種設計來提高系統(tǒng)的性能。系統(tǒng)架構(gòu)上，采用了多個高主頻的多核處理器以及大容量緩存，并在部分硬件加入了自動查錯糾錯功能。I/O通道采用了高速互連技術(shù)，如RapidIO技術(shù)、PCIe等技術(shù)。支持不同的驅(qū)動器類型和主機接口，以滿足不同需求，并且有效降低成本。同時關(guān)鍵部件全部冗余的策略，提高了容錯性和可靠性。值得注意的是，VM AX 的虛擬矩陣互連，是一種全新的陣列架構(gòu)，突破了物理限制，能夠同時支持橫向擴展和縱向擴展。

軟件功能上，提供了大量的性能優(yōu)化軟件和管理軟件。自動分層存儲軟件，可以識別“熱”數(shù)據(jù)并自動將其在固態(tài)盤、光纖通道、SATA磁盤之間遷移，以實現(xiàn)價格和性能的最優(yōu)化。本地復制和遠程復制為基礎的多數(shù)據(jù)中心解決方案，可以有效防止例如地震、大規(guī)模停電等自然災害的發(fā)生，快速進行災難恢復，提供了最高的業(yè)務持續(xù)性。

高端磁盤陣列對數(shù)據(jù)安全性更加重視，IBM采用的全磁盤自動加密技術(shù)，結(jié)合軟件管理密鑰方式，效率高、安全性好。未來，高端磁盤陣列應當會繼續(xù)沿著自動分層存儲技術(shù)、可擴展技術(shù)、資源自動分配技術(shù)以及數(shù)據(jù)安全技術(shù)方向發(fā)展。

[1]IBM System Storage DS8700 Architecture and Implementation. http://www.redbooks.ibm.com/redbooks/pdfs/sg248786.pdf.

[2]Brian Garrett.Tony Palmer.Mark Peters:EMC Symmetrix V-Max 24xForever Storage for Virtualized Data Centers.2009.