多校區數據中心雙活容災方案研究

李雪鋒

（華東師范大學信息化辦公室，上海200241）

多校區數據中心雙活容災方案研究

李雪鋒

（華東師范大學信息化辦公室，上海200241）

本文詳細描述了EMC VPLEX的數據中心雙活容災方案，包括方案選擇、搭建流程、故障模擬測試、業務遷移、后續規劃等等。通過VPLEX雙活容災方案，建立了一個統一的、整體部署的存儲異地容災系統框架，實現了兩校區數據中心的雙活容錯，提高了數據中心的連續可用性和安全性。

雙活容災；數據安全；實時同步；存儲虛擬化

一、建設背景

隨著學校信息化建設不斷發展，越來越多的業務系統隨之出現，如辦公自動化、財務信息查詢、電子郵件、科研管理、教務管理、餐飲管理、網盤、資源保障等系統，為全校師生在教學、科研、管理和生活等各個方面提供服務與便利。然而，不同的業務與數據分布在閔行校區和中北校區，數據的安全性與業務連續性的問題隨之而來。例如網盤業務運行在中北校區中心機房，如果發生機房斷電、網盤服務器宕機或者存儲層面損壞，都會直接導致網盤業務不能正常訪問，給師生造成巨大的影響。

針對數據安全和業務連續性問題，學校采用EMC VPLEX異地容災方案，可以確保數據零丟失和業務零停頓，實現中北校區與閔行校區數據中心雙活容災。

二、系統架構方案

在現有網絡架構的基礎上，華東師范大學閔行校區和中北校區通過EMC VPLEX方案實現數據中心雙活容災。其基本架構如圖1所示。

圖1 華師大雙活數據中心架構

基于兩校區各有一臺EMC vnx5500存儲，采用EMC VPLEX的解決方案來實現兩校區的同步異地容災。在閔行校區和中北校區各部署一臺VPLEX設備，通過兩臺brocade 300光纖交換機將VPLEX的后端端口與存儲EMC vnx5500控制器做成雙鏈路冗余，VPLEX的前端端口用于生產服務器的連接。中北校區與閔行校區之間通過四根萬兆以太網（帶寬〉=1Gb/s,RTT〈=5ms）進行連接，用于兩校區的數據復制與通信。在第三點故障域部署Witness，主要用于監視兩校區的VPLEX健康檢查與故障切換。當任何一臺VPLEX出現故障，Witness會通知另一臺VPLEX來接管，保障業務正常進行，實現兩校區數據中心的雙活容錯，提高數據中心的連續可用性和安全性。

三、異地容災

通過對EMC、DELL、NetAPP等主流供應商進行綜合考察與對比，結合學校自身實際情況，最終我們選擇EMC VPLEX存儲虛擬化技術方案來實現兩校區數據中心異地雙活容災。整個方案構建了一個統一的、整體部署的存儲系統框架，能夠充分提供高可靠性、高性能以及簡便管理等優勢和特點。

（1）節省成本和兼容性好。在規劃異地容災時，中北校區和閔行校區已各有一臺EMC vnx5500，選擇使用EMC解決方案，既可以節省成本，又可以實現VPLEX 與vnx5500的完美兼容。

（2）實現異地業務數據實時同步，保證數據一致性。中北校區和閔行校區相隔超過30公里，使用EMC解決方案可以實現異地實時同步，保證業務數據在兩校區的一致性。

（3）實現了業務數據異地容災，有效解決校區單點故障隱患。VPLEX將中北與閔行的存儲做成一個虛擬卷，當服務器寫數據到虛擬卷時，實際上是寫到中北和閔行這兩個存儲，相當于在兩校區都有一模一樣的數據。

（4）實現兩校區虛擬機的故障遷移。如將中北和閔行的服務器虛擬化后添加到同一個vcenter中，由VPLEX為vcenter提供共享存儲，當中北的服務器（或者閔行的服務器）發生故障時，虛擬機可以飄移到閔行（或者中北）繼續工作，不影響業務，對于用戶完全透明。

EMC VPLEX的整體框架搭建工作主要包括以下三個過程。

（1）前期準備工作。存儲vnx5500配置、光纖跳線、網線跳線、brocade交換機配置、主機powerpath配置等

（2）VPLEX初始化工作。Hostname與管理端口配置、meta-volume配置、時間同步配置、WAN interface配置、logging volume配置等。

（3）Witness的搭建。Witness需要部署在一臺虛擬機上，并且要處于異于cluster-1與cluster-2的第三點故障域。

在VPLEX的搭建過程中，有兩個十分重要的卷：meta volume和logging volume。Meta volume主要用于存儲虛擬卷到物理卷映射、device、虛擬卷和系統配置信息等。每一個VPLEX配置四個meta volume，兩個作為online狀態，之間為mirror關系；另外兩個作為backup，用于每日23:30備份online的meta。Logging volume主要用于記錄當發生腦裂時數據的變化，當問題修復后，系統使用logging volume來將改變的信息同步到之前掛起的卷，保持信息一致。每一個VPLEX配置兩個logging volume，之間為mirror的關系。

EMC VPLEX通過存儲虛擬化技術，將兩校區存儲進行虛擬化，做成一個虛擬卷。下面筆者來介紹創建虛擬卷流程。

（1）卷分配和標記卷。在中北和閔行的vnx5500上分別劃分相應大小的卷給VPLEX，VPLEX層面識別到新卷后并其進行標記，使新卷受VPLEX管理。當新卷被VPLEX標記后，意味著這個卷屬于VPLEX所有。

（2）創建區間。分別在中北和閔行的VPLEX上創建區間。區間用來對標記的新卷進行空間規劃，可以將標記卷的全部空間來做成一個區間，也可以在標記卷中劃分一部分空間來做成一個區間。比如標記卷容量大小500G，可以將500G的空間做成一個區間，也可以創建一個100G的區間，其余400G可以留著，有需要的時候繼續創建區間。

（3）創建設備。在中北和閔行的VPLEX上創建設備。這個過程就是區間與設備映射的過程，每一個區間對應一個設備。針對設備創建類型有四種可選：RAID-0; RAID-1;RAID-C；1:1mapping of extents to devices。

①RAID-0指在每個VPLEX上都要有至少兩個區間，用來做成raid0，提高數據讀寫速度；

②RAID-1指在每個VPLEX上都要有至少兩個區間，用來做成raid1，提高數據安全性；

③RAID-C指實現多個區間拼接成一個大區間；

④1:1mapping of extents to devices：就是extent與device之間一一對應。

（4）創建虛擬卷。在創建虛擬卷中，需要創建一個consistency group（CG），這個CG包含這個全局的虛擬卷，在CG中需要設定一定的規則，如winner：cluster1（5 second）；winner：cluster2（5 second）。

（5）服務器的注冊。服務器的注冊，VPLEX可以識別服務器的HBA卡信息，將HBA卡信息注冊到VPLEX中，給服務器分配存儲做準備。

（6）建立存儲視圖。目的就是將服務器的HBA卡信息、VPLEX的port以及虛擬卷三者結合到一起，實現VPLEX分配給服務器存儲的目的。

通過上面步驟，我們就成功建立了虛擬卷，在應用服務器經過磁盤掃描后，就可以識別到通過VPLEX分配的虛擬卷。

在業務正式遷移到VPLEX之前，需要對VPLEX進行各種故障模擬測試，主要包括VPLEX前端口冗余性測試、VPLEX后端口冗余性、集群腦裂測試、一臺VPLEX的控制器冗余測試、Witness故障、一臺VPLEX 與Witness同時故障、一臺SAN交換機故障、閔行VPLEX到Witness的網絡故障、中北VPLEX到Witness的網絡故障、中北VPLEX到Witness及閔行到中北的網絡同時故障、中北VPLEX到Witness及中北到閔行的網絡同時故障、虛擬機兩校區飄移測試等。所有測試都成功完成，RPO與RTO達到預先設計的目標。上述測試也表明，對于終端用戶而言，是完全透明的，用戶無需做任何的更改與配置，整個過程都可以正常訪問應用系統。

EMC VPLEX搭建與測試完成之后，下一步就是進行相關業務遷移，主要涉及Oracle數據庫、人事系統、cas-ldap、portal門戶、科研、教務、網盤、研究生、Lenovo虛擬平臺等。根據主機層面是否安裝賽門鐵克的集群軟件SFRAC，將使用兩種不同方式遷移業務。

（1）針對服務器層面已經安裝SFRAC的業務系統，如人事系統、科研系統等。操作方案：

1）通過VPLEX為業務系統服務器分配4塊磁盤（包括1塊用作業務數據盤和3塊用作仲裁盤）；

2）通過賽門鐵克的SFRAC將原有業務數據磁盤與通過VPLEX分配的用作業務數據的磁盤做成鏡像；

3）將用于服務器HA的3塊仲裁盤替換為VPLEX分配的另外3塊磁盤。

（2）針對服務器層面并未安裝SFRAC的業務系統，如網盤、Lenovo虛擬平臺等。操作方案：

1）將直接由EMC vnx5500分配給業務系統的磁盤重新分配給VPLEX；

2）VPLEX對業務系統的磁盤進行封裝，最后做成一個虛擬卷；

3）將虛擬卷重新映射給業務服務器，服務器掛載磁盤，并提供業務訪問。

通過上述兩種方案，將涉及的業務成功地遷移到VPLEX上面，遷移后的網絡拓撲如圖2所示。

圖2 基于VPLEX的網絡架構

VPLEX通過存儲虛擬化技術，將中北校區與閔行校區的存儲合二為一，實現數據層面的同步異地容災，但針對應用層面還需要做進一步的規劃。

（1）虛擬化規劃。計劃購買兩籠刀片放置中北和閔行兩個校區，部署ESX來實現兩校區的虛擬機的漂移。

（2）實體服務器規劃。針對對閔行校區，運行在實體服務器上的業務，將在中北購置服務器，通過集群軟件，來實現兩校區容災。

四、ESRS支持

ESRS（EMC Secure Remote Support）為EMC硬件和軟件產品提供了一個安全的遠程支持工具。支持廣泛的EMC硬件和軟件產品，是一個基于IP的遠程支持方式，允許客戶管理遠程支持，包括授權撥入客戶的EMC設備及EMC產品的“connect home”。整體架構方案如圖3所示。

圖3ESRS架構

在ESRS部署中，需要在學校部署兩臺服務器，一臺為網關客戶端服務器，主要用于故障反饋及遠程訪問支持；另一臺為策略服務器，主要用于訪問控制和日志審計。當EMC VPLEX設備出現故障時，通過網關客戶端會將符合策略要求的日志發送給EMC公司后端支持，支持人員發現報警日志，聯系學校用戶，進行遠程支持。

五、結束語

EMC VPELX建立了一個統一的、整體部署的存儲異地容災的系統框架。通過存儲虛擬化技術，將兩校區存儲統籌管理，實現兩校區數據中心的雙活容錯，提高數據中心的連續可用性和安全性。

[1][EB/OL].http://www.emc.com.

[2]王樹鵬,云曉春,余翔湛.容災的理論與關鍵技術分析[J].計算機工程與應用，2004(28):54-58.

[3][EB/OL].http://www.brocade.com.

[4][EB/OL].http://www.symantec.com.

（編輯：楊馥紅）

G482

：B

：1673-8454（2015）09-0059-03