多校區虛擬化平臺的設計與實現

文/李雪鋒　趙春　陳麗榮　張增修　陳潔

多校區虛擬化平臺的設計與實現

文/李雪鋒趙春陳麗榮張增修陳潔

多校區虛擬化平臺設計與實現，主要涉及多校區虛擬化平臺實施部署、多校區虛擬化平臺模擬測試、業務遷移方案等。實踐發現，根據學校多校區的特點，通過采用虛擬化技術，在兩個校區部署虛擬化平臺，實現虛擬化業務在兩校區虛擬主機高效穩定運行，從而進一步提升兩校區信息化集成業務的連續可用性和安全性。

隨著信息化技術不斷發展，虛擬化技術越來越多應用于學校信息化建設。常見服務器虛擬化的軟件主要有Microsoft Hyper-V、VMware vSphere和 Citrix XenServer等等。在華東師范大學閔行校區(或中北校區)，通過服務器虛擬化軟件VMware vSphere來將多臺物理服務器組合成一個群集，并通過配置SAN共享存儲，來實現vSphere的HA、DRS和vMotion的虛擬化高級功能，保障閔行校區（或中北校區）虛擬化業務高可用性和安全性。但這種方式存在單校區安全隱患，如當閔行機房（或中北機房）出現斷電故障、用于支持物理服務器的PDU故障或者主機故障，將會使大范圍的服務受到影響，導致業務的長時間中斷或者不可恢復。

如何實現當任何一個校區的虛擬化出現故障，能夠快速實現將業務飄到另一個校區提供服務，最大限度地減少損失，保證業務的高可用性與安全性，下文將從理論到實踐詳細闡述閔行校區和中北校區進行多校區虛擬化平臺如何實施部署。

多校區虛擬化架構設計

華東師范大學閔行校區和中北校區的多校區虛擬化平臺實施部署時，中北校區和閔行校區現有網絡架構，服務器層面通過VMware vSphere 來實現服務器虛擬化。存儲層面通過EMC vplex設備創建虛擬卷為虛擬化平臺提供共享存儲。通過服務器和存儲虛擬化技術，在中北校區與閔行校區搭建兩校區虛擬化平臺。其基本架構如圖1所示。

在中北校區和閔行校區各部署一套配置一致UCS刀片，通過虛擬化軟件VMware vSphere來實現服務器層面的虛擬化。兩校區網絡實現萬兆互聯，具有高速率、低延時、二層互通等特性，滿足虛擬化業務對網絡要求。在兩校區通過部署EMC vplex設備來實現存儲層面的虛擬化，兩校區vplex設備通過四根萬兆以太網實現兩校區數據復制與通信。同時，在第三點故障域部署監控點，主要用于兩校區vplex設備的健康監測與故障切換。在每一個校區，服務器與存儲之間通過兩臺brocade光纖交換機進行連接。利用虛擬化技術，建立一個統一的、整體部署的多校區虛擬化的系統架構，實現多校區虛擬化業務的雙活容錯，提高信息化集成業務的連續可用性和安全性。

圖1　兩校區虛擬化架構

多校區虛擬化實現

虛擬化的實施部署工作主要涉及服務器虛擬化與存儲虛擬化這兩個方面的實施部署，具體如下。

服務器虛擬化實現

在中北校區與閔行校區都采用配置一致的UCS刀片用作虛擬化主機，虛擬化軟件采用VMware vSphere。服務器虛擬化主要涉及以下三個方面工作。

1.UCS刀片服務器初始化工作

在安裝虛擬化軟件ESXI之前，我們需要對UCS刀片進行初始化工作。UCS刀片主要用于部署虛擬化軟件，承載虛擬化業務。UCS刀片主要由機箱和FI（fabric interconnect）組成。FI處理UCS所有的管理任務，提供上聯到現有的LAN和SAN，提供下聯到機箱。UCS刀片初始化工作主要通過FI管理控制臺來配置，主要涉及organization配置、UUID suffix配置、server池配置、本地磁盤策略配置、service profile模板配置、MAC池配置、vlan配置、vlan group創建、虛擬網卡模板配置、wwpn配置、wwnn配置、vsan配置、vhba模板配置、FEX配置、電源冗余策略配置、FI端口類型配置、物理刀片服務器與service profile關聯配置等。

2.vSphere ESXi安裝配置

ESXi直接運行在物理服務器上，能夠提供功能強大且經過生產驗證的虛擬化層。通過對服務器硬件資源（如內存、存儲器、處理器及網絡設備等）進行抽象，實現多臺虛擬機共享底層硬件資源。當我們完成UCS刀片服務器初始化工作，接下來就需要在中北校區和閔行校區每臺刀片服務器上安裝和配置虛擬化軟件ESXi。

（1）ESXi安裝工作。通過調整服務器BIOS引導順序進行安裝工作，在安裝過程中需要設置root用戶密碼等。

（2）ESXi配置工作。完成安裝后，通過root用戶進行配置，主要涉及IP地址、DNS、VLAN、主機名和功能許可license等。

（3）vCenter server安裝配置

vCenter Server是VMware vSphere一個關于ESXi主機和虛擬機集中管理的虛擬化平臺。通過vCenter Server可以實現vSphere許多高級功能，如HA、DRS、vMotion等。

（1）vCenter server安裝工作。按照vCenter server部署基本要求，我們將軟件安裝到一臺Window Server2008R2 64位操作系統的虛擬機上。在安裝過程中，需要配置vCenter的數據庫，可以選擇系統自帶的Microsoft SQL Server Express,但對主機數量和虛擬機數量都有限制，僅適用于小規模部署，因此我們采用外部數據庫配置。關于涉及到TCP、UPD端口都采用默認設置。

（2）vCenter server配置工作。通過客戶端軟件連接到vCenter server進行相關配置工作， vCenter server配置工作主要涉及vCenter server基本功能配置、虛擬化網絡配置和共享存儲配置等。

vCenter server基本功能配置。主要涉及添加vCenter 許可license、建立兩校區數據中心、建立兩校區群集、將兩校區配置好的虛擬化主機添加到群集中、兩校區群集HA、DRS和vMotion功能配置等。

虛擬化網絡配置。網絡虛擬化可以實現不同虛擬機之間以及虛擬機與物理主機之間通信。針對每一臺主機采用標準交換機網絡模式，根據業務需求對端口組、管理網絡、網絡流量調整、網絡安全策略、物理網卡綁定等進行配置。

共享存儲配置。針對通過光纖通道分配的兩校區虛擬卷，建立虛擬機文件系統（VMFS）,實現多個物理主機對同一存儲器同時執行讀寫操作。

存儲虛擬化實現

通過服務器虛擬化配置，將中北校區和閔行校區的ESXi主機都添加到同一個群集中。要實現兩個校區虛擬化，還需要為兩校區主機配置SAN共享存儲。基于兩校區已有的EMC的存儲設備，在閔行校區和中北校區各部署一臺vplex設備，通過EMC vplex虛擬化技術，將中北校區和閔行校區的存儲卷做成一個虛擬卷，對于中北校區和閔行校區的ESXi主機而言，識別到的是同一塊存儲。接下來詳細介紹虛擬卷的配置，假設需要配置的虛擬卷大小為10T。

1.vplex初始化工作。主要涉及Hostname與管理端口配置、meta-volume配置、時間同步配置、WAN interface配置、logging volume配置、監控點部署等

2.存儲卷分配。在中北和閔行的EMC存儲上分別劃分相應大小為10T的卷給vplex設備。

3.存儲卷標記。兩校區的vplex識別到存儲卷后并其進行標記，目的是讓存儲卷受vplex管理。

4.區間創建。分別在中北和閔行的vplex上創建區間。區間用來對vplex管理的存儲卷進行空間規劃，我們將10T的存儲卷做成一個區間。

5.設備創建。設備創建過程實際上就是區間與設備映射的過程，我們采用一對一唯一映射方式在中北和閔行vplex創建設備。

6.虛擬卷創建。虛擬卷實際上就是將中北和閔行的vplex上的設備做成一個統一的卷，提供給虛擬主機使用。在創建虛擬卷中，需要創建一個consistency group（CG），這個CG包含這個全局的虛擬卷，在CG中需要設定一定取勝規則。

通過上面步驟，成功建立了虛擬卷。通過在中北和閔行的vplex建立存儲視圖，將UCS刀片服務器的HBA卡wwpn、vplex通信端口以及虛擬卷結合在一起，實現虛擬卷分配到兩校區ESXi主機，在虛擬主機經過磁盤掃描后，就可以識別到通過vplex分配的虛擬卷。

圖2　多校區虛擬卷

多校區虛擬化模擬測試

通過上面的部署，通過虛擬化技術實現了多校區虛擬化平臺。在業務遷移到多校區虛擬化平臺之前，需要對虛擬化平臺進行一系列功能模擬測試工作，主要涉及服務器虛擬化和存儲虛擬化的模擬測試。

服務器虛擬化測試

服務器虛擬化測試主要針對中北校區和閔行校區虛擬化平臺主要功能測試，主要涉及VMware vSphere的HA、vMotion等功能測試。將從閔行校區ESXi主機中取出的主機A和從中北校區ESXi主機中取出的主機B做成一個群集，并開啟群集的HA功能和vMotion功能，在主機A創建一臺業務測試機C。

1.多校區HA功能測試

vSphere HA功能用于檢測故障，對群集中運行的虛擬機提供快速恢復功能。核心功能包括主機監控、虛擬機監控和應用程序監控功能，用于在檢測不到檢測信號時最大程度地縮短停機時間。本文主要以主機監控功能測試為例。

表1　存儲虛擬化故障測試表

（1）通過對閔行ESXi主機A執行斷電操作來模擬主機故障，同時針對業務測試機C，ping命令窗口顯示請求超時。

（2）經過約200秒，業務測試機C的ping請求正常，業務測試機在中北校區主機B上重啟完成。

（3）恢復主機A正常狀態，對主機B執行斷電操作模擬主機故障，同時針對業務測試機C，ping命令窗口顯示請求超時。

（4）經過約200秒，業務測試機C的ping請求正常，業務測試機重回在閔行校區主機A上重啟完成。

2.多校vMotion功能測試

VMware vMotion 可以將運行中的虛擬機從一臺虛擬主機實時遷移到另一臺虛擬主機上。在遷移過程中能夠保證業務的連續可用性和事務的完整性。Storage vMotion可以在不中斷服務的情形下實現虛擬機文件的不同數據存儲之間的遷移。本文主要以虛擬機遷移為例。

（1）對位于閔行ESXi主機A上的業務測試機C執行vMotion，同時開啟對業務測試機的ping操作。

（2）在vMotion整個過程中，出現一個ping包丟失，服務可用無中斷，業務測試機成功遷移到中北校區ESXi主機B。

（3）對遷移到主機B的業務測試機C執行vMotion，同時開啟對業務測試機的ping操作。

（4）在vMotion整個過程中，出現一個ping包丟失，服務可用無中斷，業務測試機成功遷移到閔行校區ESXi主機A。

存儲虛擬化測試

在兩校區通過部署EMC vplex設備來實現存儲層面的虛擬化，并在第三點故障域部署監控點，主要用于兩校區vplex設備的健康監測與故障切換。存儲虛擬化測試主要針對vplex設備及監控點進行測試，假定vplex設定規則為集群cluster1作為勝利者，測試結果參見表格1。

業務遷移方案

多校區虛擬化平臺搭建與測試完成之后，接下來考慮相關業務系統遷移工作，主要涉及短信平臺、報表系統、ESRS監控系統、Lenovo虛擬化平臺、AD域服務器等。

1.針對部署在其他虛擬化平臺的業務，如Lenovo虛擬化業務等

關于部署在Lenovo虛擬化平臺的業務系統，由于不滿足vMotion的條件，只能采用冷遷移的方式。

（1）在vCenter上新建一個群集，將Lenovo主機添加到新建的群集中；

（2）將Lenovo虛擬平臺的業務虛擬機進行關機，并將虛擬機遷移到多校區虛擬化平臺群集上；

（3）遷移完成后，在兩校區虛擬化平臺上將業務虛擬機重新啟動，業務運行。

2.針對部署在實體機上的業務，如報表系統、短信平臺等

（1）針對部署在實體機上的業務且操作系統為Window或者Linux系統，如報表系統、ESRS監控系統、AD域服務器等。我們采用VMware vCenter Converter工具來實現實轉虛操作，將實體機轉化成兩校區虛擬化平臺的虛擬機。

（2）針對部署在實體機上的業務且操作系統為solaris系統，如短信平臺。我們只能采用在兩校區虛擬化平臺重新部署的方式，無法采用VMware vCenter Converter工具來實現實轉虛操作。

通過上述操作，完成相關業務系統的遷移工作。經過一段時間觀察，業務運行穩定，達到預期效果。針對后續新增業務系統，如K2系統、資源管理系統等，采用直接部署在兩校區虛擬化平臺上的方式，進一步提高業務的連續可用性和安全性。

多校區虛擬化平臺采用EMC vplex設備創建的虛擬卷作為共享存儲，通過VMware vSphere虛擬化技術來實現虛擬化業務在兩校區虛擬主機上高效穩定運行。到目前為止，在多校區虛擬化平臺上遷移和新建的業務運行穩定，達到預期目標。多校區虛擬化平臺建立了一個統一的、整體部署的虛擬化異地容災的系統框架，實現兩校區虛擬化業務的雙活容錯，有效解決了單校區安全隱患，提高信息化集成業務的連續可用性和安全性。

（為華東師范大學信息化辦公室）