對客票系統運用存儲虛擬化技術的研究

李雁明，劉相坤，李 琪，武振華

（1.中國鐵道科學研究院，北京 100081；2.中國鐵道科學研究院 電子計算技術研究所，北京 100081 ）

對客票系統運用存儲虛擬化技術的研究

李雁明1，劉相坤2，李 琪2，武振華2

（1.中國鐵道科學研究院，北京 100081；2.中國鐵道科學研究院 電子計算技術研究所，北京 100081 ）

結合鐵路客票系統當前的存儲狀態，介紹虛擬化存儲技術。通過與傳統存儲的對比，發現在性能方面兩者差距不大，但在靈活性、擴展性、高效性和管理便捷性上，虛擬化存儲遠超傳統存儲，而且虛擬化存儲還有良好的經濟效益。

客票系統；虛擬化；存儲

中國鐵路客票發售和預訂系統（簡稱：客票系統）自1996年開始建設，經過多年的發展，已建成覆蓋全國的超大型售票網絡，實現了全國聯網售票，給旅客的出行帶來極大的方便。

為了進一步提高客票系統的穩定性和高可用性，需要把更多新理念、新技術注入網站中，而虛擬化技術就是其中一項。隨著虛擬化技術的日趨成熟，客票系統對虛擬化技術的應用也越來越深入。客票系統已經完成了服務器虛擬化，服務器虛擬化使得系統具有聚合、靈活、高效和彈性擴展的特點。隨著業務量的上漲，存儲的容量也在不斷增大，傳統存儲在維護管理和擴展性方面都已達到瓶頸期，必須考慮新的存儲方式，而存儲虛擬化就是解決以上問題的一種方式。

1 客票系統面臨的存儲問題及解決思路

1.1 存儲問題

1.1.1 存儲設備的管理問題

隨著互聯網售票占全路售票比例的不斷上升，業務規模和種類不斷擴大，運維人員逐漸感受到服務器虛擬化帶來的便利和高效，但僵化的傳統外置磁盤陣列逐漸成為提高管理水平和效率的瓶頸，數據中心的運維人員需要同時管理服務器、網絡和存儲等硬件，還要管理數據庫、操作系統、虛擬化和云管理平臺，所以存儲設備的管理是一個不容忽視的問題。

1.1.2 存儲設備使用的高效性問題

每當新業務需要存儲空間時，存儲管理的人員必須詳細了解存儲空間使用方和所需邏輯卷的空間、性能、可用性等數據服務的需求。導致存儲無法做到像虛擬服務器快速高效分配計算資源一樣去分配存儲資源。整個數據中心運維的敏捷性、靈活性都因此受限。

1.1.3 單個存儲的性能問題和高成本問題

采用傳統外置磁盤陣列，將單個存儲的功能與性能綁定在某個具體存儲硬件上，并不能滿足所有的應用要求，導致成本居高不下，造成嚴重浪費。

1.1.4 集中存儲的擴展性問題

如果為不同的應用配置不同的集中存儲，將會造成大量分散的集中存儲，造成管理的困難，而且集中存儲存在擴展性問題，存儲容量無法隨服務器計算能力的擴展實現存儲容量的水平擴展。同時，集中存儲在擴容的時候可能面臨被存儲硬件廠商綁架，從而喪失議價能力的問題。

1.2 解決思路

存儲虛擬化最通俗的理解就是對存儲硬件資源進行抽象化表現。通過將一個或多個目標（Target）服務或功能與其它附加的功能集成，統一提供有用的全面功能服務。存儲虛擬化是一種貫穿于整個IT環境、用于簡化本來可能會相對復雜的底層基礎架構的技術。存儲虛擬化的思想是將資源的邏輯映像與物理存儲分開，從而為系統和管理員提供一個簡化和無縫的資源虛擬視圖。

VMware VSAN 是針對服務器本地存儲進行優化的一種方式，它與虛擬服務器都運行在 VMware vSphere 虛擬化環境中，兩者可以有機地統一起來。VSAN為vSphere虛擬化架構提供高性能、可擴展的存儲解決方案。

2 虛擬化存儲VSAN和傳統存儲EMC的對比

為了進一步了解VSAN的功能和I/O（Input/ Output）性能，將VSAN與EMC集中式共享存儲進行對比測試。本次對比測試計算節點由5臺IBM3850（CPU：2.67 GHz,內存：512 GB）組成，基于10 GB網絡測試環境，分別掛載遠端EMC共享存儲（Vplex,VMAX20K）和VSAN分布式存儲，形成兩個測試環境。為達到測試目的，本次測試通過模擬業務環境中的文件傳輸,數據庫加載數據，完成VSAN存儲的性能測試。

此次測試，使用5臺服務器組成1個VSAN集群，每臺主機創建1個磁盤組，每個磁盤組配置1塊1.2 T的固態硬盤（SSD，Solid State Drives）和4塊600 G的機械硬盤（HDD，Hard Disk Drive），其中，3塊HDD用于VSAN磁盤組，ESXi安裝占用1塊HDD。采用vSphere分布式虛擬交換機，上聯2塊萬兆網卡用于VSAN測試；采用標準虛擬交換機，上聯2塊千兆網卡用于管理，保留原有2塊HBA（Host Bus Adapter）卡掛載EMC共享存儲。

2.1 I/O性能測試

使用IOmeter測試工具和虛擬機測試VSAN和EMC共享存儲的I/O性能。

IOmeter測試工具和虛擬機主要用于收集VSAN和EMC共享存儲的IOPS（Input/Output Operations Per Second）數據。每臺虛擬機包含1個40 GB的vDisk和8個10 GB的vDisk，設置不同數據塊大小，不同讀寫比例，測試IOPS、占用帶寬、響應延遲及CPU利用率等數據。為提高虛擬機I/O性能，配置4塊準虛擬卡，多塊虛擬磁盤。IOmeter測試工具新建多個工作組分別承載每塊虛擬磁盤，設置并發指令數為16，選擇不同數據塊大小，不同讀寫比例的策略，設置刷新頻率為最小以實時觀察I/O變化情況，設置測試時間為15 min，分別運行在2個對比環境中，測試結果如表1所示。

表1 I/O性能測試表

最終測得VSAN和EMC共享存儲的最高IOPS分別約為10.8萬和11.9萬，VSAN的I/O性能已經接近EMC高端共享存儲，約為其91%。

2.2 讀取文件性能測試

本次測試使用文件服務器虛擬機6臺，VSAN環境和FCSAN環境各3臺，每臺虛擬機包含1個100 GB的vDisk。

測試從VSAN環境讀文件的性能。在VSAN環境配置http文件服務器，在/var/www/html目錄下存放6個10 GB大小的文件，用于模擬影像文件，同時在EMC共享存儲環境新建配置18臺虛擬機客戶端，測試同時讀取6個10 GB文件的性能，模擬18個鐵路局（公司）同時從HTTP文件服務器訪問下載文件。

同樣的方法，測試從EMC共享存儲環境讀文件的性能。將VSAN環境中的HTTP文件服務器遷移至EMC共享存儲環境，同時將EMC共享存儲環境18臺虛擬機客戶端遷移至VSAN環境，測試同時讀取6個10 GB文件的性能，模擬18個鐵路局（公司）同時從HTTP文件服務器訪問下載文件。

HTTP在兩個環境的性能測試結果如表2所示。

表2 讀取文件性能測試表

最終測得，當HTTP文件服務器在EMC共享存儲環境時，客戶端讀取文件量（6×10G×18）約為1 080 GB，耗時約18 min；當HTTP文件服務器在VSAN存儲環境時，客戶端讀取文件量（6×10G×18）約為1 080 GB，耗時約18 min，由此可知，同樣大小的文件，傳輸耗時基本無差別。

2.3 數據庫載入數據測試

本次測試使用數據庫虛擬機共2臺，VSAN環境和FCSAN環境中各2臺，每臺虛擬機有1個100 GB的vDisk和3個460 GB的vDisk，共1 480 GB。

在兩個測試環境下配置的數據庫虛擬機，每個數據庫創建有3張表，分別測試每個環境下同時向3個數據庫插入各3 600萬條數據，驗證載入數據能力，測試結果如表3所示。

表3 數據庫載入性能測試表

最終測得，在插入相同數量的數據過程中，VSAN平均耗時約為共享存儲耗時的1.27倍，VSAN的數據庫載入能力與EMC的高端存儲還有一定的差距。

通過以上3次測試，對比了EMCVMAX20K高端存儲和VSAN存儲的性能。在性能方面，分析IOmeter、訪問文件服務器和數據庫插入數據3個場景的測試結果，EMCVMAX20K高端存儲由于采用基于內存智能緩沖技術的VPLEX產品，表現出了較好的性能，VSAN存儲僅利用SSD閃存和SASHHD持久盤架構，性能表現雖不如EMCVMAX20K，但結果也比較好，尤其在4 K數據塊大小時，IOPS最高可達10萬多。經分析，目前VSAN測試環境主要由于后端數據持久層SASHDD盤及RAID卡的性能抑制了整體VSAN存儲的讀寫速度，如果后端存儲同樣采用SSD閃存盤，將會大幅提升整體性能。

3 VSAN解決方案

3.1 方案概述

VSAN方案設計理念基于“軟件定義的存儲”思想。“軟件定義的存儲”可對存儲資源進行抽象化處理，以支持存儲的池化、復制和按需分發。這使存儲層與虛擬化計算層非常相似：都具有聚合、靈活、高效和彈性擴展的特點。它們的優勢也如出一轍：全面降低了存儲基礎架構的成本和復雜性。

Virtual SAN利用多個服務器的本地存儲構建成1個共享的分布式數據存儲（datastore）。這個數據存儲的容量由組成Virtual SAN群集的多個主機里面的磁盤組匯集而成。這些主機可以是vSphere群集的1個子集。Virtual SAN數據存儲的總容量就是Virtual SAN群集主機里HDD磁盤的容量之和。

運行Virtual SAN的每個服務器節點可支持 5 個磁盤組。每個磁盤組有1～7 個HDD磁盤，但必須有1個 SSD用于緩存層。SSD充當分布式讀寫緩存，并不用于永久保存數據。每個磁盤組只支持1個SDD，70%的SSD 容量用于緩存讀取，其余30%用于寫入。可以在取消向磁盤暫存之前，在2個或2個以上節點之間鏡像緩存寫入來對該緩存寫入進行保護。也可以使用多節點鏡像來防止發生磁盤故障和節點故障,如圖1所示。

圖1 VSAN存儲結構圖

3.2 環境要求

3.2.1 計算資源要求

1個Virtual SAN至少需要3臺vSphere主機（其中每臺主機均具有本地存儲）以形成受支持的Virtual SAN集群。這樣，集群才能達到至少允許1臺主機、磁盤或網絡發生故障的最低可用性要求。

3.2.2 網絡要求

VSAN架構，要求每臺vSphere主機必須至少具有1個1 GB或10 GB的網卡（NIC）。在每臺vSphere主機上，必須創建用于Virtual SAN通信的VMkernel端口。當集群中的1臺vSphere主機擁有特定虛擬機時，此端口將用于集群間的節點通信，也用于讀寫操作。

3.2.3 存儲要求

Virtual SAN集群中的每臺vSphere主機均必須至少有1個全新的SSD 和1個全新的SAS/SATA/ PCI-e磁盤驅動器。SSD充當分布式讀寫緩存，并不用于永久保存數據。推薦的Virtual SAN的用于緩存SD容量是VSAN存儲總容量的10%。

3.3 方案特點

（1）VSAN是使用服務器的直連存儲，它并不需要專用的網卡和芯片，所使用的服務器、硬盤以及網絡都是通用的硬件。

（2）VSAN是分布式的集群。它在網絡化的支持之下，其空間可以延展到支持32個節點。可以使用千兆網，也可以用千兆網來組一個最初始化的集群。VSAN要求至少有3臺服務器來提供虛擬存儲服務器，也就是說保持數據有2個備分，因此在PC里面，任何系統風險都不會產生任何的數據丟失。

（3）VSAN是使用閃存SSD的純加速產品。目前，機械硬盤的轉速并沒有辦法提高，如果用普通的機械硬盤，它對服務器的空間和性能都有一定制約。VMware采用的策略是混合策略，用SSD提供性能，由普通機械平臺提供能量。這使得VSAN的總成本控制在較低的水平，適用的市場范圍會更廣。

（4）管理便捷性。VSAN能實現普通的虛擬化管理，并且VSAN所支撐的虛擬機在網絡VSAN存儲的時候，具有最短的路徑、最快的API調用，并且這些全部在內核完成。當企業的存儲應用需求發生變化的時候，可以在不停機的情況下，修改策略。在底層會滿足企業的新存儲要求，這個過程對于用戶來說非常方便。

（5）VSAN是完全固定在存儲VM虛擬化的基礎上的，它是一個VM的VMDK存儲，只用來做VMware的網絡建設。在VSAN里，默認的存儲是VMPK存儲文件形式。在默認的情況下，1個VMPK至少有2個以上的部分，分散在不同的界面上面。當網絡出現問題的時候，在節點整理停機或者調令的情況下，可以在計算的同時保證計算的嚴密性，也保證存儲的數據安全。

4 結束語

當前虛擬化技術已經被廣泛應用到 IT 基礎設施建設中。服務器虛擬化已得到充分的發展，但存儲虛擬化在數據中心還沒有得到廣泛應用。基于VSAN的存儲虛擬化技術，在性能方面與傳統存儲的差距已經越來越小，但是在靈活性、擴展性以及管理維護便捷性等方面已經遠遠超過傳統存儲。隨著存儲虛擬化技術的發展，將來數據中心可充分利用服務器自身硬盤存儲，達到去存儲化，從而產生巨大的經濟效益。

[1]中國鐵道科學研究院.新一代客票系統總體技術方案[R].北京：中國鐵道科學研究院，2012，5.

[2]單杏花.客運生產經營指標體系研究報告[R]. 北京：中國鐵道科學研究院，2011.

[3]施 慶.基于VMware vSphere的高校數據中心虛擬化建設研究[D].上海：復旦大學，2012.

[4]鐵道部客票總體組.新一代客票系統用戶需求說明書[S].北京：中國鐵道科學研究院，2011.

[5]李 聰.服務器、網絡、存儲虛擬化技術在數據中心的應用研究[D].天津：天津大學，2009.

[6]王洪愛，朱建生，劉文韜，等.鐵路客票系統中緩存機制的應用模型研究[J].鐵路計算機應用，2013，22（2）.

責任編輯 楊琍明

Application of storage virtualization to Railway Ticketing and Reservation System

LI Yanming1,LIU Xiangkun2,LI Qi2,WU Zhenhua2
( 1.China Academy of Railway Sciences,Beijing 100081,China;2.Institute of Computing Technologies,China Academy of Railway Sciences,Beijing 100081,China)

Combined with the current state of the Ticketing and Reservation System,this article introduced the virtual storage technology.Compared with the traditional storage,the gap was not great in performance,but the fexibility,scalability,effciency and management of the convenience,the virtual memory was much better than the traditional storage.The virtual memory had good economic benefts.

Ticketing and Reservation System;virtual;storage

U293.22：TP39

A

1005-8451（2016）04-0028-04

2015-10-16

李雁明，在讀碩士研究生；劉相坤，副研究員。