延長油田存儲虛擬化技術研究及應用

張慶祝

1.西安石油大學 710065 2.延長油田股份有限公司 716000

延長油田存儲虛擬化技術研究及應用

張慶祝

1.西安石油大學 710065 2.延長油田股份有限公司 716000

本文介紹了基于主機層的虛擬化、基于存儲設備的虛擬化、基于網絡的虛擬化三種虛擬化技術，并根據延長油田數據中心的實際情況，提出了一種基于H3C CAS零存儲云平臺的云計算基礎架構技術方案，為延長油田信息化建設進一步深化應用，提供了理論依據和實踐經驗。

存儲；虛擬化；整合；H3C

一、前言

存儲技術的應用和集成是目前全球發展最快的工業技術之一，存儲技術產業已經成為IT行業內的第三大產業。存儲虛擬化技術，是指把多個存儲介質模塊通過虛擬化的手段集中管理起來，所有的存儲模塊在一個存儲池中進行統一管理，實現同構或異構的多個存儲設備的統一管理，向用戶提供一個大容量、高數據傳輸帶寬的存儲系統。存儲虛擬化技術可以減少存儲系統的管理復雜度，使得人們只需去利用虛擬化以后的統一的存儲空間，而不必去考慮物理存儲設備的細節，同時可以提高存儲設備的利用率，節約存儲設備的成本。

延長油田數據中心機房建成距今近10年，根據油田公司的業務需求，先后購買了多套不同品牌的存儲系統，如EMC、HP、IBM等，存儲著延長油田生產、物資、電力、招標、設備、勘探開發動態庫……等諸多應用系統數據，一定時期內解決了專業應用系統數據處理和數據存儲與備份的需求。隨著數據種類的不斷增加、業務處理需求不斷提高，現有存儲設備架構逐漸突顯出問題：存儲系統相互獨立、應用不均衡、不同廠商的存儲設備互相不兼容、資源不能互通和有效利用。與此同時，現有的模式也給維護管理、故障排查、性能優化、數據遷移、容災備份等進一步應用帶來極大的不便，致使更大規模的數據存儲和數據保護工作難以順利開展。通過云平臺可以有效支持各種業務系統對磁盤數據文件訪問的需求，提升系統的效率和安全性，為油田的關鍵業務系統的穩定運行提供了可靠后臺支持。

本文綜述了存儲虛擬化技術在延長油田虛擬化整合方案中的研究和應用，并探討了未來虛擬化存儲的發展方向以及存在的問題。

二、存儲虛擬化技術

虛擬存儲的技術一般分成三類：基于主機或服務器的虛擬化、基于磁盤或磁盤子系統的虛擬化和基于網絡的虛擬化。

（一）基于主機層的虛擬化

主機層的虛擬化通常是在主機上安裝存儲管理軟件，可以將多個存儲系統的存儲空間合并成單一存儲池，并能分配給各不同的主機使用。如果僅僅需要單個主機服務器（或單個集群）訪問多個磁盤陣列，可以使用基于主機的存儲虛擬化技術。虛擬化的工作通過特定的軟件在主機服務器上完成，經過虛擬化的存儲空間可以跨越多個異構的磁盤陣列。

由于基于主機的虛擬是通過軟件完成，因此會消耗系統CPU，容易造成主機的I/O性能瓶頸。同時，在每個主機上的虛擬化需要為每個主機單獨安裝軟件，從某種意義上講也就降低了系統的可靠性。

（二）基于存儲設備的虛擬化

當有多個主機服務器需要訪問同一個磁盤陣列的時候，可以采用基于陣列控制器內部的虛擬化技術。此時虛擬化的工作是在陣列控制器上完成，將一個陣列上的存儲容量劃分多個存儲空間(LUN)，供不同的主機系統訪問。這種意義的虛擬存儲器大多數專業存儲廠商都能提供。

基于存儲設備和存儲子系統的虛擬化對其后臺所使用的具體硬件的兼容性要求很高，需要參數相互匹配，因此在存儲設備升級和擴容過程中需要受到某些限制。準確地講，基于同一磁盤陣列的所謂虛擬化技術并非適合存儲整合需求的虛擬化技術。因為任何單一磁盤陣列的擴展能力有限，其擴展能力不能滿足其作為存儲池需求。

（三）基于網絡的虛擬化

基于存儲網絡的虛擬化解決方案，其核心就是能夠將網絡中的所有存儲資源分配給網絡中所有的主機使用。基于網絡的虛擬化是近來存儲工業的一個發展方向。與基于主機和存儲子系統的虛擬化不同，基于網絡的虛擬化功能是在網絡內部完成的。這個網絡就是我們常常指的存儲局域網絡（SAN）。具體的虛擬功能的實現可以在交換機、路由器、存儲服務器進行，分為帶內（inband）和帶外（out-of-band）的兩種虛擬化方式。

1、帶內虛擬

帶內虛擬，常常也稱作對稱虛擬（Symmetric），是在應用服務器和存儲的數據通路內部得以實現。在標準的設置中，在存儲服務器上運行的虛擬軟件允許控制數據（metadata）和需存儲的實際數據在相同的數據通路內傳遞。存儲服務器接受來自主機的數據請求，隨后存儲服務器會在其后臺的存儲設備中搜索數據（被請求的數據可能分布于多個存儲設備中）。當數據被找到后，存儲服務器將數據傳送給主機，完成一次完整地請求響應。在用戶看來，帶內虛擬存儲服務器好像是直接附屬在主機上的一個存儲設備（或子系統）。

2、帶外虛擬

帶外虛擬，又叫做不對稱虛擬（Asymmetric），是在數據通路外的存儲服務器上實現的虛擬功能。控制數據（metadata）和存儲數據在不同的數據通路上傳輸。一般情況下，metadata存放在使用單獨通路連接到應用服務器的存儲服務器上，而存儲數據在另外的通路中傳遞。帶外虛擬減少了網絡中的數據流量。但是一般需要在主機端安裝客戶軟件，也容易受到攻擊。

三、vStor零存儲

vStor零存儲是由H3C公司提出的一套云計算基礎架構的技術方案。相比傳統架構，這種融合技術架構具備更好的擴展性，能有效提升I/O速度，并降低空間占用和能源消耗，代表了云計算數據中心的技術發展方向。

H3C CAS零存儲云平臺融合了計算虛擬化和存儲虛擬化，在一個硬件平臺上同時提供計算資源和存儲資源。通過這一平臺可以構架無專門共享存儲設備的IDC，從而極大的降低采購成本。H3C CAS零存儲方案采用了MPP架構，該架構是目前互聯網普遍采用的計算、存儲一體化架構，具有很強的可擴展性。而且CAS零存儲方案在互聯網架構的基礎上，進一步改進了元數據管理方案，采用無中心節點的分布式元數據管理，不僅消除了元數據服務器存在的單點故障，而且實現高度自動化管理，減少了維護復雜性。CAS零存儲方案采用的存儲虛擬化技術，如分布式LUN、分布式熱備空間、多副本設計等，是目前高端存儲普遍采用的技術，如EMC VMAX，IBM XIV，HP 3PAR等都采用相同或者類似的技術，這些技術都是提供存儲高可用性和穩定一致的存儲性能的關鍵技術。

H3C CAS零存儲充分利用了提供計算虛擬化的服務器的磁盤驅動器資源，從而虛擬出一個共享存儲供虛擬機使用。這個虛擬的共享存儲在功能上與獨立共享存儲完全一致；同時由于虛擬SAN與計算完全融合在一個平臺上，用戶無需像以往那樣購買連接計算服務器和存儲設備的SAN網絡設備。

四、延長油田存儲虛擬化方案設計與實現

（一）分布式LUN設計

在H3C CAS零存儲云平臺中，每臺服務器同時也是一個存儲節點。除了安裝平臺軟件的系統盤外，每個節點上的其他所有磁盤空間都被劃分為大小相等的存儲塊，這些存儲塊稱為“chunk”。CAS會使整個LUN的chunk盡量均勻分布在所管理的全部節點和物理磁盤上，這樣的設計使得對LUN的IO操作能利用整個系統中全部節點和磁盤的性能，也就是說用戶創建的LUN將橫跨全部服務器節點。

當用戶創建一個LUN時，CAS并不會馬上為該LUN分配實際的物理存儲空間，而是采用精簡模式，在有數據寫入的時候以chunk為單位分配存儲空間。

（二）高可用性設計

用戶可以根據業務需要為數據設置副本數量。CAS支持用戶為每個LUN設置2－5個副本，并且使得不同的副本分布在不同的服務器和物理磁盤上，從而提供最大的容錯性。當一個服務器故障，甚至多臺服務器故障時，系統仍能正常工作，而且數據不丟失。CAS允許數據副本按照機柜分布，即同一數據的不同副本會存放在不同的機柜中。

當出現大面積的同時故障導致某些用戶數據所有副本都丟失的時候（比如存有同一數據不同副本的硬件恰好同時全部故障），受影響的只是這些丟失的數據，其他數據和共享存儲服務仍然正常運行。

（三）高性能設計

1.7 設計方法：處理和對照均為綏農26號大豆品種，公頃用48%開磷復合肥200kg，加入50%硫酸鉀50kg，均為5月11日播種，公頃用大豆種子為55kg。播種后第三天，即5月14日，用99%乙草胺1800mg/公頃+75%噻吩磺隆30g/公頃，兌水500kg/公頃，封閉滅草。田間管理均為趟兩遍地，苗后莖葉處理用25%氟磺胺草醚2000ml/公頃+12%烯草酮1200ml/公頃兌水320kg均勻噴霧，秋后拿一遍大草。田間防治病蟲害時用藥劑及時防治，大豆食心蟲防治時間為8月7日，通過秋季測產及收獲看，食心蟲防效甚好，蟲食率較低。

CAS零存儲云平臺提供的虛擬SAN本質上是一種分布式架構（單一集群最大能管理256個服務器節點），其存儲容量和性能隨著服務器節點的增加而線性增加。由于每個LUN都橫跨全部服務器節點和物理磁盤，所以每個LUN都可以利用全部服務器和物理磁盤的性能，從而提供比傳統存儲更高的性能。

此外，不同于傳統RAID以專用空閑磁盤作為熱備，CAS零存儲云平臺自動提供熱備空間，并且將熱備空間均勻分布在全部服務節點上。這樣當數據重構啟動后，全部服務器及物理磁盤都可以參與重構從而實現最佳的重構效率。

可以在每個服務器節點上配置RAID卡緩存來增強IO性能，根據存儲容量的不同可以配置512MB-2GB不等的RAID卡緩存。在追求更高性能的時候，還可以在每臺服務器上配置2塊SSD固態硬盤作為緩存。

（四）自動化管理設計

CAS零存儲系統采用無中心架構，每個服務器節點的角色完全一樣，這樣用戶無需像傳統分布式存儲系統那樣管理元數據服務器。而且整個虛擬存儲系統的元數據采用分布式設計，由系統自動管理，無需人工干預。

當系統擴容時，用戶只需幾條簡單命令將物理部件加入集群，系統上原有的數據將自動重新均衡，原有LUN將自動擴展到新的物理設備上。

五、延長油田零存儲云數據中心方案部署

利用H3C公司的云業務單元，可以搭建架構簡潔、性能穩定的云計算數據中心。H3C云業務單元是集成了計算虛擬化和存儲虛擬化特性的軟硬件集成平臺，能同時提供虛擬計算和虛擬存儲資源。多個云業務單元通過以太網絡連接在一起，構成功能完善、性能優越的云計算中心。

下圖是由三個業務單元組成的云計算數據中心組網圖，用戶根據業務對計算資源和存儲資源的需求，選配不同型號的云業務單元，配置容量和性能最適合的物理硬盤。集群數據交換網絡用于云業務單元之間的數據交換，建議采用10G以太網交換機。集群管理網絡用于云業務單元內部管理，可采用千兆以太網交換機。對外業務網絡用于數據中心對外提供業務。

圖4 云計算數據中心組網圖

六、結束語

2011年后，延長油田數據中心核心網絡和服務器等設備陸續進駐，機房建設得到不斷延伸和擴展。按照公司下一步信息化建設規劃，未來對于存儲能力將是一個十分龐大的需求。延長油田信息化建設正探索有效的方法解決數據中心面臨的問題，最大化信息化建設效能，是深化數據中心信息化建設的重要組成部分。

存儲虛擬化技術能夠改善機房的運行環境，減少存儲系統數量、優化資源配置并簡化管理，是延長油田深化建設，最大化的發揮資源作用，促進信息化主動為集團服務的一種重要手段。

根據延長油田數據中心的實際情況，本文提出了一種基于H3C CAS零存儲云平臺的云計算基礎架構技術方案。它融合了計算虛擬化和存儲虛擬化，在一個硬件平臺上同時提供計算資源和存儲資源。通過這一平臺構架無專門共享存儲設備的IDC，從而極大的降低采購成本。方案實施后，可有效地支持了各種業務系統對不同存儲磁盤需求，提升系統的管理效率和關鍵應用系統數據的安全性，為油田的關鍵業務系統的穩定運行提供了可靠后臺支持，減少了系統運行風險和運維成本。將來，系統進一步擴展可以實現對異構存儲環境的整合，以便適應集中的數據存儲和未來的異地容災的需要。

[1]張光．存儲虛擬化技術的研究[D]．北京交通大學,2013．

[2]覃志武,方凱彬,劉北卓．存儲虛擬化技術研究與比較分析[J]．信息與電腦(理論版),2016(08)．

[2]李云英．存儲虛擬化技術在企業數據中心的應用[J]．電腦知識與技術,2014(18)．

張慶祝，男，西安石油大學碩士研究生，延長油田股份有限公司職工。