探索分布式文件系統(tǒng)應用場景的案例

【摘? 要】某數(shù)據(jù)中心中由ESXI主機（PC服務器）+存儲構(gòu)成的vSphere HA集群存在兩個問題：一是存儲資源消耗較大;二是PC服務器內(nèi)置硬盤利用率不高。分布式文件系統(tǒng)軟件的出現(xiàn)為開發(fā)和利用集群內(nèi)置硬盤資源提供了一個新的方向，論文對此方面進行了一些有益的探索和實驗。

【Abstract】There are two problems existing in the vSphere HA cluster composed of ESXI host （PC server） + storage in a data center： one is the large consumption of storage resources; the other is the low utilization of built-in hard disk of PC server. The emergence of distributed file system software provides a new direction for the development and utilization of cluster built-in hard disk resources. This paper makes some beneficial explorations and experiments on this aspect.

【關(guān)鍵詞】GlusterFS Linux Vmware;分布式文件系統(tǒng);應用場景

【Keywords】GlusterFS Linux Vmware; distributed file system; application scenario

【中圖分類號】TP333? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?【文獻標志碼】A? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?【文章編號】1673-1069（2020）06-0160-02

1 案例實施背景

當前，某數(shù)據(jù)中心PC服務器數(shù)量已達上百臺，按部署架構(gòu)大致可分為兩類：

①少量PC服務器作為實體機使用，主要承載管理類數(shù)據(jù)庫等對運算資源要求較高的應用，一般外接存儲和NAS，內(nèi)置硬盤中只需2塊作RAID1用以部署操作系統(tǒng)，其余硬盤沒有明確用途。

②其余大部分PC服務器用作虛擬資源池。基于業(yè)務連續(xù)性等方面的考慮，重要應用系統(tǒng)所用的虛擬機主要部署在vSphere HA集群。vSphere HA集群由若干ESXI主機（PC服務器）+存儲構(gòu)成，一般情況下，業(yè)務數(shù)據(jù)放置于存儲，主機內(nèi)置硬盤僅用于安裝ESXI操作系統(tǒng)。

上述部署架構(gòu)存在兩個問題：第一，存儲資源消耗量較大;第二，PC服務器內(nèi)置硬盤資源實際大量閑置，利用率較低。分布式文件系統(tǒng)軟件的出現(xiàn)為該情況的改善提供了契機，為集群內(nèi)置硬盤資源的使用提供了一個新的方向，在此方面，本文進行了一些積極的探索和實驗。

2 案例實施方案

2.1 準備工作

2.1.1 軟件選型

①商用軟件FusionStorage

商用軟件FusionStorage的優(yōu)點是相對成熟且易獲得技術(shù)支持;缺點是對硬件要求較高，與現(xiàn)有虛擬資源池架構(gòu)契合度不好，主要表現(xiàn)為：基于虛擬機的融合部署時，需要將硬盤和RAID卡都直通給CVM，但RAID卡直通給CVM后，安裝ESXI的硬盤就無法被系統(tǒng)識別，導致ESXI無法啟動。融合部署有一規(guī)避方法就是將RH2288H后置面板上的2塊硬盤直接接到主板的SATA口上，不通過RAID卡，但此方法只能將ESXI安裝在單盤上，無法組RAID，因此，存在風險。

②開源軟件

常見的開源軟件包括MooseFS（MFS）、Ceph、GlusterFS、Lustre、Hadoop等。經(jīng)調(diào)研，上述軟件中GlusterFS的安裝相對簡單，無Metadata Server節(jié)點，且具有易擴展、適合存儲大文件等特點，因此，本文采用了該軟件作為實驗對象。

2.1.2 軟件安裝

實驗環(huán)境搭建于專用測試網(wǎng)段，使用13臺Linux服務器，1臺作為Client，其余12臺作為GlusterFS Server。共測試兩個版本：Suse11 sp3 + GlusterFS 3.6.5和Suse 12 sp2 + GlusterFS 3.10.0rc0。

2.1.3 配置

①先建立虛擬機模板，在模板的/etc/hosts文件中加入所有Server和Client的地址和主機名，按照RUNBOOK設置相關(guān)參數(shù)。

②使用模板克隆和部署12臺Server虛擬機和1臺Client虛擬機，并為各虛擬機設置主機名、地址。虛擬機部署于各ESXI主機的內(nèi)置硬盤datastore。每臺主機上只部署1臺虛擬機，并要確保各ESXI主機連接相同的2臺交換機，且虛擬機使用專門的1～2塊網(wǎng)卡，以減少跨交換機流量和降低對其他虛擬機的影響。

③使用內(nèi)置硬盤為各虛擬機增加虛擬硬盤，建立文件系統(tǒng)，在該文件系統(tǒng)下建立data目錄（此處名稱任意），并在fstab中加入相關(guān)信息。

④清除/var/lib/glusterd/下的文件，設置Glusterd為自動啟動，重啟操作系統(tǒng)。

⑤配置volume

在任一Server虛擬機內(nèi)執(zhí)行：

gluster peer prob? HEBTVL-GFSS-A01

gluster peer prob? HEBTVL-GFSS-A02

……

gluster peer prob? HEBTVL-GFSS-A12

gluster volume create VOL_LUN0_C1 transport tcp HEBTVL-GFSS-A01：/brick/LUN0/data #可根據(jù)需要設置volume類型

gluster volume add-brick VOL_LUN0_C1 HEBTVL-GFSS-A02：/brick/LUN0/data

……

Gluster volume add-brick VOL_LUN0_C1HEBTVL-GFSS-A07：/brick/LUN0/data

gluster volume? VOL_LUN0_C1 start

gluster volume set LUN0_C1 performance.readdir-ahead off

⑥配置客戶端

#mount 文件系統(tǒng)（使用fuse）

mount -t glusterfs -o backupvolfile-Server=HEBTVL-GFSS-A01，backupvolfile-Server=HEBTVL-GFSS-A02? HEBTVL-GFSS- A03：/VOL_LUN0_C1 /gfs? ||? ? mkdir /gfs/nfs

#export nfs? ? ?echo"/gfs/nfs? 10.59.12.0/255.255.255.0（fsid=0，rw，root_squash，sync，no_subtree_check，crossmnt）" >> /etc/exports

exportfs -av

值得注意的是，除fuse外，GlusterFS還支持iscsi方式共享volume。

2.2 分布式文件系統(tǒng)的使用

2.2.1 虛擬機備份

以Client虛擬機為中繼，將GlusterFS volume掛載到ESXI主機，掛載成功后即可作為ESXI主機的datastore使用，替代NAS。

2.2.2 IQ庫備份文件的恢復驗證

某數(shù)據(jù)中心的IDFB系統(tǒng)IQ庫USER空間已近7T，每次備份需6T存儲空間，且備份期間I/O消耗較大。針對這一難題，本文使用GlusterFS 3.6.7新建了一個striped 4（4個節(jié)點一組作條帶化）的volume用于IQ庫備份和稍后的恢復驗證：

gluster volume create VOL_LUN1_C1S4 stripe 4? transport tcp xxxTVL-GFSS-A01：/brick/LUN0/data xxxTVL-GFSS-A02：/brick/LUN0/data xxxTVL-GFSS-A03：/brick/LUN0/data xxxTVL-GFSS-A04：/brick/LUN0/data xxxTVL-GFSS-A05：/brick/LUN0/data xxxTVL-GFSS-A06：/brick/LUN0/data xxxTVL-GFSS-A07：/brick/LUN0/data HEBTVL-GFSS-A08：/brick/LUN0/data

經(jīng)測試，在4節(jié)點作條帶化情況下，IDFB使用千兆網(wǎng)卡訪問GlusterFS volume時寫入速度可穩(wěn)定達到117MB/s（網(wǎng)卡傳輸速率的上限），單個節(jié)點寫入速度最高為29.3MB/s（volume寫入速度的1/4）。

3 經(jīng)驗與收獲

①PC服務器安裝前應提前調(diào)整硬盤分布，將硬盤集中到部署分布式文件系統(tǒng)的機器上，必要時提前劃好RAID。

②ESXI主機應具備3塊以上物理網(wǎng)卡，實現(xiàn)聯(lián)機（online）請求與文件傳輸（offline）的網(wǎng)絡分離。

③GlusterFS Server虛擬機和客戶端對應的ESXI主機應盡可能連接相同IP交換機，以減少跨交換機的網(wǎng)絡流量。

【參考文獻】

【1】楊靖煒.服務器虛擬化在醫(yī)院信息系統(tǒng)中的應用[J].計算機產(chǎn)品與流通，2020（4）.

【作者簡介】劉嘉奕（1998-），男，河北石家莊人，本科在讀，從事軟件工程研究。