分布式存儲(chǔ)在私有云平臺(tái)中的應(yīng)用

羅中涌

（南京廣電集團(tuán)，江蘇 南京 210000）

隨著媒體融合的大時(shí)代到來(lái)，尤其全媒體等概念的提出讓媒體的呈現(xiàn)形態(tài)多樣化、復(fù)雜化，為適應(yīng)新時(shí)代的發(fā)展，企業(yè)內(nèi)部更加依賴云計(jì)算等基礎(chǔ)設(shè)施的建設(shè)，而媒體由于行業(yè)特殊性，數(shù)據(jù)安全以及隱私保護(hù)尤為重要，所以在云計(jì)算框架中的選擇更傾向于私有云，而存儲(chǔ)作為關(guān)鍵組件變得異常重要，一般在企業(yè)內(nèi)部會(huì)選擇EMC、華為、曙光和浪潮等外部共享存儲(chǔ)，這類存儲(chǔ)由于其安裝、維護(hù)有廠家提供服務(wù)而受到青睞，但這類存儲(chǔ)存在拓展性不強(qiáng)、后期維護(hù)成本高的缺點(diǎn)，從而研究出了一系列成本低、拓展靈活的分布式存儲(chǔ)作為替代方案，其中有開(kāi)源免費(fèi)和私有收費(fèi)兩種方案，后文將詳細(xì)介紹兩種分布式存儲(chǔ)的應(yīng)用。

1.分布式存儲(chǔ)的介紹

企業(yè)在私有云計(jì)算平臺(tái)的搭建過(guò)程中，大量充當(dāng)運(yùn)算節(jié)點(diǎn)的物理主機(jī)擁有容量大、性能強(qiáng)、安全性有保障的本地存儲(chǔ)，由于其只存在本地，無(wú)法直接共享給外部使用而未得到充分利用，以筆者所在的單位來(lái)說(shuō)，我們擁有幾十臺(tái)物理主機(jī)，平均每臺(tái)擁有已經(jīng)配置過(guò)RAID 的容量1T 左右的本地存儲(chǔ)，大量閑置的存儲(chǔ)空間如果不加以利用將帶來(lái)巨大的資源浪費(fèi)，而通過(guò)納入分布式存儲(chǔ)集群，可以得到數(shù)10T 左右的具有對(duì)外共享能力的分布式存儲(chǔ)，而采購(gòu)數(shù)10T 的外部共享存儲(chǔ)費(fèi)用將達(dá)到數(shù)十萬(wàn)，成本優(yōu)勢(shì)非常明顯。

分布式存儲(chǔ)的實(shí)現(xiàn)方式主要是通過(guò)軟件層來(lái)實(shí)現(xiàn)的，將每個(gè)節(jié)點(diǎn)的本地存儲(chǔ)通過(guò)軟件抽象化成存儲(chǔ)池，然后納入一個(gè)統(tǒng)一的存儲(chǔ)集群。軟件層的實(shí)現(xiàn)方式常見(jiàn)的有兩大類，一種是以VMware 私有的vSAN 為代表，一種是Ceph 和Gluster 等開(kāi)源的分布式存儲(chǔ)系統(tǒng)。

2.分布式存儲(chǔ)的實(shí)現(xiàn)

2.1 利用vSAN 實(shí)現(xiàn)分布式存儲(chǔ)

vSAN 是VMware 公司開(kāi)發(fā)的作為ESXI 系統(tǒng)集成的一套實(shí)現(xiàn)分布式存儲(chǔ)的軟件層，通過(guò)軟件定義的方法為實(shí)現(xiàn)將ESXI 主機(jī)的本地物理存儲(chǔ)轉(zhuǎn)化為存儲(chǔ)池，然后通過(guò)它的管理軟件將存儲(chǔ)劃分給集群中的虛擬機(jī)使用。vSAN 與vSphere 是高度集成的，只要企業(yè)內(nèi)部采用的是vSphere 的架構(gòu)部署私有云平臺(tái)，通過(guò)授權(quán)就可以激活vSAN 使用，不需要安裝額外的軟件、插件或者存儲(chǔ)控制臺(tái)進(jìn)行管理，只需要在vSphere Client或vSphere Web Client 中就可以實(shí)現(xiàn)部署、管理和監(jiān)控vSAN，運(yùn)維門檻大大降低。

為避免出現(xiàn)單節(jié)點(diǎn)故障導(dǎo)致數(shù)據(jù)丟失風(fēng)險(xiǎn)，在vSAN 的設(shè)計(jì)過(guò)程中需要特別考慮到故障域的要求，計(jì)算一個(gè)集群中vSAN 故障域的數(shù)量（D 表示）可以參考以下公式，其中N 表示最多容忍多少個(gè)vSAN 節(jié)點(diǎn)出現(xiàn)故障：

即，vSAN 的部署時(shí)故障域至少要有三個(gè)才能容忍集群中同時(shí)最多一個(gè)節(jié)點(diǎn)發(fā)生故障而系統(tǒng)還能正常運(yùn)行，同理，如果希望集群中同時(shí)出現(xiàn)兩個(gè)節(jié)點(diǎn)故障時(shí)系統(tǒng)還能正常運(yùn)行則vSAN 的故障域至少需要五個(gè)。

2.2 引入開(kāi)源系統(tǒng)，自主搭建分布式存儲(chǔ)

相對(duì)于vSAN 這種專屬VMware 的私有協(xié)議，還存在大量開(kāi)源且應(yīng)用廣泛的分布式存儲(chǔ)系統(tǒng)，例如HDFS（Hadoop Distributed File System）Hadoop 分布式文件系統(tǒng)、Ceph 和Gluster 等。其中HDFS 可以在通用設(shè)備上運(yùn)行，硬件要求不高，系統(tǒng)容錯(cuò)率高，能提供高吞吐量的數(shù)據(jù)訪問(wèn)，特別適合大文件存儲(chǔ)傳輸，Ceph 因其高性能、高可用、拓展性強(qiáng)且接口豐富，同時(shí)支持塊存儲(chǔ)、文件存儲(chǔ)和對(duì)象存儲(chǔ)的特點(diǎn)而受到很多企業(yè)的青睞，而Gluster 屬于輕量級(jí)、部署復(fù)雜度相對(duì)較低的分布式文件存儲(chǔ)系統(tǒng)在市場(chǎng)中也占據(jù)一定的份額。

分布式存儲(chǔ)系統(tǒng)的搭建也需要充分考慮企業(yè)內(nèi)部的云計(jì)算架構(gòu)。而企業(yè)在私有云架構(gòu)的選擇面非常廣，其中VMware 公司的vSphere 在部署過(guò)程中無(wú)論是硬件還是技術(shù)門檻相對(duì)較低而受到不少中小型企業(yè)的歡迎，開(kāi)源的Iaas 項(xiàng)目比如OpenStack 因其免費(fèi)開(kāi)源、組件豐富、功能強(qiáng)大，具有高度定制能力，對(duì)于有一定開(kāi)發(fā)能力的企業(yè)也是不錯(cuò)的選擇，另外隨著容器技術(shù)的進(jìn)一步發(fā)展，這種新的虛擬技術(shù)由于其靈活輕量，大大節(jié)省了硬件資源、應(yīng)用的部署以及移植的時(shí)間，尤其Kubernetes（K8s）這款容器集群管理系統(tǒng)的廣泛應(yīng)用之后，讓容器的部署、規(guī)劃、更新和維護(hù)變得更便利更智能，本文采用K8s 部署私有云平臺(tái)，同時(shí)每個(gè)節(jié)點(diǎn)均部署Gluster 分布式文件系統(tǒng)，私有云與分布式存儲(chǔ)混合運(yùn)行，大大提高了硬件資源的利用率，節(jié)省了企業(yè)在云平臺(tái)部署中的經(jīng)濟(jì)投入。文中所采用的云計(jì)算與分布式存儲(chǔ)系統(tǒng)架構(gòu)如圖1 所示，納入私有云計(jì)算集群中的物理主機(jī)總共有4 臺(tái)，均安裝有CentOS Stream 系統(tǒng)，同時(shí)部署有K8s 集群系統(tǒng)，而在每一臺(tái)主機(jī)上再搭建Gluster 分布式存儲(chǔ)系統(tǒng)，再將本地磁盤配置到存儲(chǔ)系統(tǒng)中，通過(guò)K8s 集群的資源調(diào)度可以將Gluster 分布式存儲(chǔ)系統(tǒng)的存儲(chǔ)資源利用到容器中去。

Gluster 集群擁有去中心化的設(shè)計(jì)理念，每一個(gè)節(jié)點(diǎn)為一個(gè)peer，擁有同等的地位，避免了中心化設(shè)計(jì)中處理過(guò)程的過(guò)分集中以及單節(jié)點(diǎn)故障導(dǎo)致整個(gè)系統(tǒng)無(wú)法正常運(yùn)轉(zhuǎn)。同時(shí)擁有高度彈性的擴(kuò)展能力，新的節(jié)點(diǎn)需要接入集群時(shí)，只需在該節(jié)點(diǎn)簡(jiǎn)單完成相應(yīng)配置即可自由加入集群，如圖2 所示：

圖2 Gluster 集群示意圖

數(shù)據(jù)在Gluster 集群中的存放結(jié)構(gòu)可以有很多種，類似于磁盤陣列的概念，從而就決定了它可以實(shí)現(xiàn)數(shù)據(jù)的冗余保護(hù)以及讀取性能提升。通過(guò)對(duì)卷軸的模式選擇，可以實(shí)現(xiàn)類于RAIDO、RAID1 和RAID5 的功能，圖3 將以復(fù)制卷（Replicated Volume）為例演示數(shù)據(jù)冗余的實(shí)現(xiàn)。復(fù)制卷會(huì)完整的將每個(gè)文件的副本保存在分布式節(jié)點(diǎn)上，從而實(shí)現(xiàn)了類似于RAID1 的數(shù)據(jù)鏡像冗余，提供高級(jí)別的數(shù)據(jù)保護(hù)。

Gluster 集群對(duì)外提供存儲(chǔ)服務(wù)有三個(gè)常見(jiàn)的訪問(wèn)方式，一種為客戶端訪問(wèn)方式，一種是借助第三方NFS 文件服務(wù)器NFS-Ganesha 將卷軸以 NFS 協(xié)議發(fā)布，還可以借助heketi 為Gluster 集群提供RESTful 接口再統(tǒng)一對(duì)外服務(wù)。

其中，客戶端訪問(wèn)方式需在訪問(wèn)端額外安裝支持glusterfs 的客戶端軟件，然后再通過(guò)掛載成為glusterfs文件系統(tǒng)的方式使用，非Linux 系統(tǒng)的兼容性不強(qiáng)。通過(guò)NFS-Ganesha 第三方軟件發(fā)布NFS 服務(wù)，只需在服務(wù)端配置，客戶端只要支持NFS 協(xié)議即可，兼容性非常強(qiáng)，不管是Linux、Windows 還是macOS 都可以方便地使用。另外一種是借助heketi 為Gluster 集群提供RESTful 接口，為私有云平臺(tái)K8s 集群提供自動(dòng)化管理Gluster 卷軸的統(tǒng)一接口，下文將重點(diǎn)介紹這種方式。

Gluster 是一個(gè)去中心化、各節(jié)點(diǎn)地位平等的分布式存儲(chǔ)系統(tǒng)，這樣在對(duì)外提供存儲(chǔ)服務(wù)時(shí)無(wú)法做到統(tǒng)一入口，但是通過(guò)heketi 可以將Gluster 各個(gè)節(jié)點(diǎn)統(tǒng)一成一個(gè)集群并對(duì)外發(fā)布統(tǒng)一的RESTful 接口，而在K8s集群中，存儲(chǔ)類選擇glusterfs 為制備器（provisioner），則可以利用heketi 的對(duì)外RESTful 接口對(duì)Gluster 的卷軸進(jìn)行生命周期的自動(dòng)化管理。

以下將通過(guò)實(shí)驗(yàn)的方法在K8s 集群中實(shí)現(xiàn)上述功能，首先假設(shè)K8s 集群已經(jīng)部署完成，Gluster 分布式存儲(chǔ)集群也已經(jīng)配置完畢，heketi 程序安裝完成后，需編輯heketi.json 配置文件及配置topology，把所有Gluster 分布式節(jié)點(diǎn)納入heketi 的拓?fù)浣Y(jié)構(gòu)中，然后再將每個(gè)節(jié)點(diǎn)中的本地磁盤添加到設(shè)備中來(lái)，最后啟動(dòng)heketi 服務(wù)。通過(guò)命令可以獲取到集群信息，如下圖4：

圖4 heketi 集群信息

Heketi 服務(wù)開(kāi)啟完成后，在K8s 的控制節(jié)點(diǎn)上創(chuàng)建并應(yīng)用名為glusterfs 的存儲(chǔ)類，具體配置參照?qǐng)D5所示，其中volumetype 選擇了復(fù)制卷，數(shù)量為3，也就意味著在K8s 通過(guò)glustefs 存儲(chǔ)類創(chuàng)建的每個(gè)卷軸會(huì)以復(fù)制卷的形式在Gluster 集群中的三個(gè)節(jié)點(diǎn)同時(shí)創(chuàng)建，同樣一份數(shù)據(jù)，會(huì)在Gluster 集群中不同節(jié)點(diǎn)保存三份，實(shí)現(xiàn)了數(shù)據(jù)的多節(jié)點(diǎn)備份。

圖5 K8s 集群存儲(chǔ)類配置

由于在K8s 中StatefulSet 可用來(lái)管理某Pod 集合的部署和擴(kuò)縮，并為這些 Pod 提供持久存儲(chǔ)和持久標(biāo)識(shí)符，所以對(duì)于上述glustefs 存儲(chǔ)類的使用方法，本文中通過(guò)部署statefulset 狀態(tài)服務(wù)web-nginx，配置volumeClaimTemplates 參數(shù)可自動(dòng)通過(guò)glustefs 存儲(chǔ)類創(chuàng)建持久卷（PV）和持久卷申領(lǐng)（PVC），StatefulSet中volumeClaimTemplates 配置如圖6 所示，最終生成的Pod、PV 和PVC 如圖7 所示，而再去查看Gluster 集群時(shí)，會(huì)有三個(gè)節(jié)點(diǎn)已通過(guò)LVM 創(chuàng)建三個(gè)1G 存儲(chǔ)空間的邏輯卷軸并自動(dòng)掛載，節(jié)點(diǎn)數(shù)量由volumetype 中復(fù)制卷的數(shù)量決定，而創(chuàng)建邏輯卷軸的數(shù)量由StatefulSet 的副本數(shù)replicas 的值決定，生成的邏輯卷軸如圖8 所示，以上所有操作完成后就實(shí)現(xiàn)了在K8s 自動(dòng)化管理Gluster 卷軸。

圖6 volumeClaimTemplates 配置

圖7 Pod、PV 和PVC 生成情況

圖8 Gluster 集群創(chuàng)建的邏輯卷軸

3.分布式存儲(chǔ)實(shí)現(xiàn)方式對(duì)比

本文介紹了兩種分布式存儲(chǔ)的實(shí)現(xiàn)方式，第一種是VMware 公司開(kāi)發(fā)的vSAN，第二種是通過(guò)開(kāi)源軟件系統(tǒng)Gluster。vSAN 是通過(guò)私有協(xié)議開(kāi)發(fā)，與vSphere深度綁定，適用于以vSphere 為框架的云計(jì)算平臺(tái)，部署方便，運(yùn)維門檻低，只需通過(guò)授權(quán)開(kāi)啟vSAN 權(quán)限，通過(guò)VMware 自己的軟件套件vSphere Client 或vSphere Web Client 即可完成部署和后期維護(hù)，但脫離vSphere框架無(wú)法獨(dú)立在其他例如OpenStack 或Kubernetes 等平臺(tái)上運(yùn)行。開(kāi)源分布式存儲(chǔ)Gluster 的應(yīng)用場(chǎng)景十分廣闊，基于常見(jiàn)的Linux 發(fā)行版如Ubuntu、CentOS 和SUSE 都可以部署，除此之外還可以在Kubernetes 上通過(guò)容器方式完成部署，最突出的優(yōu)勢(shì)在于通過(guò)第三方開(kāi)源程序heketi 還能將Gluster 分布式存儲(chǔ)集群對(duì)外提供統(tǒng)一服務(wù)接口，從而使K8s 實(shí)現(xiàn)了對(duì)Gluster 卷軸生命周期的自動(dòng)化管理。

結(jié)語(yǔ)

在企業(yè)內(nèi)部私有云的搭建與后期運(yùn)維過(guò)程中，對(duì)存儲(chǔ)的依賴極其高，安全性與經(jīng)濟(jì)性都需要綜合考慮。外部共享存儲(chǔ)由于成本高，擴(kuò)張性不強(qiáng)給了分布式存儲(chǔ)較大的應(yīng)用空間，以筆者所在單位為例，我們有一個(gè)外部共享存儲(chǔ)長(zhǎng)期磁盤空間使用率超過(guò)80%，由于這類存儲(chǔ)的拓展性受限，只能選擇將重要數(shù)據(jù)遷移到其他共享存儲(chǔ)上去，即便像EMC 等廠商近年來(lái)也提供了額外增加存儲(chǔ)節(jié)點(diǎn)的解決方案，但高昂的成本也讓很多單位望而卻步，而如果企業(yè)采用分布式存儲(chǔ)的存儲(chǔ)架構(gòu)，就可以同時(shí)兼顧存儲(chǔ)的安全性與經(jīng)濟(jì)性，如果采用vSAN 方案只需要一次性支付數(shù)千美元購(gòu)買許可證，再通過(guò)簡(jiǎn)單配置就可以將本地存儲(chǔ)升級(jí)成幾十TB 空間的共享存儲(chǔ)，如果采用Gluster 這類開(kāi)源分布式存儲(chǔ)系統(tǒng)無(wú)須支付任何軟件授權(quán)費(fèi)，只需在通用硬件上部署運(yùn)行即可以將本地存儲(chǔ)納入分布式存儲(chǔ)中，后期需要拓展也僅需再準(zhǔn)備一臺(tái)通用的服務(wù)器，通過(guò)簡(jiǎn)單的配置即可加入原始的存儲(chǔ)集群，彈性靈活，成本大大降低，分布式的設(shè)計(jì)也避免了單節(jié)點(diǎn)故障實(shí)現(xiàn)數(shù)據(jù)冗余保護(hù)，相較于傳統(tǒng)的外部共享存儲(chǔ)，可以作為不錯(cuò)的替代解決方案。