一種分布式文件存儲(chǔ)系統(tǒng)的探索與應(yīng)用

[摘 要]為了提升私有云環(huán)境下文件存儲(chǔ)系統(tǒng)的可用性，降低擁有成本，通過對(duì)比分析提出了基于開源軟件MooseFS（MFS）設(shè)計(jì)的分布式文件存儲(chǔ)系統(tǒng)的解決方案。在獨(dú)立二層網(wǎng)絡(luò)內(nèi)，部署六臺(tái)普通配置的X86機(jī)架式服務(wù)器，把服務(wù)器本地小容量硬盤聚合成一個(gè)存儲(chǔ)容量為1.7TB的網(wǎng)絡(luò)硬盤。通過實(shí)例驗(yàn)證，該方案能提供優(yōu)于傳統(tǒng)集中式存儲(chǔ)的讀寫性能。通過創(chuàng)新的部署實(shí)踐，進(jìn)一步提升了系統(tǒng)的容錯(cuò)能力和易用性。加之利舊企業(yè)存量服務(wù)器大幅降低了建設(shè)運(yùn)維成本，證明了這一選型能夠滿足云環(huán)境下對(duì)文件存儲(chǔ)系統(tǒng)高可用、低成本的需求。

[關(guān)鍵詞]MooseFS；分布式存儲(chǔ)；云計(jì)算；文件存儲(chǔ)；虛擬化

[DOI]10.13939/j.cnki.zgsc.2017.12.036

當(dāng)前，企業(yè)數(shù)據(jù)中心仍主要采用以FC-SAN為代表的集中式存儲(chǔ)設(shè)備。但隨著云技術(shù)的快速落地，特別是在企業(yè)私有云建設(shè)中，集中式存儲(chǔ)陣列的疲態(tài)明顯。

（1）性能提升代價(jià)大。處理性能的提升與容量的增長(zhǎng)非線性關(guān)系。

（2）擴(kuò)容成本高。專用存儲(chǔ)設(shè)備換代快，且綁定硬件廠商，只能進(jìn)行存儲(chǔ)的scale-up，擴(kuò)容費(fèi)用高。

（3）維護(hù)成本高。專用存儲(chǔ)運(yùn)維需要設(shè)備制造商專門的服務(wù)，年維保費(fèi)用往往很高，設(shè)備生命周期總體擁有成本高。

（4）單點(diǎn)故障。本文將探索一種類似Google分布式文件系統(tǒng)GFS[1]的分布式存儲(chǔ)系統(tǒng)，通過橫向分析對(duì)比同類技術(shù)后擇優(yōu)選型，然后在特定場(chǎng)景部署實(shí)例，驗(yàn)證其替代傳統(tǒng)集中式文件存儲(chǔ)的可行性，解決上述問題。

1 分布式文件存儲(chǔ)概述及對(duì)比

“分布式存儲(chǔ)系統(tǒng)是大量普通PC服務(wù)器通過Internet互聯(lián)，對(duì)外作為一個(gè)整體提供存儲(chǔ)服務(wù)。”[2]

2 MFS分布式文件存儲(chǔ)概述

2.1 MFS功能架構(gòu)

MFS整體架構(gòu)有四種角色[3]：Managing servers（master servers）、Data servers（chunk servers）、Metadata backup server（s）（metalogger server）、Client。

2.2 MFS讀寫原理

3 安裝部署MFS實(shí)例

3.1 集群規(guī)劃及拓?fù)?/p>

在獨(dú)立二層網(wǎng)絡(luò)內(nèi)，部署六臺(tái)普通配置的X86機(jī)架式服務(wù)器，服務(wù)器本地硬盤在100～400GB。所有服務(wù)器通過一臺(tái)低端二層以太網(wǎng)交換機(jī)單鏈路互聯(lián)，組合成一個(gè)總?cè)萘?.7TB的邏輯存儲(chǔ)。提供網(wǎng)絡(luò)文件系統(tǒng)服務(wù)，如圖1所示。

3.2 MFS集群安裝

有兩種安裝方式可供選擇：官方軟件庫安裝、源碼編譯安裝。本文采用軟件庫安裝方式。集群軟硬件配置如表2所示。

安裝步驟：

（1）添加yum key：curl "http：//ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS

（2）下載軟件庫配置文件：

curl "http：//ppa.moosefs.com/MooseFS-3-el6.repo" > /etc/yum.repos.d/MooseFS.repo

（3）分別在不同節(jié)點(diǎn)安裝所需軟件包：

yum install moosefs-master moosefs-cgi moosefs-chunkserver moosefs-client moosefs-cgiserv

（4）啟動(dòng)服務(wù)：

service moosefs-*** start

3.3 集群配置使用

（1）修改Chunkserver節(jié)點(diǎn)的mfshdd.cfg文件。加入本地文件系統(tǒng)目錄作為集群的一個(gè)獨(dú)立的存儲(chǔ)空間，如：/data_volumn1、/data_volumn2……MFS會(huì)把所有Chunkserver的本地文件目錄整合起來，提供統(tǒng)一的存儲(chǔ)空間對(duì)外服務(wù)，容量是所有目錄的總和。

（2）在Master添加對(duì)外服務(wù)的存儲(chǔ)路徑。即設(shè)置共享目錄。修改mfsexports.cf：

* /accesspath rw，alldirs，admin，maproot=0：0，/accesspath為MFS系統(tǒng)中實(shí)際存在的數(shù)據(jù)目錄。

（3）客戶端。MFS提供原生Linux客戶端。由于MFS需要工作在用戶級(jí)的文件系統(tǒng)上，所以需要安裝FUSE模塊。通過Linux的系統(tǒng)軟件庫安裝即可，yum-y install fuse fuse-libs。然后，加載fuse模塊，modprobe fuse。至此，可以掛載MFS存儲(chǔ)了，mfsmount /mnt/clientmountpoint/-H 10.10.2.201-S /accesspath。

MFS不提供Windows客戶端，不支持Windows環(huán)境，以成為其擴(kuò)大影響力的一大短板。通過深入探索測(cè)試，通過Total Commander及mfs4tcdbg兩個(gè)第三方軟件組合的形式，成功實(shí)現(xiàn)在Windows里通過Total Commander管理界面直接訪問MFS存儲(chǔ)。使用方式類似FTP。圖3 MFS集群讀數(shù)據(jù)原理

4 實(shí)例驗(yàn)證

4.1 目標(biāo)驗(yàn)證

（1）讀寫性能好。數(shù)據(jù)多副本使讀性能比單臺(tái)服務(wù)器提升顯著，且隨數(shù)據(jù)節(jié)點(diǎn)增加基本實(shí)現(xiàn)線性提升。如圖5所示。

在相同環(huán)境下測(cè)試，傳統(tǒng)集中式存儲(chǔ)讀速度一般在100MB/S左右。可見，MFS分布式存儲(chǔ)只需要低端千兆以太網(wǎng)絡(luò)就可以達(dá)到比集中式光纖網(wǎng)絡(luò)存儲(chǔ)更高的速度，且寫速度基本與之持平，方案的性價(jià)比明顯。

（2）擴(kuò)容成本低。MFS各組件的大部分版本可組合使用。原理上可以用較低版本的集群組件匹配較老舊的服務(wù)器。因此，可以使用任何品牌、任何年代的標(biāo)準(zhǔn)X86機(jī)架服務(wù)器加上標(biāo)準(zhǔn)以太網(wǎng)二層交換機(jī)就可以方便地進(jìn)行集群在線橫向擴(kuò)展。

（3）維護(hù)成本大幅降低。當(dāng)前主流集中存儲(chǔ)運(yùn)維價(jià)格不低于500/T/年，組網(wǎng)至少需要兩臺(tái)FC-SAN交換機(jī)，還需專門的存儲(chǔ)運(yùn)維人員。本文實(shí)例所用6臺(tái)服務(wù)器都均已使用超過6年，硬件成本忽略不計(jì)。低端二層交換機(jī)1臺(tái)，價(jià)值約1000元。軟件均為開源版本，無費(fèi)用。系統(tǒng)配置確定后，運(yùn)行基本無須人工干預(yù)，后續(xù)運(yùn)維費(fèi)用的產(chǎn)生僅來源于在網(wǎng)硬件的損耗。

（4）多節(jié)點(diǎn)冗余容錯(cuò)架構(gòu)。進(jìn)行多種暴力破壞測(cè)試，通過Metalogger的元數(shù)據(jù)副本及集群配置信息副本恢復(fù)集群后，數(shù)據(jù)始終不丟失，架構(gòu)始終保持完整，預(yù)期RTO為15分鐘。同時(shí)，通過回收站、快照功能還可以保存數(shù)據(jù)最近的多個(gè)版本，避免人為誤操作導(dǎo)致的數(shù)據(jù)丟失。

4.2 創(chuàng)新實(shí)踐及后續(xù)工作

在MFS標(biāo)準(zhǔn)部署模式基礎(chǔ)上提出探索性的部署方式。

（1）一個(gè)MFS集群中部署多個(gè)Metalogger元數(shù)據(jù)日志服務(wù)器，通過Linux Bash腳本實(shí)現(xiàn)元數(shù)據(jù)的自動(dòng)備份及自動(dòng)向集群內(nèi)其他多個(gè)服務(wù)器的拷貝，確保了集群最重要信息的安全。

（2）Metalogger備份服務(wù)與數(shù)據(jù)服務(wù)Chunkserver、客戶端Client、時(shí)間同步服務(wù)NTP等混合部署于一臺(tái)服務(wù)器，提升了服務(wù)器資源利用率及集群總存儲(chǔ)容量。

（3）合理配置服務(wù)器本地硬盤。由于集群能管理到各服務(wù)器本地單個(gè)硬盤，建議添加到集群存儲(chǔ)池的硬盤無須做本地RAID，把每塊物理硬盤作成單獨(dú)的存儲(chǔ)卷直接加入集群。一來可避免RAID后硬盤可用容量的損失及RAID卡性能（如：更換硬盤后重做RAID效率等）、故障問題；二來能夠更直觀高效地進(jìn)行所有硬盤的負(fù)載管理及維護(hù)。同時(shí)更好發(fā)揮所有硬盤同時(shí)獨(dú)立讀寫的高性能。但集群包含大量硬盤，手工逐個(gè)硬盤去維護(hù)維護(hù)工作量很大且效率低。需要編寫Linux Bash腳本實(shí)現(xiàn)各主機(jī)所有硬盤的自動(dòng)格式化，自動(dòng)掛載文件目錄，大大簡(jiǎn)化了運(yùn)維工作，避免手工誤操作，提升集群管理效率和可用性。因此，建議所有數(shù)據(jù)存儲(chǔ)服務(wù)器配置容量大、數(shù)量多的硬盤，至少3TB×10塊SATA硬盤。再輔以SSD加速設(shè)備，實(shí)現(xiàn)較高性價(jià)比。

同時(shí)我們也看到一些有待改進(jìn)的問題。比如，集群自帶管理門戶使用方便，但無鑒權(quán)，后續(xù)將通過Tomcat、IIS等中間件部署管理程序，增加鑒權(quán)頁面，用戶輸入正確的驗(yàn)證信息才能跳轉(zhuǎn)到管理系統(tǒng)頁面，實(shí)現(xiàn)鑒權(quán)功能。

5 結(jié) 論

通過橫向?qū)Ρ燃皩?shí)例驗(yàn)證，選擇一個(gè)具有比較優(yōu)勢(shì)的分布式文件存儲(chǔ)系統(tǒng)；現(xiàn)有MFS、GFS等有中心節(jié)點(diǎn)[5]設(shè)計(jì)的分布式文件存儲(chǔ)的問題在于，盡管管理節(jié)點(diǎn)主備部署實(shí)現(xiàn)了元數(shù)據(jù)保護(hù)，但集群配置文件無保護(hù)，容錯(cuò)機(jī)制不夠完善。本文通過實(shí)例驗(yàn)證了“1個(gè)管理服務(wù)器+N個(gè)元數(shù)據(jù)日志服務(wù)器”的部署模式，使元數(shù)據(jù)更安全。同時(shí)借助腳本技術(shù)實(shí)現(xiàn)集群配置數(shù)據(jù)的自動(dòng)備份和在多個(gè)節(jié)點(diǎn)服務(wù)器上的保存。增強(qiáng)了集群故障恢復(fù)能力和效率；實(shí)現(xiàn)Windows環(huán)境里對(duì)MFS存儲(chǔ)數(shù)據(jù)的直接訪問，解決了主流分布式文件存儲(chǔ)都不支持Windows客戶端的問題。

通過分布式文件存儲(chǔ)系統(tǒng)的部署，實(shí)現(xiàn)了筆者單位當(dāng)前云環(huán)境下文件存儲(chǔ)系統(tǒng)可用性的提升及擁有成本的大幅降低，將逐步在文件存儲(chǔ)的應(yīng)用上推廣使用。

參考文獻(xiàn)：

[1]楊傳輝.大規(guī)模分布式存儲(chǔ)系統(tǒng)原理解析與架構(gòu)實(shí)戰(zhàn)[M].北京：機(jī)械工業(yè)出版社，2013.

[2]楊傳輝.大規(guī)模分布式存儲(chǔ)系統(tǒng)原理解析與架構(gòu)實(shí)戰(zhàn)[M].北京：機(jī)械工業(yè)出版社，2013.

[3]Core Technology Development & Support Team.MooseFS 2.0 Users Manual[EB/OL].https：//moosefs.com/Content/Downloads.

[4]Core Technology Development & Support Team.MooseFS 3.0 Users Manual[EB/OL].https：//moosefs.com/Content/Downloads.

[5]葉毓睿.軟件定義存儲(chǔ)原理、實(shí)踐與生態(tài)[M].北京：機(jī)械工業(yè)出版社，2016：211.

[作者簡(jiǎn)介]陳正舉（1982—），男，漢族，北京人，碩士研究生，工程師。研究方向：基礎(chǔ)應(yīng)用系統(tǒng)及云計(jì)算ICT基礎(chǔ)設(shè)施架構(gòu)。