基于Alluxio+Docker的分布式文件系統(tǒng)設(shè)計(jì)及應(yīng)用

文/李曉煬

1 引言

大數(shù)據(jù)時(shí)代，隨著存儲與計(jì)算集群規(guī)模的不斷擴(kuò)大，氣象部門業(yè)務(wù)系統(tǒng)的分布式環(huán)境也已普遍。然而現(xiàn)在的分布式系統(tǒng)不僅限于解決性能、可靠、可擴(kuò)展性等層面上，更重要的是具有易操作性和內(nèi)部數(shù)據(jù)共享性等。傳統(tǒng)的數(shù)據(jù)共享方式在多用戶、高并發(fā)的情況下已經(jīng)出現(xiàn)了較大的局限性，需要綜合考慮性能、安全以及容錯(cuò)的分布式文件系統(tǒng)為現(xiàn)代數(shù)據(jù)處理提供極大的資源靈活性。

大規(guī)模的氣象數(shù)據(jù)被分散存儲在不同的設(shè)備上，傳統(tǒng)使用數(shù)據(jù)湖的方式需要很高的永久數(shù)據(jù)拷貝并且在數(shù)據(jù)創(chuàng)建和分析之間造成了延遲，無法滿足要求較高的場景，并且在越來越多的應(yīng)用都是在私有云、混合云的情況下，特別是數(shù)據(jù)和計(jì)算資源分離的場景，異構(gòu)的數(shù)據(jù)存儲帶來的系統(tǒng)耦合，都可以通過Alluxio來解耦。結(jié)合Docker技術(shù)的應(yīng)用，使環(huán)境搭建、移植、彈性收縮變得簡單易用，極大的降低運(yùn)維難度。

2 Alluxio簡介

Alluxio（之前名為Tachyon）是第一個(gè)以內(nèi)存為中心的虛擬的分布式系統(tǒng)。它統(tǒng)一了數(shù)據(jù)訪問的方式，為上層計(jì)算框架和底層存儲系統(tǒng)構(gòu)建了橋梁。 應(yīng)用只需要連接Alluxio即可訪問存儲在底層任意存儲系統(tǒng)中的數(shù)據(jù)。此外，Alluxio的以內(nèi)存為中心的架構(gòu)使得數(shù)據(jù)的訪問速度能比現(xiàn)有常規(guī)方案快幾個(gè)數(shù)量級。

在大數(shù)據(jù)生態(tài)系統(tǒng)中，Alluxio位于計(jì)算和存儲中間。它可以為生態(tài)系統(tǒng)帶來顯著的性能提升，尤其是跨數(shù)據(jù)中心和可用性區(qū)域。Alluxio是Hadoop和對象存儲兼容的，并且支持對底層存儲進(jìn)行讀寫?，F(xiàn)有的數(shù)據(jù)分析應(yīng)用程序，如Hive、HBASE和Spark SQL，可以在不更改任何代碼的情況下運(yùn)行在Alluxio上。

3 Docker簡介

容器技術(shù)是實(shí)現(xiàn)操作系統(tǒng)虛擬化的一種途徑，可以讓資源受到隔離的進(jìn)程中運(yùn)行應(yīng)用程序及其依賴關(guān)系。通過使用容器，可以輕松打包應(yīng)用程序的代碼、配置和依賴關(guān)系，將其變成容易使用的構(gòu)建塊，從而實(shí)現(xiàn)環(huán)境一致性、運(yùn)營效率、開發(fā)人員生產(chǎn)力和版本控制等諸多目標(biāo)。容器可以幫助保證應(yīng)用程序快速、可靠、一致地部署，其間不受部署環(huán)境的影響。容器還賦予對資源更多的精細(xì)化控制能力，讓基礎(chǔ)設(shè)施效率更高。

Docker 是一個(gè)開源的應(yīng)用容器引擎，讓開發(fā)者可以打包他們的應(yīng)用以及依賴包到一個(gè)可移植的鏡像中，然后發(fā)布到任何流行的 Linux或Windows 機(jī)器上，也可以實(shí)現(xiàn)虛擬化。相比傳統(tǒng)的虛擬化方式，Docker具有啟動秒級、需要的資源更少、更輕量、高可用等優(yōu)勢。

4 Alluxio+Docker分布式文件系統(tǒng)

4.1 分布式文件系統(tǒng)系統(tǒng)框架

Alluxio由master、worker組 成， 其中master如果有多個(gè)，只有一個(gè)是leading master，其他為standby master，leading master負(fù)責(zé)管理所有的元數(shù)據(jù)，包括文件系統(tǒng)元數(shù)據(jù)、block元數(shù)據(jù)和worker元數(shù)據(jù)；worker會定期向leading master發(fā)送心跳；leading master會記錄所有的文件操作到日志中；worker負(fù)責(zé)管理資源，比如內(nèi)存、ssd等，負(fù)責(zé)將數(shù)據(jù)存儲為block同時(shí)響應(yīng)client的讀寫請求；實(shí)際的file和block的映射關(guān)系保存在master中。

Alluxio由于均在Docker容器中，相互通信需要實(shí)現(xiàn)容器的跨主機(jī)通信。Docker默認(rèn)的網(wǎng)絡(luò)環(huán)境下，單臺主機(jī)上的Docker容器可以通過docker0網(wǎng)橋直接通信，而不同主機(jī)上的Docker容器之間只能通過在主機(jī)上做端口映射進(jìn)行通信。這種端口映射方式對很多集群應(yīng)用來說操作較為繁復(fù)。Docker跨主機(jī)容器間網(wǎng)絡(luò)通信實(shí)現(xiàn)的工具有Flannel、Weave、Open vSwitch等，可根據(jù)實(shí)際需求進(jìn)行選擇部署。Flannel是CoreOS團(tuán)隊(duì)針對Kubernetes設(shè)計(jì)的一個(gè)網(wǎng)絡(luò)規(guī)劃服務(wù)，它的功能是讓集群中的不同節(jié)點(diǎn)主機(jī)創(chuàng)建的Docker容器都具有全集群唯一的虛擬IP地址。Weave通過創(chuàng)建虛擬網(wǎng)絡(luò)使Docker容器能夠跨主機(jī)通信并能夠自動相互發(fā)現(xiàn)，部署相對簡易。分布式文件系統(tǒng)框架如圖1所示。

4.2 分布式文件系統(tǒng)部署應(yīng)用

4.2.1 Docker環(huán)境搭建

Docker安裝所需的依賴及安裝包均可通過yum等工具安裝，安裝成功后啟動服務(wù)。按照需求配置Docker跨主機(jī)容器間網(wǎng)絡(luò)通信，并確認(rèn)容器間可以相互通信。如有需要可在本地搭建Docker倉庫，對后續(xù)的鏡像管理實(shí)現(xiàn)本地化。

4.2.2 Alluxio部署應(yīng)用

在Docker環(huán)境中，Alluxio鏡像可直接通過Docker Hub互聯(lián)網(wǎng)獲取或者本地Docker倉庫獲取。啟動Alluxio容器時(shí)，使用Docker命令指定Docker容器的網(wǎng)絡(luò)環(huán)境及共享的存儲，指定Alluxio的master及worker并設(shè)置虛擬內(nèi)存等相關(guān)參數(shù)即可。在啟動的worker Docker容器中，可通過alluxio runTests測試該集群是否安裝成功，隨后測試訪問Alluxio頁面或查看alluxio/logs文件夾下的日志。

圖1：分布式文件系統(tǒng)框架

圖2：Docker中的Alluxio集群跨存儲系統(tǒng)數(shù)據(jù)共享

Alluxio 中的掛載功能允許用戶掛載不同的存儲系統(tǒng)到 Alluxio 命名空間中并且通過 Alluxio 命名空間無縫地跨存儲系統(tǒng)訪問文件，并加速數(shù)據(jù)訪問。如圖2所示為通過Docker中的Alluxio集群做跨存儲系統(tǒng)的數(shù)據(jù)共享。

4 結(jié)論

大數(shù)據(jù)時(shí)代的高可用數(shù)據(jù)訪問方式有著重要的意義，高效易用的基礎(chǔ)架構(gòu)對數(shù)據(jù)訪問的性能以及運(yùn)維人員的維護(hù)成本均有極大的促進(jìn)作用。本文提出了基于Alluxio+Docker的分布式文件系統(tǒng)，針對大量、多樣的氣象數(shù)據(jù)，提供靈活的文件讀取方式，使任何應(yīng)用以內(nèi)存級速度進(jìn)行文件系統(tǒng)上的數(shù)據(jù)交換，以高性能和成本有效的方式在這些系統(tǒng)中提供統(tǒng)一的、聚合的數(shù)據(jù)視圖，解決大數(shù)據(jù)訪問性能的難題，支撐氣象數(shù)據(jù)的應(yīng)用。