基于HDFS的高校開源軟件鏡像站架構(gòu)探究＊

王曉建，袁 磊

(云南師范大學(xué)，云南 昆明 650500)

0 引言

隨著信息技術(shù)的快速發(fā)展和高校信息化建設(shè)的不斷完善和深入，越來越多的高校搭建了自己的開源軟件鏡像站點，大部分高校搭建自己的鏡像站點都是在內(nèi)網(wǎng)，有少部分也對外服務(wù)，但是高校師生在訪問這些站點時也會出現(xiàn)速度慢，同步時間長等問題，還有許多開源軟件應(yīng)用在科學(xué)計算等專業(yè)領(lǐng)域，如果高校沒有自己的開源鏡像，就會導(dǎo)致一方面用戶必須忍受緩慢不穩(wěn)定的網(wǎng)絡(luò)連接、浪費大量時間，另一方面學(xué)校也浪費了大量入口帶寬，而隨著互聯(lián)網(wǎng)和分布式存儲技術(shù)的發(fā)展，搭高校急需搭建屬于自己的開源軟件鏡像站點來滿足師生的學(xué)習(xí)和科研需求，而HDFS具備了容錯性高、成本低、通用性好等特點[1-2]，易于搭建能存儲大量碎片文件的分布式存儲系統(tǒng)。

1 Hadoop及相關(guān)技術(shù)簡介

HDFS 分布式文件系統(tǒng)是Hadoop 核心技術(shù)之一，提供了開源的存儲框架，是一個實現(xiàn)數(shù)據(jù)分布式存儲的文件系統(tǒng)[3]。該系統(tǒng)通過高效的分布式算法集成多集群節(jié)點，對大數(shù)據(jù)量的數(shù)據(jù)進行分布式存儲和有效備份，當(dāng)其中一個節(jié)點宕機時，系統(tǒng)可以讀取其他有效節(jié)點的數(shù)據(jù)，并且系統(tǒng)對每個節(jié)點的物理性能要求并不高。因此，HDFS 采用主/從架構(gòu)，包括客戶端、主控節(jié)點（NameNode）和數(shù)據(jù)節(jié)（DataNode）。其中，NameNode 主要負責(zé)管理文件系統(tǒng)的命名空間、元數(shù)據(jù)信息及客戶端對文件的訪問；DataNode 主要負責(zé)接收并處理客戶端的讀寫請求和NameNode 的調(diào)度，存儲并檢索HDFS 的數(shù)據(jù)塊，是文件存儲的實際位置，并通過周期性的心跳報文將所有數(shù)據(jù)塊信息發(fā)送給NameNode。HDFS 的這種主/從設(shè)計結(jié)構(gòu)使得用戶數(shù)據(jù)不會流經(jīng)主控節(jié)點，從而提高系統(tǒng)性能和效率。

Hadoop 是典型的主從（Master/Slave）結(jié)構(gòu)。其構(gòu)成包括一個NameNode（名稱節(jié)點）和多個DataNode（數(shù)據(jù)節(jié)點）。主服務(wù)器是由NameNode 構(gòu)成的，它的主要作用是管理HDFS（分布式文件系統(tǒng)）的NameSpace（命名空間），其中保存了FsImage和EditLog兩個核心的數(shù)據(jù)結(jié)構(gòu)。前者用來對文件系統(tǒng)樹和文件樹中所有文件的元數(shù)據(jù)進行維護；后者則用來進行創(chuàng)建文件、刪除文件、重命名文件等一系列操作，并執(zhí)行Client提出的文件訪問命令。本文使用HDFS 作為主要的后端存儲系統(tǒng)，能較好地利用服務(wù)器資源和存儲資源，并且達到很好地冗余效果。

2 鏡像站點的架構(gòu)與部署

2.1 基于Hadoop架構(gòu)的鏡像站

HDFS 采用master/worker 架構(gòu)[4]。一 個HDFS 集群是有一個Namenode 和若干Datanode 組成[5]。Namenode 是一個中心服務(wù)器，負責(zé)管理文件系統(tǒng)的namespace 和客端對文件的訪問。Datanode 在集群中一般是一個節(jié)點一個，負責(zé)管理節(jié)點上它們附帶的存儲。在內(nèi)部，一個文件其實分成一個或多個block，這些block 存儲在Datanode 集合里。Namenode 執(zhí)行文件系統(tǒng)的namespace 操作，例如打開、關(guān)閉、重命名文件和目錄，同時決定block 到具體Datanode 節(jié)點的映射。Datanode 在Namenode 的指揮下進行block 的創(chuàng)建、刪除和復(fù)制。Namenode 和Datanode 都是設(shè)計成可以跑在普通的廉價的運行Linux 的機器上。HDFS采用java 語言開發(fā)，因此可以部署在很大范圍的機器上。一個典型的部署場景是一臺機器跑一個單獨的Namenode節(jié)點，集群中的其他機器各跑一個Datanode實例。Namenode 是所有HDFS 元數(shù)據(jù)的仲裁者和管理者，這樣，用戶數(shù)據(jù)永遠不會流過Namenode，便于管理和維護。Hadoop的架構(gòu)圖如圖1所示。

圖1 Hadoop架構(gòu)圖

鏡像站使用HDFS存儲數(shù)據(jù)有下面四個優(yōu)點：

⑴故障檢測、硬件容錯、數(shù)據(jù)冗余

HDFS 文件系統(tǒng)中的所有文件都以block 的方式存儲在集群的節(jié)點上，而且還有多副本的特性，保證了硬件的容錯，當(dāng)某一節(jié)點損壞時，數(shù)據(jù)不會丟失。如果出現(xiàn)一些不可抗拒的因素導(dǎo)致其中某節(jié)點損壞時，能通過Hdfs Trash（回收箱）或HdfsSnapShot(快照)方式恢復(fù)數(shù)據(jù)。

⑵處理流式的數(shù)據(jù)訪問

流式數(shù)據(jù)處理方式：一次寫入，多次讀取[6]。HDFS 的數(shù)據(jù)處理規(guī)模比較大，應(yīng)用一次需要訪問大量的數(shù)據(jù)，同時這些應(yīng)用一般都是批量處理，而不是用戶交互式處理。應(yīng)用程序能以流的形式訪問數(shù)據(jù)集。鏡像站的文件大多數(shù)都是ISO或者一些軟件的安裝包，所有流式處理數(shù)據(jù)對這些文件的訪問是有好處的。

⑶適合存儲大文件

搭建鏡像系統(tǒng)需要存儲大量的ISO 文件和一些Linux的軟件包，所需要的文件是通過同步的方式下載到本地，這些文件大部分都是幾百GB，甚至達TB 大小的文件，很適合使用HDFS的文件系統(tǒng)來存儲。

⑷可構(gòu)建在廉價的機器上

很多高校并不像很多商業(yè)公司一樣，有足夠的服務(wù)器資源和存儲資源，很多服務(wù)器性能可能不是很高，而HDFS 文件系統(tǒng)不需要很高的服務(wù)器性能也能完成部署。

2.2 服務(wù)器規(guī)劃

云南師范大學(xué)信息管理處現(xiàn)在共有四臺閑置服務(wù)器，需要部署Hadoop 文件系統(tǒng)，選擇存存儲容量最大的一臺服務(wù)器作為master，用來存儲鏡像的相關(guān)數(shù)據(jù)，其余作為服務(wù)節(jié)點，其中worker01 節(jié)點部署備份節(jié)點，以便在數(shù)據(jù)丟失的情況下進行數(shù)據(jù)的恢復(fù)，worker1 和worker2 作為數(shù)據(jù)節(jié)點，用來存儲發(fā)行版的相關(guān)更新文件，服務(wù)器規(guī)劃詳情見表1。

表1 服務(wù)器規(guī)劃

2.3 服務(wù)器配置

⑴主機名和防火墻設(shè)置

在服務(wù)器配置之前，需要關(guān)閉防火墻，設(shè)置靜態(tài)IP，且IP 地址為內(nèi)網(wǎng)的IP 地址，使服務(wù)器無法暴露在外部網(wǎng)絡(luò)之中，設(shè)置為上表中的IP 地址，修改hosts 文件，而且需要重新配置，部署完成之后需要讓worker節(jié)點和slave節(jié)點能互相識別，將所有服務(wù)器的IP地址和主機名添加到該文件中，同時能夠使節(jié)點之間免密遠程連接。

⑵配置SSH免密登錄

關(guān)于ssh 免密碼的設(shè)置，要求每兩臺主機之間設(shè)置免密碼，自己的主機與自己的主機之間也要求設(shè)置免密碼。這項操作可以在root 用戶下執(zhí)行，執(zhí)行完畢公鑰在/root/.ssh/id_rsa.pub。

⑶配置Hadoop 相關(guān)文件，配置HDFS 中namenode 的地址和Hadoop運行時產(chǎn)生的的臨時文件的目錄。

修改core-site.xml文件：

⑷配置同步工具tunasync

同步原理是使用rsync 做增量同步。本文使用的是清華大學(xué)開源軟件鏡像站開發(fā)的tunasync，這個工具使用的是自動化腳本進行增量同步，簡單易用。因為tunasync 使用Golang 開發(fā)，所以需要先配置Golang 環(huán)境。使用命令行安裝Golang 環(huán)境即可。配置完成后使用以下命令啟動同步的任務(wù)：

啟動之后可以使用：tunasynctl list-p 12345-all查看同步的進程和狀態(tài)，如圖2所示。

圖2 同步進程和狀態(tài)

2.4 配置前端Web頁面

前端頁面的配置使用的是清華大學(xué)的開源軟件鏡像站點的模板，需要配置站點信息。部署前需要修改頁面相關(guān)信息，編輯_config.yml文件：

配置完前端信息之后，使用bundle exec jekyll serve--detach-H 0.0.0.0 在本地生成前端所需要的_site目錄，然后將其軟連接到存放同步鏡像的文件夾，開啟Nginx 服務(wù)之后在Nginx 的配置文件中添加鏡像的存放目錄為網(wǎng)站的根目錄。為了便于在前臺頁面查看同步的相關(guān)信息，可以在后臺設(shè)置定時任務(wù)，每天凌晨將當(dāng)天同步信息的JSON 文件下載并輸出到_site目錄的static文件夾，便于在前臺頁面中展示。

鏡像站的前端使用的是ruby 語言，使用在后臺生成的頁面，后端使用的是Nginx，服務(wù)器端在后臺生成頁面，一個簡單的Web 服務(wù)器軟件（例如TUNA 使用的Nginx），將所有有關(guān)文件設(shè)置好路徑提供下載，就可以實現(xiàn)最基本的鏡像站功能。鏡像站絕大多數(shù)業(yè)務(wù)均為靜態(tài)文件服務(wù)，因此類似的高性能靜態(tài)文件Web 服務(wù)器軟件均可按需選擇，本文使用的是Nginx服務(wù)器來提供對外服務(wù)。Nginx 服務(wù)器將靜態(tài)頁面通過軟連接的方式同步到前端。同步完成之后可以通過同步狀態(tài)頁面查看上一次同步的時間、大小、狀態(tài)、上游、下一次同步時間等信息，同步成功后的狀態(tài)如圖3所示。

圖3 同步狀態(tài)

3 結(jié)束語

鏡像站的搭建，存儲上的充分利用和同步是關(guān)鍵。對信息中心存儲資源，基于HDFS 的分布式文件存儲系統(tǒng)，能將存儲資源集中使用，而且有較好的冗余性，能在一部分節(jié)點失效的情況下對數(shù)據(jù)進行恢復(fù)，為高校建設(shè)屬于自己的鏡像站點提供了建議。本鏡像站點還在測試中，在完成后端的所有鏡像文件和軟件的同步之后可將其部署到公網(wǎng)，一方面能使校園網(wǎng)的用戶直接用內(nèi)網(wǎng)進行訪問，方便師生使用開源軟件鏡像站點，另一方面互聯(lián)網(wǎng)用戶也能訪問使用，推動開源軟件社區(qū)的發(fā)展。

本文描述的鏡像站還存在一定的不足和需改進之處，比如數(shù)據(jù)丟失時的恢復(fù)機制；同時因為磁盤空間有限，所以只是同步了一部分常用的鏡像文件和Linux 常用的軟件包，如果磁盤充足，可以同步更多的鏡像文件和軟件包，能達到很多商業(yè)軟件公司的效果。此外，由于目前的服務(wù)器是掛載在信息中心的備用服務(wù)器上，所以外網(wǎng)訪問還是會受到很多影響，帶寬和校園網(wǎng)走的是同一條，所以當(dāng)校園網(wǎng)在線人數(shù)過多時就會出現(xiàn)網(wǎng)速變慢，如果有條件可以使用專門的寬帶進行升級，能有效提升網(wǎng)絡(luò)訪問的速度。