基于Hadoop高校教育資源云存儲平臺構建研究

王鳳領

(黑龍江財經學院 財經信息工程系，黑龍江 哈爾濱 150025)

基于Hadoop高校教育資源云存儲平臺構建研究

王鳳領

(黑龍江財經學院 財經信息工程系，黑龍江 哈爾濱 150025)

云計算在整合高校教育資源方面的關鍵是海量的數據存儲，把云存儲的技術和方法運用到高校教育資源整合的建設中，節約高校教育資源，有效地提高高校教育資源的利用率，從而提高高校的教學水平。文中闡述了云計算和云存儲的概念和特點，介紹了高校教育資源中存在的問題和優勢，簡單介紹了主流的云計算平臺，重點介紹了Hadoop的HDFS存儲系統的特點和結構；結合基于云體系結構，設計出高校教育云體系結構，實現基于Hadoop平臺的高校教育資源網架構，使用Hadoop平臺進行數據的存儲和傳輸。實驗結果表明，利用Hadoop云計算平臺，為大規模高校數據處理提供良好的解決方法，有效提高海量數據的處理速度。

云計算；Hadoop；云存儲；分布式文件系統；教育資源

0 引 言

整合教育資源，有效合理地使用教育資源，有利于高等教育的發展。云計算時代的來臨，對于建立一個統一、開放和靈活的教育資源平臺，實現資源共享，縮小教育信息化差距具有深遠的影響。

把云存儲技術和方法，運用到高校教育資源的整合建設中，有效地節約高校教育資源，并且提高高校資源的利用率。

1 云計算和云存儲的概述

1.1 云計算的概念和特點

云計算作為一種新型的服務交付和使用模式，是基于互聯網的計算方式，通過這種方式能夠向用戶提供所需的軟硬件平臺和網絡資源[1]。

(1)可擴展性：為滿足用戶的增長和需要，云計算的規模可以動態擴展和伸縮。

(2)虛擬化：用戶通過終端設備登錄到Internet中

的云服務平臺，即可得到所需要的服務，不需要知道資源的具體所在位置。云計算將虛擬化的異構分布式的數字和物理資源，通過虛擬化技術統一存儲在數字中心。

(3)穩定性：用戶可將自己的數字資源放心存儲在云服務平臺，云計算通過虛擬化技術將數據資源存儲在虛擬資源池中，有效地保證了數據的安全性。

(4)通用性：在云計算的支持下，可以支撐不同應用的運行，構造出各種功能的應用。

(5)運行成本低：用其廉價的節點構成云體系，通過云計算的特殊容錯措施。云計算的通用性和公用性有效地提升了物理資源的利用率，由于云計算的自動化管理，也使其管理中心數據的成本大幅降低。

1.2 云存儲的概念和特點

云存儲把存儲設備看作一個資源池，通過虛擬化技術，根據需要分配這些資源。云存儲將龐大的數據自動拆分成若干個小數據塊，并進行分布式存儲，最后，交由存儲資源組成的計算機集群系統[2]。

云存儲是將網絡不同類型的存儲設備，通過應用軟件集合來協同工作，通過分布式文件系統、網格技術或集群應用等功能，來共同對外提供的業務訪問和數據存儲功能的系統[3]。

(1)可靠性：云存儲把數據備份到多個硬件存儲設備中，保證數據的安全可靠性。

(2)服務性：云當中的數據是進行分布式存儲的，能夠有效分擔存儲和訪問過程中的壓力，提高系統性能。

(3)存儲效率：云存儲為避免個別服務器由于工作量過大造成的瓶頸問題，能夠將工作量很好地均勻分配在不同的存儲服務器上，使存儲系統發揮最大的效能。

(4)硬件冗余：云存儲將文件復制并保存到不同的服務器，來解決硬件損壞所帶來的難題[4]。在硬件發生損壞時，云存儲知道文件具體存放的位置，而保持服務的繼續。

(5)管理性：將高校教育資源統一存儲在云中，方便教育資源的管理，節省了人力和物力[5]。

2 高校教育資源存在的主要問題

(1)教育資源分布不均勻。對有充足資金提供支持的著名大學，就有更好的教育資源。地方院校存在設備老化，資金有限，資源不足等問題。

(2)基礎設施的閑置。由于多方面原因，對多數高校在基礎設施購入后，設備在多數情況下一直處于閑置和浪費狀態，對設備本身也是一種浪費[6]。同時，也提高了設備的運行成本，浪費電力資源、資金等。

(3)軟硬件投入的不均衡。這是多數高校教育資源建設過程中，所普遍存在面臨的共同問題[7]。

(4)基礎設施重復購置。因高校自身教育資源建設的需要等原因，重新建立或者更換陳舊的基礎設施，都需要花費大量資金購入新設施。

(5)教育資源共享程度低。各院校、職能部門之間的資源共享手段較單一，效率也比較低，跨部門、院系的教學和科研合作受制于教育資源管理水平。

3 云計算在資源平臺建設的優勢

3.1 云計算技術

云計算構建的目的在于同時為許多用戶服務。云計算系統運用了很多技術，其中以虛擬化、數據存儲、云計算平臺管理最為關鍵。云計算系統用冗余存儲方式保證數據的可靠性，采用分布式存儲方式能有效存儲數據[8-9]。

(1)數據存儲技術。為滿足用戶需要，云計算系統并行為用戶提供服務。云計算的數據存儲技術需具有較高的傳輸率、吞吐率和分布式的特點。

(2)虛擬化技術。虛擬化技術能夠實現底層硬件與軟件應用之間的隔離，包括聚合模式(是把多個資源整合成一個虛擬資源)和裂分模式(是將單個資源劃分成多個虛擬資源)[10]。

(3)云計算平臺管理技術。云計算系統平臺管理能使多個服務器協同工作，快速發現系統故障和恢復系統，方便進行工作部署和開通，系統通過智能化、自動化的方法達到可靠運營。

3.2 可行性分析

基于云計算的開放性教育資源平臺的建設，率先邁出了重要的一步，云計算為高校教育資源的建設提供了重要機遇。其可行性分析如下：

(1)擴大教育資源的共享度，避免資源重復建設，有效提高基礎設施利用率。由于云計算對終端設備支持跨平臺，可以隨時隨地使用網絡共享資源[11]。

(2)提高教育資源管理。通過分布式和并行計算，云計算對高校教育資源進行分析管理、存儲和計算，高可靠性能夠保證開放教育資源平臺的高效運行。

4 云計算平臺

目前主要的云計算平臺有：微軟Azure平臺、Hadoop(Apache基金會)、阿里巴巴的阿里云、AbiCloud(Abiquo公司)、谷歌Google AppEngine、Amazon的EC2和中國移動的BigCloud等[6]。

文中采用Hadoop平臺，實現分布式文件系統，簡稱HDFS。HDFS具有高容錯性，使其可在廉價的硬件設備上部署，不僅提供了適合那些擁有大數據集的應用平臺，而且還提供了高吞吐率的數據讀寫。

1)HDFS文件系統特點。

(1)HDFS源代碼是全球開發者共同研究探討，是開放的，不收取任何費用。

(2)支持超大規模數據集。HDFS經過Yahoo公司的驗證，能夠支持大規模數據集合[11]。HDFS上的文件由幾GB到幾TB，甚至到PB級別大小不等。

(3)HDFS認為硬件錯誤不是異常，是常態。對每個部分都有出現錯誤的可能性，HDFS的一個重要特點是它的故障檢測和快速自動恢復[5]。

(4)具有很強的擴展性。HDFS中的節點增加、退出時，都不會影響用戶的正常使用。

(5)HDFS容錯能力很強。HDFS以塊序列形式存儲每一個文件，HDFS存儲眾多的文件，設計在集群中的大量機器之間。

(6)HDFS平臺移植性。HDFS運行在Windows和Linux等操作平臺，是由Java語言實現的，具有很好的可移植性[12]。

(7)提高數據訪問性能。HDFS設計不是用戶交互處理，從而提高了吞吐量，節約收發數據的時間，數據就不會在網絡上造成堵塞。

(8)HDFS簡化文件訪問模型。文件一旦被創建，就不能再進行修改，以提高吞吐量，增加文件的一致性[13]。

2)HDFS系統架構。

HDFS集群是一種典型的主從式架構，是由多個DataNode的數據節點和一個NameNode的控制節點組成。HDFS群中還有一個SecondaryNameNode，它配合NameNode進行檢查點(checkpoint)操作，不與DataNode或Client交互。NameNode將文件系統的元數據存儲在內存之中，維護整個文件系統的命名空間，以控制和管理文件的相關操作，見圖1。

圖1 HDFS系統架構示意圖

HDFS的系統架構中，單一控制節點NameNode提供一個統一文件命名空間，負責對文件系統樹、目錄和文件等元數據信息的維護和管理；眾多數量的數據節點DataNode具有計算能力，管理自身攜帶的存儲資源，也具有存儲能力。在HDFS中，一個文件將被分成若干個數據塊，數據塊能夠通過DataNode相互之間進行復制，這些數據塊被分散在不同的DataNode上存儲。DataNode與NameNode定期保持聯系，以便NameNode掌握自身的工作狀態[14]。由NameNode向DataNode發送控制指令，例如，對文件數據塊的創建、復制和刪除等操作。

5 云存儲在整合高校資源的體系結構

5.1 云存儲體系結構

云存儲的體系結構由應用層、平臺層、資源層組成，如圖2所示。

圖2 云計算體系結構

(1)應用層。主要為用戶提供相關軟件服務。

(2)資源層。主要是指基礎架構的云計算服務，用戶可以基于這些服務來搭建自己的應用，它把基礎架構的各種功能都提供給用戶。這種服務隱藏物理資源的復雜性，可提供虛擬化的資源。

(3)平臺層。中間件服務為用戶提供可擴展的事務處理中間件等服務。數據庫服務為用戶提供可擴展的數據庫處理能力。

5.2 高校教育資源云結構

首先建立云計算數據中心，整合高校教育資源，通過虛擬化技術來提高虛擬化資源池和硬件設備的利用率。文中采用Hadoop平臺實現數據傳輸[15]，具體如圖3所示。

圖3 高校教育資源云結構

5.3 基于Hadoop平臺的高校教育資源網架構

用戶想從高校教育資源網上得到自己要的資源，首先要向云計算服務的提供商發送請求，從云存儲里通過NameNode找到相應Block的ID，并根據Block的ID獲得自己所要的數據資源，具體如圖4所示。

圖4 基于Hadoop平臺高校教育資源網的架構

由圖4可知，高等學校相當于DataNode，由所在高等學校管理員向云存儲服務系統發送數據，為節省高校服務器的存儲空間，由管理員決定是否刪除已發送的數據。NameNode把數據發送給云服務提供商的DataNode，同時由NameNode進行記錄，來保存到映像文件里，由Secondary NameNode來對NameNode中的元數據進行相應備份，并把數據備份文件更新在NameNode中，保存最新的映射文件和事務日志。當用戶需要數據時，要向云服務提供商發送數據請求，NameNode根據映射文件找到Block編號，發送給Client，DataNode數據根據用戶發送的對應編號找到Block，最后，再把數據發送給客戶端。

可以通過Hadoop平臺模擬實現由高校向NameNode發送數據的傳輸過程，NameNode從HDFS拿到數據，該數據由DataNode上傳到HDFS。

在Hadoop API里涉及到如下接口：

public void mkdir(String src)

throws IOException{

//Create the given dir

//Throws:

//IOException

}

后臺代碼的編寫是實現云存儲平臺將數據文件上傳到HDFS集群上的關鍵。使用HDFS中的類DistributedFileSystem的copyFromLocalFile方法，使用小文件處理模塊，來調用HDFSAPI，將本地文件上傳到HDFS上，根據所給的文件路徑，實現文件由本地用戶上傳到HDFS集群。通過調用該類的相關方法來實現對元數據的相關操作。客戶端要想訪問HDFS集群，必須使用該類來實現相關文件操作[16]。

在云存儲平臺中，用戶根據需要下載或上傳文件。在Java中，通過下面的代碼，實現文件的上傳功能。

public static void uploadLocalFile2HDFS(String s, String d)

throws IOException

{

Configuration config = new Configuration();

FileSystem hdfs = FileSystem.get(config);

Path src = new Path(s);

Path dst = new Path(d);

hdfs. copyFromLocalFile(src, dst);

hdfs. close();

}

public static void uploadLocalFile2HDFS(String s, String d)

throws IOException

{

Configuration config = new Configuration();

FileSystem hdfs = FileSystem.get(config);

Path src = new Path(s);

Path dst = new Path(d);

hdfs. copyFromLocalFile(src, dst);

hdfs. close();

}

在Java中，通過如下代碼讀取文件：

public static byte[] readHDFSFile(String dst) throws Exception

{

Configuration conf = new Configuration();

FileSystem fs = FileSystem.get(conf);

Path path = new Path(dst);

if ( fs. exists(path) )

{

FSDataInputStream is = fs. open(path);

FileStatus stat = fs. getFileStatus(path);

byte[] buffer = new byte[Integer. parseInt(String. valueOf(stat. getLen()))];

is. readFully(0, buffer);

is. close();

fs. close();

return buffer;

}

else

{

throw new Exception(" the file is not found. ");

}

}

以上代碼，描寫了一個DataNode向NameNode發送數據和接收數據的過程，與高校向云服務提供商發送數據的基本原理相同。

6 結束語

云存儲作為一個新興的概念，運用云存儲的技術和方法整合高校資源，能夠有效地提高高校資源的利用率，節約高校教育資源。構建高校教育資源共享云平臺，結合云計算技術，對其體系架構和實現進行深入剖析，在Hadoop平臺下，實現數據的傳輸與存儲。該平臺的實現借助于現有較成熟的云平臺應用實例，需要多租戶、分布式計算和虛擬化等多種技術之間的協同，構建高校教育資源共享云服務平臺。此方案能夠為高校資源的共建和共享提供一個新的思路。

[1] 朱曉蒙.基于云存儲的高校教育資源平臺[D].西安:西安科技大學,2012.

[2] 沈丹丹，江 正.對高校教育信息資源共享策略的思考[J].軟件導刊·教育技術,2010(11):80-82.

[3] 褚軍亮，宋立榮.云計算用于網絡科技信息資源整合服務初探[J].中國科技資源導刊,2010(6):42-47.

[4] 王文清，陳 凌.CALIS數字圖書館云服務平臺模型[J].大學圖書館學報,2009，27(4):13-18.

[5] 高宏卿,汪 浩.基于云存儲的教學資源整合研究與實現[J].現代教育技術,2010,20(3):97-101.

[6] 王勝川.基于云計算的存儲技術研究[J].石油工業計算機應用,2011(2):53-55.

[7] 張建勛,古志民,鄭 超.云計算研究進展綜述[J].計算機應用研究,2010,27(2):429-430.

[8] 張 興.基于Hadoop的云儲存平臺的研究與實現[D].成都:電子科技大學,2013.

[9] Likhterov B，Kopeika N S.Motion-Blurred image restoration using modified inverse all-pole filters[C]//Proceedings of SPIE.[s.l.]:[s.n.],2002:56-62．

[10] Chen Kang，Yin Yubing，Zheng Weimin．Teaching large seale data processing：the five-week course and two years’experiences[C]//Proc of the first ACM summit on computing education.Beijing，China:ACM，2008.

[11] White T．Hadoop The definitive guide[M]．[s.l.]:O’Reilly Media,Inc．,2009．

[12] Sultan N.Cloud computing for education:a new dawn?[J].International Journal of Information Management,2010,30(2):109-116.

[13] Holger Scroll Stefan Wind.Requirementsengineering for cloud computing[J].Journal of Communication and Computer,2011,8(9):707-715.

[14] Bordas M.Application of cloud computing in the public sector in hungary[J].Journal of US-China Public Administration,2012,9(5):534-551.

[15] 李偉林,陳 戍.廣播電視大學云計算教學平臺的構建探索[J].湖南廣播電視大學學報,2012(1):5-8.

[16] 喻 昕，王敬一．基于云計算技術的數字圖書館云服務平臺架構研究[J]．情報科學，2011,29(7):1049-1053.

Study on Construction of Cloud Storage Platform for College Education Resources Based on Hadoop

WANG Feng-ling

(Department of Financial Information Engineering,Heilongjiang University of Finance and Economics,Harbin 150025,China)

The key for cloud computing in the integration of university education resources is the mass data storage.The technology and method of cloud storage can be used in the construction of university resources integration.It can improve the utilization rate of resources,save resources and improve the teaching level.In this paper,it expounds concept and characteristics of cloud computing and cloud storage,presenting the existing problems and advantages in the higher education resources,then simply introducing the mainstream cloud computing platform,and focusing on the characteristics and structure of HDFS Hadoop storage system.With the combination of cloud system structure based on the system structure,the cloud system structure of education in colleges and universities is designed to realize the higher education resource network framework based on Hadoop platform.The data transmission and storage is conducted by Hadoop platform.Experimental results show that the use of Hadoop cloud computing platform can effectively improve the speed of mass data processing,which provides a good solution for large-scale and efficient data processing.

cloud computing;Hadoop;cloud storage;HDFS;educational resources

2015-04-04

2015-07-07

時間：2016-02-

黑龍江省哲學社會科學年度規劃項目(13E106)

王鳳領(1976-)，男，教授，碩士，研究方向為計算機應用、教育技術學。

http://www.cnki.net/kcms/detail/61.1450.TP.20160218.1619.010.html

G64

A

1673-629X(2016)03-0176-05

10.3969/j.issn.1673-629X.2016.03.041