基于Hadoop的高校大數(shù)據(jù)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)

彭航

本文在對(duì)Hadoop平臺(tái)的結(jié)構(gòu)及功能分析基礎(chǔ)上，結(jié)合信息化環(huán)境下高校系統(tǒng)建設(shè)的現(xiàn)狀，對(duì)基于Hadoop的高校大數(shù)據(jù)平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)進(jìn)行研究，以供參考。

在信息化發(fā)展影響下，高校信息系統(tǒng)建設(shè)與運(yùn)用也取得了較為顯著的發(fā)展，并且在長期的運(yùn)營與管理中積累了相對(duì)較多的數(shù)據(jù)，對(duì)高校信息化建設(shè)與發(fā)展有著十分積極的作用和意義。指導(dǎo)注意的是，結(jié)合當(dāng)前高校信息系統(tǒng)建設(shè)與發(fā)展現(xiàn)狀，由于其信息系統(tǒng)的分階段建設(shè)，導(dǎo)致在對(duì)系統(tǒng)運(yùn)營及數(shù)據(jù)管理中是由多個(gè)不同部門分別執(zhí)行，各數(shù)據(jù)之間的相互聯(lián)系與有效交互明顯不足。另一方面，在大數(shù)據(jù)環(huán)境下，通過大數(shù)據(jù)平臺(tái)的開發(fā)設(shè)計(jì)以實(shí)現(xiàn)各信息系統(tǒng)之間的有效對(duì)接與信息交互，形成較為統(tǒng)一的數(shù)據(jù)運(yùn)營與管理模式，成為各領(lǐng)域信息建設(shè)與運(yùn)營管理研究和關(guān)注重點(diǎn)。

1 Hadoop平臺(tái)及其結(jié)構(gòu)、功能分析

Hadoop作為一個(gè)分布式系統(tǒng)的基礎(chǔ)架構(gòu)，在實(shí)際設(shè)計(jì)與開發(fā)運(yùn)用中，是通過Hadoop集群中的一個(gè)主控節(jié)點(diǎn)對(duì)整個(gè)集群的運(yùn)行進(jìn)行控制與管理實(shí)現(xiàn)，以滿足該集群中多個(gè)節(jié)點(diǎn)的數(shù)據(jù)與計(jì)算任務(wù)協(xié)調(diào)需求。其中，分布式文件系統(tǒng)HDFS以及MapReduce并行化計(jì)算框架是Hadoop集群系統(tǒng)的核心，HDFS是Hadoop平臺(tái)中分布式計(jì)算下數(shù)據(jù)存儲(chǔ)管理開展基礎(chǔ)，具有較為突出的可靠性以及擴(kuò)展性和高容錯(cuò)性特征;而MapReduce并行計(jì)算框架能夠?qū)⒎治鋈蝿?wù)分成大量并行Map和Reduce任務(wù)以進(jìn)行Hadoop平臺(tái)運(yùn)行及功能支撐;此外，HBase是以HDFS為基礎(chǔ)的分布式數(shù)據(jù)庫，能夠?qū)崿F(xiàn)海量數(shù)據(jù)存儲(chǔ)，而Hive作為數(shù)據(jù)倉庫處理工具，在Hadoop平臺(tái)運(yùn)行中主要用于HDFS或者是HBase中存儲(chǔ)的結(jié)構(gòu)化或者是半結(jié)構(gòu)化的數(shù)據(jù)管理。隨著對(duì)Hadoop研究的不斷發(fā)展，當(dāng)前Hadoop平臺(tái)已經(jīng)成為一個(gè)包含很多子系統(tǒng)大數(shù)據(jù)的處理生態(tài)系統(tǒng)。如下圖1所示，即為Hadoop平臺(tái)的結(jié)構(gòu)組成示意圖。

2 基于Hadoop的高校大數(shù)據(jù)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)研究

根據(jù)上述對(duì)Hadoop平臺(tái)及其結(jié)構(gòu)功能的分析，結(jié)合當(dāng)前高校信息系統(tǒng)建設(shè)與數(shù)據(jù)管理現(xiàn)狀，可構(gòu)建如下圖2所示的基于Hadoop的高校大數(shù)據(jù)平臺(tái)系統(tǒng)，其系統(tǒng)結(jié)構(gòu)主要包括數(shù)據(jù)源、數(shù)據(jù)集成、Hadoop平臺(tái)管理、分布式數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)分析、API接口、應(yīng)用單元等。

其中，數(shù)據(jù)源中包含了高校的各個(gè)業(yè)務(wù)系統(tǒng)、文件系統(tǒng)、視頻監(jiān)控以及校園論壇等系統(tǒng)數(shù)據(jù)，主要由結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)兩種形式，其中，結(jié)構(gòu)化數(shù)據(jù)以Sqlserver和Oracle數(shù)據(jù)庫為數(shù)據(jù)存儲(chǔ)位置，主要以高校各業(yè)務(wù)系統(tǒng)數(shù)據(jù)為主;而非結(jié)構(gòu)化數(shù)據(jù)中，部分?jǐn)?shù)據(jù)是以blob格式在數(shù)據(jù)庫或者是文件系統(tǒng)中進(jìn)行存儲(chǔ)管理。

基于Hadoop的高校大數(shù)據(jù)平臺(tái)系統(tǒng)中的數(shù)據(jù)集成單元，包含了數(shù)據(jù)采集以及清洗、整合等環(huán)節(jié)，是數(shù)據(jù)源中數(shù)據(jù)提取至Hadoop憑條數(shù)據(jù)分析的中間結(jié)構(gòu)，其中，該結(jié)構(gòu)單元在進(jìn)行數(shù)據(jù)采集中是通過Sqoop實(shí)現(xiàn)關(guān)系型數(shù)據(jù)庫數(shù)據(jù)導(dǎo)向Hadoop平臺(tái)的HDFS或者是HIVE進(jìn)行導(dǎo)入。

分布式數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)單元中，進(jìn)行結(jié)構(gòu)化數(shù)據(jù)是以表格格式在Hadoop平臺(tái)的Hive中進(jìn)行存儲(chǔ)管理，或者是將數(shù)據(jù)轉(zhuǎn)換成Key-value形式在HBASE中進(jìn)行存儲(chǔ)管理，還可以通過文件格式在HDFS中進(jìn)行存儲(chǔ);而非結(jié)構(gòu)化數(shù)據(jù)是通過目錄與文件組織方式在HDFS中進(jìn)行存儲(chǔ)管理。

此外，高校大數(shù)據(jù)平臺(tái)系統(tǒng)的大數(shù)據(jù)分析單元在系統(tǒng)運(yùn)行中，通過Hadoop平臺(tái)進(jìn)行多種數(shù)據(jù)處理與分析框架提供，并根據(jù)不同應(yīng)用場(chǎng)景實(shí)現(xiàn)合適的數(shù)據(jù)處理框架和模型選擇，來滿足其數(shù)據(jù)離線分析與流式計(jì)算需求。在智能分析與可視化單元中可以通過機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘計(jì)算對(duì)數(shù)據(jù)進(jìn)行更深層次的分析，最終以圖表或者導(dǎo)航儀等形式進(jìn)行中展現(xiàn)，并實(shí)現(xiàn)數(shù)據(jù)分析結(jié)果的可視化圖形或文字呈現(xiàn)效果，使其更加容易被理解和運(yùn)用，對(duì)數(shù)據(jù)分析結(jié)果在高校門戶網(wǎng)站或者是移動(dòng)APP程序中進(jìn)行展示。

最后，在高校大數(shù)據(jù)平臺(tái)的應(yīng)用單元能夠通過API接口對(duì)所有處理數(shù)據(jù)及分析結(jié)果在高校門戶網(wǎng)站或者是移動(dòng)APP程序中進(jìn)行調(diào)用，或者是在其他系統(tǒng)中進(jìn)行展示與應(yīng)用，以達(dá)到數(shù)據(jù)集中管理和運(yùn)用的目的。

根據(jù)上述所構(gòu)建的基于Hadoop的高校大數(shù)據(jù)平臺(tái)系統(tǒng)，為驗(yàn)證該平臺(tái)中Hadoop平臺(tái)管理的Hive存儲(chǔ)能夠順利實(shí)現(xiàn)高校各業(yè)務(wù)系統(tǒng)數(shù)據(jù)提取，并將處理數(shù)據(jù)向業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫

進(jìn)行導(dǎo)出，以某高校MySQL數(shù)據(jù)為例，設(shè)計(jì)該數(shù)據(jù)庫中學(xué)生一卡通數(shù)據(jù)在Sqoop工具支持下向Hadoop平臺(tái)管理的Hive進(jìn)行導(dǎo)入，同時(shí)將Hive數(shù)據(jù)分析結(jié)果向MySQL系統(tǒng)導(dǎo)出實(shí)驗(yàn)，實(shí)驗(yàn)分析過程顯示，在數(shù)據(jù)量較小情況下，Hadoop平臺(tái)管理的數(shù)據(jù)運(yùn)算與讀寫時(shí)間與Oracal相比無明顯優(yōu)勢(shì)，但是，數(shù)據(jù)量較大情況下，Hadoop平臺(tái)管理集群優(yōu)勢(shì)明顯，其數(shù)據(jù)預(yù)算及分析時(shí)間明顯較短，由此可見，基于Hadoop的高校大數(shù)據(jù)平臺(tái)設(shè)計(jì)方案可行。

3 結(jié)束語

總之，針對(duì)高校信息系統(tǒng)建設(shè)與發(fā)展現(xiàn)狀，進(jìn)行基于Hadoop的高校大數(shù)據(jù)平臺(tái)開發(fā)設(shè)計(jì)，以促進(jìn)其在高校信息系統(tǒng)運(yùn)營與數(shù)據(jù)管理中的運(yùn)用實(shí)現(xiàn)，具有十分積極的價(jià)值和作用。

（作者單位：岳陽職業(yè)技術(shù)學(xué)院）