基于Hadoop的高校大數據平臺的設計與實現

彭航

本文在對Hadoop平臺的結構及功能分析基礎上，結合信息化環境下高校系統建設的現狀，對基于Hadoop的高校大數據平臺的設計與實現進行研究，以供參考。

在信息化發展影響下，高校信息系統建設與運用也取得了較為顯著的發展，并且在長期的運營與管理中積累了相對較多的數據，對高校信息化建設與發展有著十分積極的作用和意義。指導注意的是，結合當前高校信息系統建設與發展現狀，由于其信息系統的分階段建設，導致在對系統運營及數據管理中是由多個不同部門分別執行，各數據之間的相互聯系與有效交互明顯不足。另一方面，在大數據環境下，通過大數據平臺的開發設計以實現各信息系統之間的有效對接與信息交互，形成較為統一的數據運營與管理模式，成為各領域信息建設與運營管理研究和關注重點。

1 Hadoop平臺及其結構、功能分析

Hadoop作為一個分布式系統的基礎架構，在實際設計與開發運用中，是通過Hadoop集群中的一個主控節點對整個集群的運行進行控制與管理實現，以滿足該集群中多個節點的數據與計算任務協調需求。其中，分布式文件系統HDFS以及MapReduce并行化計算框架是Hadoop集群系統的核心，HDFS是Hadoop平臺中分布式計算下數據存儲管理開展基礎，具有較為突出的可靠性以及擴展性和高容錯性特征;而MapReduce并行計算框架能夠將分析任務分成大量并行Map和Reduce任務以進行Hadoop平臺運行及功能支撐;此外，HBase是以HDFS為基礎的分布式數據庫，能夠實現海量數據存儲，而Hive作為數據倉庫處理工具，在Hadoop平臺運行中主要用于HDFS或者是HBase中存儲的結構化或者是半結構化的數據管理。隨著對Hadoop研究的不斷發展，當前Hadoop平臺已經成為一個包含很多子系統大數據的處理生態系統。如下圖1所示，即為Hadoop平臺的結構組成示意圖。

2 基于Hadoop的高校大數據平臺設計與實現研究

根據上述對Hadoop平臺及其結構功能的分析，結合當前高校信息系統建設與數據管理現狀，可構建如下圖2所示的基于Hadoop的高校大數據平臺系統，其系統結構主要包括數據源、數據集成、Hadoop平臺管理、分布式數據存儲、大數據分析、API接口、應用單元等。

其中，數據源中包含了高校的各個業務系統、文件系統、視頻監控以及校園論壇等系統數據，主要由結構化和非結構化數據兩種形式，其中，結構化數據以Sqlserver和Oracle數據庫為數據存儲位置，主要以高校各業務系統數據為主;而非結構化數據中，部分數據是以blob格式在數據庫或者是文件系統中進行存儲管理。

基于Hadoop的高校大數據平臺系統中的數據集成單元，包含了數據采集以及清洗、整合等環節，是數據源中數據提取至Hadoop憑條數據分析的中間結構，其中，該結構單元在進行數據采集中是通過Sqoop實現關系型數據庫數據導向Hadoop平臺的HDFS或者是HIVE進行導入。

分布式數據存儲結構單元中，進行結構化數據是以表格格式在Hadoop平臺的Hive中進行存儲管理，或者是將數據轉換成Key-value形式在HBASE中進行存儲管理，還可以通過文件格式在HDFS中進行存儲;而非結構化數據是通過目錄與文件組織方式在HDFS中進行存儲管理。

此外，高校大數據平臺系統的大數據分析單元在系統運行中，通過Hadoop平臺進行多種數據處理與分析框架提供，并根據不同應用場景實現合適的數據處理框架和模型選擇，來滿足其數據離線分析與流式計算需求。在智能分析與可視化單元中可以通過機器學習和數據挖掘計算對數據進行更深層次的分析，最終以圖表或者導航儀等形式進行中展現，并實現數據分析結果的可視化圖形或文字呈現效果，使其更加容易被理解和運用，對數據分析結果在高校門戶網站或者是移動APP程序中進行展示。

最后，在高校大數據平臺的應用單元能夠通過API接口對所有處理數據及分析結果在高校門戶網站或者是移動APP程序中進行調用，或者是在其他系統中進行展示與應用，以達到數據集中管理和運用的目的。

根據上述所構建的基于Hadoop的高校大數據平臺系統，為驗證該平臺中Hadoop平臺管理的Hive存儲能夠順利實現高校各業務系統數據提取，并將處理數據向業務系統數據庫

進行導出，以某高校MySQL數據為例，設計該數據庫中學生一卡通數據在Sqoop工具支持下向Hadoop平臺管理的Hive進行導入，同時將Hive數據分析結果向MySQL系統導出實驗，實驗分析過程顯示，在數據量較小情況下，Hadoop平臺管理的數據運算與讀寫時間與Oracal相比無明顯優勢，但是，數據量較大情況下，Hadoop平臺管理集群優勢明顯，其數據預算及分析時間明顯較短，由此可見，基于Hadoop的高校大數據平臺設計方案可行。

3 結束語

總之，針對高校信息系統建設與發展現狀，進行基于Hadoop的高校大數據平臺開發設計，以促進其在高校信息系統運營與數據管理中的運用實現，具有十分積極的價值和作用。

（作者單位：岳陽職業技術學院）