基于Hadoop平臺的校本數據中心建設研究

黃安

（廣西農業職業技術大學，廣西南寧，530007）

0 概述

隨著大數據時代的到來，依靠大數據技術進行高校信息化建設也得到快速發展[1]。大數據已經深入到全國高校信息化建設的方方面面。國內高校面對大數據的快速發展，是加快校園信息化建設的良好機遇，同時也面臨更大的挑戰。通過大量的查閱相關文獻，以及上網查找資料發現，國內很少有高校提出通過hadoop建立校本數據中心的實施方案可供我們參考。

1 傳統校本數據中心存在的問題

對于校內的數據綜合查詢，以往的做法都是直接或間接的訪問校內各業務信息系統的數據庫，往往一個數據項又出行在多個數據庫里，這就造成了數據的不統一性，甚至對數據的安全性產生影響，冗余數據還會導致查詢效率降低。依賴于校園各信息系統的相關教學質量、數據分析管理決策、科研分析等拓展業務就很難開展。正因為如此，我們就借助Hadoop技術在大數據方面的優越性，以此來建立校本數據中心，通過該平臺，采集校內各大信息系統的數據，建立常用的主題數據庫。在此基礎上，根據使用者不同的角色，提供不同層面的數據實時查詢和數據實時分析，為學校領導及廣大師生提供可靠準確的數據，有助于使用者做相關的思考和決策。

2 校本數據中心架構結構

校本數據中心采用Hadoop分布式文件系統 (HDFS) 、分布式數據庫Hbase和數據倉庫Hive進行搭建。Hadoop是一個由 Apache 基金會所開發的分布式系統基礎架構，提供了可靠的、可擴展的、可分布式計算的開源服務[3]。數據中心架構結構如圖1所示。

圖1 數據中心架構圖

HDFS通過一個高效的分布式算法，將數據的訪問和存儲分布在大量服務器中，在可靠地多備份存儲的同時還能將訪問分布在集群中的各個服務器上，是傳統存儲構架的一個顛覆性的發展[4]。Flume負責收集日志，同時提供對日志數據進行簡單的處理。YARN負責資源管理。MapReduc用于進行大數據的計算。ZooKeeper解決分布式環境下的數據管理問題。HBase提供對大規模數據的隨機實時讀寫及訪問。Hive用作數據存儲的倉庫。Oozie負責進行作業調度，Sqoop用于在傳統數據庫和Hadoop之間傳輸數據。

通過校本數據中心，把學校的各信息系統的數據進行統一采集、清洗、存儲。首先將剛采集來的數據放入原始庫，經過標準化處理后，再放入標準庫，最后從標準庫抽取便于我們做數據查詢和分析的數據，放入主題庫。針對結構化和半結構化的數據，為了實現其統一格式，hadoop技術使用的分布式系統以及列式數據庫，可以很好的處理這些問題。

3 搭建基于Hadoop的校本數據中心

基于Hadoop技術架構來搭建校本數據中心。搭建完全分布式模式Hadoop集群， HDFS集群有兩類節點，分布為NameNode節點和DataNode節點。數據中心集群使用多節點服務器堆疊技術，以此來實現服務器高并發和高并行的數據計算和處理能力。集群中包含了三個管理節點(NameNode)，數據倉庫存儲在這些節點當中。主NameNode節點處于活動狀態 (NameNode Active) 對外提供服務, 備用Name Node節點 (Name Node Standby)同步主NameNode節點的元數據, 作為主節點的熱備。兩個節點共享存儲, 隨時等待切換。DataNode節點仍然負責數據塊的冗余存儲, 所有DataNode同時向主備Name Node節點匯報數據塊狀態信息[5]。正因為如此，校本數據中心對NameNode做定時熱備份，一般情況下，僅有一臺主NameNode為集群提供服務，另外一臺自動進行備份及數據同步。當主NameNode出現宕機情況，另外一臺備份的NameNode就會自動為集群提供服務，變成主NameNode。這樣就大大的提高了集群的可用性能。

Hadoop集群采用的是HBase數據庫，為了保證數據的一致性及可靠性，存儲的數據會進行自動備份3份。當服務器需要對某個文件進行存儲時，該文件蔣會被分成多個大小一樣的數據塊，每個數據塊會分別備份到3個不同的DataNode節點上，這樣做的目的是確保任何存儲的數據，不會因為出現宕機的情況下丟失，同時還解決了以外服務器出現的負載不均衡的問題，以及對龐大的數據進行存儲時出現網絡瓶頸的問題。當我們對服務器里的數據進行讀取操作時，服務器會自動根據數據塊和節點的映射關系表為我們快速找到并提供所需的數據。

4 校本數據中心的工作原理

校本數據中心起到了紐帶的作用，在學校各個信息系統之間架起一座橋梁，讓所有數據庫的數據資源得到有效的整合，實現了數據的高效共享。同時，校本數據中心還起到數據堡壘的作用，確保數據的有效性、完整性、準確性、一致性，安全性。

■4.1 數據采集

校本數據中心需要對校內各業務信息系統的數據進行采集并存儲。Hadoop平臺借助數據轉移工具Apache Sqoop來實現數據的采集， Sqoop主要解決的問題是:導入Hadoop生態系統外的數據源 (本地文件或數據庫表) 到系統內 (HDFS文件、Hive表和HBase表);導出系統內的數據源 (包括處理結果) 到系統外[6]。采集數據分為兩種，分別是歷史數據采集和實時增量數據采集。歷史數據采集是對各信息業務系統原有的所有數據進行原樣采集，不改變數據原本的結構和內容，照搬過來進行全量備份。歷史數據采集完成以后，各信息業務系統每天都會產生新的業務數據，為了確保校本數據中心的數據具有時效性和準確性，就要對這些新的數據進行定時采集增量數據，根據業務系統數據產生的頻率，設置相應的時間間隔觸發增量采集任務，確保校本數據中心的數據與業務系統的數據時刻保持一致。

■4.2 數據存儲

在數據存儲方面，校本數據中心使用的是列式數據庫Hbase對數據進行集中存儲。傳統的關系型數據庫，如Oracle、DB2、MySQL、SQL SERVER 等采用行式存儲法(Row-based)，在基于行式存儲的數據庫中，數據是按照行數據為基礎邏輯存儲單元進行存儲的，一行中的數據在存儲介質中以連續存儲形式存在。傳統的關系型數據庫計算與存儲分離，數據訪問存在競爭和帶寬瓶頸，同時存在著擴展問題。而列式數據庫Hbase支持數據自動切分存儲，并支持高并發讀寫操作，使得海量數據存儲自動具有更強的擴展性。傳統數據庫行式存儲與HBase列式存儲對比如表1所示。

表1 傳統數據庫行式存儲與HBase列式存儲對比

HBase是一個基于Hadoop、面向列、可伸縮、高性能、高可靠的分布式存儲系統，HBase利用HadoopHDFS作為其文件存儲系統。校本數據中心的數據按照分表的方式存儲在Hadoop平臺的HBase數據庫中，一張HBase表存儲一種數據。為了滿足校內各業務系統不同場景對數據的實際使用需求，校本數據中心把對外交換與共享的數據以及數據分析的中間結果，都存儲在Hadoop平臺的其他組件中，以此來提高數據的高效利用率。

■4.3 數據標準化治理與交換共享

從各信息業務系統采集來的數據，放入原始庫。這些數據存在無序、混亂、冗余等缺點，我們需要經過一系列處理，對結構化數據進行規范化、標準化和有效性校驗，對這些數據通過統一其定義、分類、記錄格式、轉換方式、編碼等方式，實現數據的標準化，形成標準庫。標準庫的數據更加有序、可信，數據質量更高。為了更好的提供數據共享與交換、數據查詢與分析、數據協同與交換等服務，根據業務場景實際需要，對標準庫的數據進行再次治理、篩選、聚集、抽取等操作，轉存到數據倉庫，形成新的主題數據庫。主題數據庫能夠更好的為數據查詢、專題分析和決策支持等業務提供數據服務，可為數據使用者開展數據統計分析、挖掘數據規律、輔助領導決策等提供支撐。校本數據中心其數據主要來源于學校各業務領域中實際產生的業務及管理數據，經過一系列數據治理后，反過來對管理業務提供數據服務與支持，校本數據中心與各信息業務系統相輔相成，為學校信息化建設高速發展提供強有利的先決條件。

5 校本數據中心的數據倉庫

■5.1 建立原始數據庫

校本數據中心每天或者固定的時間，從全校的信息業務系統的數據庫中抽取全量歷史數據，放入校本數據中心自己的數據庫中，并以一個類似原始表的表名相似的名字命名，加以識別和區分，形成校本數據中心的原始庫。如為了減少服務器的壓力，管理員也可把全量抽取改成增量抽取，校內各業務系統每天都會產生新的數據，這些新的數據會根據管理員設置好的時間，通過集成平臺定時推送到數據中心，這樣，就不會每次都進行數據的全量覆蓋，大大降低了服務器的運算壓力。

■5.2 建立標準數據庫

校本數據中心建立好的原始庫，是沒有經過任何修改和增刪的數據，存在大量的數據冗余，不利于后期的使用，所以要對這些數據進行清洗和標準化治理，形成校本數據中心的標準庫，便于其他業務系統直接使用，大大提高數據的查詢效率。

■5.3 建立主題數據庫

根據學校的實際應用場景需要，從數據中心的標準庫抽取部分數據并經過治理后，建立主題數據庫，使得各部門信息系統的數據得到更好的集成和統一的管理。有了主題數據庫，即可根據用戶需求，呈現相關的數據統計查詢和匯總。除此之外，其他信息業務系統在實際生產過程中根據自身應用場景，如需要用到主題數據庫的數據，作為數據需求方提出數據使用申請，由數據中心管理員審核并授權后，作為數據供方，提供經過治理后的數據給需求方使用，以此來提高平臺數據的利用率。通過構建多維度、高質量的主題數據庫，滿足不同業務系統應用場景的個性化查詢、統計和分析訴求，最終達到推動學校精細化管理、加速學術研究產出、提升學校信息化建設影響力的目的。

5.3.1 學生主題數據庫

學生是學校的主體，學生的相關數據也是最龐大、最復雜的。學生數據涉及的業務系統主要包括教務系統、學工系統、學生繳費系統、迎新系統、宿舍管理系統、網上辦事大廳、一卡通系統、就業系統、VPN管理系統等。各業務系統之間難免會出現數據不一致的問題，導致同一個內容在不同系統里呈現不一樣的查詢結果，這就導致用戶無法正確使用相關查詢結果。為了打通各業務系統之間的壁壘，消除信息孤島以及解決數據統一的問題，建立學生主題數據庫是非常有必要的。學生主題數據庫主要涉及的信息表包括學生學籍信息、學生編號信息、學生成績信息、學生獎懲信息、學生宿舍信息、學生繳費信息、學生就業信息等。

5.3.2 教師主題數據庫

涉及教師的業務系統主要包括人事系統、協同辦公平臺、科研系統、教務系統、學工系統、網上辦事大廳、資產管理系統、黨建系統、績效考核系統、財務系統、站群管理系統等。教師主題數據庫主要涵蓋的信息表有：教師編號信息、教師工資信息、教師職稱信息、教師授課信息、黨員基本信息、年度考核信息、教師辦公資產信息等。

5.3.3 科研主題數據庫

一個學校的科研能力在一定程度上反映出該校的辦學實力。而科研管理系統正是用余記錄和體現科研水平的重要業務系統。加上長期積累，每個學校的科研數據也是相當龐大，因此，針對科研系統建立相應的科研主題數據庫也是非常有必要的。科研主題數據庫涉及的信息表主要包括：論文成果信息、教材成果信息、專利成果信息、品種認定信息、著作成果信息、獲獎成果信息等。

6 結論

本文主要對基于Hadoop平臺的校本數據中心的建設進行了研究，校本數據中心利用Hadoop的Sqoop組件，將學校各信息業務系統的數據進行抽取，存儲在分布式數據庫HBase中。數據按照列式方式進行存儲，有效解決了傳統數據庫對數據訪問存瓶頸和數據庫擴展的問題，同時很大程度上提供了存儲效率和空間的利用率。校本數據中心對采集的數據經過有效治理后，形成標準庫和主題數據庫，打破了學校各信息業務系統直接的壁壘，很多程度了消息了信息孤島，為各業務系統開展數據統計分析、挖掘數據規律、輔助領導決策等提供強有力支撐。同時為學校的信息化建設提供強大可靠的校本數據中心。