基于大數據技術的 智慧校園數據服務平臺設計與實現

楊子天 李濤

摘 要：文章針對國內目前高校智慧化校園中存在的信息數據處理問題，運用新興大數據技術，設計開發智慧校園中的數據服務平臺，著力解決各高校信息孤島問題，通過對高校各系統數據的整合、分析、挖掘，為高校提供精準的輔助決策數據和分析報告，主要包括海量、多樣的高校大數據的采集、清洗、計算與分析，海量高校大數據的動態圖表與可視化報告以及通過人工智能手段進行數據挖掘等功能。

關鍵詞：大數據技術;智慧校園;數據服務平臺

一、平臺的設計與實現

為了解決傳統手段難以滿足高校對信息化輔助管理決策的新需求，數據處理和存儲效率低下及建設門檻和成本高的問題，平臺先利用流式架構整合智慧校園中的各類關系型和非關系型數據，研究多種異構數據源數據的統一采集、匯聚和存儲及快速訪問。在此基礎上結合校園業務應用場景，利用機器學習框架，構建特征模型，對數據進行監督和非監督訓練，確定其間的關聯關系并作出預測判斷。實現對學校內所有數據資源的統一、科學的組織與管理，提高數據質量，釋放數據價值。

1.設計目標

本平臺以智慧校園為基礎，利用流式數據處理、機器學習分析等大數據技術，高效地收集整合高校各方面所產生數據，從其中提取出有價值的信息和模型，推動高校教育的全面創新，是根本目的。本平臺的設計開發目標有以下三點：①針對異構且更新頻次不一的數據源構建統一的數據采集平臺。②針對使用要求不一的數據構建統一的分布式數據存儲服務平臺，提供統一的數據接口。③結合智慧校園的業務場景應用，利用機器學習技術，挖掘數據的新價值。

2.平臺架構

平臺系統整體架構包括大數據處理、數據挖掘、硬件環境、客戶端等四個部分。其中大數據部分構成整個平臺的基礎，硬件和軟件系統構成平臺的容器，客戶端是平臺的出口。

（1）業務架構。在集群硬件環境支持下，利用微服務架構加上SpringCloud技術以及docker+kubernetes等技術實現一鍵布署。各微服務支撐高校大數據的所有業務場景、功能以及展示、報表所需要的資源;微服務通過Restful WebAPI實現與客戶終端的連接，微服務以這種接口形式實現服務與客戶端的分離，從而可以靈活地實現多終端的接入以及為第三方提供服務能力。如SpringCloud為微服務提供安全、熔斷、負載均衡、治理等能力。

（2）技術架構。本次系統平臺技術框架設計從數據采集到數據處理、分析、計算，使用hadoop技術棧中大部分技術。可以采集從結構化到非結構化數據以及syslog 、消息隊列等，幾乎涵蓋了目前行業內的大多數數據類型。能夠處理離線和實時流數據，數據量可達TB級別，實時處理千萬條數據可達到秒級或亞秒級，且所用設備量較少。

二、平臺建設的意義及價值

1.實踐意義

本平臺設計是以高校信息化建設綱要及大數據發展行動綱要為依據進行創新性探索，主要實踐意義有三點：運用新興技術，全面推進高校發展;建立有效的數據處理通道，推動業務融合;充分釋放數據價值，探索業務規律。

2.理論價值

本平臺實現的理論價值有建立新的數據處理方式：根據高校數據的特點，設計節省存儲空間、查詢效率高的數據處理機制。建立新的智慧模型：通過對普通高校大量數據和應用需求的分析和實踐探索，建立可推廣的模型。推動管理理論的變革：將大數據技術應用于教學管理實踐過程中，在提高管理決策科學性的同時，推動學校管理理念的變革，進一步提高管理水平，提升學校的綜合競爭力。

本次智慧校園數據服務平臺依據現階段高校數據計算特點，重點著力于“智慧”應用，充分運用當前新興的大數據技術，探索出一套“存儲—計算—挖掘”一體化的高校大數據框架。目前整套平臺實現運行，在海量數據中獲取價值，產生“智慧”，進而推動決策層向數據決策化發展，為未來高校的發展探索出一條新的道路。

參考文獻：

[1]葉曉斌.提高高校教育教學管理信息化水平的思路探索[J].時代教育，2017（9）：240.

[2]杜 渂，張嘉成.消防大數據分析服務平臺架構設計研究[J].電信快報，2017（8）：24-28.