可視化大數據管理系統的設計與應用

文/李瑩 姚鄭 潘晶晶

設計背景

隨著各校教育信息化的建設初見成效，網絡保障條件日趨成熟，教育信息管理系統等各類基礎信息數據庫建設工作的逐漸完善，決策主體的數據意識得到了一定提升。

隨著技術的普及,大數據已逐漸成為國家基礎性戰略資源[1],近年來，各校均建設了大量的教育教學信息管理系統，如學籍系統、就業系統、資產系統、報道系統、培養系統、招生系統、教師系統等，累積了大量的數據資源。但是因為設計維度和管理角度均不統一，各業務系統基本都是各自獨立運行、數據不互通，所以無法整合數據，無法為上層校領導提供統一化整體化的直觀學校信息。而大數據技術作為信息技術對于教育變革的推動力，為教育決策科學化提供了新思路和新方法[2]。大數據技術的發展是提升教育決策科學性的優質驅動力, 但數據匯聚與綜合應用仍是促進科學決策的一大門檻[3]。教育決策的制定往往會參考一定的數據資源, 但數據大都源于決策者的直觀經驗、印象, 并不能全面、系統地反映事實, 使決策的科學性受人質疑[4]。為了更好的為決策者提供有力的數據支持，特建立可視化大數據管理系統。

系統簡介

可視化大數據管理系統通過對高等院校教育基礎數據持續、動態、標準化的采集、清洗、轉化，實現高等院校教育數據縱向貫通和互聯，為準確掌握全校教育基本情況（包括學生、師資、學科、課程、學位、就業等），為科學制定高等院校教育政策、教育資源配置合理化，提供全方位、實時、精準的重要決策數據支撐。在此基礎上，面向校領導及科研院所提供本校學生、教師、課程、學科的基本數據查詢、統計報表和各類排行服務，并將可公開數據向社會發布，允許公眾通過統計數據了解本校教育基本情況，傳播高等院校教育理念和成果。

系統特點

可視化大數據管理系統利用云計算基礎設施，整合高等院校各類教育基礎數據，建立起全校教育信息通用分類標準和基礎數據中心，通過基礎數據融合和大數據可視化技術，全面掌握全校教育基本狀況，全面支持高等院校教育質量評估、教育決策，實現智慧教育管理，促進全校教育資源共享。

系統架構

1.數據層，系統使用數據庫集群存儲數據。在數據庫中，主要分為兩部分，一部分是系統的邏輯數據，另一部分是可視化大數據管理系統所需要的業務數據。而業務數據只用作可視化展示，所以為了避免誤操作，此部分數據設置為只讀權限。

圖1 系統架構

2.服務器層，本系統展示的報表和圖表較多，根據此需求特點，將服務器層分為兩部分，一部分是系統運行的服務器，另一部分是提供報表服務的報表服務器。

3.業務層，系統本身業務主要包括訪問管理、統計訪問次數、系統設置、日志記錄、用戶權限管理等業務功能。系統根據用戶的角色展示相應的數據報表。

4.展示層，系統中展示的報表都由報表服務器生成，并將生產的報表嵌入到系統的展示頁面中。本系統的展示部分，均由HTML5技術實現，PC和移動終端都可以正常訪問。

系統功能

可視化大數據管理系統功能包括三大方面：數據采集；數據管理；統計分析。

1.數據采集

可視化大數據管理系統涵蓋各分校的各類教育基礎數據。其從各分校相關教育業務系統中自動抽取數據，或者由各分校按約定的數據模板及時上傳數據，在此基礎上對數據進一步清洗、轉化。應用層系統獲取這些經過預處理的基礎數據，基于可視化技術，實現教育指標的綜合分析、評價和決策支持。系統建設初期，主要采取人工上傳方式采集各分校的教育基礎數據，在后期推廣應用階段，逐步實現自動方式（開放API，平臺定時抽取）采集數據。

2.數據管理

（1）數據處理。可視化大數據管理系統作為底層服務平臺，嚴格遵守一數一源，按照預先定義好的數據模型，將數據加載到數據庫中，實現整個智慧教育數據的規范化、系統化、一體化管理，提供數據導入導出、數據備份、元數據管理、數據交換等后臺功能，對教育基礎數據進行計算、處理，為上層應用提供更加便利的數據服務，包括ETL（數據抽取、轉換、裝載與清洗），MapReduce以及計算等方式。

數據導入導出：把相關的教學數據采用合適的模式/標準對數據進行統一儲存，方便利用智能算法進行分析和操作，將經過系統分析處理后的數據導出，方便瀏覽查詢或者打印。

數據備份：只要產生了數據傳輸、數據存儲以及數據交換，就有產生數據故障的可能性。本系統采取定時進行數據備份、提供數據恢復等手段，防止數據的丟失，避免造成損失。

元數據管理：包括各個業務表的發展，數據元素和實體的定義，表格規則和算法以及數據的特征。最基礎的管理是管理業務元數據的收集、組織和維持。對技術型元數據的應用以及主數據管理和數據治理項目的成功至關重要[5]。

數據清洗：數據來源各不相同，數據形式多元化，使得數據質量存在較大的差異，不正確或者不一致的數據可能會嚴重影響數據的分析效果。本系統使用如統計分析、預定義規則等相關技術將“臟數據”轉換為滿足數據質量要求的數據。

數據集成：整合來自多個數據存儲的數據，為數據分析、處理、挖掘提供完整的數據源。

數據交換: 將數據變換或統一成適合于數據分析挖掘的形式。

數據校驗：在數據交互中，由于各種硬件、軟件、網絡等問題可能會導致數據的丟失、異常等不一樣的情況，為了解決這種情況，系統內建立相關校驗機制和處理功能，以便對異常情況做善后處理。

圖3 按需查詢與數據導出

（2）提供統一的數據訪問接口。通過規范API標準幫助應用開發者能夠更好地使用智慧教育平臺的各類資源，支持各系統之間的數據共享，保證數據的實時性、整齊性和一致性。

3.統計分析

（1）支持基本的數據統計分析和可視化展現（圖2）。全院教育基礎數據統計采用橫向（從學生、教師、課程、學科角度對比單位情況）與縱向（從單位深入查看學生、教師、課程、學科情況）相結合的方式。院校領導、院校機關（主管業務部門）可以了解各分校的學生、師資、課程、學科的總體情況及各校對比情況。也可查看每個培養單位（院系/研究所）的學生、師資、課程、學科數據。分校領導、研究所領導可以查看本校（含對口培養單位）或本單位總體情況以及面向全院校公開的各校對比情況。

圖4 向社會公眾發布統計數據

圖5 關注教師數量變化

圖6 分析各研究所博導碩導的數量和性別比

（2）支持按需查詢與數據導出（圖3）。院校領導、院校機關（主管業務部門）可以以自定義的方式查詢感興趣的數據，并可導出相應的基礎數據。

（3）支持向社會公眾發布統計數據（圖4）。院校機關（主管業務部門）有權限將統計數據（圖表）對外發布，可設置院校內發布和向公眾發布。設置為院校內發布，則可跨校、跨單位查看相應的統計信息；公眾可通過院校機關發布的面向公眾的統計數據了解本院教育基本情況。

系統應用場景

關注教師數量變化，提升學校在崗教師數量和質量

通過查看各級單位歷年新增教師數量，可以及時發現教師數量變化的異常，再通過數據鉆取，查看各研究所教師數量，查看各年齡段教師數量等，可以發現異常的根源。比如：某所教師數量逐年下降是因為退休教師數量增加、導致在崗教師數量下降，就可以及時補充新教師，在未來三五年內，重點引進年輕教師，從而避免教師資源短缺（圖5）。

分析各研究所博導碩導的數量和性別比

用戶需要分析所有單位的博導碩導數量性別差異。通過分析菜單內選擇教師分析，選取導師類型和性別等字段，從而完成整個統計過程，得到數據結果（圖6）。

制定未來財務支出計劃，有效配置教育資源

用戶通過查看教育經費概況，教育經費收支情況，可以觀察歷年各項收入支出變化，計算收支增長百分比，合理預測下一年的收支情況，制定財務計劃。

教育信息化是社會信息化的一個重要組成部分，合理利用大數據的統籌與應用可以推進教育決策科學化。可視化大數據管理系統將進一步為教育決策大數據系統的架構設計、系統研發和多面應用提供基礎和方法。