大數據在智慧校園建設中的應用研究

張國梁 金成 李敏

摘要：大數據作為數據管理的一項新技術，對建設智慧校園起著重要作用。智慧校園是一個整合開放、創新、協作、智能的信息服務平臺，其主要功能就是智慧，包括智能感知、自定義配置、雙向互動、任意訪問、支持大數據和開放的學習環境等等。分析了大數據在智慧校園應用中遇到的問題，提出了解決方案。

關鍵詞：數據管理；智慧校園；大數據

0 引言

隨著信息技術的發展，互聯網數據高速增長。數據的快速增長不能說明已經進入了大數據時代，處理大數據應該對有價值的數據存儲和網絡容量集中考慮。原數據密度的價值很小，技術人員必須從大量數據中將有價值的信息剝離出來。

目前大數據技術還處于發展階段，但潛在應用前景廣闊。麥肯錫全球研究院報告“Big data：The next frontier for innovation， competition， and productivity”[1]，對大數據的應用領域和關鍵技術作了詳細分析。大數據技術是建設智慧校園的重要技術，智慧建設元素的一個重要組成部分就是大數據。

1 大數據技術

1.1 大數據來源

近年來數據已達到50%的年增長率。傳統的關系型數據管理模式因數據的大體量和過多的非結構化形態數據，無法滿足日新月異的需求。大數據的IT技術作為下一代技術，將有利于研究者獲得高質量、高價值的數據。

1.2 大數據概念

維基百科對大數據定義是：大數據是指無法在一定時間內使用傳統的軟件工具，進行收集管理和數據處理抓取其內容。數據（Data）通常指用于技術設計、科學研究、決策、查證的數據，主要是通過科學實驗、測試、統計和其它方式獲得的統計信息。通過完整地、系統地、精確地測量，采集、記錄、分類、存儲數據，再對其進行嚴格地統計、檢驗、分析，得出有說服力的結論。經過大規模、長時間測量、存儲、記錄、分析、統計這些數據，接收到的海量數據就是大數據（Big data）。

1.3 大數據特征

大數據有3個特性，即數據類型的多樣性（Variety）、數據體量的規模性（Volume）和數據處理速度的高速性（Velocity）。在這3個屬性的基礎上，相關權威人士增加了數據的時效性（Vitality）、真實性（Veracity）、復雜性（Complexity）以及價值性（Value）等幾個特性。

2 需求分析

2.1 技術需求

①可放置在各種不同的操作系統，并支持集群；②智慧校園以大量非結構化數據分析的知識形成，從而得到復雜數據，實現更多數據處理和數據分析的嚴格要求；③支持多種已知的數據庫；④跨越常規報表的時間序列分析、路徑分析、What-if分析、圖分析等；⑤基于云計算的應用模式、常見的數據集成、交叉循環利用資源等應用服務；⑥支持各種終端，包括計算機、傳送裝置、移動終端等；⑦能夠識別終端的類型，自動調整顯示內容；⑧具有內容管理和發布能力；⑨支持虛擬門戶；⑩搜索引擎的內容、文檔、圖片及其它信息網站檢索；B11整合有線網絡、無線網絡，上網統一認證，統一的網絡管理和監控，增加學校出口帶寬，滿足師生上網需求；B12數據存儲結構：符合標準的信息集以及業務接口平臺和操作系統的不同運行要求，存儲設備實現定時備份和遠程備份。

2.2 智慧校園平臺建設需求

（1）建立一個統一的數據標準：智慧校園首先要符合國家標準要求，建設、經營和管理統一信息系統標準，規范智慧校園建設。

（2）構建統一的數據平臺：創建統一的數據傳輸標準和數據交換規則，不同部門、不同應用系統之間規范數據交換，規范各部門、學校之間數據傳輸和通訊，學校專注于業務部門數據，實現大數據分析和遠程備份。

（3）身份認證及接口統一平臺建設：集中認證，提供統一應用界面的系統管理服務，集中認證接口規范，提升智慧校園安全系統的各種應用。

3 大數據在智慧校園建設中存在的問題

（1）數據錯誤。智能校園結構化數據和非結構化數據不斷增長，使數據采集和測量方式不斷改變，數據分析猶如在“干草堆”里尋找有價值的數據。數據記錄錯誤日益增長，數據質量問題堪憂。

（2）技術不成熟。目前許多大數據技術（如Map Reduce、Hadoop）從開源社區（如谷歌和雅虎）開始，對比傳統的數據庫和數據管理套件，在技術、安全和可訪問等方面都不成熟。因此，實時數據處理、創新的設計和其它技術問題設計需要適應環境的動態變化。

（3）人才短缺。學校應該廣納精通數據統計并能創建高層次分析模型的專家，因為傳統的管理人員和數據分析人員都不具有預測、開發、分析應用程序的能力，更多的數據都還是原來的形式。大數據分析主要是基于建模或未來趨勢的分析預測，應探究大數據的發展趨勢。

4 智慧校園數據挖掘平臺設計

4.1 智慧校園系統結構

系統結構如圖1所示，包括顯示層、中間層、數據層這3個層次結構，其中數據層和中間層主要集中在Server（服務器）端，顯示層集中在Brower（客戶端瀏覽器）。

（1）顯示層是界面層，是用戶和系統之間交互的引線，提供訪問用戶界面。可視化數據挖掘的結果在顯示層展示。

（2）中間層是核心業務系統，包括數據處理、運行算法、數據轉換，用于處理客戶端瀏覽器請求并返回結果。當服務器接收到客戶請求時進行數據處理，運行相應算法，結果在瀏覽器客戶端轉換成相應的數據信息，最終回到客戶端瀏覽器。

（3）數據層即中間層數據源，用戶讀取的數據存儲在數據庫中，該數據可以被預處理以更好地挖掘數據。

4.2 系統數據庫設計

數據表設計包括消費信息、成績信息、出勤信息、圖書借閱信息、上網信息和門禁信息，這些數據是流水數據，可分別為這些數據設計一個表，通過學號將這些數據表關聯起來，見圖2。

4.3 智慧校園數據平臺功能設計

為滿足數據安全和數據挖掘功能需求，系統分為數據管理、用戶管理和數據挖掘3大模塊，如圖3所示。

用戶管理包括用戶登錄、用戶注冊和權限管理模塊。主要提供用戶注冊入口、用戶登錄入口，用戶權限問題由權限管理模塊負責，管理員可以處理不合法的用戶。數據管理主要包括數據處理和數據讀入。數據處理模塊在算法運行前就開始處理數據，主要有數據集成、數據清洗、數據轉換及數據歸約。數據讀取主要是從其它數據庫或者數據文件讀取數據到本系統數據庫中。

5 大數據應用

校園信息化在該階段的主要目標是整合各種資源的開發和利用，提高資源利用率。將集成硬件和軟件資源整合，實現統一的數據管理及維護。

智慧校園突出了數據層處理以及平臺能力，可以說，大數據處理是智慧校園的特征之一。

智慧校園需要具備較強的數據層處理能力：建立數據收集的基礎設施和存儲設備，建立一個統一的標準數據、建立交換公共數據系統的平臺、建設智能數據分析系統、建立數據倉庫系統、建設智能化決策系統等。大數據技術將學校管理由粗放式管理轉向精細化管理，由經驗管理轉向數據管理。

智慧校園架構分為數據架構、應用架構和技術架構。數據架構由主平臺的數據管理、大數據處理平臺組成。應用架構由校園門戶網站、校園智能BI平臺、教學和科研、服務支持、信息管理平臺、學院資源管理平臺、部分校企平臺組成。技術架構分為校園共享服務SOA平臺、校園云桌面、校園寬帶網絡、校園模塊化數據中心等部分。

6 結語

建設智慧校園，只有在記錄數據中才能體現它的價值，有價值的數據被用戶關注才會為決策、分析提供支持。可通過正確使用大數據技術，提高分析能力，為智慧校園建設及管理打下了扎實的基礎。

參考文獻：

[1]靳玉萍.數字化校園的資源配置方案及其關鍵技術[D].西安：西安科技大學，2005.

[2]陳志坤.網絡安全監測數據集成關鍵技術的研究與實現[D].長沙：國防科學技術大學，2009.

[3]張昕.異構就業數據集成服務的設計與實現[D].北京：北京郵電大學，2015.

[4]翁碩.數據挖掘在個性化學習系統中的應用研究[D].北京：首都經濟貿易大學，2015.

[5]馮升波，高麟鵬，周伏秋.我國數據中心節能現狀和面臨的挑戰分析[J].中國能源，2015（11）：23-26.

[6]張永華，李天一.基于大數據技術開展電子文件開發利用模式研究[J].低碳世界，2015（31）：155-156.

[7]何鳳嬌.基于云計算及大數據技術構建區域醫療影像服務平臺[J].信息通信，2015（12）：99-100.

（責任編輯：杜能鋼）