基于大數據技術的數據中心建設與應用

孔曉宇

摘 要：隨著教學、消費、學生行為等數據量的積累，校園的各個應用系統獲取的非結構化和半結構化數據也越來越多。為了對學校的海量數據進行深層次的數據挖掘和分析，校本數據中心的建設已成必然趨勢。文章以無錫商業職業技術學院校本中心的建設為例，通過對學情現狀分析、校本中心的建設情況，提出校本數據中心建設的重要性。

關鍵詞：校本數據中心;校情分析;大數據

1 實施背景

經過多年的信息應用系統建設，高校已經積累了海量的教學、消費、學生行為等數據。但是校本數據的存儲和整合過程較為分散，缺乏統一平臺進行管理，而且這些海量數據也沒有得到有效、充分的分析和利用，各部門人員在日常數據錄入和維護中只是通過統計和排序對數據進行簡單的功能操作，獲得一些表面、淺顯、價值不高的結果。

2 現狀分析

經過多年的數字化校園建設，高校校園的各個應用系統獲取的非結構化和半結構化數據也越來越多，目前存在應用系統種類多、數據分布分散等問題。

（1）數據規模日益龐大，數據來源多元化，共享數據庫涵蓋系統多，高校生源不斷擴張，信息不斷積累，致使數據庫中的信息不斷增加，進而為數據挖掘、管理和分析帶來了困難。

（2）缺乏穩定高效的校本數據中心環境，高校不同學科與專業采用的數據環境大多依賴現有的IT環境，導致數據運行的基礎系統環境比較混亂且極其不穩定，缺乏有效的數據管理，阻礙教學和科研工作的高效進行。

（3）在科研管理活動中，沒有使用成熟的管理平臺，不僅數據難以共享，還容易出現數據隨意修改、刪除等現象，除了容易造成數據不一致，還嚴重影響了數據的安全性和穩定性。

（4）數據利用不充分，校園的信息仍然停留在收集和累積階段，而數據僅僅停留在簡單查詢和分析階段，并沒有對數據進行整合、梳理和挖掘，使得這些信息仍未被管理者采用，作為決策依據的信息則少之又少。

（5）數據驅動帶來的教學新挑戰，數據劇增由量變引起質變，學生的思維和行為模式在傳統的學科研究領域中發生轉變。如何借助大數據和人工智能相關技術以及資源，找到校本數據研究分析成果的新視角，為教學和學生服務提供策略指導是管理層面臨的新挑戰。

3 校本數據中心的建設

文章以無錫商業職業技術學院為例，校本中心的建設框架和內容如下。

3.1 總體框架的設計

數據中心應適應于大數據處理要求，能支持PB級數據管理。系統架構應高安全性、易擴展性，能夠支持各類主流開發語言，并提供豐富的接口。同時能夠支持結構化和非結構化數據的存儲和應用，搭建4層架構的全量數據中心。

（1）建設原始數據層（ODS層）。數據工程師根據接口對各系統的數據原樣加載到數據倉庫ODS層，設定數據拉鏈、可對數據質量進行監控，保證數據準確無誤。同時有效地解決了傳統模式下第三方接口不可管理、原始數據質量無法檢測的問題。

（2）建設主題明細數據層（TDS層）。對中心庫最基本的數據進行集中管理，依據標準規范建立數據集市，為數據的分析提供明細主題查詢，解決數據可視化管理的問題。

（3）建設匯總統計數據層（SMY層）?？梢罁祿治龅男枨筇峁└鞣N匯總統計，并可作為明細數據的校驗和統計分析數據源，解決了傳統模式下數據分析建立模型的不規范性以及模型統一管理問題。

（4）建設應用數據層（SER層）。可依據第三方業務需求，構建出對外服務的統一接口，實現接口的開放性，解決了傳統模式下數據庫對外服務接口不規范、無法管理的問題，保證數據安全的情況下也便于對外接口的統一定義和管理。

3.2 建設內容

校本數據建設內容如表1所示。

3.3 技術要求

3.3.1 平臺架構技術要求

（1）以開源的Hadoop為基礎，研發校本數據中心，具備自主知識產權。系統通過多租戶功能允許各個院系或數據分析人員接入大數據平臺開展數據分析與探索工作。以平臺數據管理為基礎，可針對特定角色的用戶賦予指定表、指定列、指定行的訪問權限，數據下載需按照我校的電子數據提取管理辦法完成審批流程，導出數據通過桌面文檔安全管理系統進行加密并授權訪問[1]。

（2）該平臺支持Windows、Linux操作平臺;數據庫支持Oracle，Sql Server;Web服務器支持WebLogic，Tomcat較新版本等。客戶端兼容IE，Firefox，Chrome，Safari，360等主流瀏覽器、手機Android平臺Opera、UC及IOS平臺safari瀏覽器的各個版本。友好支持 PC、平板電腦、智能手機便捷操作。

（3）事務響應時間不超過2s，同時在線數達到≥? ? 1 500人，并發數于≥500人。

（4）保證數據無縫對接，并提供安全策略及備份策略，保證與其他平臺之間的共享與交互，符合學校的數據標準。

3.3.2 軟件開發的要求

（1）遵循學校信息化標準。

平臺的建設必須符合和遵守學校制定的信息化相關標準要求，以便規范地進行業務數據的采集、存儲、傳輸、應用。軟件平臺供應商應熟悉學校數據標準規范和數據接口規范，在學校標準覆蓋不全的情況下，根據國家相關部門制定的標準，與學校一起升級和完善學校自己的標準[2]。

（2）應用程序的編程語言及服務器要求。

軟件須采用Java編程語言和服務器端Java技術進行開發，業務應用平臺和數據集成平臺均必須基于如Oracle大型數據庫上。數據庫服務器平臺、Web服務器平臺和應用服務器平臺可以運行于多種操作平臺，包括但不僅限于Windows NT/2000/2003/2008、Unix和Linux（Red Hat Linux）等操作平臺。同時，考慮到學校在服務器虛擬化方面的工作，要求平臺須適合在虛擬機上運行。

（3）面向對象的組件技術。

采用了基于元數據的設計模式，開發組件模塊化，統計指標參數化，各個平臺之間協同工作，不同的平臺在同一運行環境下彼此之間通過接口進行程序模塊的調用、參數傳遞、數據共享?？紤]到整個學校管理體系的改革以及建設規模的龐大和復雜，平臺建設具有很強的擴展性要求。各模塊應該相對獨立，通過接口容易組裝，整個平臺容易升級和擴展[3]。統計指標可以由用戶自定義，方便隨時根據業務變化來調整平臺參數。

（4）標準規范的接口技術及安全的數據集成。

建立一個能夠適應學校未來發展的，能夠為第三方應用平臺提供相關接口、開發規范以及相關數據集成的接口規范。數據中心要求與學校其他應用系統實行對接，制定與學校數據中心對接的數據共享解決方案，提供必要的數據檢查和清洗，消除信息孤島，實現學校其他系統與數據中心的高度統一和內部共享。

（5）易用性。

平臺必須符合國人的使用習慣，并且簡化各個功能模塊步驟，努力實現“方便找、找得到、使用簡單”，體現“服務大廳”一站式服務特點以及“信息推送”的特點。

4 結語

制定更全面的數據管理平臺，為全校師生提供安全可靠、完整統一的數據信息，必須從數據分類、數據維護、數據存儲、數據使用與服務、數據安全等各個方面，建立有效的校本數據中心，實現數據共建、共享體系，提高數據質量和利用效率，更深一步地發揮數據的作用和功能。

[參考文獻]

[1]許琦.內部質量保證體系中校本數據中心建設探討—以異構數據遷移方法為例 [J].職業技術，2020（5）：1-6.

[2]王金彬.淺議數字化校本教學資源庫的建設與應用[J].高考，2018（36）：54.

[3]趙艷妮，郭華磊.基于XML異構數據庫遷移技術研究[J].計算機與數字工程，2018（1）：129-133.

（編輯 王雪芬）