數據中臺技術在應用型高校中的研究與實踐

陸婷，于春燕，郝發婷，祁輝

(滁州學院信息化建設與管理中心，安徽滁州，239000)

0 引言

在當前高校信息化快速發展的背景下，高校所需數據的體量逐漸增多，數據集成與共享的形式逐漸豐富，數據作為學校各類業務正常運轉的重要底層資源，越來越受到重視。當前國內普通應用型高校對于數據的管理還是線下導入導出的方式，此類數據管理方式高度依賴學校管理數據的技術人員，容易因為數據使用需求堆積而造成響應速度慢，效率低下等問題，此外還給學校負責管理數據的老師帶來較大的工作量和維護難度。因此要想在數據方面進一步加強建設與管理，必須要先補齊短板，統一數據的管理標準和口徑，通過新興技術對海量數據進行采集、計算、存儲、加工，將數據以更高效的方式提供給不同業務部門。在學校各業務平臺已統一管理的情況下，借鑒企業在數據平臺上的創新經驗，構建適合應用型高校信息化發展的數據中臺，從而能夠進一步推進智慧校園建設。

1 高校數據中臺技術的理念及作用

在國外數據中臺的理念最早起源于一家位于芬蘭赫爾辛基的世界知名移動游戲公司，在國內數據中臺的理念最早萌芽于阿里，為了應對業務高峰、大規模數據的線性可擴展問題，阿里提出“大中臺、小前臺”的戰略，在數據管理平臺的基礎上，對其技術、組織架構、服務對象等方面采取了一些變革，實現Onedata管理體系，包括全局數據倉庫規劃、數據規范定義、數據建模研發、數據鏈接萃取、數據運維監控、數據資產管理工具等，能夠為前臺應用或業務系統提供點對點的個性化數據服務。

借鑒企業數據中臺的建設理念，高校數據中臺是基于前臺數據應用和后臺原始數據庫中間的平臺。數據中臺的本質就是“數據倉庫+數據服務中間件”，如圖1數據中臺結構圖，數據倉庫用來存儲數據，包括結構性數據、非結構性數據、日志數據等多種數據形式；數據服務中間件包含大數據計算服務、大數據研發套件、數據分析及數據展現工具，數據服務中間件能夠隨意組合，對前臺數據應用的個性化需求提供針對性的服務，同時對于有相同需求的業務場景具有可重用性。

圖1 數據中臺整體架構

總體來說，數據中臺在應用型高校中所發揮的作用主要可解決以下四個方面的問題：

1.1 為前臺數據應用提供高效的數據服務，提高服務效率與能力

基于數據中臺能夠降低數據庫的重復性建設，基于事先配置好的數據集合，能夠快速為前端的應用或業務系統提供數據支持，具有更加高效的服務效率與能力。例如絕大多數業務系統在建設初期都需要使用師生的基礎信息，學生基礎信息來自教務系統的學生基本信息表，教師基礎信息來自人事系統的教職工基本信息表，數據中臺可以事先將這兩張表配置成主題數據集，隨時提供給要使用的業務系統或開發應用進行調取使用，以提高服務的效率。

1.2 提供多種數據接入與共享方式，增強開放與連通性

基于基礎數據倉庫或者數據平臺，提供數據時往往只能支持線下導入的方式，與其他系統的連通性較差，容易造成數據孤島的現象。但是基于數據中臺能夠提供豐富的數據共享與集成方式，支持API接口、DB推送、視圖只讀或線下導入等多種方式，滿足業務系統和開發應用對不同數據共享方式的需求，增強數據中臺與其他平臺間的業務連通性與開放性，打破數據應用的邊界。

1.3 為不同角色的服務對象提供數據服務，擴大服務范圍

以往數據倉庫或數據平臺的服務只是在決策者需要做決策時提供數據支持，現在的數據中臺可以為決策者、業務人員、運維人員、各類開發人員等不同角色提供數據服務。從學校角度來說，針對校領導層面可以為其提供全校的人、財、物總體概況；針對各業務部門領導，可以為其提供所管轄范圍內最大的數據服務。按照不同角色的需要，按需提供數據服務，使得數據使用場景不斷增多，從高層面構建起一個完整、可持續協調的數據服務體系。

1.4 進行深層次的數據分析與挖掘，充分發揮數據價值

基于數據中臺可以充分挖掘過程性數據，提取出有價值的信息，同時能夠關聯各平臺的結果性數據和過程性數據，開展學生畫像、教師畫像等數據分析，充分發揮出數據的價值。

2 應用型高校數據中臺的實際應用

2.1 公共數據倉庫

公共數據倉庫是基于Greenplum的架構采用了MPP(大規模并行處理)模式，具有強大的高吞吐、低時延的計算能力，在 MPP系統中，每個SMP（對稱多處理器）節點可以運行自己的操作系統、數據庫等。Greenplum主要由三個節點組成，分別為Master節點、Standby master節點和Segment節點。Master節點是訪問系統的入口，能夠處理所有用戶的連接，生成查詢計劃，協調工作處理過程，存放系統目錄和元數據，但不存放任何用戶的數據。Standby master節點在Master節點出現故障時能夠及時進行熱備份，承擔Master節點的全部工作，通過進程同步保持與Master節點數據一致，不影響系統業務的順利進行。每段Segment節點存放一部分的用戶數據，一個系統可以有多段Segment節點，用戶不能直接進行存取和訪問，所有對段的訪問都經過Master節點。采用MPP(大規模并行處理)模式能夠實現分布式存儲和計算，進行海量數據的分布式存儲，可以處理PB級別以上的結構化數據，支持高擴展、高可靠、高并發，提高數據庫查詢時響應耗時，有效支撐該應用型高校30余個信息系統的數據交換與共享。

2.2 數據交換與共享平臺

基于Greenplum架構，采用MPP模式的基礎上建立校級主數據管理平臺，實現數據標準管理、數據模型管理、數據接入、數據治理、數據質量分析、數據開放、數據共享、數據脫敏的全流程管理。基于完整性、有效性、一致性等數據清洗規則，對原始數據進行清洗，形成標準數據目錄，建設學生主題、教師主題、資產主題等主題數據目錄，在數據使用過程中及時更新，不斷提升數據質量。

數據交換與共享平臺已接入30余個信息系統，共計421張表，數據接入總量約2.5億條，推送319張表，為32個業務系統提供數據支撐與服務，直接對接教務、學工、一卡通等業務系統，實現跨系統、跨層級、跨業務的數據交換與共享服務，保證各類平臺數據的互聯互通，打破數據孤島和數據壁壘。

2.3 數據服務中間件

數據交換與共享平臺中進行數據治理后形成的標準數據資產和主題數據資產，能夠支撐智慧校園相關系統及應用的建設，對各部門業務事項和服務場景進行全映射，通過開放授權系統、數據超市、可視化工具等中間件向學校師生提供數據服務，為授權部門及個人利用開放數據進行應用創新提供便利。

數據超市為全校師生提供便捷、快速的數據使用服務。進行統一身份認證直接從門戶進入，通過數據與交換平臺上數據開放模塊發布標準資產數據后，在數據超市中進行數據分門別類“上架”，提供清晰的數據分類目錄，學校里業務部門或師生，可以自由進行申請“加購”。在使用對應業務部門數據時，需要通過各業務單位數據使用責任人的審批，審批通過后可以通過視圖、API接口、下載的方式獲取數據，審批結果可以通過門戶消息通知及時進行反饋提醒。學校管理數據的技術人員可以根據申請人的需要提前配置好不同的主題數據庫，在數據超市中上架，保證申請人獲取的數據在滿足其需求的同時在最小的范圍內，保障數據安全。基于數據超市不僅可以新建或已建的第三方系統提供標準且規范的數據使用方式，還能夠為校內有數據使用需求的教師或者科研團隊等，提供一定范圍內的數據使用。

通過BI、可視化工具，基于現有標準數據目錄，梳理制作包括學校概況、教師概況、學生概況、智慧校園建設概況、一卡通消費概況等9個數據大屏，涉及一級指標45個，二級指標128個，直觀且動態地展示出當前學校各方面的整體概況。建設教師一張表，包括人事信息、教務數據、科研數據、資產數據、圖書借閱、刷卡消費六個方面，每類共計22個二級指標，每位教師都能看到自己在學校各系統中所產生的數據信息。

3 結語

數據中臺在應用型高校中的應用，相比傳統數據平臺更加具有開放性、連通性、高效性和迅速響應等性能，是一個強大的技術平臺，可以實現前臺應用和后臺數據的解耦，改變以往各個業務系統數據自采自用的現狀，整合學校各業務系統的數據，進行統籌管理、集中存放、交換共享，能夠對學校當前已集成的數據資產進行靈活調用，讓數據多跑路，用戶少跑腿，提高業務數據的使用效率。

但是隨著高校信息化建設的快速推進與深入，亟須對學校數據開展數據分析與挖掘工作，基于統計分析、機器學習、畫像分析、預測分析等方法，建設相關算法模型，找出數據間的關聯，為校領導以及各業務部門領導提供決策支持服務。同時數據管理與治理是一項要長期開展的工作，需要學校各業務部門共同承擔起責任，將數據取之于業務，用之于業務，以數據中臺為其提供強有力的保障，充分發揮出數據的價值，推進應用型高校數字化、信息化建設。