基于智慧校園的高校數據治理體系研究

王艷武　馮新培

關鍵詞：智慧校園；數據治理；平臺設計

中圖分類號：TP311 文獻標識碼：A

文章編號：1009-3044（2023）12-0071-03

1 業務信息系統之間存在的問題

1） 業務信息相互獨立問題

西安歐亞學院經過多年的信息化建設，基于各業務部門的具體需求，從業務局部出發，構建了大量的信息化應用平臺，用以解決部門當前問題。但各業務系統獨立建設與維護，缺乏信息溝通與對接。由于建設之初缺少技術及功能的長期規劃，沒有統一的管理維護平臺，導致各業務信息相互獨立，甚至出現系統功能的重復建設問題，造成了嚴重的資源浪費[1]。

2） 數據中心庫問題

西安歐亞學院還未建成統一的數據中心庫和資源池，沒有開始著手整合和集成各業務系統的各類數據，同時還存在著缺乏統一的數據集成、共享交換平臺和數據治理手段。隨著學校信息化發展和業務的不斷深入，如何保障學校數據的集中管控和按需共享，保障各類數據的準確性和一致性，都是信息網絡中心現在面臨的主要問題。

3） 數據治理和價值挖掘問題

在辦學過程中西安歐亞學院各部門原始數據逐年累積，這些數據需要按照不同的主題進行歸類收集與整理。高校需構建數據中心倉庫系統，加強對各業務數據的分析與利用，建設關于“人”“財”“物”“行為”四個維度的主題庫，基于四類主題庫獲取例如教學大數據、教學診斷與改進評估、學生管理、學生行為分析、教學評估、就業評估等方向的專業數據分析，從而構建學校技術架構革新以及數據價值深度挖掘[2]。

4） 數據與業務強耦合問題

西安歐亞學院已建的業務系統功能雖然豐富，但隨著學校的發展，師生個性化需求不斷增加，由于數據和業務強耦合，學校容易被業務系統開發廠家綁架，業務創新耗時耗力，甚至需要半年乃至一年的研發時間，效率低下，阻礙了學校信息化的發展。

2 智慧校園數據中臺及數據治理體系設計

智慧校園數據中臺及數據治理體系平臺總體框架如圖1所示，主要分為三部分建設內容：第一部分為校園數據治理體系的建設，主要包括：數據集成平臺、數據治理平臺、數據開發平臺、數據標準建設及管理服務、“人、財、物、行為”四大主題庫的建設。第二部分為校園數據共享開發體系建設，主要包括：數據交換平臺、基礎大數據平臺、數據共享與開放平臺、數據資源目錄管理系統以及數據中心庫建設和數據目錄梳理服務等內容。第三部分為應用體系建設，包括：智能BI統一報表分析平臺、校園微應用服務大平臺等內容。

學校以數據集成/共享交換及數據中心庫為基礎，依托于大數據平臺和數據治理體系的建設，將實現學校結構化和非結構化數據的標準化、統一歸集和管理，消除架構零散、數據缺失、孤島壁壘等諸多信息化建設問題，有效支撐學校教育資源公共服務體系、微應用服務體系、教育教學科研服務體系的構建，實現學校全量數據的歸集，同時對數據資源目錄進行統一的安全管控，對數據進行準確的類型、權屬關系和保護級別的劃分，為今后各部門、信息化應用提供按需匹配的數據服務[3]。

1） 建成開放共享的數據資源利用體系。依托學校數據共享與開放平臺和數據交換工具，建成全校統一的教育數據資源共享開放目錄，制定相對完備的共享開放工作機制，形成完善的教育數據資源池。

2） 建成高效互通的數據管理和數據治理體系。通過對全校各業務系統、各職能部門的數據匯聚，建設統一的全域數據管理資源池，實現各業務系統、部門數據融合、互通，在統一數據標準、統一存儲標準、統一治理標準、統一服務標準對外提供高效的數據服務和數據應用。

3） 數據服務一體化，實現數據多跑路，師生少跑路。通過數據治理平臺和大數據平臺完成數據質量建設，建立數據服務閉環，完成對一項業務數據從采集、填報、管理到分析的全過程，形成完整的工具化支持閉環，全程完全配置化實現，無須程序員參與，零代碼開發。支持以主動任務式下發的數據填報，支持互聯網式的數據分享，支持面向業務管理人員的自主可配置的簡單數據分析[4]。

3 數據治理平臺設計

數據治理平臺是數據集成和管理的一站式平臺，包括資產目錄管理、數據源管理、可視化建表、數據查看、全局的元數據管理，實現數據的資產化，同時實現數據資產的集中管理、生產保障、分類檢索，為數據管理者和使用者理解數據、增強共享和使用數據的信心提供幫助。

提供數據標準和數據質量管理機制，提升數據資產的價值；提供數據安全管理機制，監控被管理數據所有相關的活動，防止數據泄露，保障數據被合適的人以正確的方式使用；提供工作流機制，使得大部分日常的數據管理和監控工作都可以自動執行。同時，可以在數據治理運營平臺中調度和執行數據加工和數據挖掘任務。提供平臺管理功能，準確地監控全局和部門數據計算、存儲的使用情況，便于擴容規劃和成本控制。

數據治理包括：數據標準管理、數據質量、生命周期管理、元數據管理、數據血緣。數據治理平臺架構設計如圖2所示。

1） 前端應用層：用于展示給用戶的應用，主要包括質量管理、數據模型、數據集成、數據標準、各類數據指標管理、數據地圖等。

2） SDK與集成橋接系統：與外部系統之間的元數據交互和通信的模塊。

3） 接口層：負責與外部之間數據交互的統一的接口定義，支持Restful接口。

4） 功能層：用于支撐各類應用功能的后臺服務，主要有元模型管理、元數據管理、任務調度、租戶管理、權限管理、行為日志、引擎管理、規則管理等。

5） 邏輯層：用于支撐各類基礎功能的基礎邏輯數據模型和數據庫，包括數據字典、血緣和關系基礎數據、術語和類目數據、數據特征和指標數據、用戶行為信息、數據質量信息等。

6） 存儲層：用于永久存儲平臺各類數據的軟件系統，包括MySQL 數據庫、搜索引擎和NoSQL 數據庫等。

7） 引擎層：用于進行數據處理和加工的后臺系統，包括ODPS、Spark等。

4 數據開發平臺設計

數據開發平臺提供一站式的多人集成開發環境，滿足大數據環境下的數據查詢、數據開發、數據挖掘、算法開發等需求，同時可用于構建PB級別的數據倉庫，實現超大規模數據集成，對數據進行資產化管理，通過對數據價值的深度挖掘實現業務的數據化運營[5]。通過可視化的開發界面，降低了大數據開發的門檻，使大數據開發變得更加便捷、易用，實現大數據的價值化，有效降低開發成本并保障數據安全。數據開發平臺架構如圖3所示。

1） 應用層：提供系統配置管理、工作空間管理、空間內的基于工作流的作業開發以及運維大盤監控的功能。

2） 運行層：在工作空間內提供工作流的周期調度、補充數據以及重跑能力。

3） 業務層：提供豐富的業務節點，包括SparkSQL、ETL、Shell、Machine Learning、AppLauncher、Phoenix?SQL、AdbSQL以及TableConnector節點。通過這些節點組成的工作流能覆蓋大數據開發的絕大多數業務場景。

4） 引擎層：數據開發平臺基于引擎層提供數據集成和計算能力，包括數據集成引擎、計算引擎、分析引擎ADB。

5） 數據層：數據開發平臺基于MySQL實現業務數據存儲，基于大數據平臺提供的Hive、HBase和HDFS分別存儲數據表和資源文件。

6） 用戶中心：提供用戶認證和管理能力。

5 平臺建設要求

1） 全數據鏈閉環。平臺具備統一的底層數據體系，數據應完全打通，平臺不同模塊和功能間應共享相同的數據信息，必要時子平臺或子模塊間可互相調用功能；平臺內不同模塊（如數據交換、數據治理、數據采集、數據呈現等）應共用相同的信息和元信息，實現信息和元信息的統一配置，實現“一次配置，全平臺使用”，即在平臺的某模塊中配置一次即可在其他模塊中使用，避免多處配置導致的不一致性。

2） 數據集成共享。平臺數據集成過程支持Linux、Unix、Windows 等操作系統平臺，能滿足不同數據源、不同數據格式，不同管理邏輯下的數據交換需求，支持數據在全量數據管理平臺和校內各業務系統間的雙向傳遞，實現對各類系統業務數據的實時共享。

3） 系統可集成性。平臺支持開放的ETL 代碼生成器，提供豐富的接口程序，支持異構數據源的共享和交換，支持與主流關系型數據庫（包括但不限于Oracle、Sybase、DB2、SQL Server、MySQL 等）、消息中間件、Web Service、Tabled-Txt 文件、XML 文件、Excel文件、DBF 文件、Word 文件等進行對接，滿足不同數據源的交換需求。

4） 支持多數據采集。支持校內業務基本信息數據、既有業務系統、校內數據文件實現結構化數據采集；能夠提供針對表格數據的結構化采集、辦公文檔（PDF、Word 等）數據采集、圖片信息采集等功能，支持文件在線瀏覽模式。

5） 數據呈現豐富。平臺支持分析指標、主題、UI效果等數據呈現界面的自定義組合和定制功能，支持界面拖拽生成方式，界面展現形式動態美觀，種類豐富，可通過餅形圖、柱狀圖、折線圖、儀表盤、雷達圖、氣泡圖、面積圖、詞云、瀑布圖、漏斗圖等多種圖表形式進行形象直觀地展現，具有較強的動畫效果。

6） 建設過程規范。平臺的信息定義、采集策略、接口協議、傳輸協議等應符合相關國家標準、行業標準和技術規范；平臺本身支持構建信息標準模型，避免直接操作數據庫等不規范操作。

7） 標準設計科學。平臺信息標準建設遵循國家、教育部、學校、自主定義標準，能夠建立適合學校實際需求的信息標準，支持數據標準維護流程和制度建設，提供數據標準管理功能，保證標準變遷與歷史數據的兼容。

8） 移動端自適應。平臺生成的數據可視化頁面須支持HTML5 規范，支持集成到學校智慧校園App和微信中；平臺功能應根據數據管理和呈現需要，提供移動端訪問手段，支持自動化自適應展示。

6 數據治理平臺設計原則

1） 數據匯聚統籌規劃，穩步實施

按照整體統籌的建設思路，做好項目框架與架構設計，夯實平臺基礎，突出應用亮點，堅持整體規劃，分步實施的建設原則，明確責任分工，分步驟、分階段穩步推進。

2） 技術先進，適度超前

借鑒國內先進院校的建設經驗，在設計思想、系統架構、技術路線等方面具有先進性、前瞻性，借助領先的互聯網技術確保應用系統架構滿足未來業務發展需求。

3） 接口開放，擴展便利

充分考慮未來發展，平臺架構應該采用層次化、組件化設計，既要充分考慮與現有系統的對接，同時又具有性能及功能的線性擴展能力，滿足數據量不斷增長的可持續處理需求。平臺應具備良好的開放性，提供開放接口便于和第三方系統對接或者基于該接口構建新的業務，成為業務與服務創新的重要引擎。

4） 安全可靠，運行穩定

按照數據安全要求做好主題庫的安全保障。依托云安全保障體系，重點考慮數據安全、訪問控制、權限管理、數據安全監控等防范措施，確保實現安全可控；充分考慮信息系統的高可用性，在性能、容錯、應急、負載等多方面予以考慮，保證系統的高可用性、良好的維護性，方便今后的擴展應用和運行維護。

5） 數據融合，共享服務

以數據資源整合為基礎，以數據共享開放為重點，以分析應用服務為核心，以體制機制創新為保障，統一標準、統籌建設、拓展應用，創新工作機制，打破信息孤島，實現“橫向到邊，縱向到底”全方位立體化的數據資源的共享服務。

7 結束語

文章基于智慧校園建設，通過匯聚高校各方面數據，梳理各種分析指標，建立具有管理和業務專業性的分析模型及相關算法，實現符合學校需求、有價值的輔助決策分析。文章運用綜合數據分析技術，計算各類指標及數據運行情況，并通過豐富的圖表界面展示相關數據、指標以及變化趨勢，從而為高校教學管理及領導決策，提供數據支持，提高辦事效率，滿足師生需求。