基于全量數據治理的高校數據資源平臺實施方案

摘" 要：隨著大數據時代的到來，數據資源的有效整合與利用已成為高校教育信息化和智能化發展的關鍵驅動力。對各高校數據資源平臺進行相關研究，提出基于全量數據治理的高校數據資源平臺實施方案，旨在通過系統化的數據治理服務，解決數據標準、質量、共享開放性及數據資產目錄等核心問題。該方案遵循數據湖、標準數據倉庫、數據集市的三層架構模型，構建了一個綜合性的公共數據庫。作為智慧校園建設的核心，該平臺不僅促進了教學資源的共享和科研數據的整合，還為管理決策提供了科學化支持，從而推動了高校數據資源管理的現代化進程。

關鍵詞：數據資源平臺；全量數據治理；數據共享；高校教育信息化

中圖分類號：TP311；G202" " 文獻標識碼：A" " " 文章編號：2096-4706（2024）21-0139-09

Implementation Plan for Colleges and Universities Data Resource Platform Based on Total Data Governance

ZOU Linlu

（Hangzhou City University， Hangzhou" 310015， China）

Abstract： With the advent of the era of Big Data， the effective integration and utilization of data resources have become a key driving force for the informatization and intellectualization development of colleges and universities education. This paper studies the data resource platform of colleges and universities， and puts forward the implementation plan of colleges and universities data resource platform based on total data governance， aiming at solving the core problems of the data standard， quality， sharing openness， and data asset directory through systematic data governance service. The scheme follows the three-layer architecture model of data lake， standard data warehouse and data mart， and constructs a comprehensive public database. As the core of the construction of the smart campus， the platform not only promotes the sharing of teaching resources and the integration of scientific research data， but also provides scientific support for management decision-making， so as to promote the modernization process of data resource management in colleges and universities.

Keywords： data resource platform; total data governance; data sharing; colleges and universities education informatization

0" 引" 言

在信息化浪潮中，數據的戰略價值日益凸顯，特別是對于高等教育機構而言，數據資源的有效管理和利用成為推動教育信息化、智能化發展的關鍵。隨著大數據、云計算等新興技術的快速發展，高校面臨著數據爆炸式增長的挑戰，如何整合分散的數據資源、提升數據質量、實現數據的開放共享，成為高校信息化建設中的重要課題。基于此，本文提出了一種基于全量數據治理[1]的高校數據資源平臺實施方案，旨在通過系統化的數據治理服務，構建一個高效、穩定、可擴展的數據資源[2-3]平臺，以支撐高校的教學、科研和管理決策[4]，促進教育創新和知識發現。

1" 整體框架

1.1" 網絡架構

在構建全量數據治理的高校數據資源平臺時，本文提出了一種網絡架構設計方案，如圖1所示，該方案充分考慮了高校現有的網絡和服務器資源。

具體的方案詳細描述如下：

1）應用部署優先級。所有與數據資源平臺相關的應用、平臺及數據庫服務器，應優先部署在物理服務器上。這一策略的實施基于學校能夠提供必要的物理服務器資源的前提，旨在確保平臺和應用能夠實現高性能運行，并有效支持高并發訪問。

2）網絡連接設計。在各平臺和應用服務器之間，本方案采用千兆以太網技術進行網絡互連。這種設計確保了數據傳輸的高吞吐量，同時保障了網絡連接的穩定性，滿足大規模數據交換的需求。

3）數據存儲策略。在數據存儲層面，本方案結合了學校現有的FC SAN共享存儲設施。數據庫系統采用Oracle RAC（Real Application Clusters）技術構建高可用集群。這種配置不僅提升了數據中心數據庫的可用性，也增強了其健壯性，確保了關鍵數據服務的連續性和可靠性。

通過上述設計，本文提出的方案旨在為高校數據資源平臺提供一個高效、穩定和可擴展的網絡架構，以支持日益增長的數據管理和分析需求。

1.2" 系統架構

本文提出的全量數據治理高校數據資源平臺在邏輯架構[5]上，采用了層次清晰的松耦合架構，將整個數據平臺從邏輯上分為5層，分別為：數據采集層、數據存儲層、數據治理層、數據開放層、數據應用，如圖2所示。基于此架構，通過對數據層面共性能力的抽象和沉淀，在保證學校數據規范化的基礎上，快速支撐信息化場景的創新、快速滿足變化快的上層業務需求、支撐學校數字化改革需求，從而獲得更高的建設效益。

依據數據全鏈路流向，邏輯架構層次說明如下：

1）數據采集層。對學校的業務系統數據、線下電子表格數據進行采集，通過不同的數據集成方式實現以上兩大類的數據采集，保證對于學校數據資產的積累，夯實數據服務能力。

2）數據存儲層。本項目對數據存儲，支持關系型數據庫（MySQL、Oracle、SQL" Server、PostgreSQL等）和非關系型數據庫（HDFS、Hive、Kafka、MongoDB、Impala等）。實現不同類型數據可分類有序的存儲，保障數據實際使用場景的需求。

3）數據治理層。采集完成的數據，通過數據治理服務，形成數據標準、數據接口、數據采集、數據清洗等在內的數據治理規則。通過業務部門數據現狀調研，實現字段級數據權威來源部門的歸屬確權，提升元數據管理能力。同時對數據治理后的數據進行運營監控，提高數據使用的安全性。并定期生成數據質量報告反饋至數據權威部門，閉環提升數據質量。

4）數據開放層。通過統一數據開放，幫助校方數據管理員以可視化的方式對數據進行全生命周期的管理，以快速、簡便、安全的多種數據服務方式支撐上層數據應用建設。通過統一數據資源門戶可依據元數據信息，對校級數據資源目錄進行編制、校對及發布，根據不同的共享使用權限，完整呈現和檢索學校當前的數據清單詳情以及使用路徑。校內各個部門可以查看本部門提供數據的情況、獲取數據的情況、數據存在的質量問題和改善進度、數據在全校流動的全生命周期信息等，實現數據治理的全部門參與，促進學校數據體系的持續完善。

5）數據應用層。利用治理后的數據資源，支撐建設一表通平臺，一方面檢驗公共數據平臺和數據治理建設成果，另一方面可通過應用端的建設，將治理后的數據價值進行輸出，利用信息化手段切實解決師生在日常工作中普遍遇到的重復填報問題，提升師生對學校信息化數據層面建設的感知度。

2" 系統通用設計

基于底層架構的健壯性，考慮存儲容災、網絡容災、數據庫容災、應用服務器容災等需求。

存儲容災方面，采用RAID5方式進行磁盤劃分，防止由于磁道損壞導致的文件丟失，實現文件級的容災方案。

網絡容災考慮鏈路冗余和網口冗余，鏈路冗余采用管理網絡和存儲網絡分開，且管理網絡和存儲網絡均為雙交換機的熱備冗余，實現網絡鏈路的容災方案，重要資源項再用網口綁定技術，防止單網口故障導致的網絡傳輸故障，實現網口級的冗余方案。

數據庫容災需求中，核心數據庫采用RAC架構部署，雙節點同時提供服務，當某一節點發生故障時，存活的節點繼續提供數據庫服務，前端業務無感知，防止數據庫的單點故障，使用MAA架構實現核心數據庫集群主備數據庫集群切換，防止集群故障導致的業務長時間中斷，短時間內切換至備庫集群提供數據服務，實現集群級的災備方案，數據庫文件采用Oracle自帶ASM磁盤管理，ASM（Automatic Storage Management）是Oracle10g R2中為了簡化Oracle數據庫的管理而推出來的一項新功能。ASM它提供了以平臺無關的文件系統、邏輯卷管理以及軟RAID服務，實現數據庫文件級的容災方案。

應用服務器容災主要指一體化公共數據平臺的應用容災，通過NGINX負載均衡技術，避免共享Web服務的單點故障，從而實現應用服務級別的容災方案。

3" 數據治理服務具體實施方案

3.1" 校級數據標準制定服務

在制定校級數據標準的過程中，本方案遵循了一套系統化的方法，確保了數據標準的科學性和實用性，主要流程包括編制、審查和發布。所有操作均有數據標準管理[6]部門進行，包括后續的說明保存備案留存等。數據標準的編制、審查和發布通過數據治理的數據標準管理模塊實現。

3.1.1" 標準制定

本方案基于實際情況，結合教育部2012版信息標準（JY/T 1006—2012，以下簡稱“部標”）和高校實習情況，落地過程中在此基礎上優化后形成符合學校實際業務需求的校級標準。具體優化內容如下：

1）優化表結構。結合學校實際數據使用場景進行表結構的優化，例如：學校實際用到的學生基本信息表，從部標中的基本信息系+學籍信息兩張表整合而來。

2）命名規范擴展。在部標的基礎上，增加了數據開發、過程管理、接口管理等方面的命名規范，確保了數據命名的一致性和規范性。例如ETL接口、任務、索引、序列、過程、函數等，且將命名規范納入數據開發規范，以實現對淺笑數據開發進行規范化管理的目標。

3）優化代碼集。針對學校使用的代碼集，建立了映射關系，例如：學校1、2、3、4表中使用了A代碼集，5表中使用了B代碼集，A＼B代碼集表示含義相同而差別很大，依據選舉原則，確定使用A代碼集作為學校標準，人工建立A、B代碼集的映射關系，使用了B代碼集的表5進行數據轉換；

4）補充新標準。在部標的基礎上，根據學校的特定需求，補充了新的數據標準，例如教師的教師學習記錄課程代碼集名稱、一卡通數據集標準、日志數據標準等。

3.1.2" 數據標準具體實施

在數據標準的實施過程中，學校協調了數據提供者和執行者參與數據屬性的收集和整理，形成了數據標準的初稿。初稿經過審查和討論后，由數據標準管理部門進行修改和完善，最終完成數據標準的發布，并更新至數據標準管理模塊中。

3.2" 全量數據采集服務

3.2.1" 業務系統數據采集

本項目業務系統數據采集范圍：人事、教務、教學、學工、就業、迎新、資產、財務、外事、智慧教學、圖書、一卡通等各個業務域。

3.2.2" 線下表格采集

全面采集各部門使用的包含管理數據的線下Excel電子表格數據。

3.2.3" 數據湖的構建與優化

數據湖的建設服務旨在創建一個集中的物理數據庫環境，用以存儲來自不同源頭的原始數據副本。通過這種方式，多源異構數據得以整合于單一數據庫實例之中，實現數據的同構化和同實例化處理。此舉的益處在于簡化了后續數據處理流程，消除了跨庫操作及異構數據整合所帶來的技術障礙，從而確保了數據的完整性和各維度的統一。

3.3" 數據質量檢查服務

數據采集識別完畢后，需要進行數據質量檢查，并在“統一數倉管理”的數據質量管理模塊落實，具體步驟方式如下：

1）規則設定。

2）規則綁定。

3）質量檢測執行，輸出質量檢測報告。

3.3.1" 質量分析和預警

通過預設的數據質量檢驗規則，結合字段與規則的綁定，對選定的數據字段執行規則檢驗。具體如圖3、圖4所示。

3.3.2" 數據質量反饋認領

本方案通過數據質量規則定義功能，系統自動完成數據質量檢測，并同步生成預警及統計分析，形成相應質量報告，同時支持實時導出為Excel文件，郵件提醒等功能。

質量報告樣例如圖5至圖7所示。

3.4" 數據清洗及轉換服務

3.4.1" 數據清洗

原始數據中可能存在著大量的臟數據，需要根據數據質量管理的要求，利用相關技術對業務系統產生的問題數據進行清洗，將臟數據轉換成滿足要求的高質量數據。

所有業務系統的數據接入并最終入庫的過程都需要遵循數據清洗的規范要求，降低臟數據等對于業務和分析結果的影響。數據清理流程如圖8所示。

具體介紹如下：

1）遺漏值處理。各個業務系統在進行數據錄入時，可能存在某些值遺漏，如圖9所示，若“姓名”值遺漏，根據業務實際情況填充。

數據缺失和數據遺漏按照處理的主體不同，可以分為人工處理方法和自動處理方法：

人工處理方法，即通過手工填補所缺失的數值。這種方法的好處是當遺漏的數據量比較少時，填補的準確度相對較高。

自動處理方法，即當發現一個記錄的屬性值有遺漏時，通過已有的程序自動處理，這種方式的好處在于當遺漏的數據量較大時，在效率上優于手動處理方法。但是自動清洗方法在很大程度上依賴于處理的程序，不夠靈活，處理少量缺失數據時準確度不如人工處理高。

2）噪音數據處理。目前被認定為噪音數據的主要是錯誤數據和重復數據。其中，錯誤數據產生的原因是各業務系統不夠健全，通過制定的標準規則，從源頭抓起提升數據質量。某類噪聲數據及處理過程如圖10所示。

3）不一致數據處理。如圖11所示，在進行數據清洗的過程中，往往會發現幾個來源的同維度數據，會存在數據內容、類型以及參考標準的不一致。這些不一致數據主要來自兩個方面：一是數據冗余，二是并發控制不當。

解決數據不一致性，主要是確認各類數據的權威源頭，通過權威數據源頭來控制其對于各個共享點的數據同步和更新。

3.4.2" 數據轉換

對采集的數據進行標準化處理，保證格式統一。按照數據轉換類別分如下情況：

1）格式和命名統一。通過建立統一的數據命名和格式規范，實現數據的標準化，包括數據的計量單位和轉換規則。

2）數據類型標準化。解決數據類型不一致的問題，例如，將不同數據源中的工號字段統一轉換為標準字符類型，使用數據庫內置函數（如Oracle的TO_CHAR）進行類型轉換。

3）數據標準統一。統一不同系統中的數據標準，如性別字段在不同系統中方式不同，確保數據在集成時遵循統一的標準。

4）數據的二次計算。在數據倉庫中，對原始數據進行必要的計算和匯總，如統計學院人數和職稱，以提高分析效率。

3.4.3" 數據集成

將不同的數據源通過ETL[7]合并到統一的數據存儲庫中，數據集成管理包括：

1） 資源展示。集中展示已配置的數據源信息，包括類型、接口、業務關聯、數據規模和更新頻率。

2） 集成項目展示。展示已配置的集成項目信息，包括數據源、業務類型、應用系統和交換頻度。

3） 過程監控。監控數據集成項目的運行狀態，包括啟動、停止和運行狀態，并提供操作控制。

4） 統計信息展示。提供集成數據的統計信息，如數據總量、數據源連接數、集成表數等。

5） 數據冗余規則。為數據集成設置冗余規則，使用“拉鏈表”和“歷史表”設計，以實現數據的溯源和備份。

6） 運行監視。提供全面的運行監視功能，通過定制的集成任務列表和圖表展現運行狀態。

7） 異常警告機制。當集成過程中出現異常時，通過郵件或短信發出警告，并提供異常信息的查看和統計功能。

3.4.4" 線下數據清洗服務

對包含管理數據的電子表格數據，進行必要的規范化、標準化處理后，利用文本數據集成功能進行線上化處理，利用數據庫進行存儲和管理。

3.5" 構建標準數據集服務

3.5.1" 標準數據倉庫構建方法

標準化數據倉庫的構建基于數據湖[8]中的原始數據，通過一系列數據處理步驟，包括權威來源識別、數據去重、多表關聯、格式轉換等，形成結構化的數據集合。這一過程確保了數據從原始狀態到符合校級數據標準要求的轉變，同時避免了數據集市層的特定應用優化。

3.5.2" 標準數倉標準性設計

整個數據倉庫的建設都依照數據標準進行建模，通過建模工具結合數據標準規定的分類和格式規范，生成相應的數據倉庫結構，再采集學校的各種有價值數據，按照質量要求進行清洗治理，按照數據標準的格式進行建模，利用大數據基礎技術架構進行存儲，形成全量數據倉庫。同時，保留重要的歷史數據，確保重要數據全生命周期留痕。

3.5.3" 標準數倉的建模思想

數據倉庫的建模思想考慮到高校數據的多樣性和復雜性，采用靈活的建模方法以適應不同的應用場景。數據質量由操作性系統保證，而非僅僅依賴于范式約束。

3.5.4" 數據分類與子集建設

標準化數據倉庫中的各個數據表根據其內容被歸類到相應的數據子集中。這些子集基于教育部發布的教育行業標準進行擴展和改編，形成了包括學校概況、學生管理、教學管理等11個主要的數據子集。標準數據子集示例如表1所示。

3.5.5" 數據子集建設服務

經過采集、識別、質量檢查和清洗治理的原始數據轉化為標準數據，并根據數據標準進行清洗和轉換后，存儲到相應的數據子集中。完成存儲后，利用數據倉庫管理系統進行數據質量檢查，確保數據倉庫中的數據符合既定標準。

3.5.6" 主題數據集建設服務

學校信息化建設的許多場景的實現都要求學校必須有多維、完整、高質量的數據來支撐，以達到技術降本、應用提效、業務賦能的目標，但是在通過現有數據支撐業務實現的過程中發現仍有如下問題亟待解決[9]：

1）數據規劃與業務需求的脫節導致數據價值難以充分發揮。學校的數據管理員常常需要重復處理相同的數據集，如人員信息、組織架構、一卡通賬號等，以支持統一身份認證等業務場景。這種重復性工作消耗了大量精力，而且由于缺乏對共性數據集的歸納整理，即使投入大量資源，也難以跟上業務應用開發對數據的需求速度。

2）數據資源的不透明性限制了其潛力的發揮。數據使用者常常不清楚信息中心所提供的數據種類，也不知道如何高效檢索所需數據。數據提供部門與使用部門之間缺乏有效的溝通渠道，導致數據獲取和使用效率低下。

為了解決這些問題，本項目提出將數據封裝成主題數據集，根據不同部門和業務場景的需求，提供定制化的數據服務。通過公共數據平臺發布數據倉庫和數據集市的數據，實現數據與應用的無縫對接，打破數據孤島，充分釋放數據價值。

3.5.7" 歷史數據留存服務

本文提出的“歷史數據留存”方案，對主數據進行存檔，方便應用程序從多個維度進行訪問和檢索，實現全校數據的全生命周期管理。主要實現方式是以拉鏈表的數據存儲結構，在當前數據庫其他用戶下創建以“表名+_HIS”的命名創建歷史過程數據留存表，來記錄歷史變化的數據。

通常，歷史數據存儲有如下要求：

1）設計合理的歷史數據存儲的數據結構，既能實現應用程序不同的訪問邏輯，又能減少存儲空間。

2）對重要的狀態型數據的變化情況進行捕獲存檔，使應用程序能夠方便讀取其不同時段的數據變化情況。

3）對大容量的流水型的表數據要進行拆分存儲，避免因單表數據量過大造成查詢效率低下。

針對上述要求，本方案的歷史數據留存詳細實現設計如下：

1）歷史數據的存儲方式設計。存儲容器：Oracle，與主表使用同一個Oracle實例。管理方式：主表與歷史表分別放在不同用戶下。歷史數據生成頻率：默認3天。數據結構設計：計劃采用“拉鏈表”技術進行歷史數據的留存和訪問。

2）“拉鏈表”留存。對于狀態數據的變化的數據留存，采用技術較為成熟的“拉鏈表”方式進行留存，其技術實現較為成熟，既滿足了歷史數據的留存需求，且避免了以時間維度定時留存導致的存儲浪費和檢索困難。使用“拉鏈表”數據結構對歷史數據進行存儲，還需要應用層面的事務配合支持。

3）輔助字段和表的設計。該階段主要確定“拉鏈表”實現所需的輔助表、歷史表和字段屬性的設計。主要有歷史數據表，該表結構與主表字段屬性相同，須新增“操作時間”和“過期時間”字段；輔助表主要記錄主表中的數據行的版本信息，用以比對自上次歷史數據留存后，主表記錄的變化情況，定位變更的數據行，然后在歷史表中執行數據留存操作；主表的主鍵字段和時間戳字段共同組成了能夠唯一標識該行數據記錄的版本信息。需要注意的是：在MySQL和SQLServer數據庫中，該類型字段可以由RDBMS自動維護，而Oracle數據庫中則需要使用ETL工具或者程序維護。

3.5.8" 數據中心接口遷移服務

本項目通過實施一系列策略，確保了數據接口的平滑、有效遷移。

首先，我們采用了視圖共享、ETL推送和API接口等多種遷移方式，以適應不同場景的需求。其次，對所有下行數據接口進行了徹底的解析，包括數據表、字段和表間關聯關系，為遷移的準確性奠定了基礎。再次，通過在公共數據平臺上重現驗證原數據接口的業務邏輯，確保了下游業務系統的順暢運轉。最后，項目還設計了回退機制，以應對遷移過程中可能出現的任何問題，保障業務的連續性。

3.6" 數據集市建設服務

數據集市[10-11]管理功能，將已經通過數據治理的數據資源進行集中分類呈現，數據集市中需顯示數據資源的名稱、所屬主題、數據記錄數、字段數、數據更新時間、可提供的服務接口類型等信息，以便數據用戶進行檢索、預覽、申請、調用。圖12為數據集市提供數據資源展示功能。

4" 結" 論

本研究提出的高校數據資源平臺實施方案，將全量數據治理服務作為核心，旨在全面提升高校數據資源的整合、管理和利用效率。通過構建一個基于數據湖、標準數據倉庫和數據集市的三層架構模型，本方案不僅優化了數據存儲結構，還強化了數據的標準化、質量管理和安全共享。全量數據治理服務的實施，包括數據采集、清洗、標準化和質量監控等關鍵環節，確保了數據的準確性和一致性，為高校決策支持、教學資源優化和科研創新提供了堅實的數據基礎。

此外，本方案通過數據集市的建設，實現了數據資源的集中分類呈現，簡化了數據檢索、預覽、申請和調用流程，極大提高了數據的可用性和便捷性。同時，歷史數據留存服務的引入，為數據的全生命周期管理提供了有力支持，增強了數據的可追溯性和再利用價值。

面向未來，隨著技術的不斷進步和教育需求的持續發展，全量數據治理服務將持續演進，進一步集成新興技術，如人工智能和區塊鏈，以提升數據治理的智能化水平和安全性。通過不斷的技術創新和服務優化，本方案將助力高校數據資源平臺實現更高效、更安全、更智能的數據管理，為推動高等教育信息化和現代化做出積極貢獻。

參考文獻：

[1] 劉桂鋒，錢錦琳，盧章平.國內外數據治理研究進展：內涵、要素、模型與框架 [J].圖書情報工作，2017，61（21）：137-144.

[2] 王思琪.數據治理在高校信息化建設中的探索與實踐 [J].常州信息職業技術學院學報，2019，18（4）：13-16.

[3] 宋蘇軒，楊現民，宋子強.高校數據治理統籌管理體系的構成與實踐路徑 [J].中國遠程教育，2021（11）：58-67.

[4] 周江林.數據治理：大數據時代“雙一流”建設的路徑優化取向 [J].教育發展研究，2022，42（5）：15-21.

[5] 包冬梅，范穎捷，李鳴.高校圖書館數據治理及其框架 [J].圖書情報工作，2015（18），134-141

[6] 余鵬，李艷.智慧校園視域下高等教育數據生態治理體系研究 [J].中國電化教育，2020（5）：88-100.

[7] 陳鋒.ETL數據治理在高校信息化建設中的研究與應用 [J].中國教育信息化，2020（13）：68-70.

[8] 劉志勇，何忠江，劉敬龍，等.統一數據湖技術研究和建設方案 [J].電信科學，2021，37（1）：121-128.

[9] 高亮.數據治理：讓數據質量更好 [J].中國教育網絡，2014（12）：64-66.

[10] 鄧斌，李明東.數據集市技術在高校信息管理中的應用 [J].山東農業大學學報：自然科學版，2004（4）：611-614.

[11] 巫莉莉，張波.高校數據治理中提升數據質量的方法研究 [J].重慶理工大學學報：自然科學，2019，33（8）：149-156.

作者簡介：鄒霖璐（1991—），女，漢族，浙江慈溪人，初級職稱，碩士研究生，研究方向：高校信息化應用、計算機軟件技術、信息技術應用等。