關于高校數據中臺的建設方法研究

陳詩源

摘? 要： 針對目前國內部分高校存在數據孤島、碎片化和數據資產利用率低等數據管理問題，提出以數據中臺為架構的高校數據管理體系建設方案，通過統一規范校內的數據標準，在服務層面實現各業務數據的互通，使得校內數據資產得以集中規范管理和充分利用，逐步為智慧校園建設打下基礎。

關鍵詞： 數據中臺; 數據孤島; 高校數據管理; 數據資產

中圖分類號：TP399? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2022）04-126-04

Research on the construction method of university data center

Chen Shiyuan

（Department of Information Technology Engineering， Fuzhou Polytechnic， Fuzhou， Fujian 350108， China）

Abstract： In view of the problems of data isolated island， data fragmentation and low utilization of data assets in some universities in China， this paper presents the construction scheme of university data management system based on data center. Business data can be interconnected at the service level by standardizing data standards on campus， and the university data assets can be managed in a concentrated and regulated way while at the same time being fully utilized. Data center will gradually lay the foundation for the construction of smart campus.

Key words： data center; data isolated island; university data management; data assets

0 引言

目前國內高校信息化步入了快速發展時期，不僅在日常教學中通過信息化手段實現教學目標，跟上“互聯網+教育”的熱潮，也同時在行政管理方面建立起了各種信息化系統。高校信息化建設是循序漸進的漫長過程，由于國內部分高校在建設初期缺乏完善規劃，不具備良好的數據管理體系，產生較為普遍的數據孤島和數據碎片化問題，無法充分發揮數據價值[1]。即便部分高校已建立起傳統共享型數據中心（如圖1所示），但該數據管理模式高度依賴技術人員，極易造成資源請求排隊現象，效率低下;另外，傳統數據中心維護難度和工作量較大，通常需要外包商協助管理，導致運營成本較高;對于數據的管理手段單一，基本只能從宏觀層面上管理，無法涉及到數據細節。

當前各高校已開始智慧校園的規劃建設，在此背景下各類信息系統將逐步被一站式智能服務平臺所替代，人臉、指紋識別等技術將應用在校內場景中[2]，這對于數據的質量、維度、服務和管理等方面有了更高的要求，給當前高校數據管理體系帶來了挑戰。

針對新的挑戰，本文提出建設高校數據中臺的方案，有效解決了當前高校數據閉塞、資源浪費等突出問題，也為智慧校園建設打下基礎。

1 高校數據中臺相關概念及構建意義

數據中臺是近年來興起的新型數據管理架構，在國內最早由阿里巴巴投入商用，后逐漸被各企業借鑒使用。數據中臺可理解為數據的“公共服務平臺”，是一種平臺思維的演變，主要由方法論、組織和工具相互構成。數據中臺通過進行全域數據采集、存儲、加工后，實行統一的計算口徑、系統邏輯和管理流程的標準化管理，實現數據資產化，構建出組織級的大數據資產層[3]，并將數據輸送至服務、決策、支持、智能推薦等各應用場景中，使數據價值得以充分釋放，形成一個將數據資產轉化為生產力賦能業務，同時業務再次產出高質量數據增益數據資產的良性循環過程，成功地實現了數據、技術、產品和服務的統一，并具備了安全性、可靠性、時效性和靈活性等特點。

通過構建基于數據中臺的高校數據管理體系，可以對數據實施全生命周期管理，并從傳統的技術管理轉變為以業務為主導的管理模式，讓用戶都成為數據資產的管理者，最終能為信息門戶、決策協助等綜合性校務提供強有力的數據支撐，變得更加安全和便捷。通過高校數據中臺，數據管理人員能夠以全局視角跟蹤數據在生成、流動、使用、修改、存儲階段的全生命周期情況，可以對校各處室的數據資產使用情況、使用范圍和參與程度進行管理，并可以實施全方位的數據治理工作;各職能處室對于內部的數據資產可以通過數據中臺進行管理，并允許在校級數據標準下自定義處室的數據需求和數據供應標準，同時各業務場景的數據都可以清晰地追溯到源頭以及最終流向情況，賦予了業務人員對于數據資產的直接管控能力，既加強各處室之間的數據聯動，提升工作效率和條理性，同時也在一定程度上擺脫了對技術人員的依賴;對于廣大師生而言，校內業務辦理時將更加智能化，流程清晰且快速，可以實時查看各業務環節的辦理狀態，減少了跑腿次數，提升了使用者的體驗感和科技感，節約了大量的寶貴時間。

2 高校數據中臺總體架構

高校數據中臺的運行機制是全域數據匯聚與開發模塊相互配合向上形成數據資產，同時數據資產再封裝成各類數據服務以供頂層的業務場景調用[4]。數據中臺整體可以劃分為多層結構，如圖2所示。

2.1 數據資源層

數據資源層為數據中臺的最底層。該層對高校全域數據進行定義和分類，主要可分為各類接口數據、高校業務系統數據、關系型數據庫數據、分布式數據庫數據、消息隊列、系統日志數據、爬蟲抓取的互聯網數據等。

2.2 計算存儲層

該層聚集了數據中臺的核心組件，如HDFS、Kafka、MPP、Spark、Flink等，主要負責數據存儲管理和計算。高校全域數據經過歸類收集之后，計算存儲層負責所有數據的存儲工作，同時承擔數據資產層的數據加工任務。

2.3 數據匯聚層

數據匯聚層主要執行全域數據的匯聚任務，該層克服了數據多樣性、多源性、異構等特征，針對不同數據來源采用了實時接入、離線同步等方式到數據中臺進行匯聚存儲，從技術上打破數據孤島等問題。另外，為了屏蔽底層復雜的組件，在該層還提供了數據采集的可視化管理工具。

2.4 數據資產層

數據資產是數據中臺的核心，它更易于被上層業務直接使用。數據資產層的任務主要包括數據模型架構設計以及主題域的設計。數據模型架構采用分層結構，將數據分為ODS、DWD、DWS、ADS共四層。數據操作層ODS通常用于采集和保存原始業務數據。數據明細層DWD和數據集市DWS保存的是數據資產的主體，通過將ODS層的原始數據進行梳理和重新定義，并依照標準進行加工轉換之后形成數據資產。在高校數據集市中，通常保留著經過處理并符合特定應用的數據集合，如提供給人事處的個人數據信息、提供給校辦的處室數據、以及用于構建校領導駕駛艙的輔助決策、綜合報表的關鍵數據等。ADS層的數據是各條業務線基于DWD和DWS的數據資產再次加工形成的，主要為特定的業務供應定制數據。

2.5 數據服務層

數據服務層主要通過接口訪問下層的數據資源從而為應用層提供相應的服務，扮演著承上啟下的角色。該層主要具有數據權限管理的機制，同時提供數據在線查詢功能、即席查詢等功能。

2.6 資產管理層

資產管理層主要負責中臺的數據治理任務，通過管理數據的生命周期，保障了數據的質量，提升了數據的應用性，實現數據資產的增值。通常該層需要具備可視化功能讓使用者能夠清晰地了解高校的數據資產情況，完成資產查詢、分析和管理等功能。

2.7 數據中臺的其他模塊

數據中臺的運營管理和安全管理是高校數據管理體系健康穩定運行、持續產生數據價值的重要保證。數據開發模塊貫穿于數據中臺運行的各個環節，為各場景提供套件和工具，如使用數據同步套件實現異構數據之間的同步交換等。位于數據中臺之上的是具體的數據應用場景，數據資產將通過數據服務層輸送至該層進行使用。

3 高校數據中臺建設研究

根據上述高校數據中臺的總體架構，本文以南方某高校為例，研究基于數據中臺的高校數據管理體系建設方法。

3.1 校內業務需求分析

在數據中臺建設初期，最重要的任務就是對校領導、各處室以及師生群體進行需求調研。需求調研工作應從宏觀層面展開，梳理高校的整體業務以及具體業務場景，并逐步細化分解到基礎數據級別。首先，結合訪談、收集資料等方式對校內現有的組織架構和崗位職責、業務模式和流程、關鍵業務節點、數據庫信息、數據內容和形態、供需關系、交換共享要求、數據質量問題等信息進行收集，并總結出當前校內數據現狀、所有應用場景、業務需求以及存在的痛點，提煉出相關的數據指標和維度，最后形成校內數據現狀報告以及項目范圍說明書。根據該高校調研結果，主要問題體現在校內業務轉型創新缺乏數據支持、校數據資產難以治理以及數據使用效率亟待優化等問題。對于校內數據供需關系的梳理結果，則可以通過UC矩陣表來進行展示，如圖3所示。

3.2 數據模型設計

⑴ 制定統一的校級數據標準規范

完成調研和分析之后，可獲得當前校內數據的管理狀況，生成包括數據字典、數據血緣、數據質量、數據資產臺賬等資料，通過結合教育部頒布的高校數據管理標準則可以建立起統一的校內數據標準規范，為數據中臺的數據集中管理打下基礎。高校數據標準規范的制定主要分為設計、審核、發布三個階段，在制定過程中應盡可能貼合當前校內業務流程、數據管理模式和現有的數據標準進行設計。

⑵ 數據標簽設計

數據標簽設計是數據中臺建設前期的核心工作之一。數據標簽通常圍繞著具體的業務場景進行設計，是實現數據價值最大化的重要手段。例如，針對該高校教務處學籍預警的業務場景，主要可以分為一級預警和二級預警兩種等級，因此針對以上兩種學業情況設計出兩個標簽：一級預警，口徑定義為有6門及以上課程不及格;二級預警，口徑定義為3-5門課程不及格。在完成數據標簽設定之后，就可以將數據歸納至相關標簽下。數據標簽的歸類方式可以通過人為主觀分類、算法計算、機器學習等多種方法實現。

⑶ 校園業務流程分析

本階段任務主要為了保證數據資產能夠良好地融入到業務流程中，形成基于數據驅動的業務運營模式，是對宏觀調研結果的細化過程。根據調研階段所獲取的業務場景和具體功能清單，需要對該高校所有業務流程進行詳細地梳理，獲取所有業務節點對于數據資產的供應需求，同時根據當前業務痛點確定原有業務流程的改造方案。

⑷ 業務指標設計

業務指標通常是指支撐整個業務流程環節的各種數據指標組合。由于相同業務場景中任一節點基礎數據可以取自不同的數據源，根據已制定的校內數據規范，每個業務指標在數據中臺只能有唯一的計算口徑，從而有效避免數據應用混亂等問題。另外，在業務指標設計環節需要對指標構成的特征屬性進行分解，例如在財務處的學費繳交業務場景中，每位學生的繳費流水指標屬性就可以拆分為具體的年、月、日、付款時間、支付方式、學生姓名、所屬系部等基礎元素，這實際上也構成了業務系統中的各種基礎信息。

⑸ 數據子集劃分

通過參考教育部2012年發布的JY/T 1006-2012《教育管理信息—高等學校管理信息》的相關標準，該高校將總體數據集劃分為學校概況、學生管理、教學管理、教職工管理、科研管理、財務管理、資產與設備、辦公管理、外事管理等12個數據子集[5]。劃分子集的目的在于屏蔽具體的數據細節，從而更好地對各數據進行抽象分類，保證數據在應用時可以無影響地進入相應的數據集，有利于后續增量數據的管理和梳理。

3.3 校內全域數據采集

全域數據的采集方式主要可以分為離線接入、實時接入、手工導入等方式。離線采集是通過配置數據源、同步機制來定期完成采集工作;實時采集通常有兩種方式，一種是采用實時計算引擎Flink與數據庫對接進行計算，并把數據存儲在中臺存儲層;另一種是通過標準化SDK進行埋點嵌碼，記錄用戶相關行為數據后形成應用日志文件，通過Flume存入數據中臺中;部分業務場景數據需要人為介入觀察和統計，并通過表單手工錄入的方式進行數據的采集。在高校數據采集過程中，需要根據不同場景設置相應的取數策略。

3.4 建立數據治理機制

數據治理是數據中臺管理數據資產的重要機制，也是數據資產不斷優化、增值的重要保證。數據治理主要包括了元數據管理、數據血緣管理、數據脫敏等多個任務[6]。

⑴ 元數據管理

元數據來源于各種數據資產，其內容主要是數據資產的相關信息。因此在數據治理中，不僅需要獲取校內全域數據，還需要獲取其元數據集合，才能更好地理解和管理數據資產。進行元數據管理首先應以數據資產各屬性為基礎進行分類，制定相應的元數據標準，同時要具備版本管理和查詢功能，要實施定期維護和更新工作。

⑵ 數據血緣管理

數據血緣主要用于數據資產的追溯和管理，在事后排查故障和數據資產清點中都扮演著十分重要的角色。當應用數據在某些具體業務場景出現歧義或缺失時，即可通過數據血緣反向查詢具體來源和加工鏈路。數據血緣管理需要設立機制來自動解析中臺匯聚層的數據同步任務以及相關的SQL語句，以便于建立起各表、字段之間的血緣關系。

⑶ 數據脫敏

在對各類數據加工處理的過程中，可能會涉及如身份證號碼，銀行卡號等敏感信息，此時就必須在數據治理過程中建立數據脫敏機制，以防信息泄露，保障數據安全，但同時也應保證脫密數據的可視性，以便于業務的正常開展。

4 結束語

本文結合高校現有的數據管理痛點和數據中臺的架構特性，闡述了高校數據中臺的基本建設方法。數據中臺實現了高校數據集中管理和標準化管理，并具備良好的應用拓展性，可以輕松滿足校內各種信息化建設的數據需求，同時也為數據資產再利用和業務流程的創新提供了重要的數據支撐，因此數據中臺在高校信息化領域將具有較好的應用前景。當然，目前數據中臺架構也存在一些不足之處，例如中臺的數據一旦出錯則影響范圍可能是全校級別，因此如何改進數據中臺架構，提升其容錯性和糾錯能力是今后有待深入研究的重點。

參考文獻（References）：

[1] 肖炯恩，劉欣榮.智慧校園的數據中臺建設與數據治理研究[J].高等職業教育（天津職業大學報），2021，30（2）：82-86

[2] 劉姣，薛云霞，肖琴，周君儀.基于智能微服務架構的智慧校園融合門戶模型建設[J].江蘇科技信息，2021，38（30）：48-51

[3] 胡翰林，沈書生.基于中臺技術的教育大數據應用研究[J].現代教育技術，2021，31（9）：78-86

[4] 賈偉.中生大數據治理體系建設實踐[J].信息技術與標準化，2021（6）：84-88

[5] 羅念龍，蔣東興，宓詠，等.教育管理信息系列標準的規劃與研制[J].中國教育信息化，2012（15）：20-22

[6] 姚洪.基于數據中臺的數據治理系統的設計與實現[J].科學技術創新，2020（35）：74-75