三全育人背景下師生數(shù)據(jù)倉庫建設(shè)研究與實踐

［摘 要］師生數(shù)據(jù)倉庫的建設(shè)能夠進一步挖掘數(shù)據(jù)資源，為前端查詢和分析作基礎(chǔ)，為管理決策作支持。文章從需求出發(fā)，結(jié)合學(xué)校已有的資源環(huán)境，從數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)處理、數(shù)據(jù)管控等方面進行設(shè)計，構(gòu)建了符合三全育人時代背景的師生數(shù)據(jù)倉庫架構(gòu)，并實現(xiàn)了數(shù)據(jù)的開放共享，提供了師生數(shù)據(jù)查詢應(yīng)用，也為后續(xù)師生數(shù)據(jù)更深層次地采集、處理、分析以及管理決策打下堅實的基礎(chǔ)。

［關(guān)鍵詞］數(shù)據(jù)倉庫；三全育人；數(shù)據(jù)治理；數(shù)據(jù)共享

doi：10.3969/j.issn.1673-0194.2023.01.047

［中圖分類號］TP315 ［文獻標(biāo)識碼］A ［文章編號］1673-0194（2023）01-0180-05

0" " "引 言

數(shù)據(jù)被認為是21世紀最重要的資產(chǎn)，是數(shù)字經(jīng)濟時代的核心生產(chǎn)要素。數(shù)據(jù)倉庫是一個為決策支持服務(wù)的、面向主題的、集成的、相對穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合［1-2］，能夠進一步挖掘數(shù)據(jù)資源，為前端查詢和分析作基礎(chǔ)，為管理決策作支持。筆者所在學(xué)校于2019年啟動數(shù)據(jù)共享平臺的建設(shè)及數(shù)據(jù)倉庫的構(gòu)建，基本實現(xiàn)全校范圍內(nèi)基礎(chǔ)人員數(shù)據(jù)的互通共享以及師生個人數(shù)據(jù)前端查詢。2020年中共中央、國務(wù)院印發(fā)了《深化新時代教育評價改革總體方案》（以下簡稱《方案》），著眼促進學(xué)生德智體美勞全面發(fā)展，在加強過程性考核與結(jié)果性考核有機結(jié)合的學(xué)業(yè)考評基礎(chǔ)上，完善德育評價，強化體育評價，改進美育評價，加強勞動教育評價。《方案》同時指出，要創(chuàng)新評價工具，利用人工智能、大數(shù)據(jù)等現(xiàn)代信息技術(shù)，探索開展學(xué)生各年級學(xué)習(xí)情況全過程縱向評價、德智體美勞全要素橫向評價，提高教育評價的科學(xué)性、專業(yè)性、客觀性。三全育人背景下，學(xué)業(yè)考評需要更多、更廣、更深的數(shù)據(jù)支撐，而筆者所在學(xué)校并沒有統(tǒng)一的學(xué)工系統(tǒng)，學(xué)生數(shù)據(jù)源頭分散、數(shù)據(jù)標(biāo)準(zhǔn)缺失、數(shù)據(jù)類型多樣，因此，學(xué)校從需求出發(fā)，利用并優(yōu)化已有的資源環(huán)境，構(gòu)建了符合三全育人時代背景的師生數(shù)據(jù)倉庫。

1" " "數(shù)據(jù)倉庫體系建設(shè)框架

建立學(xué)校師生數(shù)據(jù)倉庫是為了完成對師生數(shù)據(jù)快速精準(zhǔn)的抽取、統(tǒng)計、分析，為學(xué)校各類師生業(yè)務(wù)提供數(shù)據(jù)支撐。根據(jù)數(shù)據(jù)倉庫建設(shè)的要求，首先針對三全育人要求下的師生業(yè)務(wù)進行需求分析，梳理數(shù)據(jù)來源，設(shè)計多元異構(gòu)數(shù)據(jù)采集機制，匯集形成師生原始數(shù)據(jù)資源；其次，根據(jù)資源特性進行ETL處理及分層存儲，形成符合學(xué)校標(biāo)準(zhǔn)的主題庫和具有特色集合的專題庫；最后，在安全管控條件下為學(xué)校其他業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)接口和數(shù)據(jù)分析服務(wù)。為此，師生數(shù)據(jù)倉庫體系設(shè)計了多源異構(gòu)數(shù)據(jù)采集機制、數(shù)據(jù)分層存儲、數(shù)據(jù)管控平臺、數(shù)據(jù)應(yīng)用與服務(wù)平臺等關(guān)鍵模塊，整體框架如圖1所示。

2" " "主要建設(shè)內(nèi)容

2.1" "數(shù)據(jù)采集

三全育人背景下要求對結(jié)果數(shù)據(jù)更加全面的采集，同時需要加強過程性數(shù)據(jù)的采集分析，基于學(xué)校目前無統(tǒng)一的學(xué)工系統(tǒng)這一現(xiàn)狀，學(xué)校在設(shè)計數(shù)據(jù)采集機制時，除了對接常規(guī)業(yè)務(wù)系統(tǒng)外，還增加了離線采集工具、智能填報工具、流程平臺數(shù)據(jù)采集等，多平臺協(xié)作支撐多源異構(gòu)數(shù)據(jù)的采集，以全量和增量方式實現(xiàn)數(shù)據(jù)集成。

（1）系統(tǒng)數(shù)據(jù)采集：基于華為數(shù)據(jù)中臺資源，通過ETL工具DAYU定時抽取業(yè)務(wù)系統(tǒng)全量數(shù)據(jù)庫，利用ROMA的FDI，完成文本、消息、API、結(jié)構(gòu)和非結(jié)構(gòu)化數(shù)據(jù)等多種數(shù)據(jù)源之間的靈活、快速、無侵入式的數(shù)據(jù)集成，F(xiàn)DI和DAYU協(xié)同實現(xiàn)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)匯聚至原始數(shù)據(jù)湖。

（2）碎片化的流程數(shù)據(jù)采集：在三全育人視域下，對育人成效的評價指標(biāo)不再一成不變，需要學(xué)生全生命周期的各項數(shù)據(jù)來支撐評價，常規(guī)的業(yè)務(wù)管理系統(tǒng)需要較長的開發(fā)周期，無法及時響應(yīng)多變的需求，本方案以流程平臺為核心，通過微服務(wù)的模式快速搭建各類輕應(yīng)用，構(gòu)建師生五育業(yè)務(wù)中心，并使其實現(xiàn)與數(shù)據(jù)中心的深度融合，將流程產(chǎn)生的有效結(jié)果數(shù)據(jù)和過程性數(shù)據(jù)作為數(shù)據(jù)源匯聚至原始數(shù)據(jù)湖。

（3）線下數(shù)據(jù)采集：設(shè)計B/S架構(gòu)的離線采集工具，通過數(shù)據(jù)在線建模，將模板分發(fā)給需要采集數(shù)據(jù)的人員，采集好的表格數(shù)據(jù)通過離線采集工具導(dǎo)入后匯聚至原始數(shù)據(jù)湖。

2.2" "數(shù)據(jù)分層處理與存儲

根據(jù)數(shù)據(jù)類型以及數(shù)據(jù)的用途，定義不同的數(shù)據(jù)分層，存儲在不同的地方，以做到低成本存儲，高效支撐上層業(yè)務(wù)開發(fā)。數(shù)據(jù)從采集到對外提供共享服務(wù)被分為5層。

（1）數(shù)據(jù)湖包含了DAYU抽取、流程采集、FDI集成以及離線采集等各方從業(yè)務(wù)源頭采集的結(jié)構(gòu)、半結(jié)構(gòu)化和非結(jié)構(gòu)化等海量原始數(shù)據(jù)，采用Hadoop分布式大數(shù)據(jù)存儲平臺，能夠滿足海量、低成本和批量的存儲計算，將原始數(shù)據(jù)經(jīng)清洗后轉(zhuǎn)換為結(jié)構(gòu)化的標(biāo)準(zhǔn)數(shù)據(jù)［3］。

（2）標(biāo)準(zhǔn)層數(shù)據(jù)是對數(shù)據(jù)湖中的原始數(shù)據(jù)進行清洗轉(zhuǎn)化后的標(biāo)準(zhǔn)結(jié)構(gòu)化數(shù)據(jù)，通過DAYU工具按照同步周期進行增量或全量抽取，并在每個數(shù)據(jù)表增加審計字段，以便分析數(shù)據(jù)血緣關(guān)系。

（3）主題層數(shù)據(jù)分為主題明細和主題匯總，明細數(shù)據(jù)按照維度建模，將來自標(biāo)準(zhǔn)層的數(shù)據(jù)進行轉(zhuǎn)標(biāo)后存放在各自的主題域下，是最細粒度的原子數(shù)據(jù)。匯總數(shù)據(jù)來源于主題明細數(shù)據(jù)，對一些公共需求進行的簡單匯總。例如SUM、COUNT等，減少重復(fù)加工，提高使用效率，并以拉鏈的方式記錄數(shù)據(jù)的變化軌跡和刪除情況。根據(jù)三全育人數(shù)據(jù)需求調(diào)研，結(jié)合學(xué)校業(yè)務(wù)實際，在主題層設(shè)計匯總了教工、學(xué)生、財務(wù)、資產(chǎn)和公共服務(wù)五大主題數(shù)據(jù)域，其中教工主題細化為基礎(chǔ)數(shù)據(jù)、生活數(shù)據(jù)集、教學(xué)數(shù)據(jù)集、科研數(shù)據(jù)集、崗位職務(wù)數(shù)據(jù)集等，學(xué)生主題細化為本科生基礎(chǔ)數(shù)據(jù)、研究生基礎(chǔ)數(shù)據(jù)、學(xué)生德育數(shù)據(jù)集、學(xué)生智育數(shù)據(jù)集、學(xué)生體育數(shù)據(jù)集、學(xué)生美育數(shù)據(jù)集、學(xué)生勞育數(shù)據(jù)集等，財務(wù)主題分為薪資數(shù)據(jù)集、繳費數(shù)據(jù)集、項目數(shù)據(jù)集，資產(chǎn)主題包含固定資產(chǎn)數(shù)據(jù)集和無形資產(chǎn)數(shù)據(jù)集，公共服務(wù)主題含圖書數(shù)據(jù)集、一卡通數(shù)據(jù)、門禁數(shù)據(jù)集、迎新數(shù)據(jù)集、防控數(shù)據(jù)集等。

（4）專題層數(shù)據(jù)主要來自主題層，也會有個別數(shù)據(jù)直接從標(biāo)準(zhǔn)層獲取，主要面向第三方應(yīng)用，以滿足該應(yīng)用的數(shù)據(jù)需求和時效性需求為目標(biāo)，例如離校專題、財務(wù)專題、OA專題、認證專題、迎新專題、教師個人主頁專題、師生數(shù)字檔案專題等，主要是對主題數(shù)據(jù)進行組合、統(tǒng)計、計算等操作。

標(biāo)準(zhǔn)數(shù)據(jù)、主題數(shù)據(jù)和專題數(shù)據(jù)均是帶有業(yè)務(wù)屬性的數(shù)據(jù)集合，需要較高頻率的訪問、計算以及ETL處理，采用關(guān)系型數(shù)據(jù)庫GaussDB進行存儲。GaussDB是企業(yè)級關(guān)系型數(shù)據(jù)庫，面向結(jié)構(gòu)化數(shù)據(jù)，能夠有效處理PB級別的數(shù)據(jù)量，同時可以為超大規(guī)模數(shù)據(jù)管理提供高性價比的通用計算平臺，為上層應(yīng)用的決策分析等提供服務(wù)。

（5）歷史庫中存儲了標(biāo)準(zhǔn)層、主題層和專題層的歷史數(shù)據(jù)，這些數(shù)據(jù)的訪問頻率相對較低，把這些數(shù)據(jù)放在Hadoop上，一方面可以降低GaussDB的壓力，把GaussDB的資源放在ETL批量處理和滿足應(yīng)用訪問的需求［4］；另一方面數(shù)據(jù)湖的歸檔頻率更高，歷史庫和數(shù)據(jù)湖放在同一個平臺可以有效提高歸檔效率。

2.3" "數(shù)據(jù)管控

（1）數(shù)據(jù)權(quán)責(zé)管控。確定數(shù)據(jù)來源，明確管理責(zé)權(quán)是數(shù)據(jù)治理工作關(guān)鍵的步驟之一，通過對全校數(shù)據(jù)的分布狀況、運行狀況、數(shù)據(jù)與管理流程的關(guān)系進行盤點、梳理，確定各項數(shù)據(jù)的權(quán)威來源，實現(xiàn)“一數(shù)一源”。當(dāng)需要使用數(shù)據(jù)或發(fā)現(xiàn)數(shù)據(jù)有問題時，能夠準(zhǔn)確定位到相應(yīng)的部門、崗位，以及對應(yīng)的業(yè)務(wù)系統(tǒng)、數(shù)據(jù)庫表、字段。同時，基于這些對應(yīng)關(guān)系，在全校建立數(shù)據(jù)質(zhì)量管理責(zé)任體系，使各部門明確各自負責(zé)的數(shù)據(jù)范圍和數(shù)據(jù)管理責(zé)權(quán)機制。

（2）數(shù)據(jù)質(zhì)量管控。數(shù)據(jù)質(zhì)量管控包括源數(shù)據(jù)質(zhì)量管控和主數(shù)據(jù)質(zhì)量管控［5］。

源數(shù)據(jù)質(zhì)量管控包括集成前質(zhì)量分析報告、集成中過程監(jiān)測。集成前對源數(shù)據(jù)進行調(diào)研，對標(biāo)國家標(biāo)準(zhǔn)、教育部標(biāo)準(zhǔn)、學(xué)校標(biāo)準(zhǔn)以及兄弟院校的數(shù)據(jù)治理經(jīng)驗，對目標(biāo)數(shù)據(jù)進行表級別和字段級別全不全，記錄級別準(zhǔn)不準(zhǔn)等檢測，并出具質(zhì)量檢測報告供業(yè)務(wù)部門參考以及進行補全修正。集成過程中實時監(jiān)測關(guān)鍵字段的變化情況，及時發(fā)現(xiàn)數(shù)據(jù)源異常。

主數(shù)據(jù)質(zhì)量管控即對主題層數(shù)據(jù)從質(zhì)量和數(shù)量兩個方面進行數(shù)據(jù)質(zhì)量檢測，例如空值檢測、重復(fù)檢測、不在代碼表檢測、日期格式檢測、證件號格式檢查、數(shù)值范圍檢測、全角半角檢測、長度不合規(guī)檢測等。記錄數(shù)是否符合實際情況，是否出現(xiàn)極端變化等。根據(jù)檢測結(jié)果限制不符合質(zhì)量規(guī)則的數(shù)據(jù)下行，并提醒數(shù)據(jù)源管理人員和數(shù)據(jù)中心人員進行問題排查，逐步提高數(shù)據(jù)質(zhì)量。

（3）數(shù)據(jù)安全管控。數(shù)據(jù)安全管控包括數(shù)據(jù)加密和數(shù)據(jù)脫敏處理。數(shù)據(jù)加密面向?qū)W校各級各類數(shù)據(jù)管理員，除數(shù)據(jù)中心數(shù)據(jù)管理人員外，其他業(yè)務(wù)部門數(shù)據(jù)管理員僅能查看各自所屬部門的數(shù)據(jù)，其他部門數(shù)據(jù)需按流程申請解密后才可查看，實現(xiàn)數(shù)據(jù)的分級權(quán)限管理。數(shù)據(jù)脫敏是指在面向?qū)W校師生共享數(shù)據(jù)時，對某些敏感信息通過脫敏規(guī)則進行數(shù)據(jù)的變形，例如對涉及個人隱私的身份證號、手機號、卡號、客戶號等按規(guī)則隱藏，實現(xiàn)隱私數(shù)據(jù)的可靠保護。

2.4" "數(shù)據(jù)開放共享

經(jīng)治理后的主題層和專題層數(shù)據(jù)被封裝成標(biāo)準(zhǔn)的Web Service數(shù)據(jù)接口，通過數(shù)據(jù)共享平臺上架至數(shù)據(jù)市場，實現(xiàn)數(shù)據(jù)的集中管理。第三方業(yè)務(wù)系統(tǒng)或用戶可根據(jù)需求按流程申請使用數(shù)據(jù)，避免反復(fù)向業(yè)務(wù)部門協(xié)調(diào)數(shù)據(jù)。讓上層應(yīng)用開發(fā)聚焦在業(yè)務(wù)邏輯本身，加快系統(tǒng)建設(shè)進程，并使得系統(tǒng)之間數(shù)據(jù)可以互聯(lián)互通，消滅信息孤島，打通業(yè)務(wù)流，實現(xiàn)業(yè)務(wù)數(shù)字化全鏈接協(xié)同。

3" " "師生數(shù)據(jù)倉庫建設(shè)實踐

3.1" "師生主題數(shù)據(jù)建設(shè)

經(jīng)過近兩年的建設(shè)，數(shù)據(jù)中心匯集了人事、教務(wù)、研究生、科研、一卡通共五個業(yè)務(wù)系統(tǒng)的全量數(shù)據(jù)以及組織部、財務(wù)、國資、圖書館、流程平臺等五個系統(tǒng)的關(guān)鍵業(yè)務(wù)數(shù)據(jù)，共集成源業(yè)務(wù)數(shù)據(jù)表近2 000張，有效記錄400余萬條。通過流程采集涉及學(xué)生的德、體、勞育等10多張數(shù)據(jù)表，涉及學(xué)校公共服務(wù)類的10多張數(shù)據(jù)表。在主題層完成轉(zhuǎn)標(biāo)數(shù)據(jù)明細表

1 200多張，形成校級標(biāo)準(zhǔn)代碼表119張，匯總構(gòu)建了學(xué)生、資產(chǎn)、財務(wù)、教工和公共服務(wù)五大主題域，細化數(shù)據(jù)子集22個，形成匯總數(shù)據(jù)表129張，基本涵蓋師生教、學(xué)、研和生活各個方面，如表1所示。通過數(shù)據(jù)開放共享平臺將以上數(shù)據(jù)采用API接口形式進行開放，目前已發(fā)布近百個接口供師生用戶申請使用。

3.2" "數(shù)據(jù)共享應(yīng)用

根據(jù)第三方數(shù)據(jù)使用需求，對主題層數(shù)據(jù)進行加工整合，形成了20余個專題庫，實現(xiàn)了全校范圍內(nèi)人員基礎(chǔ)數(shù)據(jù)共通共享，并建成師生個人數(shù)字檔案，為師生展示了個人在教學(xué)、科研、學(xué)習(xí)和生活各方面的數(shù)據(jù)信息，方便師生更全面、更精準(zhǔn)地進行自我評價，如圖2所示。

4" " "總 結(jié)

師生數(shù)據(jù)倉庫的建設(shè)能夠進一步挖掘數(shù)據(jù)資源，為前端查詢和分析作基礎(chǔ)，為管理決策作支持。文章從需求出發(fā)，結(jié)合學(xué)校已有的資源環(huán)境，從數(shù)據(jù)采集開始優(yōu)化了采集方式、采集范圍和采集深度，并根據(jù)數(shù)據(jù)結(jié)構(gòu)特性，在數(shù)據(jù)存儲處理階段對數(shù)據(jù)進行存儲和分層處理，構(gòu)建了符合三全育人時代背景的師生數(shù)據(jù)集模型，并實現(xiàn)了數(shù)據(jù)的開放共享，提供了師生數(shù)據(jù)查詢應(yīng)用平臺，為后續(xù)師生數(shù)據(jù)更深層次地采集、處理、分析以及管理決策打下堅實的基礎(chǔ)。

主要參考文獻

［1］劉吉峰，羅勐，梁聰聰.黃河多源異構(gòu)凌情數(shù)據(jù)倉庫初步研究［J］.人民黃河，2022，44（2）：27-31.

［2］常有學(xué).基于智能制造的數(shù)據(jù)倉庫的設(shè)計與實現(xiàn)［D］.南昌：南昌大學(xué)，2020.

［3］朱東升，徐石明，李天陽，等.基于Hadoop平臺的地鐵NCC數(shù)據(jù)中心方案研究［J］.計算機測量與控制，2017，25（12）：224-227，236.

［4］李英楠.基于Hive的購銷數(shù)據(jù)倉庫系統(tǒng)的設(shè)計與實現(xiàn)［D］.重慶：西南大學(xué)，2020.

［5］楊敏，何海濤，張永強.基于數(shù)據(jù)中臺的校園數(shù)據(jù)體系設(shè)計與建設(shè)［J］，深圳大學(xué)學(xué)報：理工版，2020，37（s1），95-100.