高校師生數據的建設與治理研究

林燕芬

[摘 要]隨著各高校信息化建設的重心從系統和平臺建設逐漸向內涵和應用建設轉移，數據質量和使用效益越發受到重視，因為其直接影響了高校信息化建設的深度與廣度。本文首先分析了高校在數據建設方面存在的普遍問題，并結合工作實踐，針對這些問題對師生數據的建設與治理進行了探討。

[關鍵詞]數據治理;大數據;高校師生

doi：10.3969/j.issn.1673 - 0194.2020.12.086

[中圖分類號]G647;TP311.13[文獻標識碼]A[文章編號]1673-0194（2020）12-0-02

0 ? ? 引 言

“十二五”期間，各高校按照“統一規劃、分步實施”等建設原則，全面開展了數字化校園建設，目前基本上形成了以高校信息標準為基礎，三大平臺（統一門戶、統一數據中心、統一身份認證）為支撐，各業務應用系統基本完備的數字校園應用體系。隨著高校信息化建設的大力推進和逐步深入，師生對信息化建設的要求不斷提高，系統的實用性成為大家關注的主要方面。如何充分挖掘和使用數據價值，回應師生關切問題、滿足師生所需數據，是各高校開始思考的問題。因此，各高校的信息化建設重心逐漸從系統和平臺建設向內涵和應用建設轉移，強調用戶體驗和實際效果，對數據的質量和使用效益越發重視。而事實上，由于校園信息系統的數據質量不佳，對數據的挖掘和分析不足，導致數據的利用率低下。

1 ? ? 高校師生服務數據存在的普遍問題

1.1 ? 缺乏完善的數據治理體系，學校數據的整體性不佳

高校在進行信息化建設的過程中，始終重視數據建設和維護。但是在數據治理方面，從數據采集與控制到數據管理與使用，目前都缺乏對數據質量、安全和生命周期的管理，包括控制數據從輸入、加工、傳輸、輸出等各個處理環節，還沒能形成一個完善和統一的數據管理與治理的規范和流程。另外，各業務系統是由各職能和業務部門滿足自己的實際工作所需建設的，因此在數據管理方面，僅側重對與本部門業務相關的信息進行管理，再加上在基礎數據采集與管理環節，缺乏行之有效的核對與矯正手段，因此，就學校整體而言，各相對獨立的業務系統產生的數據很難形成完整的信息鏈條，無法為學校整體提供正確、完整的信息，導致數據的價值得不到充分有效利用，一定程度上降低了行政事務、服務師生尤其跨部門業務的工作效率。

1.2 ? 日志類數據利用難度大，價值無法充分體現

各類應用系統的日志數據作為原始的系統操作事件的全量記錄集合，蘊含著大量的過程數據與信息，是系統的結果數據無法覆蓋的，這些日志信息為將來數據挖掘與決策分析工作奠定了重要的數據基礎，具有分析、利用和參考價值。而大多數的應用系統在使用過程中，由于缺少對日志數據的技術支持和有效計算工具，日志類數據中蘊含的大量寶貴信息沒有被及時存儲和積累，逐漸流失。日志類數據得不到有效利用，主要原因有兩個。

1.2.1 ? 日志類數據體量巨大

日志數據之所以體量龐大，不僅在于業務系統的日積月累，更重要的是，動態增加的日志類數據使傳統關系型數據庫技術無法對其進行有效存儲與管理，與此同時，對動態數據的可擴展性也有更高的要求，這對傳統的關系型數據庫技術來說是一種挑戰。

1.2.2 ? 日志類數據解析復雜

由于各職能部門建設的業務系統功能相對單一，由不同廠商開發，使用的設備、系統架構不同，所以各系統生成的日志沒有統一的可通用的定義和固定的格式，在對其進行解析的過程中，系統非結構化的特征導致管理人員無法從中清晰地獲取信息，使解析變得異常復雜。在利用這些日志類數據時，要對這些多源、異構的數據建立統一的解析方案，而這并非易事。

1.3 ? 基礎數據不全面，可利用價值不高

一般來說，職能部門在建設自身業務管理信息系統的過程中主要以本部門內部的管理與服務流程為重心，對師生視角的場景化服務沒有給予足夠重視，因此，業務系統積累了大量的行政類與管理類數據。實際上，對于學校整體而言，真正有價值的數據往往集中在服務師生這一端，通過采集與分析師生的個體數據以及他們在日常教學、工作、生活過程中產生的數據，發揮數據價值，獲得更多有價值的數據分析結論，將這些結論進一步指導和應用于管理與服務中，更好地推進學校的管理與服務工作，真正滿足師生內在的深層次所需，提高服務與管理質量，提高師生滿意度。

2 ? ? 高校師生服務數據建設與治理的內容

在進行數據建設與治理之前，首先要建立學校統一的數據標準，然后根據數據來源要求，采集相關數據，并進行必要的標準化、清洗、轉換等操作，使數據符合預定的質量要求和標準要求。

2.1 ? 建設統一數據標準和預處理規范

根據國家標準、教育部標準、行業標準，兼顧各個標準之間的兼容性、一致性以及標準的可擴展性，并結合高校自身特點進行歸納整理，建立和完善學校的各項標準，并給出數據分類編碼規格說明書，建設一套符合學校實際的《數據標準》。在此基礎上，還應根據數據標準，編制形成《數據預處理規范》，對原始數據進行數據清理、數據集成融合、數據規約與數據轉換等預處理工作。具體的數據標準和規范應涵蓋的內容包括：數據標準權威參考源、數據標準查看、引入、分類定義、導出、標準代碼集權威參考源、代碼集引入、代碼集分類定義、代碼集綁定等。

2.2 ? 數據清洗

在數據清洗的過程中，需要進行大量的調研、采集、核對、匹配、轉換等數據治理相關技術工作。涉及的數據對象可能包括以下幾方面：①學校基本情況數據，包括學校基本信息、單位部門信息、班級信息、學科點信息等;②學生數據，包括基本信息、獎懲信息、選課信息、成績信息、學籍信息、社會活動信息、學位學歷信息、畢業生就業信息、家庭信息、住宿信息、戶籍信息和困難生信息等;③教職工數據，包括基本信息、職務職稱信息、考核信息、專家信息、兼職人員信息、獎懲信息、個人經歷信息和家庭信息等;④教學管理數據，包括課程信息、專業信息、培養方案信息、教師任課信息、課表信息、考試信息、教學評價信息、實踐信息和論文信息等;⑤科研數據，包括項目信息、科研機構信息、科研合同信息、論文著作信息、學術會議信息、科研成果信息和學術交流人員信息等;⑥一卡通相關數據，包括商戶數據、用戶數據、消費明細、充值明細、補助明細等。對上述數據的清洗一般要按照如下原則：①單一字段中不存在多種信息;②相同對象的名稱表達一致;③縮寫詞、慣用語的表達一致;④值與字段名含義匹配;⑤同類數據的計量單位統一;⑥同一字段內的數據格式統一。

2.3 ? 數據管理和數據質量控制

在數據治理方面，一般要求按規則自動進行數據治理、人工手動數據治理和根據數據的實際使用結果對數據進行反饋治理，要求經過數據治理過的數據必須可追溯治理過程，并支持數據退回到任何以前治理步驟之前的狀態。通過構建科學合理的數據治理模型，確保隨著數據的使用自動提升數據質量，主要包括以下幾個方面。①元數據管理：在對元數據進行采集、查看、分類、編輯、綁定等操作后，還要對其進行血緣分析，即要對元數據做全鏈分析，以某個元數據為目標節點，盡量采用圖形方式展示前后與其有關系的所有元數據，反映數據來源與加工過程，分析數據來源和數據質量問題定位等。除此之外，還要對元數據的版本和接口進行管理并做變更分析。②主數據管理：包括對主數據的分類、引入、發布以及版本管理和備份等。③數據質量控制：內容包括數據結構一致性校驗，數據內容有效性校驗，數據質量檢測方式選擇，數據質量報告輸出、推送、評分機制，數據質量檢測規則庫，規則定義，綁定設置，數據質量問題分析統計等。④數據共享交換：內容包括數據接口發布、預覽、管理、用戶賬號設置、數據授權訪問、用戶密鑰管理、數據訪問統計和ETL任務信息集成等。⑤數據采集存儲計算功能：內容包括數據采集能力、數據采集協議、數據存儲能力、數據服務功能等。

3 ? ? 搭建數據建設與治理平臺

一般來說，高校都通過搭建系統和平臺對學校數據進行建設與治理，即結合學校的師生綜合數據，通過日志采集工具、數據治理工具，對高校全量結構化數據（含過程數據）、半結構及非結構化數據進行標準化治理，并統一存儲到大數據管理平臺，通過API接口支撐學生管理及服務類、教師服務類、校情分析類、日志分析類應用模型，總體框架一般包括4個模塊.

3.1 ? 全量數據平臺及學生管理決策系統

全量數據平臺及學生管理決策系統主要用于校園大數據分析系統的底層數據采集、存儲管理及相關數據挖掘工作、應用展示等。一般采用分布技術架構和模式，引入全量數據，對結構化的業務數據、半結構化的日志數據和非結構化的互聯網數據分別制定標準和規范，面向大數據應用制定和管理數據標準，并對外提供統一的數據讀取與訪問接口。

3.2 ? 預警中心和個人消費報告

通過對關注群體的上網日志數據，發現校園中可能存在的非法聚集、訪問敏感網站等安全行為，幫助相關部門對校園公共安全進行管理。通過分析上網URL日志，捕獲學生通過校園網訪問網貸平臺的行為，并及時預警頻繁訪問網貸平臺、疑似有網貸行為風險的學生。

3.3 ? 日志分析模塊和日志處理工具

利用大數據技術手段，整合無線日志數據，結合教務處課表數據、一卡通消費數據等，建立無線考勤分析的數據模型，實現實時、無感上課考勤分析，并深度挖掘出勤率較低的潛在原因，生成預警信息并推送給相關管理人員。

3.4 ? 綜合校情分析決策系統

建立例如教師個人數據服務名片等綜合校情分析模塊，通過對全校教師相關數據的整合匯總，綜合展示和發布教師信息，分角色、權限展現不同部門、院系、專業等不同需求的關注點。除此之外，還可以建立消費分析、招生分析、就業分析和科研分析模塊。

4 ? ? 結 語

數據只有在經過收集、整理與統計分析后，才能真正實現價值轉換。學校在教學、管理與服務的過程中積累了大量的基礎數據，在全面收集與匯總基礎數據后，要經過邏輯性整理與梳理，按主題構建數據倉庫系統，例如，學生在校消費情況及變化趨勢、歷年招生變化情況、學生就業情況、同類院校科研情況對照分析等，只有建立主題并加以分析數據后，這些數據分析結果才能對學校的建設決策具有指導作用。