基于高校的數據資產管理模型研究

羅軍鋒　張亞娟　馮興利

摘? 要：隨著高校信息化建設的飛速發展，產生的數據量也飛速增長，如何管理和利用這些海量的數據成為一個迫切需要面對的問題。數據治理是數據資產管理中核心組成部門，其對提高數據質量、實現數據共享、最終實現數據價值最大化有重大意義。從數據管理中數據治理的概念出發，對數據治理中的有關技術進行了介紹，在此基礎上提出以數據治理為核心的數據資產管理模型，最后對高校的數據資產管理進行了總結。

關鍵詞：數據管理;數據規范;數據清洗;數據交換;數據集成

中圖分類號：TP311.5? ? ? 文獻標識碼：A 文章編號：2096-4706（2020）05-0108-04

Research on Data Asset Management Model Based on Universities

LUO Junfeng，ZHANG Yajuan，FENG Xingli

（Network Information Center of Xian Jiaotong University，Xian? 710049，China）

Abstract：With the rapid development of university information construction，the amount of data produced is also growing rapidly. How to manage and utilize these massive data has become an urgent problem. Data governance is the core component of data asset management，which is of great significance to improve data quality，realize data sharing and ultimately realize data value maximization. Starting from the concept of data governance in data management，this paper introduces the related technologies in data governance，on this basis，puts forward the data asset management model with data governance as the core，and finally summarizes the data asset management in universities.

Keywords：data management;data specification;data cleaning;data exchange;data integration

0? 引? 言

隨著高校信息化建設的深入發展，尤其是數字校園三大平臺（統一數據平臺、統一門戶平臺和統一認證平臺）的建設，數據方面的建設和管理越來越得到關注和重視，同時在這一過程中也產生了諸多的問題和困擾，比如如何對數據資產進行有效的管理、數據未來的建設方向和路徑是什么等，為解決這些問題，亟需對數據的建設和發展進行一次梳理和探討，并提出一個具有現實意義的框架模型。在此模型的基礎上一窺智慧校園的發展路徑。

大多數人都容易混淆數據管理與數據治理這兩個概念，因為本身兩者就容易混淆。二者從本質上雖然是兩個完全不同的活動，但是存在一定的聯系。

在數據管理知識體系（DMBOK）中，所謂的數據治理是數據管理的重要組成部分。從字面意思上看，數據治理相對容易理解，它就是明確數據管理中的角色定位、工作責任和具體工作流程的，確保數據資產能夠長期被有序地、可持續地管理。而數據管理這個定義相對寬泛，與數據采集、應用等過程中所有這些數據處理中可重復流程的各個方面都密不可分、息息相關。對數據治理的深入研究與分析也就對數據資產的管理研究進行了研究與分析，因此本文將從數據治理入手開始進行數據資產管理模型的研究。

1? 研究現狀

IBM對于數據治理的定義是，數據治理是一種質量控制規程，用于在管理、使用、改進和保護組織信息的過程中添加新的嚴謹性和紀律性[1]。從這個定義中可以得出，數據治理的目的就在于提高數據的質量，以獲取數據的最大價值，具體包括[1]：（1）構筑靈活、標準、模塊化的多源異構的數據資源接入體系;（2）建設規范化、流程化、智能化的數據處理體系;（3）構建統一調度、精準服務、安全可用的數據共享使用體系。

國內高校信息化水平經過數十年的建設和發展，可以說已經進入智慧校園階段。國家市場監督管理總局和國家標準化管理委員會于2018年6月發布了《智慧校園總體框架》這一國家標準[2]，用來指導高校數據治理工作，其中明確提出以“用數據說話、用數據決策、用數據管理、用數據創新”作為數據治理的目標，對各個學校產生的業務域數據進行治理，著重解決信息化建設過程中長期存在的“數據不規范、不統一、不準確、共享難”的問題。

國內學者也對各高校數據治理進行了不少探索。許曉東將數據治理的過程分為數據的獲取和抽取、整合分析、解釋預測三個階段[3]。李勇軍等介紹了上海海洋大學的數據治理經驗以及數據治理體系框架架構[4]。王洪宇提出從數據管理、治理技術、治理的組織架構三個緯度出發，將數據治理融入業務梳理、行政管理中，構建了數據治理的綜合工程[5]。

本文首先介紹了數據治理的相關關鍵技術，之后提出一種適用于高校的數據治理模型，最后介紹了該模型的應用和對數據治理的展望。

2? 數據治理中涉及的主要技術

數據治理中涉及到的技術就是在數據治理的過程中所用到的有關技術、工具，其中主要包括有數據標準化、數據清洗、數據交換和數據集成這4種技術。

2.1? 數據標準化

數據的標準化主要包括數據代碼的標準規范、數據格式的統一等。其主要目的是為了提高數據的通用性、交換性和共享性。所以，在建立數據標準化規范時要具有通用性，遵循行業的或者國家的標準。數據的標準化方法主要有規則處理引擎和標準代碼映射[6]。

2.1.1? 標準處理引擎

數據治理通過引入的元數據工具，依照制定好的數據標準化規范制定好元數據規則進行標準化處理，具體處理的邏輯包括數據的轉換、數據的校驗、數據的賦值等等。通過元數據處理引擎，利用數據自動對標技術，對數據字段進行認知和識別，解決數據不規范的問題。

如經典的日期規則的定義，一般的規則如下：

稽核規則：YYYY-MM-DDD;

取值規則：1900

需要強調的是，規則可以多層次迭代，形成規則鏈;也可以多種規則進行組合來形成規則組合等等，足以支持對各種數據的處理。

2.1.2? 標準代碼映射

標準代碼映射是常用的數據標準化處理方式，是基于國家、行業、教育部等標準代碼來構建。例如，我們將表示民族“漢族”的字段都轉換成“漢族”這種統一的表示方式，可以構建一個數據映射字典，具體如下：

“漢族”. {

“漢族” => “漢族”，

“漢” => “漢族”，

“han” => “漢族”，

“1” => “漢族” ...

}

使用數據轉換規則時查找該數據映射字典，將所有民族統一成一種表示方式。

以上兩種方式都可以在元數據管理平臺定義構建，從而可以形成規范化的處理模式和數據標準，從而在后續的數據治理中嚴格執行改規范標準。

2.2? 數據清洗

通俗地說，數據清洗的目的就是對數據中存在問題的數據也就是一般說的“臟”數據進行識別，然后再盡可能就行修復。這些“臟”數據主要包括數據值錯誤、數據不完整、數據重復或者相似。對不同的“臟”數據，也就是不同的數據質量問題，數據清洗的辦法也不盡相同。數據清洗一般包括數據的過濾、剔重、類型轉換、編碼映射、拆分與合并、維度轉換等具體方法或策略。

表1就體現了針對不同的數據質量問題會有不同的清洗策略。

一般來說，數據清洗主要是針對源數據庫中的不完整、二義性、數據重復、違反規則等問題的數據進行統一的處理，具體處理包括：Null處理、格式轉換、類型轉換等。在數據的清洗之前首先需要做數據的質量分析，以便找到存在問題的數據，數據質量一般表現在以下幾個方面：（1）正確性：數據是否客觀真實地表示了現實或可證實的來源;（2）完整性：完整性是否存在或一致;（3）一致性：數據是否被一致地定義;（4）完備性：是否所有的數據都存在;（5）有效性：數據是否在定義的可接受范圍之內;（6）時效性：數據在需要的時候是否仍然有效;（7）可獲取性：數據是否易于獲取、理解和使用。

2.3? 數據交換

數據交換是將一種源模式的數據轉換為符合目標模式數據的問題。常見的數據交換的實現模式主要包括標準化交換和協議式交換。

所謂的標準化數據交換是指事先建立一個統一的標準，這個標準要求能夠供數據使用的各方共同使用數據，從而實現數據的共享要求。這種模式的優點就是可以跨平臺使用，有較高的通用性。

所謂的協議式交換是源系統和目標系統之間預先定義好數據使用的各項協議，然后將源數據庫的數據移植到目標數據庫來完成數據交換[6]。這種交換模式的優點在于：它無需對底層數據庫的應用邏輯和數據結構做任何改變，可以直接用于數據訪問層開發。缺點就是對于開發人員要求很高，需要對數據庫的底層設計有清楚的了解。

標準化數據交換是指通過雙方都認可的方法作為統一的標準，來進行數據共享與交換。

2.4? 數據集成

數據集成技術[6]是通過一定的技術將分布的、異構的、自治的數據集成起來，以便用戶可以透明地訪問。其重點包括：數據的標準化、元數據中心的建立。前面已經介紹了數據標準化，下面介紹一下元數據中心。

元數據中心就是元數據在統一數據標準的基礎上，對目標數據進行抽取、轉換、儲存，實現對目標數據的整合。基本流程如圖1所示。

3? 數據治理質量

數據質量管理實現對數據質量的監督，一般流程如圖2所示，具體包括核查規則的指定，數據核檢任務的配置、執行直到最終核檢報告的生成。數據質量規則體系的構建是最重要的環節，只有在對數據質量已經建立好的規則體系上，才能做到對數據質量監控中的任務進行有效的監督與管理、數據質量中的調度和規則執行體系才能發揮作用。數據質量的管理最終目標是保障數據的質量符合數據使用的要求。為了這個目標，根據定義好的管理流程、管理制度，對各個業務系統進行數據的全周期監管與檢查，以數據質量分析報告為載體，展現數據治理質量的問題、提出下一步質量整改的方向，最終完成數據質量生命周期管理全過程。

4? 數據資產管理框架

本文提出的數據資產管理平臺是數據資產方面的一種普適架構，當與各個高校的實際業務相對接，可以輕松實現高校的數據從采集到數據治理、監控和服務等功能，具有較好的可擴展性和兼容性。如圖3所示。

整個平臺架構按照數據流向，從下而上按邏輯劃分為六層：數據源層、數據采集層、數據處理層、數據治理層、全息數據庫、數據應用層、數據服務層，對應由六個系統（平臺）支撐，為上層應用提供數據支撐服務。此外，還有數據治理體系、標準規范體系和數據資產安全管理體系為打造高校數據生態系統提供有效的機制保障。

（1）數據源層由數據源管理系統支撐，負責數據來源定義，通過底層技術實現外部系統接入數據源頭。其中，數據源接入方式支持結構化通用DB數據源、非結構化/半結構化數據源以及多種協議與數據源通信API接口等;（2）數據采集層由數據采集系統支撐，是分布式架構，通過云節點來完成數據的采集和下發;（3）數據處理層由數據融合系統支撐，負責針對采集的數據進行數據清洗處理，包括常用的格式標準化轉換、敏感數據的脫敏與加密、數據過濾與去重等;（4）數據治理層主要作用是使用元數據、血緣管理等工具，對數據資源，數據質量進行定義、監督、管理，以形成準確、規范的全息數據庫。（5）全息數據庫由數據資源管理平臺支撐，將所有采集的數據統一匯聚并存儲，針對數據不同來源、用途、統計維度進行合理的拆分并存儲，為大數據分析做準備;（6）數據應用層由數據分析平臺支撐，負責與數據中心數據進行通信，滿足上層數據服務層的業務服務需要，針對不同行業、不同數據進行分析挖掘，形成有價值的數據視圖;（7）數據服務層由數據服務平臺支撐，是平臺中實現數據資源資產化的核心系統，將數據資源以數據服務的方式提供給需求方，同時也是實現應用系統數據共享的組件，所有應用系統交互的統一接口，所有數據需求放獲取數據資源服務的統一入口;（8）標準規范體系保障平臺中數據的標準化，包括元數據標準、主數據標準、數據字典等數據標準以及數據管理的標準等;（9）數據資產安全管理體系保障平臺中所有數據資產的安全，包括數據傳輸安全、存儲安全、使用安全等;（10）數據治理體系保障數據資產管理平臺中數據的質量持續改進，包括數據標準執行情況、數據庫優化情況等。

5? 數據資產管理框架的實踐

我校自2018年開始進行數據治理方面的探索，經過一年多的探索和努力，目前以完成學校數據資產的初步治理。在實踐過程中，該框架能夠支撐學校教學、科研、學工等方面對數據的不同需求，初步實現了數據橫向貫通、縱向互聯。

我校數據資產管理平臺整體架構分為如下層次：（1）數據源層：考慮到我校現狀，目前主要有各個業務系統的數據庫構成，如本科教務數據庫、人事數據庫等等;（2）數據處理層：由數據采集、數據清洗、數據處理等子層構成，采用統一的數據交換工具實現;（3）數據應用服務層：我們將數據應用和服務層合并，構建統一的應用服務平臺，提供統一的數據使用服務接口;（4）標準規范體系：以元數據標準、主數據標準、數據字典等數據標準體系為支撐對數據進行規范;（5）安全管理體系：保障數據的傳輸安全、存儲安全、使用安全等。

從上面介紹可以看出，該框架和通用架構的主要區別是，結合我校實際情況，將圖3中的全息數據庫、數據治理合并到數據處理層，因為都是為了數據的處理，這樣做的好處就是采用統一的工具實現數據的采集、清洗、交換、存儲;將數據應用層和數據服務層合并，構建一體化的、統一的數據服務接口。

6? 結? 論

在這個大數據的時代，高校數據資產管理是一項長期的系統工程，需要高校信息化主管部門做好頂層設計，制定數據管理長期發展戰略方針，調動各個業務部門的積極性和創造性，依靠科學先進的技術手段和技術工具，確保數據的質量、安全和可用，充分發揮數據的最大價值，以支持高校人才培養、科學研究、管理水平更上一層樓。

參考文獻：

[1] 吳信東，董丙冰，堵新政，等.數據治理技術 [J].軟件學報，2019，30（9）：2830-2856.

[2] 全國信息技術標準化技術委員會.智慧校園總體框架：GB/T 36342-2018 [S].北京：中國標準出版社，2018.

[3] 許曉東，王錦華，卞良，等.高等教育的數據治理研究 [J].高等工程教育研究，2015（5）：25-30.

[4] 李勇軍，彭琳，林成，等.大數據治理在高校信息化管理中的探究 [J].中國管理信息化，2016，19（3）：185-187.

[5] 王宏宇，陳冬梅.行政院校系統信息化建設中的數據治理淺析 [J].遼寧行政學院學報，2017（4）：92-96.

[6] 吳信東，董丙冰，堵新政，等.數據治理技術 [J].軟件學報，2019，30（9）：2830-2856.

作者簡介：羅軍鋒（1976.10-），男，漢族，陜西澄城人，高級工程師，碩士，研究方向：數據挖掘、高校信息化。