基于大數(shù)據(jù)平臺(tái)的數(shù)據(jù)治理系統(tǒng)建設(shè)

胡方 顧曉光

摘要：數(shù)據(jù)治理系統(tǒng)作為大數(shù)據(jù)平臺(tái)的核心基礎(chǔ)支撐系統(tǒng)，旨在為數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)服務(wù)平臺(tái)、大數(shù)據(jù)基礎(chǔ)平臺(tái)以及實(shí)時(shí)共享交換平臺(tái)，提供統(tǒng)一、便捷、高質(zhì)量和價(jià)值最大化的數(shù)據(jù)資源，是數(shù)據(jù)應(yīng)用和實(shí)現(xiàn)數(shù)據(jù)跨部門聯(lián)通的基本保障。該文提出基于大數(shù)據(jù)平臺(tái)的數(shù)據(jù)治理系統(tǒng)建設(shè)方案，為降低后續(xù)數(shù)據(jù)治理的改造成本、實(shí)現(xiàn)各部門互聯(lián)互通和達(dá)到數(shù)據(jù)資源價(jià)值最大化，提供有效基礎(chǔ)支撐。

關(guān)鍵詞：數(shù)據(jù)治理系統(tǒng);大數(shù)據(jù)平臺(tái);數(shù)據(jù)倉(cāng)庫(kù);數(shù)據(jù)服務(wù)平臺(tái);數(shù)據(jù)資源

中圖分類號(hào)：TP303? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）30-0044-02

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

Construction of Data Governance System based on Big Data Platform

HU Fang1， GU Xiao-guang1，2

（1.Henan Big Data Center， Zhengzhou 450003， China; 2.Nanjing University Business School， Nanjing 210093，China）

Abstract： As the basic support system of big data platform， data governance system aims to provide unified， convenient， high-quality and value maximized data resources for data warehouse， data service platform， big data basic platform and real-time sharing and exchange platform. It is the basic guarantee for data application and cross departmental data connectivity. In this paper， the construction scheme of data governance system based on big data platform was put forward， which provides effective basic support for reducing the transformation cost of subsequent data governance， realizing the interconnection of various departments and maximizing the value of data resources.

Key words：data governance system; big data platform; data warehouse; data service platform; data resource

1 引言

大數(shù)據(jù)時(shí)代數(shù)據(jù)是公認(rèn)的一項(xiàng)重要資產(chǎn)。數(shù)據(jù)作為對(duì)真實(shí)世界的對(duì)象、事件和概念的被選擇屬性的抽象表示，由可明確定義的約定對(duì)其含義、采集與存儲(chǔ)進(jìn)行表達(dá)和理解[1]。數(shù)據(jù)治理是將數(shù)據(jù)作為資產(chǎn)進(jìn)行管理，建立統(tǒng)一標(biāo)準(zhǔn)，檢核數(shù)據(jù)質(zhì)量，準(zhǔn)確描述數(shù)據(jù)元屬性，分析數(shù)據(jù)之間關(guān)聯(lián)關(guān)系，形成數(shù)據(jù)資源目錄，實(shí)現(xiàn)數(shù)據(jù)快速檢索，對(duì)數(shù)據(jù)全生命周期進(jìn)行管理的整套流程體系[2]。

數(shù)據(jù)治理系統(tǒng)作為大數(shù)據(jù)中心的核心基礎(chǔ)支撐系統(tǒng)，旨在為數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)服務(wù)平臺(tái)、大數(shù)據(jù)基礎(chǔ)平臺(tái)以及實(shí)時(shí)共享交換平臺(tái)，提供統(tǒng)一、便捷、高質(zhì)量、價(jià)值最大化的數(shù)據(jù)資源。本研究從數(shù)據(jù)全生命周期的整體視角，通過(guò)統(tǒng)籌規(guī)劃數(shù)據(jù)治理系統(tǒng)，在系統(tǒng)建設(shè)伊始就實(shí)現(xiàn)統(tǒng)一的數(shù)據(jù)高質(zhì)量、高標(biāo)準(zhǔn)管理，有效避免后續(xù)為數(shù)據(jù)統(tǒng)一治理而帶來(lái)的高昂改造成本，以實(shí)現(xiàn)數(shù)據(jù)資源互聯(lián)互通和價(jià)值最大化。

2 基于大數(shù)據(jù)平臺(tái)的數(shù)據(jù)治理系統(tǒng)設(shè)計(jì)

2.1系統(tǒng)目標(biāo)

數(shù)據(jù)治理系統(tǒng)的目標(biāo)是提高數(shù)據(jù)的質(zhì)量（準(zhǔn)確性和完整性），保證數(shù)據(jù)的安全性（保密性、完整性及可用性），實(shí)現(xiàn)數(shù)據(jù)資源在各組織機(jī)構(gòu)部門的共享;推進(jìn)信息資源的整合、對(duì)接和共享，提升組織的整體信息化水平，充分發(fā)揮信息化作用[3]。

2.2系統(tǒng)設(shè)計(jì)

數(shù)據(jù)治理系統(tǒng)所涉及的技術(shù)及功能主要包括數(shù)據(jù)標(biāo)準(zhǔn)管理、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、血緣管理、影響分析、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)目錄管理、數(shù)據(jù)生命周期管理等，具體結(jié)構(gòu)可見(jiàn)圖1。

2.2.1數(shù)據(jù)標(biāo)準(zhǔn)管理

數(shù)據(jù)標(biāo)準(zhǔn)管理對(duì)數(shù)據(jù)進(jìn)行全生命周期管控，支持?jǐn)?shù)據(jù)標(biāo)準(zhǔn)的制定及審核。落地映射的標(biāo)準(zhǔn)數(shù)據(jù)進(jìn)入系統(tǒng)，可供數(shù)據(jù)使用者對(duì)標(biāo)準(zhǔn)進(jìn)行查詢，同時(shí)提供標(biāo)準(zhǔn)版本管理。數(shù)據(jù)標(biāo)準(zhǔn)管理內(nèi)容包含數(shù)據(jù)標(biāo)準(zhǔn)集成、數(shù)據(jù)標(biāo)準(zhǔn)映射、標(biāo)準(zhǔn)查詢和標(biāo)準(zhǔn)版本管理。

2.2.2元數(shù)據(jù)管理

元數(shù)據(jù)是一種電子式目錄，為了達(dá)到編制目錄的目的，必須描述并收藏?cái)?shù)據(jù)的內(nèi)容或特色，進(jìn)而達(dá)成協(xié)助數(shù)據(jù)檢索的目的。元數(shù)據(jù)描述了數(shù)據(jù)屬性的信息，用于支持如指示存儲(chǔ)位置、歷史數(shù)據(jù)、資源查找、文件記錄等功能[4]。元數(shù)據(jù)管理主要包含元數(shù)據(jù)分析管理和采集管理，通過(guò)元數(shù)據(jù)管理可以降低了用戶理解和使用數(shù)據(jù)的難度。

2.2.3數(shù)據(jù)質(zhì)量管理

數(shù)據(jù)質(zhì)量管理是通過(guò)統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)來(lái)提升數(shù)據(jù)質(zhì)量，為政務(wù)數(shù)據(jù)的質(zhì)量管控提供技術(shù)支撐。借助數(shù)據(jù)標(biāo)準(zhǔn)和元數(shù)據(jù)工具體系，可以有效識(shí)別各類數(shù)據(jù)的質(zhì)量問(wèn)題;針對(duì)質(zhì)量問(wèn)題，通過(guò)血緣管理和影響分析，可以快速定位到責(zé)任人，具體數(shù)據(jù)質(zhì)量管理流程如圖2所示。

2.2.4血緣管理

數(shù)據(jù)血緣管理以目標(biāo)對(duì)象為起點(diǎn)、目標(biāo)分析為終點(diǎn)，按照引用關(guān)系逐層擴(kuò)展。為了能清楚地了解數(shù)據(jù)加工過(guò)程和更完善地處理數(shù)據(jù)更新機(jī)制，需要建立數(shù)據(jù)血緣分析功能，以使用戶清楚數(shù)據(jù)生成的來(lái)龍去脈，并實(shí)現(xiàn)在數(shù)據(jù)產(chǎn)生、加工融合、數(shù)據(jù)流通到最終消亡等數(shù)據(jù)處理過(guò)程中形成關(guān)聯(lián)關(guān)系集合。

2.2.5影響分析

影響分析，研究數(shù)據(jù)變更對(duì)業(yè)務(wù)邏輯、業(yè)務(wù)流程、數(shù)據(jù)標(biāo)準(zhǔn)以及平臺(tái)技術(shù)層面的影響，提供為實(shí)現(xiàn)業(yè)務(wù)所寫的程序代碼等改變并輸出評(píng)估報(bào)告，給數(shù)據(jù)更改方和受影響方等參考，幫助數(shù)據(jù)所有者判斷是否必要進(jìn)行數(shù)據(jù)的更改，以及提出受影響方需要做出的準(zhǔn)備。

2.2.6數(shù)據(jù)資產(chǎn)管理

數(shù)據(jù)資產(chǎn)是能夠?yàn)檎卫砑吧鐣?huì)服務(wù)產(chǎn)生價(jià)值的數(shù)據(jù)資源，而非所有的數(shù)據(jù)都構(gòu)成數(shù)據(jù)資產(chǎn)。數(shù)據(jù)資產(chǎn)管理對(duì)數(shù)據(jù)資產(chǎn)進(jìn)行分級(jí)分類，篩選出有效的數(shù)據(jù)資產(chǎn)。在資產(chǎn)權(quán)限管理的指導(dǎo)下，對(duì)內(nèi)可進(jìn)行共享和交換數(shù)據(jù)，對(duì)外可開(kāi)放共享數(shù)據(jù)及提供API接口、供應(yīng)用層訪問(wèn)，同時(shí)支持資產(chǎn)使用情況的調(diào)用統(tǒng)計(jì)。

2.2.7數(shù)據(jù)目錄管理

數(shù)據(jù)目錄管理實(shí)現(xiàn)數(shù)據(jù)目錄從創(chuàng)建、發(fā)布、維護(hù)到對(duì)接的動(dòng)態(tài)規(guī)范管理。通過(guò)對(duì)采集的數(shù)據(jù)源及元數(shù)據(jù)按目錄層級(jí)進(jìn)行存儲(chǔ)，可存儲(chǔ)表數(shù)據(jù)、圖片和視頻等數(shù)據(jù)資源及元數(shù)據(jù)，支持?jǐn)?shù)據(jù)服務(wù)平臺(tái)和上層應(yīng)用展示，方便用戶快速查找數(shù)據(jù)資源，同時(shí)支持政務(wù)信息資源目錄的編制以及與各級(jí)目錄平臺(tái)的對(duì)接。

2.2.8數(shù)據(jù)生命周期管理

數(shù)據(jù)生命周期管理，是對(duì)信息系統(tǒng)的數(shù)據(jù)在整個(gè)生命周期內(nèi)的流動(dòng)進(jìn)行管理（創(chuàng)建、初始存儲(chǔ)、過(guò)期刪除等）。數(shù)據(jù)生命周期管理支持將所涉及過(guò)程自動(dòng)化，根據(jù)指定的策略將數(shù)據(jù)組織成各個(gè)不同的層，并基于關(guān)鍵條件自動(dòng)地將數(shù)據(jù)從一個(gè)層移動(dòng)到另一個(gè)層。

3 結(jié)論

本文從數(shù)據(jù)全生命周期的整體視角，設(shè)計(jì)基于大數(shù)據(jù)平臺(tái)的數(shù)據(jù)治理系統(tǒng)。該系統(tǒng)在建設(shè)之初就為實(shí)現(xiàn)統(tǒng)一的數(shù)據(jù)高質(zhì)量、高標(biāo)準(zhǔn)管理而設(shè)計(jì)，預(yù)期能夠滿足組織在數(shù)據(jù)治理方面的功能需求，并有效避免系統(tǒng)為實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一治理而帶來(lái)的高昂改造成本，為數(shù)據(jù)資源互聯(lián)互通和價(jià)值最大化提供支撐。

參考文獻(xiàn)：

[1] 胡銳， 芮忠. 基于數(shù)據(jù)中臺(tái)的高校數(shù)據(jù)治理系統(tǒng)的設(shè)計(jì)[J]. 電子世界， 2020（12）：187-188.

[2] 安倩楠. 基于大數(shù)據(jù)技術(shù)的智慧校園整體構(gòu)建研究[J]. 電腦知識(shí)與技術(shù)， 2021，17（17）：94-95+107.

[3] 林海.數(shù)據(jù)治理在合肥市政府大數(shù)據(jù)平臺(tái)中的應(yīng)用和實(shí)踐[J].電腦知識(shí)與技術(shù)， 2019，15（10）：281-283.

[4] 姚洪.基于數(shù)據(jù)中臺(tái)的數(shù)據(jù)治理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].科學(xué)技術(shù)創(chuàng)新， 2020（35）：74-75.

【通聯(lián)編輯：王力】