數(shù)字化時(shí)代計(jì)算機(jī)重要數(shù)據(jù)治理體系構(gòu)建研究

摘要：在數(shù)字化時(shí)代，數(shù)據(jù)治理可發(fā)揮出激發(fā)數(shù)據(jù)價(jià)值、提升工作效益的關(guān)鍵作用。文章探討了如何在數(shù)字化時(shí)代構(gòu)建計(jì)算機(jī)重要數(shù)據(jù)治理體系，根據(jù)國際數(shù)據(jù)治理研究所（DGI）和國際數(shù)據(jù)管理協(xié)會(huì)（DAMA）框架，基于Spark數(shù)據(jù)處理引擎設(shè)計(jì)了綜合數(shù)據(jù)治理流程，旨在優(yōu)化數(shù)據(jù)管理體系，提高數(shù)據(jù)透明度，統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，降低共享難度，增強(qiáng)信任，規(guī)避風(fēng)險(xiǎn)。計(jì)算機(jī)重要數(shù)據(jù)治理體系包括統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)管理、數(shù)據(jù)建模和集成、生命周期管理、質(zhì)量保障、開放、安全及應(yīng)用優(yōu)化等核心內(nèi)容，可以為企業(yè)的數(shù)據(jù)管理和決策提供堅(jiān)實(shí)支撐。

關(guān)鍵詞：數(shù)據(jù)治理；體系構(gòu)建；框架模型

中圖分類號(hào)：TP392" 文獻(xiàn)標(biāo)志碼：A

0 引言

數(shù)字化時(shí)代的發(fā)展以計(jì)算機(jī)技術(shù)及互聯(lián)網(wǎng)平臺(tái)為依托，目前，技術(shù)創(chuàng)新及其應(yīng)用已經(jīng)發(fā)展為數(shù)字化時(shí)代的核心。在企業(yè)日常經(jīng)營與發(fā)展過程中，數(shù)據(jù)量呈現(xiàn)出不斷增加的趨勢，而應(yīng)用云計(jì)算、大數(shù)據(jù)等相關(guān)技術(shù)，企業(yè)可實(shí)時(shí)、便捷化應(yīng)用各類數(shù)據(jù)資源，但數(shù)據(jù)網(wǎng)絡(luò)安全問題日益凸顯，須要采取合理技術(shù)和手段深化數(shù)據(jù)治理?；诖?，學(xué)術(shù)界和業(yè)界不斷加大對(duì)數(shù)據(jù)治理及其隱私保護(hù)的研究力度，文章探討計(jì)算機(jī)重要數(shù)據(jù)治理體系的構(gòu)建，以期深化數(shù)字治理成效，在保障數(shù)字信息安全的同時(shí)，助力數(shù)字化時(shí)代實(shí)現(xiàn)更好發(fā)展。

1 典型數(shù)據(jù)治理框架

目前，學(xué)術(shù)界與業(yè)界關(guān)于數(shù)據(jù)治理的定義存在2種不同的觀點(diǎn)。（1）國際數(shù)據(jù)治理研究所（DGI）觀點(diǎn)。該觀點(diǎn)認(rèn)為數(shù)據(jù)治理是通過一系列信息相關(guān)過程實(shí)現(xiàn)決策權(quán)和職責(zé)分工的系統(tǒng)［1］，規(guī)范了企業(yè)在數(shù)據(jù)估值、創(chuàng)建、存儲(chǔ)、使用、歸檔及刪除等各環(huán)節(jié)的行為，是一種輔助企業(yè)制定決策和問責(zé)框架的工具［2］。（2）美國教育部隱私技術(shù)援助中心及國際數(shù)據(jù)管理協(xié)會(huì)（DAMA）觀點(diǎn)。該觀點(diǎn)認(rèn)為數(shù)據(jù)治理是圍繞數(shù)據(jù)全生命周期的活動(dòng)集合，主要職責(zé)是對(duì)數(shù)據(jù)信息進(jìn)行管理，對(duì)數(shù)據(jù)的全生命周期進(jìn)行監(jiān)控［3］。其中，DAMA更具體地指出，數(shù)據(jù)治理須要對(duì)數(shù)據(jù)和信息進(jìn)行組織和管理，確保數(shù)據(jù)資產(chǎn)控制的有效性和使用權(quán)的合理性。盡管2種觀點(diǎn)在表述上存在差異，但都強(qiáng)調(diào)了數(shù)據(jù)治理在規(guī)范企業(yè)數(shù)據(jù)管理、保證數(shù)據(jù)質(zhì)量、實(shí)現(xiàn)數(shù)據(jù)價(jià)值方面的重要性。

結(jié)合DAMA與DGI兩大主流數(shù)據(jù)治理框架，本文構(gòu)建了基于Spark數(shù)據(jù)處理引擎的綜合型數(shù)據(jù)治理模型，在描繪計(jì)算機(jī)關(guān)鍵數(shù)據(jù)治理整體架構(gòu)的同時(shí)，深入剖析治理行為的各個(gè)層次，力求通過數(shù)據(jù)治理體系的優(yōu)化提升數(shù)據(jù)價(jià)值實(shí)現(xiàn)過程的透明度，解決數(shù)據(jù)格式的標(biāo)準(zhǔn)統(tǒng)一性問題，降低數(shù)據(jù)開放共享的難度，增強(qiáng)科研工作者的信任感，提高數(shù)據(jù)治理過程中的風(fēng)險(xiǎn)規(guī)避能力，最終為數(shù)據(jù)治理體系的進(jìn)一步完善提供堅(jiān)實(shí)的理論支撐和參考。

2 數(shù)據(jù)治理體系設(shè)計(jì)

根據(jù)實(shí)際需求，本研究基于Spark數(shù)據(jù)處理引擎設(shè)計(jì)數(shù)據(jù)治理體系，明確其具體功能與工作流程［4］。在此基礎(chǔ)上，針對(duì)體系方案中對(duì)各項(xiàng)功能實(shí)現(xiàn)所提出的要求，本文進(jìn)一步設(shè)計(jì)了數(shù)據(jù)治理系統(tǒng)，明確技術(shù)架構(gòu)，揭示其具體的實(shí)現(xiàn)方案。

2.1 功能設(shè)計(jì)

數(shù)據(jù)治理系統(tǒng)主要有4個(gè)功能，包括元數(shù)據(jù)管理、數(shù)據(jù)采集、數(shù)據(jù)倉庫管理、實(shí)時(shí)數(shù)據(jù)處理。各功能還包括多項(xiàng)子功能，如圖1所示。

2.1.1 元數(shù)據(jù)管理

元數(shù)據(jù)管理具有多項(xiàng)關(guān)鍵功能，包括元數(shù)據(jù)信息預(yù)覽、元數(shù)據(jù)檢索以及表級(jí)和字段級(jí)血緣分析。元數(shù)據(jù)信息預(yù)覽和檢索功能能夠詳細(xì)展示元數(shù)據(jù)信息，通過特定條件進(jìn)行檢索；表級(jí)和字段級(jí)血緣分析是元數(shù)據(jù)管理中用于檢查數(shù)據(jù)質(zhì)量和理清數(shù)據(jù)資產(chǎn)的重要工具，能夠幫助快速定位數(shù)據(jù)分析中的問題。

2.1.2 數(shù)據(jù)采集

數(shù)據(jù)采集具有2個(gè)主要功能：采集配置和數(shù)據(jù)預(yù)處理。采集配置允許自定義數(shù)據(jù)源信息，統(tǒng)一管理離線或?qū)崟r(shí)的數(shù)據(jù)采集任務(wù)，實(shí)現(xiàn)對(duì)多源數(shù)據(jù)的統(tǒng)一歸集；數(shù)據(jù)預(yù)處理在采集日志數(shù)據(jù)時(shí)，會(huì)對(duì)日志消息進(jìn)行合法性校驗(yàn)，在保證數(shù)據(jù)完整性的同時(shí)，根據(jù)數(shù)據(jù)類型及其特點(diǎn)設(shè)計(jì)不同的采集鏈路，確保各類數(shù)據(jù)能夠準(zhǔn)確對(duì)接到存儲(chǔ)框架中。

2.1.3 數(shù)據(jù)倉庫管理

數(shù)據(jù)倉庫管理包含數(shù)倉數(shù)據(jù)預(yù)覽、數(shù)據(jù)倉庫配置、自定義函數(shù)和任務(wù)調(diào)度等關(guān)鍵功能。數(shù)倉數(shù)據(jù)預(yù)覽可瀏覽數(shù)據(jù)并提供字段查詢；數(shù)據(jù)倉庫配置通過Spark SQL調(diào)整結(jié)構(gòu)并生成變更日志；自定義函數(shù)處理復(fù)雜計(jì)算需求；任務(wù)調(diào)度管理數(shù)據(jù)倉庫轉(zhuǎn)換任務(wù)，支持多種腳本和精確調(diào)度，是數(shù)據(jù)治理自動(dòng)化的核心。

2.1.4 實(shí)時(shí)數(shù)據(jù)處理

實(shí)時(shí)數(shù)據(jù)處理包含實(shí)時(shí)任務(wù)配置和實(shí)時(shí)指標(biāo)查看2項(xiàng)關(guān)鍵功能。實(shí)時(shí)任務(wù)配置主要用于設(shè)置Kafka數(shù)據(jù)源、任務(wù)流（包括任務(wù)名稱、描述、計(jì)算腳本和執(zhí)行計(jì)劃），綁定數(shù)據(jù)源和任務(wù)流以完成配置；實(shí)時(shí)指標(biāo)查看以圖表的形式在數(shù)據(jù)治理系統(tǒng)前端對(duì)處理后的數(shù)據(jù)進(jìn)行展示，為用戶查看和使用提供便利。實(shí)時(shí)任務(wù)配置和實(shí)時(shí)指標(biāo)查看2項(xiàng)關(guān)鍵功能共同構(gòu)成了數(shù)據(jù)處理模塊的核心流程。

2.2 工作流程設(shè)計(jì)

結(jié)合前文需求分析與功能設(shè)計(jì)，本文對(duì)數(shù)據(jù)治理系統(tǒng)運(yùn)行流程進(jìn)行設(shè)計(jì)。概括而言，數(shù)據(jù)治理系統(tǒng)的運(yùn)行主要包括數(shù)據(jù)采集管理、數(shù)據(jù)預(yù)處理、數(shù)據(jù)平臺(tái)管理、數(shù)據(jù)加載、實(shí)時(shí)數(shù)據(jù)處理、前端接口與可視化等步驟［5］。

2.2.1 數(shù)據(jù)采集管理

數(shù)據(jù)源配置模塊主要用于定義數(shù)據(jù)采集范圍和采集策略，配置數(shù)據(jù)源信息。數(shù)據(jù)采集任務(wù)定義模塊主要根據(jù)業(yè)務(wù)需求定義采集任務(wù)，包括離線采集和實(shí)時(shí)采集。采集周期和采集策略模塊主要用于設(shè)定數(shù)據(jù)采集的頻率和方式，以滿足不同數(shù)據(jù)的實(shí)時(shí)性需求。

2.2.2 數(shù)據(jù)預(yù)處理

數(shù)據(jù)清洗任務(wù)模塊主要用于定義數(shù)據(jù)清洗規(guī)則，清理數(shù)據(jù)中的異常、重復(fù)或無效值。數(shù)據(jù)清洗腳本配置模塊主要用于編寫和配置清洗腳本，自動(dòng)化處理數(shù)據(jù)。

2.2.3 數(shù)據(jù)平臺(tái)管理

數(shù)據(jù)倉庫管理模塊主要用于定義和管理數(shù)據(jù)倉庫的結(jié)構(gòu)和層次。元數(shù)據(jù)管理模塊主要用于管理數(shù)據(jù)的元數(shù)據(jù)信息，如字段描述、數(shù)據(jù)來源等。數(shù)據(jù)預(yù)覽與檢索模塊主要提供數(shù)據(jù)的預(yù)覽和檢索功能，方便查看和理解數(shù)據(jù)。

2.2.4 數(shù)據(jù)加載

數(shù)據(jù)倉庫抽取模塊主要根據(jù)預(yù)設(shè)的規(guī)則，從數(shù)據(jù)源中抽取數(shù)據(jù)并加載到數(shù)據(jù)倉庫中。

2.2.5 實(shí)時(shí)數(shù)據(jù)處理

實(shí)時(shí)數(shù)據(jù)管理模塊主要用于管理和維護(hù)實(shí)時(shí)數(shù)據(jù)流，確保數(shù)據(jù)的實(shí)時(shí)性和準(zhǔn)確性。任務(wù)調(diào)度模塊主要負(fù)責(zé)任務(wù)的調(diào)度和執(zhí)行，確保數(shù)據(jù)處理任務(wù)的高效運(yùn)行。任務(wù)配置與展示模塊主要用于配置數(shù)據(jù)處理任務(wù)，展示任務(wù)的狀態(tài)和執(zhí)行結(jié)果。計(jì)算任務(wù)配置模塊主要用于配置計(jì)算任務(wù)，包括離線計(jì)算任務(wù)和實(shí)時(shí)計(jì)算任務(wù)。任務(wù)執(zhí)行狀態(tài)模塊主要用于實(shí)時(shí)展示任務(wù)的執(zhí)行狀態(tài)和進(jìn)度。

2.2.6 前端接口與可視化

開放前端實(shí)時(shí)數(shù)據(jù)接口模塊主要為前端提供實(shí)時(shí)數(shù)據(jù)接口，支持前端應(yīng)用的實(shí)時(shí)數(shù)據(jù)需求。數(shù)據(jù)鏈路可視化模塊主要通過可視化工具展示數(shù)據(jù)的處理流程和鏈路，便于理解和分析。

通過數(shù)據(jù)處理系統(tǒng)，用戶可以對(duì)數(shù)據(jù)進(jìn)行全面管理、高效處理和深入分析，以此將數(shù)據(jù)轉(zhuǎn)化為有價(jià)值的業(yè)務(wù)洞察，為企業(yè)戰(zhàn)略決策和業(yè)務(wù)發(fā)展提供支持。

2.3 技術(shù)架構(gòu)設(shè)計(jì)

在對(duì)外部數(shù)據(jù)的應(yīng)用中，各數(shù)據(jù)治理系統(tǒng)層級(jí)與組件的簡要描述（技術(shù)架構(gòu)）如表1所示。本文所設(shè)計(jì)的技術(shù)架構(gòu)有助于用戶更加清晰地理解整個(gè)數(shù)據(jù)處理的流程。

3 系統(tǒng)功能性測試

通過模擬真實(shí)數(shù)據(jù)源中的用戶手機(jī)短信、通話記錄、移動(dòng)應(yīng)用程序等數(shù)據(jù)信息，本文對(duì)數(shù)據(jù)治理系統(tǒng)各功能模塊的運(yùn)行情況進(jìn)行測試，以驗(yàn)證系統(tǒng)功能的完整性、可用性以及業(yè)務(wù)邏輯的正確性，判斷其是否可以滿足用戶的實(shí)際業(yè)務(wù)需求。

3.1 元數(shù)據(jù)管理模塊功能測試

數(shù)據(jù)治理系統(tǒng)元數(shù)據(jù)管理功能的測試用例、其測試內(nèi)容以及測試結(jié)果如表2所示。

3.2 數(shù)據(jù)源配置模塊功能測試

數(shù)據(jù)源配置模塊為大數(shù)據(jù)治理系統(tǒng)輸送原始數(shù)據(jù)，通過數(shù)據(jù)源配置，連通第三方系統(tǒng)的數(shù)據(jù)庫信息，為數(shù)據(jù)治理和數(shù)據(jù)分析工作打下基礎(chǔ)。本文在對(duì)數(shù)據(jù)治理系統(tǒng)數(shù)據(jù)源配置模塊功能進(jìn)行測試之時(shí)，主要將數(shù)據(jù)源完整性和連通性作為測試指標(biāo)。測試用例、測試內(nèi)容與測試結(jié)果如表3所示。

4 結(jié)語

受到所處環(huán)境、數(shù)據(jù)治理目標(biāo)和需求等不同因素的影響，數(shù)據(jù)治理具有特異性特征。本文對(duì)數(shù)據(jù)治理系統(tǒng)進(jìn)行設(shè)計(jì)，分析系統(tǒng)功能需求，結(jié)合系統(tǒng)需求設(shè)計(jì)各模塊的具體功能以及各功能模塊間的工作流程，明確其整體技術(shù)架構(gòu)，對(duì)于各企業(yè)進(jìn)行數(shù)據(jù)治理系統(tǒng)構(gòu)建有一定的啟示作用。

參考文獻(xiàn)

［1］包冬梅，范穎捷，李鳴.高校圖書館數(shù)據(jù)治理及其框架［J］.圖書情報(bào)工作，2015（18）：134-141.

［2］MIRJANA P B，TINE B，MAJA M，et al. Big data usage in European countries［J］. Cluster Analysis Approach，2020（1）：191-198.

［3］MARTHA D B. Data governance and stewardship［J］. NASN School Nurse，2019（3）：149-151.

［4］范家寧.基于Spark的多數(shù)據(jù)源大數(shù)據(jù)治理平臺(tái)研究［D］.北京：中國地質(zhì)大學(xué)，2020.

［5］劉謙博.基于Spark的實(shí)時(shí)數(shù)據(jù)治理系統(tǒng)的研究與實(shí)現(xiàn)［D］.成都：西華大學(xué)，2023.

（編輯 王永超）

Research on construction of computer important data governance system in digital age

ZHANG" Tian， LI" Dandan， LI" Peixun

（Nanchong Vocational College of Science and Technology， Nanchong 637000， China）

Abstract： In the digital age，data governance can play a key role in stimulating the value of data and improving work efficiency. This paper discusses how to build a computer important data governance system in the digital age. Based on DGI and DAMA frameworks， a comprehensive data governance process is designed using Spark data process engine to optimize the data management system， improve data transparency， unify data standards， reduce the difficulty of sharing， enhance trust， and avoid risks. Computer important data governance system includes unified data standards， metadata management， data modeling and integration， life cycle management， quality assurance， openness， security and application optimization and other core contents， which can provide solid support for enterprise data management and decision-making.

Key words： data governance; system construction; framework model

作者簡介：張?zhí)穑?998— ），女，助教，學(xué)士；研究方向：計(jì)算機(jī)網(wǎng)絡(luò)與人工智能。