999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

基于數據模型與數據主人制的數據質量管理模式研究

2024-12-31 00:00:00劉文濤李雨霏李飛劉海鷗
新經濟導刊 2024年7期

摘 要:隨著數字經濟時代的到來,數據作為一種新型生產要素,在企業運營、決策和創新等方面的重要性日益凸顯。文章從數據質量管理角度出發,深入探討了數據模型與數據主人制建設的關鍵作用,詳細介紹了數據模型全過程管理的實施方法,提出了基于數據主人的數據治理長效機制。文章認為,數據模型與數據主人制共同保障了數據的準確性和可靠性,能有效促進數據質量管理能力提升,助力企業數字化轉型和創新發展。

關鍵詞:數據要素;數據質量管理;數據模型;數據主人制

一、數據質量是發揮數據價值的重要基礎

在數字化浪潮席卷全球的今天,數據作為一種新型生產要素,其重要性日益凸顯。近幾年,國家及地方政府出臺了一系列指導政策,旨在推動數據要素市場高質量發展。2022年12月,中共中央、國務院印發《關于構建數據基礎制度更好發揮數據要素作用的意見》,提出構建數據基礎制度體系,促進數據合規高效流通使用。2023年10月,國家數據局正式掛牌,國家數據局等17個部門于2024年1月聯合印發《“數據要素×”三年行動計劃(2024—2026年)(征求意見稿)》,為企業在國家大數據戰略機遇下可持續發展指明了方向。

面對全球化的競爭環境和復雜的市場變化,越來越多的企業認識到數據要素的作用和價值,大力推進數字化轉型,數據已成為企業驅動新質生產力發展的動能源泉。隨著數據的匯集、加工和共享應用,數據所蘊含的價值逐漸由量變轉為質變,企業的經營決策也由“以經驗為主”向“數據驅動”轉變。在此過程中,數據質量的重要性日益凸顯,直接影響到數據的有效使用及潛在價值的充分發揮。高質量的數據能夠為企業提供準確、及時和全面的信息,支持更加精準的市場分析、更有效的決策形成和更優化的資源配置。因此,企業需高度重視數據質量管理,提升數據質量水平,盤活企業數據資產,激發數據要素價值。

二、數據模型、數據主人制對企業數據質量管理的作用

數據是按一定的數據結構來組織、描述和存儲的,其質量提升方法可從數據結構和存儲內容兩個方面進行考量。其中,數據模型和數據主人制在數據質量管理中分別扮演著重要角色。數據模型以數據結構為管理對象,確保數據存儲結構清晰、關系明確、標準統一;數據主人制聚焦數據存儲內容管理,保障數據的準確性、完整性、一致性以及合規性。兩者各有側重,但殊途同歸,即共同為數據質量提升提供保障。

(一)數據模型

數據模型是現實世界數據特征的抽象和表示。通過規范化定義與標準化,以及數據之間的關聯和約束規則,數據模型為企業提供了一種結構化的數據管理方式。特別是作為跨部門、跨系統數據集成的框架,數據模型在保障企業內部數據一致性、規范性和可共享性等方面發揮著不可替代的作用。

第一,保障數據一致性。數據模型通過確立統一的數據定義、格式和命名規范,確保企業所有系統和業務部門對數據理解的一致性,避免因理解歧義而導致的數據錯誤。此外,數據模型通過建立明確的數據規則和約束條件,如數據域值范圍、數據類型、必填字段等,進一步強化對數據一致性的維護。

高質量的數據能夠為企業提供準確、及時和全面的信息,支持更加精準的市場分析、更有效的決策形成和更優化的資源配置。圖/中新社

第二,減少數據冗余。數據模型通過數據庫規范化實施(如第一范式至第三范式),合理設計實體關系,利用主鍵確保數據唯一性,通過外鍵在表間建立邏輯關系,避免數據在多個位置復制存儲,從而有效減少數據冗余的發生。

第三,促進數據共享??绮块T、跨系統間的數據交換和整合是企業常見需求。數據模型作為統一的語言,通過清晰定義數據轉換規則,促進不同來源的數據整合與標準化,確保數據在不同部門、系統間準確傳遞,打通企業“數據孤島”。

(二)數據主人制

數據主人制通過識別數據管理工作的責任人,強調數據管理的責任和義務。數據主人負責數據產生、收集、處理、維護、使用、消亡的全生命周期管理,幫助企業提升數據質量和數據治理效率,形成全員治理的數據管理氛圍。

第一,源端數據質量提升。數據主人負責數據的生產、傳輸、存儲、應用等全環節,通過提升數據主人數據采集錄入能力,有效提升數據采集錄入的準確性、完整性和一致性,顯著減少數據錯誤、丟失及重復錄入等問題。

第二,數據治理效率提升。數據主人制將數據所有權和相關責任明確分配給數據主人,使每個數據主人都能清晰地了解其所轄數據范圍,避免當數據問題出現時產生責任不明、互相推諉的情況,有助于精準劃分數據流程和決策權限,簡化數據治理操作流程,提高數據治理的成效。

第三,強化數據主人翁意識方面,數據主人制要求“數據主人”了解數據在業務決策中的重要作用,并在日常工作中始終保持對數據工作的關注度,在企業內部營造重視數據質量和數據價值的氛圍,推動形成數據驅動的企業數字化轉型文化。

三、建立數據模型“設計-評審-驗證-發布-監測”全過程管理流程

中國銀保監會2022年發布的《關于銀行業保險業數字化轉型的指導意見》要求銀行保險機構大力推進業務經營管理的數字化轉型,明確提出對模型開發、驗證、部署、評價、退出進行全流程管理。對數據模型規劃、設計、實施、變更等進行全過程管理,能夠確保其準確反映業務需求,提高開發效率,便于后期模型的維護和擴展。

在實際應用中,按照“事前規范設計、事中核查驗證、事后跟蹤評價”思路,將數據建模過程劃分為模型設計、模型評審、應用驗證、動態發布、生產環境監測五大環節進行落地實施管理。

(一)模型設計

企業需制定統一的邏輯模型設計規范、物理模型設計規范以及物理模型遵從邏輯模型轉換規則等系列標準規范,這些規范作為模型設計應用需要遵循統一的規則以及模型審查的標準依據,以保障模型設計質量和規范性。

邏輯模型設計應基于業務需求,優先與已有數據模型進行映射匹配分析,對于滿足業務需求的實體類,應直接引用;對于部分滿足需求的實體類,進行繼承或弱相關擴展;對于完全不滿足的,根據業務需要創建新的實體類。物理模型應按照邏輯模型進行映射轉換設計,確保邏輯模型與物理模型的一致性。需注意的是,由于邏輯模型使用面向對象模型,而物理模型通常采用關系模型,因此還需要對物理模型轉換應遵循的規則作出約束。

(二)模型審查

模型審查可采用分批次集中評審方式,在積累了一定的模型設計成果并具備評審條件的基礎上,適時組織模型評審,審查邏輯模型和物理模型成果的質量與規范性。

模型審查主要包括邏輯模型和物理模型兩部分。邏輯模型審查通常為專家聯合審查,由業務專家、模型專家、模型設計及管理人員等各方共同參與,主要審查邏輯模型設計的規范性、業務覆蓋度等。當涉及跨域模型時,還需進一步分析跨域設計融合度及典型跨域數據貫通場景的業務支撐情況等。物理模型審查可依托核查工具進行校驗,基于物理模型設計轉換規則,核查物理模型設計的規范性、映射遵從度以及表間關系等。

(三)應用驗證

通過審查的模型應在實際生產或測試環境中進行驗證測試,并結合驗證測試反饋情況持續優化迭代,確保其最終能準確滿足業務需求。一般可從應用場景典型性、數據可接入性以及模型可應用性等角度,選取典型業務場景進行應用驗證。經充分應用驗證和性能穩定的數據模型方可正式封版,具備企業級發布條件。

(四)動態發布

基于工具對通過評審且驗證穩定的模型進行動態發布,便于模型設計人員、開發人員等及時查詢和獲取最新版本模型,并為后續模型應用核查、監測、評價提供依據。

模型發布主要包含邏輯模型、物理模型及標準代碼等內容。可采用“動態發布小版本、階段升級大版本”策略,結合模型質量情況分批次納入小版本發布范圍,并根據小版本累積情況適時進行大版本更迭。在發布新版本模型時,需注意做好模型版本的管理和維護,詳細記錄變更內容、版本號等相關信息。

(五)生產環境監測

為促進模型有效應用、管理和維護,還需對物理模型進行持續跟蹤評價,保障模型在運行階段與設計階段的一致性。按照物理模型表及字段一致性核查規則,基于模型核查工具,從運行態與設計態物理模型一致性、物理模型數據接入情況等方面進行常態監測,持續評估發布后模型實際應用情況。同時,針對業務變化、需求變更、模型設計缺陷等導致的模型變更需求,應做好模型變更管控。模型變更由業務應用方模型設計人員發起,由模型管理人員進行評估和審核,必要時應組織專家評審。

四、建立基于數據主人制的數據質量治理長效機制

數據主人制通過明確數據表、字段、記錄的“數據主人”,厘清數據與崗位、人員之間的關系,健全數據責任管理體系,推動企業全員樹立數據治理意識,提升企業數字化管理能力。通過數據主人精準認責、增量數據管控、存量數據治理以及履職成效評價的實施路徑,實現數據主人制工作的常態化運轉,并建立相應的保障機制,充分發揮其價值。

(一)數據主人認責

數據主人認定包括數據主人識別、確認、發布、變更及退出等全過程,旨在明確數據主人的工作職責與要求,確保數據主人信息實時更新,為其提供精準、高效的服務。

一是數據主人認定。充分結合企業各業務領域數據特征,溯源業務數據與數據主人的關聯關系,基于業務流程流轉及責任劃分認定數據主人。例如,設備領域的設備基礎數據、設備缺陷/隱患數據、作業數據等,將設備的運行維護人員認定為數據主人;營銷領域的客戶基本數據、合同數據、結算數據認定則由客戶經理擔任數據主人。

二是數據主人信息發布。通過線上、線下多渠道發布數據主人清單,常態化更新數據主人資產范圍、治理任務等,實現數據主人“知責盡責”。

中國首個零碳數據中心——中國電信(國家)數字青海綠色大數據中心內,工作人員在智慧調度中心工作。圖/中新社

三是數據主人變更與退出。企業業務管理變革、人員調整、業務系統更新迭代等均會導致數據主人變動。需明確數據主人變更管理流程,完整交接數據主人崗位職責、數據范圍、治理任務等,及時更新維護數據主人清單,確保數據管理工作“無縫銜接”。

(二)增量數據質量管控

通過管理和技術手段,提升數據主人規范化錄入水平,對源端業務系統數據采錄環節進行校驗,從源頭管控數據質量,避免新產生數據“帶病入庫”。

一是制定數據主人數據采錄規范。根據數據準確性、完整性、一致性、及時性、唯一性、有效性等維度,制定數據質量問題高發場景數據采集錄入指導手冊,并面向數據主人印發,提供統一規范化參考。

二是從數據質量管理視角優化業務流程。結合數據主人生產、管理職責劃分,在數據產生階段增設數據主人督辦和核實環節,將數據采錄標準和質量要求融入業務活動,加強源端數據流程管控。

(三)存量數據質量治理

建立直達數據主人的數據質量問題工單機制,避免數據質量問題清單“撒網式”下發,提升數據質量問題治理效率,形成常態化數據質量治理運營管理模式。

一是數據質量核查規則制定。由業務部門提出數據質量需求及標準,明確相應的業務邏輯;由數據管理部門明確涉及數據表、字段對應的業務要求,制定數據質量核查規則,并統籌構建數據質量規則庫及配套管理機制。

二是數據質量問題核查與派發。遵循數據質量規則,基于管理工具常態核查數據質量,定期形成問題清單,通過數據質量問題與數據主人自動關聯匹配,實現工單形式的直接派發。

三是數據質量問題治理。數據主人根據數據質量問題工單進行整改,工具校驗無誤后,數據質量問題工單自動關閉。

(四)數據主人制成效評估

通過數據主人制工作成效評估,一方面通過選樹優秀數據主人單位及個人,激發各層級數據主人的數據治理能動性,進一步培育企業數據治理文化;另一方面驗證數據主人制方法科學性,推進數據主人制管理體系迭代提升。

一是制定數據主人制評估方法。建立涵蓋過程評估和成效評估的數據主人制評估方法,從數據主人履責及價值發揮兩個維度,制定數據可用率、治理及時率等評估指標,量化反映數據主人的工作質效,推動數據主人制有效落地。

二是開展數據主人制成效評估。根據數據主人認責、質量問題治理等工作開展情況,按照組織和個人維度,定期評估數據主人履職情況,選樹數據主人制標桿單位及個人,形成以評促改、以評促建、以評促管的數據主人制長效生態。

五、結語

綜上,數據模型與數據主人制共同保障了數據的準確性和可靠性,促進了企業數據質量管理能力的提升。數據模型通過描述數據結構及關聯關系,提供了數據的參考分類框架、關鍵實體與關系的定義。在指導應用級模型設計與應用的同時,規范數據流轉中數據交互標準,支撐跨系統、跨專業數據共享,是數據分析應用和數據資產探索的基礎性工作。數據主人制則以數據定源定責為核心,將數據模型內存儲的數據進一步明確到人,基于數據主人的精準認定,建立“發現–認責–整改–評價”的數據治理閉環機制,確保數據在流轉過程中得到有效治理與管理。

數據質量管理是一項系統性、綜合性工作,不僅涉及技術的先進性和適用性,更強調運營模式的轉變、治理流程的優化以及人員能力的提升。隨著技術的不斷進步和業務的持續發展,企業還需要不斷創新數據管理方法,完善數據治理機制,培養具備數據思維和數據技能的專業人才,持續提升數據質量水平,優化數據治理實踐,為實現數字化轉型和可持續發展提供堅實保障。

(劉文濤系國家電網有限公司大數據中心高級工程師;李雨霏系國家電網有限公司大數據中心助理級工程師;李飛系南京南瑞信息通信科技有限公司中級工程師;劉海鷗系北京國網信通埃森哲信息技術有限公司初級工程師)

Research on Data Quality Management Mode Based on Data Model and Data Ownership

Liu Wentao Li Yufei Li Fei Liu Haiou

Abstract: With the advent of the digital economy era, the importance of data as a new type of production factor in enterprise operations, decision-making and innovation is increasingly prominent. The article starts from the perspective of data quality management, deeply explores the key role of data model and data ownership construction, introduces the implementation methods of data model full process control, and a long-term mechanism for data governance based on data ownership. The article believes that data models and data ownership jointly ensure the accuracy and reliability of data, effectively enhance data quality management capabilities, and assist enterprises in their digital transformation and innovative development.

Keywords: Data Elements; Data Quality Management; Data Model; Data Ownership

主站蜘蛛池模板: 小13箩利洗澡无码视频免费网站| 欧美一区福利| 欧美精品综合视频一区二区| 国产丝袜第一页| 内射人妻无码色AV天堂| 国产色网站| 污视频日本| 伦伦影院精品一区| 欧美在线视频不卡| 日韩精品一区二区三区视频免费看| 亚洲精品综合一二三区在线| 91久久精品日日躁夜夜躁欧美| 国产永久在线视频| 精品综合久久久久久97| 精品国产免费人成在线观看| 国产精品无码AV片在线观看播放| 91视频青青草| 国产香蕉97碰碰视频VA碰碰看| 男女男免费视频网站国产| 片在线无码观看| 99久久精品国产自免费| 毛片网站在线看| 国产成人在线无码免费视频| 中文天堂在线视频| 97视频在线精品国自产拍| 久久91精品牛牛| 国产精品真实对白精彩久久| 欧美精品高清| 久久精品无码国产一区二区三区| 欧美中出一区二区| 综合亚洲色图| 无码一区中文字幕| 亚洲综合第一区| 国产精品自在拍首页视频8| 女同久久精品国产99国| 99久久亚洲精品影院| 三上悠亚在线精品二区| 国产极品粉嫩小泬免费看| 中文字幕 日韩 欧美| 国产一区二区免费播放| 先锋资源久久| 亚洲毛片一级带毛片基地| 黄色成年视频| 永久免费av网站可以直接看的 | 国产成人午夜福利免费无码r| 亚洲欧美综合在线观看| 成年人免费国产视频| 亚洲中文字幕日产无码2021| 极品国产在线| 国产精品视频公开费视频| 无码 在线 在线| 亚洲一级色| 精品欧美一区二区三区在线| 亚洲第一成年网| 免费a级毛片18以上观看精品| 亚洲无线一二三四区男男| 91视频免费观看网站| 欧美不卡在线视频| 欧美精品成人一区二区视频一| 免费A级毛片无码免费视频| 无码AV动漫| 精品一区二区三区自慰喷水| 亚国产欧美在线人成| 欧美成在线视频| 日韩无码黄色| 国产91特黄特色A级毛片| 欧美在线免费| 久久青草精品一区二区三区| 全裸无码专区| 久久成人国产精品免费软件| 亚洲中文字幕在线一区播放| 91网红精品在线观看| 亚洲手机在线| 欧美色99| 久久天天躁夜夜躁狠狠| 国产91透明丝袜美腿在线| 在线视频一区二区三区不卡| 在线va视频| 国产激情在线视频| 一级毛片在线免费视频| 国产精品爆乳99久久| 国产激情在线视频|