以業務需求為導向的數據質量管理模式研究

趙宏偉 馮濤 于海濤

摘? 要： 當前，電網企業數據質量水平不能滿足業務需要，嚴重制約了企業管理水平的提升。本文結合電網企業業務實際，研究、提出一套包括識別業務問題、開展數據探查、定義評估模型、開展質量核查、分析質量問題和解決質量問題在內的數據質量管理模式，明確了協助解決業務問題這一數據質量管理切入點，設計了各環節工作內容和方法，指導和規范電網企業數據質量管理工作開展，促進電網企業數據質量管理水平持續提升。

關鍵詞： 數據質量;管理模式;電網企業

中圖分類號： TP311.13? ? 文獻標識碼： A? ? DOI：10.3969/j.issn.1003-6970.2019.01.016

【Abstract】： At present， the data quality level of power grid enterprises can not meet the business needs， which seriously restricts the improvement of enterprise management level. This paper studies and puts forward a set of data quality management modes， including identifying business problems， conducting data exploration， defining evaluation models， carrying out quality verification， analyzing quality problems and solving quality problems， based on the business reality of power grid enterprises. It is proposed that helping to solve business problems is the entry point of data quality management， and design the work content and method of each link， to guide and standardize the power grid enterprise data quality management work， and to promote the continuous improvement of data quality management level in power grid enterprises.

【Key words】： Data quality; Management mode; Power grid enterprise

0? 引言

近年來，隨著信息化的高速發展，電網企業數據呈爆炸式增長，這些數據覆蓋范圍廣、數據量大、類型多樣、數據價值高[1]。同時，隨著我國經濟進入新常態、國企改革和電力體制改革深入推進，電網企業發展面臨諸多挑戰。因此，向數據要價值，以數據應用支撐企業精細化管理，促進企業創新發展成為電網企業必然選擇。但是，電網企業在數據應用過程中發現數據質量水平難以滿足數據應用的需要，數據質量管理水平的提升速度遠遠落后于數據規模增加的速度，數據價值無法充分發揮。

為此，本文結合電網企業業務及數據管理實際，

研究、設計了以業務需求為導向的數據質量管理模式，指導和規范電網企業數據質量管理，促進數據質量提升和數據價值充分發揮。

1? 數據質量管理面臨的挑戰

經調研，電網企業各專業均不同程度開展了數據質量管理，對數據質量的提升有一定的促進作用，但是依然存在如下挑戰[2]。

（1）有效的數據質量管理模式尚未形成

在電網企業數據質量管理過程中，有的借鑒信息化建設經驗，由上至下全面開展，有的根據業務需要，由各業務部門分散開展，但是這兩種方式工作成效均不顯著。從何處入手、以什么方式開展數據質量管理困擾著電網企業。

（2）常態數據質量管理機制缺失

電網企業數據質量管理工作多是因為在數據應用過程中發現了明顯影響統計分析、管理決策等數據質量問題，才會相應的開展數據質量整改工作，當數據質量水平提升到一定程度之后，對數據質量管理工作重視程度就會降低，甚至停止開展，往往造成“前清后亂”的情況發生。

（3）數據質量管理工作沒有工具支撐

電網企業缺乏有效的數據質量管理工具支撐，數據質量管理工作存在工作量大、對核查人員要求高、核查周期長、存在安全隱患等問題。

2? 數據質量管理模式研究

2.1? 數據質量管理模式設計原則

應充分考慮電網企業業務實際開展數據質量管理模式設計，設計成果應實用、易用，能夠在不影響電網安全生產的同時，快速彰顯價值。因此，本文按照如下原則開展數據質量管理模式設計。

（1）業務驅動，快速見效。以協助業務部門解決業務問題和應用數據入手開展數據質量管理，通過提升數據質量促進業務順利開展，進而體現數據質量管理價值，提升業務部門開展數據質量管理工作的積極性。

（2）由點及面，急用先行。數據質量管理不應貪大求全，應從業務角度評估優先級，分業務點逐步開展，不斷釋放管理價值，積累工作成果，并逐步擴大管理范圍，最終將全部業務納入數據質量管理。

（3）工具支撐，安全高效。數據質量管理應依托專業的數據質量管理工具開展，避免人工開展存在工作量大、對人員要求高、工作周期長、存在安全隱患等問題。

（4）機制引領，常態運行。要構建常態的、閉環的數據質量管理工作機制，杜絕項目式數據質量管理易出現的“前清后亂”的情況發生;數據質量核查規則應根據核查結果及業務需要迭代更新，確保數據質量始終符合最新業務需求。

2.2? 數據質量治理模式設計

本文借鑒數據質量管理相關理論以及業界最佳實踐[3-5]，結合上述原則，設計包括識別業務問題、開展數據探查、定義評估模型、開展質量核查、分析質量問題、解決質量問題等步驟在內的業務導向的、閉環的電網企業數據質量管理模式，指導和規范電網企業數據質量管理工作開展。

（1）識別業務問題

該步驟工作思路：通過調研、評估，識別相關業務存在的主要問題，理清這些業務問題對應的數據，明確本次數據質量提升涉及的數據范圍。

該步驟主要做法：

一是梳理業務問題和對應數據。協同業務部門，從數據質量問題已經對業務正常開展造成影響的業務或對數據質量依賴程度較深的業務入手，通過業務人員訪談、系統查詢等方式收集該業務存在的與數據質量相關的問題，梳理每個問題涉及的數據，形成業務問題清單。

二是評估業務問題影響，識別關鍵問題。通過業務問題影響評估模型，評估業務問題的影響程度，將影響程度高的業務問題納入本次數據質量治理范圍，進而明確了本次數據質量治理的數據范圍（表和字段層面）。

業務問題影響評估模型基于電網企業日常經營管理的實際情況，分析相關數據對企業業務正常開展和提升的影響程度，按照影響范圍、影響層級、影響類型等三項指標進行評估，三項指標評分按需進行相乘或相加得出影響程度總得分。

問題影響評估模型說明：

公司：業務對應的數據是支撐公司日常業務運轉必不可少的數據，低質量的數據會在公司范圍內造成影響，分值為9;

局部：業務對應的數據是公司日常業務運轉中經常使用的數據，低質量的數據會在局部范圍造成影響，分值為3;

個體：業務對應的數據是公司日常業務運轉中偶爾使用的數據，低質量的數據會在部門或下屬單位內造成影響，分值為1。

影響層級說明：

戰略：業務對應的數據是支撐公司戰略決策的關鍵數據，低質量的數據會對公司戰略決策產生誤導，分值為9分;

策略：業務對應的數據是支撐公司經營管理的關鍵數據，低質量的數據會導致公司中層管理者的管理決策產生偏差，分值為3分;

操作：業務對應的數據是公司日常業務操作使用的數據，低質量的數據會導致公司業務出現差錯，分值為1分。

影響類別說明：

經濟效益：業務對應的數據與公司業務經營的效益緊密相關，低質量的數據給公司造成直接的經濟損失，分值為9分;

業務支持：業務對應的數據與支持公司業務開展的活動緊密相關，低質量的數據會影響公司業務的正常開展，分值為3分;

后勤管理：業務對應的數據與公司日常后勤管理活動緊密相關，數據的異常會影響公司后勤工作開展，分值為1分。

三是確定數據質量管理的數據范圍。根據問題影響評估結果，確定本次數據質量治理需要解決的業務問題，進而確定數據質量提升的數據范圍。

（2）開展數據探查[6]

該步驟工作思路：開展數據探查，快捷的了解表數據的總體情況，判斷可能存在的數據質量問題的位置和類型，為后續有針對性開展數據質量核查提供支撐。

該步驟主要做法：

一是開展數據探查，了解表數據總體情況。依托數據質量管理工具，從表、字段、記錄等層面開展數據探查，準確把握表數據情況。具體探查內容如下：

表層面探查內容：表結構信息、表名稱、表描述、字段數、記錄數等;

字段層面探查內容：字段名稱、字段描述、去重后值數量、空值數、最大/小值、值分布等;

記錄層面內容：隨機抽取若干條記錄。

二是準確評估數據質量位置及類型。根據數據探查結果，結合業務人員反饋的業務問題，準確判斷數據質量問題的類型及存在的表及字段的位置，為進一步有針對性的開展數據質量核查提供支持。

（3）定義評估模型[7]

該步驟工作思路：確定包括數據質量評估維度、數據質量約束規則和數據質量核查規則在內的數據質量評估體系，明確量化的數據質量計算方法。

該步驟主要做法：

一是確定數據質量評估體系。根據上述數據質量位置及類型評估結果，從及時性、完整性、合規性、準確性和一致性等五個方面，有選擇的確定本次數據質量核查的評估維度及其約束規則，相應的依據數據標準編制數據質量核查規則[8][9]，并設計數據質量評估指標及指標子項，確定本次數據質量核查的評估體系。

（4）開展質量評估

該步驟工作思路：基于數據質量核查規則，開展數據質量核查，獲取數據質量問題，量化評估數據質量情況。

該步驟主要做法：

一是開展數據質量核查。依托數據質量管理工具，按照數據質量核查規則開展數據質量核查工作，并根據核查結果整理形成數據質量問題清單。

對于一些不易直接通過核查規則發現的問題，可以用變通的方式開展。如：文本類字段難以核查其準確性，某電網公司通過核查“用電地址”長度的方式，發現大量用電地址包含漢字數少于5個，可以判斷此類用電地址存在不精確的問題。

二是量化數據質量情況。根據數據質量量化計算公式，結合數據質量核查結果，開展數據質量量化評估，計算出數據質量評估指標及指標子項值。

（5）分析質量問題

該步驟工作思路：基于核查發現的數據質量問題，分析問題產生的根本原因，編制數據質量整改方案，指導數據質量問題整改。

該步驟主要做法：

一是分析數據質量問題。按類逐個對數據質量問題進行分析，確定問題產生的根本原因和數據生命周期具體環節，明確問題數據產生的源端系統，并按照問題產生的根本原因，從管理、業務和技術等三個方面對數據質量問題進行分類。

二是出具數據質量問題整改方案。根據數據質量問題分析結果，制定整改方案，明確整改方法、整改責任單位、整改計劃等。

（6）解決質量問題

該步驟工作思路：組織落實數據質量整改方案，評估整改成效，形成常態的數據質量管理機制，確保數據質量始終符合業務需要。

該步驟主要做法：

一是落實數據質量整改方案。以業務部門為主，根據數據質量問題整改方案從預防問題數據產生、糾正數據錯誤兩個方面開展數據質量整改工作。預防問題數據產生的目的在于“治本”，每個數據管理職能都有助于提高數據資產的質量[10]，一般從管理和業務流程優化、數據架構、數據開發、系統功能完善、校驗規則固化等方面開展工作，降低問題數據產生的可能性;糾正錯誤數據的目的在于“治標”，針對已經產生的問題數據，通過前臺操作整改、批量后臺處理等方式糾正問題數據。

二是評估數據質量治理成效。數據質量整改完成后的一定時間（如一個月）后，再次開展數據質量核查，并將核查結果與上一次對比，分析數據質量整改成效以及當前數據質量情況是否符合預期，必要時組織完善數據質量問題整改方案，再次開展數據質量整改工作。

三是開展常態數據質量管理。對于已經完成數據質量整改的業務，應依托數據質量管理工具定期開展數據質量核查，當數據質量相關指標低于預先設定的閾值時，重啟數據質量管理工作，確保數據質量始終符合業務需求。

3? 結束語

本文針對當前電網企業數據質量管理存在的工作開展方式不明確、常態管理工作機制缺失等問題，結合電網企業業務管理實際，設計了閉環的數據質量管理模式，提出了協助解決業務問題這一數據質量管理切入點，設計了模式各環節工作內容和方法，常態數據質量開展工作機制，以及需要通過數據質量管理工具支撐的工作內容，可以很好的指導和支撐電網企業數據質量管理工作開展，促進電網企業數據質量管理水平持續提升。該數據質量管理模式應隨著電網企業數據質量管理實踐的深入開展以及數據管理模式的變化而持續優化，確保持續適用于電網企業。

參考文獻

趙宏偉， 馮濤， 于海濤. 全面數據質量管理框架在電網行業中的應用[J]. 信息技術與標準化， 2017（7）： 62.

趙陽立. 淺談供電企業“大營銷”體系下的營銷數據質量管理[J]. 電子世界 2013（4）： 156-157.

Danette McGilvray. Executing Data Quality Projects： Ten Steps to Quality Data and Trusted Information[M]. 北京：電子工業出版社， 2010： 59-60.

陸顧新， 陳石軍， 王立等. 銀行數據治理[M]. 北京：機械工業出版社， 2016： 95-102.

劉景義， 張暉， 趙偉濤等. 中國石油A1A2系統數據質量管理體系建設實踐[J]. 信息技術與信息化， 2011（3）： 61-66.

馬凱航， 高永明， 吳止鍰等. 大數據時代數據管理技術研究綜述[J].軟件， 2015， 36（10）： 46-49.

國家電網公司. 電網運營數據質量評估通用準則（Q/GDW 11570—2016）[Z]. 北京： 國家電網公司， 2017： 3-8.

楊棟樞， 郭振， 蔡云飛. 企業數據標準及其管理體系研究[J]. 軟件， 2017， 38（12）： 258-260.

Ching-Heng Lin， Nai-Yuan Wu， Der-Ming Liou. A multi-te- chnique approach to bridge electronic case report from design and data standard adoption[J]. Journal of Biomedical Informatics， 2015， 53（2）： 49-57.

DAMA International. The DAMA Guide to the Data Management Body of Knowledge[M]. 北京： 清華大學出版社， 2012： 12.