規律庫數據質量監控平臺的設計與研究

潘媛 王菁 李玲璠 劉躍龍

摘 要 文章結合實際案例，對于采用規律庫技術進行的數據質量監控平臺的功能設計進行分析。通過數據質量監控平臺的構建，實現對問題數據的預警、對增量業務的數據監控，實現預處理功能，提升數據質量監控質量。

關鍵詞 數據質量監控；平臺設計；投資規劃

中圖分類號 TP3 文獻標識碼 A 文章編號 1674-6708（2018）217-0108-02

云南電網公司信息化項目建立投資計劃、項目管理子系統數據質量監控平臺，為信息管理部門及系統應用部門人員提供系統實用化評價與考核、系統內應用數據、協同數據項目數據的考核指標監控管理功能，通過數據分析功能為用戶提供項目數據提供持續性分析完善功能，為業務部門提供有效的數據整改依據。同時利用信息化技術手段實現數據異常信息的推送提醒及異常數據的監控分析，為公司加強數據清理，開展數據質量治理專項行動提供有效的信息化平臺功能支撐。

1 數據質量監控平臺體系概述

1.1 定義

所謂數據，指的是信息系統通過采集、分類、調取、統計分析等流程，對于數據進行統計檢驗，產生定量和定性的分析結果。為了滿足對數據進行質量監控的要求，一般要從數據規范性、數據準確性、完整性和數據及時性、一致性方面進行數據質量的監控[ 1 ]。

1.2 數據質量監控平臺管理

數據質量的監控，采用循環的常態管理模式，借助系統工程的管理思維，對數據質量進行統籌和規劃，形成規范、分析、度量和改進等閉環的過程，通過階段性的分析整治提升，形成整體的數據質量。

1.3 數據質量監控體系構建

投資計劃及其他項目數據質量及實用化監控平臺，主要包括投資計劃子系統、項目管理子系統關鍵業務的數據質量監控，以及實用化情況監控。投資計劃系統監控及考核信息化項目數據，項目管理系統需要監控和考核信息化項目的數據質量及實用化。

2 數據質量監控平臺設計原則

1）通過詳細的需求調研，平臺的設計初期，明確了該項目需要建設的內容，與可研階段進行對比，要求投資計劃數據質量監控內容包括：根據“2017年投資計劃和項目管理系統實用化提升和數據質量治理工作方案”：取消投資計劃數據準確率監控中“采購結果準確率”的考核內容；新增“投資計劃數據質量考核”的內容；新增“投資計劃數據質量考核面板（省公司）”的內容，從省公司層面，展示云南省數據質量考核得分情況。根據云南電網公司需求，新增“投資趨勢分析”的統計內容[2]。

2）項目管理數據質量。根據“2017年投資計劃和項目管理系統實用化提升和數據質量治理工作方案”，取消項目管理完整率監控中的“驗收結論錄入完整率”的考核；取消項目管理完整率監控中的“采購結果完整率”的考核；新增“項目管理數據質量考核-項目組織規范性得分”的考核；新增“項目管理數據質量考核-服務發票登記準確性得分”的考核；新增“項目管理數據質量考核-概算編制準確性得分”的考核；新增“項目管理數據質量考核-服務合同準確性得分”的考核；新增“項目管理數據質量考核-服務發票登記規范性得分”的考核；新增“項目管理協同數據考核-概算同步”的考核；新增“項目管理協同數據考核-服務合同”的考核；新增“項目管理協同數據考核-發票登記”的考核；新增“項目管理數據質量考核面板（省公司）”的內容，展示云南電網公司數據質量及協同數據質量考核得分。

3 平臺技術實施

監控主頁分為兩部分，包括數據質量監控、實用化監控，按單位對數據質量和實用化情況進行匯總展示；投資計劃數據質量監控分別從投資域的數據完整性、準確性、協同數據的一致性進行展示數據質量情況；項目管理數據質量監控分別從項目過程業務數據的完整性、準確性、規范性以及業務數據質量考核、協同數據質量考核等方面，進行展示數據質量情況；投資計劃實用化監控從投資域業務功能實用化和協同實用化兩方面進行展示系統實用化情況；項目管理實用化監控從項目系統主要功能的使用、流程使用、系統登錄情況、業務功能實用化考核、協同業務實用化考核展示系統實用化情況。主要技術實施包括基礎網絡、端到端監控、用戶體驗監控、告警、個例檢查等[3]。

平臺的技術要點包括：與數據中心無縫對接；支持校驗規則的自定義配置，基于專家庫實現問題數據自整改。數據質量預警監控平臺在技術架構上從上到下主要分為數據層、業務邏輯層和應用界面層3個層次。數據庫的校驗技術，采用歷史數據問題的記錄和解決方案的設定，將問題數據進行模塊的校驗，對于數據抽取模塊進行提取，對于數據質量進行問題的發現[4]。采用數據模塊的集成，借助數據中心進行通道的傳輸，將等待上報的業務數據，進行存放，經過對于模塊進行規則庫的數據質量的校驗，最終，將業務數據進行分析，采用后續處理的方式，將問題數據進行校正。數據專家庫中的歷史問題記錄，可以與問題數據進行對比，幫助找到問題的快速解決方法。并且將最終校正好的問題數據進行同步更新和數據源的記錄，如果沒有發現問題的歷史記錄或者提不出適合的解決方案，則同步到數據源中，采用無解決方案或者無歷史記錄的解決方法，對數據質量管理員發出預警信息，用數據質量管理員線下處理的方式，校正問題數據。

4 結論

企業進行戰略衡量、執行過程中，要對數據質量實行精益化的管理。通過建立在規律庫基礎上的數據質量監控平臺，將數據中心的數據進行采集，通過數據采集通道，搭建數據質量預警監控平臺，結合可配置的校驗規則庫和問題處理專家庫，對系統產生的增量業務數據進行預警、監控、整改，確保系統能夠對數據中心數據完整、準確的上報。

參考文獻

[1]陳嘯，麥篤彪，聶勇.狀態數據分析與教學條件監控——國家數據庫平臺在HJ學院內部質量保障建設中的應用[J].教育教學論壇，2018（14）：33-37.

[2]徐毅，曾文兵.Openstack虛擬化流量平臺監控系統[J].計算機系統應用，2018（2）：51-57.

[3]陳冰怡，王漢崢，高松，等.上海市工業區大氣污染預警監測信息平臺研究與設計[J].環境監測管理與技術，2017（6）：5-8.

[4]李娟娟，王希娟.基于物聯網技術的電梯監控系統設計[J].微型電腦應用，2018（2）：33-35，39.