基于大數據技術的發電企業數據治理

中國華電集團有限公司廣東分公司 俞利鋒 馮佳峰

近些年，華電集團提出了從戰略層面推動“數字華電”建設，打造具有華電特色的“傳統產業+互聯網”競爭新優勢。隨著數據清洗技術越來越廣泛的關注和深入的研究。數據生命周期的各個階段都會發生數據質量問題，大致可以從數據源、數據組織結構進行分類研究。首先，這需要在設計數據庫模式時定義數據規則，盡管數據庫產品自身提供相應機制保證數據質量，依然不能保證進入數據庫的數據完全符合業務需求。其次是數據庫設計并不能盡善盡美。第三，數據庫操作往往是應用程序的效率瓶頸，在數據庫之中進行完整性驗證會導致應用程序性能下降，大量數據的插入、修改等操作需要更多的時間。第二種數據解決方案由自應用程序實施，這是一種高通過邏輯層的事務操作完整地插入記錄，后者指對數據庫中的數據進行監管控制，清除不滿足要求的數據。在各類數據分忻工具中，ETL[1]工具往往具有數據審核與數據清洗功能，但是這些工具只適用于特定的數據庫系統，處理一些普遍的數據質量問題，在數據集成時解決異構數據的問題。有一些開源的ETL框架不屬于任何數據庫系統，就會發生數據異常或者不能清洗的問題。

目前，國內的人工智能數據清洗技術研究，缺乏規模性組織和研究成果，缺乏針對我國信息化特點的數據質量研究。在企業項目建設過程中，數據集成環境比國外復雜，據調查，72%的企業存在相似重復數據，60%的企業存在不完整數據[2]。

鑒于以上問題，本文設計了結合發電企業的實際情況，選擇和企業戰略、部門管理相關指標作為基礎，對數據成熟度進行評估，并且實現集中抽取，從而實現編碼、標準、數據及模型的統一管理，避免出現數據多頭管理及沖突，將數據冗余進行消除，實現數據集中管理、共享的目的。逐漸實現事前防范、事后管理及集中監控的閉環管理，對企業級數據質量管理規范、制度的創建，從而對高價值數據屬性的識別，保證能夠提高數據質量，使其支撐業務運營及經營分析。

1 公司管理現狀與問題

隨著業務的快速發展以及IT 系統的不斷建設，公司所面臨的數據環境越來越復雜。在數據應用過程中逐步暴露出數據缺失、重復、分散、延時、質量較差等一系列問題。

缺乏全局視角的主數據視圖，各業務領域主數據分散在各應用系統中，各系統相互獨立，各自維護一套自己的數據結構，缺少統一和共享；系統建立時，業務單位主要考慮本業務領域應用和業務范圍內的數據，對于跨部門、跨系統的數據管理職責沒有定義；各領域業務利用各自系統或人工收集導入方式開展數據統計分析工作，主數據分散在各應用系統中；數據掌握在各個業務部門手中，存在數據壁壘，數據共享交換較為困難。

指標和維度無統一定義、規范和管控：各部門指標和維度無統一定義、規范和管控，重復統計和不一致現象較為突出。

各部門根據管理和上報需要各自定義指標和維度，重復統計現象較為突出；指標數據各自表述，同一指標的管理口徑、統計口徑不一致，但指標名稱相同；基本維度信息各部門獨自定義，同樣的維度，各部門對其分類，規則定義不一致；沒有主數據相關的業務流程，相同的主數據新增或變更時不考慮其它部門。各系統之前缺少統一的數據規范，接口交互標準不統一。

2 大數據治理體系構建方法及內容

數據中心建設是一項系統工程，數據治理更是一項長期艱巨的工作，需要自上而下統一思想、堅定落實、長效管理。

公司采用數據管控先進理念與成熟方法，從短期、中期和長期分步有序實現數字化、智慧化經營管理的角度，通過全面評估公司數據管控成熟度，制定提升目標和行動計劃，支持公司建立企業級的數據資產管控體系及支撐平臺，從根源上解決目前在各業務領域存在的數據問題。以數據中心為核心，以數據治理為基礎，提升公司在業務發展中數據支撐能力，增強公司在行業競爭中的核心能力。

在規劃部分通過對區域的業務和系統調研，了解區域目前的數據使用情況，根據行業數據治理成熟度模型[3]評估方法論量化打分，了解企業當前所處數據治理的極端，據此規劃未來3年數據平臺建設和數據治理路徑；通過全面的調研，確定數據治理的主體流程和規范，通過對具體業務主題的深入調研，確定詳細的執行標準和方法。

2.1 數據平臺架構建設

建立企業級數據中心是對公司跨業務領域的數據進行整合，并滿足公司不同部門的數據訪問和數據分析需求，技術架構設計的總體目標就是為企業級數據中心提供技術、數據及管理能力上的規劃和支持。

系統接入數據方式多樣化，包括關系型數據庫數據、實時數據、文件數據、圖片數據、日志數據、音視頻等。面對多種數據接入的需求，數據平臺提供多種針對性的接入方式以及工具。

2.2 數據治理建設

基于行業的通用標準，公司數據治理的架構：

數據標準定義。在數據資產盤點過程中，對數據資產進行業務、技術和管理定義并獲得對口部門的確認，從中挑選必須訂立數據標準的資產項，開展數據標準編制工作，并最終發布。

數據質量規范編制。在數據資產盤點過程中，基于數據定義及規則，與業務部門共同商定基礎質量要求，編制數據質量規范。

元數據登記。采集相關系統的元數據信息，包括表、字段、代碼等信息，與數據資產建立關聯關系，形成數據分布地圖。

數據資產盤點。本期數據資產目錄范圍：設備主數據，物料，財務指標，形成資產目錄清單。通過業務調研、技術調研，開展資產盤點，完成數據資產目錄及數據資產管理方法。

主數據管理體系。遵循行業規范指引，梳理主數據分類，合并數據資產項，明確主數據歸口部門，建立主數據標準規范和管控流程。

數據資產管理體系架構。構建公司數據資產管理體系，制定組織架構、認責機制、數據管理辦法、數據標準管理辦法和流程、數據質量管理辦法和流程、元數據管理辦法和流程、數據管控平臺建設方案等。

數據整合及模型。目前公司以生產經營和過程數據為基礎，建立了關系型數據庫，覆蓋公司主要信息系統，并且建立了實時數據庫，覆蓋公司生產、設備、安環、能源所有實時數據源。關系型數據庫和實時數據庫的數據沒有經過很好的數據整合，在使用時產生大量重復數據，數據不一致的情況。在數據整合基礎上建設企業級數據倉庫，加強數據深度收集和管理，挖掘數據價值，破解數據密碼，并逐步形成完整的報表體系，輔助各級領導和管理人員及時掌握業務運營情況，并基于數據進行精準決策。

技術架構設計與規劃。深入開展系統集成和多系統協同應用，基本消除信息孤島，提升系統集成共享水平；推進全局業務流程優化和主要信息系統的集成，發揮協同增值效應，逐步消除信息孤島。

培訓和宣貫。完成匯報材料及培訓課件的編制工作，并開展培訓和宣貫。

上述十項主要服務工作，以及貫穿始終的項目管理、培訓宣貫，即相互獨立、又相互支持，部分工作可并行執行。

2.3 數據倉庫建設

在數據倉庫規劃階段，借鑒行業數倉建設經驗結合公司數據現狀和長遠規劃作為工作的指導，確保數據倉庫規劃成果的完整性、全面性、發展性、先進性及可操作性。

2.4 數據架構建設

公司的企業級數據倉庫的架構設計，結合公司的各個業務部門和IT 部門的需求及應用現狀，綜合考慮數據交換平臺、數據準備區、操作型數據存儲、基礎數據模型、數據挖掘、元數據、數據質量等組件之間的關系和實施方法，并就其中將會使用到的關鍵技術提供支持[4]。

結合公司的數據倉庫架構規劃的需求，公司數據倉庫的建設采用長期的循序漸進的過程，通過不斷創新、修復、完善的過程，伴隨著應用系統的發展而發展。根據公司的業務特點以及行業內系統建設的現狀和未來發展藍圖，全力打造一個可擴展的、高可用性的、安全的、高效的、跨部門的可以快速處理海量數據的數據倉庫系統。

吸取市場數倉建設經驗，結合公司的業務現狀和長遠規劃，公司的整體數倉架構。架構分為六個主要部分，分別是：數據源、獲取層、集成層、應用層、大數據環境、數據管控。下面分別描述這六個部分。

數據源：數據源層主要內容和功能有各類結構化數據庫數據、非結構化的視頻、圖片和文檔、半結構化的其它文件，是數據治理的基礎。

獲取層：獲取層又稱之為數據接口層，數據接口層主要完成批量數據的獲取，準實時數據的同步，其它形態數據源數據的接入。

集成層：數據整合層。數據整合層主要完成企業數據模型的構建，能夠涵蓋公司業務的各個層面，包括交易數據、主數據和參考數據，為整個企業級的數據集成提供一個完整的一致的邏輯視圖。

交付層：交付層是數據倉庫的最終數據應用價值的體現所在，提供業務人員直接的數據應用，在公司的數據倉庫架構中，交付層主要內容和功能有統一報表、KPI、自主分析、數據挖掘等應用。

大數據環境：大數據環境結合了結構化數據、半結構化數據、非結構化數據的統一的處理、訪問與管理。

數據管控：數據管控又叫數據治理或數據管理，數據管控主要的功能與組成有數據標準、數據質量、元數據。

2.5 數據挖掘體系建設

數據挖掘其實就是從大量繁雜的數據中找出數據的密碼，剖析數據本質，提升數據價值。主要依據業務管理要求，以業務驅動模型建設，以模型數據反饋業務決策。

預測算法一般情況下，預測要借助分類或估值才能發揮效果。具體來說就是利用人工智能的手段探索未知領域發生的各種結果。檢測的目的就是利用時間以及空間驗證模型的準確性，分析未知領域事件發生的可能性。

聚類算法[5]就是對各類的數據進行歸集，將同源以及不同源的數據放在一個池子里進行分析，通過建模的手段達到數據最大化應用。

借助數據挖掘的手段，公司的信息化已經有了很大的進步，不僅僅是傳統的以人為本的分析方法，而是真的打通了各個環節，能夠使內部的管理工作更加高效，打通了管理數據以及生產數據的壁壘，實現數據閉環，讓數據產生價值。

2.6 數據應用規劃

第一階段：數字化轉型建設階段

與數字華電相適應，應用互聯網+、物聯網、移動技術、云服務和大數據等前沿技術，實現以大數據為核心的數字區域管控模式，構建公司數字管控平臺，實現區域的生產、營銷、管理等中心建設，完成區域數字化轉型的頂層建設，實現區域的數字、信息一體化。

同時，推進區域數字電廠、燃氣分布式“一廠多站”、新能源“遠程集控”項目，推進基層企業數字化轉型。

第二階段：智能化應用賦能階段

與集團公司智能化戰略管控要求相適應，利用人工智能、大數據等先進的信息技術，先進的控制技術，以及機器人、智能終端等硬件設備賦能數字生產、數字營銷、數字管理，完善綜合能源互聯網生態，通過數字技術引領企業擴展管控能力，深入挖掘各類用戶的綜合能源服務需求，利用互聯網、大數據、人工智能等先進技術，積極開展能效診斷、節能優化、能源托管等綜合能效服務，實現上下游產業鏈的資源最優化配置，開展互聯網+綜合能源服務項目，增加客戶粘性，提升市場占有率。

2.7 數據治理體系實施

數據治理實施步驟：基于企業愿景和規劃，以及數據治理目標和原則，圍繞數據治理的六大要素，把數據轉變為整合的、可信任的和安全的信息。在治理和管理數據中，將人員能力、技術發展、企業規劃等因素有機融合。

數據標準管理：數據標準建設是一項長期的、涉及面廣的基礎設施項目，需要在時間和人力等生產資源上有意識、有計劃的、持續的投入。數據標準的總體規劃目的是根據企業的戰略目標和實際情況，確立數據標準化的價值和最終目標，并為達到最終目標訂立行動計劃和資源調配。

數據質量規范編制：數據質量管理包含組織架構、管理流程、管理工具、技術平臺等方面。

所謂數據質量規范，即數據質量校驗規則，是指判斷數據項在系統落地字段中所存儲的真實數據是否符合特定要求。數據質量要求在有相關數據標準時以數據標準為準；在未制定數據標準時以監管要求、業務要求為準。根據數據質量標準制定詳細的數據質量規則。

元數據登記：元數據管理[6]成為一項重要功能，讓數據的管理者，無論在任何時間任何地點，都對數據具有絕佳的掌控能力，讓元數據更好的為企業分析決策打下基礎。