面向智能電網的數據資產管理系統設計與應用

季知祥 鄧春宇 吳江寧 袁榮昌 劉 冰

1(中國電力科學研究院有限公司 北京 100192) 2(國網大連供電公司 遼寧 大連 116001)

0 引 言

隨著智能電網建設的不斷深入，電網調度自動化系統、智能運檢系統、配電自動化系統、用電信息采集系統等的部署和應用，一方面提高了對設備運行、控制、運維等能力，另一方面對數據的采集能力也大大提高，系統積累了越來越多的數據。如何管理并利用好日益龐大的數據，是電網企業迫切需要解決的問題。智能電網大數據處理需要采用新的技術和手段來解決數據處理問題[1-3]。

數據是開展智能電網大數據應用的基礎。隨著智能電網大數據應用的開展[4]，需要存儲和管理的數據規模迅速增加，這些數據既包括智能電網發、輸、變、配、用和調度等各環節數據，也包括開展大數據應用所需要的智能電網外部輔助數據，如氣象、地理信息、交通、人口等數據。這些數據來源多樣、數據量大、數據類型復雜，如何清晰掌握數據情況，管理原始數據、成熟數據，以及如何實現數據共享，是智能電網大數據管理的一個基礎性問題。國內在數據標準制定及管理、數據質量評價、數據倉庫建設等開展了相關研究[5-7]。

數據管理是數據融合的基礎前提，在開展數據融合和大數據應用分析前，需要把多源異構數據管理起來，清晰掌握數據狀況。本文從數據資產管理相關理論出發，提出了數據管理規范和管理策略，用制度來規范數據管理，并設計開發了數據資產管理系統。

1 數據資產管理概述

1.1 數據資產

資產這一概念最早源于財務領域，資產是指企業生產經營過程中形成的能給企業帶來經濟價值的資源。它是企業中占有一定價值的物品，如變壓器、輸電線路等是電網企業的資產[8]。

隨著電力各類信息化系統的建設和廣泛應用，系統積累了大量的歷史數據，這些歷史數據是電網安全穩定運行或故障的記錄，其中蘊含著重要的價值規律，通過數據分析能夠揭示電網運行的效率、故障問題、規律等，通過業務優化其能夠為電網企業帶來重要的經濟效益和價值，因此數據也是電網企業重要的資產。隨著技術的發展，數據的價值將會被充分地挖掘，數據作為資產將越來越重要。針對數據資產國內已經從數據資產管理體系、產業機遇、數據資產可信度評估模型、數據安全等方面研究[9-11]。

電力數據資產包括以下幾類：電力各環節產生的調度、輸電、變電、配電、用電等業務數據，包括生產實時和歷史數據；外部環境、氣象、地理信息等數據，該類數據影響電網安全穩定運行，涉及多種類業務且數據類型多種多樣；政府經濟、政策等數據，這些數據也對電網發展、運營等有重要影響。

近年來在電網生產運營中，通過數據分析能夠有效提高工作效率和工作效果，如通過融合電網運行數據及外部環境數據，通過大數據分析能夠提前預知電網薄弱點，及時發現問題并進行處置，能夠大大提高電網的可靠性，降低企業的經濟損失。

1.2 數據資產管理

大數據時代下，數據資產管理是一種新型的數據管理理念，數據不僅是企業經營活動的副產品，數據作為一種有價資產，理應同傳統的人、財、物等資產一樣，受到企業足夠的重視，并進行專業管理[12]。

數據資產管理是傳統資產管理方法和數據的特征相結合的一種管理模式。它是企業或者組織采取的各種管理活動，是規劃、掌控和供應相關數據、信息的一種職能，用于保證數據資產的安全和完整，通過大數據價值發現提高數據資產帶來的經濟效益，保障和促進企業各項業務的發展。通過有效的數據管理，借助大數據分析和挖掘，電網數據資產將在電網調度、智能運維、智能配用電等領域發揮越來越大的作用，將降低人力成本、提高設備的利用率、保障電網安全穩定運行。

1.3 數據資產編碼

在數據資產管理過程中需要對數據進行唯一性標識，構建數據資產編碼。參照BOM(Bill of Materials)編碼規則，根據數據分類和數據特點制定電力數據資產編碼規則，規定數據編碼順序和每位數的含義，BOM編碼為數據資產唯一標識。電力數據資產BOM編碼由內/外部數據、數據格式、數據類型、數據分類、數據來源、是否原始數據、入庫時間、序列號等組成，通過數據資產編碼系統能夠掌握數據的部分關鍵屬性。

1.4 元數據管理

元數據是關于數據的數據，是面向特定應用的用于描述信息資源屬性的機器可理解的信息[13-14]。構建元數據也是解決異構系統之間實現數據共享的基礎。智能電網數據資產管理中需要構建元數據，用于描述數據資產的重要屬性和數據共享。在數據資產構建過程中需要考慮數據資產重要屬性、管理需求、數據用途等，支撐數據資產定義、描述和管理。數據資產元數據根據業務需求應包括數據編碼、名稱、來源、類別、標簽、樣例、說明等。

2 數據資產管理規范

2.1 體系建設

在電網傳統業務中，數據管理只局限于不同系統內部，針對應用單一數據庫模式來進行管理，目的是提高特定業務系統的數據管理規范性和提高系統性能，而智能電網數據資產管理針對跨業務和跨系統的數據進行管理，更強調數據共享、價值挖掘和數據利用。目前電網公司已經建設了云計算和大數據平臺，為電網數據的融合和共享提供了基礎資源。亟需從全業務數據的角度出發建設智能電網資產管理體系，為電網數據價值發現提供管理方法和手段，更好地支撐電網業務發展。

數據資產管理體系包括系統涉及的人員及角色、管理流程、管理規范等。其中電力數據資產管理系統分5個業務角色，分別為數據采集專責、技術支持專責、數據質檢專責、數據管理專責及數據服務專責。對應的職責如表1所示。同時數據資產管理體系需要對智能電網數據進行數據資產識別，對管理對象、要求、手段、流程等進行規范，形成可遵循的統一標準。建立一套數據資產管理規范和制度，用以指導數據加工、入庫、出庫、安全管理等。

表1 角色與職責表

2.2 管理規范

數據資產管理規范從電網數據運營角度出發，建立數據采集、處理、質檢、入庫、出庫等數據管理流程。數據資產管理規范包括編碼規范、采集規范、技術處理規范、質檢規范、入庫管理規范、安全管理規范、出庫管理規范等。本部分僅選取數據入庫管理規范和出庫管理規范進行簡述。

2.2.1 數據入庫管理規范

數據入庫時涉及到的角色有數據采集專責、技術支持專責、數據質檢專責、數據管理專責。系統入庫流程如圖1所示，其詳細職責如下：

數據采集專責：負責采集(采購)數據，對數據進行加工處理，并提交入庫申請；

技術支持專責：對數據采集專責提交的數據進行技術處理，處理完提交質檢專責進行數據質檢；

數據質檢專責：根據質檢規范對數據進行質檢，若不合格返回至技術支持專責進行重新數據處理，若合格，提交數據管理專責；

數據管理專責：將質檢合格的數據根據分類進行入庫，管理所有數據資產。

圖1 數據入庫流程

2.2.2 數據出庫管理規范

數據出庫時涉及到的角色有用戶、數據服務專責、技術支持專責、數據管理專責。數據出庫流程如圖2所示，其詳細職責如下：

用戶：瀏覽數據，提交數據需求；

數據服務專責：處理用戶訂單，填寫并提交出庫表單，提交出庫申請，并進行數據出庫統計；

技術支持專責：根據用戶需求抽取、加工、轉換數據；

數據管理專責：處理出庫申請，將待出庫數據進行出庫操作。

圖2 數據出庫流程

3 數據資產管理策略

3.1 組織模式

目前電網公司數據資產管理和運營模式還沒有建立，數據管理權限分布在各業務部門。為了推動電網公司的數據資產管理和價值利用，需分別建立數據存儲體系、管理體系和運營體系，并分別由專業的存儲管理部門、數據管理部門和數據運營部門管理。數據資產管理組織架構如圖3所示。

圖3 數據資產管理組織架構

3.2 數據存儲體系

數據存儲體系是數據組織架構的基礎，由數據資產存儲部門負責，主要負責提供多種存儲技術解決方案。

在智能電網各類業務數據中，絕大多數為結構化數據，但也存在大量的半結構化和非結構化數據，如運檢影像、客戶服務語音等數據。因此智能電網數據資產管理需采用混合存儲方案，對非結構化的數據采用分布式文件系統，對海量的結構化數據可采用傳統關系型數據庫系統或分布式并行數據庫[14]。

結合電網數據異構性、分布性、多樣性等，混合數據存儲體系應有以下特性：

可擴展性：具有存儲可擴展性；

經濟性：存儲平臺可運營在廉價的PC上，無需昂貴的大型機；

安全可靠性：存儲平臺具有備份恢復機制以確保數據的安全可靠；

高效性：混合存儲系統具有高效數據交互以及本地存儲本地計算的處理模式。

3.3 數據管理體系

數據管理體系由資產管理標準和管理規范兩部分組成。數據資產管理標準規定了數據資產元數據定義、數據編碼等，是數據管理的基礎。管理規范確定了數據資產管理流程、架構、角色、規范等，保證管理工作能夠有效規范的開展，在數據安全存儲和管理的基礎上，提供數據共享達到數據增值的目標。

3.4 數據運營體系

數據運營體系，由數據運營部門負責。數據運營根據數據運營生命周期，從采集、加工、入庫、存儲、共享等過程進行運營管理，實現數據的日常管理，基礎目標是實現數據的安全高效管理，并能夠有效支撐數據共享服務，最大限度地實現數據挖掘和價值發現。數據運營需嚴格根據相關數據管理規范進行日常運營。

4 數據資產管理系統設計

4.1 業務體系

智能電網數據資產管理系統業務目標是將電力行業內部及相關外部數據進行統一管理，基于各種數據管理制度來規范數據采集、加工、入庫、出庫、安全管理等業務，通過信息化系統固化各類流程，最終為數據資產增值服務提供數據資源，支撐大電網安全穩定分析、負荷預測、配電網規劃、用電行為分析、電動車充電樁選址等。其業務架構如圖4所示。

圖4 數據資產管理系統業務架構

4.2 功能需求

數據資產管理系統由前臺展示和后臺系統管理兩部分組成，前臺展示為用戶提供數據瀏覽渠道，后臺為系統運營和系統管理人員使用，實現數據日常運營管理和系統管理。具體系統功能如表2所示。

表2 數據資產管理系統功能

通過系統前臺界面，能夠展示智能電網數據資產管理系統的所有數據，數據以類別進行組織，用戶可以查看詳情、說明書、樣例，并提供數據訂購需求接口界面。

系統后臺實現對系統用戶、元數據、數據管理流程等接口界面，包括數據信息編輯、出入庫流程等管理。系統提供數據資產統計分析功能，包括數據資產統計、入庫統計、出庫統計。提供數據資產管理系統數據分類、數據格式、采集方式等系統設置。同時后臺管理提供用戶及角色的管理、數據需求訂單的管理。

4.3 核心流程

智能電網數據資產管理系統核心流程包括入庫、查詢、出庫、統計分析等。入庫涉及數據采集、技術處理、質檢、入庫等；查詢主要為系統各應用人員提供數據查詢和搜索功能，系統具有數據索引和搜索模塊，方便了解數據狀況；出庫由用戶通過瀏覽系統數據展示主界面，通過訂購數據發起，用戶服務專責處理需求，然后進行數據處理，由數據管理專責將數據共享給用戶。系統的核心流程如圖5所示。

圖5 數據資產管理系統核心流程

4.4 技術架構

數據資產管理系統采用B/S模式架構，系統由前臺數據展示、后臺系統和業務管理組成。系統技術架構如圖6所示。

圖6 系統技術架構圖

數據資產管理系統基于云計算和大數據管理平臺進行開發和部署，其中云計算平臺提供基礎虛擬資源支撐，大數據平臺提供分布式數據存儲管理支撐。針對文件、圖片等非結構化數據采用分布式文件系統存儲，針對結構化數據采用單機關系數據庫或MPP數據庫存儲。

4.5 系統運行與應用情況

目前數據資產管理系統已經在中國電科院進行了部署，并開展了智能電網數據的梳理和抽取融合工作，共6大類、39小類，數據大小超過40 TB，數據包括主網、配電網、用電等電網內部數據以及氣象、經濟、人口、地理信息等外部數據。通過數據說明文檔編寫、數據樣例抽取等工作，實現了所有數據入庫管理，通過系統面向院內各業務研究所提供共享服務。

系統提供前臺展示界面和后臺管理界面。通過系統前臺界面，能夠展示大數據資源共享平臺的所有數據，用戶可以根據數據類別查詢數據，并提供全文檢索功能，對于具體數據資產可以查看數據詳情、說明書、樣例等。系統前臺界面如圖7所示。系統后臺為數據資產運行維護人員提供管理和工作服務，實現數據信息編輯、入庫、出庫等管理。系統后臺界面如圖8所示。

圖7 系統前臺展示界面

圖8 系統后臺管理界面

系統自運行以來，性能較為穩定，達到了數據共享和全生命周期管理的目標，在智能電網大數據分析挖掘和價值發現中發揮了重要作用。

基于寧夏用電信息數據融合人口、地理數據進行，開展了用電用戶特征分析、構建用戶標簽等工作，通過用戶標簽能提高用戶用電負荷預測精度，對于保障電網實時平衡和安全具有重要的作用。結合電網歷史和實時數據融合氣象、人口、節假日等數據開展配網變壓器重過載分析，實現了對設備的提前預警和及早處理，對于減少用電故障、提高供電可靠性具有重要的意義。

5 結 語

智能電網數據是開展智能電網業務大數據分析和人工智能價值發現的基礎，本文研究了數據資產管理的基本理論、管理規范、管理策略等，并設計開發了數據資產管理系統，通過該系統能夠實現智能電網數據的統一管理和數據共享。后續將越來越多的電網業務數據納入數據資產管理系統, 并重點開展數據融合和大數據應用研究，進一步進行數據的分析挖掘和價值發現，開展智能電網重要業務領域的應用, 更大程度地實現智能電網數據資產的價值。