基于大數據價值挖掘的電網企業監測分析成果轉換及共享設計與應用研究

鄭高峰 秦丹丹 劉 麗 韓學民 劉朋熙 肖家鍇 侯 鳳

(國網安徽省電力有限公司，安徽 合肥230000）

1 概述

企業經營績效和生產運營情況監測分析作為電網企業的重要工作之一，在能源供給側不斷改革和信息技術水平不斷提升的背景下，當前手工分析和生成報告的工作方式已經無法滿足政策和科技發展變化對企業管理經營效率的更高要求。現階段已有的成果轉化工具普遍存在缺少模板、展現形式等自定義功能，用戶體驗不佳；同時轉化成果難以在企業內普遍共享，成果的利用率和利用價值有待提升。本文借助數據分析技術，基于永洪BI 大數據分析平臺設計監測分析成果轉換系統，新增自助式模板定義和企業級數據庫功能，實現業務部門間報告數據信息互通，促進業務數據價值挖掘、業務數據治理、數據文檔共享以及電網企業基層人員工作減負。

2 監測分析報告的特點及需求

監測分析工作對及時了解、指導運營和輔助戰略決策具有重要的意義。具有以下特點：

（1）監測數據來源方式復雜，涉及專業較多，獲取難度高；

（2）分析報告多以線下獲取數據、人工編寫的方式產出，準確性、及時性難以保證；

（3）分析報告多用于指導企業安全運轉、支撐應急決策等場景，時效性要求高；

（4）分析報告和結果數據應盡可能的服務多專業領域，價值共享需求大。綜上所述，當前監測分析和成果轉化工作方式難以滿足電網企業管理需求，實現監測數據自動化分析已成為必然要求和必然的趨勢。

圖1 監測分析成果轉換及共享系統結構與流程圖

3 系統設計

3.1 系統結構設計

本系統以業務數據為分析對象，基于大數據分析技術，通過數據建模分析、展現組件選取等功能生成報告，最終統一納入企業知識庫管理，主要涉及功能包括數據采集、模板生成、數據分析、報告編制和知識共享等，監測分析成果轉換及共享系統結構與流程如圖1 所示。

3.2 系統功能設計

為實現監測報告自動生成，系統需具備數據分析自動化、智能化功。系統子功能主要包括模板生成、數據建模、自助分析和企業知識庫。

3.2.1 報告模板生成

報告模板生成是監測報告生成系統的基礎，其主要流程分為：業務指標標簽收集、業務指標表現梳理、指標標簽歸集、報告模板生成。

首先，通過生產、經營、管理等關鍵指標數據形成企業負責人、同業對標和綜合計劃三大指標體系，涉及營銷、基建、規劃等多個專業領域，結合主題監測和專題分析指標體系，選擇關鍵性指標構建報表可應用的數據標簽。

其次，依據數據標簽制作常態化監測和其他可配置型報告模板，構建日、周、月季、年報等報告、報表框架，建立模板內數據域內容與數據標簽的一一對應關系。

最后，用戶通過拉拽形式匹配數據標簽至模板數據域，形成自定義分析報告模板。

3.2.2 數據建模

數據建模提供底層數據源對接和數據業務包制作，包含數據源管理、ETL 預處理、業務包管理、內存預加載等模塊。其中數據源管理和ETL 支持用戶通過B/S模式管理底層數據源，并且可以對原始數據進行簡單的加工預處理和空值替換、數據剪裁等復雜處理操作，同時匹配圖形化多表關聯；智能化建模可一鍵導入數據，構建數倉模型，自動識別指標、維度、關聯關系等，拖拽式操作完成數據分析；提供關聯分析、序列分析、分類、預測、聚類分析及時間序列分析等多種數據挖掘算法。

圖2 系統功能架構

3.2.3 自助分析功能

自助分析功能包含模板配置、選取展示組件及報告生成。模板配置提供菜單選項和圖形界面，可打開、修改和保存報告模板，實現模板定義、設計、上傳、發布、編輯、下載的全流程管理，建立報告報表模板信息與數據庫關聯關系，實現信息的相互聯動和自動統計匯總。展示組件選取功能提供多種可視化組件和圖形效果控件，通過B/S 在線拖拽或手動配置等方式，實現信息化數據報表和分析結果的多樣化展示。報告生成功能可根據監測數據特點，通過配置各類模板進行報告匯編和自動生成，用戶只需選取相應模板并輸入時間，即可查看并下載監測分析報告。

3.2.4 企業知識庫

收集各專業部門的信息成果，依據組織架構、業務體系等維度梳理構建企業知識體系。企業知識庫提供成果報告的存儲、查詢、查看、下載、編輯等功能，通過繪制企業知識目錄，構建多維度篩選查詢方式，方便用戶快速定位分析報告，有效引導不同的專業用戶獲取所需知識，促進信息成果價值共享和部門間的協同、協作發展。

4 系統架構及技術實現

4.1 系統功能架構

系統功能實現要求可提供源業務系統數據接口、標簽配置、建模和算法及報表配置、查詢服務，為報告生成提供數據基礎。系統應具備模板管理、報告自動生成、成果訂閱和企業級知識庫等子應用，面向決策者、管理者和操作者等用戶群體實現知識資源共享。系統功能架構如圖2 所示。

4.2 關鍵技術

系統關鍵技術包括大數據處理技術、數據算法和圖表展示技術。綜合應用的大數據計算處理技術包括分布式文件存儲技術、列式存儲數據庫（批量數據處理）、批量計算（大批量、不能全部加載到內存的數據）、迭代計算、SQL 交互查詢和其他結構化查詢語言等。

系統采用ETL 數據抽取清洗轉換技術，利用Kettle 開源工具實現數據抽取、轉換、裝載；利用回歸分析、聚類、偏差分析、網絡分析等先進數據挖掘技術，實現數據預處理、建模和分析應用；對于非結構化信息，采用語義處理、文本建模等實現非結構化數據自動解析。

系統采用的圖表展示技術基于Echarts 圖表組件實現，可實現報告及報表的折線圖、柱狀圖、散點圖、餅圖和K 線圖等。

5 成果應用

電網企業監測分析成果轉換及共享系統依托于企業在線監測平臺，成功應用于國網安徽省電力公司。本系統實現了包括數據入庫、數據查詢、圖形報表、報告生成和企業知識庫管理等功能，實現對95598、廢舊物資等業務場景監測數據自動整理分析以及指標計算，形成專業的監測分析報告。系統實現了監測報告的自動化生成，極大的提高了報告質量和生成效率，滿足監測分析報告的時效性要求；同時極大的方便了監測數據的實時整理和異常值及時反饋，提高了電網企業運營管理效率。

本系統突破了人工編寫監測分析報告的傳統模式，解決了監測專業人員缺乏的問題，提高了監測分析的規范性和專業性，實現公司業務部門成果共享，整合與優化了內部知識，初步形成公司知識庫，全面提升公司風險管理水平。該系統適應現行電網企業的業務和信息化需求，具有推廣應用價值，可以為同類監測分析報告成果轉換及共享系統開發提供參考。