徐 敏,楊三美
(國網鄂州供電公司,湖北 鄂州 436000)
當前,互聯網經濟與傳統經濟社會深度融合,數據日益成為重要的生產要素。在“互聯網+”“全球能源互聯網”“智慧能源”“智能電網”等政策、技術支持下,數據與能源生產、消費、科技創新聯系更為緊密,釋放出巨大的商業價值。與此同時,國網公司在信息化企業建設上提出“用數據說話、用數據決策、用數據管理、用數據創新”[1]的新理念和新要求。為了迎接新的挑戰,亟需開展“業務+數據”研究,充分發揮數據資產價值,為公司數字化企業建設發揮更大的作用。
營銷是公司業務的重要組成部分。電能計量是電力營銷的核心支撐專業。智能電表是智能電網最重要的“神經末梢”,更是電網實時數據的主要來源。通過研究公司電能計量業務及相關支撐系統,梳理數據管理現狀,以點帶面,剖析公司業務與數據的內在聯系和本質規律,探索相關數據融合、管理優化措施,對公司開展大數據應用分析工作有著積極的現實意義。
電力公司電能計量業務體系主要包括計量設備采購配置、計量裝置現場運行和用電信息采集3個業務,共有計量設備需求、計量設備采購、計量設備檢定、計量設備配送、計量裝置安裝、計量裝置現場檢驗、計量裝置故障處理、計量裝置更換、計量裝置拆除、用電數據采集和用電控制執行11個業務內容。上述業務由營銷業務應用系統、省級計量生產調度平臺與用電信息采集系統3個業務操作類系統支撐,共涉及95張數據表2 795個數據字段。
通過對電能計量業務及相關支撐系統的功能應用、業務支撐、數據質量以及建設差異進行調研分析,發現當前系統應用與數據管理主要存在以下問題。第一,省電力公司間數據結構存在差異,營銷業務應用系統、省級計量生產調度平臺與用電信息采集系統均為二級統推,因系統建設廠商對系統功能及數據流轉實現技術方式不同,導致底層數據庫表存在差異。第二,數據存在多個入口,一表多源問題較為突出,易產生數據沖突。第三,業務數據共享流程復雜,數據共享和應用不充分。作為當前共享需求最大的電能計量專業數據,主要在營銷內部自行開展數據應用,未充分發揮數據價值和作用。第四,系統設計文檔缺乏有效的集中管理,各系統的設計文檔存在收集不齊、內容不全以及質量不高等問題。第五,對數據字典質量和與系統運行狀態的一致性缺乏有效管控手段。
造成上述問題的主要原因有兩個方面。一方面,受建設時期不同、開發部門不同、使用設備不同、技術發展階段不同和能力水平不同等因素影響,造成同一業務數據在不同系統中的表達方式存在差異。另一方面,由于公司目前管理模型是專業化的職能管理模式,造成在同一業務節點或同一業務主體,因管理職能的不同,分頭制定多種標準,其中包括數據標準。
通過對現有電能計量數據現狀的分析發現,要實現公司數據融合,建議先開展數據治理,解決數據標準和數據質量問題,并以此為基礎,以業務節點或業務主體為核心,建立跨部門、跨系統和多維度的數據融合標準,實現數據標準統籌管理,解決同一業務節點或業務主體數據標準間的沖突和矛盾。
2.1.1 成立企業大數據標準治理組織機構
在當前公司大數據應用的起步階段,建議成立大數據標準治理工作組,整合各方力量形成合力,做好數據治理工作的頂層設計,構建統一的大數據標準治理體系,推動企業數據標準完善和數據標準治理工作同步發展。
2.1.2 開展數據標準治理理論研究
建立健全企業大數據標準體系,重點從基礎性、方法性和公共性等方面開展標準研究,解析數據標準的組成元素,將業務標準、業務數據標準、業務數據技術標準、業務數據監測標準和業務數據閉環運營標準進行有機統一,實現對數據標準體系的系統化治理和科學管理,形成數據標準治理的基本概念和內涵[2]。
2.1.3 開展數據標準治理內容研究
從收集、清洗、分析、可視化、訪問及評價模型等數據應用的全過程出發,研究制定公司數據治理標準;從數據使用的全方位出發,研究制定公司的數據安全標準;從數據產生、存儲、交換和使用等關鍵環節出發,研究制定數據質量標準,提出具體的管理要求和指標要求,從而為大數據應用打下良好的基礎。
2.1.4 以數據標準治理推動數據融合
數據標準治理是支撐大數據融合的重要基礎理論和現實依據。研究數據標準治理過程中存在的問題和難題,分析數據標準治理的主要內在規律,提出數據標準治理的解決方案,以數據標準治理推動大數據融合,最大程度地發揮數據融合的價值[3]。
2.2.1 建立數據形成規范,確保數據良性循環
遵循數據規范標準,通過完善統一數據模型,保證業務數據在語法與語義上的統一,建立各專業人員共同理解和溝通的語言,利用API接口等技術,提供系統之間集成和互操作的基礎接口標準,指導相關領域信息系統建設與業務集成工作。
2.2.2 加強源頭數據管理,提升明細數據質量
嚴把數據入口關,從源頭確保數據的真實性、準確性、完整性和一致性。以業務為驅動,依從業務流程對應明細數據,結合多位一體協同機制對明細數據進行質量監控,制定質量閾值,監測數據的完整性和準確性。依據監測結果,明確數據責任人,督促整改閉環,實現明細數據質量的提升。
2.2.3 以數據規則為抓手,做好數據質量核查
依據數據規范體系,確定數據完整性和規范性層面的核查規則,如字段非空要求、字段命名規范等;持續豐富完善核查規則,加強數據間的一致性以及數據合理性、準確性、及時性等方面的核查。
2.2.4 梳理業務數據脈絡,逐步實現業務和數據的同步
歸納總結業務和數據不同步的類型和方式,對不同步原因展開分析;開展業務和數據同步管理方法和方式試點;制定應用場景相關管理辦法,對同步措施進行固化;對目前數據存在的系統和系統不一致、業務和系統數據不一致問題進行整治。
數據有效融合是發揮數據資產價值的重要基礎。公司業務體系是數據融合的有力支撐,公司的數據管理必須基于業務體系,才能夠實現與業務的高度融合。
以公司業務體系為依托,以業務與業務的關聯、業務與數據的映射為抓手,結合運營監測業務的大數據融合需求和實踐,實現對數據融合的全面管理。在開展業務數據融合時,應充分依托公司業務體系,確保梳理的數據框架內容的豐富性和完整性,實現對數據融合需求范圍的全覆蓋。
從已有的業務數據融合現狀及經驗來看,公司數據標準不統一、主數據管理不規范等問題,造成了當前公司數據融合困難,數據融合結果治理效果不佳。因此,必須通過推動公司數據標準治理和主數據識別技術研究,提高公司數據標準化,從而為數據融合提供良好的數據標準基礎。
根據業務體系梳理形成的業務串接及數據融合需求非常大,甚至部分數據融合需求缺乏必要的數據支撐,無法開展有效的數據融合工作。為提高數據融合的效率、質量和精準度,建議以業務數據需求為主,分階段逐步推進數據融合,對依據業務體系梳理的數據融合需求,分步進行必要的篩選和評估,制定符合運營監測業務實際的數據融合計劃,逐步推進。