談韻

摘 要 數據治理是指從使用零散數據變為使用統一主數據、從具有很少或沒有組織和流程治理到企業范圍內的綜合治理。它是一種關注于信息系統執行層面的體系,本文是國家電網合肥供電公司通過在營銷系統、用電信息采集數據的相關大數據應用業務探索和嘗試,在大數據基礎數據治理上的研究不斷加深,形成了自己的工作體系。
【關鍵詞】電網 電力大數據 治理 大數據管理
1 引言
2013年至2014年,國網公司信通部就逐步開展大數據研究與應用推進工作,完成編制《大數據應用研究報告》、《公司大數據典型應用需求分析報告》,組織中國電科院、南瑞集團等完成省公司大數據平臺總體設計,編制形成《公司大數據應用指導意見》。2015年正式啟動大數據平臺建設、應用試點工作。
目前,國網公司范圍內各單位陸續開展了一系列大數據的研究試點工作,但大多是集中于大數據平臺的技術研究實現,在應用方面多數是基于營銷系統、用電信息采集數據的相關應用業務探索和嘗試,而在大數據應用機制以及基礎數據治理上開展的研究工作較少。在進行數據綜合應用和智能分析的過程中,發現數據質量問題從表象看是數據不完整、數據質量差,但從深層次看是欠數據標準、缺數據管理職責、無數據考核機制等等。
2 數據治理的發展
上世紀九十年代以前,國外企業在數據治理方面也存在很多問題,IBM和摩托羅拉就是典型代表。
1992年之前,IBM在數據治理方面存在很多問題,沒有明確的可依賴的數據源,沒有明確的數據所有人,數據質量差。1995年,IBM梳理并制定了業務數據標準,定義了15大類業務標準、79個分類子業務標準,這樣全公司看到的是一個統一的業務定義;2004年,IBM制定了數據責任人體系,并聯合業界多家公司和學術研究機構,成立了數據治理論壇,制定包括四大領域11個要素的數據治理框架和方法,來指導數據治理工作的開展。2005年成立了數據治理委員會,之后又成立數據審核委員會。通過數據治理,IBM簡化了基礎架構,并降低了管理的復雜度。
同樣在上世紀末,摩托羅拉提出了六西格瑪管理策略,包含定義、測量、分析、改進、控制的DMAIC流程,初期用于解決產品/服務質量問題,后來也在解決數據質量方面得到很好的應用。
近幾年,IBM開展大數據治理研究,提出了18步大數據治理統一流程模型,并應用于電信、零售、金融和公共交通等行業。
2014年,中國出現了專門的數據治理研究組織ITSS WG1,并向ISO正式提交和發布了數據治理研究白皮書。
目前,國內電力行業開展的數據治理工作主要包含兩大類,一類是處理現有業務環節的數據質量問題,如營銷稽查;另一類是針對業務主題應用的數據治理,如營配貫通、運檢中心的數據質量評價。目前的數據治理工作沒有形成體系,缺少統一的標準、組織架構、管理考核機制,難以持續有效開展。
隨著對數據資產認識的不斷清晰,電力行業數據治理的目標也在發生轉變,國家電科院也已經開始著手數據治理體系的研究,但暫未涉及包含數據、應用、技術和管理的數據治理體系建設和應用。
3 電力大數據治理方法論
國網合肥供電公司在此背景下,制定深化大數據應用工作方案,以市縣公司實體業務為切入點,推進大數據應用方法在供電企業應用實踐,打造大數據應用環境,同時從以下幾個方面定義合肥供電公司數據治理的方法論:
(1)理解數據治理的職能;
(2)把握數據治理的核心;
(3)明確數據治理的目標。
通過執行數據治理,對電力企業數據的管理和利用進行評估、指導和監督,提供不斷創新的數據服務,為企業創造價值。
4 電力大數據治理體系探索
國網合肥供電公司經過不斷的在營銷系統、用電信息采集數據的相關應用業務探索和嘗試,在大數據基礎數據治理上的研究也在不斷加深,電力大數據治理體系建立需要明確的工作至少包含以下幾點:
(1)需要在哪些業務領域或應用場景作出電力業務數據治理的決策;
(2)需要哪些角色的人,以及如何參與到決策過程中;
(3)明確、完善電力大數據治理的最終目標。
4.1 數據治理原理研究
4.1.1 六西格瑪(Six Sigma,6σ)管理及其數據管理延伸
六西格瑪(Six Sigma,6σ)是一種能夠嚴格、集中和高效地改善企業流程管理質量的實施原則和技術,以”零缺陷”的完美商業追求,帶動質量成本的大幅度降低,最終實現財務成效的提升與企業競爭力的突破。實施步驟包括:定義、測量、分析、改進、控制。
六西格瑪管理延伸到數據質量管理方面,一般采用十步數據質量管理方法。
(1)定義和商定問題、時機和目標,以指導整個數據質量管理的工作;
(2)收集、匯總、分析有關形式和信息環境。設計捕獲和評估的方案;
(3)按照數據質量維度對數據質量進行評估;
(4)使用各種技術評估劣質數據對業務產生的影響;
(5)確定影響數據質量的真實原因,并區分這些原因的影響的數據質量的級別;
(6)最終確定行動的建議,為數據質量改善制定方案,包括數據級和組織級的;
(7)建立數據錯誤預防方案,并改正當前數據問題;
(8)通過改進組織管理流程,最大限度控制由管理上的缺陷造成的數據質量問題;
(9)對數據和管理實施監控,維護已改善的效果;
(10)溝通貫穿管理始終,循環的評估組織管理流程,以確保數據質量改善的成果得到有效保持。
依據六西格瑪(Six Sigma,6σ)管理的原則和技術,借鑒十步數據質量管理方法,以業務驅動,用數據說話,進行數據治理體系的研究和典型實踐,開展長效數據治理工作,為業務應用和決策分析提供優質數據。
4.2 數據治理關鍵點研究
4.2.1 識別數據質量關鍵要素
依據特定的業務需求或完整的業務場景,明確需要進行數據治理的關鍵要素。數據要素的涉及范圍廣,業務邏輯復雜,同時也就牽涉到的數據內容較多。
以供電公司統推PMS系統、營銷MIS系統為例,其中數據質量關鍵要素包括電網設備臺帳和參數:營銷系統中的用戶檔案、計量臺帳和臺戶關系,電能量采集系統中開關臺帳和電量數據,調度技術支持系統中負荷數據、電網電壓、停電等運行數據,用電信息采集系統中負荷、電量和停電等運行數據。例如PMS系統中線路設備的編號、名稱、電壓等級、所屬變電站、運維單位、運行狀態等信息,調度技術支持系統中線路的電流、電壓、有功功率、無功功率、功率因素、運行狀態、狀態切換等數據。
4.2.2 數據標準的制訂
制訂數據標準是一個非常系統和復雜的工作,但它是開展數據治理工作的基礎。根據數據質量定義,制定數據度量規則,包括完整性、唯一性、一致性、精確性、合法性、及時性等,這是一個反復迭代的過程,度量規則需要進行實踐驗證并不斷補充和完善,這是開展數據質量度量的關鍵。
4.3 數據治理管理責任研究
國網合肥供電公司在大數據應用項目中,經過不斷的摸索,梳理出關鍵性基礎數據的責任分解,大致如圖1。
4.4 數據治理考核研究
(1)設立數據治理組織機構,明確工作權責,建立部門間管理協同和業務統籌協調機制,推動數據治理工作長效開展。
(2)制訂數據治理考核制度,明確考核指標、考核周期、考核范圍、考核標準等,落實數據認責,以績效考核的方式促進數據質量的提升。
5 總結
供電公司已經進入大數據時代,數據治理面臨著多重問題,因此,合肥供電公司不斷在大數據應用過程中加強數據文化意識,推行數據治企的理念。摸索建立數據治理組織機構、培養大數據人才、學習大數據質量治理技術、制訂數據標準,同時加強數據安全,保護供電公司個人隱私,建立數據責任人認責體系。最后,持續不斷進行質量改進,為合肥公司電力大數據應用提供堅實的高價值數據基礎。
參考文獻
[1]涂子沛.大數據:正在到來的數據革命[M].桂林:廣西師范大學出版社,2012.
[2]維克托·邁爾—舍恩伯格,肯尼斯·庫克耶·大數據時代[M].杭州:浙江人民出版社,2013.
[3]陳潭.大數據時代的國家治理[M].北京:中國社會科學出版社,2015.