基于電網數(shù)據(jù)中臺數(shù)據(jù)質量校驗的探索與研究

趙小凡，杜舒明，梁雪青

摘 要：電網數(shù)據(jù)中臺建設和實踐探索的目的是夯實電網數(shù)據(jù)應用基礎，提升數(shù)據(jù)應用的質量以及服務水平，借助技術手段，采集、分析數(shù)據(jù)，彌補數(shù)據(jù)系統(tǒng)存在的漏洞。文章圍繞電網數(shù)據(jù)中臺數(shù)據(jù)質量展開探索，提出數(shù)據(jù)質量校驗的實踐方案，為政府科學決策、電網建設與質量服務效能提升、資源共享與數(shù)據(jù)精準分析等方面提供參考。

關鍵詞：電網數(shù)據(jù);數(shù)據(jù)質量;數(shù)據(jù)校驗

中圖分類號：C39 文獻標識碼：A 文章編號：1674-1064（2021）12-0-03

DOI：10.12310/j.issn.1674-1064.2021.12.018

電網質量保障要確保電力調度系統(tǒng)中各類運行數(shù)據(jù)正常傳輸，依靠技術手段和平臺建設，解決數(shù)據(jù)采集、數(shù)據(jù)傳輸、外界因素的影響和網絡傳輸速度延遲等問題，保障數(shù)據(jù)運行中不會因為上述不正常因素造成傳輸中斷，造成源數(shù)據(jù)異常和錯誤，影響和干擾數(shù)據(jù)調度綜合數(shù)系統(tǒng)中數(shù)據(jù)運行的正確性與及時性。因此，需要可靠的數(shù)據(jù)質量校驗方法，保障各類數(shù)據(jù)質量以及系統(tǒng)運行穩(wěn)定。

1 電網企業(yè)數(shù)據(jù)平臺和系統(tǒng)功能優(yōu)化的背景

結合國家電網企業(yè)相關數(shù)據(jù)分析，接入智能電表等各類終端5.4億臺，采集數(shù)據(jù)日增量超過60 TB，車聯(lián)網接入充電樁超過28萬個，電商平臺注冊用戶2.25億，在線采集全國約4.71億用戶的用電信息，線上繳費率超過50%。電網企業(yè)信息化系統(tǒng)建設為業(yè)務進展和企業(yè)經營提供支持，保障電網運行穩(wěn)定和數(shù)據(jù)傳輸暢通無阻，為電力用戶提供優(yōu)質的服務，實現(xiàn)各級業(yè)務展開和部門及時溝通，并以信息化手段全方位監(jiān)測電力系統(tǒng)。

雖然借助技術手段處理電力系統(tǒng)數(shù)據(jù)以及業(yè)務開展有很大的優(yōu)勢，但是也存在一些不足之處：一是電力業(yè)務上仍是“部門級”，各業(yè)務系統(tǒng)圍繞各自部門的業(yè)務單獨運用，造成業(yè)務流程斷點，形成數(shù)據(jù)壁壘;二是技術上信息化資產和能力未能積累，電力系統(tǒng)中的業(yè)務服務能力和數(shù)據(jù)共享與處理能力都相對薄弱，建設成本投入較大;三是管理和服務理念上有待強化。

從現(xiàn)階段各部門系統(tǒng)數(shù)據(jù)的實際應用看，各部門仍未充分發(fā)揮數(shù)據(jù)在業(yè)務運行、工作效率等方面的作用和價值，要完整采集所有數(shù)據(jù)信息，實現(xiàn)數(shù)據(jù)信息的實時共享，挖掘數(shù)據(jù)信息的作用價值，確保數(shù)據(jù)信息在各部門業(yè)務運行中的價值最大化。針對這一現(xiàn)狀，首要任務是要采集與整合數(shù)據(jù)資源，加強數(shù)據(jù)資源的實時共享與對外合作程度，全面優(yōu)化改進中臺系統(tǒng)。數(shù)據(jù)中臺能夠將系統(tǒng)的前臺與后臺有效銜接，通過加強數(shù)據(jù)的建模、數(shù)據(jù)信息的聚合，創(chuàng)建多元化的系統(tǒng)平臺，更好地支撐前臺與后臺的運作。

數(shù)據(jù)中臺與企業(yè)部門業(yè)務活動聯(lián)系密切，在企業(yè)業(yè)務運作中發(fā)揮至關重要的優(yōu)勢作用。一方面，通過建立完整的數(shù)據(jù)模型實現(xiàn)了數(shù)據(jù)信息的準確出入，最大限度地避免了多個數(shù)據(jù)源數(shù)據(jù)信息重復歸集的現(xiàn)象產生，提升了系統(tǒng)處理和分析數(shù)據(jù)的運行質量和效率;另一方面，節(jié)省系統(tǒng)數(shù)據(jù)處理時間和成本，通過提高處理運行效率，減少數(shù)據(jù)信息重復濫用現(xiàn)象。

2 數(shù)據(jù)應用系統(tǒng)功能分析

2.1 數(shù)據(jù)校驗與修復

數(shù)據(jù)校驗功能要立足于長期業(yè)務工作，并對其各項業(yè)務數(shù)據(jù)經過系統(tǒng)分析總結而成。國家電網經過數(shù)據(jù)中臺建設可以在綜合數(shù)據(jù)調度平臺運行中及時發(fā)現(xiàn)和解決各種問題，根據(jù)企業(yè)業(yè)務的實際需求應用系統(tǒng)對數(shù)據(jù)分析，經過數(shù)據(jù)校驗與修復建立數(shù)據(jù)規(guī)則庫，利用數(shù)據(jù)規(guī)則庫確定問題解決的路徑，通過一系列規(guī)則建立推理過程[1]。

數(shù)據(jù)校驗與修復的具體操作方案可以通過同步與采集組件從外系統(tǒng)接入模型設備信息和各類運行數(shù)據(jù)，然后校驗數(shù)據(jù)。如果校驗結果顯示數(shù)據(jù)問題，就會自動根據(jù)相應的規(guī)則進行修復，再將修復的結果錄入數(shù)據(jù)庫，反映至人機界面，便于用戶判斷及操作。

2.2 缺失數(shù)據(jù)處理

數(shù)據(jù)平臺采集數(shù)據(jù)會出現(xiàn)數(shù)據(jù)缺失的情況，對后續(xù)數(shù)據(jù)分析和處理造成很大的影響，要盡可能彌補統(tǒng)計領域和數(shù)據(jù)庫領域數(shù)據(jù)缺失造成的損失。

統(tǒng)計領域中處理缺失數(shù)據(jù)的方法主要有單一填補法和多重填補法。單一填補法是對缺失的數(shù)據(jù)構造單一替代數(shù)據(jù)進行填補，填補方式通常有平均值或中間數(shù)填補法、回歸填補法、最大期望填補法、hot deck填補法等。其中，hot deck填補法采用與缺失數(shù)值最相似的觀測變應量值作為填充值，但其無法準確反映原有數(shù)據(jù)的情況，因為相似性填補方式會造成數(shù)據(jù)集的不確定性，產生數(shù)據(jù)偏差[2]。多重填補法是通過應用多個數(shù)據(jù)值進行填補，其優(yōu)勢在于通過對缺失數(shù)據(jù)分布情況的模擬保持變量之間的關系，通過采集完整數(shù)據(jù)集，利用系統(tǒng)規(guī)則獲得相應的結果，填補方式通常有趨勢得分法等。

2.3 異常數(shù)據(jù)檢測

數(shù)據(jù)出現(xiàn)異常情況主要由兩種原因造成：一是數(shù)據(jù)的固有變異性;二是度量或執(zhí)行錯誤。

檢測與校驗數(shù)據(jù)異常問題的方法要通過數(shù)據(jù)審計，深入挖掘數(shù)據(jù)質量。第一，數(shù)據(jù)概化，采用數(shù)據(jù)統(tǒng)計方式概化描述數(shù)據(jù)分布，并自動獲取數(shù)據(jù)的分布特點以及相關情況。第二，圍繞個別數(shù)據(jù)質量問題以及異常情況進一步挖掘和分析，可以將數(shù)據(jù)按照距離細化為不同的數(shù)據(jù)層，按照每一數(shù)據(jù)層統(tǒng)計數(shù)據(jù)特征，結合定義的距離算出每個數(shù)據(jù)節(jié)點與中心的距離，以此作為判斷數(shù)據(jù)異常的依據(jù)。第三，采用數(shù)據(jù)統(tǒng)計發(fā)現(xiàn)數(shù)據(jù)異常情況，這種方法大體依靠數(shù)據(jù)挖掘算法，通過數(shù)據(jù)算法準確辨別數(shù)據(jù)異常情況，挖掘數(shù)據(jù)價值，在此基礎上采用決策樹算法進行數(shù)據(jù)模擬，通過數(shù)據(jù)算法發(fā)現(xiàn)數(shù)據(jù)偏差[3]。

2.4 邏輯錯誤檢測

數(shù)據(jù)編輯修正研究的核心內容在于運用自動化方法，尋找并解決與業(yè)務邏輯運行相違背的數(shù)據(jù)錯誤，對此，要充分考慮到電力調度范圍內各項數(shù)據(jù)的不同特點，針對不同數(shù)據(jù)的不同特征實現(xiàn)具體化、差異化應用，最大程度地反映數(shù)據(jù)邏輯錯誤。

對于這一方式的數(shù)據(jù)錯誤檢測思路，主要是以相關領域的知識原理為應用基礎，建立起相應的規(guī)則體系，借助自動化設備、技術，實現(xiàn)各項數(shù)據(jù)的自動化處理，這種自動化處理結果主要通過嚴謹?shù)臄?shù)學模型，體現(xiàn)各項數(shù)據(jù)的實際變量，同時依據(jù)相應的數(shù)據(jù)編輯修正規(guī)則有針對性地做出最小的改動，以達到規(guī)則要求的實際效果。

2.5 不一致數(shù)據(jù)處理

電力調度范圍內常會出現(xiàn)多個獨立數(shù)據(jù)源相互重疊。數(shù)據(jù)內容相互重復的現(xiàn)象，造成數(shù)據(jù)不一致、不統(tǒng)一的情況，而多幾個數(shù)據(jù)源數(shù)據(jù)內容的集成清晰成為當前最重要的內容，如何從數(shù)據(jù)不一致情況中提煉出最精確的數(shù)據(jù)結果是集成清晰工作面臨的一大難題。當前主要通過排序、融合和依據(jù)規(guī)則的方式，進行不一致數(shù)據(jù)處理，系統(tǒng)平臺將不一致數(shù)據(jù)自動識別為上下獨立性沖突和依賴性沖突。獨立性沖突受到外部環(huán)境隨意性因素的影響而導致出現(xiàn)數(shù)據(jù)不一致情況，因而常需要通過人為干預和固定的方式進行處理。依賴性沖突多受到系統(tǒng)內部不同數(shù)據(jù)源之間的差異、重疊等因素的影響，針對這種情況常通過轉換系統(tǒng)內部學習規(guī)則，運用相關知識原理加強系統(tǒng)學習的方式，解決數(shù)據(jù)不一致問題。

除此之外，要評估各項數(shù)據(jù)值依據(jù)不同的指標參數(shù)，注重評估值的完整性，依據(jù)各項數(shù)據(jù)值的線性組合序列確定唯一可信的數(shù)據(jù)值。

3 質量校驗方法實踐分析

3.1 數(shù)據(jù)校驗索引的構建

基于關聯(lián)規(guī)則電網不安全大數(shù)據(jù)下獲取的不安全數(shù)據(jù)，要針對這類不安全數(shù)據(jù)利用電網大數(shù)據(jù)技術進行質量校驗研究，對于計算出的誘發(fā)度，以增量式校驗方法全面校驗誘發(fā)因子，確定增量數(shù)據(jù)記錄結果。

隨著電網企業(yè)業(yè)務數(shù)據(jù)的增多，數(shù)據(jù)質量校驗涉及的數(shù)據(jù)為結構化數(shù)據(jù)，所有數(shù)據(jù)都會如實記錄在HBase表中，要及時更新數(shù)據(jù)，校驗數(shù)據(jù)庫中的歷史數(shù)據(jù)及增量數(shù)據(jù)，結合數(shù)據(jù)規(guī)則完成相應處理。對增量式校驗要保障在電網大數(shù)據(jù)誘發(fā)計算結果全部錄入并儲存到基準表。電網每天會產生1萬左右的數(shù)據(jù)量，為提高數(shù)據(jù)質量，要對比電網大數(shù)據(jù)，對照基準表每條數(shù)據(jù)記錄，經過數(shù)據(jù)索引，檢索兩張表中是否同時存在某一待比對字段值，其對應的記錄是否一致，完成對電網數(shù)據(jù)記錄和數(shù)據(jù)校驗。

此外，要結合數(shù)據(jù)校驗規(guī)則，設計快速數(shù)據(jù)索引表。要結合數(shù)據(jù)校驗的索引構建，建立快速索引和存儲機制，提高數(shù)據(jù)校驗的計算速度，提高數(shù)據(jù)質量校驗效果。

3.2 數(shù)據(jù)中臺設計的總體思路

建設數(shù)據(jù)中臺要圍繞需求導向，結合電力企業(yè)的業(yè)務及數(shù)據(jù)分析應用的需求，設立數(shù)據(jù)校驗統(tǒng)一標準，建設數(shù)據(jù)模型，實現(xiàn)數(shù)據(jù)接入轉換和整合貫通，突破數(shù)據(jù)壁壘，建立健全電網企業(yè)數(shù)據(jù)質量把控與服務管理體系，打造電網建設、電力產業(yè)以及金融經濟等各個模塊的數(shù)據(jù)互通共聯(lián)，實現(xiàn)數(shù)據(jù)接入、傳輸及整合，提升數(shù)據(jù)應用的服務效能。

第一，打造電力企業(yè)數(shù)據(jù)共享的管理體系要融合人員、組織、客戶、供應商等各項數(shù)據(jù)，建立多維度管理內容。

第二，圍繞企業(yè)大數(shù)據(jù)應用，要積極開發(fā)數(shù)據(jù)化產品，利用企業(yè)內外數(shù)據(jù)支撐數(shù)據(jù)管理體系和數(shù)據(jù)分析應用的構建，提高數(shù)據(jù)服務能力，推動企業(yè)數(shù)據(jù)運營和系統(tǒng)服務水平，利用各種數(shù)據(jù)分析和校驗方法挖掘其價值。

第三，要建立企業(yè)內外管理一體化，集政府決策、社會服務、領導決策等內容的精細化管理，實現(xiàn)內外互通，支撐企業(yè)內部決策與管理，并對外為社會提供服務，積淀具有高價值的數(shù)據(jù)服務空間。

第四，構建數(shù)據(jù)中臺，要充分借助現(xiàn)代信息技術和通信技術，讓電力系統(tǒng)各環(huán)節(jié)數(shù)據(jù)實現(xiàn)人機交互，提升數(shù)據(jù)采集、獲取信息、靈活應用等能力，建立統(tǒng)一化的數(shù)據(jù)中臺，打造一網通辦、實時數(shù)據(jù)更新的一套業(yè)務流程。

總體來說，為全面加強數(shù)據(jù)中臺系統(tǒng)信息化建設，要從以下幾個方面入手，注重數(shù)據(jù)信息外部價值與內部價值的有機結合。

首先，要充分明確中臺系統(tǒng)建設理念，從數(shù)據(jù)內外部環(huán)節(jié)結合的方向考慮并改進，打破內外部數(shù)據(jù)壁壘，實現(xiàn)數(shù)據(jù)信息內外部環(huán)境的交互作用;制定統(tǒng)一的數(shù)據(jù)標準版，實現(xiàn)數(shù)據(jù)信息出入口徑的統(tǒng)一，為后續(xù)數(shù)據(jù)信息的處理分析以及價值挖掘夯實基礎;重視數(shù)據(jù)信息的資產化功能，通過對數(shù)據(jù)進行收集整合并形成系統(tǒng)建模，促使數(shù)據(jù)信息形成可通用的信息資產。促進中臺數(shù)據(jù)信息與企業(yè)業(yè)務之間的聯(lián)系，通過為企業(yè)決策提供更精確的數(shù)據(jù)分析結果，全面體現(xiàn)數(shù)據(jù)信息的作用和價值;優(yōu)化數(shù)據(jù)的智能化程度，充分利用算法等技術提高數(shù)據(jù)信息的智能化服務水平，為系統(tǒng)前臺、后臺提供更全面的需求。

其次，注重數(shù)據(jù)信息功能作用的重點建設。一是指數(shù)據(jù)的接入，注重數(shù)據(jù)收集轉換、復制遷移等功能的提取，將不同獨立數(shù)據(jù)源有序接入中臺系統(tǒng)。二是指數(shù)據(jù)的管理與存儲、計算，依據(jù)相應的數(shù)據(jù)標準和要求，結合中臺系統(tǒng)提供的多個數(shù)據(jù)源，對各項數(shù)據(jù)實行差異化具體分析與存儲，運用AI算法進行數(shù)據(jù)的分析處理。三是數(shù)據(jù)建模要提取中臺系統(tǒng)內部數(shù)據(jù)集，借助建模工具建立相應的數(shù)據(jù)模型，包括證據(jù)整合模型、分析應用模型等。

最后，中臺系統(tǒng)數(shù)據(jù)信息的服務功能包括數(shù)據(jù)信息的自動化識別記錄以及數(shù)據(jù)智能化監(jiān)控功能，只有明確系統(tǒng)優(yōu)化改進的建設理念與建設功能，才能確保系統(tǒng)設計方案制定的完整性和可行性。

3.3 數(shù)據(jù)校驗與修復的架構

數(shù)據(jù)平臺建設主要用于完成對系統(tǒng)數(shù)據(jù)調度、對外網多元業(yè)務數(shù)據(jù)的采集與質量校對、對歷史數(shù)據(jù)與新的數(shù)據(jù)的整合融通，實現(xiàn)統(tǒng)一化、系統(tǒng)化的數(shù)據(jù)模型構建，完成調度整合數(shù)據(jù)的發(fā)布與共享，通過信息技術和通信技術展現(xiàn)不同階段業(yè)務信息，為調度信息化提供數(shù)據(jù)支持和參考依據(jù)。

對于綜合性數(shù)據(jù)平臺建設的邏輯結構可以劃分為基礎服務層、數(shù)據(jù)整合層、模型層等。基礎服務層主要包含統(tǒng)一任務調度服務、電網社會模型服務、通用數(shù)據(jù)訪問服務、權限管控服務。數(shù)據(jù)整合層主要包含數(shù)據(jù)整合、設備同步、加工處理、管理監(jiān)控、數(shù)據(jù)維護、數(shù)據(jù)校驗、遷移重載、共享發(fā)布。數(shù)據(jù)模型層主要包含電網設備對象模型和整合數(shù)據(jù)模型。通過在其綜合數(shù)據(jù)平臺的數(shù)據(jù)處理層進行數(shù)據(jù)校驗，平臺能夠以最快的速度識別、記錄、校驗和修復，及時發(fā)現(xiàn)數(shù)據(jù)異常問題。

4 結語

電網運行和每天涉及的業(yè)務量會產生大量數(shù)據(jù)，要通過數(shù)據(jù)系統(tǒng)支持完成數(shù)據(jù)質量校驗事務，通過分析不同數(shù)據(jù)完成業(yè)務和工作調度。

在電網信息化建設和運行管理與服務中，涉及內容和影響因素較多，因此，要通過信息技術等手段和平臺建設完成對數(shù)據(jù)的精確測量和分析，通過綜合評價方法系統(tǒng)評估。同時，要圍繞需求導向，以數(shù)據(jù)質量為切入點，建立系統(tǒng)化管理體系。

參考文獻

[1] 谷泓杰，黃麗麗，王佳妮.電網綜合數(shù)據(jù)質量評價系統(tǒng)及其軟件實現(xiàn)[J].電工技術，2021（10）：122-124，128.

[2] 冷俊.大力推進數(shù)字化轉型 打造高質量發(fā)展新引擎[N].國家電網報，2021-04-01（003）.

[3] 梅傲琪，張銳，周立德.以數(shù)據(jù)質量為核心的電網調度數(shù)據(jù)治理應用研究[J].機電信息，2020（33）：14-15.