數據質量核查工具的設計與實現

陸俊 李葵 周明 辛永 陸鑫

摘 要：本項目研究旨在解決一體化電量與線損管理系統的數據集成和實施過程中遇到的數據傳輸路線繁瑣、傳輸時間過長、傳輸過程缺乏有效的監控和問題處理機制以及數據準確性和及時性不能滿足線損計算要求的問題。通過建設數據質量核查工具，實現各專業數據到線損系統傳輸過程監控，完成線損系統中各類數據的合理性校驗，完善的線損數據質量管控機制能夠確保數據的準確、及時和有效。

關鍵詞：線損應用；傳輸監控；數據校驗；質量管控

中圖分類號：TP311.52 文獻標識碼：A 文章編號：2096-4706（2018）08-0047-03

Abstract：The purpose of this project is to solve the problem of complicated data transmission line，long transmission time，lack of effective monitoring and problem handling mechanism in the process of data integration and implementation of integrated electricity and line loss management system，and the problem of data accuracy and timeliness can not meet the requirement of line loss calculation. Through the construction of data quality verification tools，we can monitor the transmission process of various professional data to line loss system，complete the verification of all kinds of data in the line loss system，and improve the quality control mechanism of the line loss data，which ensures the accuracy，timely and effective data.

Keywords：line loss application；transmission monitoring；data validation；quality control

0 引 言

隨著國家電網公司“十二五”信息化系統的建設，線損管理相關業務支撐系統得到了長足的發展。一體化電量與線損管理系統（簡稱同期線損系統）全面推廣應用，系統建設所覆蓋的管理層級、電壓層級、電網設備、用電客戶、計量裝置和采集數據呈幾何級急速增長，系統已經面向各層級、各專業、各基層班組全面開放，實施工作量越來越大，數據治理范圍越來越廣，管控工作越來越困難。在同期線損系統建設過程中，發現多系統間關聯、數據傳輸過程及線損管控治理不及時等各類問題。當數據質量出現異常時，能夠及時預警，通知相關專業或部門進行數據消缺，確保數據質量可靠、傳輸穩定、消缺及時，并滿足同期線損系統數據接入要求。同時為進一步加強公司基礎管理，扎實做好同期線損管理系統建設和基礎數據治理工作，確保源端數據從中間平臺到線損數據庫過程中數據傳輸的準確性和效率，通過對傳輸完成的數據進行合理性校驗分析，實現對線損數據質量的管控，促進線損數據治理和同期線損系統建設快速有效進行。

1 同期線損系統存在的問題

隨著同期線損系統建設工作的推進，同期線損系統對電網生產運營數據質量要求越來越高，同期線損系統在數據集成和實施過程中遇到了很大的難題。主要包括以下兩個方面：

（1）數據傳輸模式并非都是全量傳輸，數據傳輸路線繁瑣，傳輸時間過長，傳輸過程沒有有效的監控和問題處理機制，導致存在冗余數據，運維人員不能及時發現和處理問題，從而影響同期線損計算結果；

（2）同期線損系統的基礎數據大都來源于各個業務系統，因各種原因導致數據的準確性和及時性不能滿足線損計算的要求，從而造成線損計算錯誤，且同期線損系統目前的計算周期也較長。線損專責不能及時發現數據質量問題，也不能及時掌握數據治理的效果，工作效率不高。

2 數據質量核查工具的建設目標

建設線損數據質量核查工具的總體目標是充分利用同期線損系統，開發省級線損數據質量管理工具，以加強基礎管理、支撐專業分析、滿足高級應用、實現智能決策為功能主線，實現檔案數據傳輸監控、采集數據傳輸監控、營配關系數據傳輸監控、數據一致性校驗、數據合理性校驗、指標全過程監控和業務全方位貫通協同，實現同期線損系統建設標準化、智能化、精益化和自動化，有力地支撐公司堅強智能電網和現代配電網建設。

通過各專業數據到線損系統傳輸過程監控、線損系統中各類數據合理性校驗，協同各業務系統建立完善的線損數據質量管控機制，確保數據地準確、及時和有效。數據質量核查工具為省級、地市、縣公司和供電所等各級單位線損數據質量治理提供異常清單，與調度、運檢、營銷相關業務融合互動，提升同期線損系統建設的數據質量。

數據質量核查工具建設分為以下三個方面：

（1）開展數據質量核查，實現省級同期線損庫與數據中心、源端系統數據進行比對，發現不一致的數據，并定位到具體環節，降低人工比對數據的投入，為同期線損計算提供數據保障；

（2）開展數據異常分析，利用大數據技術開展高損、負損的異常診斷，列出產生高損、負損的原因，為公司線損治理提供可行性方案，減少人工分析；

（3）開展數據異常監控，把數據責任落實到具體專業和源頭系統，通過數據異常工單能夠實現異常數據及時匯總、及時跟蹤和及時消缺，保障數據治理工作的有序開展。

3 數據質量核查工具的設計與實現

隨著同期線損系統建設的推進，發現多系統間關聯、數據傳輸過程及數據治理沒有有效的核查工具，導致線損所需源段數據不能及時準確地反饋線損數據質量，從而影響日線損、月線損的結果計算。同時線損數據治理工具需根據計算結果進行分析，影響數據治理效率。線損數據質量將圍繞以下四個方面進行設計：

（1）優化數據傳輸過程，進行數據傳輸管理。通過對源段從中間平臺到省級線損數據庫的傳輸過程進行優化，確保線損數據傳輸時間能夠有效支撐日線損計算。通過傳輸時間、數據量等方面對數據進行日志管理和記錄，有效管控數據傳輸時間和傳輸頻度，使地市線損數據治理結果能夠及時得到線損數據質量提高的反饋，促進線損數據治理的進行；

（2） 進行主要線損數據傳輸過程全量數據一致性比對。數據傳輸過程中因為各種原因會導致源段與數據中心，或者數據中心與省級線損庫數據存在差異。工具通過大數據技術將數據抽取到大數據服務進行一致性比對，并將不一致的結果反饋給相關負責人進行數據治理，在不改變數據傳輸通道的前提下，確保線損數據傳輸完整和準確；

（3）進行省級線損數據合理性分析。由于同期線損對各專業數據要求較高，無論是字段，還是與其他業務系統的關聯關系都超出了各業務系統本身的需求。本工具對傳輸到省級線損數據庫的數據進行了線損合理性分析，初步篩選出不合理數據，將結果反饋給相關負責人進行確認和整改，節省了線損專責和運維人員根據線損結果核查數據的大量時間，在線損計算前解決部分問題，提高線損治理效率；

（4）建立符合省級特色的異常診斷界面。對數據傳輸、一致性、合理性和日線損結果進行分析和展現，使各線損專責能夠清楚地查看自己的負責線路、臺區等指標問題及原因，各專責根據實際情況制定問題處理計劃，同時關聯工單系統，及時管控線損治理進度。通過明確問題、分工和管控線損治理進展的方式來促進線損建設。

在同期線損數據核查架構設計上，采用插件式設計模式，減少與現有集成程序的耦合度。改造省級線損同步程序，具體系統結構圖如圖1所示。

數據質量核查工具從以下六個功能模塊進行開發：

（1）數據傳輸優化。對線損檔案和表底數據從源端到中間平臺到同期線損省級數據庫傳輸過程進行優化，同時對傳輸過程中產生的冗余數據進行清洗，將清洗后的數據移至異常數據庫；

（2）數據傳輸管理。制定數據傳輸計劃，記錄傳輸批次號和時間，生成數據傳輸日志，并在數據傳輸過程中進行數據一致性比對；

（3）數據合理性分析。對已抽取至線損庫的數據進行合理性校驗分析，并對異常數據進行標紅處理，連同臟數據一起發送至備份數據庫，供源端整理分析。對不合理數據進行異常數據標記處理后，通過工單系統發送至各源段系統負責人處；

（4）線損異常診斷。完善線損管理界面，針對線損異常做統計和細化分析，除了滿足同期線損系統需求的基礎頁面外，針對安徽省個性化頁面展現需求，充分滿足安徽同期線損系統治理要求，輔助線損專責查找線損異常原因；

（5）報表管理。對傳輸異常和異常數據分析等結果進行分類匯總，結合工單系統發送至各相關負責人；

（6）系統管理。通過權限管理做到每個角色只負責自己管轄的數據，通過工單系統將問題提交給各級系統角色，充分發揮系統積極性。

4 數據質量核查工具的效益分析

（1）對各類線損數據傳輸過程進行監控，確保源端數據完整地傳輸到線損系統，增加傳輸效率，減少線損實施人員的數據核查時間；

（2）線損數據質量核查工具采用大數據技術對數據傳輸過程中的數據進行一致性校驗，解決數據傳輸過程問題，加快同期線損系統數據治理和指標建設進度；

（3）實現電量與線損本地化計算，做到電量與線損異常數據早發現、早治理，提高線損數據治理效率；

（4）對傳輸到線損庫的數據進行合理性分析，并分類導出數據異常結果。提高各業務系統線損數據治理工作效率，加快各地市數據治理速度，提升同期線損系統建設效果；

（5）根據角色不同、顯示不同的線損數據，做到線損建設過程責任到人，提升地市同期線損建設效率。

5 結 論

本文在同期線損系統的基礎上建設數據質量核查工具，圍繞數據傳輸優化、數據傳輸管理、數據合理性分析、線損異常診斷、報表管理和系統管理這六個方面建設數據質量核查工具。數據質量核查工具通過對線損系統數據傳輸過程進行監控、對各類數據合理性進行校驗以及協同各業務系統建立完善的線損數據質量管控機制，確保了數據的準確、及時和有效。數據質量核查工具為省級、地市、縣公司和供電所等各級單位線損數據質量治理提供異常清單，與調度、運檢和營銷相關業務融合互動，提升了同期線損系統建設的數據質量。

參考文獻：

[1] 國家電網公司.關于國家電網公司“五大”體系建設總體方案的報告 [R].北京：國家電網公司，2011.

[2] 國家電網公司.關于國家電網公司“大規劃”體系建設方案的報告 [R].北京：國家電網公司，2011.

作者簡介：陸俊（1983.03-），男，漢族，安徽合肥人，高級工程師，碩士研究生。研究方向：電力通信新技術應用、信息通信調度管理、基建通信工程管理、電力信息化建設。