電能量計量數據質量管理研究與應用

鄭 龍，張明明

ZHENG Long1, ZHANG Ming-ming2

（1.中國南方電網公司 市場交易部，廣州 510623；2.中國南方電網公司 科學研究院，廣州 510623）

0 引言

數據信息是企業重要的戰略資源，合理有效的整合和使用正確的數據可幫助企業作出正確的決策，提高企業的競爭力，使用不正確的數據（即數據質量差）可能導致企業高層決策的失敗，給企業帶來損失，正可謂差之毫厘、謬以千里。目前已經有相當大部分企業意識到數據信息和數據質量的重要性，專門成立了數據質量管理相關的部門來管理數據方面的工作，確保企業數據信息的準確性和真實性。

電能量計量相關數據（有功無功電能、三相電流、三相電壓、負荷、電能質量、功率因素、諧波數據、失壓斷相、電壓合格率等）作為電力有關部門進行交易結算、市場分析、成本核算、內部管理的重要數據，是電力管理部門、發電部門、供電部門等單位必備的核心數據。電能量計量數據質量的好壞，不僅直接關系到電能量計量相關系統能否更好發展下去，更能影響電力相關企業高層決策的成敗。

隨著我國電力系統規模的迅速發展以及電力系統經營和管理體制的改革，電網企業的經營管理越來越市場化，電能量計量數據的重要性也日益突顯。我國的大型電力公司對電能量計量系統的建設也作了詳細規劃，并投入大量資金逐步進行建設，國家電網公司建設了以負控、配變監測、低壓集抄系統為主體的電力用戶用電信息采集系統，中國南方電網公司建設了包括廠站遙測系統、負控、配變監測和低壓集抄系統為主體的計量自動化系統。這些電能量計量系統的建設基本都采取全覆蓋、全采集、大集中和精細化管理的工作思路，因此都集中了海量的電能量數據，然而在系統建設過程中由于涉及面廣、節點環節多、數據量大，任何一個節點數據質量問題都將可能導致后續對應功能無法正常發揮。加之現在由于各級系統建設尚未完善，因此收集上來的海量電能量數據無法進行有效利用，使電能量計量系統大量的資金投入暫時未能達到預期的效果?，F階段系統存在問題有：計量點數據不能按時采集、電廠上網電量臨時調整未及時通知同步更新、數據出現問題后沒有專門的部門去處理、匯總電量與分項電量不匹配等等，導致了數據的不準確。在計量自動化系統的實際應用中，作為計量應用的電能數據必須要求精準，因此提高電能計量數據質量是電能計量系統成功建設的必要條件。

除了系統本身的原因外，電能量計量平臺系統建設通常參照金字塔模式由低到高逐級上傳數據，比如地區級到省級，省級到總部企業級，而在計量數據的逐級上傳集成中，時常出現電量計量數據質量問題，最終影響上級系統的正常運行以及企業高層決策：如基層數據不準確導致上層數據錯誤、上傳數據無審核機制確保數據準確、各種原因缺數據、上傳數據缺對應檔案、高層需求與基層供給矛盾等等方面。

數據質量不準確的具體原因大致表現在兩方面：

1）技術方面

（1）電能量計量系統間接口規范不完善；

（2）電能量計量系統無數據有效檢查功能；

（3）無數據質量處理流程技術環節；

（4）其他技術原因。

2）管理方面

（1）無專門的數據質量管理部門；

（2）無嚴密的數據質量處理管理規程；

（3）系統運維支持措施不到位；

（4）對各級電能量計量系統的管理責任界定不清；

（5）其他管理原因。

本文將針對電量計量數據系統運行中常會出現的數據質量問題進行專題研究，并以南方電網計量數據平臺系統為案例進行實踐應用研究。

1 電能量計量數據質量管理研究

數據質量包括數據本身的數據質量和數據的過程質量，數據本身的數據質量包括三方面：數據的真實性、數據的完備性和數據的自洽性。其中數據的自洽性尤為重要，也最易為人所忽視。數據并不是孤立存在的，數據之間往往存在著各種各樣的約束，這種約束描述了數據的關聯關系，數據必須能夠滿足這種數據之間的關聯關系，而不能夠相互矛盾。除了數據的絕對質量外，在利用和存貯數據的過程中所產生的數據質量，包括使用質量、存貯質量和傳輸質量，稱之為數據的過程質量。

數據質量管理包括數據質量檢查監控和數據質量問題處理流程兩部分內容，數據質量檢查監控分為物理數據檢查與業務數據檢查，物理數據檢查是指純粹從技術上保證數據的有效性，與業務無關，而業務數據檢查則是基于業務考慮，對原始數據以及最終的業務統計數據之間的邏輯平衡性檢查，通過這些檢查監控，可及時發現數據問題并解決問題，同時也能根據這些檢查結果提前知道可能產生的后果，為后續的業務分析報告作出進一步的修正和完善。對于數據質量問題處理流程則是與企業管理制度有關，可結合系統維護單位的職能管理結構進行科學布置，從而使系統的數據質量問題能得到有效的處理（陳志泊，2009）。

電能量計量數據通常包括有功無功電能、三相電流、三相電壓、負荷、電能質量、功率因素、諧波數據、失壓斷相和電壓合格率等類型數據，根據電量計量業務應用及電能量計量系統的管理需要，系統還應關聯廠站、線路、主變、表計、匯總對象等基礎檔案數據以及四分線損、匯總對象、計劃值等統計數據，本文將結合數據質量的基本概念統一考慮，電能量計量數據質量管理大致表現為以下兩個方面。

1.1 提高電能量計量數據本身的數據質量

1）電能量計量數據有效性、合理性檢查。包括電量超過最大值，電量小于零檢查、計量點表碼數據奇異無效、計量點旁路換表電量計算錯誤等檢查。

2）電能量計量數據完備性檢查。包括電能量計量各費率數據是否齊全、電能總與各分費率之和是否相等、各功率類型計量數據是否齊全、上層結算應用數據是否齊全、計量點(主變、母線、匯總對象等設備對象)檔案是否缺失、計量業務參數缺失、計量點電量缺失、電量追加是否正確、計量滿度計算錯誤等檢查。

3)電能量計量數據自洽性檢查。包括匯總對象電量與分電量是否匹配、匯總對象電量是否齊全、匯總對象計算公式是是否合理等數據自洽性檢查。

4）提高電能量計量數據過程質量。電能量計量系統之間接口規范統一，而且接口規范具備完備的校驗規則；下級系統數據修改能及時自動上傳到上級系統中，確保上下數據完全一致；系統數據存儲采用雙機冗余模式設計，并實施完備的數據備份方案，保證數據安全可靠。

1.2 電能量計量數據質量問題流程化管理

1）搭建機構。建立專門的組織部門管理電能量計量系統并負責處理電能數據質量問題。

2）明確流程。針對各級電能量計量系統的實際情況，制定電能量計量系統的管理規范，明確責任主體和數據質量問題處理流程。

3）閉環管理。數據問題處理流程參照問題單管理模式，系統可生成問題處理單，系統維護人員登錄數據質量管理系統，查看上傳數據問題單，根據問題單的內容描述進行處理，處理結果可實時查詢，根據各單位問題處理的結果進行統計報告，實現數據問題流程化閉環管理，電能量計量數據質量問題處理流程圖如圖1所示。

圖1 電能量計量數據質量問題處理流程圖

2 數據質量管理在電能量計量系統中的實踐應用

根據南方電網二次系統“十一五”規劃及營銷自動化信息化規劃要求, 南方電網電量計量數據平臺系統分二期建設，第一期在五省（區）及跨省電能量計量系統的基礎上建設，匯總南方電網220kV及以上電壓等級的廠站關口計量數據，并進行統計分析；第二期在五省（區）營銷綜合分析系統的基礎上建設，匯總10kV及以上電壓等級的電量及負荷數據，并進行綜合實用化分析。具體目標如下。

1）實現對南方電網內所有220kV及以上電壓等級廠站計量點、網間交換關口點及省網統調電廠上網關口點的電能量計量數據的匯集，滿足南方電網公司電量考核的要求。

2）從?。▍^）電能量計量系統接收直購電用戶及電力市場所需電力用戶的電能量計量數據，實現南方電網電量監測分析、西電東送線路監測、直購電分析、線損分析、非競價電量結算等功能。

3）連接?。▍^）和跨省電能量計量系統（如圖2所示南網計量數據平臺連接關系圖），建立網、省電能量計量數據交換接口機制；按主題進行分線、分壓電能量分析、線損計算；建立電能量分析、線損分析信息發布平臺。

圖2 南網計量數據平臺接入關系圖

南方電網電量計量數據平臺系統是為南方電網電力市場及營銷決策分析提供服務的電量計量數據匯總統一數據平臺。目前系統一期項目已經順利完成，建成了南方電網統一關口計量數據中心，能夠自動采集超高壓輸電公司、廣東、海南電網公司220kV以上聯絡線關口電量數據和發電廠上網電量數據，滿足南方電網公司對網省統調電廠及西電東送線路電量監測分析要求，在實現數據采集、電量監視、指標監視、數據分析、報表分析、檔案管理、工況監視和相關系統進行數據交換以及自動快速定位和分析異常數據等功能的同時實現了對公司電量考核、電量監測分析、西電東送線路監測、直購電分析、線損分析、非競價電量結算的技術支持。為滿足南方電網總部電子化結算要求，還著重完善系統與相關系統的接口規范，消除實際應用中的缺陷。

南方電網電量計量數據平臺系統技術升級和改造包括提高數據質量、實用化功能開發和完善運行管理等方面內容，為確保電能量計量系統正常運行以及實用化功能正常應用，將重點實施數據質量管理研究并實施的工作，結合電能量計量數據質量管理研究內容，下面重點從技術方面和管理方面闡述項目的在數據質量管理方面的實踐應用。

2.1 技術方面

南方電網計量數據平臺數據質量管理包括數據質量檢查，如各省區基礎檔案檢查、計量點表碼數據檢查、電量合理性和越限檢查、匯總對象電量統計等檢查功能，從技術上實現計量數據問題單產生、問題單處理、問題統計報告等功能，電量計量平臺數據質量管理總體功能框圖如圖3所示。

圖3 電量計量平臺數據質量管理功能框圖

比如電廠關口電量數據小于0、電廠上網電量同比相差較大比例、云南送廣東總電量與分項電量不匹配、三峽送廣東電量環比大幅度變化、某廠站線路有代路發生但總電量中無旁路電量，統調電廠關口電量數據有但無對應檔案、某省系統上傳數據不及時等等系統都將產生數據質量報告，并通過流程化管理方式，下發到各維護單位。

完善網省之間接口規范，并拓展配電網數據接入規范，為平臺系統二期項目實施作技術準備，通過接口規范完善既能保證數據上傳過程中的數據真實性合理性，又能保證數據修改后及時上傳準確計量數據，確保電能量計量數據上下保持一致性，比如某省已經上傳非統調電廠的上網數據，但是由于某些原因需要調整個別關口點的電量，并已在省計量系統中修改關口點電量和上網電量，修改后將立即產生觸發信息并上傳修改數據，同時注明修改原因并在修改數據上打上標記。

在系統實踐中，如電廠關口電量數據小于0、某省系統上傳數據不及時等屬于計量數據本身有效性問題，在數據質量管理中采取實施計量數據合理性檢查并記錄數據不合理類型錯誤；電廠上網電量同比相差較大比例、三峽送廣東電量環比大幅度變化、某廠站線路有代路發生但總電量中無旁路電量等屬于計量數據的自洽性問題，在數據質量管理中采取實施計量數據自洽性檢查并記錄數據自洽性類型錯誤；云南送廣東總電量與分項電量不匹配、統調電廠關口電量數據有但無對應檔案等問題屬于電能量計量數據自洽性檢查問題，在數據質量管理中采取實施計量數據的完備性檢查并記錄數據不完備類型錯誤。在形成錯誤記錄后，形成數據質量問題報告，以問題單形式提交報告下發各維護單位處理。對于某省已經上傳非統調電廠的上網數據但是過后發生修改未及時上傳的問題屬于電能量計量數據過程質量問題，系統中采取修改完善并統一接口規范解決。

2.2 管理方面

1）成立企業級電能量計量管理中心，負責制定各級電能量計量系統管理制度和數據質量考核制度及相關功能標準，對于電能量計量系統運行中出現的新問題組織相關部門協調處理，確保電能量計量相關設備和系統運行正常。

2）利用技術手段對電能量計量平臺系統運行中出現的數據質量問題進行匯總，并以問題單的方式下發各基層單位，定期對數據質量問題處理結果進行分類統計報告。

在系統實踐中，電能量計量管理中心作為系統的主管部門，制定電能量計量數據質量的管理規范和處理流程，通過系統的數據質量管理功能，自動生成各類數據質量各類問題報告單，并提示數據質量問題處理建議，各級維護單位通過技術系統查看報告，并按照規范和流程處理數據質量問題，系統管理人員通過數據質量問題單處理結果匯總處理結果信息，并監督各維護單位做好數據質量管理。

3）制定電能量計量平臺系統日常運行管理制度，明確管理的范圍、目標和要求，確保系統連續穩定運行，協調安排系統現場支持工程師，負責系統日常維護工作，并對系統中出現的技術問題和新需求進行及時處理。

通過在南網電能量計量平臺系統技術改造中實施數據質量管理，從提高電能量計量數據質量的各個方面入手對現有系統進行全面技術改造和管理提升，初步取得以下成效。

1）數據方面：目前系統月接入數據記錄約1500萬條，日均接入數據記錄約50萬條并能夠自動完成電量數據的異常校驗、環比分析、同比分析等。已數據量最大的廣東省為例，數據準確率完整率達到99%以上。此外，系統擬在今年內實現網間結算的電子化。

2）機制方面：搭建機構明確職責。建立電能量計量管理中心，建立相應的管理規范和流程，明確人員設置和職責，監督管理電能量計量設備和系統的正常運行。規范數據接入標準。規范網省電能量計量系統間的數據接入標準、格式和內容，基層系統數據修改后及時上傳，確保上下級系統數據保持一致。

3）系統方面：快速檢測和報告數據質量。結合計量點電量數據、匯總對象數據、關口結算數據等相互之間的邏輯關系，從技術上建立完善的數據檢測功能，并及時報告給系統維護人員。實現數據質量問題處理常態化閉環管理。根據電能量計量系統運行中出現電能數據質量問題形成問題單，并按照制定的流程常態化閉環管理。

3 結束語

電能量計量數據質量管理主要通過研究電能量計量數據特征及相互邏輯關系，結合數據倉庫數據質量管理相關理論和應用成果，對電能量計量數據實施數據質量管理：數據質量檢查監控；數據質量問題流程處理，從而提高了電能量計量數據本身的數據質量和電能量計量數據的過程質量，通過在南方電網電量計量數據平臺系統中實施數據質量管理：成立企業級的電能量計量管理中心，協調處理計量設備和系統運行問題，確保各省區上傳數據出現的數據質量問題能夠及時準確地被發現，并從技術上協助用戶對數據質量問題進行有效的處理，保證南方電網計量數據平臺系統正常的應用功能，更好地為南方電網電力市場及高層決策分析服務。

通過在南網電能量計量平臺系統中實施數據質量管理不僅為電能量計量系統建設發展提供了技術保障，也為電力企業其它信息化系統如南網電能質量數據分析系統、南網電力客戶呼叫中心數據分析系統等大容量數據分析系統的順利建設提供重要的借鑒意義。

[1]雍俊海. Java程序設計(第二版)[M]. 清華大學出版社,2007.

[2]陳志泊. 數據倉庫與數據挖掘[M]. 清華大學出版社,2009.

[3]Bruce Eckel. 侯捷, 譯. Java編程思想第1版[M]. 機械工業出版社, 2005.

[4]Joshua Bloce, 著. 潘愛民, 譯. Effetive Java中文版(第4版)[M]. 機械工業出版社, 2004.

[5]楊國慶, 盧有龍. 加強關口電能計量管理, 為區域電網電力市場提供技術支撐[J]. 華東電力, 2008, (36): 48-49.

[6]蔣川, 楊再生. 綜合計量管理系統的設計和應用效果[J].中國計量, 2008, (2):107-108.

[7]Dalenius, T., 1983. Errors and Other Limitations of Survey,Statistical Methods and the Improvement of Data Quality.London: Academic Press Inc.

[8]Wang, R.Y, D.M.Strong, and B.K.Kahn. 1999. “An Information Quality Assessment Methodology.” Proceedings of the International Conference on Information Quality.

[9]Yang, L., R.Y.Strong, and B.K.Kahn. 2002.“AIMQ:a Methodology for Information Quality Assessment.”Information & Management, 15(2): 134-143.

[10]吳毅杰, 張志明. C/S與B/S的比較及其數據庫訪問技術[J].艦船電子工程, 2003, (02).

[11]中國南方電網市場交易部.南方電網電量計量數據平臺系統[Z]. 2009.

[12]廣東省電力設計研究院.南方電網電量計量普通系統信息編碼[Z]. 2009.

[13]中國南方電網有限責任公司. 地區供電局營銷自動化系統主站功能規范[Z]. 2008.