基于ETL技術的電能計量設備全方位檢測方法體系研究與實現

闕華坤，林國營，陳啟冠

(廣東電網有限責任公司電力科學研究院，廣東 廣州 510080)

基于ETL技術的電能計量設備全方位檢測方法體系研究與實現

闕華坤，林國營，陳啟冠

(廣東電網有限責任公司電力科學研究院，廣東 廣州 510080)

隨著電網自動化水平的不斷提高，傳統的電能計量設備現場檢驗模式已遠遠滿足不了實際應用需求。針對這種情況，本文提出基于分布式處理技術的電能計量設備遠程狀態檢測方法體系。重點論述了海量數據處理模式下的遠程檢測方案設計和方法實現，應用回路檢查矢量分析算法，提出并建立了基于ETL技術的電能計量設備遠程狀態全方位檢測方法體系。實驗結果表明，利用該方法體系能遠程、高效開展計量回路檢查、誤差比對、時鐘比對等檢測內容，可有效代替現場檢測工作，及時發現和查處存在的異常用電行為，提高企業經濟效益和設備管理水平。

用電信息采集；電能計量設備；遠程檢驗；矢量分析；誤差測試；ETL

0 引言

隨著配、用網自動化水平的提高，電能計量設備覆蓋范圍越來越廣，現場安裝環境具有點多面廣、環境復雜等特點。傳統的電能計量設備運行狀況檢測，主要依托“人海戰術”進行現場檢驗，工作量大，同時消耗大量的人工、車輛、儀器等成本；另外，廣東全省現有超50萬臺的智能計量終端，超過3000萬只計量表計，采集數據項和告警信息幾十余項，日數據達千萬條、50GB之多，如何利用自動采集的海量數據，進一步提高設備管理精益化、集約化水平，減少電能計量設備的安全風險，節約客戶服務成本，亟需通過自動化手段實現對電能計量設備的遠程狀態檢測。文獻[1]和文獻[2]研究了電能表的遠程誤差校驗和測算方法，但均未考慮回路檢查、時鐘的比對檢查等狀態檢測方法；另外，文獻[2]雖然給出了直接誤差的測算方法，但是無法計算出檢驗后的綜合誤差。本文基于海量數據模式下ETL處理技術，利用用電信息采集系統自動采集的豐富電能量數據和告警信息，實現電能計量設備多指標、多維度的遠程狀態全面檢測。

1 研究內容

本文研究利用用電信息采集系統實現對電能計量裝設備的實時狀態檢測。基于海量數據處理模式，對裝設于現場的電能計量設備的運行參數和運行信息進行采集，結合檔案信息和歷史數據，應用矢量分析檢測算法，實現對電能計量設備的遠程狀態檢測。本文研究內容主要包含以下幾個部分：

（1）海量數據ETL技術：將用電信息采集系統采集回來的分布的、異構數據源中的數據抽取到臨時中間層后進行清洗、轉換、集成，而后加載到中心數據倉庫進行分析應用。

（2）回路檢查：基于海量數據ETL過程，利用用電信息采集系統（或采集前置機）讀取計量裝置電壓、電流、有功功率、無功功率、推算相位角，畫出六角圖，利用電氣量和六角圖判斷計量裝置回路接線情況。

（3）電能表計量誤差比對：電能表計量誤差比對是通過由電能表和計量裝置的積分電量對比，分析電能表計量誤差情況[3]。

（4）時鐘及電能表時段設置檢查：抄讀電能表和計量裝置的時鐘，與標準時鐘比對；查詢一天整點時刻的峰平谷電量，與峰平谷時段設置比對。

（5）凍結時間檢查：凍結時間檢查是利用用電信息采集系統查詢到電能表月凍結表碼及在每月1號00:00時（終端時間）的電能表表碼，比較差值。

（6）結果處理：在完成以上記錄分析，判斷計量裝置正常運行后，將所記錄的數據錄入電力營銷信息管理系統，對遠方運行狀態檢測中發現疑似故障（缺陷）的，可生成疑似故障處理工作單，分配給相關人員現場處理。

2 海量用電數據處理工作模式

海量用電數據模式下數據倉儲工作原理框圖如圖1所示。首先讀取系統主站文本格式的計量數據接口文件；驗證接口文件，驗證正確后將接口文件轉化成二進制塊結構內部文件；對內部文件進行數據預處理，預處理包括：（1）缺點統計：檢查文件數據缺點并統計；（2）缺點修復：參考歷史數據修復數據缺點；（3）數據核對：數據時間核對，數據絕對值有沒超出范圍等；（4）缺點告警：將數據文件缺點統計情況告訴監控中心。通過預處理的文件為正確數據文件；再通過分布式并行計算，根據分析對象計算匯總數據，計算完后生成入庫文件，入庫程序讀取入庫文件入庫，完成海量數據的倉儲過程。

圖1 海量用電數據處理模式工作原理框圖Fig.1 The block diagram of mass data processing mode

3 方案設計與實現

3.1 海量用電數據ETL過程

ETL過程包括數據抽取、數據傳輸、轉換與清洗、數據加載、調度。ETL工具中典型的代表產品有Informatica的PowerCenter、IBM的Datastage、Oracle的OWB/ODI、Microsoft SQLServer的SSIS服務等。在數據抽取過程中經常采用兩種方法，第一種是借助專業的ETL工具實現；第二種是SQL編程方式實現。兩種方法各有優缺點，借助工具可以快速的建立起ETL工程，屏蔽復雜的編碼任務，提高速度，降低難度，但缺少靈活性。SQL編程的優點是靈活，提高ETL運行效率，但是編碼復雜，對技術要求比較高。本文采用第一種和第二種相結合的方式實現數據的抽取，極大地提高了ETL的開發速度和效率。

通過海量用電數據的ETL過程，將用電信息采集系統采集回來的分布的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層后進行清洗、轉換、集成，最后加載到中心數據倉庫中，為遠程狀態在線檢測提供數據支撐。

3.2 全方位檢測方法設計

按照時間序列和數據特性，對海量數據進行分區、分表存儲，采用聚類分析算法[4-8]，對用戶數據進行分類、分群，通過聚類、篩選，可相應地按時間、檢測模式等維度進行檢測策略的設置和調整：

時查：每天隨時針對用電信息采集系統告警信息、線損異常信息、供電所人員或客戶的報障信息并進行初步的分析、篩選，對異常計量點立即開展狀態檢測。

周巡：每周定期性地導出全部計量裝置的簡單運行狀態參數，如電壓、電流、時鐘等，進行快速分析、篩選，然后對異常計量點進行重點的狀態檢測。

檢驗：開展狀態檢測，代替部分現場檢驗，采取與現場檢驗相結合的方式，完成規程規定的現場檢驗任務。

以時查、周巡、檢驗三個時間維度為縱軸，以收集信息、初步分析、深入檢測等檢測步驟為橫軸，建立完整、全方位的狀態檢測體系。通過將狀態檢測與現場檢測相結合，最終構建先進、高效的運維模式。

圖2 方法設計思路Fig.2 Method design ideas

3.3 檢測方法流程

（1）組建海量用電數據信息池

利用用電信息采集系統采集的電壓、電流、功率因素、計量裝置告警信息、計量裝置報障記錄等實時數據，結合線損異常信息和相關歷史數據，通過海量數據ETL過程，在中心數據倉庫中組建疑似計量裝置故障的信息池。

（2）初步分析

基于海量用電數據信息池，通過電量數據橫向平衡分析、電量數據歷史對比分析、數據完整性信息可靠性分析、頑固性誤告警數據庫比對等分析方法，建立分析方法體系，對需要進一步檢測的計量裝置生成狀態檢測清單，開展深入檢測。

圖3 海量數據倉庫Fig.3 Mass data warehouse

（3）深入檢測

在步驟（1）和（2）的基礎之上，對可以計量裝置故障進行從回路檢查到凍結時間檢查的全面性檢查，主要包括五個方面的內容：回路檢查、電能表計量誤差比對、時鐘及電能表時段設置檢查、凍結時間檢查和結果處理。

圖4 遠程狀態檢測流程Fig.4 Remote state detection process

利用從海量用電數據信息池抽取的計量裝置相關電能量數據，通過以下判據逐項進行深入檢測：（1）通過電壓、電流、功率的大小及其平衡情況分析，結合六角圖，判斷是否出現失壓、失流及回路接線情況；（2）通過比對同一段時間內電能表和終端走過電量的相對誤差，排查計量裝置異常情況；（3）抄讀電能表和計量裝置的時鐘，與標準時鐘比對，檢查電能表和裝置的時鐘是否準確，同時查詢一天整點時刻的峰平谷電量，與峰平谷時段設置比對，檢查時段設置是否正確；（4）利用用電信息采集系統查詢到電能表月凍結表碼及在每月1號00:00時（終端時間）的電能表表碼，比較差值，差值若小于15分鐘內電能表走過的表碼，則凍結時間設置正確。結合以上判據綜合分析判斷，得到計量裝置的遠程狀態檢測結果；對遠方運行狀態檢測中發現疑似故障（缺陷）的，可將所記錄的數據傳送至入電力營銷信息管理系統，生成疑似故障處理工作單，分配給相關人員現場處理[9-10]。

3.4 檢測算法實現

以三相四線電能表為例，采用矢量分析算法設計實現過程如下：

（1）對于07規約電能表，可直接采集相位角參數；對于不支持直采舊規約電能表，可根據計量自動化系統采集終端采集回來的電壓（U）、電流（I）、有功功率（P）、無功功率（Q）等瞬時電量參數，

推算出相位角[11-12]：

有功功率狀態下相位角計算公式：

無功功率狀態下相位角計算公式：

以上相位角的平均值作為矢量分析用的相位角：

根據有功無功的正負值狀態和三角關系推導出真正相位角角度。

（2）根據采集回來的電壓、電流數據，判斷是否存在失壓、失流、斷相等故障；

如果采集到的電壓值缺少U12或U32項，即U12或U32值為0，則可能是A項或C項開路，若電壓項U12、U32為1/2的額定電壓值，則可能是B項電壓開路；

如果測量出的電流I1、I3有一項缺相，即有一項測量值為0，則可能是對應的電流線路有短路。

（3）分別進行不同負載屬性（感性、容性）、不同相序狀況（正相序、反相序）下的接線分析。

（4）按照電壓、電流和相位角數據，利用矢量圖分析方式繪制六角圖。

（5）根據不同相序狀況下的不同的三相電壓接線方式，推導出對應的三相電流相序狀態，結合負載屬性、相位角角度確定電流互感器回路是否接反。

（6）得到接線、相序和電壓極性分析表，作為回路檢查的分析依據。

表1 接線、相序和電壓極性分析表Tab.1 Wiring, phase sequence and voltage polarity analysis table

4 應用效果

該檢測方法體系在某電力公司電能計量設備狀態檢測中得到很好的應用。2016年1月至6月，該電力公司通過電能計量設備遠程狀態全方位檢測方法，利用系統共監測發現專變計量裝置運行缺陷62起，占運維人員發現缺陷的94%，專變計量缺陷的平均存續時間比傳統的工作模式少10天以上，有效的提高了計量裝置運維效能和運維水平，確保了計量裝置的準確可靠。

利用此遠程狀態檢測方法，可監測長時間段計量裝置運行狀態，對特殊故障進行專業分析，尤其對大用戶的進行針對性的重點檢測，如圖5、6。通過對該市某銀行用戶計量裝置進行回路檢查，電能表綜合計量誤差比對、電能表及重點時鐘檢查、凍結時段檢查等遠程狀態檢測手段，可有效地掌握計量裝置的在線運行狀態，實時監控用戶的用電情況。

圖5 方法應用效果圖Fig.5 Methods renderings

圖6 方法應用效果圖Fig.6 Methods renderings

5 結論

本文研究的基于海量用電數據ETL處理技術下的電能計量設備遠程狀態全方位檢測方法體系，真正意義上實現了不去現場作業即可實時、在線遠程檢測的效果。隨著電力行業的迅速發展和自動化應用水平的提高，該方法將大大提高電能計量設備集約化管理水平，同時可進一步優化資源配置、節約成本，及時發現和查處存在的故障，提高企業經濟效益和客戶服務水平，具有較強的推廣應用價值。

[1] 楊如康. 電能計量裝置在線監測系統分析與應用[J]. 云南電力技術, 2008, 36(4): 49-50. YANG R K. Analysis and Application of On-line Monitoring System for Electric Energy Metering Device[J]. Yunnan Electric Power, 2008, 36(4): 49-50.

[2] 白洋. 電能計量裝置遠程校驗監測系統[J]. 電測與儀表，2005, 42(7): 30-32. BAI Y. Remote Verification and Monitoring System for Energy Metering Device[J]. Electrical Measurement & Instrumentation, 2005, 42(7): 30-32.

[3] 曹銳. 電能計量裝置誤差實時在線監測系統的研制[J]. 電測與儀表, 2010, 47(3): 52-54. CAO R. Development of On-line Real-time Error Monitoring System for Electric Energy Metering Device[J]. Electrical Measurement & Instrumentation, 2010, 47(3): 52-54.

[4] 楊善秀, 韓飛. 基于聚類和微粒群優化的基因選擇新方法[J]. 計算機應用, 2013, 33(5): 1285-1288. YANG S X, HAN F. A New Method of Gene Selection Based on Clustering and Particle Swarm Optimization[J]. Journal of Computer Applications, 2013, 33(5): 1285-1288.

[5] 劉玉海. MapReduce大數據分析在煤礦的應用研究[J]. 軟件, 2016, 433(05): 101-104. LIU Y H. pplication Research of Map Reduce Big Data Analysis in Coal Mine [J]. Soft , 2016, 433(05): 101-104.

[6] 于戈, 谷峪, 鮑玉斌, 王志剛. 云計算環境下的大規模圖數據處理技術[J]. 計算機學報, 2011, 34(10): 2369-2371. YU G, GU Y, BAO Y B. Large Scale Data Processing Technology in Cloud Computing Environment[J]. Chinese Journal of Computers, 2011, 34(10): 2369-2371.

[7] 陳新泉. Rosenbrock搜索法在聚類分析中的研究[J]. 軟件, 2016, 434(06): 37-40 CHEN X Q. Research in Clustering of Rosenbrock Search Method [J]. Soft, 2016, 434(06): 37-40.

[8] CHANG L, DENG X M, ZHENG S W, et a1. Scaling up Kernel Grower Clustering Method for Large Data Sets Via Core-sets [J]. ACTA AUTOMATICA SINICA, 2010, 34(3): 377-382.

[9] 周廣, 閆丹鳳, 許光可, 李筍. 大數據在輸變電設備狀態評估中的研究[J]. 軟件, 2016, 429(01): 9-13. ZHOU G, YAN D F, XU G K, et a1. Research on Big Data for Transmission Equipment Status Evaluation[J]. Soft, 2016, 429(01): 9-13.

[10] 陳蔚文, 楊勁鋒, 肖勇. 電能計量自動化系統在電力營銷中的應用[J]. 廣東電力, 2011, 24(12): 117-121. CHEN W W, YANG J F, XIAO X. Application of Electric Energy Metering Automation System in Electric Power Marketing[J]. Guangdong Electric Power, 2011, 24(12): 117-121.

[11] 陳濤, 張春杰, 張文旭. 基于ATT7022A電能計量芯片的電力監控終端設計[J]. 東北電力技術, 2007, 6: 42-45. CHEN T, ZHANG C J, ZHANG W X. Design of Power Monitoring Terminal Based on ATT7022A Energy Metering Chip[J]. NortheastElectricPowerTechnology, 2007, 6: 42-45.

[12] 于海波, 唐紅燕, 丁再賢. 大數據在電力行業內的應用與運營中指標體系優化的研究[J]. 軟件, 2016, 438(10): 68-73. YU H B, TANG H Y. Application of Big Data in Electric Power Industry and Research on Index System Optimization in Operations[J]. Soft, 2016, 438(10): 68-73.

Research and Implementation of Comprehensive Detection System under the ETL Technology for Energy Metering Device

QUE Hua-kun, LIN Guo-ying, CHEN Qi-guan
(Electric Power Research Institute of Guangdong Power Grid Co., Ltd,, Guangzhou 510080, China)

With the increasing levels of network automation, the traditional energy metering device field test mode has can not meet the demand for practical application. In view of this, we propose a remote state detection for energy metering device under the mass data distributed processing technology. Focuses on the program design and method of remote detection based on the mass data processing, the application of loop check vector analysis algorithm, and the establishment of a full range of remote status measurement system for energy metering device under the ETL technology. Experimental results show that the detection method remotely and efficiently carry out the metering loop checking, the error measurement , the clock measurement and other test contents. This methodology can be an effective substitute for on-site testing work, to discover and investigate the existence of abnormal electrical behavior, and improving economic efficiency and energy metering device management level.

Electric energy data acquirement; Metering device; Remote inspection; Vector analysis; Error test; ETL

TP480·30

A

10.3969/j.issn.1003-6970.2017.05.023

闕華坤(1986-)，男，中級工程師，主要研究方向為電測儀表、用電計量技術、計算機應用。

闕華坤，中級工程師，主要研究方向為電測儀表、用電計量技術、計算機應用。

本文著錄格式：闕華坤，林國營，陳啟冠. 基于ETL技術的電能計量設備全方位檢測方法體系研究與實現[J]. 軟件，2017，38（5）：112-116