基于大數據的電能質量監測分析系統設計與實現

郭曉乾 武守曉 王承棟

摘 要：為解決傳統電能質量監測系統數據接入可靠性不高，海量數據存儲和統計分析能力不足的缺點，采用類數據庫的事務處理機制設計數據調度采集過程，搭建基于Cloudera大數據平臺的電能質量監測分析系統，對數據進行分布式存儲、計算分析，實現對TB級電能質量數據的監測點指標與運行狀態統計，以及對暫態事件的統計聚合分析等功能。實驗證明該系統可靠、海量數據統計處理能力強，提高了數據存儲可拓展性，為供電方提供了解決海量電能質量數據存儲與分析的有效方案。

關鍵詞：電能質量監測;體系結構;數據接入;大數據平臺

DOI：10. 11907/rjdk. 192530 開放科學（資源服務）標識碼（OSID）：

中圖分類號：TP319文獻標識碼：A 文章編號：1672-7800（2020）008-0182-04

Abstract： In order to overcome the shortcomings of the traditional power quality monitoring system， such as low data access reliability and insufficient mass data storage and statistical analysis capabilities， a database-like transaction processing mechanism is used to design the data scheduling and collection process， and a power quality monitoring analysis based on the Cloudera big data platform. The system performs distributed storage， calculation and analysis of data to realize the monitoring point indicators and operating status statistics of TB-level power quality data， as well as statistical aggregation analysis of transient events. Experiments show that the system is reliable and has strong statistical processing ability of massive data， which improves the expandability of data storage， and provides an effective solution for power suppliers to store and analyze massive power quality data.

Key Words： architecture; data access; big data platform; transient events

0 引言

隨著工業級電子設備的廣泛應用，精密制造業對電能質量要求越來越高，各項電能質量指標是衡量電能質量高低的重要參考維度。隨著電能需求增長，電能監測裝置得到廣泛普及，采集到的電能質量監測數據[1]也呈現幾何式增長，其中電力部門最為關心的是電能質量指標監測數據以及暫態監測數據。文獻[2]對數據存儲技術展開分析，但未提出數據可靠性傳輸方法。本文將數據傳輸分為多個階段，采用類事務處理方式，保證數據傳輸可靠性。傳統的電能質量數據存儲方式是使用昂貴的商用服務器，通過關系型數據庫進行存儲，成本昂貴且可拓展性差，維護成本高[3]。之前的處理方法為各個網省單獨建立數據處理中心，規模小，架構分散。不同廠家間的系統信息難以交互，無法集中管理，容易形成信息孤島[4-5]。為應對傳統電網信息化處理數據能力的不足，本文運用大數據技術，提出建立分布式數據存儲[6]和計算方案，構建智能化的電能質量信息管控平臺[7-10]，對全網省電能質量數據進行集中式整體分析。

1 總體架構

電能質量監測分析系統從下往上由源數據層、數據采集層、數據存儲層、數據處理層、數據計算層、數據訪問層構成。源數據層主要包括監測點終端監測數據，數據采集層包括實時數據和離線數據，存儲層中間件主要用到大數據平臺的分布式存儲數據庫HBASE和分布式文件系統HDFS。基于大數據平臺Cloudera進行數據存儲和數據統計分析工作，通過對數據采集接入，提供關系型、非關系型數據庫、實時推送數據等多源頭數據整合。通過構建關系型、非關系型數據庫、分布式文件系統，支撐海量異構數據存儲需求。利用大數據流計算、批量計算、內存計算技術，提供多時間尺度的數據計算處理能力。利用機器學習等人工智能技術，對海量數據進行分析挖掘及預測，最終將計算結果存儲到關系型數據庫中，方便查詢和展示。傳感器設備采集到各項指標數據后存儲在終端服務器，總部數據采集服務器從終端拉取歷史數據到本地數據采集服務器，然后通過調度程序根據文件種類直接存入大數據存儲平臺的列式存儲數據庫HBASE或分布式文件存儲系統HDFS中，再通過統計程序將大數據平臺中的數據進行分布式計算，將計算結果存入關系型數據庫MySQL中，前臺Web應用服務器從MySQL獲取數據進行可視化展示。

圖1為系統架構，體現模塊之間的關系。系統通過調用終端歷史數據上報接口獲得歷史數據，將這些數據存儲到Cloudera大數據平臺;系統指標與運行狀態分析模塊和暫態事件分析模塊從大數據平臺[11]得到數據，再從關系數據庫中得到基礎數據和其它輔助數據，進行統計計算，將計算結果通過接口傳遞到關系數據庫或直接發送給前臺應用程序，前臺程序讀取關系數據庫中的數據進行數據展示。

2 數據結構設計

首先估算一下數據量：每個監測點有實時數據（3s采集一次）和歷史數據（1分鐘采集一次），每條數據所占空間約為80Byte，每次采集2 550個指標。以采集一次為例，約10 427個監測點，一分鐘一次采集數據量約2G，一個小時采集120G，一天2.8T，一年的數據量就有1 026T（PB級）。

電能質量分析的核心數據為監測點的量測數據，任一實例可表示為四元組：監測點、量測指標、量測發生時間、量測值。其中監測點編碼規范編碼為復合結構，由省公司編碼、地市編碼、區別碼構成，長度共10個字符。其中省公司編碼由2字符構成，地市編碼由2字符構成，區別碼由6字符構成。量測指標編碼比較復雜，如圖2所示。

每項都是對應一個四位編碼，前面4個唯一確定一個量測指標。

3 業務功能模塊

3.1 數據采集調度可靠性設計

由于各個終端歷史數據的產生頻率和規模都不一樣，為防止出現處理熱點，影響整個系統穩定運行，需提供基于任務監控的自適應數據匯集調度策略，數據分布式處理[12-14]和任務調度技術[15-16]可用于電能質量監測分析系統的數據分析與挖掘。

總部數據拉取與入庫程序主要由調度器和數據匯集程序[17]兩部分構成，調度器主要負責分類調度各終端電能質量數據資源，提供一種半動態的調度策略以實現負載均衡，降低網絡并發傳輸開銷，提升數據傳輸可靠性與正確性。調度器為每個終端建立獨立的調度任務，并將調度任務持久化到數據庫中，這樣即使調度器崩潰（可以通過雙機熱備大幅減少這種可能性），重啟調度器后仍然可以從數據庫中獲取調度信息，重新生成調度任務。

數據匯集程序包括多個階段，如連接終端、拉取數據、解包數據、數據入庫等過程。數據匯集程序通過多級日志記錄數據匯集過程，并采用類數據庫的事務處理機制，將終端數據文件移動到已發送目錄即完結整個事務。如果事務處理過程中因為某種原因導致數據未能入庫，則在下一階段調度器仍然會重新發起數據的入庫請求。該機制同樣保證數據匯集程序即使崩潰，重啟后仍然可從調度器得到數據匯集請求，從而達到提升可靠性目的。

系統提供數據預覽功能，用戶可隨機指定某個指標、某個日時段或某個監測點作為查詢條件，快速預覽入庫的數據，并與源端數據進行對比，通過抽樣測試驗證正確性。

3.2 大數據平臺設計

大數據接入方案從下往上由源數據層、數據采集層、數據處理層、數據存儲層、數據計算層、數據訪問層構成。結合電力系統自身特點，完成大數據平臺選型。其中數據采集層包括歷史數據采集，存儲層中間件主要應用分布式存儲數據庫HBase[18]和分布式文件系統HDFS。

Hadoop是Apache的一個頂級開源項目，是一個分布式大數據平臺，其核心由Hadoop分布式文件系統（HDFS）和計算框架MapReduce組成，具有高可靠性、高擴展性、高效性和高容錯性等優點。大數據集群由多臺服務器組成，其中主節點Master上部署HDFS NameNode，HBase，MasterResourceManager，ZooKeeper Server服務，從節點上部署HDFS DataNode，HBase RegionServer，Spark Getway，Yarn NodeManager服務。主節點上部署Cloudera Manangerment Service，包括Alert Publisher，Event Server，Host Monitor，Reports Manager，Reports Manager，Service Monitor。

大數據平臺啟用Kerberos安全認證，使得集群中的節點可信任。Kerberos可將認證的密鑰在集群部署時事先放到可靠的節點上。集群運行時，集群內的節點使用密鑰得到認證，認證通過后的節點才能提供服務。企圖冒充的節點由于事先沒有得到密鑰信息，無法與集群內部的節點通信，這樣就防止了惡意使用或篡改Hadoop集群問題，確保Hadoop集群的可靠性、安全性[19]。

大數據平臺監控頁面可見大數據平臺所有服務狀態，單擊左側豎形欄可以看到詳細監控信息，包括對集群主機狀態監控以及各項服務，包括分布式面向列的數據庫HBase，分布式文件系統HDFS，專為大規模數據處理而設計的快速通用的計算引擎Spark，大數據資源管理系統YARN，分布式協調Zookeeper服務。

3.3 指標與運行狀態分析模塊

針對總部電能質量監測系統缺失、各省公司電能質量監測系統發展不均衡且可用性較差的問題，本系統通過梳理和規范電網電能質量監測分析模塊的功能需求，推動總部電能質量監測分析模塊建設，完善各省公司電能質量監測模塊升級工作，并針對各省公司開展監測點在線率、數據完整率等運行指標考核，最終為各省公司提供架構清晰、功能明確規范的諧波專業管理信息化工具。

為驗證系統對海量數據的存儲和統計分析能力，特選取1T量測數據，在大數據平臺對量測數據進行統計計算。①穩態指標統計：統計每日具有完整臺賬信息（特指具有變電站信息）的監測點指標的最大值、最小值、均值，結果保存到HBASE數據庫及MySQL數據庫中;②指標合格率統計：統計每天每個監測點的電壓偏差、頻率偏差、長時間閃變等指標的超限時間與統計時間，包括電壓超限時間、電壓統計時間、頻率超限時間、頻率統計時間、長時間閃變超限時間、長時間閃變統計時間;③指標超標統計：統計每個監測點每天的5項指標超標情況，包括電壓總電能質量畸變率超標、負序電壓不平衡度超標、電能質量電壓含有率超標、間電能質量電壓含有率超標、電能質量電流含量超標。

通過監測點在線率、完整率、準確率的計算，得到監測系統運行狀態統計。獲取監測點臺賬信息和某時間段內的監測數據后，通過比對得到監測點在線情況、數據指標上傳量、數據正確性情況，得到臺賬中在運行監測點情況、應該上傳的數據量，通過比率計算以及按區域、按時間聚合計算方法得到計算結果。

3.4 暫態事件聚合分析

隨著特高壓直流輸電的發展和負荷構成及特性的變化，暫態事件嚴重威脅系統的安全穩定運行，為達到對暫態事件即測、即辨、即控目的，對暫態事件開展研究。暫態事件有電壓暫降、電壓暫升、短時中斷3類，每類事件都有3個指標，分別是暫態時間起始時刻、暫態事件持續時間、暫態時間殘余電壓即特征幅值。每個監測點的暫態指標數據存在不同特征幅值、不同持續時間下的暫態事件發生次數。以暫降事件為例進行有效識別，進行如下聚合：

對1分鐘內發生的數次電壓暫降歸并為一次進行統計，其中殘余電壓取1分鐘內數次電壓暫降的最小殘余電壓，持續時間取1分鐘內最小殘余電壓所在的那次電壓暫降持續時間。首先完成單個監測點ABC三相暫降聚合，然后對單個監測點1分鐘內多次暫降事件進行聚合。

（1）ABC三相暫降聚合算法。首先從單個監測點的電壓暫態事件列表中提取、篩選出同一時間記錄到的A、B、C各相電壓暫降事件;然后對A、B、C各相電壓在暫降事件中的殘余電壓進行排序，找到記錄最小殘余電壓的暫降事件的相別、幅值以及相應的持續時間。通過以上步驟，將3次電壓暫降事件合并為1次電壓暫態事件。

（2）1分鐘內多次暫降事件的聚合算法。1分鐘起始統計時間：每日從0：00開始統計，當日24：00結束。按照時間先后順序自動完成1日內同一監測點的多個暫降事件排序，以當日記錄到的第一次暫降事件發生起始時刻為統計起點，完成1分鐘內多次暫降事件聚合后的時間排序，然后開始第2次1分鐘暫降事件聚合，以此類推。

電壓暫降幅值和持續時間聚合：完成1分鐘時間段截取之后，對1分鐘內多次暫降事件的殘余電壓進行排序，找到最小殘余電壓的暫降事件信息，則1分鐘內多次暫降事件聚合后的電壓暫降幅值為1分鐘內暫降事件中的最小殘余電壓，持續時間即為1分鐘內最小殘余電壓的持續時間。

通過選擇省份、地市、變電站、監測點，可以查詢出短時中斷、電壓暫降、電壓暫升、頻率、電壓、諧波的日數據、月數據、年數據。短時中斷、電壓暫降、電壓暫升可根據特征賦值和持續時間進行分類，并進行事件次數分類匯總。

4 系統實現

4.1 全網概覽

全網概覽界面中，用戶可選擇時間維度（日、月、年），點擊監測點類型、電壓等級、指標名稱等查詢指定范圍內信息，顯示ITIC曲線和SEMI曲線。通過點擊圖例（正常、超標、離線）在地圖上顯示選中狀態的變電站信息，并可通過雙擊地圖向下鉆取得到相應省份中各市的情況，展示效果如圖3所示。

4.2 指標詳情

指標詳情界面主要通過時間趨勢圖、電壓等級分布和省公司分布統計指標數據，展示監測點頻率合格率、電壓合格率、閃變合格率、總諧波電壓畸變率、諧波電壓含有率、諧波電流含量、間諧波電壓含有率、負序電壓不平衡度、短時中斷、電壓暫降、電壓暫升等指標。針對全網、省公司、地市公司的監測點統計穩態指標合格率、超標情況、暫態事件發生次數、暫態指標統計情況和在線時間趨勢進行展示。點擊穩態指標超標情況統計菜單進入穩態指標超標情況頁面，展示省公司、地市公司和監測點統計穩態指標超標情況，如圖4所示。

也可按日和按月選擇時間段，選擇指標類型，統計該指標類型數據。單擊省公司統計圖表柱狀圖，彈出省公司該指標的日或月數據趨勢圖。

4.3 暫態統計

暫態事件根據事件次數規則、持續時間規則、事件類型規則、暫態事件特征幅值不合理規則、暫降和暫升事件的特征幅值規則，通過時間進行統計，支持數據查詢和導出報表功能，展示如圖5所示。

5 結語

本文設計并實現了基于大數據平臺的海量電能質量數據存儲和統計分析，詳細分析了電能質量監測分析系統體系結構，對各個模塊的功能進行了詳細介紹，深入挖掘電網部門內在需求。電能質量監測分析系統對網絡傳輸性能、數據存儲性能及數據分析處理性能都有較高的要求，未來研究將圍繞上述要求展開。

參考文獻：

[1] 王德文，宋亞奇，朱永利. 基于云計算的智能電網信息平臺[J]. 電力系統自動化，2010，34（22）：7-12.

[2] 耿俊成，張小斐，郭志民，等. 電力通信網大數據應用場景開發及試點應用[J]. 電力大數據，2019，22（2）：88-92.

[3] 方迪，尹穎. ?貴陽供電局電能質量在線監測系統維護與管理實踐[J]. 電子世界，2014（17）：48-49.

[4] 許中，陳雁，李絲媛. 廣州電網電能質量在線監測系統及其高級應用[J]. 供用電，2012，29（4）：68-71.

[5] 張明. 縣級電能質量監測系統數據存儲與解析研究[D]. 武漢：華中科技大學，2015.

[6] 陳殿偉. 基于Hadoop的虛擬篩選海量數據存儲及結果處理的設計和實現[D]. 蘭州：蘭州大學，2012.

[7] 張華贏，朱正國，姚森敬，等. 基于大數據分析的暫態電能質量綜合評估方法[J]. 南方電網技術，2015，9（6）：80-86.

[8] 張逸，林焱，吳丹岳. 電能質量監測系統研究現狀及發展趨勢[J]. 電力系統保護與控制，2015，43（2）：138-147.

[9] 肖雄，劉治. ?基于負荷管理終端的電能質量監測研究與分析[J]. 廣東電力，2016，29（2）：85-89.

[10] WANG L X，MU J Q，JU H F. Research and application of power quality online monitoring system[J]. Electric Power Information and Communication Technology，2015，13（2）：132-136.

[11] 中國電機工程學會電力信息化專業委員會. 中國電力大數據發展白皮書[M]. 北京：中國電力出版社，2013：1-23.

[12] BARAN M E， WU F F. Network reconfiguration in distribution systems for loss reduction and load balancing justice System[J]. IEEE Transactions on Power Delivery，1988，13 （3） ：79-385.

[13] OMRAN N G，FILIZADEH S. Location-based forecasting of vehicular charging load on the distribution system[J]. ?IEEE Transactions on Smart Grid ，2014， 5（2）：632-641.

[14] 付華崢. 分布式大數據采集關鍵技術研究與實現[D]. 重慶：重慶大學，2011.

[15] GALIVEETI H R， GOSWAMI A K， DEV N B. Choudhury impact of plug-in electric vehicles and distributed generation on reliability of distribution systems[J]. Engineering Science and Technology ， 2018， 21 （1）：50-59.

[16] ZHANG M. Research on data storage and data parsing in analysis power quality monitoring system of county[D]. Wuhan： Huazhong University of Science and Technology，2015.

[17] 林炳花. ?大數據技術在電力通信網的研究與應用[J]. 電力大數據，2018，21（5）：31-35.

[18] APACHE. The apache software foundation[EB/OL]. http：//www.apache.org/.

[19] NEUMANBC.Kerberos：anauthenticationservicefor computer networks[J]. ?IEEE Communications Magazine，2002，32（9）：33-38.

（責任編輯：杜能鋼）