基于多數據源校驗的配電網數據質量在線監控方法與實現

管荑 郭偉琪 沈濤 王先富

摘 要： 隨著配電系統地不斷擴大，配電網中地電氣設備數量也急劇增加，并且對電網運行數據質量要求更加精確。由于大規模隨機操作監視和控制信號數據導致活動分發網絡中的各種應用程序無法快速有效地提取有用信息，對此提出基于復雜事件處理（Complex Event Processng，CEP）的智能數據處理技術，通過ETL（Extract-Transform-Load）工具制定算法庫、規則庫，規則庫可以通過嵌套查詢、組合操作和模式匹配來確定，算法庫可以打包內存分區和多線程處理，融合字頻統計、關鍵字識別和消除等算法，從而實現對多數據源校驗的配電網數據質量進行在線處理。

關鍵詞： 配電系統; 電氣設備; 復雜事件處理; 在線監控

中圖分類號： TP393 ? ? ?文獻標志碼： A

Method of Onlne Montorng of Dstrbuton Network Data Qualty

Based on Mult-sgnal Congeston and ts Realzaton

GUAN T1， GUO Weq2， SHEN Tao2， WANG Xanfu3

（1.State Grd Shandong Power Supply Co. Ltd.， Jnan 250001; 2.State Grd Ln Y Power Supply Co. Ltd.，

Lny 276000;3.Shandong Anxnyuan nformaton Technology Co. Ltd.， Jnan 250100）

Abstract： As the dstrbuton system contnues to expand， the number of electrcal equpment n the dstrbuton network has also ncreased dramatcally， and the qualty requrements for grd operaton data have become more precse. Due to the large-scale random operaton montorng and control sgnal data， varous applcatons n the actve dstrbuton network cannot extract useful nformaton quckly and effcently. Ths paper proposes ntellgent data processng technology based on complex event processng （CEP） through ETL （ the extract-transform-load tool）， and develops an algorthm lbrary and a rule base. The rule lbrary can be determned by nested queres， combned operatons， and pattern matchng. The algorthm lbrary can package memory parttons and mult-thread processng， combne word frequency statstcs， keyword recognton， and elmnate other algorthms to acheve onlne processng of the data qualty of the dstrbuton network for mult-data source verfcaton.

Key words： Power dstrbuton system; Electrcal equpment; Complex event processng; Onlne montorng

0 引言

由于全國各地的電網使用了不同廠家、不同類型的電氣設備，各種設備產生的運行監控信號的格式和命名也不統一，而且數量巨大。這使得基于信號和信息系統集成的各個電力系統應用在構建智能電網過程中遇到了巨大的挑戰，包括電網狀態估計、情景分析、信號驅動模擬和其他實際需求。另外，沒有統一標準的變電站二次設備和系統運行監控信號格式和變電站二次設備命名以及系統運行監控信號格式和命名，使雜波信號無法統一命名為數據存儲的基礎[1]。通過國內外的相關研究，對電氣設備運行監測信號標準化沒有一種有效的處理方法。ETL（Extract-Transform-Load）是在提取、清理和轉換后將業務系統數據加載到數據倉庫中的過程，其目的是將擴展、凌亂、非統一的標準數據集成在一起，以便為業務系統提供數據以備后續申請。

復雜事件處理（Complex Event Processng，CEP）[2]是一種在大數據時代興起的智能數據處理技術，它將數據視為數據流，復雜地處理基于規則引擎在業務流程中不斷生成的各種事件，從而實現 快速分析和處理連續數據。CEP引擎可以解決事務數據處理效率問題，因此特別適合采用規則庫和智能學習算法處理大數據的要求，對于二次設備運行監控信號數據標準化工作，可以根據編寫的規則庫，采用可插拔式智能算法庫，集成到CEP引擎進行處理，從而達到顯著效果。

1 配電設備信號數據提取

1.1 配電網運行監控信號存儲

在當前配電自動化系統中，設備運行監控信號主要以4種形式存儲：實時數據庫、歷史數據庫、通用交換文件和NoSQL數據庫。存儲在實時數據庫和歷史數據庫中的信號數據采用傳統的關系數據庫管理模式，區別分別是物理存儲方式為內存和硬盤，從而導致不同的訪問效率和持久性，適用于不同的實時和數據量場景。以這種方式存儲的操作監視信號表的主要內容[3-5]，如表1所示。

為了便于遷移、轉換和數據訪問操作監控信號的普遍性，一些應用程序使用通用交換文件格式來訪問配電網絡運行監控信號數據。如基于XML標準，根據其強大的可擴展性以及電力系統特性，國家相應提出了CM/E標準，致力于在各個應用系統之間進行電網模型數據的在線交換。調度控制中心的操作監控信號數據CME文件存儲格式如下：

@d name vl_d pnt_type pr_flags

#122160141620511071 overcurrent 3nd plate 0001 1 3

隨著配電網規模的擴大和復雜性的日益提升，運行監測信號數據量呈指數上升，呈現出大數據的趨勢。傳統的關系數據庫和文件存儲方式已無法滿足讀取效率等要求，因此，操作監控信號存儲將向大數據存儲的方向發展。因此根據智能電網發展需求，多源電網設備數據的匯集成為該業務建設亟需解決的問題之一。

1.2 監控信號按需提取操作

為了實現多源信號的定向、定制分析服務，需要根據每個場、區域、變電站、電壓等級條件過濾和提取運行監測信號數據。通過對配電網運行監測信號數據存儲狀態的分析，將面臨兩種問題，即實現信號數據的按需提取[6-7]：

（1）多格式數據問題。當前的信號數據存儲方法是多次的，數據不能通過統一的數據接口直接提取。

（2）數據分布式存儲問題。周圍的信號數據是獨立分布式存儲，這使得ETL工具難以進行靈活的按需數據提取操作和集中數據處理。

對于多格式數據源和分布式存儲問題，采用開發多數據源接口，實現架構如圖1所示。

如圖1所示，對于實時數據庫，歷史數據庫，通用文件和其他數據源，通過開發數據訪問接口構成數據總線。用戶將通過數據選擇及提取程序選擇數據源，該程序調用數據總線訪問數據源接口并將數據提取到本地存儲器中的數據緩沖池。數據處理引擎從緩沖池中獲取流數據以進行標準化，并將結果存儲到本地結果數據庫中。

守護進程解決方案，實現架構如圖2所示。

如圖2所示，對于獨立存儲的數據，開發了守護進程以植入到數據服務器周圍。守護進程從操作系統開始，內存駐留，其需執行的唯一任務是接收遠程命令并調用本地數據訪問接口。數據提取條件分為兩級過濾器。遠程數據提取程序根據第一級條件，即區域和工廠站條件，向每個服務器守護程序發送獲取指令，守護程序調用數據服務器中的本地數據訪問接口，并將數據傳輸到數據緩沖區隊列;數據處理引擎從緩存隊列中獲取數據，以便根據第二級條件，即間隔和信號類型條件進行處理。該方法不僅可以提高數據提取的效率，還可以防止數據緩沖區隊列過大，同時保證系統時間復雜度和空間復雜度在系統可接受范圍內。

2 基于CEP引擎的運行和監控信號大數據處理架構 ?由于CEP引擎對復雜的事務數據處理有很好的效果，因此一直使用的操作和監視信號數據處理引擎架構主要包括輸入輸出模塊、CEP引擎核心，規則庫和算法庫。根據信號數據存儲的特點，輸入適配器將不同服務器中的每個格式源數據提取到引擎，引擎的核心是一個容器，它可以提供輸入輸出接口，信號處理框架，規則庫，算法庫等功能。信號清理規則庫的格式為XML文件或N配置文件，主要用于定義信號標準化過程中關鍵字提取，文本替換和文本刪除等清理規則。算法庫集成在RelaySghWash類中，主要用于定義和實現智能算法接口，如設備算法和信號清除，字頻分析，模式匹配等。規則庫和算法庫是處理引擎的核心，它們設計為可插拔的，以便于維護和擴展，其架構如圖3所示。

（1）數據清理規則庫

信號數據清理規則庫用于根據數據流流入CEP引擎后的處理邏輯標準化定義各種規則，具有通用性，直觀性，易讀性，易維護性等特點。

（2）設備清理規則庫

所有設備清理規則都定義為XML文件，包括基本設備名稱的提取規則和典型設備類型的匹配規則。文件格式定義如下：

CSC;CSR;SA;CS;PCS;WCB;WCH;UDL;FCK;DF;CA;S;PACS;CSL

a-zA-Z0-9/

＼＼s-_

設備名稱清除規則包含根標記“root”和兩種規則標記：“devclean”和“devname”。所有基本設備的名稱都被定義為“devclean”標簽中的一些關鍵字，因此將清除關鍵字前面的所有不相關內容。例如，“非電力RCS9664”將通過使用“devclean”規則清除為“RCS9664”，該規則提取“RCS”并刪除無關信息“非電力”。“Character”標簽用于定義所有匹配的設備模型，其中正則表達式定義方法用于表示數字、正斜杠、大寫和小寫字母。 “Excess”標簽用于定義其他冗余字符，例如行和各種空格。同樣，在此標記中應用正則表達式定義方法，其中“＼＼s”表示空格，例如制表符和多個空格，雙反斜杠表示轉義字符。根據此規則，原始設備名稱“23/ARCS-9705-c measurement”可以智能地處理為“ARCS9705C”的規格名稱。

（3）數據清理算法庫

信號數據清理算法庫包括許多信號清理方法，不僅可以通過CEP引擎調用，還可以獨立調用。算法流程如圖4所示。

該算法主要包括保護裝置信息清洗和保護信號信息清洗。保護裝置信息清除部分包括關鍵字提取和保護器名稱兩步中的無關信息消除;保護信號信息清除包括關鍵字提取和消除，信號中的保護名稱消除，關鍵字替換和模糊匹配以及智能生成輸入四個步驟。

3 總結

本文主要介紹了一種基于CEP的大數據處理方法，用于主動配電網多設備源運行信號監控。通過分析當前信號數據存儲，提出了多源和分布式信號按需提取解決方案。CEP引擎中的可插拔清潔規則庫和信號庫是根據信號特征制定的。基于CEP引擎的監視和控制信號數據處理方法可以實現快速準確的信號清除，從而為每個信號驅動的電力系統應用提供有效的數據服務。

參考文獻

[1] Wang J， Sheng W， Yang H， et al. Desgn and mplementaton of a centralzed data acquston and supervsory system for medum-low voltage dstrbuton network[J]. Automaton of Electrc Power Systems， 2012， 36（18）：72-76.

[2] MENG You， LUAN Zhong Zh， XE Mng， et al. Operator-Based Extendable Complex Event Processng Model[J]. Journal of Software， 2014，25（11）：2715-1730.

[3] 馮玉潔. 基于風險型決策的繼電保護定值整定與管理研究[D].湘潭：湘潭大學，2017.

[4] 劉沅昆. 配用電系統高級量測體系與數據應用方法研究[D].石家莊：華北電力大學，2017.

[5] 郟琨琪，王治華，范帥，等.電網信息物理系統的數據驅動架構設計及應用[J].電網技術，2018，42（10）：3116-3127.

[6] 沈金青，徐光福，黃宏盛，等.區域分布式光伏運行監控系統設計及應用[J].電力安全技術，2018，20（8）：43-47.

[7] 王雷，李樂為，史金偉，等. EMS與DMS間數據交互的數據傳輸與安全控制操作方法研究[J].電力系統保護與控制，2018，46（10）：75-80.

（收稿日期： 2018.11.21）

基金項目：國網山東省電力公司科技項目（SGSDLY00FCJS1800728）

作者簡介：管荑（1979-），女，濟南市，研究生，高級工程師，研究方向：電氣工程及其自動化。

郭偉琪（1988-），女，臨沂市，本科，工程師，研究方向：電氣工程及其自動化。

沈濤（1980-），男，黃驊縣，研究生，高級工程師，高級技師，研究方向：電氣工程及其自動化。

王先富（1978-），男，商河縣，本科，高級工程師，研究方向：計算機應用。文章編號：1007-757X（2020）01-0030-03