配網自動化規(guī)劃設計之數(shù)據(jù)集成平臺的研究與應用

肖培根，李海濤，朱 凌，鄧惠華，何奕楓（.廣州海頤軟件有限公司 電力綜合應用部，廣東 廣州　50000；.廣東電網有限責任公司 電力調度部，廣東 廣州50000；.廣東電網有限責任公司惠州供電局 電力調度部，廣東 惠州　5600）

配網自動化規(guī)劃設計之數(shù)據(jù)集成平臺的研究與應用

肖培根1，李海濤2，朱 凌3，鄧惠華3，何奕楓3
（1.廣州海頤軟件有限公司 電力綜合應用部，廣東 廣州510000；2.廣東電網有限責任公司 電力調度部，廣東 廣州510000；3.廣東電網有限責任公司惠州供電局 電力調度部，廣東 惠州516001）

文中介紹一種配網自動化規(guī)劃設計關聯(lián)數(shù)據(jù)抽取與歸集方法。具體包括歸納配網自動化規(guī)劃設計技術支持系統(tǒng)所需數(shù)據(jù)項，研究通過SOA架構采用總線和數(shù)據(jù)集成平臺的方式整合EMS、DMS、生產、GIS、計量自動化、營配信息集成等信息系統(tǒng)數(shù)據(jù)的方法和技術方案；建立的信息模型和數(shù)據(jù)集成平臺能對數(shù)據(jù)進行抽取、清洗、整合，保障數(shù)據(jù)質量、可靠性及可維護性；研發(fā)數(shù)據(jù)平臺功能模塊，完成數(shù)據(jù)集成平臺部署以及與其他系統(tǒng)的數(shù)據(jù)整合。

配網自動化規(guī)劃設計；數(shù)據(jù)抽取與歸集；信息模型；數(shù)據(jù)集成平臺

目前廣東電網配網自動化建設已普遍開展，但是在配網自動化規(guī)劃建設方面尤其是在配電監(jiān)終端選點、終端配置類型、網架結構優(yōu)化等方面缺乏具有較強指導意義的理論科學研究，缺乏有效的數(shù)學模型來準確地描述配電網的網架結構、負荷分布、運行狀態(tài)等情況，沒有系統(tǒng)的配網自動化智能決策技術支持系統(tǒng)，指導、支持配網自動化建設規(guī)劃及智能決策工作。

本文的研究范圍是數(shù)據(jù)平臺建設及配網自動化規(guī)劃設計所需要的數(shù)據(jù)集成，具體包括歸納配網自動化規(guī)劃設計技術支持系統(tǒng)所需數(shù)據(jù)項，研究通過SOA架構采用總線和數(shù)據(jù)平臺的方式整合EMS、DMS、生產、GIS、計量自動化、營配信息集成等信息系統(tǒng)數(shù)據(jù)的方法和技術方案；建立的信息模型和數(shù)據(jù)集成平臺能對數(shù)據(jù)進行抽取、清洗、整合，保障數(shù)據(jù)質量、可靠性及可維護性；研發(fā)數(shù)據(jù)平臺功能模塊，完成數(shù)據(jù)平臺部署以及與其他系統(tǒng)的數(shù)據(jù)整合。

1　數(shù)據(jù)平臺的總體介紹

1.1平臺概述

數(shù)據(jù)集成平臺需要集成 EMS、生產、GIS、調度自動化、配網主站等信息系統(tǒng)數(shù)據(jù)，實現(xiàn)調度、生產、GIS等跨系統(tǒng)、跨業(yè)務的數(shù)據(jù)集成平臺，高效支撐配網自動化規(guī)劃設計全過程。

數(shù)據(jù)集成平臺主要包括數(shù)據(jù)接入、數(shù)據(jù)整合、全景數(shù)學模型、數(shù)據(jù)存儲、數(shù)據(jù)發(fā)布共享服務、數(shù)據(jù)質量監(jiān)測、數(shù)據(jù)平臺管理監(jiān)控等功能。能夠實現(xiàn)各類關系形數(shù)據(jù)庫、Excel、文本文件、XML、Webservice及特殊定制接口的數(shù)據(jù)接入功能；實現(xiàn)數(shù)據(jù)質量監(jiān)測和容錯預處理功能；實現(xiàn)圖形化的管理監(jiān)控功能；實現(xiàn)基于服務、數(shù)據(jù)總線、數(shù)據(jù)庫中間庫技術的數(shù)據(jù)全量、增量標準統(tǒng)一發(fā)布共享服務。

圖1　配網規(guī)劃軟件總體架構

1.2技術架構

配網自動化規(guī)劃設計技術支持應用系統(tǒng)建設，需要整合EMS、DMS、生產、GIS、計量自動化、營配信息集成等信息系統(tǒng)數(shù)據(jù)進行可靠性、經濟性以及電能質量等計算任務，數(shù)據(jù)源頭眾多、結構多樣、數(shù)據(jù)量大、數(shù)據(jù)質量差異性大，目前尚沒有針對性的信息模型和數(shù)據(jù)平臺支持，因此需要建立數(shù)據(jù)集成平臺，對數(shù)據(jù)進行抽取、清洗、整合，保障數(shù)據(jù)質量、可靠性及可維護性。

平臺采用圖形化的數(shù)據(jù)整合、監(jiān)控、維護界面，實現(xiàn)數(shù)據(jù)集成管理的可視化，提高系統(tǒng)的易用性；支持集群部署方式，提高集成平臺的可靠性；對大數(shù)據(jù)量的整合過程可針對性的設置并發(fā)線程，縮短處理時間，提高整體整合速度；可方便接入各種關系數(shù)據(jù)庫、Excel、文本文件、XML、Webservice等數(shù)據(jù)源，對于特殊數(shù)據(jù)源可開發(fā)插件進行支持；采用 java腳本、正則表達式、SQL語句等方式靈活對數(shù)據(jù)質量進行監(jiān)控和容錯預處理；提供基于數(shù)據(jù)庫、WebService、文件等多種方式的數(shù)據(jù)訂閱、推送服務。

圖2　數(shù)據(jù)集成平臺技術架構

1.3技術特點

1.3.1數(shù)據(jù)倉庫技術

數(shù)據(jù)倉庫是一個面向主題的、整合的、穩(wěn)定的、并且時變地收集數(shù)據(jù)以支持管理決策的一種數(shù)據(jù)結構形式，它是信息層的數(shù)據(jù)集成方案。

數(shù)據(jù)倉庫可由數(shù)據(jù)源、數(shù)據(jù)準備區(qū)、數(shù)據(jù)存儲、應用工具和用戶界面組成（如圖3所示）。

數(shù)據(jù)源的作用是提供原始的數(shù)據(jù)，這些數(shù)據(jù)一部分來自電網內部的現(xiàn)有的信息系統(tǒng)，如EMS、DMS。另一部分來自企業(yè)外部，如第三方提供的數(shù)據(jù)等。數(shù)據(jù)源是建立數(shù)倉庫的基礎。數(shù)據(jù)倉庫中存儲的數(shù)據(jù)和數(shù)據(jù)源中的數(shù)據(jù)在格式和內容上差別很大，這個差別可由數(shù)據(jù)準備階段的數(shù)據(jù)抽取、清洗、轉換和加載來消除。應用工具OLAP、數(shù)據(jù)挖掘完成對數(shù)據(jù)倉庫中數(shù)據(jù)的再次加工，然后提交給用戶。元數(shù)據(jù)是數(shù)據(jù)倉庫本身信息的數(shù)據(jù)，連接數(shù)據(jù)倉庫的所有部分。

圖3　數(shù)據(jù)倉庫

數(shù)據(jù)倉庫是一種緊耦合的數(shù)據(jù)集成，是一種“數(shù)據(jù)驅動”的模型。“數(shù)據(jù)驅動”是將各個數(shù)據(jù)源的數(shù)據(jù)預先集成，并存在共享庫中，供用戶直接查詢和分析，好處是可以提高系統(tǒng)性能和響應速度，而且可以保存大量有用的歷史數(shù)據(jù)。

1.3.2集成管理可視化

惠州供電局配網自動化規(guī)劃設計技術支持系統(tǒng)數(shù)據(jù)的整合、監(jiān)控、維護，采用圖形化的界面，利用實時數(shù)據(jù)圖形、動態(tài)餅圖、動態(tài)表記圖等實現(xiàn)數(shù)據(jù)集成管理的可視化，通過圖形直觀地分析系統(tǒng)數(shù)據(jù)，提高系統(tǒng)的易用性。

1.3.3可接入不同數(shù)據(jù)源

對于來自于不同應用系統(tǒng)的數(shù)據(jù)，它們的數(shù)據(jù)類型、大小可能不盡相同，因此系統(tǒng)必須方便接入不同的數(shù)據(jù)源，包括：各種關系數(shù)據(jù)庫、Excel、文本文件、XML、Webservice等，對于特殊數(shù)據(jù)源還可開發(fā)插件進行支持。

1.3.4基于ETL的數(shù)據(jù)轉化策略

數(shù)據(jù)集成是監(jiān)控系統(tǒng)應用的重要環(huán)節(jié)，配網自動化規(guī)劃設計技術支持系統(tǒng)開發(fā)科技項目數(shù)據(jù)集成平臺各種分析數(shù)據(jù)所依賴的基礎數(shù)據(jù)基本來源于其它系統(tǒng)，因此，能夠快速獲取準確、有效的基礎數(shù)據(jù)是監(jiān)控系統(tǒng)能夠正常運行的基礎。配網自動化規(guī)劃設計技術支持系統(tǒng)開發(fā)科技項目數(shù)據(jù)集成平臺從基礎數(shù)據(jù)結構設計、數(shù)據(jù)抽取和數(shù)據(jù)轉換幾個方面進行了綜合考慮。

2　數(shù)據(jù)平臺的外部集成方案

2.1外部集成概述

配網自動化主站作為整個系統(tǒng)基礎平臺，規(guī)劃設計技術支持功能模塊作為配網自動化主站的一個應用存在，系統(tǒng)通過配網自動化主站的信息交互總線和數(shù)據(jù)平臺與相關系統(tǒng)建立接口，獲取規(guī)劃技術支持模塊所需的基礎數(shù)據(jù)，然后進行可靠性指標的分析計算。下圖是相關系統(tǒng)間數(shù)據(jù)流向展示圖。

2.1.1數(shù)據(jù)抽取原理

數(shù)據(jù)集成平臺的主要功能是對數(shù)據(jù)進行抽取、清洗、整合，保障數(shù)據(jù)質量、可靠性及可維性。需要整合 EMS、計量自動化調度、生產、GIS、營銷等信息系統(tǒng)數(shù)據(jù)進行可靠性、經濟性以及電能質量等計算任務，數(shù)據(jù)源頭眾多、結構多樣、數(shù)據(jù)量大、數(shù)據(jù)質量差異性大。

數(shù)據(jù)倉庫可以作為數(shù)據(jù)集成平臺的一個獨立的數(shù)據(jù)環(huán)境，需要通過抽取過程將數(shù)據(jù)從脫機的數(shù)據(jù)存儲介質和外部數(shù)據(jù)源導入到數(shù)據(jù)倉庫中；在技術上，ETL主要涉及到關聯(lián)、轉換、增量、調度和監(jiān)控等幾個方面；數(shù)據(jù)倉庫系統(tǒng)中數(shù)據(jù)不要求與各個業(yè)務系統(tǒng)中數(shù)據(jù)實時同步，所以ETL可以定時進行。但多個ETL的操作時間、順序和成敗對數(shù)據(jù)倉庫中信息的有效性至關重要。

源數(shù)據(jù)可以分為基礎數(shù)據(jù)和運行數(shù)據(jù)。對于基礎數(shù)據(jù)，基本臺賬數(shù)據(jù)和拓撲結構通過業(yè)務系統(tǒng)webserver接口經企業(yè)總線服務推送給數(shù)據(jù)集成平臺，而基本用戶信息利用Oracle的導入導出工具，先將存量數(shù)據(jù)由業(yè)務系統(tǒng)導出，再由數(shù)據(jù)集成平臺數(shù)據(jù)庫導入；對于運行數(shù)據(jù)，可以采用ETL工具進行批量數(shù)據(jù)抽取，這樣數(shù)據(jù)集成平臺可以通過kettle工具直接抽取數(shù)據(jù)，從而減少webserver推送報文的解析過程。

圖4　數(shù)據(jù)流向展示圖

2.1.2服務接口類型

數(shù)據(jù)集成平臺的主數(shù)據(jù)來源于各業(yè)務系統(tǒng)，采取如下數(shù)據(jù)服務接口：

1）實時服務：數(shù)據(jù)集成平臺通過業(yè)務系統(tǒng)提供的Web Service服務，實時更新文件服務器；

2）批量模式：數(shù)據(jù)集成平臺通過oracle的導入導出工具進行傳輸；

3）準實時接收：數(shù)據(jù)集成平臺通過ETL方式實現(xiàn)數(shù)據(jù)的批量傳輸。

圖5　數(shù)據(jù)集成平臺接口方案

如上圖所展示，數(shù)據(jù)集成平臺對外的接口可以分為幾個類型：實時服務、批量傳輸、準實時接收。

1）實時服務接口

①接口方式：WebService

②數(shù)據(jù)內容：基本臺賬數(shù)據(jù)和拓撲結構

③數(shù)據(jù)源系統(tǒng)：配網生產系統(tǒng)/GIS系統(tǒng)

④數(shù)據(jù)存儲：文件服務器

⑤同步機制:配網主站系統(tǒng)監(jiān)控營配信息集成系統(tǒng)，當有一條線路的臺賬信息發(fā)生變更時，就通過WebService將變更信息以xml文件方式發(fā)送到數(shù)據(jù)集成平臺。

2）批量傳輸接口

①接口方式：oracle導入導出工具

②數(shù)據(jù)內容：用戶基本信息

③數(shù)據(jù)源系統(tǒng)：營銷系統(tǒng)

④數(shù)據(jù)存儲：oracle數(shù)據(jù)庫

⑤同步機制:每個月利用oracle導入導出工具更新一次營銷用戶信息。

3）準實時接口

①接口方式：ETL工具抽取

②數(shù)據(jù)內容：運行信息

③數(shù)據(jù)源系統(tǒng)：計量自動化系統(tǒng)和EMS系統(tǒng)

④數(shù)據(jù)存儲：oracle數(shù)據(jù)庫或者時序數(shù)據(jù)庫

⑤同步機制:計量系統(tǒng)每隔15分鐘發(fā)送一次E文件，EMS系統(tǒng)每隔5分鐘發(fā)送一次E文件，通過kettle抽取保存在數(shù)據(jù)庫中。

2.2外部集成具體實現(xiàn)

下面分別對每個外部系統(tǒng)集成的實現(xiàn)及數(shù)據(jù)交換方式進行具體描述，包括與EMS系統(tǒng)、DMS系統(tǒng)、配網生產系統(tǒng)、GIS系統(tǒng)、計量自動化系統(tǒng)及營配信息集成系統(tǒng)的接口。

2.2.1EMS系統(tǒng)

與能量管理系統(tǒng)（EMS）做接口，配網主站和EMS系統(tǒng)之間具備了完善的雙向傳輸功能。EMS將實時庫中的全網模型數(shù)據(jù)（包含網絡拓撲、網絡參數(shù)）通過文本文件方式上傳到數(shù)據(jù)集成平臺，配網自動化主站抽取相關數(shù)據(jù)生成配網自動化主站的主網模型。

2.2.2配網生產系統(tǒng)

與配網生產系統(tǒng)做接口，在數(shù)據(jù)集成平臺之上實現(xiàn)與配網自動化規(guī)劃設計技術支持系統(tǒng)的無縫鏈接與數(shù)據(jù)、流程互通。實現(xiàn)設備資產全活動周期的跟蹤管理。

2.2.3GIS系統(tǒng)

與配網GIS應用系統(tǒng)做接口，配網GIS應用系統(tǒng)主要負責提供整個配網網絡圖形和網絡拓撲、線路及配網設備的相關參數(shù)。將相關參數(shù)數(shù)據(jù)通過Webservice方式上傳到數(shù)據(jù)集成平臺。實現(xiàn)配網信息的信息共享，并保證配網信息的規(guī)范性、準確性和完整性。

2.2.4計量自動化系統(tǒng)

與計量自動化系統(tǒng)做接口，計量自動化系統(tǒng)主要負責提供變電站關口遙測計量終端、大用戶負荷管理終端、配變監(jiān)測計量終端以及低壓集抄設備采集的用電信息數(shù)據(jù)。將計量相關數(shù)據(jù)通過文本文件方式上傳到數(shù)據(jù)集成平臺。使用統(tǒng)一交互協(xié)議，一致的交互方式和協(xié)議將有效提高系統(tǒng)復用能力，使計量自動化接口得以快速部署和統(tǒng)一運維，減少故障隱患和方便日常維護管理，并且可以充分整合現(xiàn)有系統(tǒng)資源，簡化計量自動化主站的開發(fā)工作量。

2.2.5營配信息集成系統(tǒng)

與營配信息集成系統(tǒng)接口，營配信息基礎系統(tǒng)主要提供廠站相關信息、計劃停電、故障停電等信息。將營銷、配網相關數(shù)據(jù)上載到數(shù)據(jù)集成平臺，實現(xiàn)營銷數(shù)據(jù)實時更新以及配網自動化數(shù)據(jù)共享。配網自動化規(guī)劃技術支持系統(tǒng)提供需要共享到集成平臺的數(shù)據(jù)表以及需要ODI統(tǒng)一調度的WebService服務，集成平臺調用配網自動化規(guī)劃技術支持系統(tǒng)的WebService服務和把其中的數(shù)據(jù)表以WebService形式提供給其他業(yè)務系統(tǒng)訪問。

3　結　論

文中是對配網自動化規(guī)劃設計技術支持系統(tǒng)開發(fā)科技項目數(shù)據(jù)集成平臺的研究和設計，尋找一種整合EMS、DMS、生產、GIS、計量自動化、營配信息集成等信息系統(tǒng)數(shù)據(jù)可靠性計算、經濟性以及電能質量等計算任務的方法，迎合配網自動化智能決策應用系統(tǒng)建設，形成配網自動化智能決策全景模型，建立配網自動化智能決策數(shù)據(jù)集成平臺。數(shù)據(jù)平臺通過信息模型的支持，對數(shù)據(jù)進行抽取、清洗、整合，保障數(shù)據(jù)質量、可靠性及可維護性。實現(xiàn)對關系型數(shù)據(jù)庫、Excel、文本、xml、Webservice等數(shù)據(jù)源的接入，實現(xiàn)基于數(shù)據(jù)庫中間庫、Webservice、數(shù)據(jù)總線的統(tǒng)一標準數(shù)據(jù)輸出。支持集群部署、并發(fā)計算，1天內完成月度數(shù)據(jù)集成，支持過去三年未來五年的數(shù)據(jù)存儲。

［1］王仲，陳曉鷗.基于XML的數(shù)據(jù)交換與存取技術研究［J］.計算機工程與應用，2015（24）:108-111.

［2］王林青，顧建煒，曹一家，等.基于CIM/CIS的電力實時信息平臺設計與實現(xiàn)［J］.電力系統(tǒng)及其自動化學報，2008，20 （1）:46-51.

［3］任義，凌玉華，廖力清.基于IEC61970標準的異構數(shù)據(jù)源間數(shù)據(jù)轉換方法的研究與實現(xiàn)［J］.安徽電力，2006，23（4）: 51-54.

［4］劉翔.中小企業(yè)數(shù)據(jù)交換平臺的研究和設計［D］.武漢：華中科技大學，2006.

［5］于曉慧.J2EE架構下數(shù)據(jù)庫訪問的性能優(yōu)化研究［J］.計算機應用研究，2005（4）:90-92.

［6］張詩軍.基 于X ML WEB數(shù)據(jù)庫數(shù)據(jù)發(fā)布及信息提取系統(tǒng)的設計與實現(xiàn)［D］.廣州:暨南大學，2007.

［7］楊小燕，廖清遠.基于數(shù)據(jù)中心平臺的數(shù)據(jù)整合研究［D］.長沙：湖南大學信息科學與工程學院，2011.

［8］孫宏斌.李鵬.李矛，等.中國南方電網在線分布式建模系統(tǒng)研究與設計［J］.電力系統(tǒng)自動化，2007，31（10）:82-86，91.

Research and application of data integration platform for distribution network automation planning and design

XIAO Pei-gen1，LI Hai-tao2，ZHU Ling3，DENG Hui-hua3，HE Yi-feng3
（1.Power Application Department，Guangzhou Haiyi Software Co.Ltd，Guangzhou 510000，China；2.Power Dispatching Unit，Guangdong Power Grid Co.Ltd，Guangzhou 510000，China；3.Power Dispatching Unit，Guangdong Power Grid Co.，Ltd.Huizhou Power Supply Bureau，Huizhou 516001，China）

This paper introduces a distribution automation planning and design related data extraction and collection method. Including induction distribution automation planning and design technical support system data items，research by SOA architecture by bus and data integration platform of integration of EMS，DMS，production，GIS，measurement automation，camp with information integration and information system data method and a case；the establishment of information model and data integration platform of data extraction，cleaning，integration，guarantee the data quality，reliability and maintainability；research and development of data platform function module，the deployment of data integration platform and other system data integration.

planning and design of power distribution automation；data extraction and collection；information model；data integration platform

TN0

A

1674－6236（2016）11-0038-04

2015-06-01稿件編號：201506014

肖培根（1989—），男，廣東廣州人，碩士研究生。研究方向：電力配網軟件。