調度平臺全景調控統一數據模型的構建與研究

康鵬 劉康 湯瑋 劉旭 張光輝

摘要：目前電網調度平臺的數據分析存在數據冗余、系統處理成本高等問題，為了解決這些問題，本文中進行了調度平臺全景調控統一數據模型的構建與研究，介紹了調度自動化平臺架構，以及調度平臺數據自動化識別、分析關鍵技術，實現了調度平臺各類異構數據的快速處理，為調度平臺的應用提供了必要的技術支撐手段。

關鍵詞：調度平臺;自動化;Map Reduce;ETL

中圖分類號：TP301.6

文獻標識碼：A

文章編號：1001-5922（2020）12-0037-04

南方電網具有交直流混合運行、距離遠、容量大等特點，在電網的發展和技術進步的同時，電力系統中的各種問題逐漸暴露。一方面，隨著用電需求的逐漸增大，電力系統逐漸復雜，電力系統在安全運行過程中面臨的壓力越來越大，為了適應科學發展理念，電力系統需要不斷進行資源的優化配置，實現發電過程中的節能減排，還要面對各種復雜的環境因素等，目前的電力系統迫切需要革新;另一方面，隨著電網的逐步擴大，其運行過程中所產生的數據也在不斷增加，合理分析和處理大規模的數據，提高電網的運行效率是目前電力系統發展中的重大課題。

在解決上述問題的過程中，人們開發設計了可以自動進行電力調度的平臺，基于計算機、數據庫以及各種類型電力電子等相關技術的支持構建智能自動化操作系統，而與各項技術突飛猛進式發展以及優化相伴隨，這種自動化調度平臺必須提高自身的專業度以及運作效率，通過對新技術、新手段等的合理與有效利用，在相關設備與工具的支持下為電網調度及監控工作的順利與健康開展提供切實有效的手段。但是，數據的不斷累積，目前調度平臺在數據分析方面也面臨以下問題。①數據表現出程度不一的冗余性，且這一冗余問題存在的范圍比較廣泛，如量測設備內部、不同的量測裝備之間以及具有相鄰關系的子站之間均或多或少地受到數據冗余情況的困擾。②在進行數據的處理與分析之時，所采用的方法依舊以常規形式的數據存儲以及管理為主，同時，所采用的基礎架構主要還是大型服務器，它們往往需要支付較高的費用才可獲得，在存儲硬件上，所采用的是磁盤陣列，無法保證較好的系統擴展性，且同樣不具備價格優勢。在此背景下，就調度平臺中所需要的海量數據而言，急需挖掘并引入新的計算技術實現對上述問題的解決[1]如劉曉明等研究了基于全景監測暨運維調度平臺的手持設備，金剛基于規則設計了用戶全景視圖。

因此，本文構建調度平臺的全景調控統一數據模型，基于Map Reduce的數據運算技術、ETL的多源異構數據處理技術實現調度平臺的數據自動化識別、分析。

1 調度自動化平臺架構

遵循“統一調度、分級管理”的劃分與管理原則，可以將電網調度控制機構由上至下劃分為國調、網調、省調、地調以及縣調5個不同的等級。此處用上級調度控制中心來代表調度自動化平臺的主站，它由在各個安全區分布的子系統共同組成，主要包括計算機硬件、計算機軟件以及相應的通信設備等組件，在監視并分析各項數據信息的同時，還將對數據的處理與儲存任務承擔起來，同時，根據各項信息準確、有效下達調度控制命令。表1所示為主站業務子系統域的安全分區以及區域內所包含的業務系統。

以業務所表現出來的不同的重要程度為依據，調度自動化主站可劃分為不同的安全區域，各區域中有其相應的業務系統，表1所示的I區、Ⅱ區之間進行了防火墻的設立，目的在于實現邏輯層面的隔離。在縱向上，不同類型的業務系統會在交換機中被劃分到不同的虛擬局域網中，在對信息進行分類的同時執行對流量的控制任務，同時，基于縱向加密裝置與防火墻的支持同實時與非實時的VPN通道建立連接[4-5]，以此實現同遠方子站之間的實時、有效通信。

在調度自動化系統內部，經由子站傳輸給主站的各類數據在從路由器接人之后，需要在表1所示的I區經過縱向認證裝置，以此實現同對應區域交換機的連接，這是一個必要條件，而在表l所示II區，其與交換機的連接又需要經過防火墻過濾，這也是一個必要條件。2個必要條件的存在要求內部網絡對雙星型接線的百兆或千兆帶寬的以太網予以采用。

2 調度平臺數據自動化識別、分析關鍵技術

2.1全景調控統一數據模型

就電力調度控制系統而言，其大數據來源相對廣泛，包括SCADA、EMS等不下10套應用系統，每一套系統均具有不依賴于其他系統獨自運行、不對其他系統產生干擾的能力，不同系統集中了不同來源多種類型的數據，具有自己的獨立性，各應用系統之間的數據口徑并不一樣，這就信息的共享以及數據潛在價值的挖掘與發揮來說并不是有利條件。而另一方面，各系統中還擁有十分大的數據量，這存在顯而易見的覆蓋有效信息的風險與不足。與調控多元異構數據所具有的相應特征以及大數據具備的數據層面的特征相結合，調控大數據表現出很明顯的數據量大、數據類型多、價值密度低、真實性可以保證等特點。

為了做好電力調度自動化工作，在數據處理過程中，首先要有規范統一的數據結構，執行對電力調度自動化系統中各項數據信息的統一任務，同時，為不同變電站信息類型同數據之間的相互對應提供可靠保證，使每一項涉及的到的數據信息在上傳之時均能實現對電力企業相應需求的有效滿足，統一于國家電網發布的對應數據。只有將這些工作做好、做實，電力調度自動化系統中的數據信息的匯報以及分析等效率才能得到切實有效的保證，系統在使用過程中才具有安全性可言。文章設計了電網調度自動化平臺中設計了調控全景數據模型，實現了調控大數據統一管理、組織，模型的框架如圖1所示。

根據圖1，構成該調控全景數據核心數據模型的分別有SCADA、WAMS、EMS等，它們的獲取相對方便，可通過對各個應用系統中的相關信息與數據模型進行融合來完成獲取任務。

建立全景調控統一數據模型之后，數據分析任務的實現便可通過以Hadoop為基礎的調控大數據系統來完成，分層次來看，即分別將以Map Reduce為基礎的數據運算技術、以ETL為基礎的多元異構數據處理技術以及以HDFS與HBase為基礎的數據存儲技術作為對數據進行處理、對數據進行集成以及對數據進行調控的處理、集成以及存儲框架。

2.2 基于Map Reduce的數據處理框架

作為一個能夠為大數據集的計算工作提供便利的分布式平臺，Hadoop可以在集群中采用并行的工作方式將計算速度提升，縮短計算時間。NameNode與DataNode共同構成Hadoop集群，前者的任務在于對資源進行調度，同時，執行對文件目錄結構的管理操作;后者功能則體現在對數據存儲的管理之上。而作為Hadoop中的一個子項目，MapReduce的作用為并行計算大數據集，它能夠提供有足夠效率的并行計算能力以及并不復雜的通用并行算法設計環境，這于電力設備的故障診斷而言是非常方便的。圖2所示為MapReduce的工作流程示意圖。

在數據的分割、負載均衡以及容錯處理等問題上，MapReduce運行模式極具優勢，這些任務可通過MapReduce自動完成。在對MapReduce程序進行設計之時，所需做的工作比較簡單，具體地，分解數據并行計算問題，將它們用許多可以并行執行的子問題表示出來，同時，進行相應Map與Reduce函數的設計，保證程序可以良好地在分布式系統上運行。在一個MapReduce模型中，輸入的數據文件可以被分割為很多有著相同大小的數據片段，它們會由Hadoop集群中的不同存儲節點保存下來，并經過之前所設計好的Map函數得到相應的運算結果，在排序與合并等一系列操作之后，相同的key值運算結果會向相同的Reduce函數傳送，并統一接受數據的歸并處理。最終，以Reduce函數結果作為依據，在分布式集群上完成對各項結果數據的保存。如此一來，很多計算的執行效率都得到了有效的保證，它們還彰顯出可以拓展的特點，在大規模數據的計算上體現出更加明顯的優勢[6-7]。

MapReduce模型Map任務將每個系統一段時間內的歷史數據和該時間段內實時數據作為輸入，經過數據的篩選、檢驗等過程生成映射數據對，等所有Map任務完成后，系統會生成若干個Reduce任務，將相同的數據進行總結，更新平臺數據庫[8]。

2.3基于ETL的多源異構數據處理技術

服務器端主要由接口層、統一數據模型管理模塊以及ETL執行引擎構成，用于調控多源異構數據ETL處理的實現。在服務器端各個組成部分中，接口層的功能在于提供數據操作的接口，用戶可在這些接口的支持下完成相應任務，如對ETL流程的設計等。統一數據模型管理模塊在ETL框架中所發揮的作用是基礎性的，它對數據的模式、數據的結構等進行清晰地描述，可以為元數據提供存儲以及訪問等相關服務。另外，作為ETL框架的核心模塊，ETL執行引擎對流程解析以及執行2個環節均有涉及。若數據屬于小量的結構化數據類型，可選擇利用本地計算機實施ETL流程;若數據屬于大量的結構化數據或者非結構化數據，則需要通過以Hadoop大數據分析平臺為基礎的MapReduce技術對ETL中的數據轉換以及解析等各類問題進行處理。MapReduce對并行數據ETL的主要方法如下。

1）抽取有用數據：結合數據源所表現出來的特點，將其加載至能夠進行業務系統運行的對應數據庫中。在訪問數據文件之時不會對數據庫有所涉及，數據的加載大致與數據文件的MapReduce讀取相類似。 2）清洗與轉換需要的數據;訪問各個數據，將與修補數據源中不一樣、無法保證完整性以及準確性的數據剔除出去，實現對數據類型以及粒度的有效轉換。之后，通過MapReduce的并行操作來處理各個文件中涉及到的全部數據，在MapReduce中添加檢查數據格式的函數指令，達到不完整、不一致、噪音處理各項數據的目的，基于此，實現對數據的清洗、不一致轉換以及商務規則計算等。偽代碼如下：

3）數據裝載：數據抽取、清洗轉換之后進行數據裝載，關鍵代碼如下：

3 結語

在電網運行過程中，電網調度發揮著核心作用，目前，我國電網將堅強、智能的電網建設作為總的發展目標，這使得電網調度自動化的研究成為一個必然趨勢。文章在分析了電網智能調度平臺的總體結構之后，主要對調度平臺的數據自動化識別分析進行研究，提出了全景調控統一數據模型及基于Map Reduce的數據運算技術、ETL的多源異構數據處理技術的數據集成框架，實現了調度平臺各類異構數據的快速處理，為調度平臺的應用提供了必要的技術支撐手段。

參考文獻

[1]曲朝陽，朱莉，張士林.基于Hadoop的廣域測量系統數據處理[J].電力系統自動化，2013，37（04）：92-97.

[2]劉曉明，王娟，葛健.基于全景監測暨運維調度平臺的手持設備應用研究[J].自動化應用，2017，（11）：131-132+134.

[3]金剛.基于規則的用戶全景視圖的設計與實現[D].上海：上海交通大學，2015.

[4]李紅.電力調度自動化網絡運維平臺的設計與應用[J].機電工程技術，2019，48（06）：205-206+259.

[5]羅小杰.一體化技術在電力調度自動化系統的應用[J].電子技術與軟件工程，2017（ 20）：115.

[6]曲朝陽，陳帥，楊帆，等，基于云計算技術的電力大數據預處理屬性約簡方法[J].電力系統自動化，2014，38（08）：67-71.

[7]王波，王懷彬，張超.基于MapReduce的頻繁模式挖掘算法的優化[J].天津理工大學學報，2018，34（01）：6-11.

[8]肖文，胡娟，周曉峰.基于MapReduce計算模型的并行關聯規則挖掘算法研究綜述[J].計算機應用研究，2018，35（01）：13-23.