多源異構電網運行時標量測數據接入方案設計

猶 鋒，趙裕嘯，茅海泉

(江蘇瑞中數據股份有限公司，南京 210012)

多源異構電網運行時標量測數據接入方案設計

猶 鋒，趙裕嘯，茅海泉

(江蘇瑞中數據股份有限公司，南京 210012)

海量準實時數據服務平臺是電網運行時標量測數據集中存儲的場所；為了滿足電網調度自動化、計量自動化等電網運行數據的接入需求，提出一種多源異構電網運行時標量測數據接入方案;該方案綜合采用關系數據庫和實時數據庫存儲數據，結合實時數據庫存儲數據的測點特性定義了電網時標量測數據存儲命名規范，通過配置服務實現數據接入任務的啟停控制和運行狀態監控，使用接入調度器調度接入插件執行接入任務并引入主備冗余技術保證調度器的高可用;方案引入組件化程序設計思想，通過可插拔、易擴展的插件設計滿足多源異構數據的接入需求;方案在南方電網公司海量準實時數據服務平臺建設項目中得到實際應用，很好地滿足了南方電網運行時標量測數據的接入需求。

多源異構；時標量測數據；實時數據庫；數據接入；主備冗余

0 引言

近年來，隨著電網信息化和智能化建設的逐步推進，在電網的輸變電設備狀態監測、計量自動化及配網自動化等業務領域產生了大量的實時數據，繼而沉淀生成海量的歷史數據，連同調度安全Ⅰ/Ⅱ區已經形成的電網運行方式、關口電量、保護、氣象等實時數據一起，這些海量的電網運行實時數據都是電網生產運行過程中的重要財富，是實現精益化管理的重要基礎。為了充分發掘海量電網運行實時數據的潛在價值，確保實時數據的集約精益化管理，迫切需要建立電網統一、分級管理的海量準實時數據服務平臺(以下簡稱海量平臺)，以滿足網、省電力公司各業務應用對實時/歷史數據進行存儲、整合、共享以及統一和標準訪問的需求[1-4]。

海量平臺是電網面向數據資源統一管理及針對實時數據管理的有力支撐平臺，是對生產運行過程中各業務應用形成的實時歷史數據進行存儲、集中、整合、共享和分析的場所，同時提供標準統一的訪問方式，是為經營管理各業務應用——特別是跨專業跨部門的綜合業務應用在實時歷史數據層面提供技術支撐的信息基礎設施。

建設好海量平臺前提是各業務領域產生的海量實時數據能夠穩定高效的接入平臺。由于各業務領域的業務系統的建設目的及建設廠商各不相同，所以向海量平臺提供數據的方式及頻率也各有差異，例如調度自動化系統以E文件形式每五分鐘提供一次數據，而計量自動化系統則通過WebService每十五分鐘提供一次數據等。由于不同業務系統提供數據的方式及頻率差異性，所以本文設計了一種多源異構海量電網運行實時數據的接入方案，支持多業務系統產生的運行實時數據不同方式不同頻率的自動化接入，同時支持柔性擴展可以滿足后續更多業務系統更多形式的接入需求[5-7]。

1 數據接入背景

1.1 數據存儲機制

海量平臺為了保證實時數據的插入與查詢效率采用關系數據庫與實時數據庫兩種類型數據庫混合使用的方式存儲數據。關系數據庫負責存儲電網設備臺賬信息、設備模型關系、平臺運行配置信息及運行監控日志等；實時數據庫負責存儲電網運行實時數據，一般采用“測點名稱”這一標識符來標識所存儲的數據。每一個數據都由三部分組成：時標、值以及質量碼，其數據格式如圖1所示[8-9]。

圖1 實時數據庫數據格式示意圖

通過測點名稱可以快速訪問到測點存儲的實時/歷史電網運行數據。因此為了保證測點名稱具有一定意義及全網唯一性，平臺制定了測點名稱的命名規則。

1.2 測點命名規則

海量平臺使用英文字符、數字、下劃線、特殊符號等33至127號ASCII碼字符命名測點名稱，測點名稱應保證全網唯一性。海量平臺的測點名稱一般由五部分組成：省代碼.子控制區碼.數據源碼.數據源內部碼.量測類型碼。其中，針對省(市)公司一級部署系統，子控制區碼是可選的，可以沒有；針對省(市)公司二級部署系統，測點名稱中則必須包含子控制區碼。每段之間以“.”字符連接，段內不得使用“.”字符，無匹配項的段用“Null”占位。測點名稱各組成部分的命名規則如下[10-11]：

1)省代碼：是測點所屬網省公司在測點命名上的表示方式，以省份名稱的拼音首字母縮寫表示；

2)子控制區代碼：是測點所屬地市在測點命名上的表示方式，網省公司的子控制區碼采用各地區電力公司所在地市的拼音首字母大寫縮寫表示，對于存在重復情況的網省，第一字的拼音字母往后取，直到沒有重復為止；

3)數據源碼：是接入業務系統在測點命名上的表示方式，以數據源系統的英文縮寫命名，須保證其全網唯一性，海量平臺遵照CIM規范規定了數據源碼的命名。常用的數據源碼的命名如表1所示[12]。

表1 常用數據源碼命名

4)數據源內部碼：是業務系統內部設備或者測量點使用的唯一編碼，一般以業務系統設備編碼或者測量點的編碼命名；

5)量測類型碼：是接入數據量測類型在測點命名上的表示方式，量測類型的名稱遵照CIM規范中對量測的英文命名，同時海量平臺為了方便測點命名還定義了量測的英文簡稱。以計量自動化系統中的部分量測類型為例，量測英文命名及簡稱如表2所示。

根據上述測點命名規則，廣東省佛山市調度自動化系統中功能位置編號為DE-54876的變壓器的有功功率在平臺創建的測點名稱為：GD.FS.SCADA.DE-54876.P。其中GD為廣東省代碼，FS為子控制區域佛山市的代碼，SCADA為調度自動化系統簡稱，DE-54876為設備的功能位置編碼即數據源內部碼，P為量測類型碼中有功功率的英文簡稱。

表2 計量自動化系統量測命名示例

1.3 數據接入特點

電網運行實時數據來自于不同業務領域的業務系統，由于各業務領域的業務系統建設目標及建設廠商各不相同，所以平臺接入數據具有多源異構性的特點，典型接入業務系統的數據接入頻率及方式如表3所示。

表3 典型業務系統的數據接入頻率及方式

2 接入方案設計

2.1 總體架構設計

結合電網運行實時數據接入頻率高、實時性強及多源異構性的特點，海量平臺設計的針對電網運行實時數據的接入方案的架構如圖2所示。

圖2 實時數據接入方案架構圖

接入方案架構由配置服務、接入調度器、接入插件、數據存儲及數據源五個部分構成，核心模塊是配置服務、接入調度器及接入插件三個部分。

配置服務包含接入狀態監控、接入啟停控制及接入配置三個子模塊。接入配置模塊用于配置接入任務調度參數、數據解析規則、測點及測點值創建規則等參數；接入啟停控制模塊通過向接入調度器發送命令控制接入任務的啟動和停止；接入狀態監控用于監控接入調度器的運行狀態。

接入調度器負責加載任務并根據任務調度參數調度執行接入任務。接入調度器主要包括命令處理器、冗余檢測、任務加載器及任務調度器四個子模塊：

1)命令處理器用于接收啟停控制命令和主備調度器間的心跳檢測，啟停控制命令可以控制接入任務的啟動和停止，心跳檢測用于檢測主調度器的運行狀態。

2)冗余檢測模塊是調度器主備冗余的核心。可以部署多個接入調度器，但是只有一個是主調度器。備調度器通過冗余檢測模塊實時檢測主調度器的運行狀態，一旦檢測到主調度器發生故障，就會立刻搶占主調度器的位置負責接收處理命令、同步任務配置及調度執行任務，原來的主調度器則變成備調度器。

3)任務加載器負責加載接入任務配置，同時定時同步更新已加載任務配置和狀態，保證任務調度執行的準確性和一致性。

4)任務調度器根據任務配置定時調度執行接入插件并記錄插件執行時間、執行狀態等信息。

接入插件負責根據數據解析規則解析數據，根據測點及測點值創建規則在平臺創建測點并將數據解析為測點值存入相應測點。

2.2 接入任務配置

接入任務由任務調度參數、數據訪問參數、數據解析規則、測點創建規則、測點值規則及關聯的接入插件構成。創建一個接入任務首先就要配置其關聯插件以及相應的參數和規則。下面以E文件接入為例，介紹E文件接入任務的配置流程。

平臺規定接入的E文件名稱必須遵循以下規約：省代碼+“_”+子控制區代碼+“_”+數據源碼+“_”+斷面時間(格式：YYYYMMDD_HH24MISS)+“.”+文件類型后綴。以廣東省東莞市SCADA系統2015年3月13日下午5點5分7秒的E文件為例，其文件名：GD_DG_SCADA_20150313_170507.DT。

基于上述E文件命名規范，通用的E文件接入任務配置流程如圖3所示。

圖3 數據接入任務配置流程圖

1)創建接入任務，系統分配任務編號，配置任務名稱、描述、任務類型等基本屬性，設置開始啟動時間、任務執行周期、延遲執行時間等任務調度參數；

2)配置E文件的獲取規則，包括文件所在服務器地址，文件存放路徑及訪問文件的用戶名、密碼等訪問權限；

3)配置文件解析規則，包括E文件的后綴，文件包含的內容標簽，標簽內屬性間的分隔符及分隔符的個數等，圖中內容標簽為，標識設備類型為交流線段，屬性分隔符為空格，屬性間間隔兩個空格。

4)配置測點創建規則，根據測點命名規范配置測點名的構建規則，一般省代碼、子控制區碼和數據源碼從文件名獲取，數據源內部碼關聯設備ID屬性，量測類型碼為量測類型的英文簡稱，圖中“莞水乙線有功”對應的測點名為：GD.DG.SCADA.4785

075321372674.P；接著配置測點描述構建規則、測點數據源等屬性。

5)配置測點值創建規則，時間戳從文件名獲取，值關聯到對應的量測屬性，質量碼關聯到對應的量測值狀態屬性，如果沒有該屬性，則可以設置質量碼的默認值。

6)最后選擇E文件接入插件為任務關聯插件，由插件根據配置的文件解析規則、測點創建規則和測點值規則完成E文件的解析、測點的創建及值的插入工作。

2.3 數據接入流程

配置好接入任務就可以啟動數據接入工作。數據接入流程一般包括接入任務加載、任務調度、啟動進程執行任務插件、解析并完成數據接入等步驟，數據接入的流程如圖4所示：

圖4 數據接入流程

1)啟動接入調度器，由任務加載器加載接入任務列表及任務的調度參數；

2)任務調度器開始周期檢查任務調度參數，當發現某個任務滿足執行條件時，立刻啟動進程，執行任務關聯插件；

3)插件根據配置的數據訪問參數訪問到帶接入的數據；

4)插件根據數據解析規則解析數據，根據測點創建規則不斷構造測點名并檢查該測點在平臺是否存在，如果存在則根據測點值規則寫入實時數據；如果不存在，則先在平臺創建該測點然后寫入實時數據；

5)當插件完成數據解析后，任務調度器釋放創建的進程資源，該接入任務本次執行結束。

3 數據接入關鍵技術

3.1 基于主備冗余的高可用設計

由于每天產生的電網運行實時數據量很大且接入實時性要求很高，海量平臺需要不斷接入各業務系統定時推送過來的運行數據。如果數據接入發生故障，電網運行數據就會累積，上層業務分析系統無法獲取最新的運行數據，這是不能容忍的。所以，海量平臺的數據接入方案采用主備冗余設計保證數據接入的高可用性。同一時刻只有一個主接入調度器工作，同時存在的多個備接入調度器只定期檢測主調度器是否正常工作。如果發現主調度器運行異常，則由某個備調度器切換成主調度器負責處理接入任務[13]。啟動調度器的流程如圖5所示。

圖5 接入調度器啟動流程

1)啟動調度器，調度器首先會檢測是否有主調度器正在運行，如果沒有主調度器運行，則將自身注冊成為主調器，加載接入任務并進行任務調度；

2)發現有主調度器正在運行，則與主調度器進行心跳檢測，檢測其運行狀態；如果發現主調度器不響應心跳檢測，則標記主調度器為故障狀態并將自身注冊成為主調器，加載接入任務并進行任務調度；

3)如果主調度器正常響應心跳檢測，則將自己注冊成為備調度器并定時與主調度器進行心跳檢測。

3.2 基于插件的可擴展設計

由于電網運行實時數據的多源異構性和接入的復雜性，為了滿足今后更多電網業務系統的實時數據接入需求，海量平臺的數據接入方案允許用戶開發自定義插件擴展實時數據的接入。用戶根據接入數據的方式和數據格式開發滿足個性化需求的接入插件時僅需要關注數據解析及數據接入邏輯，而任務調度交給調度器完成。用戶自定義插件要求使用Java語言開發，插件必須實現IExecute接口，接收一個Integer類型的入參。該接口是插件的執行入口，調度器執行插件時根據注冊的類名找到執行入口，傳入關聯該插件的任務ID，從而完成數據接入工作。插件注冊及使用執行過程如圖6所示。

圖6 插件注冊及使用過程

1)配置并注冊自定義插件，說明插件名稱、功能描述及插件執行加載類名；

2)創建接入任務，配置任務關聯的插件及調度參數；

3)啟動數據接入，加載任務列表并調度執行接入任務；

4)創建獨立進程，加載插件啟動類，傳入任務ID，調用插件入口方法Execute運行插件；

5)根據插件的配置信息解析數據、創建測點并插入數據。

由于自定義插件所需參數像接入數據的訪問途徑、數據格式等都無法預估，也不能定義統一的規范，所以自定義插件只能由插件開發人員根據插件運行需求提供相應的配置文件，滿足個性化的實時數據接入需求。

4 工程實用

本文成果已在南方電網公司海量準實時數據服務平臺建設項目中得到了實際應用，滿足了南方電網各省市公司調度自動化系統、計量自動化系統等業務系統實時數據接入海量平臺的需求，也滿足了各省市公司自建業務系統的實時數據的接入需求。圖7為海量平臺數據接入任務調度監控界面。

圖7 數據接入任務調度監控界面

5 結語

海量平臺是電網生產運行過程中各業務應用形成的實時歷史數據進行存儲、集中、整合、共享和分析的場所。本文設計的多源異構海量電網運行實時數據的接入方案可以穩定高效地接入各業務系統的實時數據，完全滿足海量平臺的數據接入需求，為平臺支撐跨部門、跨專業的大規模綜合應用奠定堅實基礎。

[1] 姚建國,楊勝春,高宗和,等.電網調度自動化系統發展趨勢展望[J].電力系統自動化,2007,31(13):7-11.

[2] 陳樹勇,宋書芳,李蘭欣,等.智能電網技術綜述[J].電網技術, 2009,33(8):1-7．

[3] 趙家慶,唐 勝,丁宏恩,等.多主題電網設備綜合智能告警技術方案[J].電力系統保護與控制,2015,43(10):116-122.

[4] 陳麗娟,朱曉燕,趙俊峰,等.國內電網實時數據集成應用綜述[J].電力自動化設備, 2010,30(1):139-144．

[5] 喻 宜,呂志來,齊國印.分布式海量時序數據管理平臺研究[J].電力系統保護與控制,2016,44(17):165-170.

[6] 王和棟,楊勁鋒,等.省級電能計量自動化系統海量數據的分布式并行處理[J].廣東電力,2014,27(4):82-85．

[7] 辛耀中,陶洪鑄,李毅松,等.電力系統數據模型描述語言E[J].電力系統自動化,2006,30(10):48-51．

[8] 趙家慶,趙裕嘯,丁宏恩,等.電網調度自動化主備系統間模型正確性校驗技術方案[J].電力系統保護與控制,2014,42(19):139-144．

[9] 黃海峰,張珂珩,張 鴻,等.電力系統動態信息數據庫關鍵技術[J].計算機應用,2011,31(6):1681-1684.

[10] 丁盛舟,李永光,杜 鵬,等.基于CIM/E的電網調度系統數據質量優化方法[J].電力系統保護與控制,2016,44(3):129-134.

[11] 曹晉彰,王 揚,朱承治,等.基于公共信息模型的電網企業資產管理信息模型及應用[J].電力系統自動化, 2012,36(2):77-81.

[12] 齊林海,柳 超,任 旭.基于IEC 61970的電網拓撲分析結果共享技術的研究[J].電力系統保護與控制,2016,44(17):146-150.

[13] 胡宇舟,范 濱,顧學道,等.基于Storm的云計算在自動清分系統中的實時數據處理應用[J].計算機應用,2014,34(S1):96-99.

Scheme Design for Mass Time Scalar Data Accessing of Power Grid With Characteristics of Multi-source Heterogeneous

You Feng，Zhao Yuxiao， Mao Haiquan

(Realtime Database Co., Ltd., Nanjing 210012, China)

The service platform with mass real time data is the place where the time scalar data of power grid are stored centrally in. In order to meet the demand of power grid dispatching automation and measurement automation, a data access scheme for multi-source heterogeneous grid operation is proposed. The scheme uses relational database and real-time database to store data, define the storage standard of scalar measurement data based on the characteristics of data points stored in real-time database, through the configuration service to achieve data access tasks start and stop control and operation status monitoring, the access scheduler is used to schedule the access plug-in to complete the access task, and introduce the main and standby redundancy technology to ensure the high availability of the scheduler. The concept of component programming is introduced, and the access requirements of multi-source heterogeneous data are met by pluggable and expandable plug-in design. The scheme has been applied in the construction project of massive quasi real time data service platform of China Southern Power Grid Company. It can well meet the demand of China Southern Power Grid operating scalar measurement data access needs.

multi-source heterogeneous grid; time scalar data; real-time database; data access; main and standby redundancy

2017-09-12；

2017-10-11。

猶 鋒(1975-)，男，四川鹽亭人，碩士，主要從事電力系統調度及調度自動化方向的研究。

1671-4598(2017)12-0251-04

10.16526/j.cnki.11-4762/tp.2017.12.065

TP399

A