電力調度自動化系統運行數據中臺建設方法研究

摘要：針對電力調度自動化系統的數據都是孤立存在于OCS、OMS、EMS等不同系統中，不同專業、不同單位、不同業務的數據共享機制缺乏等問題，通過引入數據中臺的理念，提出了一種電力調度自動化系統運行數據中臺建設方法，消除了電力系統數據的煙囪體系，有利于實現業務能力的提升，為電力業務的智慧創新發展提供數據服務支持。

關鍵詞：電力調度;調度自動化系統;數據中臺

0 引言

電力調度自動化系統經過多年的運行，積累了豐富的運行數據，包括各種量測數據、告警數據、故障與運行事件數據、電量數據及計劃預測類數據，但業務系統數據都是獨立存在于OCS、OMS、EMS等系統中，形成了信息孤島[1]。

隨著互聯網大數據分析的發展，“數據中臺”的概念被提出，即采用數據的分層與水平解耦，將數據運營和產品能力從前臺進行剝離，成立獨立的數據中臺，解決煙囪式數據架構體系的問題[2]。本文針對電力調度自動化系統，基于“數據中臺”的理念，提出了一種電力調度自動化系統運行數據中臺建設方法。

1 電力調度自動化系統數據管理存在的問題

1.1 ? ?數據規模方面

電力調度自動化系統包括主網、配網和用戶側的數據，日增數據規模可達2萬億條。

1.2 ? ?數據處理方面

傳統數據分析以指標統計為主，較少深入挖掘數據規律，采用的技術手段難以處理海量、復雜、關聯數據，導致“數據睡眠”[3]。

1.3 ? ?數據應用方面

如何充分利用數據資源為電網運行、規劃、管理提供輔助決策，成為亟待解決的問題。

2 電力調度自動化系統運行數據中臺架構

數據中臺是處于最下層存儲計算平臺和上層數據服務之間的一套系統。技術人員不需要了解下層存儲平臺的計算技術復雜性，數據的使用成本更低。

2.1 ? ?總體架構

調度運行數據中臺基于商用云平臺提供的IaaS層服務構建了3層架構：數據匯聚層、數據融合層、數據服務層。系統總體架構如圖1所示。

2.2 ? ?電力調度自動化系統數據匯聚層

數據匯聚將各類異構網絡、異構數據源的數據非常便捷地采集到數據中臺中進行集中存儲，是數據中臺的核心工具。通過標準化、在線化的數據采集接入工具，基于業務驅動逐步將數據時效由T+1提升到準實時，有效構建面向電力調度生態的調度運營服務的數據基礎。

2.2.1 ? ?數據源梳理

數據源梳理任務通過配置驅動本地或者遠程執行，電網數據分為結構化數據和非結構化數據。

結構化數據主要有：

（1）模型數據：源系統建模;

（2）實時數據：源系統實時變化數據;

（3）事件數據：源系統產生的遙信變位、SOE等告警數據;

（4）歷史數據：源系統存在關系庫中的數據。

非結構化數據主要有：

（1）圖形：源系統的接線圖、圖片、視頻主站的異常截圖;

（2）文檔：主要是OMS中各種格式的辦公文檔。

2.2.2 ? ?數據同步接入

2.2.2.1 ? ?IEC 61970的CIM/XML方式

雙方基于IEC 61970標準實現，互聯采用XML文件的方式，不僅能傳輸遙測、遙信的信息，而且能交換電網模型的描述信息。

2.2.2.2 ? ?文件方式

適用于傳輸非實時數據，用戶可以選擇導入內容和數據庫域對應關系，方便遠動點表等數據導入。

2.2.2.3 ? ?JMS方式

適合傳輸實時性較高的數據，可以支持兩種消息模型：點對點消息和發布訂閱消息，既可用于不定時的數據交換，又可用于實時數據傳送。

2.2.2.4 ? ?Web服務方式

可用于傳輸數據，還可以傳送模型文件、畫面文件、計劃報表文件等，例如：氣象系統的數據接入。

2.2.3 ? ?對接各業務和外部數據

2.2.3.1 ? ?實時量測數據

各業務系統的實時運行數據，如遙信、遙測等，以及各類報警數據。

2.2.3.2 ? ?歷史量測數據

全系統的歷史狀態數據、歷史事項數據等。歷史數據經過清洗、轉換、過濾、索引，存儲到分布式數據庫中。

2.2.3.3 ? ?運行管理數據

設備檢修、發電計劃、停電計劃等，存儲到分布文件系統中。

2.2.3.4 ? ?非結構化數據

各種辦公文檔、圖片等，存儲到分布文件系統中。

2.2.4 ? ?存量和增量數據的同步協同

跨集群數據同步：基于插件的設計方法，可支持不同集群間的數據同步。

全量同步：分為表全量同步和庫全量同步，表全量同步每次讀取表中全量數據并寫入，庫全量同步策略是把庫中所有表進行數據同步。

增量同步：分為新增、覆蓋和更新3種策略，新增策略主要通過在目的端新建分區或者追寫數據實現，覆蓋和更新策略在同步配置時選擇唯一鍵，根據唯一鍵對比同步中的數據和目的端數據，結合增量策略來判斷數據是覆蓋還是更新。

2.3 ? ?電力調度自動化系統數據融合層

數據融合是指數據的加工過程，通過數據加工提煉數據的價值，實現方便業務使用的目的。

2.3.1 ? ?不同主題域數據組織

不同主題域數據組織的目標就是把企業的全域原始數據都匯聚到數據中臺。電力調度自動化系統整體數據域包括電網域、市場域、設備和安全域、信息域。

2.3.2 ? ?標準規范公共數據層

標準規范公共數據層從業務易理解的視角來重新組織，定義一致的指標、維度，依據統一規范獨立建設，從而形成統一規范的標準業務數據體系。

2.3.3 ? ?數據指標維度

2.3.3.1 ? ?實時變化數據指標維度

以廠站的ID為分片鍵，其主要包括遙測數據、遙信數據、電度數據等。

2.3.3.2 ? ?實時斷面數據維度

包括點的唯一標識、點分類、量測類型、值、更新時間、點的數據質量碼。

2.3.3.3 ? ?實時事件數據維度

以廠站的ID為分片鍵，其包括告警對象標識、報警類、報警串、優先級、廠站、間隔、設備、統計類型等。

2.3.4 ? ?業務目標對象與ID匹配

選擇典型的對象建立標簽體系。一種對象標簽體系的建設不能影響另一種對象標簽體系的建設，可以根據資源和業務緊急度，合理安排標簽體系建設的前后關系。

2.3.5 ? ?數據打通和深度挖掘

給每個對象設置一個超級ID，作為唯一識別該對象的標識碼，業務系統中不同的對象標識ID都通過一定的算法規則與這個超級ID打通，進而完成對象所有業務標識ID的打通。其具體功能：實時模型與未來態模型的融合;電網一次模型和二次模型的融合;主網與配網數據的融合;發電側與用戶側數據的融合。

2.3.6 ? ?自動萃取代碼并調度數據庫

自動萃取代碼能調度電網數據庫中的設備信息、容器信息等。它根據給定的類名和屬性名，服務動態組織SQL語句，返回電網模型資源信息。

對于周期性的查詢任務模板，萃取代碼在滿足條件后自動執行查詢。管理員可查看臨時和計劃任務執行的日志及當前執行的任務。

2.4 ? ?電力調度自動化系統數據服務層

以統一、規范的方式高效輸出易用的數據服務，支撐前臺靈活多變的應用需求。

電力調度自動化系統數據服務功能要求：

（1）實現對OCS系統歷史數據中遙測和遙信的信息查詢，并完成統計分析。結果通過文件、Web Service、數據庫的方式對外提供服務。

（2）達到大規模數據查詢快速響應的要求，如分庫分表存儲，對廠站ID、記錄名和時間建立索引，查詢和統計并行執行。

（3）多數場景中用戶是定期執行特定的查詢，需為用戶提供向導定制查詢服務，存儲為模板，模板可發布，由其他用戶訂閱使用。

（4）權限與痕跡管理功能，可設定各用戶對哪些測點、哪段時間的數據具有獲取權限;能夠記錄用戶的查詢和調用操作，統計用戶查詢數據的數量與頻次。

（5）功能自檢，如檢查歷史數據庫是否正確新增當日數據。

（6）集成Web版辦公軟件，可將數據結果融合到用戶提供的docx、xlsx和pptx文件中，如集成libreoffice online或onlyoffice。

3 智能應用

3.1 ? ?調度自動化服務機器人

服務機器人能夠在數據中臺中查詢各類結構化和非結構化數據，通過向導問答方式與用戶交互，確定查詢條件，實現跨表跨庫聯合查詢，并能按照用戶給定規則對數據進行分析和統計。典型場景有：機器人每天定時查詢前一天的告警信息，并將查詢結果按照時間排序;機器人每天統計出同一個廠站的所有通道投入、退出、遙測誤碼高的次數，并存在數據庫中;輸入關鍵字能在現有OCS系統歷史數據庫中查詢到各類告警和測點的數據。

3.2 ? ?調度經濟運行數據智能管家

調度經濟運行數據智能管家系統主要實現對發電運行數據的存儲、分析和應用，包含數據輸入、數據管理、數據應用三方面功能。

（1）數據輸入：具備從節調系統或OMS系統、OCS系統導入負荷數據、機組檢修數據等功能;可人工導入機組電量、裝機容量等原始數據表單。

（2）數據管理：具備基于給定規則，從輸入數據中提取信息并形成電廠電量數據的功能，并可實現對電廠參數、電量數據、裝機容量數據、負荷數據、檢修數據等數據的存儲，形成基礎數據庫。

（3）數據應用：對基礎數據進行智能化統計及分析，具體包括電量與利用小時數、統調電量與負荷信息的匯總統計，節能效益測算，購電成本分析等功能。

4 結語

本文針對電力調度自動化系統數據規模大、數據較少深入挖掘、數據應用不夠充分等問題，提出了一種電力調度自動化系統運行數據中臺建設方案，基于商用云平臺提供的IaaS層服務構建了3層架構——數據匯聚層、數據融合層、數據服務層，有效解耦傳統調度自動化系統前臺與后臺的緊耦合關系，提高了電力調度自動化系統的數據輸出和服務能力，能夠支撐調控中心的數字化和智慧化轉型。

[參考文獻]

[1] 巨克真，魏珍珍.電力企業級數據治理體系的研究[J].電力信息與通信技術，2014，12（1）：7-11.

[2] 朱紅甫.打造企業數據中臺 推進企業智慧運營[J].通信企業管理，2018（2）：32-33.

[3] 張濤.數據標簽在共享數據溯源中的應用研究[J].通信技術，2020，53（1）：221-224.

收稿日期：2021-04-08

作者簡介：張豐鳴（1991—），男，湖北天門人，助理工程師，研究方向：電力系統及電氣二次。