基于快照技術的場景化數據管理的研究

吳京京，丁捷，蔣小龍，孫榮西，王景燕

(南瑞集團公司(國網電力科學研究院)南瑞研究院, 江蘇， 南京 211106)

0 引言

為滿足智能電網一體化運行的需求，基于云計算及大數據等理念設計的調度控制系統云平臺應運而生[1]。調度控制系統云平臺的建設需要接入包括全業務各專業系統內的業務數據，從而為后續各級應用提供基礎數據支撐[2]。目前系統間數據交互方式種類繁多、流向復雜交錯。隨著調度控制系統云平臺的逐步開展，大大提高了數據集成工作的難度。因此，有必要從全局角度對所有數據傳輸任務的運行狀態進行實時監視，從而提高數據集成的流程規范化及開發效率。

為了能夠應對龐大的數據快照管理，實現電力系統場景化數據管理功能的深化和應用，本文開展了基于快照技術的調控云端場景化數據管理的研究。快照一般被定義為一組文件或目錄在某個指定的時間節點的副本。快照技術實現了在短暫的時間段內大量數據的備份，并且能夠不對應用系統的性能造成嚴重的影響。當備份的文件目錄被移動或者進行寫操作時，通過快照技術實現數據的存儲，可以保證數據的完整性，不會導致備份失敗。快照技術目前普遍應用在存儲網絡行業領域，主要是在高性能計算、人工智能技術及應用方面實施快照管理技術[3]。本文將該技術引入調度控制系統用做數據管理，實現了對大量全業務實時數據的秒級存儲，對實現電網及設備畫像分析提供了更加精準的實時數據源。

目前，調度系統的數據管理模式主要有2種：一種是直接在Ⅰ、Ⅱ區進行源端數據管理，再將數據分析結果上傳到云端，結合Ⅲ區數據進行展示；一種是Ⅲ區同步Ⅰ、Ⅱ區數據后，再在Ⅲ區進行數據管理。并將分析結果上傳到云端展示。本文提出的基于快照技術的場景化數據管理方法是將源端數據直接上傳到云端，結合Ⅲ區OMS/PMS系統數據及云端氣象、環保節能等共享平臺數據，分不同的場景在云端進行統一數據管理、分析。該數據管理方法同時涵蓋了源端及云端幾乎全網全業務各個場景的數據。數據更加多元化，覆蓋范圍更加廣泛，真正實現了對海量數據的統一管理分析。以大數據分析的視角，從時間、空間、對象等多維度展現設備或電網相關聯的全維度數據規律，從而為調控生產人員更好地監測、預防與決策提供服務支撐，實現電力系統場景化數據的深度分析。

1 場景化數據管理

場景化數據管理是系統實現特定環境下完整數據的存儲和管理的公共工具，便于調控生產人員使用指定場景的數據開展分析和研究。通過利用數據關鍵特征，對電網歷史運行狀況的事后分析、評價、反演，找出薄弱環節，提出優化策略，指導后續電網運行優化，為電網的規劃建設提供參考。同時結合調度專業知識，運用深度學習技術，對多時間尺度下場景數據中特征信息的關聯對比分析和深度挖掘，實現對電網當前狀態及發展趨勢的描述，給出電網異動和優化運行輔助決策[4]。

典型的場景化數據包括省、地、縣三級調度機構的全業務系統數據，涉及了EMS數據、OMS/PMS數據、保信數據、DMS數據、電能計量數據、輸變電監測數據、WAMS數據、氣象數據、環保節能數據等，其中，EMS依托省調已經建成的模型數據中心系統，OMS/PMS系統接入設備臺帳并實現與EMS一次設備模型的對應，其他系統數據接入依據名稱等對應關系。其結構如圖1所示。

圖1 場景化數據

場景化數據按照業務數據分類包括結構化數據、半結構化數據和非結構化數據。其公共管理功能包括多種類型數據(集)及其組合的定時生成、觸發生成、刪除、查詢、共享、對比等[5]，如表1所示。

表1中，模型數據是系統的模型和靜態參數信息。商用庫模型數據快照的生成和管理通過模型多版本功能實現，場景化數據管理提供根據指定時間查詢最近斷面內模型數據的接口。多數應用會使用到的實時庫模型數據快照，通過定時全量讀取，或者增量響應模型變化讀取實時庫數據的方式生成。

表1 場景化數據內容分類

實時數據是應用的數據信息，實時數據的來源包括即時讀取實時庫的記錄數據和應用程序在運行中產生的內存數據，可以是全表記錄或者是某張表的某幾個字段的值。實時數據斷面通常按一定配置規則定時保存，在一定情況下也會由應用程序觸發進行保存(實時性更強)。

由于遙測變化數據的數據量巨大，采取對常態數據滾動壓縮存儲、對指定時段數據永久轉存，并統一解壓讀取。

2 關鍵技術

數據快照是對匯集、融合后的全網全業務數據同一時間斷面的數據進行切片后的全斷面數據，快照管理功能具備對全省范圍內省、地、縣三級調度機構全業務系統數據進行快照生成、快照存儲、快照管理、快照對比功能。其中，源端生成的數據通過Kafka上傳到云端進行統一存儲管理。首先，高級應用在調度控制系統Ⅰ、Ⅱ區進行分析計算，將結果等信息通過快速生成管理工具，觸發式保存成壓縮文件和參數信息。同時，在源端的快速生成管理工具還提供定時保存計算值等信息的功能。

其次，通過廣播的形式，將生成的文件及參數信息由消息從Ⅰ、Ⅱ區穿過隔離發送到Ⅲ區，再由Ⅲ區通過Kafka上送到云端。存儲過程如圖2所示。

2.1 快照生成

利用基于同一時間斷面，集中將同一時刻的模型、實時以及非結構化數據，在快照的基礎上進一步分析反應電網及設備當前運行狀態。快照的生成實現了在歷史電網狀態分析中參照歷史時刻的模型及參數的功能，解決了采用歷史運行數據對應當前模型及參數進行電網分析出現偏差的問題[6]。將同一時刻的全業務數據生成在文件中，解決了無法支撐所有數據匯集的問題。

圖2 源端數據快照存儲過程示意圖

快照生成包含實時數據快照、模型快照、非結構化數據快照等。其中實時數據快照生成，通過定時/觸發保存實時數據，或采用大數據SQL引擎讀取指定時刻的歷史運行數據來完成。模型快照生成，通過定時/觸發(全量)或響應模型的變化(增量)從關系庫中讀取數據來完成。非結構化數據快照生成，通過定時/觸發(全量)或響應非結構化數據的變化(增量)，通過分布式文件服務系統讀取非結構化數據文件來完成。其中，實時數據快照生成流程示意見圖3。

圖3 實時數據快照生成流程示意圖

2.2 快照存儲

采用分布式文件系統恢復海量數據的快照的存儲，通過E格式文件的方式將電網全息數據生成多個文件，不同業務數據采用統一時標，時標相同的業務快照文件存儲在同一目錄下作為一個完整的全網全業務快照[7]。

快照通過采用帶時間戳的文件存儲方式，保存在關系數據庫中。實現了多活配置快照存儲，在海量數據的前提下，大大優化了存儲所占帶寬資源，縮短保存時間以及減少數據占用的調控系統空間，提升了服務性能[8]。實現了支持多元化的數據類型的存儲。快照存儲示意圖如圖4所示。

圖4 快照存儲示意圖

模型快照存儲采用多版本的關系數據庫實現。系統周期性定時存儲全網模型，同時定時刷新，每隔一段時間讀取一次模型，其周期及讀取時間間隔都可自動設置，并且當模型有變化時，將變化的表以增量的形式保存下來。

2.3 快照管理

快照的管理通過云端的快照管理工具來實現。快照管理工具對電網快照及設備畫像進行查詢、分析、管理，檢查數據有無損壞是否可靠等，實現了直接查詢展示電力系統場景化數據，避免下裝數據，減少對運行系統的影響。并且通過數據分析，定期刪除不需要的數據，減少調控系統資源的占用。

根據不同的請求類型，完成快照管理的請求任務，不同的操作類型對應不同的內部函數進行處理，并最終調用數據層的快照處理功能子模塊。形成返回結果后,返回到服務總線，最終到達客戶端，并由客戶端根據不同的請求函數生成結構化結果返回。快照管理流程示意圖如圖5所示。

圖5 快照管理流程示意圖

2.4 快照讀取

以時間線為軸，在任意時間斷面，以讀取斷面的時間點之前最近的靜態快照及其之后所有變化的動態快照組合生成完整的快照。大大縮短了對海量數據讀取的時間，以及減少了所占調控系統的資源。為智能分析電網快照及設備畫像提供了支撐。圖6是快照讀取示意圖。

實時數據快照可直接讀取存儲的斷面文件；模型快照將變化的增量模型快照下裝到內存庫，與關系庫中保存的時間點最近的全網模型快照拼接成此刻斷面的完整模型；非結構化數據快照可將增量文件與時間點之前最近的全量文件拼接成此刻斷面的完整文件。快照讀取流程如圖7所示。

圖6 快照讀取示意圖

圖7 快照讀取流程示意圖

3 應用案例

目前，該數據管理方案已應用于某省調控云系統平臺上，為實現對電網及設備運行狀態的自畫像提供了數據基礎，從而實現從傳統的物理建模發展到數據驅動，進而演化為調度實時運行控制提供知識引導。

傳統的數據管理及基于快照技術的場景化數據管理方法的對比如表2所示。

表2 數據管理方法對比

傳統的數據管理方法首先在Ⅰ、Ⅱ區存儲數據，每個斷面的時間間隔為60 s，在源端完成數據管理及分析，并將分析后得到的結果上傳至云端展示。故云端存儲的是分析后的計量數據。所能夠展示的數據量小，覆蓋的數據范圍窄。并且，云端展示的畫面信息是受到網絡傳輸延時影響的滯后的數據源。數據的新鮮度低；本文所采用的基于快照技術的場景化數據管理方法，是采用快照技術快速存儲斷面，每個斷面的時間間隔為10 s，并將源端數據直接上傳至云端，由云端進行統一的數據分析管理，實時性更強，減少了網絡延時誤差。數據管理幾分析所包含了源端及云端的數據，數據量大，覆蓋范圍廣。

由于傳統的斷面數據包含EMS源端數據，場景化數據包含了EMS、OMS、PMS、共享平臺、視頻系統、電量系統等多元化數據，云端的數據斷面覆蓋范圍明顯增大，每個斷面約為傳統斷面大小的100倍。

4 總結

隨著智能電網調控云系統的產生和發展，全業務的海量數據已經轉變為一種基礎資源。省地全網、全口徑、全業務的模型、參數、環境與運行數據等越來越多的數據逐步形成了電網整體的連續運行數據快照。傳統的數據管理方法已無法對省地海量數據建立設備或局部電網的運行狀態畫像分析模型。本文開展了基于快照技術的電力系統場景化數據管理方法的研究，開發了相應軟件以應對龐大的數據管理，實現電力系統場景化數據管理功能的深化和應用。

目前，本文提出的數據管理工具可以通過用戶配置按時間段定期清除所存儲的斷面文件。但是，由于數據分析、反演，需要保留一定時期的大量數據，所以后續該數據管理方法還有待提升和完善。可設計更加靈活的方式自動清除斷面文件。例如，可配置定期清除無數據變化，無天氣變化，節假日變化等信息的數據。基于快照技術的場景化數據管理方法的應用價值還可以進一步挖掘，以充分利用現有的數據源，更好地為各業務提供服務。