大數據技術下智能電網配用電數據存儲技術分析

周高強 王二輝 李英杰 孫亞平

摘? 要：近年來，受互聯網技術蓬勃發展的影響，促使大數據技術被廣泛應用于各個領域及各個行業。智能電網是我國電網發展的主流趨勢，能明顯提高電能利用的合理性，大大降低能源消耗量。同時，智能電網中電力設備及應用系統運行期間可能產生大量數據，一旦處理方法不得當則可能影響電網運行效率。本文以智能電網配用電數據為切入點，分析其構成特點，進一步提出具體的存儲技術框架，旨在為相關從業人員積累更多的實踐經驗。

關鍵詞：大數據技術? 智能電網? 數據存儲

工作實踐證明，智能電網中所產生的配用電數據量相對龐大，具有異構性及多源性等鮮明特點，大大增加數據存儲及集成的難度，而利用大數據技術能有效整合配用電數據，基本實現集成存儲非結構化及結構化數據的目標，大大提高其數據處理效率，突出智能電網運行高速性的特點[1]。同時，大數據技術能有效分析配用電數據，準確預測多源高緯數據，持續優化電網原有的構架，確保用電高峰期調度合理性。智能電網中配用電數據可劃分為軟件異構及硬件異構2個部分，尤其是軟件異構指各種操作系統及數據庫，甚至包括各個參與主體所設計的應用平臺，并且操作系統不同其數據庫、軟硬件平臺及數據存儲的要求也不盡相同，可能出現數據重復采集及重復存儲的問題。鑒于此，本文針對“大數據技術下智能電網配用電數據存儲技術”進行分析研究具有重要的價值意義。

1? 智能電網配用電數據的構成分析

按數據類型，智能電網配用電數據可劃分為非結構化數據、半結構化數據及結構化數據，而結合數據來源差異，可劃分為電網外部數據及電網內部數據。通常情況下，配用電數據普遍利用信息集成化方式予以呈現，促使其數據具有維度大、顆粒度混雜及多類型數據共存的特點[2]。其中，結構化數據是智能電網中最為重要的業務支持數據，受現代應用大范圍普及的影響，例如：客戶日志信息及分布式電源等，部分半結構化數據及少部分非結構化數據（即文本信息、視頻信息及Web頁面等）被納入基礎數據分析范圍。由于智能電網中特定網站web類數據量大大增加，出現非結構化、半結構化及結構化數據共存的局面。

智能電網中各個系統或主體間呈現相互獨立的存在狀態，大大增加其數據維度，其集中體現于配用電數據從屬多個主體，所有主體間相互獨立存在，造成數據存儲及數據采集的時序性存在著明顯的不一致性，逐漸拉大數據維度。同時，系統中各個業務開展基本處于獨立運行的狀態，各項業務可自主選擇數據采集時間，一旦彼此間無法統一時則可能拉大數據維度[3]。同時，數據顆粒度混雜的產生原因相對復雜，與不同系統業務需求差異性間存在著密切聯系，并且非結構化數據及元數據的存儲空間及數據格式均不盡相同。無論是否為同一種結構化數據，其容量及用戶不同則屬性要求也不同。

2? 智能電網配用電數據存儲技術的框架設計分析

2.1 資源管理

由于配用電數據普遍為多源異構，客觀上要求相關管理人員于存儲前期采取相應的處理措施，例如：將智能電網中硬件平臺與虛擬化技術相結合，搭建符合配用電數據要求的Master/Slave邏輯結構，滿足自動化篩選多源異構數據的要求[4]。同時，以負載均衡方式為主要手段，動態化分配用電數據相關存儲資源，持續優化智能電網內部資源結構，實現用電高峰期合理調度資源的目標，大大提高存儲資源利用率。此外，設計技術應用框架期間，盡可能選擇2種或2種以上虛擬化技術配置系統，例如：以虛擬機VM技術為例，能將配電系統中自動化主站平臺轉變為配用電大數據中節點。

同時，虛擬機VM技術能促使各個市縣區域內子系統及電力外網中企業及政府等用戶IT資源轉變為節點，極大程度上縮小框架設計空間，大幅度提高其系統運行效率，而經虛擬化配用電系統，其內外部計算資源成為相對獨立的資源池。為了大大提高資源池中IT資源的運轉效率，保證智能電網運行安全性及可靠性，相關技術人員必須構建負載均衡模型，方可達到優化資源配置的目標[5]。與其它模型相比，負載均衡模型是非線性規劃模型，具體運行期間不得脫離系統中任務量及節點數量等方面信息，再進行求解優化。其中，模型所使用的算法包括BP神經網絡算法及遺傳算法。

虛擬化及負載均衡化處理配用電數據資源后，基本實現均衡配置內部資源的目標。為了提高配用電系統資源的利用率，相關技術人員合理調度各種資源，綜合考慮系統的具體需求，妥善設計各種模塊，例如：外部接口模塊、控制模塊、算法模塊及調度模塊等?？偠灾?，智能電網數據可劃分為物理空間、映射地址及存儲介質，而設計配用電數據應用框架時盡量劃分為實際數據管理、元數據管理及資源管理3個層面，做好數據預處理工作，詳細區分元數據的類型，靈活運用中間件技術，充分發揮其技術優勢及作用，大大提高非結構化數據的處理效率。

2.2 元數據管理

存儲數據時以系統是否能根據配電數據大小為依據，大大提高存儲空間的分配效率，并且所產生的地址映射（即元數據）進行妥善處理，尤其是存儲數據時做好標準化元數據的管理工作。同時，預處理數據期間提前篩選數據，區分非機構化數據及結構化數據，及時轉換不同類型數據，形成標準化元數據，并且以XML格式為呈現形式，將完成轉換的元數據存儲至Master節點之中。此外，中間件技術的應用形式相對多樣，例如：仿真終端、整合數據及訪問數據等，基本實現不同技術間信息資源共享的目標，大大提高數據整合的運行效率，強化總體管理效果。

2.3 實際數據管理

與其他類型數據相比，實際數據具有多源異構類及高緯度等鮮明特點。因此在實際管理的過程中，相關技術人員結合實際數據與元數據間映射關系，利用NoSQL技術手段分布式存儲具體數據，即綜合考慮實際數據與智能電網間位置差異性，采取相應的分層存儲措施，針對處于內部電網中實際數據則存儲于電網內部，針對處于電網外部的實際數據則存儲于電網外部。

3? 結語

通過本文探究，認識到受智能電網大范圍普及的影響，其配用電數據存儲及處理水平高低直接決定電網總體運行狀況，占據著極其重要的地位及作用，而應用大數據處理技術能分門別類存儲不同類型數據信息，極大程度上優化電網內部空間，大大提高電網運行效率。因此，相關技術人員秉持實事求是的工作原則，將元數據視為基礎設計完整的技術框架，為促進我國智能電網配電數據存儲技術水平進步提供強有力的支持。

參考文獻

[1] 王林童，趙騰，張焰，等，田世明.配用電大數據多源集成及存儲優化方法[J].高電壓技術，2018，44（4）：1131-1139.

[2] 施康，朱超平.基于大數據技術下智能電網配用電數據存儲技術研究[J].自動化與儀器儀表，2018（2）：65-67.

[3] 張福錚，黃文琦，陳華軍，等.基于HBase的配用電海量時序數據存取研究[J].現代電子技術，2017，40（13）：159-163.