基于電力系統大數據治理的軟件數據平臺設計與研究

曹明良 李國和 馮崢 郭陽 羅艷 李晉先

摘? ?要：針對電力系統中出現的數據種類多、尋找困難等問題，提出了新型的大數據治理方法。該方法設計出新型的S-BDMP數據軟件平臺，該平臺應用Hadoop分布式存儲方式和Spark計算技術實現電力系統中各種大數據的存儲和計算。在架構上，該軟件平臺集成設計有應用程序、數據服務中心、數據提成/合成模塊、數據分析模塊，能夠實現底層電力設備各種數據的接收、存儲和處理。本研究還應用隨機矩陣理論挖掘各種大數據之間的關聯，通過發現電力系統不同大數據之間的關系，進而研究出電力系統設備運行狀態的分析。試驗表明，本研究的方法效果直觀，數據治理程度強。

關鍵詞：大數據治理;Hadoop分布式存儲;Spark計算技術;隨機矩陣理論

中圖分類號：TP39? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼：A

Design and Research of Software Data Platform Based

on Power System Big Data Governance

CAO Ming-liang1?，LI Guo-he1，FENG Zheng2，GUO Yang1，LUO Yan1，LI Jin-xian3

（1. State Grid Xinyuan Holdings Co.，Ltd，Beijing 100761，China

2. Huadong Laoshan Pumped Storage Co.，Ltd.，Chuzhou，Anhui 239000，China;

3. Hebei Fengning Pumped Storage Co.，Ltd，Fengning，Hebei 068350，China）

Abstract：Aiming at the problems of various types of data and difficulty in searching in the power system，a new type of big data governance method is proposed. This method designs a new S-BDMP data software platform，which applies Hadoop distributed storage and Spark computing technology to realize the storage and calculation of various big data in the power system. In terms of architecture，the software platform is integrated and designed with applications，data service centers，data commission/synthesis modules，and data analysis modules，which can realize the reception，storage and processing of various data from the underlying power equipment. This research also uses random matrix theory to mine the associations between various big data，and through discovering the relationship between different big data in the power system，and then study the analysis of the operation status of the power system equipment. Experiments show that the method is intuitive and has a strong degree of data governance.

Key words：big data governance;hadoop distributed storage;Spark computing teehnology;random matrix theory

電力系統在越來越多應用過程中輸出各種各種的數據信息，比如運行數據、故障數據、設備數據、維護數據、環境數據等，不同的數據類型直接或者間接地反映電力系統的運行狀況 [1]。在大數據技術猛烈發展的形勢下，將電力系統運行狀況的宏觀表現通過直觀的大數據分析已經成為新時代電力發展的標志 [2]。相對于現有技術，通過數據庫的方式或者人工管理的方式，這種技術具有不可比擬的技術優勢 [3]。

在這種發展形勢下，提出了電力營銷分析決策的方法實現大數據的分析，這種方法使電力營銷的發展走上了新的臺階，使用戶能夠從雜亂無章的數據信息中快速找到目標數據信息，但是無法分析數據之間存在的關系[4]。通過將電力系統產生的各種大數據技術通過計算機仿真技術的方式來反映電力系統的運行情況，這種方式也在一定程度上解決了現有技術存在的不足，但是仍舊無法獲取電力數據之間的數據關系。這就需要一種新型的軟件數據管理方法實現各種數據之間的關系[5]。

1? ?大數據治理軟件平臺構架設計

設計的大數據治理軟件平臺構架能夠實現電力系統數據的在線安全預警，并且能夠直接根據傳遞的在線數據或量測數據進行計算、分析和挖掘，通過機械學習、數據挖掘等手段進一步分析電力系統相關的識別指標、數據或規則，從而使用戶進一步快速分析電力系統[6]。其構架結構示意圖如圖1所示。

在本系統設計中，在基于S-BDMP的大數據治理管理平臺中采用隨機矩陣理論對接收到的數據進行建模與分析。由于電力數據的龐大，采用了Hadoop分布式大數據存儲的方式實現各種電力數據信息的存儲和管理，并設計出新型的Spark大數據計算管理平臺，將大數據分布式結構數據信息和非結構數據信息融合起來，便于用戶的管理。在本研究設計的S-BDMP平臺中，其包括主節點、輔助節點和數據節點，其還設置有Hadoop平臺和Spark平臺，Hadoop平臺內設置有Hbase、Hive數據庫[7]。

在Spark大數據計算管理平臺中，還集成設計了內存管理模塊、查詢處理模塊、緩存管理模塊、分布式內存共享模塊以及彈性分布數據集等。通過多種模塊設計，實現大數據的多種管理功能。本研究中的S-BDMP平臺能夠與MapReduce在同集群中共存，并且能夠集中存儲資源，在數據倉庫Spark實現時采用Hive，能夠與Hive完美結合。在集成HBase利用Hadoop HDFS作為HBase的文件存儲系統，在運行計算時，采用Hadoop MapReduce[8]。Hive數據庫以HDFS的數據形式存在，在S-BDMP平臺中，其不僅能夠批量性處理各種不同的數據，兼容性、容錯性和分布性計算比較強。

本研究在分析電力系統大數據信息時，利用了隨機矩陣理論算法，通過構建大數據關聯算法模型，對各種大數據之間的相關性、特征表征等方面進行深入挖掘，將電力系統表現出的復雜、宏觀以及多維度數據信息通過隨機矩陣算法模型構建起來，通過電力系統運行期間產生的數據情況進一步考究電力系統的運行狀態。針對該技術，下一步詳細介紹。

2? ?隨機矩陣理論的建模和應用

2.1? ?隨機矩陣理論建模

隨機矩陣理論是基于電力系統運行過程中輸出的各種不同種類的數據信息為樣本，利用統計學原理對計算的電力系統數據信息的特征進行提取，計算各種數據類型特征之間的關系，通過這些關系的研究，衡量電力系統運行過程中容易受到某些因素的制約，用戶在使用過程中，最大程度地避免這些影響因素[9]。進而發現電力系統工作過程中存在的各種問題，為了更為準確地分析電力系統運行中的各種數據信息，下面通過引入公式的方式進行說明。隨機矩陣公式如以下公式（1）所示。

在式（1）中，通過矩陣D將電力系統本身輸出數據信息和運行數據信息結合起來。如何映射各種數據之間的關系，下面進行詳細說明。

在公式（2），假設影響電力系統正常運行的參數有M中，諸如電網紋波、電路電流、電路電壓、諧波、雜波干涉等，將這些影響因素的數據集合為：{P1，P2，P3 ……PM}，電力系統設備的參數數據有N種，諸如電流、電壓、功率等，將這些數據集合為： {Q1，Q2，Q3 ……QN}，假設將電力系統設備造成誤差的數據集合劃分為為矩陣D1[10]，

表示為影響電力系統運行的各種數據信息。通過上述公式描述，影響電力系統正常運行的參數Pij為第i個參數檢測時，在j時間下測量而測量的測量值。

由于電力系統種類繁多，類型多樣，通過標準化為Dstd的矩陣進行描述。則通過公式將標準化矩陣積Dstd的特征值分布記做為公式（4）所示的數據集合。

式（5）表示通用化公式，可適用任意一種形式的電力系統。其中 xi = （ xi1，xi2，xi3……xiT）同，假設標準化后的矩陣為D3，則D3 = （yij）

在公式（6）到（8）中，其中式6表示電力系統該數據信息在上沿時間軸滑動時，在窗內呈現出的電力數據信號段轉換到頻率域范圍內的情況，在上述公式說明中，用Tw表示為時間窗，用 表示為在時刻ti下的電力系統初始數據信息，在計算出標準化矩陣積Dstd的特征值分布值后，通過計算出的特征值分布情況，進一步計算出電力設備周圍存在的干擾因素影響電力系統設備運行的程度[11]。

2.2? ?大數據治理方法

利用上述隨機矩陣理論模型治理電力系統運行數據，以便于評估其運行狀態的影響量評估，具體步驟如圖2所示。

（1）在進行大數據分析時，首選抽取數據信息，比如電力系統運行過程中產生的數據信息、影響電力系統運行的數據信息等。更具體的數據信息，比如磁場、外界干擾度、負載、振動、紋波、雜波、功率、電壓或者電流等多種數據信息[12]。

（2）數據的篩選和處理;為了提高數據的計算精度，在所有的數據樣本信息中，將數據信息進行過濾和篩選，選取有用的數據信息。

（3）將數據信息輸入至隨機矩陣模型大數據模型中進行計算，公式如圖下所示。

在以下公式中，將公式

下面對本研究的方法進行示例性說明，以更好地理解本計算方法的應用效果。計算方法如圖3所示。

具體計算過程參考圖3所示。

（4）在對電力系統的信息進行計算時，通常通過計算 Dstd的特征值，通過特征值分布情況實現電力設備各種數據的讀取和計算，以進一步判斷估電力系統中遇到的干擾因素影響電力系統誤差的程度。

（5）分析、計算治理大數據，利用上述公式啟動隨機矩陣模型對大數據進行計算，以獲得用戶需求的數據。

3? ?方案實驗及分析

在試驗時，在Hadoop、MapReduce 等并行通訊數據處理的框架作為基礎平臺，在電力系統中，仿真計算包括多種不同的類型，比如潮流計算、暫態穩定計算、振動、溫度、諧波、磁場數據干擾、濕度、小擾動分析等[13-14]。利用矩陣理論分析[15]能夠實現不同因素影響因子的計算結果，根據不同的結果能夠分析、判斷電力系統不同方面的性能特征。

假設規模矩陣D1=50*120，D2=30*40，分別分析電力系統運行過程中進行的潮流計算、數量暫態穩定計算、振動、諧波因素對電力系統運行過程中存在的影響因素。即D1中各個參數表示潮流計算、暫態穩定計算、振動、諧波構成的矩陣。根據公式Dstd = [w1，w1，w1，…，wM+N]T 進行計算，得出表1的試驗數據表。

為了更好地理解影響參數之間的關系，下面根據表1中的試驗數據信息，通過曲線圖以更好地反映各種數據之間的關系。

在圖4中，以潮流計算作為影響電力系統運行狀況的誤差因素進行分析、判斷，其影響的曲線圖如下圖所示。

在圖5中，以暫態穩定計算作為影響電力系統運行狀況的誤差因素進行分析、判斷，其影響的曲線圖如下圖所示。

在圖6中，以振動作為影響電力系統運行狀況的誤差因素進行分析、判斷，其影響的曲線圖如下圖所示。

在圖7中，以諧波作為影響電力系統運行狀況的誤差因素進行分析、判斷，其影響的曲線圖如下圖所示。

通過試驗曲線圖，用戶能夠直觀地觀察到各種外界影響因子對電力系統運行的影響關系。

4? ?結? ?論

針對電力系統中存在的各種數據信息，設計了新型的大數據治理管理平臺，通過大數據信息的采集、傳遞、存儲和計算，實現電力系統運行過程中各種數據信息處理。通過數據計算、分析和挖掘，使得電力系統運行過程中的宏觀數據信息轉換為數據微觀量，提高了電力系統運行過程中安全分析能力。本研究在一定程度上解決了電力系統運行過程中存在的問題，但是仍舊存在一些不足，比如設備信息的分類、影響因子屬性劃分等，這需要進一步的研究，本研究技術方案為下一步相關技術的研究奠定了基礎。

參 考 文 獻

[1]? ? 曹皖誠，湯少卿，尤鋆 . 大數據平臺在電力系統中的應用研究[J]. 江蘇科技信息，2016，（29）：53-56.

[2]? ? 王健，宋述停，蘭俊美，等.電力需求側大數據應用模型的建立[J]. 電力與能源，2014，（3）.283-286.

[3]? ? 徐霞軍，任增朋，秦緒濤，等. 核電企業面向開放架構的大數據平臺的研究與應用[J]. 電力大數據，2018，（10）.53-56，71.

[4]? ? 魏艷平. 基于大數據平臺的電力營銷分析決策系統的研究與設計[J]. 西華大學學報， 2017， （6）：1-83.

[5]? ? 黃彥浩， 于之虹， 謝昶， 等. 電力大數據技術與電力系統仿真計算結合問題研究[J]. 中國電機工程學報， 2015， （1）：13-22.

[6]? ? 黃彥浩， 于之虹， 謝昶， 等. 電力大數據技術與電力系統仿真計算結合問題研究[J]. 中國電機工程學報， 2015， （1）：13-22.

[7]? ? 李志勇，郭一通. 大數據背景下電力行業數據應用研究[J].自動化技術與應用，2018，（9）：53-56.

[8]? ? 馮懿.電力大數據技術與電力系統仿真計算的融合研究[J]. 通訊世界，2018，（1）. 53-56.

[9]? ? 江櫻， 黃慧， 盧文達， 等. 基于大數據技術的電力全業務數據運營管理平臺研究[J]. 自動化技術與應用， 2018， 37（9）：60-65.

[10]? 賀紅燕. 基于大數據的智能電網關鍵技術研究[J]. 電源技術， 2016， 40（8）：1713-1714.

[11]? 廖繼軍. 大數據在電力系統中的應用現狀及發展前景研究[J]. 通訊世界，2018，（6）.53-56.

[12]? 孟祥萍， 周來， 王暉， 等. 云計算技術在未來智能電網信息處理平臺中的應用[J]. 計算機測量與控制， 2015， 23（10）：265-268.

[13]? 鞠冬彬. 基于大數據的電力系統運維技術研究[J]. 通信電源技術? ， 2016， 36（6）： 194-202.

[14]? 徐重酉， 韓翊， 賀興，等. 基于隨機矩陣理論的配電網陣列薄弱性評估系統設計[J]. 電器與能效管理技術， 2018， （9）： 522-526.

[15]? 魏艷平. 基于大數據平臺的電力營銷分析決策系統的研究與設計[J]. 西華大學學報，2017， （6）：1-83.