電力企業中大數據平臺的應用

文/張偉劍 劉伯宇 張慶奇

現階段，電力企業能源需求量、使用量較多，怎樣對龐大的數據信息集中管理成為企業重要研究內容。基于大數據平臺下，借助先進技術挖掘數據價值為電力企業提供決策幫助、節約經濟投入、實現經濟效益最大化。

1 大數據平臺概述

常見大數據平臺應用有Hadoop,屬于處理大范圍數據軟件平臺。Hadoop能夠儲存豐富的數據信息，具有成本低、高效的優勢，即使對分布式底層細節不了解也能夠開發分布式程序，分為HDFS與MapReduce。其中，HDFS有著高容錯性特征，應用在硬件程序中能夠提供高吞吐量訪問程序數據，適用于大數據集的程序。而MaReduce屬于編程模型，主要應用在大范圍數據集的運算。大數據平臺的應用為人們分布式并行編程提供了便利，把程序運行在分布式系統中。現階段，軟件實現指的是既定映射函數用于將一組鍵值對映射成一組新的鍵值指定并發的歸約函數，確保映射的鍵值對共享相同的鍵組。HDFS能夠兼容龐大的數據信息資源，MapReduce為海量的數據提供了計算功能。開源技術Hadoop具有分布式存儲系統，利用MapReduce技術有助于提高計算效果。不過，真正的存儲計算結果需要與業務系統融合應用。大數據平臺有著高穩定性、擴展性、高效性特點，Hadoop可以在不同節點間移動數據并確保節點平衡，所以效率較高。

2 電力企業大數據的應用重要性

電力企業電網結構復雜，每天都會產生大量的信息資源，電力企業進行數據研究得到了重視。經過對大數據技術的分析和企業數據情況提出電力大數據，其中包含生產類信息與管理類信息，如：配電、用電、調度等。其影響主要集中在幾方面：

（1）把各項數據作為電力企業重要資源，深入分析挖掘數據潛在價值采取有效的管理手段，實現管理形式與商業模式的創新。常見應用有配網精細化管理、業務運行監督、用電信息增值業務等。

（2）大數據融入電網發電、輸變電、調度、配電等多過程，進一步完善了電網生產形式，提高生產水平從而促進智能電網發展。常見應用如：電力荷載檢測、智能變電站等。另一方面，在其他領域中電力信息化也包含了眾多復雜的信息，例如：安全設備、網絡設備、主機設備等，衍生出復雜的數據信息。因此，想要對海量的數據信息進行有效的管理就要借助大數據平臺，才能有序、高效的分析與處理數據，更好的挖掘潛在價值。

3 電力企業大數據平臺應用方法

3.1 數據價值分析

電力企業大數據研究與挖掘的根本目標是結構化與非結構化信息，有效處理復雜的數據信息與結構調整。現階段，電力企業數據主要集中于小數據集計算，因為隨著大數據時代的發展，大數據計算結構仍未實現全范圍應用，傳統的數據挖掘計算周期較長。而應用小數據集的數據挖掘操作，穩定性低于龐大數據的挖掘結果，如：HadoppHDFS、HBASE的快速訪問、Spark的分布式訪問和計算、Sparkmllib的統計、計算、研究、Mahout的學習，借助大數據平臺進行數據統計、挖掘、分析。

3.2 實時計算

實時計算在大數據應用中扮演著重要角色，電力企業實時數據包括設備運行參數、運行環境指標、客戶實時需求等，其數據價值在初期形成時最大。同時，數據開始出現時，移動、計算、應用也是價值最大化的體現。因此，電力企業大數據要重視實時計算場景的運用，企業積極轉變實時計算框架成為當務之急，比如：電廠中運行按秒、分鐘的形式搜集；數據搜集后發送實時計算框架。框架內，把搜集的參數用在數據挖掘與數據模型中，進行設備異常狀態監督、故障預警、狀態評估。實時計算后，保留初始數據后繼續挖掘有價值的數據再重新使用生成自相似的結構形式。所以，電力企業實時計算需要加大對分布式內存計算研究。

3.3 大數據平臺應用過程

以某電力企業為例，對大數據平臺應用過程展開分析，平臺的核心功能是統計相關資料信息內數據出現的頻率。準備1臺主機、8臺從機，創建9個節點的小型集群。經過創建的集群從客戶服務中心導出工單統計，根據運行結果可以看到，大數據平臺Map的時間約4786ms，Reduce時間是4536ms。統計后得出：導出的事件工單文件出現次數最多的事件有計算機（474次）、生產管理（450次）、協同辦公（378次）、ERP（2812次）、目錄系統（320次）。通過大數據平臺能夠精準的統計文件內頻率出現最多的字段。

3.4 一體化發展

電能源作為我國基礎能源，與我們生活、工作有著密切聯系，也是國家建設發展重要環節。在當前大數據的快速發展中，大數據平臺得到了電力企業的重視和應用，提出了促進大數據全面融合理念、創新經營模式，實現企業整合發展。盡管計劃集成平臺，而實質上則是大數據平臺下的數據分析、搜集、集成。由龐大的數據信息框架、集成方法對促進電力企業建設發展有著重要作用，是實現一體化方式的重要路徑。

4 結語

綜合分析，伴隨著電力事業的飛速發展，用電需求的增加，企業怎樣對復雜龐大的數據資源進行有效的整合、儲存、分析成為主要研究內容。該過程中，大數據的到來為企業數據管理提供了契機，借助大數據平臺進行數據管理、數據挖掘、數據搜集有助于提升電力生產水平、管理效率，幫助電力企業在激烈的競爭中占據優勢，早日實現大數據戰略發展，為電力事業各環節建設提供技術指導與有效的處理方案。