Hadoop框架在電力大數據平臺中的運用分析與研究

劉凱+高志娥+薛艷鋒

摘要

文章首先對Hadoop框架及其優勢進行簡要闡述，在此基礎上對Hadoop框架在電力大數據平臺中的運用進行論述。期望通過本文的研究能夠對促進電力大數據平臺的完善有所幫助。

【關鍵詞】Hadoop框架 電力系統 大數據平臺

1Hadoop框架及其優勢

Hadoop即海杜普，其歸屬計算機程序的范疇，是由阿帕奇（Apache）基金會研發的分布式系統架構。Hadoop框架的核心設計為分布式文件系統（HDFS）和映射規約（MapReduce），前者為海量數據提供了一個良好的存儲環境，后者則為海量數據提供了計算。Hadoop是軟件框架，它可以對大量數據進行分布式處理，這種分布式的處理方式，使Hadoop具有了如下特點：

1.1可靠性高

Hadoop可以按位對數據進行存儲，在數據處理方面的能力非常值得人們信賴，由此使其具備了較高的可靠性，并在多個領域中得到廣泛應用。

1.2良好的可擴展性

Hadoop能夠在可利用的計算機集簇間對數據進行分配，并準確完成相應的計算任務，這些可以進行利用的集簇能夠擴展到數以千計的節點當中，在此基礎上，使Hadoop具備十分良好的可擴展性。

1.3容錯性高

對于計算機程序而言，容錯性的高低關系到程序的可用性，容錯性越高的程序，可用性就越強。Hadoop可對數據的多個副本進行自動保存，并能對失敗的任務進行重新分配，這樣即使發生錯誤，也基本不會造成太大的影響。

1.4高效性

在節點之間，Hadoop能夠對數據進行動態地移動，在這一過程中，可以保證各節點的動態平衡，正因如此，使其具備超快的處理速度。

1.5經濟性

與各種數據倉庫和數據集市相比，Hadoop為開源軟件，它的應用成本相對較低，有助于經濟效益的提升。

在數據提取和加載方面的優勢使Hadoop在大數據處理中獲得了非常廣泛的應用，其所采用的分布式架構使大數據處理引擎與存儲之間的距離變得越來越近，類似于加載的批處理結果能夠直接走向存儲。鑒于Hadoop所具備的上述優點，下面對其在電力大數據平臺中的運用進行分析。

2Hadoop框架在電力大數據平臺中的運用

隨著我國電力體制改革進程的不斷加快，推動了電力事業的發展。2002年末，中國最大的電網企業國家電網公司正式成立，由此使我國的電網運行與經營走上了正軌。由于國家電網公司的用戶數量較多，加之資產的規模比較大，并且在電網運行過程中還會產生出大量的數據信息，為提高公司的業務處理效率，必須對電力大數據進行有效地處理。為實現這一目標，可基于Hadoop框架對電力大數據平臺進行構建。圖1為該平臺的基本功能架構。

由圖1可以清楚的看出，該平臺的功能架構由五個層次組成，采用Hadoop框架，為平臺提供數據存儲與計算能力，通過Hadoop框架中的HDFS核心組件，可以分布式的文件存儲，對采集到的非結構數據，如音視頻、圖片、文檔等進行存儲。映射規約（MR）除了可以實現批量計算之外，還能對批量數據進行離線分析，并將結果直接緩存在磁盤當中。

2.1Hadoop框架的建立

在對Hadoop進行建立前，需要做好相關的準備工作，具體包括如下內容：安裝大數據平臺并在服務器上生成相關證書，然后將之Copy到其它節點，對知識庫進行配置，設置IP地址，啟動Http服務，將IP地址修改成知識庫服務器地址，并上傳到任意一臺服務器當中，通過復制的方式安裝到所有服務器當中。

準備工作完成之后，應當新建一個Hadoop集群，具體方法如下：登錄到大數據平臺當中，進入集群管理點擊安裝部署，按照提示的步驟進行相關操作，在安裝時，組件服務器的地址應當為yum資源中的IP地址。在對主機節點進行批量添加時，只有存儲和計算這兩個節點能夠同時與多臺服務器相對應，其它的節點則只能與某一臺服務器相對應，需要特別注意的是，在該平臺中，只能對存儲和計算節點進行增加。

2.2具體應用

圖1：電力大數據平臺功能框架結構示意圖

2.2.1在電力檢修策略優化中的應用

可利用數據挖掘技術，構建起電力設備狀態評價模型，通過對數據的在線監控，可完成對故障的自動識別，再與相關數據進行關聯后，能夠快速找出故障形成的主要原因，為檢修人員提供準確的信息，從而實現優化檢修策略的目標。

2.2.2在用電行為分析中的應用

在影響電力系統運行的諸多外在因素中，氣候變化是一個較為重要的因素，雨雪風暴等惡劣天氣，會對電網的正常運行帶來不利影響，嚴重時可能會造成電力設備故障甚至損壞，由此會對用戶的用電行為造成影響。借助電力大數據平臺，構建基于用戶和設備的信息數據，并結合氣象數據，對影響用電行為的氣候變化情況進行分析，由此可為電網規劃提供可靠的依據。

3結論

綜上所述，Hadoop框架以其自身所具備的優點，在諸多領域中得到應用。本文基于Hadoop框架建立電力大數據平臺，通過該平臺除可以對電力檢修策略進行優化之外，還能對用戶的用電行為進行分析，有助于推動我國電力事業的發展。

參考文獻

[1]劉偉娜，董娜，LiuWeina.Hadoop框架在電力大數據平臺中的應用[J].河北電力技術，2017（02）：35-38.

[2]岳陽，張曉佳，高一丹.基于Hadoop的電力大數據技術體系研究[J].電力與能源，2015（01）：16-20.

[3]王軍，韓林峰，侯賓.基于Hadoop和關系型數據庫的電力用采大數據混合服務架構[J].電子技術應用，2015（zl）.endprint