Hadoop大數據在智能電網中的應用構想

唐 安

（玉林供電局，廣西 玉林 537000）

Hadoop大數據在智能電網中的應用構想

唐 安

（玉林供電局，廣西 玉林 537000）

大數據時代即將來臨，如何借助大數據技術，實現高度信息化的智能電網，是一項具有實際應用價值的課題。本文介紹了國內領先的大數據技術——Hadoop分布式計算平臺，并引用百度遷徙的成功案例闡述大數據在未來智能電網中的應用構想。

Hadoop；大數據；分布式計算；HDFS；MapReduce

1　大數據

大數據需要新處理模式才具有更強的決策力、洞察力和流程優化能力的海量、高增長率和多樣化的信息資產。大數據的核心是預測，它把數學算法應用到海量數據上來預測事件發生的可能性。大數據同時意味著思維的變革：①小數據分析的是隨機樣本，而大數據分析的是全體數據，全面展示樣本無法表達的細節信息；②小數據分析追求精確性，而大數據分析具有混雜性，這意味著大數據的簡單算法比采樣數據的復雜算法更有效；③小數據分析關注因果關系，而大數據分析更關注相關關系，通過分析事物之間的關聯性，來預測事件的發展趨勢。

2　Hadoop大數據平臺

Hadoop是Apache發布的開源分布式計算平臺。受Google大數據論文的啟發，Doug Cutting用JAVA實現了以MapReduce和HDFS為核心的Hadoop，并將源代碼完全貢獻出來。Hadoop充分發揮集群的計算和存儲能力，快速完成海量數據的處理。Hadoop采用分布式存儲來提高讀寫速度和擴大存儲容量；采用MapReduce整合分布式文件系統上的數據，實現數據高速處理；采用存儲冗余數據來保證數據的安全性。

2.1HDFS

HDFS是基于流模式訪問和處理超大文件的需求而開發的，它可以運行于廉價的商用服務器上，HDFS的主要特點有以下3個方面。①處理超大文件：在實際應用中，HDFS已經能夠用來存儲管理PB級的數據了。②流式訪問數據：請求讀取整個數據集要比讀取一條記錄更加高效。③運行于廉價的商用機器集群上：HDFS對硬件要求較低，無需昂貴的高可用性機器。

HDFS體系結構中有兩類節點：NameNode和DataNode，NameNode負責管理集群中的執行調度，DataNode是具體任務的執行節點。當執行任務時，客戶端訪問NameNode獲取文件數據信息，與DataNode進行交互以訪問整個文件系統。HDFS向用戶提供類似POSIX的文件接口，開發者在編程時無需考慮NameNode和DataNode的實現細節。

2.2MapReduce

MapReduce是Google公司的核心計算模型。在Hadoop中，用于執行MapReduce任務的機器有兩種角色：JobTracker和TaskTracker，一個Hadoop集群中只有一個JobTracker，用于任務管理和調度。一般來說，為了減輕網絡傳輸的壓力，數據存儲在哪個節點上，就由哪個節點進行這部分數據的計算。JobTracker監控任務運行情況，當一個TaskTracker出現故障時，JobTracker會將其承擔的任務轉交到另一個空閑的TaskTracker重新運行。TaskTracker用于執行具體的工作。

3　大數據在智能電網中的應用構想

通過Hadoop大數據平臺，技術人員可實時觀察到全網范圍內的電能流動狀態、電能負載熱區、設備故障高發區和客戶集中區等數據，實現更加智能化的電網。具體包括以下4個方面。

3.1電網數據可視化

在未來智能電網中，通過大數據分析融合調度、配電、輸電、發電和用電客戶數據，實現實時和非實時數據的高度信息化集成，通過實時可視化運算分析，全面展示完整和精細的電網運行狀態圖，為管理層提供輔助決策支持和依據。

3.2電網負載趨勢預測

在未來智能電網中，通過大數據分析電網負載的歷史數據和實時數據，展示全網實時負載狀態，預測電網負載變化趨勢，通過現代化管理技術的綜合應用，提高設備的使用效率，降低電能損耗，使電網運行更加經濟和高效。

3.3設備故障趨勢預測

在未來智能電網中，通過大數據分析電網中部分故障設備的故障類型、歷史狀態和運行參數之間的相關性，預測電網故障發生的規律，評估電網運行風險，開展實時預警，提前做好設備巡檢和消缺工作，為電網安全穩定運行保駕護航。

3.4客戶電力需求預測

在未來智能電網中，通過大數據分析電網客戶的用電數據，預測區域用電和大客戶用電需求變化趨勢，針對客戶需求提前制訂高質量的服務計劃，提升社會滿意度。

4　結 語

Hadoop充分發揮集群的計算和存儲能力，完成海量數據的實時處理。在未來的智能電網中，大數據分析可以應用到電網運行全景可視化、電網負載預測、設備故障趨勢預測和客戶需求趨勢預測等需求，充分挖掘海量數據的價值，為智能電網提供技術參考。

主要參考文獻

［1］［英］維克托·邁爾-舍恩伯格，肯尼思·庫克耶.大數據時代：生活、工作與思維的大變革［M］.盛楊燕，周濤，譯.杭州：浙江人民出版社，2012.

10.3969/j.issn.1673 - 0194.2015.20.032

TP308；TP311.13

A

1673-0194（2015）20-0041-01

2015-09-07