基于Hadoop的智能電網監控系統的設計與實現

摘 要：針對智能電網監控系統中海量監控數據存取、處理困難的問題，通過綜合利用地理信息技術、網絡通信技術和分布式數據庫技術等，提出一種基于Hadoop云計算框架的智能電網監控系統，并介紹了系統的工作流程。最后結合浙江省杭州市某地區的虛擬電網中某電廠的運行進行了實例介紹和分析。實例表明，相比傳統數據庫模式和已有方法，系統對信息處理具有更高的效率和可靠性。

關鍵詞：智能電網；空間信息；云計算；通信網絡；Map Reduce

引言

電力系統實時數據是電力系統設備測量和采集的重要數據，這些數據是分析電力系統穩定性，預測電網負荷和電力設備故障、老化等方面的重要依據，是電網運行必須監測的數據[1]。電網中密布著的眾多電力設備和監測儀器[2]，組成了需要電力信息系統不停接收和處理的實時狀態數據。這些狀態數據的數據量巨大，對于監控系統提出了較高的可靠性和實時性要求。而傳統系統在面對海量狀態數據時，表現出存儲能力和處理能力嚴重不足的問題，在很大程度上制約了電網監控系統的工作效率。因此，存儲信息數據與處理這些數據已成為制約智能電網監控的關鍵所在。Hadoop是一種專為大數據集對象分析處理提出的分解/聚合云計算框架[3]。通過分布式文件系統HDFS和并行編程模型Map/Reduce兩大核心的協調管理，系統可以對海量數據進行有效分割與合理調度，從而實現針對大數據的高效的并行處理。當前，我國正在加快智能電網建設，采用云計算技術進行狀態監測數據的可靠存儲和并行處理，對于未來智能電網的建立必然起到巨大的推動作用。基于此，本文在研究地理信息系統與智能電網有機結合的基礎上，通過研發基于Hadoop的智能電網監控系統，實現對大數據集電網監控信息的高效并行存儲與處理，解決我國對電網運行實時監控難、慢的問題，完善對電網運行情況的監控，以提高電網整體應急保障能力，增強我國智能電網的信息化建設中的運行管理能力。

1 理論概述

電網監測是指電網在一定的運行狀態下，通過特征信號的檢測、變換、分析處理以及顯示記錄，并輸出診斷所采集的信息，提供設備故障診斷的依據的過程。通過將先進的自動控制、通訊技術、計算機技術、信息技術等相結合，對系統內某物理區域監控的電力運行設備設施進行遙測、遙信、遙控、遙調操作，對二次設備和輔助設備實現遠程控制，實現對全部一次設備的監視、測量、控制、記錄和報警，實現電網的優化運行、優化控制與優化管理，從而提高電網運行狀況、安全水平以及事故災害預測預報的水平。

1.1 監控對象

涉及電網監測的對象和內容很多，表1描述了監控框架中涉及的對象。

表1

1.2 關鍵技術

智能電網監控系統所要面對和處理的數據主要包括基礎地理信息數據、電網設備設施空間數據和帶有空間屬性特征的其他數據三大類。基礎地理信息數據包括多種比例尺的全國電網地圖數據、省網地圖數據、重點城市電網地圖數據等。電網設備設施空間數據是帶有空間位置信息的電網數據，包括發電廠、變電站、架空線路、桿塔、電纜線路等。帶有空間屬性特征的其他數據即電網環境信息，包括氣象信息、災害信息、地質監測（地震）、自然災害（臺風、冰災等）、危險源等信息。這些都會對電網產生影響，是監控系統需要重點關注的[4]。智能電網監控系統屬于一個復雜性的適應系統，需要地理信息技術、網絡通信技術以及數據庫技術等的全面支持。

地理信息系統的技術優勢在于它的混合數據結構和有效的數據集成、獨特的地理空間分析能力、快速的空間定位搜索，以及地理過程的演化模擬和空間決策支持功能等，通過將電網設備與其地理位置屬性相結合，可以更加快速得確定出線問題或者事故的地點和電網設備設施，提高了應急反應的效率。

智能電網對電網自動化和運營水平提出了更高要求，實現智能電網，必須將信息技術神經網絡貫穿全網，通過傳感器網絡、智能終端、智能控制中心和信息網絡實現全網可觀可控，變革傳統電網控制和運營模式，以兼容新能源和靈活應對用戶多樣需求[5]。

監控系統對電力參數進行顯示和監測的同時，為了今后對數據進行統計、分析和處理，并實現數據曲線動態顯示，還要求對系統提供數據庫存儲功能。由于電力信息存在數據種類繁多、數據量大、格式不統一且一次寫入、多次讀取等特點，電力監測設備需要不斷地將實時監測數據等寫入數據庫。為滿足可靠性和實時性的要求，不采用傳統的關系數據庫，而采用基于列存儲的分布式數據管理模式，來支持大數據集的高效管理[1]。分布式數據庫雖然將數據記錄分散在各物理節點上，但邏輯上仍屬于同一個系統。通過數據分布的方法共享這些數據，一個全局數據庫用于負責整個系統的管理，部分數據庫則由每個節點的局部數據庫承擔。這樣，數據的分散采用使局部應用達到最大，對各計算節點之間的相互干擾也降到最低。任務在各節點之間分擔，從而避免了負荷瓶頸，提高了工作效率。

2 系統設計

2.1 系統框架流程

基于Hadoop的智能電網監控地理信息系統分為三個層次，分別為現場監控層、網絡通信層、管理應用層。

現場監控層又稱為感知層，由各種傳感器以及傳感器網管構成，包括溫度傳感器、濕度傳感器、二維碼標簽、RFID標簽和讀寫器、攝像頭等感知終端，主要監控電網各環節的運行參數、網絡通信網運行狀態和電網環境信息等，實現包括輸電線路監控、變電站站內監控、配電站監控等在內的實時監控，包括帶有地理坐標的地理屬性信息。

網絡通信層主要實現信息的傳遞和控制。從現場監控層獲取的電網各種運行參數以及電網環境信息通過網絡通信層傳送給管理應用層。另一方面，從管理應用層下達的指令需要通過網絡通信層轉發給現場監控層上電力運行設備的監測器。網絡通信層承擔著雙向的、海量的電網數據傳輸任務。系統采用電力專網（光纖/以太網）和公用無線網絡（GPRS/3G/4G/衛星）等多種通信技術來完成網絡通信層的數據傳輸工作[6]。

管理應用層對現場監控層中電網設備設施的地理信息、屬性信息等進行采集、匯總和管理，全面監控電網的整體運行狀態，以便解析、處理、分析獲取的各項信息，為應急指揮決策提供關鍵的數據來源。

針對智能電網設備設施監測的特點，采用分布式的冗余存儲系統以及基于列存儲的數據管理模式來存儲和管理數據，保證智能電網海量狀態數據的可靠性和高效管理[7]。圖1為本系統的運行流程圖。

利用傳感器網絡、電力專網等獲取的電力設備設施的運行狀況數據等通過基于Map Reduce的電網監測數據并行處理平臺生成監測監控日志記錄存儲到數據庫。帶空間屬性特征的其他信息數據庫中包括遙感信息、道路信息以及氣象信息等數據。對于氣象信息，通過專用電纜或Internet網從氣象部門獲取電網調度氣象預警預報服務數據[8]等相關氣象地理信息數據。

2.2 改進的基于Map Reduce的并行處理流程

在處理監測數據集時，Map Reduce首先將其劃分成成百上千個小的數據集，然后集群中的每個節點分別處理一個或若干個劃分后的小數據集并產生中間結果，最后通過對大量的節點進行合并將這些中間結果轉化為最終結果。整個工作過程主要分Map和Reduce兩個階段。

圖1 基于Hadoop的智能電網監控系統運行流程

通常情況下，經過Map操作處理過的中間結果中會有很多重復的鍵存在。為了減輕Reduce操作以及網絡傳輸的負擔，系統進行了優化，即：自定義一個合并（Combiner）方法，對中間結果進行局部的整合和規約。Combiner操作在每個進行Map操作的節點上運行，通常采用與Reduce操作同樣的流程。唯一的區別是，Reduce操作的結果被寫到最終的輸出文件，而Combiner操作的結果則作為中間文件發送給Reduce操作。圖2給出了改進的Map Reduce的執行流程，其具體操作步驟如下：

（1）首先，被導入運行用戶程序的云計算平臺的監測數據集進行預處理，進行數據的減噪等處理。

（2）用戶程序中的Map Reduce函數庫會將導入的監測數據文件切分成16到64兆的M塊（可以通過參數調整），接著在集群的不同機器上執行程序的拷貝。要指出的是，分割不需要了解文件的內部邏輯結構，具體的分割模式既可以自己指定，也可以使用Hadoop已定義的幾種簡單分隔。

（3）在所有運行進程中，主控程序master來負責其余的執行任務的分配。執行程序中的主控程序Master根據工作節點（Worker）的空閑情況分配Map和Reduce任務。

（4）分配了Map任務的工作節點讀取并處理輸入數據塊，Map函數最終輸出中間結果對。另外，為了進一步縮短處理的時間，在進行Combine操作時，被合并的key對首先建立索引，然后合并成若干個較大的新數據對，在傳輸到Reduce過程后，再進行分解，并利用索引進行Reduce過程。

（5）系統將這些鍵/值對數據打包后將索引信息發送給Master，然后通過Master傳輸給Reduce。

（6）Reducer Worker調用用戶自定義的Reduce函數對中間結果的集合進行分析和排序。

（7）在執行完所有的Map Reduce任務后，Master負責控制相應的監測數據入庫保存并生成相應的副本文件進行傳送。

3 實例介紹

搭建具有若干節點的分布式集群模擬環境，集群由6臺臺式機電腦組成，其中一臺臺式機電腦充當主控節點，其余5臺分別作為運算節點和存儲節點。每個節點配置均是CPU為Intel Pentium P6200、主頻2.40Hz、內存4G；每個節點使用百兆以太網模擬電力傳輸網絡，安裝系統為Ubuntu12.10，Hadoop0.20版本，java1.6版本，HBase0.20.3版本。數據選取浙江省杭州市某區的帶有地理坐標屬性的虛擬電網數據進行系統運行的實例介紹。系統的主界面如圖3所示，用戶可根據自身需求情況選擇各自功能模塊進行操作。

點擊實時運行管控按鈕，即進入實時運行管控界面，如圖4所示。在界面中，設定了Admin（管理員）與User（普通用戶）兩種權限使用管理。其中，User權限的用戶只能進行信息的查詢，而Admin權限的管理員可以將提供的警報信息進行信息的在線發布，具有極高的實用性。

圖3 智能電網監控系統主界面

圖4 系統監控界面

通過系統的實例運行，對比傳統的監控系統，發現基于Hadoop的智能電網監控系統在反應速率和準確率上均有了不同程度的提高，尤其是在面對數據量較大的監控數據集時，性能表現依然優異。其中，反應速率提高了6.7%，準確率提高到了98.8%，驗證了該系統的有效性和可靠性。

4 結束語

針對電網監控系統中傳統模式下大數據集存儲于處理受限制的問題，本文設計了基于Hadoop的智能電網監控系統，利用分布式處理新方法對海量的監控數據進行存儲和處理。實例驗證表明，相比傳統數據庫模式和已有方法，本文系統對海量電網運行監控信息處理的效率更加高效和可靠。

參考文獻

[1]王德文，朱永利，王艷.基于IEC 61850的輸變電設備狀態監測集成平臺[J].電力系統自動化，2010，34（13）：43-47.

REN Jianfeng，DING Yawei，FU Lei，et al. An improved strategy for out-of-step separation based on phase angle principle for 1 000 kV ultra-high voltage AC power grids[J].Automation of Electric Power Systems，2011，35（10）：104 107.

[2]李成華，張新訪，金海，向文.MapReduce：新型的分布式并行計算編程模型[J].計算機工程與科學，2011，33（3）：129-135.

[3]羅軍舟，金嘉暉，宋愛波，等.云計算：體系架構與關鍵技術[J].通信學報，2011，32（7）：3-21.

[4]魯偉，張天兵，李國志.電網應急指揮信息管理系統設計與關鍵技術[C].中國通信學會2011年光纜電纜學術年會論文集，2011：45-50.

[5]舒強. 智能電網的信息網絡支撐平臺[J].裝備制造技術，2011（3）：118-121.

[6]李祥珍，劉建明.面向智能電網的物聯網技術及其應用[J].電信網技術，2010，8：41-45.

[7]王德文，宋亞奇，朱永利.基于云計算的智能電網信息平臺[J].電力系統自動化，2010，34（22）：7-12.

[8]中華人民共和國氣象行業標準.電網調度氣象預警預報服務產品（征求意見稿）[S].北京：中國氣象局，2011.

[9]GB/T 15945-2008 電能質量 電力系統頻率偏差[S].北京：中國電力出版社，2008.

[10]IEEE Std C37. 118-2005 IEEE standard for synchrophasors for power systems[S].New York，NY，USA： The Institute of Electrical and Electronics Engineers，2006.