基于海量數據的智能配電網監測系統設計

鮑永勝， 孫潔， 金鑫

(國網銀川供電公司， 寧夏， 銀川 750000)

0 引言

隨著智能配電網的發展，智能配電網在數據采集、分析和整理方面需求量加大。目前對電力系統的配電網監測成為配電網發展主要障礙，電力系統的持續擴大對電力系統的安全運行、系統控制帶來難度[1]。電力系統智能化的發展使配電網具有較好的自愈性，一定程度下可抵抗外界的攻擊，對分布式電力和再生性能源有很好的支持作用。

大城市的智能配電網發展迅速，在同一個城區內會同時產生海量數據，對這些海量數據實現實時監測的難度極大，我國一些學者也對此展開了研究。羅慧等[2]對基于大數據平臺的智能配電網狀態自動監測系統進行了研究，在大數據平臺下，設計總體框架結構,通過信息交互總線集成相關配電業務，分析硬件結構和軟件功能。根據系統硬件結構監測網絡狀態，對接口文件進行可視化處理，查看設備線路異常信號，通過該信號確定配電網出現異常的位置。但該系統沒有考慮數據量極大的情況，當出現海量數據時自動監測效率是否能達到理想狀態。張穩等[1]對基于海量數據的配電網運行分析系統架構與技術實現展開了分析，該系統集成電網地理信息、營銷業務應用和配電自動化等系統數據，采用改進的機器學習算法和薄弱點辨識方法，擴展了目標配電網數據相關性分析、故障風險等級預測和薄弱點辨識的功能，從而指導配電網的運維檢修。該系統雖考慮了海量數據下的配電網運行，但沒有考慮到監測對海量數據下的智能配電網監測的效率不高。為了解決以上出現的問題，本文設計了一種考慮海量數據的智能配電網監測系統，提高海量數據下的監測效率，有利于相關部門有針對性地提出相應技術和管理手段進行配電網運維檢修工作，提高現有配電網分析系統的科學性和實用性，為最終實現配電網運行分析的信息化、智能化、精益化奠定基礎。

1 基于海量數據的智能配電網監測系統設計

1.1 系統架構設計

由于配電網運行過程中產生了海量數據，智能配電網監測系統采用云存儲技術實時監測設備狀態，其需要基于智能配電網的視頻數據、圖片數據等狀態數據。文章采用云存儲技術基于Hadoop框架實現智能配電網監測系統設計，系統的架構如圖1所示。該系統采用Master/Slave架構實現智能配電網數據的管理，將海量數據劃分成幾個數據塊，將數據塊保存到不同的數據節點中[3]。云存儲管理技術的集群系統存在一個以Namenode命名空間以及多個Datanode數據節點，前者的作用是對配電網海量數據進行管理和分割，后者實現配電網數據的處理。

本研究所設計的考慮海量數據的智能配電網監測系統邏輯架構如圖2所示。

圖2 基于Hadoop的智能配電網監測系統邏輯架構

本研究所設計的智能配電網監測系統通過HDFS軟件架構保存配電網上出現的海量數據，提高了數據的安全性。系統架構使用的Master/Slave 架構，將系統中的隨機一個節點設置成Namenode，它作為云存儲服務主節點控制系統的元數據，完成執行文件的訪問以及控制，對Datanode數據節點數據實施打開以及關閉等處理[3]。數據節點Datanode能夠響應Namenode申請，完成數據塊以及文件的過濾、啟動和停用。文章設置數據存儲文件的大小是64 MB，向Datanode數據節點中保存冗余數據，將數據塊存儲到3個數據節點Datanode中，實現云存儲技術的數據冗余以及自主修復功能，提升智能配電網數據的安全性。

系統將MapReduce當成海量配電網數據并行編程模型的運算框架。通過任務分解以及結果匯總，利用MapReduce技術框架操作海量數據集，完成智能配電網海量數據的并行運算，同任務數據結果實施映射分解以及匯總處理。MapReduce編程模型通過Pig語言簡化開發程序。文章通過配電網私有云平臺實現智能配電網監測，增強網絡傳輸效率及配電網的監測質量。

1.2 MapReduce 監測模塊設計

MapReduce 技術框架包括Map(映射)以及Reduce(化簡)兩個過程，Map 函數完成關鍵字到新鍵值間的映射，基于新鍵值組為子任務實現查詢提供服務，完成任務映射，執行子任務；Reduce能夠對鍵值間的映射關系實施翻轉，融合子任務，對任務進行并行運算。任務并行運算能夠產生大量的臨時操作文件，本研究所設計系統通過云計算能力，增強海量配電網數據的操作以及檢測性能，對智能配電網中的海量數據進行高效控制[3]。

本研究所設計系統包括上層及下層，上層完成數據的分析以及采集，通過絕緣子信息、斷路器以及電流、電壓傳感器采集配電網信息。MapReduce 模型將應用分割成不同并行運行的子任務，該模型可存儲異常的配電網信息設備數據，同時對配電網信號進行變換處理。數據預處理、特征采集以及信號變換等過程構成不同的子任務，各子任務基于時間段劃分成不同的子過程，完成子過程后實施反向處理[4]，對結果進行融合操作，得到最終配電網分析結果，完成智能配電網狀態的準確監測。

MapReduce實施查詢功能分為三步驟，其中數據讀取功能實現由用戶進行設定。

(1) 將用戶輸入的時間信息轉化為指令，同時開始MapReduce查詢流程。

(2) 數據經過Map和Reduce處理后，從本研究所設計系統中進行數據提取和讀取。

(3) 從HBase中得到所需數據后，將得到的數據導入文件管理系統HDFS中，再采用MapReduce對HDFS中的數據進行讀取。

1.3 海量數據的標準化預處理

在數據經過MapReduce模塊并行運算后，對其進行標準化預處理，其預處理硬件結構如下。

1.3.1 預處理系統電路結構圖

智能配電網監測系統數據預處理的總體電路設計結構用圖3描述。系統采用電流、電壓傳感器獲取配電網的電流以及電壓信號，將這些信號輸入信號調理電路，并對信號實施匯總操作，將操作結果反饋到模數變換器變換成數字信號后傳輸到單片機中，單片機基于數字信號實現配電網信號監測的人機處理以及配電網信號的數據呈現[5]，并進行上位機與下位機的信號交互。

圖3 系統電路結構圖

1.3.2 傳感器節點電路的設計

傳感器可測量配電網電流。傳感器將測量的電流信號轉化為數字信號，數字信號再通過傳感網絡導入到匯聚節點。圖4為傳感器節點結構圖，包括電源、電流傳感器、信號處理電路和匯聚節點。電流傳感器將智能配電網系統中的交流強電流轉化成弱電流，電流傳感器是智能配電網監測系統中的基礎監測設備。電流傳感器除了可以對強電流起到弱化作用外，還能防止由于強電流影響對低壓信號進行監測帶來猛烈變化的問題。選擇高效電流傳感器可加快智能配電網電流的檢測和轉化速率，降低配電網監測中的失誤，保證電力系統的正常運行[6]。因此，本研究所設計系統采用LEM公司的RT500型號的電流傳感器，該型號傳感器具有安裝速度快、傳感性能好和測量精度高的特點。利用CC1110處理器實現節點與電路的通信處理。

圖4 傳感器節點結構框圖

1.3.3 信號處理電路的設計

由采用的RT500電流傳感器的技術參數可知，其輸出的電壓與被監測的電流呈現一種微分關系，存在高諧波分量和90°的相位差。為使本研究所設計智能配電網監測系統對電流監測結果更加準確，需要對電流傳感器信號輸出進行標準化處理使其成為標準信號。信號處理過程的好壞關系到本研究所設計系統監測能力的強弱，圖5為傳感器信號處理電路，該信號處理電路包括補償電路和相移電路等。

圖5 傳感器信號處理電路

1.4 GUI實現流程

圖6為本研究所設計的智能配電網監測系統數據處理流程圖。

圖6 MapReduce Jobl和MapReduce Job2

2 并行處理流程

為了使數據格式與云存儲下的數據格式相同，需要對海量數據進行預處理，即對數據格式做合理的轉換[7-8]。使用本研究所設計系統進行配電網監測時，首先要實現用戶的數據查詢。圖7為用戶查詢模塊GUI流程圖，其用戶界面處理流程：① 向用戶提供系統查詢時間，方便數據查詢；② 判別用戶數據輸入正確性；③ 網關驗證，對輸入指令的處理即數據拆分；④ 實施MapRedce數據查詢；⑤ 數據查詢結果利用同步方式和異步方式實現數據查詢；⑥ 數據界面顯示數據查詢結果。

圖7 用戶查詢模塊GUI流程圖

3 實驗分析

實驗為了檢測本研究所設計的基于海量數據的智能配電網監測系統的性能，采用本研究所設計系統對某城市用電高負荷區的海量數據下的智能配電網進行實驗監測。

3.1 系統運行結果展示

配電網歷史數據查詢結果如圖8所示。

圖8 監控歷史曲線

綜合分析圖8中的各項結果，能夠看出本研究所設計系統是一種有效的智能配電網監測系統，能夠呈現配電網歷史數據以及遠程數據檢索結果。配電網遠程數據檢索結果可通過圖9所述的檢索界面進行查詢。

圖9 檢索界面

3.2 實驗結果分析

實驗對本研究所設計系統運行結果進行客觀評估，檢測本研究所設計系統功能是否可以正常運行，滿足用戶的正常需求。查找系統漏洞，監測系統的可靠性。采用系統的績效關系集合和績效模型，改正在實驗過程中出現的系統漏洞，使系統功能更加完整。系統軟件測試主要采用黑盒測試法，結果如表1所示。

表1 本研究所設計系統軟件測試結果

3.2.1 軟件測試結果

分析表1中的結果可知，本研究所設計系統軟件各項功能運行正常，能夠實現智能配電網的準確監測。

3.2.2 客觀檢測結果

實驗為檢測海量數據對本研究監測系統的影響，對不同數據量進行多次實驗以降低偶然性，以傳統Oracle系統[9]作為實驗對比系統，表2為不同數據量下傳統Oracle系統和本研究系統的數據擴展性用時結果的平均值。圖10為傳統Oracle系統和本研究所設計系統的數據處理時間折線圖。

表2 不同系統的數據量擴展實驗耗時比較

圖10 數據處理時間

從表2可知，在處理10萬條數據的時候，2個系統所用時間相差極小，在處理50萬條數據的時候，2個系統所用時間相差不大，但隨著海量數據的產生，在處理500萬條以上數據時，本研究所設計系統處理數據的效率優勢顯著優于Oracle系統，說明相對Oracle系統，本研究所設計系統在處理智能配電網海量數據監測時，數據處理能力較強，處理數據的速度更快、耗時更短。

分析圖10可知，采用本研究所設計的配電網監測系統處理海量數據的時候，效率明顯高于傳統Oracle系統。表明本研究所設計的監測系統對于海量數據的處理具有較高的效率。

4 總結

本研究所設計的基于海量數據的智能配電網監測系統，采用Master/Slave架構完成配電網數據的管理，將MapReduce當成配電網數據并行編程模型的運算框架，完成智能配電網海量數據的并行運算，提高了智能配電網的監測效率。實驗結果表明，本研究所設計系統相對于傳統Oracle系統在面對海量數據處理時，優勢表現明顯，監測處理的數據更多，效率更高。但在以后的研究中，也應對一些其他學者研究的新系統做更加全面的對比，優化本研究所設計系統構架，確保處于行業領先水平。