分布式海量數據處理平臺設計與實現

許劭慶++馬彪++安海英

摘 要：為了提高電力行業網絡各類監控設備告警信息和告警事件的處理速度，本文設計了由中心控制節點、計算節點、配置服務節點等構成的海量數據處理平臺。通過中心控制節點實現任務的分解與控制，計算節點實現任務計算。使用基于文件格式的方式進行數據采集，利用Map/Reduce的模型進行數據匯總。采用本平臺能夠實現對海量告警信息的捕獲和處理，保證告警分析的效率。

關鍵詞：海量告警；分布式；數據處理

中圖分類號： TP311 文獻標識碼： A 文章編號： 1673-1069（2016）35-175-2

0 引言

隨著當今世界互聯網的迅猛發展，電力行業也開始運用現代信息技術對電網的運行狀況進行監控，電力網絡各類監控設備每天都會產生大量的告警信息和告警事件，這些信息的采集、清洗、分析以及匯總所包含數據的計算與處理復雜度非常高，計算量非常大，所以會對計算機硬件性能有很高的要求。分布式計算技術能夠將一些本身適合分解成大量更小計算片段的復雜問題進行分解，然后再將這些更小的計算片段分配到多個計算資源上，利用多個計算資源分別對這些小的計算片段進行分布式求解，這樣不但有效的利用了各個閑置的計算資源，也加快了計算執行的效率，充分發揮了計算的高并行性。為此我們可以將分布式計算技術引入到電力行業告警信息和告警事件的處理中，提高信息的處理速度，為電力系統的運維監管提高效率。

本文是通過對當前已有的成熟的分布式計算系統如google的map/reduce架構以及hadoopDB等系統的研究調查，借鑒了map/reduce的基本思想，針對電力行業運維監控中的各種海量告警數據處理的業務，提出的分布式海量數據處理系統平臺。

1 總體結構設計

海量分布式處理平臺完成數據采集、任務分發、任務處理以及任務匯總等多項內容。平臺主要包括了中心控制節點、計算節點、配置服務節點、拆分節點、日志節點、數據采集傳輸部件以及電信網絡單元這七大部分。各部分之間互相通信，互相配合完成任務的拆分，發送及執行。其中Master為中心控制節點，CU為計算節點，CS為配置服務節點，TS為拆分節點，LS為日志節點，MED為數據采集傳輸部件，NES為電信網絡單元，能獨立完成一定的傳輸功能。

2 節點設計

2.1 中心控制節點

在整個系統中，中心控制節點是核心，負責系統中所有資源的調度，并根據計算節點的狀態分配系統中的任務，進行相關的數據分析和計算，協調系統的整體運行。同時，為了防止主控節點意外掛機導致的數據丟失的現象，采用雙機熱備的機制來作為主控節點的備份。

Master中包含的主要子模塊有通信、任務調度、任務管理、定時器和Corba、鎖管理等模塊。

①通信子模塊：主要負責的是Master和其他子模塊之間的通信，負責分發和接收模塊間的消息報文；②任務管理子模塊：主要負責對系統中處理任務的管理，包括最初的任務創建、任務運行過程中的狀態保持、大任務的分解、所有任務的維護以及任務執行等功能。③任務調度子模塊：主要完成任務調度的相關工作，包括依據任務的優先級對系統任務進行調度安排，鎖進程的管理與維護，維持進程間的通訊等。④定時器模塊：主要負責檢查系統是否超時，以及處理超時后觸發的事件等問題，定時的檢測系統的各種狀態等。⑤Master-Standby同步模塊：主要負責同步Master上的任務到Standby，以減少因為Master出故障后造成的損失。

2.2 分布式計算節點

計算節點負責的是對海量數據進行具體的計算分析以及對數據的具體任務處理，涉及到最初的數據采集、計算完畢后的數據匯總、匯總結束后的數據備份以及最終結果的查詢等階段。計算節點是整個系統中的基礎，是任務執行的基本單元，節點在運行的過程中，要分別與中心控制節點、外部模塊以及參數配置節點等部分進行消息通訊，在處理這些信息的同事，還要通過任務調度實現對任務的并行處理調度。一個完整的計算節點通常由任務管理模塊、通訊模塊、數據操作模塊以及定時器構成。計算節點中采用多線程技術實現以上的各項功能。

CU的主要作用就是并行高性能化地執行各種小作業，當有小作業需要被執行時，CU的具體執行流程為：①通過負載均衡模塊，計算節點CU主動向Master主控節點請求作業，并獲去作業的相關任務；②Master向主控進程中通信模塊的Master Agent發送分配的新作業，并為其分配新的任務；③主控進程中通信模塊的Progress Agent接收到在作業管理調度模塊根據申請過來的作業生成對應的XXTask，然后將作業通過長連接的方式發送給工作進程Progress Agent；④作業管理模塊受到已接收到新作業的工作進程的調度，生成工作進程相對應的XXTask；⑤新作業生成的Request被工作進程的作業管理模塊通過管道放入MiddleServer中間層的請求隊列中；⑥Request隊列中所有的請求都是通過線程池模塊調用自己相應的處理函數aio_process_request（）來處理的，為了保證不同的小作業可以多線程并行地處理，線程池根據服務器的性能設置了線程的數量。⑦具體的作業通過線程池調用DB數據處理模塊來執行，比如數據創建，數據查詢等等。⑧最終的執行結果是在作業執行完畢后一層層的向上層返回的，數據結果還是被線程池通過管道機制逐層返回給Master

3 數據采集處理

平臺的數據采集功能是采集網元數據，然后，根據不同的網元類型和網元號，對不同設備的性能數據以及告警數據，進行數據過濾分析并存入到平臺數據庫中，為管理人員實現數據的結構化管理提供基礎，方便管理人員數據操作、分析以及領導的決策。本文數據采集采用的是一種基于文件格式的采集方式。采集任務的方案是計算節點主動從FTP服務器上取數據，然后將數據采集入庫。數據采集流程步驟為：第1步：外部系統Med中間層接收到RNC因產生原始數據，形成數據文件而發來已經準備好的通知， 然后將請求轉發到本系統Master控制節點。第2步：任務拆分服務器TS收到Master因采集請求生成的大任務， 在將其拆分多個小任務之后返還給Master，Master將小任務放入任務隊列中。第3步：Master接收到計算節點CU主動申請的采集任務，Med將執行該任務的CU信息進行記錄。第4步：CU從指定的FTP服務器上下載RNC上傳的數據，為了能夠使數據以結構化的形式入庫，調用解析庫對數據進行解析。第5步：CU在采集任務完成后，向控制節點發送任務執行完成報告，在收到任務消息報告之后，Master將從隊列中移除任務。

4 數據匯總處理

系統的數據匯總是在對網元采集的數據計算處理后，進行一系列的有條件和邏輯順序的數據加工和整合。本文采的數據匯總采用的是Map/Reduce的模型，在執行的過程中，采用臨時表存儲Map任務計算的臨時結果，然后再通過Reduce任務，根據臨時表中的數據計算匯總。通常情況下，策略數據匯總是具有一定策略的，最常用的匯總策略有時間維度和對象維度兩種，可以按照時間（天）或者采集對象（網元）來進行匯總。

Reduce的機制來將匯總任務分解成多個Map和Reduce小任務，以解決匯總任務包含表格查詢跨庫跨表格的問題，讓計算節點進行歸并被拆分成四個小任務的Task1。

可以根據Map/Reduce的機制來將匯總任務分解成多個Map和Reduce小任務，以解決匯總任務包含表格查詢跨庫跨表格的問題，圖6中給出了發給計算節點，讓計算節點進行歸并被拆分成四個小任務的Task1。

數據匯總的具體過程為：①計算節點CU接收到Map小任務，先生成臨時表，然后執行。②當Master確定所有Map任務完成以后，再發送reduce任務，CU此時執行Reduce操作，匯總中間臨時表中的數據，生成用戶需要的最終結果集。

5 結論

本文設計了由中心控制節點、計算節點、配置服務節點等構成的海量數據處理平臺。通過中心控制節點實現任務的分解與控制，計算節點實現任務計算。使用基于文件格式的方式對網元進行數據采集，利用Map/Reduce的模型進行數據匯總，實現數據的整合。采用本平臺能夠實現對海量告警信息的捕獲和處理，保證告警分析的效率，為電力系統的運維監管提供數據支撐。

參 考 文 獻

[1] 丁兆云，賈焰，周斌.微博數據挖掘研究綜述[J].計算機研究與發展，2014，51（4）：691-706.

[2] 黃斌，許舒人，蒲衛.基于MapReduce的數據挖掘平臺設計與實現[J].計算機工程與設計，2013，34（2）：495-501.

[3] 朱姣姣，葉猛.多模式匹配及其改進算法在協議識別中的應用[J].電視技術，2012，36（7）：60-6.

[4] 陳占芳，王歡，畢琳，馮欣，禹建文.基于OA系統的即時通訊平臺關鍵技術研究與實現[J].長春理工大學學報：自然科學版，2012，5（04）：125-129.