基于MapReduce的故障診斷方法

趙虎

【摘要】 基于MapReduce的故障診斷方法將MapReduce運用到故障診斷中，有效解決了故障診斷過程中大數據的處理問題，大大提高了故障診斷的效率。本文對故障診斷技術的發展進行了闡述，針對故障診斷方法的不足闡述了將MapReduce運用其中的優勢。將診斷算法分為迭代和非迭代，使用不同的MapReduce模型分別實現。

【關鍵詞】 MapReduce 云計算 故障診斷 診斷算法

引言

隨著設備復雜化程度的提高，故障診斷[1]過程中處理的數據規模越來越大，嚴重制約了故障診斷的效率，如何解決診斷大數據就成了亟待解決的問題。MapReduce計算模型[2]是云計算的關鍵技術，能組織集群來處理大規模數據集，對于大規模數據的快速處理有著巨大的優勢。本文在診斷算法研究基礎上，根據算法運算特點，給出了算法MapReduce化實現的方法。

一、故障診斷技術

故障診斷技術是由于建立監控系統的需要而發展起來的[3]。其發展至今經歷了3個階段[4]，

第一是依靠專家或維修人員的個人經驗及簡單儀表進行的故障診斷工作；

第二是以傳感器技術動態測試技術為手段，以信號分析和建模處理為基礎的現代診斷技術；

近年來，隨著計算機技術智能信息處理技術的發展，故障診斷技術進入了新的發展階段：數據處理優化建模與知識處理相融合的智能診斷技術。

根據故障診斷算法計算過程是否迭代，可將其分為迭代算法和非迭代算法。迭代算法采用迭代式MapReduce框架實現，非迭代算法采用傳統MapReduce框架實現。

二、MapReduce模型及算法實現

2.1 傳統MapReduce框架

針對非迭代診斷算法，直接將算法代入MapReduce中。Map和Reduce函數根據算法由用戶定義，兩個階段具體工作如下。

Map階段：Map節點讀取輸入數據，Map函數采用非迭代診斷算法的計算公式，將輸入數據用Map函數處理后輸出中間鍵值對。中間鍵值對根據算法公式由用戶定義。

Reduce階段：Reduce節點收集Map節點的輸出鍵值對，將key值相同的組織在一個Reduce節點，Reduce函數由用戶自定義，所有Reduce節點的結果寫入輸出目錄的文件。

2.2迭代式MapReduce框架

在迭代程序中，每次迭代計算的輸出是下次迭代的輸入。采用傳統MapReduce框架進行計算時，每次迭代對應一個MapReduce計算過程，需要多次對任務進行提交，計算效率低。迭代式MapReduce框架[5]利用通信模塊進行迭代結果的數據傳輸，一次任務提交即可完成整個計算。因此，對于迭代程序的處理，可采用迭代式MapReduce框架來實現。

迭代式MapReduce框架在傳統框架上增加了ComMonitor模塊和Transmode模塊。ComMonitor模塊運行在NameNode節點，負責為各個節點提供通信地址、監控節點間的通信，保證每個計算任務獲得相應的通信地址。Transmode模塊運行在用戶指定的DataNode節點，運行前需向ComMonitor模塊進行注冊。通過心跳來更新通信信息，并負責節點間數據的接收和傳送。

迭代診斷算法的MapReduce化實現在非迭代算法實現基礎上，利用通信模塊將每次迭代計算結果傳送至原Map節點，供下一輪job使用。一次任務提交即可完成整個算法實現。

三、結束語

大數據時代的到來，對故障診斷的實時性和準確性提出了巨大的挑戰?；谠朴嬎愕墓收显\斷方法就是在這個背景下產生的。

本文對故障診斷技術的發展進行了闡述，重點研究了兩種MapReduce模型，以及診斷算法在其中的實現。通過分析將診斷算法分為迭代和非迭代，迭代算法采用迭代式MapReduce框架實現，非迭代算法通過傳統MapReduce框架實現。

參 考 文 獻

[1]李娟， 周東華， 司小勝， 等. 微小故障診斷方法綜述[J]. 控制理論與應用， 2012， 29（12）：1517-1529.

[2]DEAN J， GHEMAWAT S. MapReduce： Simplified Data Processing on Large Clusters[J]. Communications of the ACM， 2008， 51（1）： 107-113.

[3]周東華， 席裕庚. 故障檢測與診斷技術[J]. 控制理論與應用， 1991， 8（1）：1-7.

[4]李偉.復雜系統的智能故障診斷技術現狀及其發展趨勢[J].計算機仿真， 2004， 21（10）：4-7.

[5]金偉健， 王春枝. 適于進化算法的迭代式MapReduce框架[J]. 計算機應用， 2013， 33（12）：3591-3595.