基于hadoop的艦船通信網絡數據并行處理方法研究

趙 健

(長治學院計算機系,山西長治 046011)

0 引言

隨著艦船通信網絡應用的普及，艦船通信網絡數據量持續提升[1]，由此導致艦船通信網絡的處理與解析效率成為艦船通信網絡數據應用過程中亟需解決的問題[2]。相關領域研究學者對于通信數據的處理方法進行了大量研究。龍草芳等[3]針對通信網絡數據，采用分布數據數據加密方法對通信網絡數據進行加密處理。但該方法實際應用過程中無法保障數據處理的實時性。杜海賓等[4]針對交互量巨大的通信網絡數據處理問題，引用基于FlatBuffers的數據序列化技術提升數據通信效率。但該方法實際應用過程中受到數據規模的約束性，且方法可擴展性較差。針對上述問題，本文研究基于hadoop的艦船通信網絡數據并行處理方法，提升艦船通信網絡數據處理能力，降低數據處理時間。

1 艦船通信網絡數據并行處理方法

1.1 基于hadoop的艦船通信網絡數據并行處理架構

艦船通信網絡數據處理過程中，結合艦船通信網絡數據特性[5]，設計基于hadoop的艦船通信網絡數據并行處理架構。該結構是基于hadoop以Master-Slave架構為核心的分布式集群，通過分布式文件系統HDFS與My SQL 關系型數據庫處理艦船通信網絡數據。艦船通信網絡數據并行處理架構的設計以MVC三層功能結構為基礎，圖1為架構的功能分層。

圖1 基于hadoop 的艦船通信網絡數據并行處理架構Fig.1 Data parallel processing architectureof ship communication network based on hadoop

基于hadoop的艦船通信網絡數據并行處理架構共分為3層，由上至下分別是數據應用層、數據處理層和數據存儲層。

數據應用層是用戶與數據處理架構的交互工具，用戶可以操作艦船通信網絡與數據并行處理架構實施交互，上傳所采集的艦船通信網絡數據，也能夠利用Web網頁或各類智能終端查看艦船通信網絡數據。

數據處理層運行MapReduce程序，主要功能為實現艦船通信網絡數據存儲、艦船通信網絡數據解析、艦船通信網絡數據聚類等的并行化處理，同時完成數據并行處理架構維護的相關操作，如數據上傳與下載、集群間數據同步等。

艦船通信網絡數據存儲層的設計參考大數據平臺的特性，采用HBase與HDFs 等多種不同的存儲方式保障艦船通信數據存儲的可擴展性(主要針對不同格式數據的存儲問題)，并利用MySQL 數據庫保障艦船通信網絡數據的安全性問題。

1.2 艦船通信網絡數據處理層設計

艦船通信網絡數據處理層的主要功能是利用MapReduce程序實現艦船通信網絡數據的并行化處理。

1.2.1 改進的K-means算法

艦船通信網絡數據處理層利用改進的K-means聚類算法實現艦船通信網絡數據聚類處理。X={X1,X2,···,Xi,···Xn}表示初始艦船通信網絡數據集合，其中Xi和分別n表示不同的艦船通信網絡數據或數據集和艦船通信網絡數據數量。模糊C均值聚類算法劃分艦船通信網絡數據類別過程中對通信網絡數據集內的相似數據實施歸類處理，直至劃分為最小的數據集為止，其函數表達式如下：

式中，sij和d(Xj,Qi)分別為第j個艦船通信網絡數據集內的第i個數據或數據集和第j個數據集同其他數據集內第i個數據中心的歐式距離；Qi為第i類或第i個數據集。

式中，m為對艦船通信網絡數據集劃分的次數。

以g表示第g次數據集的劃分，利用式(3)表示函數表達式內的歐式距離：

式中：xik和xjk分別為艦船通信網絡數據集X內的第i個和第j個數據集中的第k個數據或數據集。

利用表達式描述改進后K－means算法內的聚類中心數據集或中心點，以h表示聚類中心點的數據集，由此得到：

式中：dw(xa,xb)為改進后K－means算法內不同艦船通信網絡數據類別的加權歐式距離，其計算公式如下：

式中，wi為第i個艦船通信網絡數據集的權重。

1.2.2K-means算法的MapReduce并行化實現

K－means算法內，單獨進行不同元素同質心距離的計算，此過程中各元素間不存在相關性，所以，可通過MapReduce 模型實現基于K-means 算法的艦船通信網絡數據聚類MapReduce 并行化處理，圖2為并行化處理流程圖。

圖2 聚類算法的MapReduce 并行化處理過程Fig.2 MapReduce parallelization process of clustering algorithm

在K-means算法的MapReduce 并行化實現過程中最重要的2 個步驟就是Map函數的設計與Reduce函數的設計。

1)Map函數的設計

基于K-means算法的艦船通信網絡數據聚類MapReduce并行化實現過程中，Map函數的主要功能為由HDFS文件內采集艦船通信網絡數據，針對不同艦船通信網絡數據，確定其至不同質心的距離，同時針對此艦船通信網絡數據進行類別標記。將初始艦船通信網絡數據與聚類質心作為M a p函數輸入〈key,value〉，即輸入數據為艦船通信網絡數據的〈行號,記錄〉 ；將中間結果 〈key′,value′〉作為輸出，即輸出數據為艦船通信網絡數據的〈 所屬類別,記錄〉。

2)Reduce函數的設計

基于K-means算法的艦船通信網絡數據聚類MapReduce并行化實現過程中，Reduce函數的主要功能是依照Map函數的數據結果，更新聚類中心，便于下一輪Map函數應用。確定標準測度函數值，基于該值確定迭代過程都滿足終止條件。

MapReduce并行化處理過程在運行Reduce函數前會合并處理Map函數的〈key′,value′ 〉，將其中key 值一致的多組〈key′,value′ 〉合并為一對。以 〈所屬類別，{記錄合計} 〉和 〈 類別號，均值向量+該類的平方誤差和〉分別作為Reduce函數的輸入 〈key′′,value′′ 〉和輸出〈key′′′,value′′′〉 。

基于K-means 算法的艦船通信網絡數據聚類MapReduce并行化實現過程中調用以上MapReduce 過程，不同迭代過程中均獲取一個新的job，直至2次獲取的平方誤差和差值低于設定閾值，即可終止迭代過程。Map函數最后一次輸出的 〈key′,value′〉即為艦船通信網絡數據最終分類結果。

2 實驗結果

本文研究基于hadoop的艦船通信網絡數據并行處理方法，為驗證本文方法在實際艦船通信網絡數據并行化處理過程中的應用性能，從某系統中選取任意一艘艦船，采集其通信網絡數據生成數據集。該數據集內共包含37874658條通信數據，對該數據集實施處理將其劃分為5個大小有所差異的實驗數據集，具體劃分結果如表1所示。本文方法性能檢驗過程中搭建基于hadoop部分的6臺計算機并行運行環境，將其中1臺計算機和剩余5臺計算機分別為子任務中的主要任務節點和其他子任務節點。

表1 實驗數據集劃分結果Tab.1 Experimental data set division results

2.1 聚類算法的有效性分析

為驗證本文方法中數據聚類算法的有效性，采用本文方法對數據集1實施聚類中心確定，并同數據集的實際聚類中心進行對比，結果如表2所示。分析表2可得，針對數據集1，本文方法所得的聚類中心同實際聚類中心基本一致，誤差控制在百分數級別，由此表明本文方法能夠獲取較為準確的聚類中心，為后續實現高精度的數據聚類結果打下堅實基礎。

表2 通信數據聚類性能分析結果Tab.2 Communication data clustering performance analysis results

2.2 并行化處理性能分析

表3為不同集群節點數量條件下5個數據集的運行時間。分析表3可得，在數據規模一致的條件下，集群節點數量越多任務完成時間越短。由此說明通過提升集群節點數量能夠大幅提升數據處理能力，表明本文方法具有較好的擴展性。

表3 本文方法運行時間Tab.3 Operation time of thismethod

通過加速比能判斷本文方法的并行處理性能，其能夠呈現通過降低運行時間呈現的性能提升效果。圖3為本文方法的加速比測試效果。分析可得，本文方法的加速比趨于線性。因Hadoop集群初始運行需要花費一定時間，因此在數據量較少的條件下，本文方法的加速比性能并不明顯。但在數據量較大的條件下，本文方法的加速比性能同數據量之間表現出正比例相關。表明在數據量越大的條件下本文方法的加速比性能越好，也就是本文方法適于應用在海量艦船通信網絡數據的處理中。

圖3 加速比分析結果Fig.3 Acceleration ratio analysis results

3 結語

本文研究基于hadoop的艦船通信網絡數據并行處理方法，利用MapReduce實現艦船通信網絡數據的并行化聚類，同時通過實驗驗證了本文方法的應用性能。在后續研究過程中將進一步優化本文方法，探索艦船通信網絡數據其他處理過程的并行化實現。