基于多層感知器的無線傳感器網絡分布式協同訓練方法研究

饒緒黎　陳志德　林晶　林峰

摘要：為了提高分散在無線傳感器網絡各個節點上的數據訓練的準確度和時效性，采用多層感知器分類算法訓練數據，并將分類算法部署在TensorFlow分布式集群上，以實現協同訓練。結果表明本算法與傳統算法相比，準確率能控制在95%以上，訓練時間縮短了65.8%，具有實際應用價值。

關鍵詞：無線傳感器網絡;多層感知器;TensorFlow;分布式協同訓練;分類

中圖分類號：TP312文獻標志碼：A文章編號：1008-4657（2019）02-0005-08

0引言

隨著科技的發展以及無線設備的廣泛使用，無線傳感器網絡（WSN）技術已經成功出現在軍事、農業、工業以及人類其他日常生活等諸多領域中，具有重要的應用價值和意義[1]。對無線傳感器監測到的數據進行分類是一項基礎并且常見的任務。同時，很多經典機器學習算法也被廣泛應用于無線傳感器網絡領域中用于解決數據分類問題[2]。對WSN數據進行分類訓練，可以對單個傳感器節點進行單獨訓練，也可以將所有分散在各個傳感器節點上的數據進行融合，然后進行集中訓練，但集中訓練需要耗費大量的節點能量和占用大量的帶寬。因此，研究如何對無線傳感器網絡數據進行分布式協同訓練，具有十分重要的意義。

目前，越來越多的研究學者在關于無線傳感器網絡數據分類問題上研究通過使用機器學習算法解決問題[3]。文獻[4]針對無線傳感器網絡，提出了一種采用分布式K均值聚類的方法，自適應加權分配的網絡數據融合處理機制。支持向量機SVM具有很強的理論基礎和廣泛的應用，但運行時和內存消耗方面，底層優化技術要求很高[5]。文獻[6]通過引入一種基于順序梯度提升的算法并修改偏差公式，訓練過程在領域之間進行信息交換通信，實現分布式并行執行。文獻[7]利用乘法器的交替方向法，在不交換節點間訓練數據的情況下，實現分布式的訓練算法。文獻[8]在基于支持向量機的分布式學習系統中結合了壓縮感知技術，能夠抵抗帶寬和能量有限的無線傳感器網絡。文獻[9]通過研究網絡中相鄰節點之間的協作方式，提出了基于平均一致性的分布式支持向量機訓練方法。這些傳統的分布式訓練方法都是通過迭代求解權參數的方法，雖然能夠在一定程度上減少數據通信消耗，但對于數據訓練的準確度和時效性仍有待提高。

本文提出了一種基于多層感知器的分布式協同訓練方法，采用多層感知器方法進行分類訓練，并將多層感知器訓練算法搭建在TensorFlow分布式集群上，通過集群傳感器節點之間并行訓練的方式，使分類準確率得到提高，并大幅縮減訓練時間。

1多層傳感器網絡

多層感知器（Multi-layer Perceptron，MLP）屬于一種前向反饋人工神經網絡模型，目前已在模式識別、圖像處理等領域被廣泛應用。多層感知器網絡由隱藏層、輸入層和輸出層組成，其中隱藏層的層數可以一個或多個。多層感知器神經網絡模型如圖1所示。

其中隱藏層有兩個，除了輸入層以外，網絡中的每個節點稱為神經元。同層內的神經元之間沒有連接，相鄰兩層之間的神經元兩兩相連，也就是網絡的層間是全連接的，任意一個神經元與下一層的所有節點都連接。信號從輸入層進入多層感知器神經網絡，從左到右依次順序傳播，前一層神經元的輸出作為下一層神經元的輸入數據，直到輸出層神經元輸出最終結果。

假設神經網絡中有一個神經元j，整個多層感知器神經網絡的訓練集，包含N個訓練樣本，那么當第k個訓練樣本經過神經元j時的信號圖如圖2所示。

2算法模型

由于在現實環境下，單機訓練大型神經網絡的速度非常緩慢，這就需要能夠將算法分布在多臺傳感器節點上，并行訓練。TensorFlow是Google推出的第二代分布式機器學習系統，是目前較為流行的深度學習框架，是用于大規模分布式數值計算的開源框架，目前已經被廣泛應用于圖像識別、語音識別、自熱語言處理等領域。本文提出的無線傳感器網絡分布式協同訓練方法是基于此平臺來實現的。

TensorFlow平臺分布式支持通過單臺計算機實現與多臺計算機設備實現，如圖3所示。

工作架構由客戶端，服務端組成，服務端包括主節點，工作節點組成。客戶端會話聯系主節點，實際工作由工作節點實現，每個工作節點占一臺傳感器節點。Tensorflow是基于圖的計算框架，圖的節點由事先預定義的運算組成，而圖中節點到其它節點之間的連接則為邊，那么在邊中流動傳輸的數據是張量。在圖的框架中，每一個節點允許有多個輸入以及有多個輸出，并且每一個節點呈現對應于一種運算操作，也就是說節點可以認為是運算操作的一種實例化。圖的運算過程，就是張量在節點與相鄰節點之間從前到后的流動傳輸過程，只要處于輸入端的所有張量準備好，節點就會被分配到各種計算傳感器節點完成異步并行地執行運算，也就是實現分布式運算。計算過程如圖4所示。

分布式訓練過程可以總結分為兩步：（1）構建計算圖。在搭建多層感知器神經網絡時，組織各個層及層之間關系的過程就是圖的構建，然后通過不斷反復地執行圖中的訓練運算來逐漸優化參數。（2）執行會話，執行計算圖。TensorFlow的單機分布式實現是通過在一臺計算機設備（1個主控節點）上，建立一個計算子節點，多個CPU或GPU共同完成一項任務。而多機分布式與單機分布式原理相同，但不同的是基于多個計算子節點共同執行運算，完成一項任務。從無線傳感器網絡的數據特點來看，本文采用多機多節點的分布式方式訓練數據更加合適。另一方面，本文實驗采用圖間復制、異步更新的方式實現數據并行。圖間復制是指每一個工作節點創建一個完整的子圖，訓練參數保存在參數服務器中，數據不分發，各個工作節點獨立計算，計算完成將要更新的參數告訴參數服務器，參數服務器更新參數。異步更新是指分布式集群中的每個工作節點在運算前，分別獨立地從參數服務器設備中讀取實時參數，當工作節點完成計算后，不需要等待其他工作節點是否已完成計算，可直接將自身設備參數提交給參數服務器，以實現參數的實時更新操作。這種模式的優點是在運算過程中不需要先對訓練數據進行分發的處理，尤其當要處理的數據量達到TB級時，能夠節省大量的預處理時間。

本文提出了一種基于多層感知器的無線傳感器網絡分布式協同訓練方法，首先搭建TensorFlow分布式集群環境，然后將多層感知器分類算法部署在集群環境中，接下來進行異步訓練。分布式算法工作流程如圖5所示。

單個計算節點算法流程如下：

步驟1：創建TensorFlow分布式集群。建立3個終端，配置IP和端口信息，其中一個作為參數服務器（ps），兩個作為計算節點（worker），用于實現分布式訓練。

步驟2：為每個角色創建任務的實例。根據執行的命令參數不同，決定了該是哪一種任務。若任務名字是ps，則程序就加入到該任務中，作為參數更新的服務，等待其他worker節點提交參數更新的數據。若任務名字是worker，則繼續執行后續的計算任務。

步驟3：標注模型中的分布式設備，讀取無線傳感器網絡數據，定義多層感知器算法進行訓練，其中，本文實驗中的多層感知器網絡包含2個隱藏層，每個隱含層包含256個神經元，隱含層的數據通過Relu激活函數得到，并且將交叉熵的平均值作為損失函數，AdamOptimizer作為優化器，優化器中的學習率設置為0.001，使算法得到收斂。最后，算法訓練次數為10。

步驟4：模型參數初始化，開始執行分布式運算。開始執行會話，每個工作節點執行計算圖，更新參數。

步驟5：迭代訓練。

3實驗分析

本實驗數據集采用KDD99數據集，該數據集來源于一個模擬美國空軍局域網的網絡環境，對9個星期的無線傳感器網絡連接數據進行采集，并按照攻擊類型將數據進行分類，將其分類為無標簽的測試數據和帶有標簽的訓練數據。數據標簽中一共有23種標簽，其中包含22種異常標識（訓練攻擊類型）和1種正常標識類型，如表1所示。

為了驗證本文算法提出的采用TensorFlow集群分布式訓練方法的有效性，實驗選擇TCP、UDP網絡協議數據，一共50萬條數據量，訓練周期設置為10，分別將傳統的未采用TensorFlow集群分布的單機模式多層傳感器算法訓練、采用TensorFlow集群分布的多層傳感器算法多機多節點訓練（3臺機器3個節點）進行對比，圖6～8分別為未采用TensorFlow集群分布的多層傳感器算法的時間消耗情況、CPU消耗情況、訓練結果圖，圖9～11分別為采用TensorFlow集群分布的時間消耗情況、CPU消耗情況、訓練結果圖。

由圖6～8可知，采用傳統的單機模式多層感知器網絡進行訓練，在算法執行期間，資源的CPU的占用率持續達到了84%，每個周期算法平均耗費22.2s的訓練時間，10個周期后準確率達到99.80%。雖然該傳統訓練算法已具備很高的分類準確率，但對于越來越多的傳感器設備，無線傳感器網絡數據量的不斷增加，若仍采用傳統的單機模式進行訓練數據，將非常耗費設備資源和時間。

由圖9～11可知，節點A與節點B在第5個訓練周期時，訓練時間就縮減到了6s-7s。同時，計算節點A與節點B分別在24個周期與25個周期內算法的準確率達到96.50%和96.45%雖然該分布式算法的準確率與單機模式下的多層傳感器算法相比有很小幅度的下降，但是訓練時間縮短了65.8%，可以看出本文提出的基于多層感知器的分布式協同訓練算法的有效性。

使用4臺、8臺計算節點驗證算法的有效性，比較不同數量計算節點的訓練結果，如表2所示。

由表2可知節點數量增加時，每個節點的計算耗時明顯減少，由于各個節點是并發運行的，所以算法的總耗時減少的幅度更加明顯。8臺計算節點下的分布式算法耗時大大減少，并且準確率能控制在95%以上。隨著無線傳感器的日益廣泛使用，收集到的大量數據能夠及時地得到分類、識別應用變得尤為重要。因此，本文提出的分布式訓練算法在確保準確率的同時大幅度縮減訓練時長，提升訓練效率，在無線傳感器網絡（WSN）數據監測和數據處理中具有實際意義。

4結語

本文針對中大規模的無線傳感器網絡（WSN）數據監測和數據處理提出了一種基于多層感知器的無線傳感器網絡分布式協同訓練方法，通過采用多層感知器網絡訓練數據提高分類的準確率，然后將多層感知器部署在TensorFlow分布式集群上，實現并行訓練，大大縮短數據的訓練時間。實驗結果表明，本文算法能夠有效實現分布式協同訓練的目的，在確保高準確率的前提下，同時能夠大幅度提高訓練的效率，縮短訓練時長，很好地解決了無線傳感網數據訓練準確度和時效性的問題。

參考文獻：

[1] Yick J，Mukherjee B，Ghosal D.Wireless Sensor Network Survey[J].Computer Networks，2008，52（12）：2 292-2 330.

[2] 邱立達，劉天鍵，林南，等.基于深度學習模型的無線傳感器網絡數據融合算法[J].傳感技術學報，2014（12）：1 704-1 709.

[3] Advantage S，Rajamani R.Portable Roadside Sensors for Vehicle Counting，Classification，and Speed Measurement[J].IEEE Transactions on Intelligent Transportation Systems，2014，15（1）：73-83

[4] Zou P，Liu Y.A Data-aggregation Scheme for WSN based on Optimal Weight Allocation[J].Journal of Networks，2014，9（1） ： 100.

[5] Stolpe M，Bhaduri K，Das K.Distributed Support Vector Machines： An Overview[M]// Solving Large Scale Learning Tasks.Challenges and Algorithms.Berlin： Springer International Publishing，2016.

[6] Wang D，Zheng J，Zhou Y，et al.A Scalable Support Vector Machine for Distributed Classification in Ad Hoc Sensor Networks[J].Neurocomputing，2010，74（1-3）：394-400.

[7] Forero P A，Cano A，Giannakis G B.Consensus-based Distributed Support Vector Machines[J].2010，11（5）：1 663-1 707.

[8] Wang D，Zhou Y.Distributed Support Vector Machines： An overview[C]// Taiyuan Institute of Electrical and Electronics Engineers （IEEE）.Taiyuan： 2012 24th Chinese Control and Decision Conference （CCDC），2012： 3 897-3 901.

[9] 及歆榮，侯翠琴，侯義斌.無線傳感器網絡下線性支持向量機分布式協同訓練方法研究[J].電子與信息學報，2015，37（3）：708-714.

[責任編輯：許立群]