可重構分層感知網絡流量預測算法

李 莉，吳潤澤，包正睿，龐思睿

(1.國網冀北電力有限公司經濟技術研究院，北京 100055； 2.華北電力大學 電氣與電子工程學院，北京 102206； 3.國網冀北電力有限公司信息通信分公司，北京 100053)

0 引 言

隨著互聯網規模不斷擴大，網絡流量數據與業務種類越來越多，網絡資源與網絡需求供需矛盾日趨尖銳，網絡流量預測不但有助于分析網絡安全狀況，而且可以科學管理和防范網絡異常，因此，網絡流量預測研究和實現具有重要意義[1]。

當前網絡流量預測模型[2-3]主要分為線性預測和非線性預測兩種。線性預測建模簡單，實現精度高，但不適合規律性較弱、復雜多變的非線性網絡流量特性[4]。神經網絡通過神經元能夠逼近非線性函數，因此廣泛應用于網絡流量預測。但是神經網絡流量預測[5-7]方法存在網絡結構、權值和初始值確定問題，實現過程主要為串行計算[8]，沒有充分發揮神經網絡并行優勢。

而定制的神經網絡處理硬件系統，存在資源分配和多核通信問題，硬件結構固定對預測網絡規模的變化沒有伸縮性，不能靈活修改預測算法[9-10]。片上網絡(network on a chip，NoC)借鑒計算機網絡技術，利用網絡通信改變傳統多核總線控制方式，使得片上多核處理器(multiprocessor systems on chip，MPSoC)具有更低時延、更高的吞吐率[11-12]。

針對以上問題，結合人工神經網絡可并行計算的特點，設計了一種基于多核片上網絡技術的分層可重構感知網絡模型，并將其應用在流量預測中。硬件仿真結果表明，該方法的預測精度和執行效率有明顯的提高。

1 可重構分層感知神經網絡

分層感知神經網絡通過神經元構建分層連接網絡，模擬人腦真實的生物神經網絡(biological neural networks，BNN)工作過程[13]。分層感知神經網絡一般包括一個輸入層、一個或者多個隱藏層和一個輸出層，各層根據需要，可以包含有多個神經元。圖1為一個6-8-1分層感知神經網絡結構圖，其中輸入層有6個輸入單元，隱藏層有8個感知器，輸出層有1個神經單元。

圖1 分層感知神經網絡結構

分層感知神經網絡工作過程分為訓練過程與推理過程[14]。訓練過程為輸入訓練數據和目標向量，通過不同的神經網絡擬合算法，計算得到感知網絡訓練權值。推理過程為訓練權值和輸出預測數據誤差，得到輸出預測結果。分層感知神經網絡在訓練權值時一般采用后向傳播算法(back propagation，BP)，BP算法按照預測感知數據流方向又分為前向感知傳播和后向誤差傳播。

(1)

(2)

(3)

(2)后向誤差傳遞過程。在權值尋優和修正時，以最小化目標函數(代價函數)為目標，采用梯度下降法逐層計算模型的參數，即連接權值和偏置值。設第k個訓練樣本輸出誤差為Ek，則代價函數E表示為：

(4)

(5)

當所有樣本數據通過網絡得到輸出時，誤差便按照反向傳播方式計算各層權值和偏置值的變化量，從而實現更新。

權值更新規則如下式所示：

(6)

其中，α為學習速率，一般取值在0.01～0.1之間。代價函數E對權值參數的求導計算如下：

(7)

2 基于多核片上網絡技術的可重構分層感知神經網絡設計

分層感知網絡模擬人體神經元網絡具有并行特點，每個神經元都與多核中的物理核對應，而神經元信息傳導與多核之間通信相似，因此，提出基于多核片上網絡系統[15-16]設計實現分層感知網絡。

2.1 多核片上網絡結構

MPSoC采用2D網格結構，集成了16個微處理器核，具備良好的并行性能。圖2為片上網絡一個節點內部結構，每個節點均含有一個網絡接口、RISC微處理器、SRAM及SRAM控制器以及片上網絡路由器。其中的一個節點還應包含通用串口模塊，用于協調整個系統節點間的數據交互和信息同步。

圖2 片上網絡節點內部結構

2.2 分層感知網絡結構實現

采用多核片上網絡系統實現分層感知神經網絡，多核中的每個物理核都映射為一個神經元，并且利用片上網絡分層技術將片上網絡節點分為不同層。圖3為基于多核片上網絡的分層可重構并行感知網絡結構，其中16個節點實現三層BP網絡結構，將輸入層映射為源層，包含6個節點；輸出層映射為感知層，包含2個節點；隱藏層映射為中間層，包含8個節點。目的層即輸出層，包含2個節點，其中一個節點用來計算誤差和預測輸出值，而另一個節點為預留，專門保存所有目的層誤差項、中間層權值、激活函數，并負責向源層發送誤差數據。

圖3 基于多核片上網絡的分層可重構并行感知網絡結構

采用多核片上網絡系統實現可重構感知神經網絡，其可重構性在于：

(1)使用多核片上網絡結構，可單獨在每個物理核中配置感知器，靈活構造不同的感知網絡結構，且并行性能較好。

(2)分層感知網絡的權值和激活函數單獨存儲在節點中，容易修改和編程。

2.3 分層感知網絡流量預測流程

圖4為分層可重構并行感知網絡流量預測流程。

圖4 分層可重構并行感知網絡流量預測流程

具體過程如下：在源層節點保存初始化網絡流量輸入值、中間層權值、閾值初始值，通過片上網絡傳遞給中間層所有節點進行前向傳播，并將計算結果傳輸到目的層節點。目的層中的計算節點計算網絡流量預測輸出值和誤差值，如果預測誤差滿足誤差要求，則預測結束輸出網絡流量預測值；如果不滿足預測誤差要求，則計算中間層和目的層權值以及偏置值的修正值，將結果傳輸到預留節點。預留節點通過片上網絡傳遞給源層節點，重新進行感知預測過程。

3 實驗仿真分析

利用Altera公司的EP2S180FPGA demo開發系統進行算法驗證。利用實驗室Netflow流量分析工具從2017年3月6日10：00開始捕獲的1 000個時間點流量數據作為樣本數據，其中前908個數據用來訓練分層感知網絡，后92個數據作為測試樣本，驗證該網絡的預測性能。采用MATLAB實現BP網絡流量預測并與其預測精度進行比較。如圖5所示，提出的可重構并行感知網絡流量預測精度與BP網絡性能相差不多，而且可以通過更多的訓練得到相應的權值，提高了預測精度。

圖5 分層感知網絡流量預測精度比較

評價神經網絡硬件性能參數[17-18]一般采用每秒鐘每核執行累加數目(connection per second per core,CPSPC)，即神經網絡每秒鐘執行乘累加的數目與物理核數的比值。經過測試得出，該算法的CPSPC值為95 000，明顯高于專用神經網絡處理單元。

4 結束語

利用多核片上網絡技術實現分層感知網絡進行網絡流量預測，充分發揮神經網絡并行設計思想，同時利用多核結構實現感知網絡算法的可重構。仿真測試表明，該算法具有良好的預測精度，可擴展性好，并行度高，可以將其推廣到其他神經網絡的應用領域。

參考文獻:

[1] 田中大，李樹江，王艷紅，等.基于混沌理論與改進回聲狀態網絡的網絡流量多步預測[J].通信學報,2016,37(3):55-70．

[2] 邵 忻.一種新的基于ARIMA-SVM網絡流量預測研究[J].計算機應用研究,2012,29(5):1901-1903.

[3] PENG Y,CHEN K,WANG G,et al.Towards comprehensive traffic forecasting in cloud computing:design and application[J].IEEE/ACM Transactions on Networking,2016,24(4):2210-2222.

[4] 田中大，高憲文，李樹江，等.遺傳算法優化回聲狀態網絡的網絡流量預測[J].計算機研究與發展,2015,52(5):1137-1145.

[5] CHAN K Y,DILLON T S,SINGH J,et al.Neural-network-based models for short-term traffic flow forecasting using a hybrid exponential smoothing and Levenberg-Marquardt algorithm[J].IEEE Transactions on Intelligent Transportation Systems,2012,13(2):644-654.

[6] 高述濤.CS算法優化BP神經網絡的短時交通流量預測[J].計算機工程與應用,2013,49(9):106-109.

[7] 賴錦輝,梁 松.基于ACS優化BP神經網絡的交通流量短時預測方法[J].計算機工程與應用,2014,50(10):244-248.

[8] 馮華麗，劉 淵，陳 冬.QPSO算法優化BP網絡的網絡流量預測[J].計算機工程與應用,2012,48(3):102-104.

[9] 萬 勇，王 沁，李占才,等.一種神經網絡硬件實現的可重構設計[J].計算機應用，2006,26(1):202-203.

[10] 李 昂，王 沁，李占才,等.基于FPGA的神經網絡硬件實現方法[J].北京科技大學學報，2007,29(1):90-94.

[11] JERRAYA A, TENBUNEN H, WOLF W. Multiprocessor systems-on-chips[J].IEEE Computer,2005,38(7):36-40.

[12] YANG H,KIM S,HA S.An MILP-based performance analysis technique for non-preemptive multitasking MPSoC[J].IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems,2010,29(10):1600-1613.

[13] 劉 澍，王宏遠.基于混合遺傳算法優化的MLP神經網絡的調制方式識別[J].武漢大學學報:理學版,2008,54(1):104-108.

[14] 朱新召，胡哲琨，周 莉,等．基于多核處理器的多層感知網絡神經網絡設計和實現[J].微電子學與計算機,2014,31(11):27-31.

[15] 張 帥，宋風龍,王 棟,等.多核結構片上網絡性能-能耗分析及優化方法[J].計算機學報,2013,36(5):988-1003.

[16] 付斌章,韓銀和，李華偉,等.面向高可靠片上網絡通信的可重構路由算法[J].計算機輔助設計與圖形學學報,2011,23(3):448-455.

[17] 李 洋.基于QoS保證的2D-mesh片上網絡延時評價與性能優化研究[D].長春:吉林大學,2015.

[18] 王 磊，陸 超，章隆兵,等.基于神經網絡預測模型的異構多核處理器調度[J].高技術通訊,2015,25(6):567-574.