基于經驗模態分解的小波神經網絡預測模型

張彥霞　肖清泰,2　徐建新,2　桑秀麗*

1(昆明理工大學質量發展研究院　云南 昆明 650093)2(昆明理工大學省部共建復雜有色金屬資源清潔利用國家重點實驗室　云南 昆明 650093)

?

基于經驗模態分解的小波神經網絡預測模型

張彥霞1肖清泰1,2徐建新1,2桑秀麗1*

1(昆明理工大學質量發展研究院云南 昆明 650093)2(昆明理工大學省部共建復雜有色金屬資源清潔利用國家重點實驗室云南 昆明 650093)

針對小波神經網絡(WNN)在非平穩、非線性時間序列預測上無法實現自適應多分辨率分析，且其預測精度有待提高的問題，提出基于經驗模態分解的小波神經網絡預測模型。首先，對非線性、非平穩時間序列進行經驗模態分解(EMD)，以降低時間序列的非平穩性；然后對EMD分析得到的固有模態分量(IMF)和余項分別構建WNN模型；最后，匯總預測結果，得到預測值。通過數據驗證，新模型的預測精度高于BP神經網絡和WNN。

經驗模態分解小波神經網絡BP神經網絡預測

0　引　言

時間序列是每隔特定時間出現的按照時間順序排列的一組數據，廣泛存在于工業工程控制、故障診斷、天氣預報和經濟預測等領域。早期的時間序列預測分析方法絕大部分是通過構建線性模型來“捕獲”訓練集的規律，然后利用該規律進行預測。比如常見的ARMA模型[1]，取得了較好的效果。但在實際問題中，人們更常見的是非線性、非平穩時間序列。

目前，BP神經網絡、小波神經網絡和經驗模態分解三種方法被廣泛應用于非線性、非平穩性時間序列預測。BP神經網絡具有網絡結構簡單、非線性映射能力和自學習性較強等優勢，但是BP神經網絡預測模型易出現局部極小值問題，且精度不盡理想[2]。WNN是繼BP神經網絡之后，在非線性、非平穩時間序列預測中得到廣泛應用的一種模型。其結合了人工神經網絡和小波變換各自的特點，把小波變換應用到人工神經網絡中，具備BP神經網絡的自學習能力和小波變換局部化等優點[3-5]，能夠有效解決局部極小值問題。但是在實際生活生產中，發現其存在小波分解無法實現的自適應多分辨率分析的問題[6,7]。針對該問題，部分學者通過引入遺傳算法、粒子群算法等對WNN的參數進行優化。這些解決方案本質上是對WNN本身進行優化，以期達到克服自身缺陷、提高精度的目的。但是，優化后的WNN模型預測精度不盡理想，其預測精度還具有提高的空間。EMD在信號處理和分析中的有效性得到了驗證[8,9]，具有直接、簡單和自適應的良好特性，很好地彌補了小波神經網絡自適應多分辨率的缺陷。理論上，EMD算法可以解決所有類型信號的分解問題，其在處理非線性、非平穩信號上，具有較強優勢[10-12]，然而也存在模態混疊的不足[13]。單個預測方法往往都有各自的不足，為了充分利用多個方法的優勢，提高預測精準度，產生了組合多個方法進行預測的思想。Jain等人驗證了組合方法可以提高時間序列的預測精準度[14]。郝鳳龍等人證實了EMD與小波變換組合模型的有效性和科學性[15]。

鑒于此，本文基于EMD和小波變換各自的特性，采用組合模型的思想，提出了基于經驗模態分解的小波神經網絡預測模型，以期在非線性、非平穩時間序列預測中得到更加理想的擬合精度和預測精度。

1　基本理論概述

1.1BP神經網絡

BP神經網絡是一種采用最小二乘法求解誤差函數最小值的多層前饋式網絡，其隱含層的激勵函數是S型正切函數。BP網絡的學習過程包括輸入信號的正向傳播過程和誤差的反向傳播過程。兩個學習過程反復進行，不斷在相對誤差函數梯度下降的方向計算各個網絡節點的權值和偏差，得到變化結果，逐步實現目標。常見的BP神經網絡結構為輸入層、隱含層(大于等于1個)和輸出層。

1.2小波神經網絡

小波神經網絡WNN是一種以BP神經網絡和小波理論為基礎，把小波基函數作為隱含層激勵函數的多層前饋神經網絡。WNN具有信號向前傳播的同時誤差向后傳播的特點。在信號傳遞中，信號首先從輸入層進入網絡，然后經過隱含層神經元逐層處理，最后到達輸出層。輸出層“判斷”輸出結果是否是期望輸出，若是，則輸出結果，否則進入反向傳播過程。反向傳播過程根據網絡預測誤差更新網絡連接權值、尺度因子和位移因子，使預測輸出不斷接近期望輸出。構建WNN的主要任務之一是依據具體時間序列特性，篩選合適的小波基函數作為聯系小波變換和神經網絡的激勵函數。

(1)

小波神經網絡拓撲結構如圖1所示。

圖1　小波神經網絡拓撲結構圖

圖1中的Xi是小波神經網絡的輸入序列， i=1,2,…,I； fj是選擇的小波基函數， Y是小波神經網絡的輸出序列。 j為隱含層節點數，j=1,2,…,m。

小波神經網絡算法流程包括以下三部分：

(1) 小波神經網絡構建：選取合適的小波神經網絡結構；

(2) 小波神經網絡訓練：初始化參數并使用訓練數據訓練WNN；

一是集團化改革取得新成效。廣東農墾在1994年就開始實施集團化改革，并以資本為紐帶，組建了湛江、茂名、陽江、揭陽、汕尾等5個區域集團公司和一批現代公司制產業集團。國有農場作為產業集團的生產基地，是全產業鏈的基礎環節，與產業集團形成緊密型利益共同體。

(3) 小波神經網絡預測：用訓練好的小波神經網絡預測測試樣本，得到預測結果并進行分析。

1.3經驗模態分解

經驗模態分解EMD是Huang等人[3]提出的一種新型數據分析方法，可以將非平穩、非線性時間序列中的不同特征波動和趨勢分離開，形成若干固有模態分量IMF和1個余項，其本質是平穩化處理數據。EMD分解出的IMF要滿足以下兩個特點：① IMF中的所有極值點數量和所有零點數量相差為0個或者1個；② 在IMF中的任何一個點處，所有極大值點形成的上包絡線和所有極小值點形成的下包絡線的平均值始終為0。

EMD算法步驟是：① 篩選出時間序列p(t)中的極大值和極小值；② 通過三次樣條插值法擬合出極大值和極小值的包絡線；③ 計算包絡線均值g(t)與初始時間序列p(t)的差值，設為y(t)；④ 把y(t)看作初始時間序列，重復k次步①-步③計算，直至Hk小于給定的閾值，得到第一個imf1(t)，imf1(t)=yk(t)，Hk滿足式(2),r1(t)=p(t)-imf1(t)；⑤ 將r1(t)看作初始時間序列，重復①-④，得到imf2(t)，r2(t)=r1(t)-imf2(t)；⑥ 將r2(t)看作初始時間序列。重復以上步驟直至所得到的余項函數值小于給定的閾值或者是單調函數時，結束計算。最后一次得到的余項函數r(t)稱為余項。

(2)

由上文可知，時間序列p(t)的公式為：

(3)

2　EMD-WNN預測模型

2.1模型構建

針對非線性、非平穩的時間序列，首先對其進行歸一化處理。其次，利用EMD分析方法對其進行分解，最終得到一組IMF和一個余項。然后，利用WNN分析方法對IMF和余項分別進行網絡的訓練和預測。最后，將IMF和余項預測結果累加即得到原始時間序列的最終預測值。

2.2算法步驟

Step1數據預處理：對原始數據進行歸一化處理。

Step2對歸一化后的時間序列進行EMD分析，具體如下：(1) 篩選原始序列的局部極值；(2) 擬合上、下包絡線；(3) 計算上、下包絡線的均值；(4) 計算原始時間序列與步(3)均值的差值序列；(5) 判斷步(4)序列是否為IMF，若是，則將步(4)序列視為第一個IMF，若否，則將步(4)序列視為原始時間序列，重復步(1)-步(5)；(6) 計算原始時間序列與第一個IMF之間的差值，視為余項和原始時間序列。繼續重復步(1)-步(6)，直至余項滿足停止條件。

Step3WNN預測分析：(1) 網絡初始化：隨機初始化小波函數尺度因子和位移因子、網絡連接權值以及學習速率；(2) 樣本分類：將原始數據集劃分為訓練樣本集和測試樣本集，訓練樣本用于訓練網絡，測試樣本用于預測；(3) 預測輸出：將訓練樣本集輸入網絡，計算實際輸出以及網絡誤差；(4) 判斷誤差是否達到精度要求或者算法是否達到其他停止條件，若是，訓練完成，若否，繼續步(5)；(5) 權值修正：根據網絡誤差修正連接權值、尺度因子以及位移因子；(6)返回步(3)，重復計算。

Step4將得到的一組IMF與余項利用WNN預測的預測值累加，記為原始時間序列的預測值。新模型實施的流程如圖2所示。

圖2　基于EMD-WNN的預測模型結構圖

3　仿真實驗

3.1數據選取

本文數據采用的是Matlab隨機生成的數據，數據分為三組，每組數據的樣本容量為50，樣本容量合計為150。各組數據的自變量和因變量取值情況如下：第一組數據的自變量取值分別為0～0.6之間和0～0.7之間的隨機數，對應的因變量取值為1；第二組數據的自變量取值分別為0.4～1之間和0～0.6之間的隨機數，對應的因變量取值為2；第三組數據的自變量取值分別為0.3～1之間和0～0.4之間的隨機數，對應的因變量取值為3。為保證效果，在生成數據之后，將前100組數據亂序之后作為樣本數據進行訓練。歸一化后的時間序列如圖3所示。

圖3　歸一化后的時間序列圖

數據的計算處理均使用Matlab軟件，運行環境是2.13 GHz、2.00 GB內存，測試環境為Matlab R2012b。將隨機數據的前100項設置為訓練樣本集，后50項為測試樣本集。為驗證本文模型的有效性，采用BP神經網絡、WNN及本文模型三種方案對相同數據集進行預測，然后比較分析三種方案的結果。

3.1.1網絡參數的確定

對于BP神經網絡，采用試湊法確定最佳隱含層節點數和層數。輸入層的節點數為2，隱含層節點數為4，輸出層的節點數為1。隱含層的傳遞函數是正切S型函數，輸出層的傳遞函數是線性函數，訓練函數是學習率自適應并附加動量因子的最速下降法。訓練顯示間隔次數為50，學習速率為0.1，動量系數為0.9，訓練次數為10 000，性能目標(MSE)是0.01。 對于WNN，學習概率分別為0.01和0.001，網絡迭代學習次數為1000。本文隱含層的小波基函數采用國際上常用的Morlet母小波函數。Morlet小波函數在時頻局部和對稱性方面具有優勢，使得模型具有很好的線性逼近能力，母小波函數公式為：

(4)

其中t為輸入變量，f(t)為輸出變量。

繼而，小波函數偏導數輸出為：

(5)

3.1.2預測結果圖

在明確網絡參數的基礎上，根據原始數據結構：存在兩個輸入變量和一個輸出變量。分別對三個變量的時間序列進行EMD分析，結果如圖4-圖6所示。從三幅圖中可以看出，三個時間序列經過EMD分析，均得到5個IMF和1個余項，并且可以明顯地看出IMF是從高頻到低頻依次被提取。然后，將三組變量中的分量依次對應，組成6個樣本集，包括5個IMF樣本集和1個余項樣本集。利用WNN分別訓練和測試上述樣本集，將最終得到的測試樣本集的預測值累加，即得到測試樣本集最終預測值。圖7即為測試樣本集中期望輸出值與實際輸出值(預測值)的圖示。

圖4　第一個輸入變量的EMD圖　　圖5　第二個輸入變量的EMD圖

圖6　輸出變量的EMD圖　　　圖7　EMD-WNN預測圖

3.2預測結果對比分析

為了有效評價模型的有效性，本文采用預測模型中被廣泛應用的平均絕對誤差(MAE)、平均相對誤差(MARE)來進行三種模型的對比評價。

計算測試樣本集中最終實際值與期望值的MAE和MARE，結果如表1所示。從表1可以看出，EMD-WNN獲得的實際值與期望值之間的MAE和MARE分別為0.3355和0.5452，BP神經網絡的MAE和MARE分別為0.5066和0.7317，WNN的MAE和MARE分別為0.4741和0.6773。EMD-WNN訓練樣本的MAE和MARE分別為0.2741和0.4588。三種模型的運行時間分別為0.45、7.13和42.58。由以上數據可得：(1) BP神經網絡預測速度較快，但是預測結果落后于WNN，說明了WNN預測精度高于BP神經網絡；(2) EMD-WNN比WNN的時間成本高，但是誤差好于WNN，說明了有必對非平穩、非線性時間序列進行EMD分析；(3) EMD-WNN訓練樣本的MAE和MARE與測試樣本的MAE和MARE相差很小，說明新的算法具有較好的泛化能力。總之，EMD-WNN的MAE和MARE均小于BP神經網絡和WNN的MAE和MARE。顯然，EMD-WNN的擬合效果和預測精度均優于BP神經網絡和WNN。這是由于WNN結合了小波變換良好的時頻局部化性質與BP神經網絡的學習能力，因此具有了更加靈活有效的函數逼近能力。另外，EMD對非平穩的時間序列進行了平穩化，有助于提高預測精度。而EMD與WNN的結合，能充分發揮兩者的優勢，提高預測精度。

表1　測試樣本預測結果

4　結　語

時間序列的非線性以及非平穩特性，導致其預測難度增加，預測結果不理想。目前，WNN是時間序列預測方法中較理想的一種預測方法，但是其自身不足對預測結果也造成了一定的影響。為了提高非線性、非平穩時間序列的預測精度，本文采用組合模型的思想，針對WNN在非平穩以及非線性時間序列預測上無法實現自適應多分辨率分析問題，從EMD和WNN的根本特性出發，對EMD和WNN進行有機結合，提出了一種基于EMD的WNN預測模型，并使用Matlab軟件生成隨機時間序列進行仿真實驗。通過仿真實驗可以得到如下結論：EMD-WNN的擬合效果和預測精度均優于BP神經網絡和WNN，其泛化能力較好；新模型的構建對非線性、非平穩時間序列有一定的價值，為其預測研究提供了一種新思路。

[1] Contreras J,Espiola R,Nogales F J,et al.ARIMA models to predict next-day electricity prices[J].Power Systems,IEEE Transactions on,2003,18(3):1014-1020.

[2] 盧輝斌,李丹丹,孫海艷.PSO優化BP神經網絡的混沌時間序列預測[J].計算機工程與應用,2015,51(2):224-229,264.

[3] Huang N E,Shen Z,Long S R,et al.The empirical mode decomposition and the Hilbert spectrum for nonlinear and non-stationary time series analysis[C]//Proceedings of the Royal Society A:Mathematical,Physical and Engineering Sciences.The Royal Society,1998,454(1971):903-995.

[4] Wu Z H,Huang N E.Ensemble empirical mode decomposition: a noise-assisted data analysis method[J].Advances in Adaptive Data Analysis,2009,1(1):1-41.

[5] Guan C,Luh P B,Michel L D,et al.Very short-term load forecasting:Wavelet neural networks with Data Pre-Filtering[J].IEEE Transactions on Power Systems,2013,28(1):30-41.

[6] 孫斌,姚海濤,劉婷.基于高斯過程回歸的短期風速預測[J].中國電機工程學報,2012,32(29):104-109.

[7] He K J,Yu L,Lai K K.Crude oil price analysis and forecasting using wavelet decomposed ensemble model[J].Energy,2012,46(1):564-574.

[8] 吳大鵬,趙瑩,熊余,等.基于小波神經網絡的告警信息相關性挖掘策略[J].電子與信息學報,2014,36(10):2379-2384.

[9] 王宇譜,呂志平,崔陽,等.利用遺傳小波神經網絡預報導航衛星鐘差[J].武漢大學學報:信息科學版,2014,39(7):809-814.

[10] 李合龍,王龍,李明建,等.基于平均包絡線匹配算法的EMD端點效應分析及在股價趨勢分解中的應用[J].系統工程理論與實踐,2013,33(8):2072-2079.

[11] 白春華,周宣赤,林大超,等.消除EMD端點效應的PSO-SVM方法研究[J].系統工程理論與實踐,2013,33(5):1298-1306.

[12] Yaguo Lei,Zhengjia He,Yanyang Zi.EEMD method and WNN for fault diagnosis of locomotive roller bearings[J].Expert Systems with Applications,2010,38(6):7334-7341.

[13] Tang J.Variability periodicity and chaotic property of quasars based on ensemble empirical mode decomposition[J].Acta Physica Sinica,2014,63(4):049701.

[14] Jain A,Kumar A M.Hybrid neural network models for hydrologic time series forecasting[J].Applied Soft Computing,2007,7(2):585-592.

[15] 郝鳳龍,徐更光,黃學義.基于經驗模態分解及小波變換的炸藥NQR信號處理[J].振動與沖擊,2014,33(16):183-187.

WAVELET NEURAL NETWORK PREDICTION MODEL BASED ON EMPIRICAL MODEL DECOMPOSITION

Zhang Yanxia1Xiao Qingtai1,2Xu Jianxin1,2Sang Xiuli1*

1(QualityDevelopmentInstitute,KunmingUniversityofScienceandTechnology,Kunming650093,Yunnan,China)2(StateKeyLaboratoryofComplexNonferrousMetalResourcesClearUtilization,KunmingUniversityofScienceandTechnology,Kunming650093,Yunnan,China)

Wavelet neural network (WNN) can’t achieve adaptive multi-resolution analysis on non-stationary and nonlinear time series prediction, and its prediction accuracy needs to be improved. In order to solve the problems above, this paper proposes an EMD-based prediction model of wavelet neural network. First, it applies empirical mode decomposition (EMD) on non-linear and non-stationary time series so as to reduce the non-stationarity of time series. Then, it builds respectively the WNN models of intrinsic mode functions (IMF) and remainders derived from EMD analysis. Finally, it summarises the results of each prediction to obtain the final forecasting value. Through data verification, it is proved that the prediction accuracy of new model is higher than that of BP neural network and WNN.

Empirical mode decompositionWavelet neural networksBack propagation neural networkForecasting

2015-06-25。張彥霞，碩士生，主研領域：預測模型。肖清泰，碩士生。徐建新，博士。桑秀麗，教授。

TP319O15N93

A

10.3969/j.issn.1000-386x.2016.10.063