基于“緊致型”小波神經網絡的時間序列預測研究

摘 要：分析了“緊致型”小波神經網絡的結構和特點。在利用神經網絡分析時間序列預測方法的基礎上，用方差分析的統計方法確定樣本序列的長度，從而有效地確定神經網絡輸入層節點數。對太陽黑子年平均活動序列進行了訓練和預測，并從網絡本身的內在制約因素出發比較了小波網絡和BP網絡對時間序列進行訓練和預測的差異，分析了兩者出現差異的本質原因。將多分辨率的小波與神經網絡的非線性逼近功能相結合的方法發揮了各自優勢，明顯提高了預測精度。

關鍵詞：小波神經網絡； 方差分析； 時間序列； 預測

中圖分類號：TP274 文獻標志碼：A 文章編號：1001-3695(2008)08-2366-03

Research about time-serial prediction based on tight wavelet neural-net

LUO Hang， WANG Hou-jun， LONG Bing

(School of Automation Engineering， University of Electronic Science Technology of China， Chengdu 610054， China)

Abstract:This paper analyzed the characteristic and construction of wavelet neural-net called tight type. At the same time， it decided the length of sample serial by using a kind of statistic method called variance analysis so that the knot number of input layer could be efficiently decided， which was based on analyzing time-serial prediction by means of neural net. It trained and predicted the time-serial of sunspot’s annual average activity and compared the difference of training and prediction to the time-serial between wavelet-net and BP-net from net itself restriction. Accordingly， analyzed the cause of that difference. The method of combining wavelet’s multi-discrimination with neural-net’s non-linear approaching function exerted their advantages respectively. Thus， the prediction precision was obviously enhanced.

Key words：wavelet neural-net; variance analysis; time-serial; predict

從統計意義上講，時間序列預測屬于條件期望^[1]，這涉及到求解當前樣本和過去樣本的聯合概率。然而由于條件期望的非線性致使其求解面臨非常大的數學困難，以這樣的方法建立預測模型是次優的^[2]。正如建立在時間序列平穩假設基礎上的傳統AR預測模型、ARMA預測模型和Markov鏈等，它們對于非平穩信號無法取得很好的預測效果^[3]。一種較好的解決辦法是利用神經網絡的非參數思想來達到預測。由于神經網絡基于非統計假設的訓練，它提供了解決復雜問題的途徑^[4]。大量研究表明，神經網絡可以通過短時加載訓練學習樣本來解決非線性預測問題^[5~7]。然而，神經網絡由于自身訓練的學習率、訓練精度、隱層節點數選取和初始權值的設置等諸多問題，導致其對多成分時間序列預測的誤差較大。

基于上述背景，產生了一種將小波變換的時頻局域化性質與人工神經網絡的自學習功能結合在一起的前饋型監督學習網絡^[8]——小波神經網絡。從構成特點上看，一類被稱為“緊致型”的小波網絡用小波基函數取代了隱含層的Sigmoid激活函數。與傳統的BP神經網絡相比，由于伸縮和平移因子都可以作為調節參數的小波函數具有多分辨率、局部化和正交化功能，一方面可獨立計算網絡的權值，使網絡具有更靈活有效的逼近能力；另一方面由于小波的緊支性，使網絡提取含有急劇變化和不連續信號細節的學習能力顯著提升。在此基礎上可以對某些非平穩時間序列進行更精確地預測^[9]。

1 小波分解的時頻局部化原理

1.1 小波分析的理論

運用小波實現信號多層分解的實質是在各個確定的尺度上，將原信號與某一具有時頻域局部化功能的小波函數進行比較，以提取該區域上的小波系數。也就是說，將一個時頻信號表示為一系列不同頻率、不同延遲的簡單標準信號的疊加。

小波分析的核心是多分辨率，它對時域和頻域同時具有良好的局部化性質，因而可將分析的重點聚焦到信號的任意細節，以揭示非線性信號不同層次上的詳細結構。對于某一函數ψ(t)∈L2(R)，若其Fourier變換ψ(t)滿足條件:

Cψ=∫∞-∞|ψ(ω)|2/|ε|dω＜∞（1）

則稱ψ(t)為容許小波母函數，而稱ψa，b(t)=1/|a|1/2ψ[(t-b)/a]為小波基函數。在實際運用中，連續小波必須加以離散化。離散小波函數為ψj，k(t)=a0-j/2ψ(a-j0t-kb0)，離散化小波變換系數為

Cj，k=∫∞-∞f(t)ψj，k(t)dt（2）

用于數值計算的重構公式為

f(t)=C∑∞j=-∞∑∞k=-∞Cj，kψj，k(t)（3）

1.2 多分辨分析

多分辯分析的子空間V0可以用有限個子空間來逼近，即

V0=VNWNWN-1…W2W1（4）

信號f(x)分解過程是從j到j-1尺度的逐步分解過程。運用多分辨分析方法對其進行小波分解與重構，是將其分解成低頻成分c1(t)和高頻成分d1(t)，然后再將低頻成分c1(t)進一步分解，如此重復就可得到任意尺度上的高頻成分和低頻成分。采用Mallat塔式算法^[10]，有

cj-1，k=∑mh(m-2k)cj，m(5)

dj-1，k=∑mg(m-2k)dj，m(6)

小波系數的重構形式可表示為

cj，k=∑mcj-1，mh(m-2k)+∑mdj-1，mg(m-2k)（7）

如果序列S做三層分解與重構（圖1），得到S=A3+D3+D2+D1。各頻率系數的長度如圖2所示。

2 基于小波神經網絡的預測原理

2.1 序列季節性長度的確定

對于時間序列{x(t)}，首先考察其季節影響，其原因是，神經網絡訓練的實質是將序列按某種規律進行自適應學習分類，周期性季節因子的確定實際上是初步確定了分類的規律，避免了選擇訓練樣本長度的盲目性；季節因子的確定使網絡能夠更好地進行非線性映射，從而間接地提高網絡訓練和預測能力。用方差分析判斷法^[11]確定時間序列季節的長度k：在序列{x(t)}中連續取m×k個數據，將其分成m行k列的矩陣Y，計算總平方和ST、組內平方和SE及組間平方和SA。

ST=∑kj=1∑mi=1(yij-y)2=∑kj=1SSj-(∑kj=1Sj)2/n(8)

SE=∑kj=1∑mi=1(yij-yj)2=∑kj=1SSj-∑kj=1S2j/m(9)

SA=ST-SE(10)

其中：yij是矩陣Y中第i行第j列位置上的元素；y=1/n∑kj=1∑mi=1yij，yj=1/m∑mi=1yij；Sj=∑mi=1yij，SSj=∑mi=1yij2。運用F統計分布，有

F=（SA/（k-1））/（SE/n-k）~F(k-1，n-k)（11）

給定顯著性水平α，查表獲取臨界值Fα(k-1，n-k)，當F＞Fα(k-1，n-k)時，則各組數據的均值有顯著差異，認為序列有季節影響存在，k為季節長度；反之，k不是季節長度。

2.2 “緊致型”小波神經網絡

2.2.1 結構

選擇滿足框架條件的小波母函數Φ(t)，以相應的基函數Φa，b(t)=Φ(t-b/a)作為神經網絡隱層的激活函數。采用小波基函數的線性疊加來實現對信號的表述，則小波神經網絡的結構^[12]，如圖3所示。

2.2.2 網絡學習方法

將第k個樣本輸入到網絡進行訓練，則輸出層的第j個節點輸出為

y∧k(j)=∑pt=1vjtΦ[(∑ni=1wtixk(i)-bt)/at]（12）

其中:j=1，2，…，m，以yk(j)表示相應的訓練目標，則網絡的指標函數為

Ek=1/2∑mj=1[yk(j)-y∧k(j)]2（13）

采用梯度下降法確定尺度因子、平移因子和權值的誤差，有

Ek/vjt=-Φ[(∑ni=1wtixk(i)-bt)/at]

[yk(j)-∑pi=1vjtΦ[(∑ni=1wtixk(i)-bt)/at)(14)

Ek/wti=-xk(i)/atΦ′[(∑ni=1wtixk(i)-bt）/at]

∑mj=1vjt[yk(j)-∑pt=1vjtΦ(（∑ni=1tixk(i)-bt）/at)](15)

Ek/bt=1/atΦ′[(∑ni=1wtixk(i)-bt)/at]

∑mj=1vjt[yk(j)-∑pt=1vjtΦ（(∑ni=1wtixk(i)-bt)/at)](16)

Ek/at=-(∑ni=1wtixk(i)-bt）/a2tΦ′[(∑ni=1wtixk(i)-bt)/at]

∑mj=1vjt[yk(j)-∑pt=1vjtΦ（(∑ni=1vtixk(i)-bt）/at)](17)

設置學習率η和動量因子α，以Q代表v、w、b和a因子，則它們的更新為

Qjt(l+1)=Qjt(l)-ηEk/Qjt+α[Qjt(l)-Qjt(l-1)](18)

當網絡誤差能量函數MSE小于給定的精度或學習步數達到給定的最大訓練步數時，則停止網絡訓練。

2.2.3 訓練和預測方法

對時間序列進行加窗（窗口的長度為序列的季節長度），逐次移動窗口（每次移動一個數據位置），用設置好的小波神經網絡依次對窗口內的數據進行訓練并預測：根據已確定的季節長度k，從序列的第一個數據開始依次取k個數據，作為訓練樣本，第k+1個數據作為訓練目標；然后將時間窗口向后移動一位，從序列的第二個數據開始用相同的方法選取訓練樣本和訓練目標，直到選定足夠多的訓練樣本和目標。網絡訓練完畢后，用后續的序列進行預測。故神經網絡的輸入層節點數為k，輸出層節點數為1，在綜合考慮訓練速度和精度的情況下，采用試錯法^[13]確定隱層節點數。

3 預測實例

年平均太陽黑子活動數據是被公認為最具有代表性的非線性、非高斯分布、非平穩的時間序列，是用于比較和評判統計學模型和預測方法的典型數據^[14]。本文以1700以來的太陽黑子年平均變化的部分數據（歸一化）為研究對象。

3.1 季節長度K的確定

用方差分析法對1700—1769年的70個數據進行計算，確定季節長度k，利用已知數據進行循環選擇，得到F=（SA/（10-1））/（SE/（70-10））=3.032 5；在顯著性水平α=0.05的條件下，得到F0.05(9，60)=2.04，顯然，F＞F0.05(9，60)，故太陽黑子年平均活動存在季節的影響，季節長度k=10。

3.2 網絡參數、樣本和目標的選取

經過試驗，隱層節點數設置為80，輸出層節點數為1，學習速率為0.2，動量因子設為0.9，最大訓練次數為1 000，網絡的均方誤差設為0.001。按照前述預測方法選擇50個訓練樣本，測試樣本的個數為20個，每個樣本的長度為10（表1、2）。

3.3 預測結果

分別選用Morlet小波、高斯小波和墨西哥草帽小波作為母函數Φ(t)^[10]，訓練和預測結果分別如圖4~6所示（豎線左邊為訓練結果，右邊為預測結果）。Morlet小波神經網絡和傳統BP神經網絡和的預測結果如圖7、8所示。表3和4分別列出了兩種方式下的訓練時間和預測誤差的均方差。

表1 訓練樣本和目標的選取訓練樣本訓練目標x1700，x1701，x1702，…，x1709x1710x1701，x1702，x1703，…，x1710x1711x1749，x1750，x1751，…，x1758x1759表2 測試樣本和預測目標的選取測試樣本預測目標x1750，x1751，x1752，…，x1759x＾1760x1751，x1752，x1753，…，x1760x＾1761x1869，x1870，x1871，…，x1878x＾1879表3 Morlet小波網絡和BP網絡的運行時間/s實驗次數12345 Wavelet-net3.394.154.224.525.61BP-net9.627.589.118.7710.11實驗次數678910Wavelet-net4.826.014.414.494.21BP-net9.9710.7910.419.819.06

表4 Morlet小波網絡和BP網絡預測誤差的均方差（×10-2）實驗次數12345 Wavelet-net0.750.74 0.78 0.720.71 BP-net2.111.33 1.64 1.1710.34 實驗次數6789 10Wavelet-net 0.730.71 0.81 0.72 0.82BP-net5.031.12 0.77 1.72 7.22

3.4 分析與結論

比較三類小波網絡的訓練和預測，Morlet小波網絡的訓練和預測優于后兩者。可見預測保持了該序列總體變化的基本特征。

從Morlet小波網絡和BP神經網絡的預測效果來看，前者的預測值能夠較好地擬合真實值。而用傳統BP網絡直接預測，盡管預測的結果能夠大體擬合真實值，但它在細節上幾乎不能跟蹤真實序列的變化，因而從預測效果來看（與前者相比）它是粗糙的。究其原因，小波網絡以多分辨率的小波基函數代替了常規的Sigmoid激活函數，通過調節小波基函數的平移和伸縮因子，大大增加了網絡的可調參數，使網絡的容錯能力優于普通網絡，從而能夠較為精確地訓練和預測序列。從兩者運行時間來看，Morlet小波網絡顯示了其訓練快速的顯著特點。這是顯然的，因為“緊致型”小波神經網絡的指標函數對于權值而言是一個凸函數，不存在局部極小值，收斂速度較快；而BP神經網絡的代價函數所對應的連接權空間是多極小值的超曲面，在最速下降法中求極小值則容易陷入局部極小值，故網絡訓練和預測表現出較大可能的粗糙性。

4 結束語

本文在用神經網絡分析時間序列預測方法的基礎上，首次用方差分析的統計方法考察了序列的季節性因子。這種思路的最大優勢在于確定了序列的季節長度，以此關鍵性地確定樣本序列的長度，從而確定神經網絡輸入層節點數。本文在運用該模型對太陽黑子年平均活動序列進行訓練和預測時，從網絡本身的內在制約因素出發比較了小波網絡和BP網絡對時間序列進行訓練和預測的差異，分析了兩者出現差異的本質原因。

參考文獻：

[1]RIZVI S A， WANG Lin-cheng ， NASRABADI N M. Neural-network architectures for vector prediction[J]. Proc of IEEE， 1996，84(10):1513-1528.

[2]MELLIT A， BENGHANEM M， KALOGIROU S A. An adaptive wavelet-network model for forecasting daily total solar-radiation[J]. Applied Energy ，2006， 83(7):705-722.

[3]GUESSOUM A， BOUBKEUR S， MAAFI A. A global-irradiation model using radial basis function neural-network[C]// AAM Renewable energy， energy efficiency policy and the environment. Proc of the 5th WREC. Oxford: Elsevier Sciences Ltd，1998:332-336.

[4]KALOGIROU S A. Artificial neural-networks in renewable-energy systems applications， aveview[J]. Renewable and Sustainable Energy Reviews， 2001，5(4):373-401.

[5]HIPERT H S， PEDREIRA C E， SOUZA R C. Neural-networks for short term load forecasting: a review and evaluation[J].IEEE Trans on Power Systems，2001，16(1):44-55.

[6]SENJYU T， TAKARA H， UEZATA K， et al. One-hour-ahead load forecasting using neural network[J]. IEEE Trans on Power Systems， 2002，17(1):113-118.

[7]CHOW T W S， LEUNG C T. Neural networks based short term load forecasting using weather compensation[J].IEEE Trans on Power Systems， 1996，11(4):1736-1742.

[8]ZHANG Qing-hua， ALBERT B. Wavelet networks[J]. IEEE Trans on Neural Networks，1992，3(6):889-898.

[9]SOLTANI S. On the use of the wavelet decomposition for time series prediction[J]. Neurocomputing，2002，48(1):267-277.

[10]張賢達.現代信號處理[M].北京：清華大學出版社，2003.

[11]張桂喜，馬立平，等.預測與決策概論[M].北京：首都經濟貿易大學出版社，2006.

[12]崔萬照，朱長純，劉君華.薄膜場發射開啟電場的小波神經網絡預測模型研究[J].物理學報，2004，53（5）：1583-1587.

[13]ROMAN H ， SUNIKUMAR N. Multivariate modeling of water resources time series using artificial neural network[J].Hydrological Sciences Journal， 1995，40(2):145-164.

[14]徐科，徐金梧，班曉娟，等.基于小波分解的某些非平穩時間序列預測方法[J].電子學報，2001，29（4）：566-568.

[15]陳柳.小波分析和神經網絡應用于大氣污染預測的研究[D]. 西安：西安建筑科技大學，2006.

[16]焦李成.神經網絡的應用與實現[M]. 西安：西安電子科技大學出版社，1996.

注：本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文