小波函數在BP神經網絡中的應用

摘 要：小波BP神經網絡是由小波分析理論與神經網絡理論結合而成的神經網絡，兼具小波分析良好的時頻局部化性質和BP神經網絡的自學習功能。本文針對緊致型小波BP神經網絡結構，選取了三種不同的小波函數作為激勵函數，在函數擬合應用中與BP神經網絡進行對比，體現出小波BP神經網絡收斂精度高的特點。

關鍵詞：小波神經網絡；函數擬合；激勵函數

DOI：10.16640/j.cnki.37-1222/t.2015.23.204

1 引言

作為人工智能的一個分支，神經網絡以其自組織、自學習、自適應的能力，被廣泛應用于模式識別、信號處理、自動控制、決策科學等領域[1]。其中BP（Back Propagation）神經網絡是目前應用較為廣泛的神經網絡模型。

從數學理論上已證明，BP神經網絡具有實現任何復雜非線性映射的能力，能以任意精度逼近任何非線性連續函數[2]。但是它也有明顯的缺陷，從數學角度看，BP算法是一種局部搜索的優化方法，算法很有可能陷入局部極值使訓練失敗。而小波變換通過尺度伸縮和平移對信號進行多尺度分析，能有效提取信號的局部信息，可以很好的解決BP神經網絡的這一缺陷。因此將小波理論與神經網絡相結合，取長補短，可以發揮各自的優勢。小波神經網絡（Wavelet Neural Network，WNN）最早是由法國著名的信息科學研究機構IRISA的Qinghua Zhang博士等人于1992年提出的，目前已經成為使用廣泛的人工智能分析方法。

2 小波變換

小波變換屬于時頻分析的一種，是對傅立葉分析進行的一種推廣。一維小波變換具有多分辨率分析的特點，而且在時頻兩域都具有表征信號局部特征的能力，是一種窗口大小固定不變但其形狀可改變，時間窗和頻率窗都可以改變的時頻局部化分析方法，被譽為分析信號的顯微鏡[3]。

其中a為伸縮因子，b為平移因子。只在原點附近才有明顯的起伏，而在遠離原點的地方會迅速向零衰減，所以被稱為“小波” [4]。

小波函數不是唯一存在的，所有滿足小波條件的函數都可以作為小波函數。在應用中常用的有Morlet小波、Mexihat小波和Gaussian小波。Morlet小波是高斯包絡下的單頻率復正弦函數，其函數表達式如式（3），波形如圖1所示。Mexihat小波是高斯函數的二階導數，其函數表達式如式（4），波形如圖2所示。Gaussian函數可以構成一個小波系列，可以證明高斯函數的各階導數均滿足小波函數的容許性條件，都是小波。其二階導數就是Mexihat小波，Gaussian函數的六階導數表達式如式（5），波形如圖3所示。

3 小波神經網絡

小波神經網絡是在小波分析與神經網絡發展的基礎上提出的一種前饋型網絡[5]。根據結構形式的不同，可分為兩類[6]：松散型結構和緊致型結構，目前國內外大部分學者幾乎都在采用緊致型結構進行研究。緊致型WNN的基本思想是將常規神經網絡的隱含層的激勵函數用小波函數代替，相應的輸入層到隱含層的權值及閾值分別由小波函數的伸縮系數和平移系數代替，通過仿射變換建立起小波變換與網絡參數之間的聯系。結構圖如圖4所示。

將WNN和BP神經網絡分別用于函數擬合應用中，如擬合函數 。圖5是選取Morlet小波作為激勵函數的WNN與BP神經網絡的擬合波形，圖6是選取Mexihat小波作為激勵函數的WNN與BP神經網絡的擬合波形，圖7是選取Gaussian函數的六階導數作為激勵函數的WNN與BP神經網絡的擬合波形。

對比圖5～圖7可以看出，三種WNN網絡其函數的逼近能力都優于BP神經網絡，所選取的小波函數中Morlet小波構成的WNN網絡其函數逼近效果最佳。

4 結論

小波神經網絡是結合小波變換理論與人工神經網絡的思想而構成的一種神經網絡模型，它結合了小波變換良好的時頻局域化性質及神經網絡的自學習功能，具有較強的逼近能力和容錯能力，具有廣泛的應用前景。

參考文獻：

[1][美]哈根（Hagan，M.T.）等著，戴葵等譯.神經網絡設計[M].北京：機械工業出版社，2002（09）.

[2]楊曉帆，陳延槐.人工神經網絡固有的優點和缺點[J].計算機科學，1994，21（02）.

[3]奉前清，楊宗凱.實用小波分析[M].西安：西安電子科技大學出版社，2000.

[4]冉啟文.小波變換與傅立葉變換理論及應用[M].哈爾濱：哈爾濱工業大學出版社，2001.

[5]Zhang Qinghua，Benveniste. A wavelet network[J]. IEEE trans on Neural Networks，1992，3（6）：889～898

[6]虞和濟，陳長征，張省等著.基于神經網絡的智能診斷[M].北京：冶金工業出版社，2000.

[7]Z.Chen， T.J.Feng， and Q.C.Meng. The Application of Wavelet Neural Network in Time Series Prediction and System Modeling Based on Multiresolution Learning. IEEE Conference on Systems， Man， and Cybernetics， Vol.1，1999：425-430

基金項目：2014年度河北省高等學校科學技術研究項目（Z2014037）

作者簡介：呂宏麗（1974-），女，甘肅寧縣人，碩士，教授。endprint