基于正交最小二乘的傅立葉神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選取方法

段超霞，田學(xué)民

（1.國家知識(shí)產(chǎn)權(quán)局專利局專利審查協(xié)作 廣東中心，廣州510530；2.中國石油大學(xué) 信息與控制工程學(xué)院，山東 青島266580）

神經(jīng)網(wǎng)絡(luò)由于其良好的非線性逼近性能而廣泛應(yīng)用于非線性系統(tǒng)的建模［1］。在使用神經(jīng)網(wǎng)絡(luò)解決給定的實(shí)際逼近問題時(shí)，激活函數(shù)的選擇對(duì)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和逼近性能有很大影響，常用的激活函數(shù)有sigmoid函數(shù)、高斯函數(shù)、雙曲正切函數(shù)等。盡管這些函數(shù)在實(shí)際建模過程中已得到了廣泛應(yīng)用，但也存在一些缺點(diǎn)，如過訓(xùn)練，易陷入局部極小點(diǎn)，學(xué)習(xí)過程非常耗時(shí)等。基于傅立葉分析理論而建立的傅立葉神經(jīng)網(wǎng)絡(luò)［2－3］FoNN（Fourier Neural Network）則能避免上述問題，它以正交傅立葉復(fù)指數(shù)函數(shù)為激活函數(shù)，使得網(wǎng)絡(luò)的輸出權(quán)值為給定目標(biāo)函數(shù)的頻譜，且網(wǎng)絡(luò)結(jié)構(gòu)也可依據(jù)系統(tǒng)的物理特性確定。訓(xùn)練FoNN時(shí)，僅需對(duì)輸出權(quán)重進(jìn)行調(diào)整，訓(xùn)練參數(shù)少，因而收斂速度快；且正交激活函數(shù)的存在，使訓(xùn)練更易收斂到全局極值點(diǎn)［4］。由于FoNN使用正交的傅立葉復(fù)指數(shù)函數(shù)作為激活函數(shù)，當(dāng)用于控制時(shí)，能與閉環(huán)系統(tǒng)的頻域響應(yīng)緊密聯(lián)系起來，因而ZUO Wei等將自適應(yīng)規(guī)則、迭代學(xué)習(xí)控制與FoNN結(jié)合起來應(yīng)用到非線性系統(tǒng)的跟蹤控制中［5－8］。

在FoNN中，影響其性能的關(guān)鍵因素是基頻和隱含層神經(jīng)元數(shù)目。如果基頻選擇較小，那么需要的隱含層節(jié)點(diǎn)就多，這樣就會(huì)增加網(wǎng)絡(luò)的復(fù)雜度；若基頻選擇較大，則會(huì)影響網(wǎng)絡(luò)的性能。因此，采用FoNN進(jìn)行建模，選擇基頻及隱含層節(jié)點(diǎn)的數(shù)目則成為關(guān)鍵問題。……