非高斯沖激干擾下基于Softplus 函數的核自適應濾波算法*

火元蓮 王丹鳳 龍小強 連培君 齊永鋒

1) (西北師范大學物理與電子工程學院, 蘭州 730000)

2) (西北師范大學計算機科學與工程學院, 蘭州 730000)

1 引 言

傳統的線性自適應濾波算法對于線性系統具有良好的跟蹤能力, 但是在解決諸如語音回聲消除、系統識別、時間序列預測等非線性輸入輸出的實際應用時算法跟蹤性能會變差[1].最初對于非線性問題的處理是將多個線性自適應濾波器進行串聯, 其中最為經典的例子是Hammerstein-Wiener模型[2], 但是這種處理模式實質上仍然是單個濾波器的線性處理, 無法對更一般化的非線性系統進行有效跟蹤.1968 年, Gabor[3]曾利用Volterra 序列來避免非線性濾波所面臨的問題, 然而Volterra序列在實際應用中計算復雜度隨階數以指數級運算量增長并且在脈沖噪聲環境下性能顯著下降[4].

極端學習機通過將輸入映射到高維空間, 使輸入數據在高維空間具有線性特性[5], 據此, 研究者們注意到了核方法是一種將線性算法擴展到非線性層面的一種有力工具, 因此核方法在非線性自適應濾波領域受到了極大重視.核方法的核心思想是將輸入數據通過所對應的核函數映射到高維空間(希爾伯特空間), 然后采用核評價的方法去計算內積.一般線性濾波算法在濾波過程中需要進行內積運算, 這與核方法有一定的相似之處, 因此將線性濾波算法的內積操作使用核變換到高維空間并在高維空間中使用核函數來代替內積運算操作, 這極大地降低了計算復雜度.最早將核方法應用于自適應濾波算法的是弗里班德·哈里森(Frieband Harrison)[6].而Liu 等[7]于2008 年成功將核方法應用于最小均方算法并提出了核最小均方誤差(kernel least-mean-square algorithm, KLMS)算法, 該算法結構簡單易于實現, 并且在解決非線性實際應用問題時比線性自適應濾波算法性能更優.之后Engel 等[8]將遞歸最小二乘法擴展到非線性領域提出了核遞歸最小二乘(kernel recursive least squares, KRLS)算法.Liu 等[9]又對KRLS 算法進行了改進, 提出了擴展的KRLS 算法, 首次實現了線性空間中的廣義非線性狀態模型[10?14].關于復雜系統的建模問題, 分數階微積分模型比整數階微積分模型更加準確, 同時還能包含系統的遺傳和記憶效應[15].Gao 和En[16]充分考慮了 α 穩態噪聲分布, 提出了一種基于分數低階統計準則的核最小均方p 次冪(kernel least mean p-power, KLMP)算法.但上述算法都是基于均方誤差準則假設在高斯環境下得出的一般性結論, 而實際在非高斯沖激干擾下均方誤差準則會出現嚴重下降甚至可能失效, 于是研究者們又提出了各種改進算法, 用以解決核自適應濾波算法在非高斯沖激干擾下穩定性不足的問題.Dai 和Jin[17]提出的核仿射投影p 范數(kernel affine projection p-norm algorithm, KAPP)濾波算法利用最小波散(minimum dispersion, MD)準則和仿射投影(affine projection, AP)算法實現,進一步提高了α 穩定分布噪聲環境下的非線性自適應濾波性能.李群生等[18]在核學習自適應濾波算法基礎上提出了一種基于驚奇準則的多尺度核學習仿射投影濾波算法(multi-scale kernel learning affine projection based on surprise criterion, SCMKAPA), 用于提高非線性信號的噪聲消除能力.

近年來, 抗脈沖干擾的魯棒性自適應濾波算法得到了廣泛的研究, 文獻[19]是在KLMP 基礎上提出的一種基于分數低階統計誤差準則[20]的抗非高斯沖激噪聲的核分式低次冪(kernel fractional lower power, KFLP)算法, 但KFLP 算法存在收斂速度慢的問題.為了改進KFLP 算法的收斂速度,本文提出了一種基于Softplus 函數的核自適應濾波算法(SP-KFLP)應用于非高斯噪聲環境,該算法將Softplus 函數與核分式低次冪準則相結合, 利用輸出誤差的非線性飽和特性通過隨機梯度下降法更新權重.在系統辨識環境下將本文算法SP-KFLP 與KFLP, KLMS, S 型核分式低次冪 (sigmoid kernel fractional lower algorithm,S-KFLP) 算法、核最大相關熵(kernel maximum correntropy criterion, KMCC)算法進行比較, 用伯努利高斯信號和非高斯沖激干擾作為輸入信號的仿真結果表明, 本文算法對脈沖干擾的魯棒性優于KFLP 和KLMS 算法, 與S-KFLP 算法相比,SP-KFLP 算法收斂速度更快, 達到的穩態偏差也更小.

2 核分式低次冪自適應算法(KFLP)

2.1 系統識別模型

考慮如圖1 所示的非線性系統識別問題, 在時刻n 處一般序列 un經過未知非線性系統, 假設未知系統系數和輸入信號被表示為wo=[w0,w1,wL?1]T和 un=[u1,un?1,··· ,un?L+1]T, 其中L 為濾波器長度.由于實際系統本身存在一定的噪聲干擾, 假定觀測到的期望信號 d (n) 被 附加噪聲 v (n) 破壞,其中 v (n) 是具有零均值和方差的額外背景噪聲.本文采用核自適應濾波器控制濾波, 其中 φ (n) 是核映射函數.則未知系統和自適應濾波器的輸出之間的估計誤差為e(n)=d(n)?其 中wn=[wn,0,wn,1,··· ,wn,L?1]T表示自適應濾波器在n 時刻的抽頭系數.

圖1 系統識別模型Fig.1.System identification model.

2.2 KFLP 算法

核方法是一種尋找隱藏在未知非線性系統中的非線性關系的有效方法[19].核自適應濾波器的輸入信號是將一般的信號數據經過再生核變換到高維空間, 根據這個非線性映射得到了一種以線性方式跟蹤非線性系統的濾波方法.核方法的本質是一個內積運算, 因此將算法表示為內積形式時, 可以直接用核函數代替內積計算.Mercer 定理表明任意再生核 κ (u,u′) 可以擴展如下[21]:

其中, ξi指的是相關特征值, φi指的是映射值, u 指的是一般性輸入信號在n 時刻的值, u′為下一時刻的輸入信號.利用(1)式即可將輸入信號u 進行變換產生 φ (u) , 且給定新的輸入序列φ(u)Tφ(u′)=κ(u,u′)[22].給定輸入序列 un以及期望序列 dn, 基于文獻[16]的核分式低次冪代價函數:

給 定 φ (un) = φ (n) 作為核自適應濾波器的輸入,e(n) 為系統的輸出誤差, wT(n)=w(n)T為核自適應濾波器權重, p 為誤差低次冪.根據隨機梯度下降法, 將代價函數對抽頭系數求梯度可以得到KFLP 算法的權重更新公式為:

其中 μ 為步長.那么對于給定系統, 濾波器輸出表示為:

3 基于Softplus 函數的核自適應算法原理及性能

3.1 算法原理

本文提出的基于Softplus 函數的核自適應濾波算法是將Softplus 函數與核分式低次冪算法的代價函數相結合從而構造一個新的代價函數, 一方面理論研究已經表明誤差的低次冪可以抑制誤差變化較大引起的算法性能降低, 另一方面Softplus函數作為神經網絡的激活函數, 其理論表達式為log(1+ex), 利用此函數對x 求微分, 那么Softplus函數的導函數是 1 /(1+e?x) , 這與Sigmoid函數是一致的并且該函數呈對數變化, 計算速度相較于Sigmoid 函數更快.經過以上啟發定義Softplus 函數為并將其與核分式低次冪代價函數結合, 構造的新的代價函數為

根據(5)式, 當有沖激噪聲干擾時該代價函數的梯度是趨于0 的, 這就有效地抑制了算法權重更新過程, 使本文算法的抗沖激性能在低次冪的基礎上進一步增強.然后將基于Softplus 函數的核自適應代價函數根據最速下降法對權重向量 ω 求導得到:

因此, 利用負隨機梯度下降法可以得到算法的權重更新公式

將(6)式代入(7)式即可得到SP-KFLP 算法的權重更新公式:

令初始 ω (i)=0 , 經過i 次迭代以后, 給自適應濾波器一個新的輸入 u (n) 可以得出濾波器的輸出信號, 本文算法選用的核函數為高斯核κ(u,u′)=exp(?h‖u ?u′‖2), h 為高斯核的核寬.高斯核類似于一個徑向基函數, 可以無限逼近于任一條曲線.本文算法與一般的核自適應濾波算法類似, 不同的是引入了一個Softplus 函數使算法的收斂速度、抗沖激干擾能力進一步增強.

3.2 算法收斂性能分析

本節主要解析描述所提出的SP-KFLP 算法的收斂性能, 首先推導了該算法的能量守恒關系然后給出了均方收斂的一個充分條件.一個非線性回歸系統為

其中誤差為

將(9)式代入(10)式,得到e (i)=ea(i)+v(i),其中 ea(i)=?(i ?1)Tφ(i)為先驗誤差,?(i?1)是權重估計偏差，ωo(i)為最優權重也就是非線性系統的沖激響應.將(7)式兩邊同時減去 wo(i) 得到:

定義一個后驗誤差 ep(i)= ?(i)Tφ(i) , 將(11)式代入得到后驗誤差的表達式為

根據(11)式和(12)式中的相等關系

得到關于 ? 的表達式

對(14)式兩邊利用 L2范數平方, 以及能量守恒關系可以得到:

(15)式為本文算法的能量守恒關系式, 將(12)式代入(15)式得到如下表達式:

對(16)式求期望, 即

即

通過(19)式得到SP-KFLP 算法的收斂性能在理論上滿足的充分條件為

由于式子難以計算, 通常以實驗仿真為準.

4 算法仿真

為了進一步說明所提算法在非線性系統應用中的有效性, 將SP-KFLP 算法與KFLP, KLMS,KMCC 和S-KFLP 算法的學習曲線進行比較, 以驗證本文算法在收斂速度和抗沖激干擾下的優越性能.在以下的所有實驗中將初始權重向量 ω0均設置為0 向量, 令步長 μ =0.5.因為一般地, 對自適應濾波算法而言步長越接近于1 收斂速度會越快, 但同時其穩定性必然也會變差, 而實驗發現本文算法步長選擇0.5 是非常理想的值, 因此以下的仿真中SP-KFLP 算法步長為0.5, 所有實驗性能曲線由歸一化均方誤(normolized mean square error, NMSE)準則得出.本文實驗仿真條件是基于一個由線性模型與非線性模型組合而成的非線性系統, 其中線性模型為 H (z)=1+0.2z?1, 非線性模型為 f (n)=x(n)?0.6x2(n) , 因此該非線性系統的期望輸出為 d (n)=x(n)?0.6x2(n)+v(n) , 其中 v (n) 為額外誤差, 本文采用高斯白噪聲與沖激噪聲組合的噪聲環境.一般的沖激噪聲可以被表示為伯努利-高斯過程[21], 由 q (n)=a(n)c(n) 表示, 其中c(n) 是一個伯努利過程且成功的概率為 pq, a (n) 是一個0 均值的高斯白噪聲過程, 且設定高斯核函數的核寬參數 h =0.2.

4.1 誤差低次冪p 對SP-KFLP 算法性能影響

為了獲得合適的p 值, 首先考察不同的p 值對SP-KFLP 算法性能的影響, 實驗假設存在非高斯沖激噪聲干擾, 令 pq=0.01.p 分別取0.9, 0.8,0.7, 0.6 時SP-KFLP 算法的歸一化學習曲線如圖2 所示.

從圖2 可以看出, 本文算法隨著p 值趨近于1 穩定性能越來越好, 當然偏離1 時收斂性能也隨之下降, 因為p 值是基于分式低次冪準則而出現,它本身取值是小于1 的數, 只兼顧了算法的穩定性, 而且 p =0.6 的時候算法已經相對很不穩定了.因此, 本文將0.9 作為理想的p 值, 這在一定程度上減小了收斂速度過慢的問題, 以下的所有仿真實驗中p 值都為0.9.

4.2 Softplus 函數的陡度參數 α 對SP-KFLP算法性能影響

為了找到合適的陡度參數 α 進而使得算法性能更優, 本文在非高斯沖激干擾下(pq=0.03), 令α值分別取1.0, 0.8, 0.5, 0.1 時對比了算法的歸一化均方誤差性能曲線, 如圖3 所示.

從圖3 可知, α 取值越大算法的收斂速度越快、穩定性越好, 所以文中所有實驗中 α 值均取1.由于代價函數采用誤差的低次冪, 需要一個新的參數來改變算法的收斂性能, 而本文算法采用Softplus函數的陡度參數來實現這一改變, 保證了算法具有較快的收斂速度.

4.3 本文算法與其他算法性能比較

將本文算法SP-KFLP 與傳統KLMS, KMCC,KFLP 和S-KFLP 算法用于未知系統的追蹤, 并就收斂性和抗沖激干擾性能進行如下比較.

1) 5 種算法在高斯分布噪聲下的性能對比.實驗中假設加性高斯白噪聲的均值為0、方差為0.02,5 種算法的NMSE 曲線如圖4 所示.從圖4 可以看出, 在高斯噪聲環境下本文算法與KFLP, SKFLP 算法均可以達到良好的收斂效果, 但本文的SP-KFLP 算法收斂速度比其他幾種算法的快,說明本文算法具有更優的收斂性能.

2) 在非高斯沖激噪聲中的性能比較.實驗中假設存在3%的沖激噪聲, 即 pq=0.03.為提高KLMS 算法穩定性, 參數 μ 選擇為0.1, 其他同上面實驗中參數的選擇, 實驗結果如圖5 所示.從圖5可以看出, 本文的SP-KFLP 和KFLP, S-KFLP算法均具有很強的脈沖噪聲抑制能力, 但KLMS算法的脈沖噪聲抑制能力比較差, 而且SP-KFLP算法的收斂速度比KFLP, S-KFLP 算法快.

圖4 KLMS, KMCC, KFLP, S-FKLP 和 本 文SP-KFLP算法的比較Fig.4.Comparison of KLMS, KMCC, KFLP, S-FKLP and SP-KFLP algorithms in this paper.

圖5 非高斯干擾下的KFLP, KLMS, S-KFLP 與SP-KFLP算法比較Fig.5.Comparison of KFLP, KLMS, S-KFLP and SPKFLP algorithms under non-Gaussian interference.

圖6 在第600 次迭代過程中加入沖激噪聲時各算法性能對比Fig.6.Performance comparison of algorithms when impulsive noise is added in the 600th iteration.

3) 在高斯白噪聲環境(即 pq=0), 且在第600 次迭代時產生一個沖激噪聲的情況下本文的SP-KFLP 和其他算法的性能對比如圖6 所示.從圖6 中可以發現, KFLP 算法收斂速度是快于KLMS 算法的, 此外在第600 次迭代時產生沖激噪聲, KLMS 算法不具有抗沖激噪聲的性能, 而本文算法相比于其他算法其收斂速度最快, 并且能有效地避免沖激噪聲的干擾.

綜上, SP-KFLP 算法在非高斯和非線性環境下具有良好的脈沖噪聲抑制能力和較快的收斂速度.

5 結 論

本文提出了一種非高斯噪聲環境下基于Softplus函數的核自適應濾波算法, 該算法一方面利用Softplus 函數的非線性飽和特性來抑制沖激噪聲,另一方面將誤差的倒數作為權重向量更新公式的系數, 保證了在誤差突然增大時該系數取值很小,進而利用權重向量不更新的方法來抵制沖激噪聲.仿真結果表明所提算法提高了抗脈沖干擾能力的同時加快了彩色輸入信號的收斂速度, 也就是很好地兼顧了收斂速度和跟蹤性能穩定誤差的矛盾, 并且在高斯噪聲下的性能也優于傳統的核自適應算法.