一種變尺度S型核分式低次冪自適應濾波算法*

火元蓮 王丹鳳 龍小強 連培君 齊永鋒

1) (西北師范大學物理與電子工程學院, 蘭州 730000)

2) (西北師范大學計算機科學與工程學院, 蘭州 730000)

為了進一步提高非線性自適應濾波算法在非高斯沖激噪聲以及有色噪聲環境下的魯棒性, 提出了一種基于S型函數的變尺度核分式低次冪自適應濾波算法, 該算法利用S型函數的非線性飽和特性和低階范數準則來克服訓練數據被非高斯沖激噪聲破壞時性能下降的問題, 并將S型函數與核分式低次冪算法的代價函數相結合后, 通過引入的變尺度因子來平衡和進一步提高算法的收斂速度與穩態誤差性能.仿真結果表明在不同噪聲環境的系統識別中, 所提算法相比其他核自適應濾波算法的性能更優.

1 引 言

自適應濾波[1]在自適應控制、回聲消除、系統識別、信道均衡等領域有著重要作用, 也是近幾十年大量研究的熱點.科學研究是為了更好地認識客觀世界, 而客觀世界中各種物理量變化的表達概念就是波、信號等, 例如: 混沌是在相對論和量子力學之后的第三次關于物理基礎科學的革命, 其代表非線性動力學研究, 自適應濾波技術在混沌系統識別[2]中應用而生.柴金華和陳飛[3]研究了一種準平行光干涉濾波型相控技術, 利用濾波相關知識來解決相位差矯正問題.機器學習的發展也進一步推進了自適應濾波算法的研究, 其利用參數的自適應調整使得學習過程更加精確以及靈活.事實上, 傳統的自適應濾波算法通常被理解為一個線性結構,例如廣受歡迎的最小化均方誤差[4]算法和歸一化最小均方誤差[5]算法.然而實際應用中空間環境是不確定的, 這一定程度上限制了傳統濾波算法的性能.為了有效解決算法的適用性問題, 選擇合適的代價函數也就成為自適應濾波算法設計的關鍵.它可以發現受非高斯噪聲以及有色噪聲污染的數據系統的期望結構.基于二階統計量的均方誤差(mean squared error, MSE)準則因其低計算復雜度和凸性被廣泛用作代價函數, 然而這種準則下的自適應濾波算法僅僅適用于高斯噪聲環境.非高斯噪聲背景下的信號檢測, 通常的做法是先對接收信號進行非線性處理, 以抑制接收信號中的大幅值樣本, 然后再進行匹配濾波處理[6].因此一旦環境發生改變, 基于MSE準則的自適應濾波算法性能將嚴重下降, 而且實際應用中大部分為非高斯環境,其中包括沖激和有色噪聲信號.基于以上分析, 為解決基于均方誤差準則算法存在的問題, 在過去的十幾年里大量的魯棒性估計模型被提出[7-12], 如基于梯度的最小平均四階[11]算法、遞歸最小p范數[13]算法和最小平均p功率[14]算法等.然而到目前為止, 以上提及的魯棒性自適應濾波算法仍為線性自適應濾波算法, 這些自適應濾波算法的應用仍然主要集中在線性參數濾波器上, 當面對像非線性系統識別[15]和非線性時間序列預測[16]等實際的非線性問題時此類線性自適應濾波算法性能出現嚴重下降.

針對該問題, 核方法因其具有凸性且較強的非線性建模能力被關注[17], 例如像支持向量機、高斯過程以及正則化網絡等[18].近年來核自適應濾波算法(kernel adaptive filtering, KAF)作為一種高效的在線學習算法被廣泛研究, 簡單來說KAF是線性濾波在希爾伯特空間的實現, 其將非線性問題在輸入空間中作為空間變換的凸優化問題解決.傳統的自適應濾波算法可被直接內核化變為相應的KAF算法, 如核最小均方誤差(kernel least mean square, KLMS) 算法[19]、核仿射投影算法[20]和核遞歸最小二乘算法[21]等.然而這些非線性自適應濾波算法也都是在假設高斯噪聲環境下產生的, 同樣不具備抗沖激性以及有色噪聲環境下的魯棒性.α穩定分布是一種典型的非高斯分布噪聲, 具有顯著的尖峰脈沖特性, 其概率密度函數的衰減過程比高斯分布慢, 表現為較長的拖尾[22], Dai等[23]充分考慮了涉及α穩定噪聲分布的長尾分布噪聲環境,提出了核仿射投影p范數(kernel affine projection p-norm, KAPP)算法, 該算法代價函數為誤差絕對值的p次冪, 當p = 2時算法變為KAP算法,當p = 1時算法變為核最小平均p功率(kernel least mean square p-power, KLMP)算法[24].文獻[24]提出的KLMP算法, 主要研究在低概率大幅度的非高斯重尾沖激噪聲環境中核自適應濾波算法的性能.之后Dong等[25]在KLMP算法的啟發下, 提出了基于分數低階統計誤差準則的抗沖激噪聲核分式低次冪自適應濾波(kernel fractional lower power, KFLP)算法, 然而低階統計量最大的缺點是相比于KLMS算法, 其收斂速度嚴重下降.

為了進一步提高非線性自適應濾波算法在非高斯噪聲以及有色噪聲環境下的魯棒性, 在文獻[26]的啟發下, 本文構造了一種新的代價函數框架.將核分式低次冪算法的代價函數與Sigmoid函數框架相結合, 并且加入一個比例因子λ, 將該比例因子作為低次冪誤差的調節量使算法能夠兼顧收斂速度與穩態誤差性能.同時考慮到合適的比例因子對算法性能的影響, 提出了基于S型函數的變尺度核分式低次冪自適應濾波(variable scaling factor sigmoid kernel fractional lower power adaptive filtering algorithm, VS-SKFLP)算法來進一步提高了算法的收斂速度與穩態誤差, 并討論分析了算法的穩定性能.由于S型函數的非線性飽和特性可以平滑掉脈沖干擾引起的擾動, 再結合含有比例因子的低階統計量使所提算法具有良好的性能, 在非線性系統識別和不同有色噪聲環境下的仿真結果表明, 本文算法比核最大相關熵算法(kernel maximum correntropy criterion, KMCC)、KLMS算法、和KFLP等其他核自適應算法的性能更優.

2 VS-SKFLP算法原理

假定存在一非線性系統識別問題, 該未知系統必然存在被噪聲干擾的數據, 其中噪聲干擾包括非高斯沖激噪聲和有色噪聲.在這種情況下利用誤差信號高階統計量的核自適應濾波算法會遭受性能下降, 因此本文提出一種新的魯棒性代價函數框架.首先定義一個Sigmoid函數模型:

式中, J (e(i)) 是一個核自適應濾波算法的代價函數, 它是關于誤差的函數.從(1)式可以看出當算法的誤差值接近于0時該代價函數 Si的值達到最小值; 當算法遭遇非高斯沖激噪聲干擾時, 誤差突然劇增使代價函數 Si的值接近于1, 這表明該函數模型與一般自適應濾波算法代價函數結構特性一致.據此, 基于該函數模型框架再利用低階誤差準則來推導本文算法, 首先定義一個代價函數形式:

由(2)式可以看出, 接下來本文算法的關鍵是將J(e(i))的表達式推導出來.給定一個以輸入向量u為中心的Mercer[24]核 κ (u,·) 作為再生核, 通常使用的再生核包括多項式核和高斯核, 因為高斯核具有類似于徑向基網絡的無限逼近性, 所以本文算法采用高斯核作為再生核, 其定義為κ(u,u′)=exp(-h‖u-u′‖2).利用核方法將輸入信號通過再生核變換到高維空間, 并且根據Mercer定理任意再生核可以擴展為

u=[u(n),u(n-1),···,u(n-L+1)]T

因此, 輸入向量通過非線性映射φ從輸入空間U變到希爾伯特空間, 得到映射后的信號φ(u)=[φ(u(n)),φ(u(n-1)),···,φ(u(n-L+1))]T, 根據(3)式得到φ(u(n))Tφ(u(n)′)=κ(u,u′) , 為方便表達令 φ (u(n))=φ(i).基于文獻[25]的代價函數:

其中 d (i) 為期望信號, w (i) 為濾波器權重, p為代價函數的冪次, 將(4)式代入(2)式, 就得到了本文算法的代價函數為

將代價函數對權重向量w求導:

根據負隨機梯度下降法更新濾波器權重向量得到本文算法的權重更新公式為

注意到映射φ是一個隱藏函數, 只在算法迭代中體現, μ是算法的步長因子.

因采用低階統計誤差準則使算法收斂性降低,為了進一步提高算法的收斂性, 對SKFLP算法再進行改進.考慮到利用Sigmoid函數的非線性飽和特性和低階統計誤差可以提高算法的魯棒性, 那么也可以通過調整Sigmoid函數的陡度來提高算法的收斂性.基于此思想在(5)式中引入一個尺度因子 λ ＞0 , 該尺度因子用來控制 Si的陡峭程度, 那么(5)式變為

圖1 不同代價函數曲線Fig.1.Different cost function curves.

圖2 不同λ值對代價函數的影響Fig.2.Effect of different λ values on the cost function.

根據以上分析知變尺度因子類似于變步長策略, 保證算法的收斂性能以及穩態誤差能夠同時提升.因此引入一種類似于文獻[27]中變步長方法的變尺度因子策略, 來代替尺度因子的手動設置.可得

其中 0 ＜β＜1 , γ ＞0 , β和γ是共同調節 λ (i) 的常數.將變尺度因子表達式代入(10)式便得到了VSSKFLP算法的權重更新公式:

為了說明參數β和γ對算法性能的影響以及后續仿真中的取值原則, 圖3(a)和圖3(b)所示為在固定 γ =0.001 、改變β以及固定 β =0.1 、改變γ的情況下VS-SKFLP算法學習曲線.從圖3(a)可以觀察到以下情況: 當 β =0.1 時, 相比于更小的β取值具有較快的收斂速度, 而相比于更大的β取值具有更低的穩態誤差.從圖3(b)可以看出,并非所有取值都能達到好的學習效果, 當γ取值太大時會使收斂速度過慢, 而取值太小時性能極其不穩定, 只有當 γ =0.001 時算法性能達到最優.所以在本文中取 β =0.1 , γ =0.001.

圖3 不同參數β, γ下VS-SKFLP算法的學習曲線 (a) β取不同值; (b) γ取不同值Fig.3.Learning curves of VS-SKFLP algorithm with different parameters of β (a) and γ (b).

3 VS-SKFLP算法的性能分析

利用能量守恒關系, 來分析評價算法的收斂性能.假設存在一非線性系統模型:

其中 wo表示該未知非線性系統的沖激響應, v (i) 為干擾噪聲.那么算法的輸出誤差可以表示為

將(13)式代入(14)式, 即:

其 中 ea(i) 為先 驗 誤差, w ?(i-1)=wo-w(i-1) 為權重偏差.將(10)式兩邊同時減去 wo得到偏差的迭代表達式:

利用相等關系:

得到:

對(18)式兩邊二范數平方求期望得到能量關系:

解得

為了保證μ ＞ 0, 則存在

因此算法收斂的理論充分條件由(22)式確定.但在實際應用中由于計算復雜, 一般以仿真值為準.

4 模擬仿真與結果分析

為了驗證本文所提VS-SKFLP算法的優良性能, 將其與KFLP, KLMS, KMCC算法等其他核自適應濾波算法在被非高斯噪聲干擾的非線性系統識別環境下進行比較.實驗仿真條件為: 給定一個n時刻隨機輸入序列 { u(1),u(2),···,u(N)} , 該組數據經過由線性模型和非線性模型組合而成的非線性系統, 并被非線性信道噪聲干擾, 其中線性模型為 H (z)=1+0.2z-1, 輸出為x(n)=u(n)+0.2u(n-1) , 非線性模型為 g (n)=x(n)-0.6x(n)2,因此該非線性系統的期望輸出模型為d(n)=x(n)-0.6x(n)2+v(n) , 其中 v (n) 為額外噪聲.本文采用非高斯噪聲干擾和有色噪聲干擾兩種不同的額外噪聲來對算法進行分析, 其中非高斯噪聲采用高斯噪聲與沖激噪聲相結合的形式產生.一般的沖激噪聲可以被表示為伯努利-高斯過程[24], 由q(n)=a(n)c(n) 表 示, c (n) 是一個伯努利過程,a(n)是一個零均值的高斯白噪聲過程, 且設定高斯核函數的核寬參數 h =0.2.歸一化均方誤差性能曲線被用來評價算法性能, 為了使各算法在最理想的情況下進行比較, 給出了不同算法的參數選擇, 如表1所列, 且各參數的選擇都是經過交叉驗證所得.

表1 各算法參數設置Table 1.Parameter setting of each algorithm.

4.1 本文算法與其他核自適應濾波算法性能比較

將本文算法VS-SKFLP與對比算法用于未知系統的追蹤, 并就收斂性和抗沖激干擾性能進行如下比較.

1)在高斯分布噪聲下的性能對比.將本文算法VS-SKFLP與傳統的KLMS, KMCC, KFLP,SP-KFLP算法在高斯噪聲環境下進行比較.實驗中假設加性高斯白噪聲(AWGN)的均值為0、方差為0.02, 五種算法的NMSE曲線如圖4所示.從圖4可以看出, 在高斯噪聲環境下, 除KMCC算法外本文算法與其他算法均可以達到良好的收斂效果, 但本文VS-SKFLP算法的收斂速度比其他幾種算法快, 說明本文算法具有更優的收斂性能.

圖4 高斯噪聲環境下五種算法的性能比較Fig.4.Performance comparison of five algorithms in Gaussian noise environment.

2)在非高斯沖激噪聲中的性能比較.將本文的VS-SKFLP與KFLP, SP-KFLP共三種算法在非高斯沖激噪聲環境下進行比較.實驗中假設存在3%的沖激噪聲, 即 pq=0.03.其他參數同上面實驗的選擇, 實驗結果如圖5所示.從圖5可以看出,KLMS算法的脈沖噪聲抑制能力相對較差, 而本文算法和KFLP算法均具有很強的脈沖噪聲抑制能力, 但本文VS-SKFLP算法的收斂速度比KFLP算法快.

3)高斯白噪聲環境(即 pq=0 )且在第600次迭代時產生一個沖激噪聲的情況下, 本文的VSSKFLP算法和其他兩種算法SP-KFLP, KFLP的性能對比.參數選擇同上面實驗, 結果如圖6所示.從圖6不難看出, 收斂性能基本和圖5的結論一致, 另外當沖激噪聲產生時, KLMS算法不具有抗沖激噪聲的性能, 而本文算法相比于其他算法收斂速度最快, 并且能有效避免沖激噪聲干擾.

圖5 非高斯干擾下的KFLP, KLMS與VS-SKFLP算法性能比較Fig.5.Performance comparison of KFLP, KLMS and VSSKFLP algorithms under non-Gaussian interference.

圖6 在第600次迭代過程中加入沖激噪聲時各算法性能對比Fig.6.Performance comparison of various algorithms when impulse noise is added during the 600th iteration.

4.2 不同有色噪聲環境下算法性能比較

為進一步驗證本文算法的魯棒性, 給出了非線性系統被不同有色噪聲干擾下的VS-SKFLP算法的追蹤性能.所謂有色噪聲是指序列沒有一個時刻是不相關的, 與高斯白噪聲相比其幅度譜基本一致, 即幅度大小表現相同但頻譜卻相差較大.如圖7為常見的幾種有色噪聲, 其中包括紅噪聲、藍噪聲、粉噪聲和Violet噪聲, 將這四種有色噪聲作為系統的額外噪聲 v (n) 對算法進行驗證, 結果如圖8所示.

圖7 幾種常見的有色噪聲Fig.7.Several common colored noises.

圖8 不同有色噪聲環境下算法性能比較Fig.8.Performance comparison of algorithms in different colored noise environments.

從圖8可以看出, 本文算法對紅噪聲和Violet噪聲具有一定的魯棒性, 這表明本文算法在一定程度上是可以抵制有色噪聲的.但是當噪聲為藍噪聲和粉噪聲時算法性能嚴重下降, 后續工作有待進一步的改進.

5 結 論

基于低階統計準則和Sigmoid函數的非線性飽和特性, 本文通過將核分式低次冪算法的代價函數嵌入S型函數來構造了一種新的代價函數框架,并通過引入的變尺度因子, 進一步有效地提高了核自適應濾波算法在非高斯環境下的非線性系統追蹤性能.仿真結果表明, 與KLMS, KMCC, KFLP,SP-KFLP等其他核自適應算法相比, 本文算法不論是在非高斯沖激噪聲下還是有色噪聲干擾下都具有良好的收斂性能和低穩態誤差, 并且在有色噪聲環境下具有一定的魯棒性.當然對于算法在粉噪聲和藍噪聲環境下性能下降的問題, 有待進一步的研究與改進.