量化核最小逆雙曲正弦自適應濾波算法*

火元蓮 脫麗華 齊永鋒 張印

1)(西北師范大學物理與電子工程學院,蘭州 730000)

2)(西北師范大學計算機科學與工程學院,蘭州 730000)

針對非線性問題,本文將核方法和雙曲正弦函數的逆相結合,提出了魯棒的核最小逆雙曲正弦算法.然后利用向量量化對輸入空間數據進行量化,構建出能夠抑制網絡規模增長的量化核最小逆雙曲正弦算法,降低了原有算法的計算復雜度,給出了量化核最小逆雙曲正弦算法的能量守恒關系和收斂條件.Mackey-Glass短時混沌時間序列預測和非線性信道均衡環境的仿真結果表明,本文所提出的核最小逆雙曲正弦算法和量化核最小逆雙曲正弦算法在收斂速度、魯棒性和計算復雜度上具有優勢.

1 引言

在過去的幾十年中,核方法已經成功的應用于自適應濾波領域來解決非線性問題.核自適應濾波器[1](kernel adaptive filter,KAF)使用Mercer核[2],將數據從輸入空間映射到再生核希爾伯特空間(reproducing kernel Hilbert space,RKHS).在再生核希爾伯特空間中,通過計算所謂的內核技巧[1],可以很容易地計算出內積.核自適應濾波算法在解決非線性問題和非線性信道均衡方面優于普通的自適應濾波算法.核自適應濾波算法主要有:核最小均方(kernel least mean square,KLMS)[3]算法、核最小平均p范數(kernel maximum meanp-power,KLMP)[4]算法、核最小lncosh(kernel least lncosh,KLL)[5]算法、核最大相關熵準則(kernel maximum correntropy criterion,KMCC)[6]算法以及一些改進算法.這類算法的主要缺點是徑向基函數網絡隨著新數據樣本的增加而增長,從而增加了計算復雜度,需要更多的內存.針對其問題,研究者們采用了各種稀疏化方法來抑制網絡增長,稀疏化數據的方法主要有近似線性依賴性(approximate linear dependency,ALD)準則[7]、驚奇準則(surprise criterion,SC)[8]、新穎性準則(novelty criterion,NC)[9]和預測方差準則[10]等.稀疏化方法可以減少網絡規模的增長,但在稀疏化過程中要丟棄冗余數據,從而降低了濾波精度,因為這些數據也在參與網絡系數的更新.向量量化(vector quantization,VQ)[11]被用來解決該問題,并已成功應用于當前的核自適應濾波算法,它的主要思想是通過量化來壓縮輸入空間,以抑制網絡規模的增長.文獻[12]提出了量化核最小均方算法(quantized kernel least mean square,QKLMS)算法.文獻[13]通過改進核遞歸最小二乘(kernel recursive least squares,KRLS)算法,提出了量化核遞歸最小二乘(quantized kernel recursive least squares,QKRLS)算法.文獻[14]利用最大相關熵準則(maximum correntropy criterion,MCC)[15,16]算法,為脈沖噪聲環境下的非線性系統模型,提出了量化核最大相關熵準則(quantized kernel maximum correntropy criterion,QKMCC)算法.

文獻[17]利用雙曲正弦函數的逆構造了新的代價函數,并證明了該自適應濾波算法在非高斯環境下的性能表現良好.受此啟發,本文將雙曲正弦函數的逆放到再生核希爾伯特空間中,構造了核最小逆雙曲正弦(kernel least inverse hyperbolic sine,KLIHS)算法.同時為了進一步降低該算法的計算復雜度,利用向量量化方法來抑制其網絡規模的增長,提出了量化核最小逆雙曲正弦(quantized kernel least inverse hyperbolic sine,QKLIHS)算法,并研究了QKLIHS 算法在Alpha 穩定分布環境[18?20]下的非線性信道均衡[21]問題和Mackey-Glass 短期混沌時間序列預測[22]問題中的性能.仿真結果表明,KLIHS和QKLIHS 算法在收斂速度和穩態誤差方面比KLMS,KMCC,KLMP,KLL和QKLMS算法有更好的性能.

2 量化核最小均方算法

核技巧就是將任意核從輸入空間U映射到特征空間F的一種方法,基于Mercer 定理,其可以表示為

其中x(n)表示輸入信號在n時刻的值;x(n)′表示輸入信號在下一時刻的值.本文采用核寬為h的高斯核,表示為

QKLMS 算法是由KLMS 算法應用量化方法得到的.KLMS 算法的權值更新方程可以寫為

其中?(n)是權重向量;μ是步 長;e(n)=d(n)??T(n ?1)φ(n)是n時刻的預測誤差;d(n)是期望信號;φ(n)是核自適應濾波器輸入.

用量化方法量化φ(n),則QKLMS 算法的權值更新方程可以寫為

其中Q[·] 表示在高維RKHS 中的量化運算.由于特征空間F的維數通常比較高,這使得計算很困難,因此需要將量化放到輸入空間U進行計算,即對輸入信號x(n)進行量化,那么QKLMS 算法的權值更新方程可以寫為

其中ω[·]是輸入空間U的量化運算.為了便于后續的推導,定義φp(n)=Q[φ(n)],xp(n)=ω[x(n)].

3 量化核最小逆雙曲正弦算法

3.1 核最小逆雙曲正弦算法

Inverse hyperbolic sine(IHS)是雙曲正弦函數的逆,其代價函數可以寫成如下形式:

其中sinh為雙曲正弦函數.利用梯度下降法,(6)式的導數形式可以寫為

利用負隨機梯度,可以推導出該KLIHS的權重更新方程為

其中μ表示步長,逐項遞推得到如下形式:

在這里?(0)=0,則權重更新公式為

濾波器n+1 時刻的輸出為

所以KLIHS 算法如表1 所列.

表1 KLIHS 算法Table 1.KLIHS algorithm.

3.2 量化核最小逆雙曲正弦算法

量化核最小逆雙曲正弦(QKLIHS)算法是通過量化(8)式中的φ(n)得到的,可以表示為

與QKLMS 類似,要把特征空間F的量化轉換到輸入空間U.故QKLIHS 算法的學習可以表示為

量化過程中當接收到新的輸入數據x(n)時,首先需要去計算x(n)與當前字典C(n ?1)的歐幾里得距離,可以表示為:

其中∥ ·∥表示范數;Cj(n ?1)表示字典C(n ?1)中的第j個元素.接下來就要去判斷該數據是否要加入“字典”作為該字典的一個新的中心,量化閾值γ≥0用來當做判斷的標準.如果dis(x(n),C(n ?1))>γ,將輸入數據x(n)加入到字典C(n ?1)中,并加入相對應的系數向量,可以表示為

否則,即

此時輸入數據x(n)不會被加入到字典C(n ?1)中,但是會將字典C(n ?1)中與x(n)的歐幾里得距離的最近的元素Cj?(n ?1)作為x(n)的量化值,并且更新Cj?(n ?1)的系數,可以表示為

因此,獲得新的樣本{ x(n),d(n)}時,QKLIHS算法的輸出為

綜上,QKLIHS 算法的流程如表2 所列.

表2 QKLIHS 算法Table 2.QKLIHS algorithm.

3.3 能量守恒關系

對本文提出的QKLIHS 算法的能量守恒關系進行推導.已知未知系統的輸出為

其中v(n)是噪聲,輸出誤差為

將(18)式代入(19)式得

結合(21)式和(22)式消除e(n):

對(23)式兩邊取內積:

則能量守恒關系為

其中

如果κ(xp(n),x(n))→1,γ →1,則能量守恒關系為

3.4 收斂性能分析

(21)式可表示為

(27)式的內積為

對(28)式兩邊取期望

算法收斂必須滿足:

那么

基于上述情況,步長(算法收斂的充分必要條件)滿足:

4 算法仿真

本節中給出了Mackey-Glass 短時混沌時間序列預測和非線性信道均衡兩個例子來驗證所提出的KLISH,QKLISH 算法的性能.對于所有的模擬,進行了200 次蒙特卡羅運行以減少干擾.所有實驗高斯核核寬h=1.0,訓練數據的大小為1000,測試數據的大小為100.Alpha 穩定分布模型來模擬非高斯噪聲環境如圖1.為了評估濾波精度,均方誤差(MSE)被定義為其中S=100為測試數據的大小.

圖1 α=1.3 時的Alpha 穩定分布噪聲(非高斯環境)Fig.1.When α=1.3,alpha stable distribution noise(non-Gaussian environment).

4.1 短時混沌時間序列預測

Mackey-Glass 短時混沌時間序列由下列延遲微分方程生成:

其中參數設置為:a=0.2,b=0.1,c=10.根 據Take ns 嵌入定理,用之前的7 個數據u(i)=[x(i?7),x(i ?6),···,x(i ?1)]T作為輸入量,預測當前的輸入x(i).

1)不同核自適應濾波算法對比.把本文的KLIHS算法和KLMS,KLMP,KLL,KMCC 算法性能進行對比,結果如圖2 所示.表3 給出了各算法達到穩態時候的穩態誤差的均值和標準偏差.

表3 在短時混沌時間序列預測下不同算法的均值±標準偏差Table 3.The mean standard deviation of different algorithms under short-term chaotic time series prediction.

圖2 在短時混沌時間序列預測下不同算法的性能比較Fig.2.Performance comparison of different algorithms under short-time chaotic time series prediction.

從圖2和表3 可以看出,在非高斯噪聲環境下KLMS 算法不具有魯棒性,而本文算法和KLMP,KLL,KMCC 算法都具有魯棒性,并且都能達到比較好的穩態誤差,同時本文算法的收斂速度比其他幾種算法都要快.由此可得本文所提的KLIHS 算法在短時混沌時間序列預測環境下性能較好.

2)討論量化閾值γ取不同值時對算法性能的影響.文中γ分別取0,0.5,0.9,1.2和2.0,QKLIHS算法的學習曲線和網絡尺寸大小分別如圖3和圖4所示.從圖3和圖4中可以看出,當量化閾值γ為0時,QKLIHS 算法的網絡尺寸和迭代次數成正比,此時的QKLIHS 算法退化為KLIHS 算法.隨著γ的增大,網絡尺寸減小,該算法性能也隨之下降.為了更清晰地分析不同量化閾值對算法性能的影響,表4 給出了在短時混沌時間序列預測環境下,不同量化閾值的QKLIHS 算法達到穩態時的均方誤差和網絡尺寸.由表4 分析可知,量化閾值從0 變化到1.2,QKLIHS 算法的均方誤差增大了不到0.01,但該算法的網絡尺寸卻從1000 變到101,降低了10 倍.當γ≤1.2時,在保證基本不損失穩態誤差性能的基礎下,最大程度地降低算法的計算復雜度.

圖3 在短時混沌時 間序列預測下 不同量化閾值 γ的QKLIHS 算法的性能比較Fig.3.Performance comparison of QKLIHS algorithms with different quantization thresholds γ under short-time chaotic time series prediction.

圖4 在短時混沌時間序列預測下不同量化閾值 γ的QKLIHS算法的網絡尺寸比較Fig.4.Network size comparison of QKLIHS algorithms with different quantization thresholds γ under short-time chaotic time series prediction.

表4 在短時混沌時間序列預測下不同量化閾值的QKLI HS 算法的均方誤差與網絡尺寸比較Table 4.Comparison of mean square error and network size of QKLIHS algorithm with different quantization thresholds γ under short-time chaotic time series prediction.

4.2 非線性信道均衡

非線性信道模型由線性濾波器和無記憶非線性模型組成.圖5為一個非線性信道的方框圖,其中u(n)∈{?1,1}為信道輸入,x(n)=u(n)+0.5u(n ?1)為線性濾波器的輸出,r(n)=x(n)?0.9x(n)2+v(n)為非線性信道的輸出,其中v(n)為噪聲.信道均衡的目標是構造一個逆濾波器以盡可能低的錯誤率恢復原始信號.可以將其看做一個簡單的回歸問題,其樣本為{([r(n),r(n+1),···,r(n+l),u(n ?D)])},l是時間嵌入長度,D是均衡滯后時間.實驗中,l=3,D=2.

圖5 非線性信道Fig.5.Nonlinear channel.

1)不同核自適應濾波算法對比.上述五種不同算法的學習曲線如圖6 所示.從圖6 可以看出,本文的算法和其他的四種算法能達到相同的穩態誤差,并且都有較好的魯棒性,但是本文算法的收斂速度優于其他四種算法.綜上所述,本文所提出的算法在非線性信道均衡環境下性能較好.

圖6 在非線性信道均衡下不同算法的性能比較Fig.6.Performance comparison of different algorithms under nonlinear channel equalization.

2)討論量化閾值γ取不同值時對算法性能的影響.文中γ分別取0,0.5,0.9,1.2和2.0,不同量化閾值的QKLIHS 算法的學習曲線和網絡尺寸大小分別如圖7和圖8 所示.從圖7和圖8 中可以看出,當量化閾值γ=0時,QKLIHS 算法退化為KLIHS算法,此時網絡尺寸和迭代次數成正比.當γ逐漸增大,網絡尺寸減小,算法性能下降.為了更清晰地看出穩態誤差的差距,給出了在當前仿真下的均方誤差和網絡尺寸,如表5 所列.分析表5 可以得到,在γ≤1.2時,網絡尺寸的減小的程度遠遠大于穩態誤差增加的程度.因此,QKLIHS 算法可以在保證基本不損失穩態誤差性能的基礎下,能最大程度地降低算法的計算復雜度.

表5 在非線性信道均衡下不同量化閾值 γ的QKLIHS算法的穩態誤差均值與網絡尺寸Table 5.Steady-state error mean and network size of QKLIHS algorithm with different quantization threshold γ under nonlinear channel equalization.

圖7 在非線性信道 均衡下不同量化閾值 γ的QKLIHS算法的性能比較Fig.7.Performance comparison of QKLIHS algorithms with different quantization thresholds γ under nonlinear channel equalization.

圖8 在非線性信道 均衡下不同量化閾值 γ的QKLIHS算法的網絡尺寸比較Fig.8.Network size comparison of QKLIHS algorithms with different quantization thresholds γ under nonlinear channel equalization.

5 結論

將核方法和雙曲正弦函數的逆相結合,提出了一種適用于非高斯環境的魯棒核最小逆雙曲正弦算法.同時考慮到該算法網絡尺寸線性增長的問題,進一步利用向量量化方法,推導出了能夠抑制網絡規模增長的量化核最小逆雙曲正弦算法,給出了該算法的能量守恒關系和收斂條件.仿真結果表明,提出的核最小逆雙曲正弦算法的性能優于KLMS,KLMP,KMCC和KLL 算法,且量化核最小逆雙曲正弦算法在保證濾波精度的前提下,能夠有效地減少網絡尺寸,降低了算法的計算復雜度.