基于稀疏系統(tǒng)辨識(shí)的廣義遞歸核風(fēng)險(xiǎn)敏感算法

王代麗，王世元，張濤，齊樂(lè)天

西南大學(xué) 電子信息工程學(xué)院/非線性電路與智能信息處理重慶市重點(diǎn)實(shí)驗(yàn)室，重慶 400715

自適應(yīng)濾波是統(tǒng)計(jì)信號(hào)處理的重要組成部分，而稀疏自適應(yīng)濾波是自適應(yīng)濾波領(lǐng)域中不可或缺的部分，其顯著特征是脈沖響應(yīng)的大部分分量是零或者接近于零．在實(shí)際場(chǎng)景中，存在大量的稀疏系統(tǒng)，例如數(shù)字電視傳輸通道[1]、回波路徑[2]、信道估計(jì)[3]等．由于稀疏系統(tǒng)通常是不確定的，因此需采用基于稀疏系統(tǒng)的自適應(yīng)濾波算法對(duì)其進(jìn)行辨識(shí)[4-5]．

應(yīng)用在稀疏系統(tǒng)中的自適應(yīng)濾波算法通常采用與稀疏性相關(guān)的范數(shù)作為稀疏懲罰約束項(xiàng)(Sparse Penalty Constraint，SPC)[6-7]，如l1范數(shù)，lp范數(shù)和l0范數(shù)，其中基于l1范數(shù)的最小均方自適應(yīng)濾波算法包括零吸引最小均方(Zero-attracting Least Mean Square，ZA-LMS)算法[8]和加權(quán)零吸引最小均方(Reweighted Zero-attracting Least Mean Square，RZA-LMS)算法[9]等，但是ZA-LMS和RZA-LMS的收斂速率較慢，因此，為了提高收斂速率提出了基于零吸引的遞歸最小二乘(Zero-attracting Recursive Least Squares，ZA-RLS)算法[10]．通常由于l1范數(shù)存在零點(diǎn)處的非光滑性的缺點(diǎn)，會(huì)導(dǎo)致算法性能降低，因此，引入lp范數(shù)作為SPC提高稀疏系統(tǒng)的濾波精度，進(jìn)而提出了基于平方根變步長(zhǎng)lp范數(shù)的LMS算法[11]，以變步長(zhǎng)的形式分析了稀疏系統(tǒng)中穩(wěn)態(tài)均方誤差和收斂速率之間的關(guān)系．通常最小任何lp范數(shù)(0

因?yàn)榉歉咚乖肼曉谧匀唤缰惺瞧毡榇嬖诘模愿咚乖肼暛h(huán)境下的稀疏算法在非高斯噪聲環(huán)境下會(huì)產(chǎn)生性能不穩(wěn)定或退化等問(wèn)題．從信息理論學(xué)習(xí)(Information Theoretic Learning，ITL)[14]的觀點(diǎn)出發(fā)，為解決非高斯噪聲對(duì)算法性能的影響，提出了廣義相關(guān)熵(Generalized Correntropic，GC)準(zhǔn)則．GC準(zhǔn)則本質(zhì)上是定義在特征空間中相似性度量的一種方法，利用數(shù)據(jù)的高階統(tǒng)計(jì)特性消除非高斯噪聲，其在自適應(yīng)濾波中最經(jīng)典的應(yīng)用是廣義相關(guān)熵?fù)p失(Generalized Correntropic Loss，GC-Loss)算法[15]．而在稀疏系統(tǒng)中，利用廣義最大相關(guān)熵準(zhǔn)則(Generalized Maximum Correntropy Criterion，GMCC)，同時(shí)采用CIM作為稀疏懲罰約束項(xiàng)進(jìn)而提出了具有稀疏懲罰約束的遞歸廣義最大相關(guān)熵(Recursive Generalized Maximum Correntropy Criterion with Sparse Penalty Constraint，RGMCC-SPC)算法[16]，該算法在CIMMCC算法基礎(chǔ)上采用廣義遞歸的更新方式提高了收斂速率和濾波精度．為了進(jìn)一步解決RGMCC-SPC算法中非零均值誤差在零處誤差識(shí)別精度較差的問(wèn)題，提出了可變中心的RGMCC-SPC(Variable Center RGMCC-SPC，RGMCCVC-SPC)算法[17]．然而由于GC-Loss的性能表面具有高度非凸的特性，導(dǎo)致算法的收斂性能較差．為了解決這個(gè)問(wèn)題，引入定義在特征空間的核風(fēng)險(xiǎn)敏感損失(Kernel Risk-Sensitive Loss，KRSL)函數(shù)[18]，使其在非高斯噪聲中的性能優(yōu)于GC-Loss．

啟發(fā)于KRSL和GMCC，本文提出了一種新的應(yīng)用在稀疏系統(tǒng)下的廣義自適應(yīng)濾波算法，該算法以廣義高斯密度(Generalized Gaussian Density，GGD)[19]函數(shù)作為KRSL函數(shù)中的核函數(shù)，結(jié)合稀疏懲罰約束項(xiàng)，以遞歸的方式進(jìn)行更新，進(jìn)而為稀疏系統(tǒng)辨識(shí)設(shè)計(jì)出具有稀疏懲罰約束項(xiàng)的廣義遞歸核風(fēng)險(xiǎn)敏感損失(Generalized Recursive Kernel Risk-Sensitive Loss with Sparse Penalty Constraint，GRKRSL-SPC)算法．所提出的GRKRSL-SPC算法利用了特征空間中映射數(shù)據(jù)非二階統(tǒng)計(jì)量的特征，以指數(shù)形式強(qiáng)調(diào)較大誤差的相似性，使得算法在非高斯噪聲環(huán)境下，能夠同時(shí)具有強(qiáng)魯棒性和高濾波精度的特性．

1 背景介紹

本節(jié)在核風(fēng)險(xiǎn)敏感損失函數(shù)和廣義核風(fēng)險(xiǎn)敏感損失函數(shù)的基礎(chǔ)上，提出了最小化廣義核風(fēng)險(xiǎn)敏感損失函數(shù)準(zhǔn)則．

1.1 核風(fēng)險(xiǎn)敏感損失函數(shù)

核風(fēng)險(xiǎn)敏感損失函數(shù)是指定義在核空間中兩個(gè)隨機(jī)變量X和Y的相似度測(cè)量，其表達(dá)式如下所示：

(1)

其中λ>0是風(fēng)險(xiǎn)敏感參數(shù)，E表示期望符號(hào)，F(xiàn)XY(x，y)表示關(guān)于隨機(jī)變量X和Y的聯(lián)合分布函數(shù)，kσ(·)是指帶寬為σ的Mercer核．其表達(dá)式為

(2)

本質(zhì)上，公式(1)表示核風(fēng)險(xiǎn)敏感損失函數(shù)的指數(shù)形式只包含二階統(tǒng)計(jì)量，實(shí)際上，不同階的統(tǒng)計(jì)量在實(shí)際應(yīng)用中更為普遍．因此，可以利用廣義高斯密度函數(shù)作為核風(fēng)險(xiǎn)敏感損失函數(shù)的核函數(shù)并以此設(shè)計(jì)廣義核風(fēng)險(xiǎn)敏感損失函數(shù)．

1.2 廣義核風(fēng)險(xiǎn)敏感損失函數(shù)

給定如下具有零均值的廣義高斯密度函數(shù)[19]：

(3)

其中，Γ(·)表示伽馬函數(shù)，b>0是帶寬，α>0是形狀參數(shù)，β=1/bα表示核參數(shù)．從公式(3)可以看出廣義高斯密度具有普適性．當(dāng)α=1時(shí)，廣義高斯密度為拉普拉斯分布； 當(dāng)α=2時(shí)，則為高斯分布； 而當(dāng)α→∞時(shí)，則為均勻分布．根據(jù)文獻(xiàn)[15]，定義廣義相關(guān)熵?fù)p失函數(shù)的表達(dá)式為

(4)

結(jié)合公式(1)和公式(4)，可得廣義核風(fēng)險(xiǎn)敏感損失函數(shù)的表達(dá)式為

(5)

其中，當(dāng)0<α≤2時(shí)，Gα，b(·)表示為Mercer核，所以在此范圍內(nèi)，廣義核風(fēng)險(xiǎn)敏感損失函數(shù)可用傳統(tǒng)風(fēng)險(xiǎn)敏感損失函數(shù)的類似形式重新表示為

(6)

(7)

1.3 廣義核風(fēng)險(xiǎn)敏感損失函數(shù)性質(zhì)

根據(jù)式(5)和式(7)，關(guān)于廣義核風(fēng)險(xiǎn)敏感損失函數(shù)的重要性質(zhì)如下：

1)JG(X，Y)是對(duì)稱、正定、有界的．

2)JG(X，Y)是具有廣義特性的損失函數(shù)，在特定情況下可以轉(zhuǎn)換為核風(fēng)險(xiǎn)敏感損失函數(shù)、廣義熵?fù)p失函數(shù)和均值P冪誤差[20]．

證黑塞矩陣如下：

(8)

1.4 最小化廣義核風(fēng)險(xiǎn)敏感損失函數(shù)準(zhǔn)則

給定一個(gè)數(shù)學(xué)模型，如下所示：

(9)

(10)

通過(guò)最小化公式(10)可以獲得廣義核風(fēng)險(xiǎn)敏感損失函數(shù)的最優(yōu)解，稱之為最小化廣義核風(fēng)險(xiǎn)敏感損失函數(shù)準(zhǔn)則，其表達(dá)式如下：

(11)

圖1 不同α對(duì) GKRSL誤差的影響

最后，圖1顯示了不同α下對(duì)廣義核風(fēng)險(xiǎn)敏感損失函數(shù)曲線平滑度的影響．從圖中可以看出：當(dāng)誤差較小且α值越大時(shí)表面越光滑，表明廣義核風(fēng)險(xiǎn)敏感損失函數(shù)的精度高于非廣義形式．

2 算法

2.1 稀疏懲罰約束

這一小節(jié)主要介紹近似l0范數(shù)的稀疏懲罰約束項(xiàng)．實(shí)際上，在尋找最優(yōu)稀疏項(xiàng)時(shí)需要最小化l0范數(shù)，而這是一個(gè)NP難問(wèn)題．通常采用近似l0范數(shù)的方法來(lái)解決，一種是將其轉(zhuǎn)化為無(wú)約束的l1范數(shù)正則化問(wèn)題，可獲得近似l0范數(shù)的解，但代價(jià)是增加采樣過(guò)程中的測(cè)量次數(shù)[22]； 另一種則是采用CIM來(lái)近似l0范數(shù)，減少了測(cè)量中的計(jì)算消耗[12]，其表達(dá)式如下：

(12)

(13)

2.2 GRKRSL-SPC算法

定義如下帶有稀疏懲罰約束項(xiàng)的廣義核風(fēng)險(xiǎn)敏感損失函數(shù)為成本函數(shù)：

(14)

其中，μ表示遺忘因子，ρh(i)代表稀疏懲罰約束項(xiàng)，ρ>0是控制權(quán)重向量的稀疏懲罰約束程度的正則化參數(shù)．采用梯度下降法最小化該成本函數(shù)，可得：

(15)

其中，

M(i)=exp(λ(1-exp(-β|e(i)|α)))exp(-β|e(i)|α)|e(i)|α-2

令公式(15)的梯度等于0可得權(quán)重Ω的解為

(16)

根據(jù)公式(16)，定義Υ(i)和Θ(i)為

(17)

根據(jù)公式(17)將公式(16)改寫(xiě)為矩陣形式，其權(quán)向量可以表示為

Ω(i)=Θ-1(i)(Υ(i)-ρh′(i))

(18)

Θ(i)通過(guò)遞歸形式進(jìn)行更新可得：

(19)

為了避免計(jì)算矩陣的逆運(yùn)算，根據(jù)矩陣求逆引理[25]：(A+BCD)-1=A-1-A-1B(C-1+DA-1B)-1DA-1．

在公式(19)中令A(yù)=μΘ(i-1)，B=X(i)，C=M(i)，D=XT(i)，可得：

(20)

P(i)=μ-1(P(i-1)-M(i)G(i)XT(i)P(i-1))

(21)

所以

采用同樣的方法可以得到下列表達(dá)式：

Υ(i)=μΥ(i-1)+M(i)X(i)d(i)

(22)

將公式(22)兩端同時(shí)減去ρh′(i)，可得：

(23)

當(dāng)?shù)了惴ㄐ阅芊€(wěn)定時(shí)，權(quán)向量幾乎無(wú)變化．即當(dāng)i→∞時(shí)，有h′(i-1)≈h′(i)．所以公式(23)成立．

將公式(21)和(23)代入公式(18)可得權(quán)重向量更新式為

Ω(i)=Ω(i-1)+G(i)M(i)e(i)-ρμ-1(1-μ)[I-M(i)G(i)XT(i)]P(i-1)h′(i)

(24)

最后，根據(jù)上述的推導(dǎo)過(guò)程，總結(jié)GRKRSL-SPC算法如表1所示．

表1 GRKRSL-SPC算法更新過(guò)程

2.3 計(jì)算復(fù)雜度分析

本節(jié)分析GRKRSL-SPC算法的計(jì)算復(fù)雜度，這里考慮每次迭代過(guò)程中的加法、除法以及乘法次數(shù)．以α=4為例，各種算法的計(jì)算復(fù)雜度比較如表2所示，其中，D表示輸入數(shù)據(jù)的長(zhǎng)度，比較算法為基于稀疏懲罰約束的遞歸廣義最大相關(guān)熵(RecursiveGeneralizedMaximumCorrentropyCriterionwithSPC，RGMCC-SPC)算法[16]和基于稀疏懲罰約束的遞歸廣義最大相關(guān)熵變中心(RecursiveGeneralizedMaximumCorrentropyCriterionwithVariableCenterunderSparsityConstrained，RGMCCVC-SPC)算法[17]．從表2中可知，3種算法具有相同的除法次數(shù)，而在乘法和加法運(yùn)算上，GRKRSL-SPC算法的計(jì)算量小于RGMCCVC-SPC算法，但高于RGMCC-SPC算法．

表2 RGMCC-SPC和RGMCCVC-SPC及GRKRSL-SPC算法每次迭代的計(jì)算復(fù)雜度比較

3 仿真結(jié)果和分析

圖2 稀疏系統(tǒng)的結(jié)構(gòu)圖

在進(jìn)行實(shí)驗(yàn)仿真過(guò)程中，為了確保算法比較的公平性，選擇在非高斯噪聲環(huán)境下具有魯棒性且采用遞歸更新方式的RGMCC-SPC[16]和RGMCCVC-SPC算法[17]作為比較算法，當(dāng)RGMCCVC-SPC算法的變中心變?yōu)?時(shí)退化為RGMCC-SPC算法，設(shè)置比較算法的參數(shù)使得所有算法具有一致的收斂速率．為了進(jìn)一步定量評(píng)價(jià)濾波精度，定義穩(wěn)態(tài)均方偏差(Mean Square Deviation，MSD)如下，用MMSD表示：

(25)

圖3顯示了GRKRSL-SPC算法在二進(jìn)制噪聲下的學(xué)習(xí)曲線和所有算法的參數(shù)設(shè)置，其中，圖3(a)和圖3(b)的稀疏度分別為1/16，5/30．從圖3中可知3個(gè)算法在保持幾乎一致的收斂速率下，GRKRSL-SPC算法的濾波精度顯著高于RGMCC-SPC和RGMCCVC-SPC算法，尤其當(dāng)α=4和α=6時(shí)，表現(xiàn)更明顯．同樣地，在稀疏度為1/16和5/30的正弦噪聲環(huán)境下，GRKRSL-SPC算法提高了稀疏系統(tǒng)辯識(shí)中的精度，并且α=4和α=6的濾波性能優(yōu)于α=2的性能，仿真結(jié)果如圖4所示．

圖3 在二進(jìn)制噪聲下不同算法的穩(wěn)態(tài)均方偏差學(xué)習(xí)曲線

圖4 在正弦噪聲下不同算法的穩(wěn)態(tài)均方偏差學(xué)習(xí)曲線

表3顯示了在兩種稀疏度以及兩種噪聲環(huán)境下算法的消耗時(shí)間．

表3 3種算法在稀疏度為1/16和5/30和兩種噪聲下稀疏系統(tǒng)識(shí)別的仿真結(jié)果

從表3中可以得出：不論是在二進(jìn)制噪聲還是正弦噪聲環(huán)境中，GRKRSL-SPC算法比RGMCCVC-SPC算法消耗更少的時(shí)間，比RGMCC-SPC算法消耗更多的時(shí)間，此結(jié)論與表2中計(jì)算復(fù)雜度結(jié)果相一致．總而言之，從穩(wěn)態(tài)均方偏差和計(jì)算復(fù)雜度兩方面而言，GRKRSL-SPC算法性能優(yōu)于RGMCCVC-SPC算法和RGMCC-SPC算法．

4 結(jié)論

本文利用廣義高斯密度(GGD)函數(shù)作為核函數(shù)，提出了一種定義在核空間的非線性相似度量方法，即廣義核風(fēng)險(xiǎn)敏感損失函數(shù)(GRKRSL)．進(jìn)一步結(jié)合遞歸更新方式提出了應(yīng)用在稀疏系統(tǒng)模型中的基于稀疏懲罰約束的廣義核遞歸風(fēng)險(xiǎn)敏感(GRKRSL-SPC)算法．從計(jì)算復(fù)雜度和濾波精度兩個(gè)方面去驗(yàn)證了GRKRSL-SPC算法在非高斯噪聲環(huán)境中的有效性和濾波精度．GRKRSL-SPC算法在保持與RGMCC-SPC和RGMCCVC-SPC算法相同計(jì)算復(fù)雜度的前提下，提高了稀疏系統(tǒng)的濾波性能，尤其是當(dāng)α=4和α=6時(shí)濾波精度明顯提高．蒙特卡洛仿真結(jié)果驗(yàn)證了GRKRSL-SPC算法對(duì)稀疏系統(tǒng)識(shí)別精度優(yōu)于其他的魯棒稀疏自適應(yīng)濾波算法．