加權(quán)l(xiāng)p 范數(shù)LMS 算法的稀疏系統(tǒng)辨識(shí)

劉遵雄，秦 賓，王樹(shù)成

華東交通大學(xué) 信息工程學(xué)院，南昌330013

1 引言

自適應(yīng)濾波器廣泛應(yīng)用于回波消除、噪聲對(duì)消、系統(tǒng)辨識(shí)、自適應(yīng)信道均衡等諸多領(lǐng)域中[1-5]。根據(jù)對(duì)輸入信號(hào)和參考信號(hào)的不同定義，自適應(yīng)濾波器應(yīng)用分為四種類(lèi)型[6-7]：系統(tǒng)辨識(shí)、逆模型、預(yù)測(cè)和干擾消除。

自適應(yīng)濾波算法是自適應(yīng)濾波器設(shè)計(jì)的核心。常用的自適應(yīng)算法主要包括最小均方算法（LMS）、遞歸最小二乘方法（RLS）、神經(jīng)網(wǎng)絡(luò)算法[8-10]等，其中基于維納濾波器理論的LMS 算法由于其結(jié)構(gòu)簡(jiǎn)單，計(jì)算復(fù)雜度度低，性能穩(wěn)定，易于實(shí)現(xiàn)等特點(diǎn)，仍是目前自適應(yīng)濾波理論中應(yīng)用最為廣泛的算法。但是在實(shí)際應(yīng)用中，許多待辨識(shí)的系統(tǒng)具有稀疏性，即沖擊響應(yīng)在時(shí)間域具有少量的非零值。對(duì)于稀疏系統(tǒng)辨識(shí)問(wèn)題，LMS 算法無(wú)法很好解決，因?yàn)長(zhǎng)MS算法沒(méi)有充分運(yùn)用沖激響應(yīng)稀疏這一先驗(yàn)知識(shí)。隨著LASSO[11]、壓縮感知（Compressive Sensing，CS）等稀疏理論技術(shù)研究的不斷深入和發(fā)展，在稀疏系統(tǒng)辨識(shí)方面相繼提出零吸引最小均方算法算法（ZA-LMS）[12]、加權(quán)零吸引最小均方算法（RZA-LMS）[13]、l0范數(shù)懲罰的LMS 算法[14]。文獻(xiàn)[15]首次提出加權(quán)l(xiāng)1范數(shù)懲罰求解最小化問(wèn)題可以增強(qiáng)系統(tǒng)稀疏性。本文借鑒上述思想，提出了加權(quán)的lp(0 ＜p ≤1)范數(shù)懲罰的LMS 算法，并用于稀疏系統(tǒng)辨識(shí)，仿真結(jié)果驗(yàn)證了該算法的有效性。

2 系統(tǒng)辨識(shí)模型

系統(tǒng)辨識(shí)在信號(hào)處理、通信和控制等領(lǐng)域里都有重要應(yīng)用，其實(shí)質(zhì)上是根據(jù)系統(tǒng)的輸入和輸出信號(hào)來(lái)估計(jì)或確定系統(tǒng)的特性以及系統(tǒng)的單位沖激響應(yīng)或傳遞函數(shù)。圖1是一個(gè)系統(tǒng)辨識(shí)問(wèn)題的框圖。

圖1 系統(tǒng)辨識(shí)模型圖

一輸入信號(hào)x(t) 經(jīng)過(guò)一個(gè)未知系統(tǒng)h ，得到信號(hào)y′(t) ，由于疊加了環(huán)境噪聲v(t) ，實(shí)際可測(cè)量的信號(hào)d(t)=y′(t)+v(t)作為自適應(yīng)濾波器的參考信號(hào)，又稱(chēng)為濾波器的期望信號(hào)。

定義輸入信號(hào)向量為：

則濾波器w 的輸出可寫(xiě)為：

誤差信號(hào)定義為期望信號(hào)與濾波器輸出之間的差：

自適應(yīng)濾波器w 使用輸入信號(hào)x(t)和期望信號(hào)d(t)，用迭代的方法對(duì)未知系統(tǒng)h 進(jìn)行辨識(shí)，當(dāng)算法收斂之后，w就是一個(gè)h 的估計(jì)。

3 算法描述

3.1 lp(0 ＜p ≤1)范數(shù)懲罰LMS 算法

針對(duì)一般稀疏系統(tǒng)的基于lp范數(shù)(0 ≤p ≤1)約束的自適應(yīng)算法核心思想，是根據(jù)未知系統(tǒng)的沖激響應(yīng)稀疏的特點(diǎn)，在更新濾波器抽頭權(quán)重的代價(jià)函數(shù)中施加稀疏性約束[12-14]。

研究表明，RZA-LMS 算法總體性能比ZA-LMS 算法有明顯優(yōu)勢(shì)，這是因?yàn)镽ZA-LMS 算法懲罰函數(shù)更接近l0范數(shù)懲罰。如果p 取值接近0 時(shí)，lp范數(shù)懲罰函數(shù)近似l0范數(shù)懲罰，有代價(jià)函數(shù)如下：

其中，||?||lp表示p 范數(shù)，λlp＞0 為控制lp范數(shù)影響大小的平衡因子。和RZA-LMS 代價(jià)函數(shù)相似，當(dāng)0 ＜p ＜1 時(shí)，代價(jià)函數(shù)具有共同的特性：非凸性、全局收斂性，以及相應(yīng)的運(yùn)算法則。但是lp(0 ＜p ＜1)范數(shù)懲罰的最小均方算法表現(xiàn)出更好的性能。式（4）求梯度，根據(jù)最速下降法得到相應(yīng)權(quán)系數(shù)更新等式：

當(dāng)p=1 時(shí)，文獻(xiàn)[12]提出的零吸引最小均方算法（ZA-LMS）。系數(shù)向量更新等式為：

當(dāng)0 ＜p ＜1 時(shí)，為了防止當(dāng)輸入信號(hào)向量為零或很小時(shí)算法不穩(wěn)定，通常在上式中的分母上加上一個(gè)小的正常數(shù)ξlp，稱(chēng)為正則參數(shù)。于是得到lp(0 ＜p ＜1) 范數(shù)懲罰的LMS 算法的系數(shù)向量更新等式為：

3.2 加權(quán)l(xiāng)p(0 ＜p ≤1)范數(shù)懲罰LMS 算法

解決最小化問(wèn)題時(shí)，在代價(jià)函數(shù)中引入加權(quán)的l1范數(shù)懲罰可以得到很好的稀疏作用，這一方法在稀疏的信號(hào)恢復(fù)得到實(shí)際應(yīng)用?？紤]到通常沖擊響應(yīng)稀疏的特性，如果lp(0 ＜p ≤1)范數(shù)懲罰的LMS 算法中加入一個(gè)更新權(quán)值，那么在稀疏系統(tǒng)辨識(shí)中會(huì)得到較好的仿真效果。相應(yīng)的代價(jià)函數(shù)如下：

其中，λrlp＞0 為控制加權(quán)l(xiāng)p范數(shù)影響大小的平衡因子，更新權(quán)值：

ζrlp為設(shè)置的一個(gè)正則參數(shù)。

當(dāng)p=1時(shí)，加權(quán)l(xiāng)1范數(shù)懲罰LMS算法的系數(shù)更行等式：

加權(quán)l(xiāng)1范數(shù)懲罰LMS 算法代價(jià)函數(shù)和RZA-LMS 算法、lp范數(shù)懲罰的LMS 算法不同的是其具有凸函數(shù)性質(zhì)，保證在一定的范圍內(nèi)收斂于最小值。

當(dāng)0 ＜p ＜1，由最速下降法導(dǎo)出加權(quán)l(xiāng)p范數(shù)懲罰LMS算法系數(shù)向量更新方程：

其中，γrlp=μλrlp，ξrlp設(shè)定為正則參數(shù)。式（4）和（8）中，λlp、λrlp的值選擇影響懲罰LMS算法仿真實(shí)驗(yàn)的結(jié)果，它們的選擇可以參考文獻(xiàn)[13]。加權(quán)l(xiāng)p范數(shù)懲罰LMS算法過(guò)程，如圖2。為了研究提出的稀疏懲罰LMS 算法，和已有的LMS、ZA-LMS 算法性能進(jìn)行比較，通過(guò)仿真實(shí)驗(yàn)得到結(jié)果。

圖2 加權(quán)l(xiāng)p 范數(shù)懲罰LMS 算法偽代碼

4 實(shí)驗(yàn)分析

為了檢驗(yàn)改進(jìn)算法在系統(tǒng)辨識(shí)應(yīng)用中的收斂速度和穩(wěn)態(tài)誤差兩方面性能，本文設(shè)置了以下3 個(gè)仿真實(shí)驗(yàn)。

實(shí)驗(yàn)1 假設(shè)有限脈沖響應(yīng)長(zhǎng)度N=16，輸入信號(hào)和觀測(cè)噪聲信號(hào)均為高斯白噪聲，方差分別為σx=1 ，σv=1E-3。情況一：設(shè)置第8 個(gè)抽頭權(quán)值為1，其他均為0，稀疏度1/16；情況二：情況一迭代200 次以后，隨機(jī)設(shè)置8 個(gè)抽頭權(quán)值非零，其他均為零，稀疏度8/16。5 個(gè)濾波器（LMS、ZA-LMS、lp(0 ＜p ＜1)范數(shù)懲罰LMS、加權(quán)l(xiāng)1范數(shù)懲罰LMS、加權(quán)l(xiāng)p(0 ＜p ＜1)范數(shù)懲罰LMS）各自運(yùn)行200 次，其 中 lp范 數(shù) 中 p=1/2 ，其 他 參 數(shù) 設(shè) 置 μ=0.05 ，γZA=γlp=γrl1=γrlp=7.4E-4，ξlp=ζrlp=ζrl1=ξrlp=1。仿真實(shí)驗(yàn)結(jié)果如圖3，從均方偏差MSD 結(jié)果可以看出，當(dāng)系統(tǒng)稀疏時(shí)（前200 次迭代），加權(quán)的lp(0 ＜p ≤1)懲罰LMS 算法要比經(jīng)典LMS 算法和lp(0 ＜p ≤1)懲罰的LMS 算法有較快的收斂速度和較小的均方偏差，并且p=1/2 時(shí)，加權(quán)的lp范數(shù)懲罰LMS 算法比加權(quán)l(xiāng)1范數(shù)懲罰性能更好。但是當(dāng)系統(tǒng)非稀疏時(shí)，盡管加權(quán)l(xiāng)p范數(shù)懲罰的LMS 算法有較快的收斂速度，但是均方偏差MSD 比一般LMS 算法有所不足。

圖3 白信號(hào)下算法收斂曲線

實(shí)驗(yàn)2 當(dāng)p 接近于0 時(shí)，lp范數(shù)接近l0范數(shù)，越接近l0范數(shù)懲罰的函數(shù)，對(duì)于稀疏系統(tǒng)自適應(yīng)濾波器的性能表現(xiàn)越好。如圖4，p 分別取1/2 和3/4。當(dāng)系統(tǒng)稀疏時(shí)（前200次迭代），加權(quán)l(xiāng)1/2范數(shù)懲罰LMS 算法收斂速度和穩(wěn)態(tài)誤差都有相對(duì)優(yōu)勢(shì)，但是當(dāng)稀疏度有所提高時(shí)（后200 次迭代），加權(quán)l(xiāng)3/4范數(shù)懲罰LMS 算法和l3/4范數(shù)懲罰LMS 算法較其相對(duì)應(yīng)的算法表現(xiàn)出較小均方偏差MSD和較慢的收斂速度。

圖4 白信號(hào)下不同p 值的lp 懲罰LMS 算法收斂曲線

實(shí)驗(yàn)3 已知有限脈沖響應(yīng)如圖5，長(zhǎng)度N=256，5 個(gè)濾波器分別迭代2 000 次，個(gè)別參數(shù)設(shè)置μ=0.005 ，γZA=γlp=γrl1=γrlp=1E-6，其他條件設(shè)置如實(shí)驗(yàn)1，仿真實(shí)驗(yàn)結(jié)果如圖6。當(dāng)p 的取值不同時(shí)，得到仿真結(jié)果如圖7。從圖中可以看出，加權(quán)的lp(p=1/2) 范數(shù)懲罰的LMS 算法相比較已有的稀疏LMS 算法在收斂速度和穩(wěn)態(tài)誤差方面都有較好的表現(xiàn)，并且p 在一定范圍內(nèi)取值越小表現(xiàn)的更為突出。

圖5 稀疏系統(tǒng)的沖擊響應(yīng)

圖6 稀疏系統(tǒng)和白信號(hào)條件下算法收斂曲線

圖7 稀疏系統(tǒng)和白信號(hào)條件下不同p 值的lp-LMS算法收斂曲線

5 結(jié)論

針對(duì)稀疏的系統(tǒng)辨識(shí)問(wèn)題，本文提出了一種改進(jìn)的稀疏系統(tǒng)辨識(shí)方法——加權(quán)的lp(0 ＜p ≤1)范數(shù)懲罰LMS 算法。仿真實(shí)驗(yàn)結(jié)果表明：對(duì)于稀疏的系統(tǒng)，改進(jìn)算法的收斂性和穩(wěn)態(tài)性有明顯提高；在[1/2，1]范圍內(nèi)p 取值越小，自適應(yīng)濾波器的性能也就相對(duì)較好。 p 在（0，1/2）區(qū)間內(nèi)步長(zhǎng)參數(shù)的選擇，將是下一階段的重點(diǎn)研究問(wèn)題。

[1] Bershad N J，Bermudez J C M，Toumere J Y.Stochastic analysis of the LMS algorithm for system identification with subspace input[J].IEEE Transation on Signal processing，2008，56（3）：1018-1027.

[2] 劉艷玲，邱丙益，樊長(zhǎng)江.基于LMS 算法的衛(wèi)星通信回波抵消方法[J].船舶電子工程，2007，27（6）：100-102.

[3] 孫永國(guó).稀疏路徑回波對(duì)消自適應(yīng)并法的研究[D].成都：四川大學(xué)，2006.

[4] 陳立峰.自適應(yīng)聲回波抵消算法的研究與實(shí)現(xiàn)[D].廈門(mén)：廈門(mén)大學(xué)，2006.

[5] 趙亮，朱維慶，朱敏.一種用于水聲相干通信系統(tǒng)的自適應(yīng)均衡算法[J].電子與信息報(bào)，2008，30（3）：648-651.

[6] Haykin S.Adaptive filter theory[M].4th ed.Upper Saddle River，NJ：Prentice Hall，2002.

[7] Diniz P S R.自適應(yīng)濾波算法與實(shí)現(xiàn)[M].2版.劉郁林，景曉軍，譚剛兵，譯.北京：北京電子工業(yè)出版社，2004.

[8] Widrow B，Hoff M E.Adaptive switching circuits[C]//Proceedings of the IRE WESCON Conference，1960：96-104.

[9] 孫錦華，金力軍.幾種改進(jìn)型RLS 算法在自適應(yīng)濾波系統(tǒng)中的應(yīng)用[J].重慶郵電學(xué)院學(xué)報(bào)，2003，15（3）：14-15.

[10] 翁玉麟，鄧長(zhǎng)虹.自適應(yīng)神經(jīng)網(wǎng)絡(luò)模糊推理系統(tǒng)最優(yōu)參數(shù)的研究[J].計(jì)算機(jī)仿真，2005，22（8）：140-243.

[11] Fu W.Penalized regressions：the bridge versus the lasso[J].Journal of Computational and Graphical Statistics，1998，7（3）：397-416.

[12] 金堅(jiān)，谷源濤，梅順良.用于稀疏系統(tǒng)辨識(shí)的零吸引最小均方算法[J].清華大學(xué)學(xué)報(bào)：自然科學(xué)版，2010，50（9）：1312-1315.

[13] Chen Y，Gu Y，Hero A O.Sparse LMS for system identification[C]//Proc of IEEE ICASSP，Taipei，Taiwan，China，Apr，2009：3125-3128.

[14] Gu Y，Jin J，Mei S.l0norm constraint LMS algorithm for sparse system identification[J].IEEE Signal Processing Letters，2009，16（9）：774-777.

[15] Candes E J，Wakin M B，Boyd S P.Enhancing sparsity by reweighted l1minimization[J].Journal of Fourier Analysis and Applications，2008，14（5）：877-905.