帶零吸收項(xiàng)的變步長(zhǎng)l0范數(shù)歸一化最小均方誤差算法

管四海, 李智， 黃輝， 王哲

(1.西安電子科技大學(xué) 機(jī)電工程學(xué)院, 陜西 西安 710071； 2. 西安電子科技大學(xué) 電子工程學(xué)院， 陜西 西安 710071； 3.西安航天動(dòng)力測(cè)控技術(shù)研究所， 陜西 西安 710025)

?

帶零吸收項(xiàng)的變步長(zhǎng)l0范數(shù)歸一化最小均方誤差算法

管四海1, 李智1， 黃輝2， 王哲3

(1.西安電子科技大學(xué) 機(jī)電工程學(xué)院, 陜西 西安 710071； 2. 西安電子科技大學(xué) 電子工程學(xué)院， 陜西 西安 710071； 3.西安航天動(dòng)力測(cè)控技術(shù)研究所， 陜西 西安 710025)

針對(duì)稀疏系統(tǒng)的識(shí)別問(wèn)題，提出一種帶零吸收項(xiàng)的變步長(zhǎng)l0范數(shù)約束歸一化最小均方誤差 (l0-NLMS)算法。在此改進(jìn)的l0-NLMS算法中,通過(guò)箕舌函數(shù)來(lái)調(diào)整步長(zhǎng)的變化,理論推導(dǎo)了此l0-NLMS算法在均值和均方差下的收斂條件以及均方誤差和均方偏移量的表達(dá)式。設(shè)計(jì)實(shí)驗(yàn)分別比較在不同輸入信號(hào)時(shí)算法的步長(zhǎng)和穩(wěn)態(tài)偏移量的變化,通過(guò)仿真驗(yàn)證該算法在識(shí)別稀疏信道模型上是有效的。分析結(jié)果表明：當(dāng)處于相對(duì)高的信噪比、低的信噪比、輸入不相關(guān)信號(hào)和輸入相關(guān)信號(hào)時(shí),該算法具有較快的收斂速度，能很好地進(jìn)行稀疏系統(tǒng)的模型識(shí)別。

信息處理技術(shù); 稀疏系統(tǒng);l0范數(shù)約束歸一化最小均方誤差算法; 變步長(zhǎng); 系統(tǒng)噪聲; 箕舌函數(shù)

0 引言

最小均方誤差(LMS)算法簡(jiǎn)單易行，故在系統(tǒng)識(shí)別、噪聲去除以及信道估計(jì)等方面已得到廣泛的應(yīng)用[1]。雖然自適應(yīng)信道估計(jì)(ACE)能有效地估計(jì)稀疏信道[2-3]，但步長(zhǎng)決定ACE的性能，包括算法的收斂速度、計(jì)算量等[4]。步長(zhǎng)較大時(shí)自適應(yīng)算法具有較快的收斂速度，但同時(shí)會(huì)帶來(lái)很大的最小均方誤差(MSE)，甚至使得算法無(wú)法收斂。雖然小的步長(zhǎng)會(huì)降低MSE，但隨之會(huì)降低收斂速度，故在實(shí)際中希望在開(kāi)始階段選擇大的步長(zhǎng)，使自適應(yīng)算法有較快的速度去收斂；當(dāng)自適應(yīng)算法趨于穩(wěn)定時(shí)，選較小的步長(zhǎng)，使其具有較小的MSE. 顯然，固定步長(zhǎng)的算法不能很好均衡收斂速度和穩(wěn)態(tài)誤差二者的矛盾，因此很多學(xué)者從變步長(zhǎng)的角度研究LMS算法[5-16]。文獻(xiàn)[5]提出變步長(zhǎng)LMS(VSSLMS)算法，盡管VSSLMS算法能獲得較小的穩(wěn)態(tài)誤差，但是權(quán)系數(shù)調(diào)整步長(zhǎng)在更新時(shí)易受噪聲影響。針對(duì)此問(wèn)題，文獻(xiàn)[6]提出一種解決方法，但在環(huán)境突變時(shí)此方法的跟蹤性能較差。文獻(xiàn)[8]提出函數(shù)控制的變步長(zhǎng)LMS(FCVSSLMS)算法，它能確保在大多時(shí)間內(nèi)算法具有大的收斂速度。稀疏系統(tǒng)不同于一般系統(tǒng)，在很多實(shí)際場(chǎng)景中假設(shè)系統(tǒng)的系數(shù)大多數(shù)為0或接近于0[2,9]，故一旦一般的LMS算法應(yīng)用到稀疏系統(tǒng)時(shí)，這些算法效果不佳。文獻(xiàn)[7]提出更穩(wěn)健的變步長(zhǎng)LMS(MRVSSLMS)算法，可有效解決文獻(xiàn)[4]存在的問(wèn)題。但若應(yīng)用的系統(tǒng)是稀疏系統(tǒng)，此時(shí)算法的收斂性能會(huì)變壞。文獻(xiàn)[17]在Gu等[10]提出零吸收項(xiàng)的LMS(ZALMS)算法的基礎(chǔ)上，給出了改進(jìn)的零范數(shù)約束LMS(l0_LMS)算法，但此算法中誤差也易受噪聲干擾且權(quán)系數(shù)調(diào)整步長(zhǎng)因子還待修正。針對(duì)此，文獻(xiàn)[18]提出一種改進(jìn)的l0_LMS算法。Chen等[11]基于文獻(xiàn)[10]提出了再加權(quán)的ZALMS(RZALMS)算法，然而在RZALMS算法中對(duì)零吸引因子的選擇不靈活。針對(duì)此問(wèn)題，文獻(xiàn)[19]提出了一種改進(jìn)的RZALMS算法。為克服l0和l1范數(shù)約束的最小均方算法在不同信道稀疏程度下對(duì)稀疏信道估計(jì)中出現(xiàn)的收斂性能起伏較大等缺點(diǎn)，文獻(xiàn)[20]提出一種新的似p范數(shù)約束的最小均方算法，能很好地估計(jì)水聲信道[3]。文獻(xiàn)[10]在FCVSSLMS 算法基礎(chǔ)上提出一種新的算法，但是在更新步長(zhǎng)時(shí)系統(tǒng)噪聲的影響是個(gè)亟需解決的問(wèn)題。為了消除系統(tǒng)噪聲在補(bǔ)償調(diào)整時(shí)的影響，文獻(xiàn)[13]在文獻(xiàn)[14]基礎(chǔ)上提出改進(jìn)的變步長(zhǎng)NLMS(IVF-NLMS)算法，但當(dāng)系統(tǒng)稀疏度降低時(shí)算法性能降低。針對(duì)此問(wèn)題，文獻(xiàn)[12]提出一種算法，然而針對(duì)輸入為相關(guān)信號(hào)，如何提高算法收斂速度和在識(shí)別稀疏系統(tǒng)時(shí)的抗噪聲性能，有待進(jìn)一步改進(jìn)，且算法的穩(wěn)定性易受輸入信號(hào)的影響。

綜上分析，本文提出一個(gè)改進(jìn)的l0范數(shù)約束NLMS算法，該算法的步長(zhǎng)由箕舌函數(shù)控制更新。分析結(jié)果表明：在不同的信噪比以及不相關(guān)或相關(guān)的輸入信號(hào)下，本文算法有較快的收斂速度和識(shí)別性能。

1 本文算法及分析

1.1 算法闡述

d(n)=XT(n)Wo+ζ(n)，

(1)

標(biāo)準(zhǔn)LMS算法的代價(jià)函數(shù)表示為

W(n)=arg minJ(W(n))=arg min|e(n)|2，

(2)

e(n)=d(n)-XT(n)W(n).

(3)

在原J(W(n))上附加一個(gè)l0約束項(xiàng)，形如(4)式：

J(W(n))=|d(n)-XT(n)W(n)|2+

γ(n)‖W(n)‖0,

γ(n)=λμ(n),

(4)

(5)

(6)

式中：γ(n)>0是權(quán)衡約束項(xiàng)‖W(n)‖0和|d(n)-XT(n)W(n)|2；μ(n)為步長(zhǎng)；λ為均衡量，用于均衡收斂速度和穩(wěn)態(tài)誤差二者之間的矛盾。

用梯度法解(2)式，對(duì)J(W(n))求梯度得[10]

γ(n)fλ(W(n)),

(7)

(8)

因此可得系統(tǒng)系數(shù)的更新求解式：

γ(n)fλ(W(n))，

(9)

式中：δ為很小的正數(shù)，確保(9)式成立，即防止XT(n)X(n)=0.

為了動(dòng)態(tài)調(diào)整μ(n)，本文采用一個(gè)基于箕舌函數(shù)[15-16]的變量來(lái)動(dòng)態(tài)改變步長(zhǎng)μ(n)：

(10)

(11)

(12)

式中：1-1/(2L)≤χ<1[21]。

故綜上所述，(3)式、(9)式、(10)式、(11)式、(12)式就構(gòu)成了本文提出的改進(jìn)帶零吸收項(xiàng)的l0-NLMS算法。

1.2 算法性能分析

把z(n)=W(n)-Wo代入(9)式，可得

γ(n)fλ(W(n))-Wo.

(13)

把(3)式代入(13)式，得z(n+1)的遞推表達(dá)式：

z(n+1)=z(n)+

γ(n)fλ(W(n)).

(14)

把(1)式代入(14)式，得

(15)

1.2.1 均值收斂

可用(15)式得到所提算法均值意義下的收斂性能，對(duì)(15)式兩端取期望，得

E[z(n)]-λE[μ(n)fλ(W(n))].

(16)

設(shè)λmax是R的最大的特征值，顯然λmax≤tr(R)。tr(·)表示求跡運(yùn)算。因此提出的算法在均值意義下收斂的條件為

(17)

當(dāng)n→∞時(shí),

(18)

把(18)式代入(16)式，得

(19)

結(jié)合(8)式與假設(shè)條件化簡(jiǎn)(19)式，得

E[z(∞)]=

(20)

把(20)式代入z(n)=W(n)-Wo，可得在穩(wěn)態(tài)時(shí)系數(shù)均值的表達(dá)式：

E[W(∞)]=

(21)

1.2.2 穩(wěn)態(tài)均方偏移量

本節(jié)中將給出本文所提出穩(wěn)態(tài)均方偏移量(MSD)算法。定義

MSD(n)=E[‖z(n)‖2]，

(22)

基于(15)式，可得

‖z(n+1)‖2=zT(n+1)z(n+1)=

(23)

對(duì)(23)式等號(hào)兩端取期望，化簡(jiǎn)可得

E[zT(n)fλ(W(n))]+λ2E[μ2(n)]·

(24)

(25)

當(dāng)n→∞時(shí)，得

fλ(W(∞))=

(26)

此時(shí)(24)式表示為

MSD(∞)=

(27)

式中：

(28)

結(jié)合(8)式、(26)式、(27)式和(28)式，可得提出算法的MSD(∞)。

1.2.3 穩(wěn)態(tài)MSE

在本節(jié)中，將給出本文所提算法穩(wěn)態(tài)時(shí)的MSE. 結(jié)合(1)式和(2)式，得

e(n)=ζ(n)-XT(n)z(n).

(29)

定義MSE表示為MSE(n)=E[e2(n)]，則

MSE(n)=E[ζ2(n)]+E[zT(n)X(n)XT(n)z(n)]=

(30)

結(jié)合(8)式和(30)式，可得到所提出算法的穩(wěn)態(tài)MSE：

(31)

求解(28)式和(31)式，需要求解Λ=E[μ2(∞)]/E[μ(∞)]. 由(10)式得

(32)

由(12)式得

E[pT(n)p(n)]=χ2E[pT(0)p(0)]+

(33)

(34)

結(jié)合(32)式～(34)式，可得

(35)

把(35)式代入(32)式即可得Λ.

2 算法性能仿真分析

圖1 稀疏系統(tǒng)的脈沖響應(yīng)Fig.1 Impulse response of sparse system

表1 算法復(fù)雜度比較

從表1可知，本文提出算法計(jì)算復(fù)雜度有所提高，是因?yàn)樘岢龅乃惴ㄖ行枰烙?jì)輸入信號(hào)的方差以及系統(tǒng)參數(shù)迭代運(yùn)算中的歸一化運(yùn)算。

實(shí)驗(yàn)1 此實(shí)驗(yàn)中各參數(shù)的設(shè)置見(jiàn)表2，仿真結(jié)果見(jiàn)圖2. 系統(tǒng)輸入不相關(guān)信號(hào)，且SNR=20 dB. 圖2(a)和圖2(b)分別表示μ和MSD的比較曲線。

表2 實(shí)驗(yàn)中各參數(shù)的設(shè)定

圖2 μ和MSD的各自比較曲線Fig.2 Output MSD and comparison curves of μ

實(shí)驗(yàn)2 此實(shí)驗(yàn)中各參數(shù)的設(shè)置見(jiàn)表2，仿真結(jié)果見(jiàn)圖3. 系統(tǒng)輸入不相關(guān)信號(hào)，且SNR=3 dB. 圖3(a)和圖3(b)分別表示μ和MSD的比較曲線。

圖3 μ和MSD的各自比較曲線Fig.3 Output MSD and comparison curves of μ

實(shí)驗(yàn)3 此實(shí)驗(yàn)中各參數(shù)的設(shè)置見(jiàn)表2，仿真結(jié)果見(jiàn)圖4. 系統(tǒng)輸入相關(guān)系數(shù)為0.5的相關(guān)信號(hào)，且SNR=20 dB. 圖4(a)和圖4(b)分別表示μ和MSD的比較曲線。

實(shí)驗(yàn)4 此實(shí)驗(yàn)中各參數(shù)的設(shè)置見(jiàn)表2，仿真結(jié)果見(jiàn)圖5. 系統(tǒng)輸入相關(guān)系數(shù)為0.5的相關(guān)信號(hào)，且SNR=3 dB. 圖5(a)和圖5(b)分別表示μ和MSD的比較曲線。

從實(shí)驗(yàn)結(jié)果圖2與圖4的比較或是圖3與圖5的相比可知：當(dāng)處于相同信噪比時(shí)，輸入相關(guān)信號(hào)或不相關(guān)信號(hào)，相比文獻(xiàn)[12]提出的算法，本文提出的算法在收斂初期步長(zhǎng)較大，具有較快的收斂速度；在穩(wěn)態(tài)時(shí)步長(zhǎng)值較小，因此有低穩(wěn)態(tài)誤差。

圖4 μ和MSD的各自比較曲線Fig.4 Output MSD and comparison curves of μ

圖5 μ和MSD的各自比較曲線Fig.5 Output MSD and comparison curves of μ

從實(shí)驗(yàn)結(jié)果圖2與圖3的比較或是圖4與圖5的相比可知：當(dāng)輸入相關(guān)信號(hào)或不相關(guān)信號(hào)時(shí)，不論是高SNR還是低SNR，相比文獻(xiàn)[12]提出的算法，本文提出的算法在收斂初期步長(zhǎng)較大，具有較快的收斂速度；在穩(wěn)態(tài)時(shí)步長(zhǎng)值較小，因此有低穩(wěn)態(tài)誤差。

總之，不論輸入信號(hào)相關(guān)與否還是信噪比的高低，本文提出的算法收斂速度較快，穩(wěn)態(tài)性能好，進(jìn)而能有效地識(shí)別稀疏系統(tǒng)。

3 結(jié)論

為能降低在l0-NLMS算法中系統(tǒng)的噪聲影響，并提高其收斂速度，且降低輸入信號(hào)的影響，本文給出一種帶零吸收項(xiàng)的l0-NLMS算法。相比文獻(xiàn)[12]提出的算法，本文所提出的算法具有良好的抗噪聲性能。此外，應(yīng)用于識(shí)別稀疏系統(tǒng)的實(shí)驗(yàn)仿真結(jié)果表明：輸入相關(guān)信號(hào)或不相關(guān)信號(hào)時(shí)，本文提出的算法都具有快的收斂速度和低的穩(wěn)態(tài)誤差；同時(shí)，此實(shí)驗(yàn)仿真結(jié)果也表明：當(dāng)輸入高信噪比或低信噪比的信號(hào)時(shí)，本文提出的算法同樣保持好的收斂性能和好的穩(wěn)態(tài)性能。總之，本文提出帶零吸收項(xiàng)的l0-NLMS算法在收斂速度與抗系統(tǒng)噪聲方面都具有良好的性能，且降低了輸入信號(hào)的影響，在稀疏信道的識(shí)別方面具有很大的實(shí)用前景。

References)

[1] Diniz P S R. Adaptive filtering [M]. 4th ed. Boston, MA, US: Springer, 2013.

[2] Yoo J W, Shin J W, Park P G. An improved NLMS algorithm in sparse systems against noisy input signals[J]. IEEE Transactions on Circuits and Systems II-Express Briefs, 2015, 62(3):271-275.

[3] 伍飛云, 周躍海, 童峰, 等. 可適應(yīng)稀疏度變化的非均勻范數(shù)約束水聲信道估計(jì)算[J]. 兵工學(xué)報(bào), 2014, 35(9):1503-1509. WU Fei-yun, ZHOU Yue-hai, TONG Feng, et al. Non-uniform norm constraint estimation algorithm for underwater acoustic channels at the presence of varying sparsity[J]. Acta Armamentarii, 2014, 35(9):1503-1509. (in Chinese)

[4] Nunoo S, Ngah R, Chude-Okonkwo U A K. Performance of LMS, NLMS and LMF algorithms in tracking time-varying UWB channels[C]∥IEEE International Conference on Signal and Image Processing Applications. Melaka: IEEE, 2013:312-316.

[5] Kwong R H. A variable step-size LMS algorithm[J]. IEEE Transactions on Signal Processing, 1992, 40(7):1633-1641.

[6] Aboulnasr T, Mayyas K. A robust variable step-size LMS type algorithm: analysis and simulations[J]. IEEE Transactions on Signal Processing, 1997, 45(3):631-639.

[7] Zhao S, Man Z, Khoo S, et al. Variable step-size LMS algorithm with a quotient form[J]. Signal Processing, 2009, 89(1):67-76.

[8] Li M, Li L P, Tai H M. Variable step size LMS algorithm based on function control[J]. Circuits Systems & Signal Processing, 2013, 32(6):3121-3130.

[9] Taheri O, Vorobyov S A. Reweightedl1-norm penalized LMS for sparse channel estimation and its analysis[J]. Signal Processing, 2014, 104(6):70-79.

[10] Gu Y T, Jin J, Mei S L.l0norm constraint LMS algorithm for sparse system identification[J]. IEEE Signal Processing Letters, 2009, 16(9): 774-777.

[11] Chen Y, Gu Y, Hero A O. Sparse LMS for system identification[C]∥IEEE International Conference on Acoustics, Speech, & Signal Processing. Taipei: IEEE, 2009:3125-3128.

[12] Turan C, Salman M S. Zero-attracting function controlled VSSLMS algorithm with analysis[J]. Circuits Systems and Signal Processing, 2015, 34(9): 3071-3080.

[13] Yu Y, Zhao H. An improved variable step-size NLMS algorithm based on a versiera function[C]∥IEEE International Conference on Signal Processing, Communication and Computing. Kunming, China: IEEE, 2013.

[14] Huang H, Lee J. A new variable step-size NLMS algorithm and its performance analysis [J]. IEEE Transactions on Signal Processing, 2012, 60(4):2055-2060.

[15] 徐洋, 徐松濤, 馬健, 等. 基于Sigmoid二次型隸屬度函數(shù)的改進(jìn)LMS算法[J]. 中南大學(xué)學(xué)報(bào):自然科學(xué)版, 2014, 45(10):3470-3476. XU Yang, XU Song-tao, MA Jian, et al. Improved LMS algorithm based on Sigmoid quadratic membership function[J]. Journal of Central South University: Science and Technology, 2014, 45(10):3470-3476.(in Chinese)

[16] Wang Y L, Tian X L. A modified speech enhancement algorithm for electronic cochlear implant and its digital signal processing realization[J]. Journal of Biomedical Engineering, 2014, 31(4):742-746,754.

[17] 曲慶, 金堅(jiān), 谷源濤. 用于稀疏系統(tǒng)辨識(shí)的改進(jìn)l0_LMS算法[J]. 電子與信息學(xué)報(bào), 2011, 33(3):604-609. QU Qing, JIN Jian, GU Yuan-tao. An improvedl0-LMS algorithm for sparse system identification[J]. Journal of Electronics and Information Technology, 2011, 33(3):604-609.(in Chinese)

[18] 管四海, 李智. 改進(jìn)的l0范數(shù)LMS算法與分析[J]. 北京郵電大學(xué)學(xué)報(bào), 2015, 38(4):81-85. GUAN Si-hai, LI Zhi. A modifiedl0_LMS algorithm and its performance analysis[J]. Journal of Beijing University of Posts and Telecommunications, 2015, 38(4):81-85.(in Chinese)

[19] 萬(wàn)濤, 劉遵雄, 王樹(shù)成. 用于稀疏系統(tǒng)辨識(shí)的改進(jìn)懲罰LMS算法研究[J]. 華東交通大學(xué)學(xué)報(bào), 2013, 30(6):62-66. WAN Tao, LIU Zun-xiong, WANG Shu-cheng. The improvement of LMS algorithm for sparse system identification[J]. Journal of East China Jiaotong University, 2013, 30(6):62-66.(in Chinese)

[20] 伍飛云, 周躍海, 童峰. 引入梯度導(dǎo)引似p范數(shù)約束的稀疏信道估計(jì)算法[J]. 通信學(xué)報(bào), 2014, 35(7):172-177. WU Fei-yun, ZHOU Yue-hai, TONG Feng. Estimation algorithm for sparse channels with gradient guidedp-norm like constraints[J]. Journal on Communications, 2014, 35(7):172-177.(in Chinese)

[21] Benesty J, Rey H, Vega L R, et al. A nonparametric VSS NLMS algorithm[J]. IEEE Signal Processing Letters, 2006, 13(10):581-584.

Modified Zero-Attractingl0-NLMS Algorithm

GUAN Si-hai1， LI Zhi1, HUANG Hui2, WANG Zhe3

(1.School of Mechano-Electronic Engineering, Xidian University, Xi’an 710071, Shaanxi, China; 2.School of Electronic Engineering, Xidian University, Xi’an 710071, Shaanxi, China; 3.Xi’an Aerospace Power Measurement and Control Technology Institute, Xi’an 710025, Shaanxi, China)

A new zero-attracting variable step sizel0-NLMS algorithm is proposed for recognition of sparse system. Step size ofl0-NLMS algorithm is changed by the versiera function. The convergence and convergence conditions, and the mean square error (MSE) and mean square deviation (MSD) of the proposed algorithm are derived. Simulation experiments with different signal-to-noise ratios (SNR) and different levels of autocorrelation of input signal are performed to compare the step size and MSD. The experimental simulation results show that the proposed algorithm can achieve faster convergence rate and good performance of pattern recognition even when the input signal is correlated, and can identify the sparse systems effectively.

information processing technology; sparse system;l0-NLMS algorithm; variable step size; system noise; versiera function

2016-01-06

國(guó)家自然科學(xué)基金項(xiàng)目(61074120)；高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金項(xiàng)目(2011020311004)

管四海(1990—)，男，博士研究生。E-mail:gcihey@sina.cn； 李智 (1961—)，男，教授，博士生導(dǎo)師。E-mail:zhli@xidian.edu.cn

TN911.72

A

1000-1093(2016)11-2170-07

10.3969/j.issn.1000-1093.2016.11.027