帶零吸收項的變步長l0范數歸一化最小均方誤差算法

管四海, 李智， 黃輝， 王哲

(1.西安電子科技大學 機電工程學院, 陜西 西安 710071； 2. 西安電子科技大學 電子工程學院， 陜西 西安 710071； 3.西安航天動力測控技術研究所， 陜西 西安 710025)

?

帶零吸收項的變步長l0范數歸一化最小均方誤差算法

管四海1, 李智1， 黃輝2， 王哲3

(1.西安電子科技大學 機電工程學院, 陜西 西安 710071； 2. 西安電子科技大學 電子工程學院， 陜西 西安 710071； 3.西安航天動力測控技術研究所， 陜西 西安 710025)

針對稀疏系統的識別問題，提出一種帶零吸收項的變步長l0范數約束歸一化最小均方誤差 (l0-NLMS)算法。在此改進的l0-NLMS算法中,通過箕舌函數來調整步長的變化,理論推導了此l0-NLMS算法在均值和均方差下的收斂條件以及均方誤差和均方偏移量的表達式。設計實驗分別比較在不同輸入信號時算法的步長和穩態偏移量的變化,通過仿真驗證該算法在識別稀疏信道模型上是有效的。分析結果表明：當處于相對高的信噪比、低的信噪比、輸入不相關信號和輸入相關信號時,該算法具有較快的收斂速度，能很好地進行稀疏系統的模型識別。

信息處理技術; 稀疏系統;l0范數約束歸一化最小均方誤差算法; 變步長; 系統噪聲; 箕舌函數

0 引言

最小均方誤差(LMS)算法簡單易行，故在系統識別、噪聲去除以及信道估計等方面已得到廣泛的應用[1]。雖然自適應信道估計(ACE)能有效地估計稀疏信道[2-3]，但步長決定ACE的性能，包括算法的收斂速度、計算量等[4]。步長較大時自適應算法具有較快的收斂速度，但同時會帶來很大的最小均方誤差(MSE)，甚至使得算法無法收斂。雖然小的步長會降低MSE，但隨之會降低收斂速度，故在實際中希望在開始階段選擇大的步長，使自適應算法有較快的速度去收斂；當自適應算法趨于穩定時，選較小的步長，使其具有較小的MSE. 顯然，固定步長的算法不能很好均衡收斂速度和穩態誤差二者的矛盾，因此很多學者從變步長的角度研究LMS算法[5-16]。文獻[5]提出變步長LMS(VSSLMS)算法，盡管VSSLMS算法能獲得較小的穩態誤差，但是權系數調整步長在更新時易受噪聲影響。針對此問題，文獻[6]提出一種解決方法，但在環境突變時此方法的跟蹤性能較差。文獻[8]提出函數控制的變步長LMS(FCVSSLMS)算法，它能確保在大多時間內算法具有大的收斂速度。稀疏系統不同于一般系統，在很多實際場景中假設系統的系數大多數為0或接近于0[2,9]，故一旦一般的LMS算法應用到稀疏系統時，這些算法效果不佳。文獻[7]提出更穩健的變步長LMS(MRVSSLMS)算法，可有效解決文獻[4]存在的問題。但若應用的系統是稀疏系統，此時算法的收斂性能會變壞。文獻[17]在Gu等[10]提出零吸收項的LMS(ZALMS)算法的基礎上，給出了改進的零范數約束LMS(l0_LMS)算法，但此算法中誤差也易受噪聲干擾且權系數調整步長因子還待修正。針對此，文獻[18]提出一種改進的l0_LMS算法。Chen等[11]基于文獻[10]提出了再加權的ZALMS(RZALMS)算法，然而在RZALMS算法中對零吸引因子的選擇不靈活。針對此問題，文獻[19]提出了一種改進的RZALMS算法。為克服l0和l1范數約束的最小均方算法在不同信道稀疏程度下對稀疏信道估計中出現的收斂性能起伏較大等缺點，文獻[20]提出一種新的似p范數約束的最小均方算法，能很好地估計水聲信道[3]。文獻[10]在FCVSSLMS 算法基礎上提出一種新的算法，但是在更新步長時系統噪聲的影響是個亟需解決的問題。為了消除系統噪聲在補償調整時的影響，文獻[13]在文獻[14]基礎上提出改進的變步長NLMS(IVF-NLMS)算法，但當系統稀疏度降低時算法性能降低。針對此問題，文獻[12]提出一種算法，然而針對輸入為相關信號，如何提高算法收斂速度和在識別稀疏系統時的抗噪聲性能，有待進一步改進，且算法的穩定性易受輸入信號的影響。

綜上分析，本文提出一個改進的l0范數約束NLMS算法，該算法的步長由箕舌函數控制更新。分析結果表明：在不同的信噪比以及不相關或相關的輸入信號下，本文算法有較快的收斂速度和識別性能。

1 本文算法及分析

1.1 算法闡述

d(n)=XT(n)Wo+ζ(n)，

(1)

標準LMS算法的代價函數表示為

W(n)=arg minJ(W(n))=arg min|e(n)|2，

(2)

e(n)=d(n)-XT(n)W(n).

(3)

在原J(W(n))上附加一個l0約束項，形如(4)式：

J(W(n))=|d(n)-XT(n)W(n)|2+

γ(n)‖W(n)‖0,

γ(n)=λμ(n),

(4)

(5)

(6)

式中：γ(n)>0是權衡約束項‖W(n)‖0和|d(n)-XT(n)W(n)|2；μ(n)為步長；λ為均衡量，用于均衡收斂速度和穩態誤差二者之間的矛盾。

用梯度法解(2)式，對J(W(n))求梯度得[10]

γ(n)fλ(W(n)),

(7)

(8)

因此可得系統系數的更新求解式：

γ(n)fλ(W(n))，

(9)

式中：δ為很小的正數，確保(9)式成立，即防止XT(n)X(n)=0.

為了動態調整μ(n)，本文采用一個基于箕舌函數[15-16]的變量來動態改變步長μ(n)：

(10)

(11)

(12)

式中：1-1/(2L)≤χ<1[21]。

故綜上所述，(3)式、(9)式、(10)式、(11)式、(12)式就構成了本文提出的改進帶零吸收項的l0-NLMS算法。

1.2 算法性能分析

把z(n)=W(n)-Wo代入(9)式，可得

γ(n)fλ(W(n))-Wo.

(13)

把(3)式代入(13)式，得z(n+1)的遞推表達式：

z(n+1)=z(n)+

γ(n)fλ(W(n)).

(14)

把(1)式代入(14)式，得

(15)

1.2.1 均值收斂

可用(15)式得到所提算法均值意義下的收斂性能，對(15)式兩端取期望，得

E[z(n)]-λE[μ(n)fλ(W(n))].

(16)

設λmax是R的最大的特征值，顯然λmax≤tr(R)。tr(·)表示求跡運算。因此提出的算法在均值意義下收斂的條件為

(17)

當n→∞時,

(18)

把(18)式代入(16)式，得

(19)

結合(8)式與假設條件化簡(19)式，得

E[z(∞)]=

(20)

把(20)式代入z(n)=W(n)-Wo，可得在穩態時系數均值的表達式：

E[W(∞)]=

(21)

1.2.2 穩態均方偏移量

本節中將給出本文所提出穩態均方偏移量(MSD)算法。定義

MSD(n)=E[‖z(n)‖2]，

(22)

基于(15)式，可得

‖z(n+1)‖2=zT(n+1)z(n+1)=

(23)

對(23)式等號兩端取期望，化簡可得

E[zT(n)fλ(W(n))]+λ2E[μ2(n)]·

(24)

(25)

當n→∞時，得

fλ(W(∞))=

(26)

此時(24)式表示為

MSD(∞)=

(27)

式中：

(28)

結合(8)式、(26)式、(27)式和(28)式，可得提出算法的MSD(∞)。

1.2.3 穩態MSE

在本節中，將給出本文所提算法穩態時的MSE. 結合(1)式和(2)式，得

e(n)=ζ(n)-XT(n)z(n).

(29)

定義MSE表示為MSE(n)=E[e2(n)]，則

MSE(n)=E[ζ2(n)]+E[zT(n)X(n)XT(n)z(n)]=

(30)

結合(8)式和(30)式，可得到所提出算法的穩態MSE：

(31)

求解(28)式和(31)式，需要求解Λ=E[μ2(∞)]/E[μ(∞)]. 由(10)式得

(32)

由(12)式得

E[pT(n)p(n)]=χ2E[pT(0)p(0)]+

(33)

(34)

結合(32)式～(34)式，可得

(35)

把(35)式代入(32)式即可得Λ.

2 算法性能仿真分析

圖1 稀疏系統的脈沖響應Fig.1 Impulse response of sparse system

表1 算法復雜度比較

從表1可知，本文提出算法計算復雜度有所提高，是因為提出的算法中需要估計輸入信號的方差以及系統參數迭代運算中的歸一化運算。

實驗1 此實驗中各參數的設置見表2，仿真結果見圖2. 系統輸入不相關信號，且SNR=20 dB. 圖2(a)和圖2(b)分別表示μ和MSD的比較曲線。

表2 實驗中各參數的設定

圖2 μ和MSD的各自比較曲線Fig.2 Output MSD and comparison curves of μ

實驗2 此實驗中各參數的設置見表2，仿真結果見圖3. 系統輸入不相關信號，且SNR=3 dB. 圖3(a)和圖3(b)分別表示μ和MSD的比較曲線。

圖3 μ和MSD的各自比較曲線Fig.3 Output MSD and comparison curves of μ

實驗3 此實驗中各參數的設置見表2，仿真結果見圖4. 系統輸入相關系數為0.5的相關信號，且SNR=20 dB. 圖4(a)和圖4(b)分別表示μ和MSD的比較曲線。

實驗4 此實驗中各參數的設置見表2，仿真結果見圖5. 系統輸入相關系數為0.5的相關信號，且SNR=3 dB. 圖5(a)和圖5(b)分別表示μ和MSD的比較曲線。

從實驗結果圖2與圖4的比較或是圖3與圖5的相比可知：當處于相同信噪比時，輸入相關信號或不相關信號，相比文獻[12]提出的算法，本文提出的算法在收斂初期步長較大，具有較快的收斂速度；在穩態時步長值較小，因此有低穩態誤差。

圖4 μ和MSD的各自比較曲線Fig.4 Output MSD and comparison curves of μ

圖5 μ和MSD的各自比較曲線Fig.5 Output MSD and comparison curves of μ

從實驗結果圖2與圖3的比較或是圖4與圖5的相比可知：當輸入相關信號或不相關信號時，不論是高SNR還是低SNR，相比文獻[12]提出的算法，本文提出的算法在收斂初期步長較大，具有較快的收斂速度；在穩態時步長值較小，因此有低穩態誤差。

總之，不論輸入信號相關與否還是信噪比的高低，本文提出的算法收斂速度較快，穩態性能好，進而能有效地識別稀疏系統。

3 結論

為能降低在l0-NLMS算法中系統的噪聲影響，并提高其收斂速度，且降低輸入信號的影響，本文給出一種帶零吸收項的l0-NLMS算法。相比文獻[12]提出的算法，本文所提出的算法具有良好的抗噪聲性能。此外，應用于識別稀疏系統的實驗仿真結果表明：輸入相關信號或不相關信號時，本文提出的算法都具有快的收斂速度和低的穩態誤差；同時，此實驗仿真結果也表明：當輸入高信噪比或低信噪比的信號時，本文提出的算法同樣保持好的收斂性能和好的穩態性能。總之，本文提出帶零吸收項的l0-NLMS算法在收斂速度與抗系統噪聲方面都具有良好的性能，且降低了輸入信號的影響，在稀疏信道的識別方面具有很大的實用前景。

References)

[1] Diniz P S R. Adaptive filtering [M]. 4th ed. Boston, MA, US: Springer, 2013.

[2] Yoo J W, Shin J W, Park P G. An improved NLMS algorithm in sparse systems against noisy input signals[J]. IEEE Transactions on Circuits and Systems II-Express Briefs, 2015, 62(3):271-275.

[3] 伍飛云, 周躍海, 童峰, 等. 可適應稀疏度變化的非均勻范數約束水聲信道估計算[J]. 兵工學報, 2014, 35(9):1503-1509. WU Fei-yun, ZHOU Yue-hai, TONG Feng, et al. Non-uniform norm constraint estimation algorithm for underwater acoustic channels at the presence of varying sparsity[J]. Acta Armamentarii, 2014, 35(9):1503-1509. (in Chinese)

[4] Nunoo S, Ngah R, Chude-Okonkwo U A K. Performance of LMS, NLMS and LMF algorithms in tracking time-varying UWB channels[C]∥IEEE International Conference on Signal and Image Processing Applications. Melaka: IEEE, 2013:312-316.

[5] Kwong R H. A variable step-size LMS algorithm[J]. IEEE Transactions on Signal Processing, 1992, 40(7):1633-1641.

[6] Aboulnasr T, Mayyas K. A robust variable step-size LMS type algorithm: analysis and simulations[J]. IEEE Transactions on Signal Processing, 1997, 45(3):631-639.

[7] Zhao S, Man Z, Khoo S, et al. Variable step-size LMS algorithm with a quotient form[J]. Signal Processing, 2009, 89(1):67-76.

[8] Li M, Li L P, Tai H M. Variable step size LMS algorithm based on function control[J]. Circuits Systems & Signal Processing, 2013, 32(6):3121-3130.

[9] Taheri O, Vorobyov S A. Reweightedl1-norm penalized LMS for sparse channel estimation and its analysis[J]. Signal Processing, 2014, 104(6):70-79.

[10] Gu Y T, Jin J, Mei S L.l0norm constraint LMS algorithm for sparse system identification[J]. IEEE Signal Processing Letters, 2009, 16(9): 774-777.

[11] Chen Y, Gu Y, Hero A O. Sparse LMS for system identification[C]∥IEEE International Conference on Acoustics, Speech, & Signal Processing. Taipei: IEEE, 2009:3125-3128.

[12] Turan C, Salman M S. Zero-attracting function controlled VSSLMS algorithm with analysis[J]. Circuits Systems and Signal Processing, 2015, 34(9): 3071-3080.

[13] Yu Y, Zhao H. An improved variable step-size NLMS algorithm based on a versiera function[C]∥IEEE International Conference on Signal Processing, Communication and Computing. Kunming, China: IEEE, 2013.

[14] Huang H, Lee J. A new variable step-size NLMS algorithm and its performance analysis [J]. IEEE Transactions on Signal Processing, 2012, 60(4):2055-2060.

[15] 徐洋, 徐松濤, 馬健, 等. 基于Sigmoid二次型隸屬度函數的改進LMS算法[J]. 中南大學學報:自然科學版, 2014, 45(10):3470-3476. XU Yang, XU Song-tao, MA Jian, et al. Improved LMS algorithm based on Sigmoid quadratic membership function[J]. Journal of Central South University: Science and Technology, 2014, 45(10):3470-3476.(in Chinese)

[16] Wang Y L, Tian X L. A modified speech enhancement algorithm for electronic cochlear implant and its digital signal processing realization[J]. Journal of Biomedical Engineering, 2014, 31(4):742-746,754.

[17] 曲慶, 金堅, 谷源濤. 用于稀疏系統辨識的改進l0_LMS算法[J]. 電子與信息學報, 2011, 33(3):604-609. QU Qing, JIN Jian, GU Yuan-tao. An improvedl0-LMS algorithm for sparse system identification[J]. Journal of Electronics and Information Technology, 2011, 33(3):604-609.(in Chinese)

[18] 管四海, 李智. 改進的l0范數LMS算法與分析[J]. 北京郵電大學學報, 2015, 38(4):81-85. GUAN Si-hai, LI Zhi. A modifiedl0_LMS algorithm and its performance analysis[J]. Journal of Beijing University of Posts and Telecommunications, 2015, 38(4):81-85.(in Chinese)

[19] 萬濤, 劉遵雄, 王樹成. 用于稀疏系統辨識的改進懲罰LMS算法研究[J]. 華東交通大學學報, 2013, 30(6):62-66. WAN Tao, LIU Zun-xiong, WANG Shu-cheng. The improvement of LMS algorithm for sparse system identification[J]. Journal of East China Jiaotong University, 2013, 30(6):62-66.(in Chinese)

[20] 伍飛云, 周躍海, 童峰. 引入梯度導引似p范數約束的稀疏信道估計算法[J]. 通信學報, 2014, 35(7):172-177. WU Fei-yun, ZHOU Yue-hai, TONG Feng. Estimation algorithm for sparse channels with gradient guidedp-norm like constraints[J]. Journal on Communications, 2014, 35(7):172-177.(in Chinese)

[21] Benesty J, Rey H, Vega L R, et al. A nonparametric VSS NLMS algorithm[J]. IEEE Signal Processing Letters, 2006, 13(10):581-584.

Modified Zero-Attractingl0-NLMS Algorithm

GUAN Si-hai1， LI Zhi1, HUANG Hui2, WANG Zhe3

(1.School of Mechano-Electronic Engineering, Xidian University, Xi’an 710071, Shaanxi, China; 2.School of Electronic Engineering, Xidian University, Xi’an 710071, Shaanxi, China; 3.Xi’an Aerospace Power Measurement and Control Technology Institute, Xi’an 710025, Shaanxi, China)

A new zero-attracting variable step sizel0-NLMS algorithm is proposed for recognition of sparse system. Step size ofl0-NLMS algorithm is changed by the versiera function. The convergence and convergence conditions, and the mean square error (MSE) and mean square deviation (MSD) of the proposed algorithm are derived. Simulation experiments with different signal-to-noise ratios (SNR) and different levels of autocorrelation of input signal are performed to compare the step size and MSD. The experimental simulation results show that the proposed algorithm can achieve faster convergence rate and good performance of pattern recognition even when the input signal is correlated, and can identify the sparse systems effectively.

information processing technology; sparse system;l0-NLMS algorithm; variable step size; system noise; versiera function

2016-01-06

國家自然科學基金項目(61074120)；高等學校博士學科點專項科研基金項目(2011020311004)

管四海(1990—)，男，博士研究生。E-mail:gcihey@sina.cn； 李智 (1961—)，男，教授，博士生導師。E-mail:zhli@xidian.edu.cn

TN911.72

A

1000-1093(2016)11-2170-07

10.3969/j.issn.1000-1093.2016.11.027