多任務自適應網絡的非負參數向量辨識研究

王紫璇

摘 要：多任務自適應網絡是指網絡中節點辨識的參數向量不完全相同的自適應網絡。在一些物理現象中，網絡中的參數向量可能會受到非負性條件約束。然而，現有的多任務擴散式LMS算法只適用于辨識無約束的參數向量。為了解決這一問題，選用每個節點的誤差信號的三次方的絕對值作為代價函數，并利用KKT條件和隨機梯度下降法，推導出一種多任務非負三次方絕對值算法（MD-NNLMAT）。仿真結果表明，在相同的穩態失調下，該算法比多任務非負最小均方算法（MD-NNLMS）有更快的收斂速度。

關鍵詞：多任務;自適應網絡;非負性約束

中圖分類號：TN713文獻標識碼：A文章編號：1003-5168（2020）14-0014-04

Research on Nonnegative Parameter Vector Identification of Multitask Adaptive Network

WANG Zixuan

（Suzhou University，Suzhou Jiangsu 215006）

Abstract： Multitask adaptive network refers to an adaptive network in which the parameter vectors of node identification in the network are not exactly the same. In some physical phenomena， the parameter vectors in the network may be constrained by nonnegative conditions. However， the existing multitask diffusion LMS algorithm is only suitable for identifying unconstrained parameter vectors. In order to solve this problem， the absolute value of the cubic power of the error signal of each node is selected as the cost function， and the multitask diffusion nonnegative least mean absolute third （MD-NNLMAT） algorithm is derived using KKT conditions and stochastic gradient descent method. Simulation results show that under the same steady-state offset， the algorithm has a faster convergence rate than the multitask diffusion nonnegative least mean square （MD-NNLMS） algorithm.

Keywords： multitasking;adaptive network;nonnegative constraints

一直以來，傳統的自適應濾波器理論側重于研究單個節點的辨識問題。近幾十年來，在計算機網絡、通信網絡、機器學習等多個領域，諸多學者致力于研究節點間信息的交互，而不是僅僅依靠節點自身的信息。在分布式自適應網絡中，每個節點可以利用相鄰節點的交互信息進行獨立運算，這樣可以提高整個網絡辨識的準確性。根據節點的協作方式不同，人們可以將網絡分為遞增式、擴散式和概率擴散式三種自適應網絡類型。基于各種結構和自適應濾波框架，人們提出了一系列分布式網絡算法。2013年，Chen等人提出了一系列多任務擴散式算法[1]。2016年，Shi提出了一種擴散式仿射投影（DAPA）算法[2]。這些算法有效地拓展了自適應網絡的應用范圍，提高了信號處理效果。

在一些物理現象中，如濃度場、人口統計等，多任務自適應網絡中的參數向量需要滿足非負性約束。在非負性約束條件下，自適應濾波算法本質上是求解條件約束下的最優化問題。2011年，Chen提出了非負最小均方（NNLMS）算法及其衍生出的一系列算法[3]，豐富了自適應濾波器的理論。之后，其他學者又提出了指數非負最小均方（Exponential LMS）算法[4]、非負最小四階矩（Nonnegative Least Mean Forth，NNLMF）算法[5-6]以及基于零范數的非負最小均方（[l0]-NNLMS）算法[7]。

然而，現有的多任務擴散式LMS算法和多任務擴散式RLS算法只適用于辨識無約束的參數向量。因此，本文首先定義節點誤差三次方的絕對值為代價函數，然后利用KKT條件和隨機梯度下降法推導出多任務自適應網絡的節點迭代算法。仿真結果表明，在高斯噪聲和均勻噪聲兩種噪聲環境下，該算法的性能都優于多任務自適應網絡的非負最小均方算法。

1 多任務自適應網絡模型

圖1為多任務自適應網絡節點示意圖，網絡的拓撲結構為擴散式。該網絡分為四個簇，每個簇估計的參數向量相同，即[woi=woC1]，[i=1，2，3，4，5，6]，[woj=woC2]，[ j=7，8，9，10，11]，[wok=woC3]，[k=12，13，14，15]，[wol=woC4]，[l=16，17，18，19，20]，網絡中不同簇估計的參數向量是不同的，即[woC1≠woC2≠woC3≠woC4]，但它們之間存在某種相似性。

圖2為網絡節點參數向量自適應辨識框圖。其中，未知系統的權向量為[w*=w*1，w*2，...w*MT]，[M]為系統的抽頭個數。系統的期望信號滿足以下條件：

[dn=xTnw*+zn] ? ? ? ? ? ? ? ? ? ? ? ? ? ?（1）

式中，[xn=xn，xn-1，...，xn-M+1T]為輸入向量;[zn]為測量噪聲。

自適應系統的誤差信號可以表示為：

[en=dn-wTnxn] ? ? ? ? ? ? ? ? ? ? ? ? （2）

自適應濾波算法正是通過最小化均方誤差來進行迭代更新，進而得到權值的。

2 算法推導

2.1 多任務自適應網絡節點代價函數

在圖1所示的多任務自適應網絡中，定義節點[k]的鄰域（包括[k]）為[Nk]，節點[k]所在的簇為[Ck]，在節點[k]的鄰域內但不包含[k]的所有節點記為[N-k]。每個節點滿足信號模型[dkn=uTknw*+zkn]。

為了建立節點的代價函數[1]，對于相同簇內的節點，定義聯合矩陣[C∈?20×20]，其每一個聯合參數[c?k]滿足以下條件：

[c?k≥0，k∈N??C?c?k=1， c?k=0 for k?N??C?] ? ? ? ? （3）

對于不同簇內的節點，定義相似性矩陣[ρ∈?20×20]，其每一個相似性參數[ρk?]滿足以下條件：

[ρk?≥0，?∈Nk＼Ckρk?=1， ρk?=0 for ??Nk＼Ck] ? ? ? ?（4）

所以，網絡中某一節點的局部代價函數為：

[Jlockwk=?∈Nk?Ckc?kJwk+η?∈Nk＼Ckρk?wk-w?2] ?（5）

在文獻[1]中，[Jwk=Ed?n-xT?nwk2]。文獻[8]指出，在絕大多數信號噪聲情況下，選用誤差的三次方的絕對值作為代價函數要比均方誤差效果好。因此，本文選用[Jwk=Ed?n-xT?nwk3]作為代價函數。節點[k]所在的簇[Ck]在第[k]個節點處的代價函數可寫為：

[JCkwk=Jlockwk+?∈Ck＼kwl-wol2Rl] ? ? ? ? ? ? ?（6）

其中，[Rk=?∈Nk?Ckc?kRu，?+η?∈Nk＼Ckρk?IL]。對式（6）進行近似，得到[wk-wo?2Rl≈b?kwk-wo?2]。[b?k]為與第[k]個節點相關的非負性參數。采用文獻[1]中的方法進行近似簡化，最終可以得到節點[k]所在的簇[Ck]在第[k]個節點處的代價函數，可寫為：

[JCkwk=?∈Nk?Ckc?kJwk+η?∈Nk＼Ckρk?wk-w?2+?∈N-k?Ckb?kwk-wo?2] ? （7）

對于上式求梯度，并以瞬時值代替期望值，得到以下公式：

[?wJCkwk=-?∈Nk?C（k）c?ksigneke2kx?n+η?∈Nk＼Ckρk?wk-w?+?∈N-k?Ckb?kwk-wo?] ? ? ? （8）

其中，[ek=d?n-xT?nwk]。

2.2 非負自適應濾波算法

在非負性約束下，一個未知系統的最優估計[wo]滿足以下條件：

[wo=argminwJ（w）s.t. wi≥0，i∈1，2，...M] ? ? ? ? ? ? ? ? ? ? （9）

利用KKT條件，文獻[3]求解出非負自適應濾波算法迭代公式，即

[wk（n+1）=wk（n）+μDwk（n）[-?wJC（k）（wk（n））]] ? ? ? ? （10）

其中，[Dwk（n）]表示以[wk（n）]的元素為對角元素的對角矩陣。將式（8）帶入式（10），可得：

[wkn+1=wkn+μDwkn?∈Nk?Ckc?ksignekek2nx?n ? ? ? ? ? ? ? ? ?-μηDwkn?∈Nk＼Ckρk?wkn-w?n ? ? ? ? ? ? ? ? ?-μDwkn?∈N-k?Ckb?kwkn-wo?] ? ? ? ?（11）

其中，[ek=d?n-xT?nwk]。

在分布式網絡中，常采用ATC策略對式（11）進行拆分[9]，可以得到如下迭代方程：

[ψkn+1=wkn+μDwkn?∈Nk?Ckc?ksignekek2nx?n ? ? ? ? ? ? ? ? ?-μηDwkn?∈Nk＼Ckρk?wkn-w?nwkn+1=ψkn+1-μDwkn?∈N-k?Ckb?kwkn-wo?] ? ? ? （12）

由于[wo?]是一個未知量，人們將[ψ?（n+1）]作為其估計值。同時，[ψk（n+1）]相比于[wkn]是節點[k]的權值的更優估計，因此將[wkn]以[ψk（n+1）]代替。隨著迭代次數的增加，[ψk（n+1）]與[ψ?（n+1）]差別很小，為了減少計算量，將式（12）中的[Dwk（n）]舍去，可得：

[wkn+1=ψkn+1-μ?∈N-k?Ckb?kψkn+1-ψ?n+1 ? ? ? ? ? ? ? =1-μ?∈N-k?C（k）b?kψkn+1+μ?∈N-k?Ckb?kψ?n+1]（13）

定義

[akk?1-μ?∈N-k?C（k）b?ka?k?μb?k，?∈N-k?C（k）a?k?0，??Nk?C（k）] ? ? ? ? ? ? ? ? （14）

因此，最終的MD-NNLMAT算法為：

[ψkn+1=wkn+μDwkn?∈Nk?Ckc?ksignekek2x?n ? ? ? ? ? ? ? ? ?-μηDwkn?∈Nk＼Ckρk?wkn-w?nwkn+1=?∈Nk?Cka?kψ?n+1] ? ? ? （15）

其中，[ek=d?n-xT?nwk]。為了簡化系統聯合參數，取[a?k=ck?]。試驗中，聯合參數、相似性參數選取均采用平均法則，即[c?k=|N??C?|-1，k∈N??C?]，[ρ?k=|Nk＼Ck|-1，?∈Nk＼Ck]。

3 仿真試驗

采用MATLAB對算法進行仿真。選取如圖1所示的包含4個任務簇和20個節點的分布式網絡拓撲結構。

在仿真中，未知系統的長度選為20，每一個節點都可以利用相鄰節點的信息進行運算，因而提升了整個網絡的魯棒性。因為相鄰簇之間存在相似性，因此使用線性模型[w*C?=w*+ΔwC?，?∈{1，2，3，4}]獲取簇[C?]的權值參數向量[10]。四個簇的權值參數向量取值如圖3所示。

從圖3可以看出，每一個簇選擇的參數向量不完全相同，但又包含相同的原始參數向量[w*]，說明這四個簇既是相似的，但又包含了不同，因此比較合理地反映了多任務自適應網絡的參數取值情況。

定義輸入信號和系統噪聲的方差分別為[σ2x]和[σ2z]，輸入信號選取均值為0.5，標準差為0.1的高斯噪聲，系統噪聲分別選取為均值為0.05，標準差為1e-3的高斯噪聲和均勻噪聲。

采用歸一化均方偏差NMSD對算法的性能進行評估，所有的NMSD曲線為20次獨立試驗取平均的結果。其表達式為：

[NMSD=1N?=14k∈C?10log10wk-wo+C?wo+C?]（16）

其中，[wo+]為沒有負值的最優解。由文獻[3]可知，經過迭代，最優解中沒有負值元素，即負值變為0。

試驗一：本試驗在高斯噪聲環境中，分別使用多任務非負最小均方算法（MD-NNLMS）和多任務非負最小三次方絕對值算法（MD-NNLMAT）進行仿真。為了方便進行對比，盡可能保證算法具有相同的穩態失調，取[μMD-NNLMS=0.015]，[μMD-NNLMAT=0.024]，[η=0.001]。算法收斂性能如圖4所示。可以看出，當兩種算法的穩態失調相同時，MD-NNLMAT算法比MD-NNLMS算法收斂速度更快。

將收斂后各節點的權值取平均，與原始參數向量[w*]的非負形式進行比較，結果如圖5所示。

試驗二：本試驗在均勻噪聲環境中，分別使用多任務非負最小均方算法（MD-NNLMS）和多任務非負最小三次方絕對值算法（MD-NNLMAT）進行仿真。為了方便進行對比，盡可能保證算法具有相同的穩態失調，取[μMD-NNLMS=0.015]，[μMD-NNLMAT=0.024]，[η=0.001]。算法收斂性能如圖6所示。可以看出，當兩種算法的穩態失調相同時，MD-NNLMAT算法比MD-NNLMS算法收斂速度更快。

將收斂后各節點的權值取平均，與原始參數向量[w*]進行比較，結果如圖7所示。可以看出，算法的迭代結果較接近準確結果。

4 結語

本文通過選取了節點新的代價函數，運用梯度下降法和KKT條件，推導出了一種多任務自適應網絡的非負最小三次方絕對值（MD-NNLMAT）算法。仿真結果表明，在高斯噪聲和均勻噪聲情況下，MD-NNLMAT算法的性能都優于MD-NNLMS算法。

參考文獻：

[1]Chen J，Richard C，Sayed A H.Multitask Diffusion Adaptation over Networks[J].IEEE Journal of Selected Topics in Signal Processing，2013（99）：1.

[2]Shi J，Ni J，Chen X.Variable step-size diffusion proportionate affine projection algorithm[C]//IEEE International Workshop on Acoustic Signal Enhancement.2016.

[3]Chen J，Richard C，Bermudez J C M，et al.Nonnegative Least-Mean-Square Algorithm[J].Signal Processing，2011（11）：5225-5235.

[4]Chen J，Richard C，Bermudez J C M，et al.Variants of Non-Negative Least-Mean-Square Algorithm and Convergence Analysis[J].IEEE Transactions on Signal Processing，2014（15）：3990-4005.

[5]Ni J，Yang J.Nonnegative least-mean-fourth algorithm[C]//5th IET International Conference on Wireless，Mobile and Multimedia Networks.2013.

[6]Ni J，Yang J，Chen J，et al.Stochastic behavior of the nonnegative least mean fourth algorithm for stationary Gaussian inputs and slow learning[J].Signal Processing，2016（128）：18-27.

[7]Zhao K，Ni J，Chen X.Improved nonnegative adaptive filtering algorithms[C]//IEEE International Workshop on Acoustic Signal Enhancement.2016.

[8]K Xiong，S Wang，B Chen.Robust Normalized Least Mean Absolute Third Algorithms[J].IEEE Access，2019（7）：10318-10330.

[9]Sayed A H.Diffusion Adaptation over Networks[J].Academic Press Library in Signal Processing，2012（5）：323-453.

[10]朱亞楠.魯棒自適應網絡研究[D]蘇州：蘇州大學，2018.