基于最大相關熵的分布式仿射投影算法

于和芳，郭 瑩

（沈陽工業大學信息科學與工程學院， 沈陽110870）

1 引 言

分布式網絡可應用于醫療應用、救災管理、環境監測等諸多領域[1-4]，將自適應濾波算法[5-6]應用到分布式網絡中，可以更加準確地估計目標并增強分布式網絡對環境變化的魯棒性。研究人員提出了許多分布式的自適應濾波算法，例如分布式最小均方算法（Diffusion Least Mean Square， DLMS）[7]和分布式仿射投影算法（Diffusion Affine Projection Algorithm，DAPA）[8-10]。其中DLMS 算法結構簡單，但對于有色輸入信號，其收斂速度會急劇下降。DAPA 算法是在DLMS 算法的基礎上將輸入信號重組，可有效地改善輸入為有色信號時算法的收斂性能。然而，傳統的DLMS 算法和DAPA 都是基于L2 范數優化準則開發的，在非高斯干擾下性能會嚴重下降。

為解決這一問題，一系列抑制非高斯噪聲的算法被提出。其中，文獻[11]～[15]用可變的步長來代替傳統DAPA 算法中的固定步長，憑借自適應步長選擇算法在低穩態和快速收斂速度之間做出了較好的選擇。由仿真實驗可知，變步長分布式放射投影算法（Variable Step Size Diffusion Affine Projection Algorithm，VSS-DAPA）相比于傳統的DAPA，收斂速度更快，但穩態更低。文獻[16]和[17]提出了基于兩種分布式策略的仿射投影符號算法（Diffusion Affine Projection Sign Algorithm， DAPSA），其中增強式策略估計了算法的抗脈沖干擾能力，增強了抗干擾能力，但是收斂速度較慢。最近，研究人員提出將最大相關熵準則（MCC）應用于自適應濾波領域，提出了基于MCC 準則的自適應濾波算法[18-20]，構造了一個新的代價函數來抑制脈沖噪聲。由于MCC 核函數的負指數項和核寬的作用，削弱了較大誤差對相關熵的影響，因此MCC 算法中不會出現由偏差較大引起的數值不穩定問題，對脈沖噪聲具有較強的魯棒性。

基于上述研究，在此將最大相關熵準則與分布式仿射投影算法相結合，提出一種以高斯核函數為基礎的最大相關熵算法。新算法大大降低了輸入信號的相關性，并能很好地抑制非高斯噪聲。

2 分布式仿射投影算法

在傳統的集中式網絡中，所有節點信息都需要傳輸到一個中心，然后由這個中心將數據處理結果共享并返回每個節點。這種協作需要一個強大的中央處理器，因此具有一定的局限性。改進后的分布式網絡則沒有融合中心，每個節點分散在一定的地理環境范圍內。通過對各節點采集的數據進行局部處理，最終實現整個系統的信息處理。分布式網絡根據協作策略不同分為：擴散式、一致式和增量式。擴散網絡的信息交換過程與一致性相同，即每個節點可以與所有相鄰的代理進行信息交換，但擴散策略優于后兩種策略[21]。

仿射投影算法是利用數據重用的方法在傳統LMS 算法上做出的改進算法。該算法將最近P 個輸入向量組合在一起，以P 作為仿射投影階數。在一個N 個節點的分布式網絡中，第k 個節點的輸入信號表示為uk(i)，數據重用后，輸入信號可寫成如下矩陣形式：

矩陣中的P 代表投影階數，M 為濾波器長度，i 表示時刻，［·］T為矩陣的轉置。

輸出信號yk(i)和期望信號dk(i)分別寫成矩陣形式表達式如下：

式中，w0為待估計的權值向量，M 為長度，vk(i)為信號中的加性干擾噪聲。

傳統的DAPA 算法是基于最小擾動原理（Principle of minimal disturbance）推導所得，一般是求解如下的受條件約束的最優化問題：

節點k 通過與其通信組內節點的中間權估計Φl(i)，利用拉格朗日乘子法對式(4)和(5)進行推導，得基于ATC 式擴散策略[22]的DAPA 迭代算法的更新過程如下：

誤差向量表示為：

其中l 為節點k 的鄰居節點，al，k為聯合系數，1。Nk表示與節點k 相連的所有節點的鄰域，當l?Nk時，al，k=0。δI 為避免逆矩陣不滿秩的情況，δ 是一個極小的數，I 為M×M 的單位矩陣。μk為節點k 的步長參數。

上述DAPA 算法是基于L2 范數的自適應濾波算法，在高斯噪聲下可以降低輸入信號的相關性，但在非高斯噪聲的干擾下會嚴重失調，為解決這一問題，在此提出一種基于最大相關熵的仿射投影算法。

3 基于最大相關熵的分布式仿射投影算法

3.1 最大相關熵準則

相關熵是兩個隨機序列X 和Y 之間的非線性相似性度量，定義為：

其中E(·)表示期望運算符，x、y 是序列X、Y 中的元素，fXY(x，y)是X、Y 的聯合概率密度函數，κ(·)表示Mercer 核函數，其中最常用的Mercer 核函數是高斯核，定義為：

其中，σ＞0 表示核寬。

期望信號d(i)來自線性模型：

其中，w0為M×1 維待估計的未知參數向量，v(i)為背景噪聲，誤差信號為：

其中，w(i)是迭代到i 次時w0的估計。

在MCC 中，代價函數為：

3.2 DMCCAPA 算法

由于MCC 算法不能用于分布估計，故而在此提出DMCC 算法。DMCC 有兩種擴散策略，分別是先結合后自適應的CTA（Combine-Then-Adapt)模式和先自適應后結合的ATC（Adapt-Then-Combine)模式。ATC 可以比CTA 更快地遍歷所有節點[23]，此處選用ATC 策略展開討論。

DMCC 使用與MCC 相同的代價函數來抑制網絡中每個節點的脈沖噪聲。在具有N 個節點的分布式網絡中，待估計的未知向量為w0，k是M×1 維，節點k 在第i 次迭代時的局部測量值為｛dk(i)，Uk(i)｝，k=1，2，...， N，其中：

其中，vk(i)為背景噪聲，vk(i)和Uk(i)是相互獨立的。DMCC 是通過最大化節點k 的鄰居Nk內的局部相關熵的線性組合來估計w0，k，DMCC 在節點k 處的代價函數為：

其中deg(k)表示節點k 的度（相鄰節點到節點k 鏈接的數目，包括代理k 自身）。

對式(14)關于wk求導：

因此，基于梯度法估計節點k 處w0，k的DMCC 算法可以表示為：

其中，Φk(i)為節點k 在i 時刻的中間估計值。

為了更好地理解本算法，將DMCCAPA 的算法規則歸納如下：

初始化： M=128，P=4，

對于每一次迭代i

4 仿真實驗

為了進一步證明算法的有效性，對新提出的算法及其他的分布式自適應濾波算法在不同的條件下進行了仿真實驗。使各算法在同一收斂速度下對比各自的穩態誤差：收斂速度相同時，得到穩態越小，濾波算法的自適應性越好，則表明在非高斯噪聲下算法具有較強的魯棒性。

4.1 噪聲環境

實驗采用的輸入uk(i)為有色信號，它是均值為零的高斯分布的白信號通過一階AR 系統得到的。一階系統為。并在輸出信號yk(i)=中加入測量噪聲。仿真實驗中噪聲分別為均值為零的白噪聲vk(i)和脈沖噪聲vk(i)，兩種噪聲模型分別如圖1 和圖2 所示。令其信噪比SNR=10×其中脈沖噪聲采用伯努利分布，也稱為(0，1)分布，寫成一個伯努利函數與高斯函數相乘的形式：vk(i)=χk(i)γk(i)，此處，χk(i)為伯努利分布，γk(i)為高斯分布。

4.2 性能指標及參數設置

實驗中選用網絡均方誤差（Network Mean Square Deviation，NMSD）的收斂曲線來評價各算法的收斂性能[24]，定義為：

其中，NMSD 的值越大收斂性能越差；反之，該值越小表明自適應濾波系統越接近待估計系統。

為便于計算，由表1 給出實驗中設置的參數。

表1 實驗參數設置

4.3 仿真結果及分析

輸入為有色信號，高斯噪聲環境下，對DLMS 算法、DAPA 算法、DPSA 算法、DMCCLMS 算法以及新提出的DMCCAPA 算法的收斂性能進行對比分析。

當環境為高斯噪聲時，設置信噪比SNR 為20dB，DLMS、DAPA、DPSA、DMCCLMS 及DMCCAPA算法的步長分別設置為0.2、0.15、0.08、0.002、0.001，其中DMCCLMS 和DMCCAPA 算法的核寬設為4。對比結果如圖3 所示?？梢姡咚乖肼曄螺斎霝橛猩盘枙r，DLMS 和DMCCLMS 算法受有色信號的影響，算法收斂速度較慢。而DAPA、DAPSA 算法以及DMCCAPA 算法利用數據重用，降低了有色輸入信號對算法的影響。注意到新提出的DMCCAPA 算法的收斂速度最快。

圖3 高斯噪聲下各算法仿真對比

非高斯噪聲下進行的仿真結果如圖4。分別設置DLMS、DAPA、DPSA、DMCCLMS 以及DMCCAPA算 法 的 步 長 參 數 為0.3、0.2、0.075、0.003、0.0015。DMCCLMS 和DMCCAPA 算法的核寬設為4。由圖4可知，非高斯噪聲環境下，DLMS 和DAPA 算法徹底失調。DAPSA 采用符號算法對誤差信號進行量化，對非高斯噪聲有一定的抗干擾能力，但量化后的誤差函數取值大幅受限，使得算法的穩態誤差較大。而新提DMCCAPA 算法求誤差信號的最大相關熵，大大降低了非高斯噪聲的干擾，且收斂較快。對比這些算法在相同的收斂速度下，新算法穩態誤差最小，具有較強的魯棒性。

圖4 脈沖噪聲下各算法仿真對比

5 結 束 語

基于對最大相關熵準則的討論，以高斯核函數的DMCC 作為代價函數，提出一種基于DMCC 的仿射投影算法。在研究中借助了最大相關熵理論，作為一種基于信息熵理論的自適應濾波算法，在非高斯噪聲下現實了較強的魯棒性。與DAPA 算法相結合，在輸入信號相關性較高的情況下，該算法能快速收斂。仿真結果表明，在非高斯噪聲下，DMCCAPA 算法具有更好的性能，具有較快的收斂速度和較小的穩態誤差。