一種廣義主成分提取算法及其收斂性分析

高迎彬 孔祥玉 胡昌華 張會會 侯立安

?

一種廣義主成分提取算法及其收斂性分析

高迎彬 孔祥玉*胡昌華 張會會 侯立安

(第二炮兵工程大學 西安 710025)

廣義主成分分析在現代信號處理的諸多領域發揮著重要的作用。目前，自適應廣義主成分分析算法還并不多見。針對這一現狀，該文提出一種快速收斂的廣義主成分分析算法，并通過理論分析所提算法的確定性離散時間系統，導出了保證算法收斂的學習因子和初始權向量模值等邊界條件。仿真實驗和實際應用驗證了所提算法的正確性和有用性。仿真結果還表明，所提算法比現有同類算法具有更快的收斂速度和更高的估計精度。

廣義主成分；確定性離散時間；收斂性分析；神經網絡

1 引言

廣義主成分分析是現代信號處理和數據分析領域內的一門重要工具，已經廣泛應用于如雷達信號處理[1]，移動通信[2]，盲信號分離[3]，醫學檢查[4]等各個領域。因此發展廣義主成分分析算法是非常有意義的工作。

為了求解上述問題，一些學者提出了數值算法[5]。然而這些算法均是批處理算法，計算復雜度非常大，而且這些算法還要求輸入信號的自相關矩陣是已知的，而在實時信號處理領域輸入信號的自相關矩陣通常是不確定的，只能根據輸入信號來進行在線估計，因此這些數值算法是難以滿足實時信號處理的需要。近些年來，學者們相繼提出了一些采用神經網絡來進行廣義主成分提取。相比傳統的數值算法，神經網絡算法具有以下3個方面的優點：(1)可以對輸入信號的自相關矩陣進行在線估計；(2)算法的計算復雜度較低；(3)能夠處理非平穩的隨機信號[9]。因此基于神經網絡的廣義主成分分析算法研究成為了近些年來國內外一個研究熱點。本文提出了一種新的廣義主成分分析算法。相比一些現存算法，該算法具有算法形式簡單、收斂速度快、收斂精度高等特點。

神經網絡算法的收斂性分析是一個非常值得研究的問題。通過對其進行收斂性分析，給出神經網絡算法收斂的邊界條件，這對于神經網絡算法的實際應用十分有利。一般而言，神經網絡算法是由其對應的隨機離散時間(Stochastic Discrete Time, SDT)來描述的，這就使得直接對神經網絡算法進行分析變得十分困難[10]。長期以來，學者們相繼提出了一些間接分析方法，主要有：確定性連續時間(Deterministic Continuous Time, DCT)方法和確定性離散時間(Deterministic Discrete Time, DDT)方法。相比DCT方法，DDT方法可以保留神經網絡算法的離散本質[11]，而且可以允許神經網絡算法的學習因子為一個常值，十分符合實際使用的需要，因此成為近些年來人們研究的一個熱點。近些年來，學者們相繼采用DDT方法對一些神經網絡算法進行了收斂性分析，取得了很多成果。然而以上所提文獻中的所有算法都針對的是一般主成分分析問題，到目前為止，還很少有文獻對廣義主成分分析算法采用DDT方法進行研究。由于相比一般主成分分析算法，廣義主成分分析算法形式復雜，所以采用DDT方法對廣義主成分分析算法進行分析時也會比一般主成分分析算法復雜。因此采用DDT方法對廣義主成分分析算法進行收斂性分析就顯得很有必要。因此本文將采用DDT方法對所提廣義主成分分析算法進行收斂性分析，確定其收斂的邊界條件。

本文的結構安排如下：在第2節中，提出了一種新的廣義主成分分析算法；在第3節中采用DDT方法對所提算法進行收斂性分析，確定了所提算法的收斂性條件；第4節主要是通過兩組仿真實驗對所提算法的性能進行驗證；本文的總結結論安排在第5節。

2 一種廣義主成分分析算法

目前，基于Hebb神經網絡的廣義主成分分析算法的研究是國際上的一個研究熱點。Hebb是一個具有線性形式的神經網絡，它在迭代過程中不引入后項傳播誤差來更新權矩陣，其權值更新只依靠相應神經元的輸入輸出乘積。Hebb神經網絡的神經元模型可以通過式(2)來描述：

近些年來，基于Hebb神經網絡學者們提出了一些的廣義主成分分析算法。這些方法按照提出方式可以分為兩類：一類是基于某種信息準則導出的算法，如RLS算法[6]；另一類是基于某種啟發式推理而提出的，如R-GEVE算法[13]等。雖然第2類算法缺乏相對應的信息準則，但是這并沒有限制算法的使用，也不會影響對算法進行收斂性分析。本文提出了一個基于啟發式推理的神經網絡權向量更新算法：

表1自適應廣義主成分分析算法

3 算法的收斂性分析

本節采用DDT方法對所提算法進行收斂性分析：對式(6)施加條件期望因子，并將辨識的條件期望值作為下一次迭代值，則可獲得所提算法的DDT系統[10]，該系統與式(3)形式相同。

接下來，通過定理1-定理6來完成對所提算法進行收斂特性分析。

證明 應用式(3)，可以得到

將式(8)代入式(10)可得

定理1主要完成的是權向量模值的上限證明，定理2則提供了權向量模值下限的分析。

證明 根據式(8)，可得

通過定理1和定理2可以完成式(3)的邊界性證明。下面，將證明在一些溫和的條件下，式(3)中權向量將最終收斂到矩陣束的廣義主成分。為了分析式(3)的收斂性，這里通過定理3給出一些預備結論。

證畢

證明 由式(24)和定理4，定理5可得

證畢

到此就完成了對所提算法的收斂性證明。下面對所提算法收斂性條件進行討論。從條件和可得，所提算法學習因子的選擇與最大廣義特征值有關。在實際應用過程中，盡管最大廣義特征值是未知的，但是它的上限是可以被估計得出的[12]。因此，學習因子的限制條件是可以達到的。此外，當初始權向量為隨機產生時，初始權向量的條件是以概率1滿足的。因此可以說，通過DDT分析獲得的所提算法的收斂性條件是符合實際使用需要的。

4 仿真實驗

本節將提供兩個實驗是對所提算法的性能驗證。第1個實驗是考驗算法對于兩個隨機輸入向量的廣義特征向量提取的能力以及和其他算法的性能比較；第2個實驗是應用所提算法解決盲信號分離問題。

4.1廣義主成分提取實驗

本實驗目的是對所提算法的廣義主成分提取能力進行實驗驗證。這里將所提算法與RLS算法[6]和FPI-GED算法[7]進行對比。為了能夠衡量所提算法的性能，這里引入方向余弦作為評價函數：

在仿真實驗過程中，神經網絡的輸入向量由式(38)和式(39)產生[6]：

圖1 兩種算法的方向余弦曲線

從圖1中可以看出：相比RLS算法和FPI-GED算法，本文所提算法具有較快的收斂速率。此外，雖然兩種算法的方向余弦最終均收斂到了1附近，但是當把仿真的最后50步進行放大后可以發現：本文所提算法與單位1的接近程度要優于RLS算法。由于方向余弦可以表征算法的收斂精度，所以可以得出結論：相比RLS算法和FPI-GED算法，本文所提算法不僅具有較快的收斂速度而且具有較高的收斂精度。

4.2盲信號分離實驗

本實驗主要是應用所提算法解決盲信號分離問題。考慮式(40)所示的盲分離模型：

在本實驗將ICALAB中的ABio7.mat(獲取地址為：http://www.bsp.brain.riken.go.jp/ICALAB/)中的4個信號作為輸入，如圖2所示，圖中橫縱坐標為時刻，縱坐標為幅值。盲信號的混合矩陣為

圖3分離信號曲線

表2原信號和分離信號的互相關系數

從圖3和表2中可以看出，采用本文所提算法獲得的分離信號與源信號之間具有很強的相似性。雖然本文算法的分離結果略遜于廣義特征值分解算法，但是本文算法是可以在線進行的，而廣義特征值分解算法是一種批處理算法，而且具有很高的計算復雜度。

5 結論

本文提出了一種新型的廣義主成分分析算法，并采用一種DDT分析方法對所提算法進行了收斂性分析，確定了保持該算法收斂性的邊界條件，為算法的實際應用奠定了基礎。仿真實驗和實際應用表明：相比一些現有廣義主成分分析算法，本文所提算法不僅具有很快的收斂速度而且具有很高的估計精度。

參考文獻

[1] 謝榮, 劉崢, 劉俊. 基于矩陣束的MIMO雷達低仰角快速估計方法[J]. 電子與信息學報, 2011, 33(8): 1833-1838. doi: 10.3724/SP.J.1146.2010.01242.

XIE Rong, LIU Zheng, and LIU Jun. Fast algorithm for low elevation estimation based on matrix pencil in MIMO radar[J].&, 2011, 33(8): 1833-1838. doi: 10.3724/SP.J.1146.2010.01242.

[2] 蔡振浩, 趙昆, 陳文. TD-LTE-A 系統下行多用戶CoMP 聯合預編碼算法[J]. 北京郵電大學學報, 2015, 38(1): 67-70.

CAI Zhenhao, ZHAO Kun, and CHEN Wen. Research on CoMP joint transmission for downlink MU-MIMO in TD-LTE-A[J]., 2015, 38(1): 67-70.

[3] ANA Maria Tomé. The generalized eigen-decomposition approach to the blind source separation problem[J]., 2006, 16: 288-302.

[4] ZHANG Weitao, LOU Shuntian, and FENG Dazheng. Adaptive quasi-newton algorithm for source extraction via CCA approach[J]., 2014, 25(4): 677-689.

[5] WANG Shougen and ZHAO Shuqin. An algorithm for=with symmetric and positive-definiteand[J]., 1991, 12(4): 654-660.

[6] YANG Jian, XI Hongsheng, and YANG Feng. RLS-based adaptive algorithms for generalized eigen-decomposition[J]., 2006, 54(4): 1177-1188.

[7] YANG Jian, HU Han, and XI Hongsheng. Weighted

non-linear criterion-based adaptive generalised eigen

decomposition[J]., 2013, 7(4): 285-295.

[8] Tuan Duong Nguyen and Isao Yamada. Adaptive normalized quasi-Newton algorithms for extraction of generalized eigen-pairs and their convergence analysis[J]., 2013, 61(6): 1404-1418.

[9] M?LLER R. A self-stabilizing learning rule for minor component analysis[J]., 2004, 14(1): 1-8.

[10] ZUFIRIA P J. On the discrete-time dynamics of the basic Hebbian neural-network node[J]., 2002, 13(6): 1342-1352.

[11] GAO Yingbin, KONG Xiangyu, HU Changhua,. Convergence analysis of m?ller algorithm for estimating minor component[J]., 2015, 42(2): 355-368.

[12] Tuan Duong Nguyen and IsaoYamada. Necessary and sufficient conditions for convergence of the DDT systems of the normalized PAST algorithms[J]., 2014, 94: 288-299.

[13] ATTALLAH S and ABED-MERAIM K. A fast adaptive algorithm for the generalized symmetric eigenvalue problem[J]., 2008, 15: 797-800.

A Generalized Principal Component Extraction Algorithm and Its Convergence Analysis

GAO Yingbin KONG Xiangyu HU Changhua ZHANG Huihui HOU Li’an

(,’710025,)

The generalized principal component analysis plays an important roles in many fields of modern signal processing. However, up to now, there are few algorithms, which can extract the generalized principal component adaptively. In this paper, a generalized principal component extraction algorithm, which has fast convergence speed, is proposed. The corresponding Deterministic Discrete Time (DDT) system of the proposed algorithm is analyzed and some conditions about the learning rate and initial weight vector are also obtained. Finally, computer simulation and practical application results show that compared with some existing algorithms, the proposed algorithm has faster convergence speed and higher estimation accuracy.

Generalized principal component; Deterministic Discrete Time (DDT); Convergence analysis; Neural networks

TP391

A

1009-5896(2016)10-2531-07

10.11999/JEIT151433

2015-12-17；改回日期：2016-05-10；網絡出版：2016-07-04

孔祥玉 xiangyukong01@163.com

國家自然科學基金面上項目(61074072, 61374120)，國家杰出青年基金(61025014)

The National Natural Science Foundation of China (61074072, 61374120), The National Science Fund for Distinguished Youth Scholars (61025014)

高迎彬： 男，1986年生，博士生，研究方向為自適應信號處理.

孔祥玉： 男，1967年生，教授、博士生導師，研究方向為自適應信號處理、非線性系統建模和故障診斷.

胡昌華： 男，1966年生，教授、博士生導師，研究方向為導彈測試與故障診斷.

張會會： 男，1986年生，博士生，研究方向為故障診斷與壽命預測.

侯立安： 男，1957年生，中國工程院院士，博士生導師，研究方向為污水處理、大氣污染治理等.