基于批處理和核函數(shù)的非線性盲源分離算法?

禹華鋼，高俊，黃高明

基于批處理和核函數(shù)的非線性盲源分離算法?

禹華鋼，高俊，黃高明

（海軍工程大學(xué)電子工程學(xué)院，武漢430033）

針對(duì)基于核函數(shù)的非線性盲源分離算法性能對(duì)核函數(shù)及其參數(shù)選擇依賴性強(qiáng)這一問題，提出采用批處理方法代替聚類和核主成分分析方法來構(gòu)造低維近似子空間的正交基，以改進(jìn)基于核函數(shù)的非線性盲源分離算法對(duì)核函數(shù)及其參數(shù)變化的穩(wěn)健性，并對(duì)這種改進(jìn)的非線性盲源分離算法進(jìn)行了完整的分析。通過仿真實(shí)驗(yàn)，對(duì)分離信號(hào)與源信號(hào)求相似度，可以看到提出的基于批處理的非線性盲源分離算法能夠取得更穩(wěn)健、準(zhǔn)確的分離效果。

信號(hào)處理；非線性盲源分離；核函數(shù)；聚類；批處理；相似度

1 引言

盲源分離（Blind Source Separation，BBS）是指在源信號(hào)和傳播信道參數(shù)未知的情況下，只利用傳感器陣的觀測數(shù)據(jù)來分離、提取源信號(hào)的過程。其在無線通信、雷達(dá)、聲納、語音信號(hào)處理、醫(yī)學(xué)信號(hào)處理、圖像處理等方面有著廣泛的應(yīng)用前景和價(jià)值［1，2］，近年來，已成為信號(hào)處理和神經(jīng)網(wǎng)絡(luò)領(lǐng)域的一個(gè)研究熱點(diǎn)。

典型BSS問題主要是對(duì)線性瞬時(shí)混合的獨(dú)立源信號(hào)進(jìn)行獨(dú)立成分分析，從而分離源信號(hào)。目前已出現(xiàn)了一大批性能良好的算法，如Infomax、JADE、FastICA［1］、TDSEP［3］、KICA［4］等。但在現(xiàn)實(shí)環(huán)境中，多傳感器的混合過程包含有非線性的成分。在實(shí)際情況中，非線性的混合非常普遍，對(duì)這種情況的研究顯得更為實(shí)際和重要。目前對(duì)非線性混合信號(hào)盲分離問題的研究較少并存在許多困難，已取得一些研究成果有Lee［5］的參數(shù)sigmoidal函數(shù)方法、Woo［6］等給出的神經(jīng)網(wǎng)絡(luò)方法、Valpola［7-8］的Bayesian總體學(xué)習(xí)方法、Ziehe［9］的時(shí)間解相關(guān)方法、Almeida［10］的基于互信息的MISEP方法和Zhang［11］的最小非線性失真的非線性ICA方法等。盡管這些方法各有特點(diǎn)，但總體性能還不能令人滿意。

考慮到大多數(shù)信號(hào)都是時(shí)間信號(hào)，Harmeling［12］結(jié)合核特征空間、構(gòu)建低維近似子空間、TDSEP（Temporal Decorrelation Source SEParation）二階時(shí)間解相關(guān)盲源分離算法和源信號(hào)成分選擇，提出了KTDSEP非線性盲源分離算法，通過核函數(shù)映射將原空間中的非線性問題轉(zhuǎn)化為高維特征空間中的線性運(yùn)算，再利用線性的方法進(jìn)行分離，針對(duì)某一非線性混合，通過調(diào)整核函數(shù)的種類及其參數(shù)能取得很好的分離效果。文獻(xiàn)［12］中Harmeling采用聚類（Clustering）和核主成分分析（Kernel Principle Component Analysis，KPCA）的方法來構(gòu)建低維近似子空間的正交基，作為空間F的低維表示。然而，當(dāng)觀測數(shù)據(jù)的長度很大時(shí)，采用聚類和核主成分分析的方法在初始化過程中需要很大的存儲(chǔ)空間。通常只取其中一小部分觀測數(shù)據(jù)來進(jìn)行計(jì)算，以至原觀測數(shù)據(jù)中包含的部分信息丟失，因此算法性能受核函數(shù)參數(shù)變化的影響較大，往往需要在已知非線性混合方式的情形下，對(duì)核函數(shù)的參數(shù)進(jìn)行調(diào)整才能得到良好的分離效果。但是在實(shí)際情況中，非線性混合方式往往是未知的，如何提高算法對(duì)核函數(shù)參數(shù)的穩(wěn)健性至關(guān)重要。針對(duì)這一問題，本文采用批處理算法［13］來構(gòu)造低維近似子空間，在核函數(shù)參數(shù)變化范圍內(nèi)，對(duì)于超高斯和亞高斯信號(hào)的不同非線性混合方式均取得了良好的分離效果。該算法簡便并降低了計(jì)算復(fù)雜度和所需的存儲(chǔ)空間［13］。

2 基于批處理的KTDSEP非線性盲源分離算法

2.1 非線性盲源分離問題

非線性混合形式的數(shù)學(xué)模型可表示為

式中，x（t）=（x1（t），x2（t），…，xm（t））T（t=1，2，…，T）是m個(gè)混合信號(hào)矢量，s（t）=（s1（t），s2（t），…，sm（t））T（t=1，2，…，T）是m個(gè)未知的獨(dú)立源信號(hào)矢量（僅考慮源信號(hào)和混合信號(hào)個(gè)數(shù)相等的情況），fi（·）（i=1，2，…，m）為Rm到Rm的非線性可逆混合函數(shù)。非線性盲源分離問題就是根據(jù)觀測的混合信號(hào)x（t）（t=1，2，…，T）估計(jì)出獨(dú)立源信號(hào)矢量。

2.2 TDSEP線性盲源分離算法

對(duì)于線性混合，混合函數(shù)f可以簡化為混合矩陣A。做以下假設(shè)：混合矩陣A列滿秩；源信號(hào)之間是互不相關(guān)的，有不同的相關(guān)函數(shù)，但在時(shí)間上滿足相關(guān)性。在此假設(shè)的基礎(chǔ)上，可以得出TDSEP盲源分離算法如下：

根據(jù)假設(shè)，由于x（t）=As（t），混合信號(hào)x（t）的相關(guān)矩陣滿足：

對(duì)于源信號(hào)，根據(jù)假設(shè)2可得

和

都是非零元素不同的對(duì)角陣。取多個(gè)時(shí)間延遲τi（i =1，2，3，…，M），求矩陣W對(duì)Rs（τi）（i=1，2，3，…，M）進(jìn)行同時(shí)對(duì)角化，則W=A＃，＃為混合矩陣A的廣義逆矩陣，則y（t）=Wx（t）即為分離信號(hào)。考慮到大部分自然界中信號(hào)都有顯著的時(shí)間結(jié)構(gòu)，相對(duì)于基于高階統(tǒng)計(jì)量的盲源分離算法，基于信號(hào)時(shí)間特征的方法計(jì)算復(fù)雜度較低，更加穩(wěn)定，且不需要源信號(hào)滿足非高斯性。

2.3 基于批處理的KTDSEP盲源分離算法

核盲源分離的思想是首先通過非線性映射φ：Rm→F將觀測信號(hào)x（t）（t=1，2，…，T）映射到高維特征空間F，將原空間中的非線性問題轉(zhuǎn)化為高維特征空間中的線性運(yùn)算，再在高維特征空間F進(jìn)行線性盲源分離。但是直接對(duì)φ（xi）進(jìn)行計(jì)算，計(jì)算量特別大，不符合實(shí)際要求，所以考慮采用“核技巧”的方法將其轉(zhuǎn)換為對(duì)Gram矩陣K進(jìn)行運(yùn)算，其中Kij=K（xi，xj）=〈φ（xi），φ（xj）〉。本文中使用常用的高斯核，即

K為T×T的矩陣，直接應(yīng)用矩陣K來進(jìn)行T維的盲源分離，計(jì)算量太大，而且不穩(wěn)定。文獻(xiàn)［12］中Harmeling采用聚類方法來構(gòu)建低維近似子空間的正交基，作為空間F的低維表示。

設(shè)x（t）（t=1，2，…，T）對(duì)應(yīng)高維特征空間的映射為φx：=（φ（x（1）），…，φ（x（T））），φv：=（φ（v1），…，φ（vd））為φx列空間的一組基向量，則

在此基礎(chǔ)上可以定義正交基Ξ：=φv（φTvφv）-1／2，從而可以直接將輸入數(shù)據(jù)映射到此正交基張成的高維特征子空間：

再根據(jù)核技巧，可以得到式（5）和式（6）：

然而，當(dāng)觀測數(shù)據(jù)的長度較大時(shí)，采用聚類方法在初始化過程中需要很大的存儲(chǔ)空間。通常只取其中一小部分觀測數(shù)據(jù)來進(jìn)行計(jì)算，以至原觀測數(shù)據(jù)中包含的部分信息丟失。所以本文采用批處理算法來構(gòu)造低維近似子空間［13］，能有效提高計(jì)算效率和算法的穩(wěn)定性。

將數(shù)據(jù)分成多個(gè)批次，依次從觀測信號(hào)x（t）（t =1，2，…，T）選擇d個(gè)數(shù)據(jù)組成觀測信號(hào)子集SCi，i=1，2，…，c；c=T／d。分別計(jì)算Gram矩陣KSCi，從而可以計(jì)算平均Gram矩陣：

定義MSC為平均子集：

將式（7）、式（8）代入式（4）可得

再采用TDSEP算法，對(duì)x（t）（t=1，2，…，T）在高維特征空間的映射信號(hào)ψx（t）進(jìn)行盲源分離。

定義對(duì)稱時(shí)移協(xié)方差矩陣

3 仿真實(shí)驗(yàn)

為驗(yàn)證本文算法的有效性，進(jìn)行了一系列的仿真實(shí)驗(yàn)。分別對(duì)亞高斯和超高斯信號(hào)的非線性混合進(jìn)行盲源分離，將基于批處理的方法與基于聚類的方法進(jìn)行比較。仿真實(shí)驗(yàn)中使用常用的高斯核函數(shù)

k（x，x′）=exp（-‖x-x′‖2／2σ2）；對(duì)低維近似子空間維數(shù)的選擇，聚類算法中d=20，批處理算法中d=6。為了量化分離效果，采用分離信號(hào)與源信號(hào)的相似系數(shù)ξij來測試分離信號(hào)與源信號(hào)之間的相似度［14］。相似系數(shù)ξij的計(jì)算表達(dá)式為

3.1 亞高斯信號(hào)仿真實(shí)驗(yàn)

兩路源信號(hào)如圖1所示，s1（t）=（6+sin（2π× 66 t／fs））·（cos（2π×1222 t／fs））（t=1，2，…，2000；fs=2000）為調(diào)幅信號(hào)，s2（t）=（cos（2π×100 t／fs））（t=1，2，…，2000；fs=2000）為正弦信號(hào)。采用式（12）的混合方式，兩路混合信號(hào)如圖2所示。

分別采用基于聚類和基于批處理的KTDSEP非線性盲源分離算法進(jìn)行盲源分離。分離信號(hào)如圖3所示，可見取得了較好的分離效果。

取高斯核函數(shù)參數(shù)σ從1～10變化，依次對(duì)混合信號(hào)進(jìn)行盲源分離，對(duì)分離信號(hào)與源信號(hào)求相似度，結(jié)果如圖4所示，可以看出批處理方法比聚類方法受高斯核函數(shù)參數(shù)σ變化的影響更小，不會(huì)出現(xiàn)大范圍的波動(dòng)。

3.2 超高斯信號(hào)仿真實(shí)驗(yàn)

兩路超高斯源信號(hào)如圖5所示，是從TIMIT數(shù)據(jù)庫中隨機(jī)抽取的聲音信號(hào)，分別為s1（t）=dr1-fetbo-sa2和s2（t）=dr2-mcewo-sx182。采用式（13）的混合方式，兩路混合信號(hào)如圖6所示。

采用KTDSEP非線性盲源分離算法進(jìn)行盲源分離，分離信號(hào)如圖7所示，可見取得了較好的分離效果。取高斯核函數(shù)參數(shù)σ從1～10變化，依次對(duì)混合信號(hào)進(jìn)行盲源分離，對(duì)分離信號(hào)與源信號(hào)求相似度，結(jié)果如圖8所示，可以看出當(dāng)高斯核函數(shù)參數(shù)σ變化時(shí)，聚類方法的分離效果出現(xiàn)大范圍的波動(dòng)，極不穩(wěn)定，而批處理方法的分離效果相對(duì)穩(wěn)定，且分離效果整體上優(yōu)于聚類方法。

4 結(jié)論

核方法是非線性盲源分離算法中的重要分支之一，通過把混合信號(hào)映射到高維核特征空間，在核特征空間中構(gòu)造一組正交基而將混合信號(hào)映射到此正交基所張成的低維近似子空間，從而把非線性混合信號(hào)盲源分離問題轉(zhuǎn)化為低維近似子空間的線性混合信號(hào)盲源分離問題。本文針對(duì)基于核函數(shù)的非線性盲源分離算法性能對(duì)核函數(shù)及其參數(shù)選擇依賴性強(qiáng)，往往需要在已知非線性混合方式的情形下，對(duì)核函數(shù)的參數(shù)進(jìn)行調(diào)整才能得到良好的分離效果的問題，采用批處理算法來構(gòu)造低維近似子空間。仿真結(jié)果表明，改進(jìn)算法在核函數(shù)參數(shù)變化范圍內(nèi)，對(duì)于超高斯和亞高斯信號(hào)的不同非線性混合方式均取得了良好的分離效果，具有良好的穩(wěn)健性，而且實(shí)現(xiàn)簡單，能充分滿足實(shí)際應(yīng)用的要求。

［1］Hyv?rinenA，Karhunen J，Oja E.Independent Component Analysis［M］.New York：Wiley，2001.

［2］高鷹，姚振堅(jiān)，李朝暉，等.基于廣義特征值和核函數(shù)的非線性盲分離算法［J］.系統(tǒng)工程與電子技術(shù)，2006，28（10）：1490-1493.

GAOYing，YAO Zhen-jian，LI Zhao-hui，et al.Algorithm for nonlinear blind source separation based on generalized eigenvalue decomposition and kernel feature space［J］. Systems Engineering and Electronics，2006，28（10）：1490 -1493.（in Chinese）

［3］Ziehe A，Müller K R.TDSEP-an efficient algorithm for blind separation using time structure［C］／／Proceedings of 1998 International Conference on Artifical Neural Networks. Springer，Berlin：［s.n.］，1998：675-680.

［4］Bach F，Jordan M.Kernel independent component analysis［J］.Journal ofMachine Learning Research，2002（3）：1-48.

［5］Lee TW，Koehler BU，Orglmeister R.Blind source separation of nonlinear mixing models［C］／／Proceedings of 1997 IEEE International Workshop on Neural Networks for Signal Processing.Amelia Island，F(xiàn)L，USA：IEEE，1997：406-415.

［6］WooW L，Knor L C.Blind restoration of nonlinearlymixed signals usingmultiplayer polynomial neural network［J］.IEE Proceedings of Vision Image and Signal Processing，2004，151（1）：51-61.

［7］Valpola H，Giannakopoulos X，Honkela A，et al.Nonlinear independent component analysis using ensemble learning：experiments and discussion［C］／／Proceedings of International Workshop on Independent Component Analysis and Blind Signal Separation.Helsinki，F(xiàn)inland：IEEE，2000：351-356.

［8］Valpola H，Oja E，Ilin A，etal.Nonlinearblind source separation by variational Bayesian learning［J］.IEICE Transactions on Fundamentals of Electronics，Communications and Computer Sciences，2003（3）：532-541.

［9］Ziehe A，Kawanabe M，Harmeling S.Blind separation of post-nonlinearmixtures using linearizing transformationsand temporal decorrelation［J］.Journal of Machine Learning Research，2003（4）：1319-1338.

［10］AlmeidaL B.MISEP-linear and nonlinear ICA based on mutual information［J］.Journal of Machine Learning Re-search，2003（4）：1297-1318.

［11］Zhang K，Chan LW.Minimal nonlinear distortion principle for nonlinear independent componentanalysis［J］.Journalof Machine Learning Research，2008（9）：2455-2487.

［12］Harmeling S，Ziehe A，Kawanabe M，etal.Kernel-based nonlinear blind source separation［J］.Neural Computation，2003（15）：1089-1124.

［13］Sun Z L，Huang D S，etal.Using batch algorithm for kernel blind source separation［J］.Neural Computation，2005，69（1-3）：273-278.

［14］Huang GM，Yang L X，He Z Y.Blind Source Separation Based on Generalized Variance［J］.Proceedings of Advances in Neural Networks，2006，1971：1153-1158.

YU Hua-gang was born in Shaodong，Hunan Province，in 1984.He received the B.S.degree and the M.S.degree from Naval University of Engineering in 2006 and 2008，respectively.He is currently working toward the Ph.D.degree.His research interests include blind signal processing，passive detection and wireless communications.

Email：yuhuagang103＠163.com

高?。?957—），男，江蘇泰興人，1984年于海軍電子工程學(xué)院獲學(xué)士學(xué)位，1986年和1989年于北京理工大學(xué)分別獲工學(xué)碩士學(xué)位和博士學(xué)位，現(xiàn)為海軍工程大學(xué)教授、博士生導(dǎo)師，主要從事數(shù)字信號(hào)處理、數(shù)字通信、短波無線通信等；

GAO Junwasborn in Taixing，Jiangsu Province，in 1957.He received the B.S.degree from Naval Electronic College of Engineering，the M.S.degree and the Ph.D.degree from Beijing Institute of Technology in 1982，1986 and 1989，respectively.He is now a professor and also the Ph.D.supervisor.His research interests include signal processing，digital communications，HF communications.

Email：gaojunnj＠163.com

黃高明（1972—），男，湖南道縣人，1995年和1998年于海軍電子工程學(xué)院分別獲學(xué)士學(xué)位和工學(xué)碩士學(xué)位，2006年于東南大學(xué)獲博士學(xué)位，現(xiàn)為海軍工程大學(xué)教授、博士生導(dǎo)師、中國電子學(xué)會(huì)高級(jí)會(huì)員，主要從事雷達(dá)／電子戰(zhàn)信號(hào)處理、盲信號(hào)處理、無源探測、電子戰(zhàn)系統(tǒng)仿真與效能評(píng)估等。

HUANGGao-ming was born in Daoxian，Hunan Province，in 1972.He received the B.S.degree and the M.S.degree from Naval Electronic College of Engineering and the Ph.D.degree from Southeast University in 1995，1998 and 2006，respectively.He is now a professor and also the Ph.D.supervisor.His research interests include electronic warfare，blind signal processing，passive detection，EW system simulation and evaluation.Email：hgaom＠163.com

Nonlinear Blind Source Separation Algorithm Based on Batch and Kernel Function

YU Hua-gang，GAO Jun，HUANGGao-ming
（College of Electronic Engineering，Naval University of Engineering，Wuhan 430033，China）

To solve the problem that the performance ofnonlinear blind source separation algorithm based on kernel function is dependent on the kernel function and its parameters，this paper proposes using batchmethods to construct orthonormal basis for reduced dimension approximate subspace instead of clustering and KPCA methods.This improved nonlinear blind source separation algorithm based on batch and kernel feature space is investigated firstly，and then is used to improve the robustness to the variety of the kernel function and its parameters.The simulation results illustrate that the algorithm based on batch ismore robust and is relatively simple and effective.

signal processing；nonlinear blind source separation；kernel function；clustering；batch；resemble degree

TN911.7

A

10.3969／j.issn.1001-893x.2011.10.008

禹華鋼（1984—），男，湖南邵東人，分別于2006年和2008年獲海軍工程大學(xué)工學(xué)學(xué)士學(xué)位和工學(xué)碩士學(xué)位，現(xiàn)為海軍工程大學(xué)博士研究生，主要研究方向?yàn)槊ば盘?hào)處理、無源探測、無線通信；

1001-893X（2011）10-0035-06

2011-06-10；

2011-08-29

國家高技術(shù)研究發(fā)展計(jì)劃（863計(jì)劃）項(xiàng)目（2010AA7010422）

Fundation Item：The National High Technology Research and Development Program（863 Program）of China（2010AA7010422）